17 septembre 2020 à 18:33
galerie/wd/img_3.jpg

Western Digital a mis en place un partenariat avec la société Kalista.IO qui permettrait de gérer les disques SMR comme des lecteurs "normaux" CMR/PMR.

L'enregistrement SMR (cf. détails) permet d'inscrire sur un plateau de disques classiques une troisième piste à cheval sur deux pistes physique et d'augmenter ainsi la capacité du lecteur. Cette technologie recouvre partiellement les pistes d'écriture, profitant du fait que les pistes d'écriture d'un disque sont plus larges que les pistes de lecture. Les pistes sont organisées en groupes ou zones, avec un espace entre elles.

(Crédit: BlocksandFiles)

Cependant, une zone entière de pistes doit être lue, effacée et réécrite lorsque de nouvelles données remplacent les anciennes sur un lecteur SMR. Cela prend du temps et peut parfois entraîner des temps de latence plus longs que la normale lorsque de nombreuses écritures sont mises en file d'attente sur un lecteur. Ces latences dites de queue signifient que les performances des lecteurs SMR sont incohérentes et imprévisibles.

Le disque SMR peut gérer le processus de réécriture à son niveau (drive managed) ou cela peut être réalisé au niveau du serveur hôte au niveau applicatifs (host managed). Lorequ'au niveau application cela suppose de maj les applications, ce qui a ralenti l'adoption du SMR dans le monde professionnel. Aujourd'hui, WD pense avoir trouvé un moyen de surmonter cet obstacle.

Phalanx
Kalista IO a développé le logiciel "Olympus" qui rend le SMR plus rapides en écriture. Olympus est disponible sous forme d'appliance matérielle, de progiciel et d'image virtualisée. Il comporte deux services principaux : le stockage (Phalanx) avec une interface objet, bloc et fichier unifiée, et l'orchestration des calculs (Abacus). Ils peuvent être déployés, mis à l'échelle et utilisés indépendamment.

Phalanx fonctionne avec les disques durs et les SSD conventionnels et les stockages à blocs zonés comme les disques durs SMR. Il n'est pas nécessaire de recompiler ou de modifier les logiciels d'application existants et il n'y a pas de module de noyau Linux à installer.

(Crédit: Kalista)


Le concept de Phalanx
Ce logiciel a une architecture en lignes et colonnes qui empêche la concentration des "écritures à chaud" sur un disque. Cela minimise les conflits d'E/S et augmente les performances en fonction de la capacité.

Le logiciel est doté d'une représentation des données structurée en fonction des périphériques et des journaux. Phalanx élimine les écritures aléatoires et minimise les conflits d'entrée/sortie en répartissant uniformément la charge de travail d'écriture séquentielle sur les disques, ce qui évite les zones d'écriture à chaud. Les performances et la capacité sont améliorées par l'ajout de lecteurs.


Phalanx dispose de trois couches logicielles internes :

- La couche d'accès aux données fournit des interfaces de fichiers, d'objets et de blocs
- La couche moteur IO calcule le placement optimal des données et hiérarchise les demandes entrantes
- La couche de gestion des dispositifs optimise les demandes d'E/S pour chaque dispositif et gère son état

le tout est complété par un repository de métadonnées distinct pour accroître l'extensibilité, l'efficacité et la robustesse.

Phalanx en test avec un WD Ultrastar :
Kalista travaille avec Western Digital pour appliquer Phalanx aux disques SMR Ultrastar HC600 de WD, en gardant à l'esprit l'utilisation de Hadoop et Ceph. Les sociétés affirment que Phalanx fournit des performances constantes et prévisibles sans latences supplémentaires vs. un disque CMR/PMR.

(Crédit: Kalista)


Le 14To HGST DC HC 530 est un disque non-SMR, enregistré de manière conventionnelle. Le 15To HGST DC HC 620 est un lecteur SMR basé sur le 14To

Un dossier de presse commun à Kalista et WD Phalanx décrit les avantages de performance dans le contexte de travail de Hadoop et Ceph. Les testeurs ont comparé les performances de Phalanx avec des disques durs SMR gérés par l'hôte par rapport aux systèmes de fichiers existants avec des disques durs CMR conventionnels.

Phalanx a permis une augmentation de 58 % de l'IOPS moyen et un gain de 10 fois en termes de cohérence des performances par rapport au banc d'écriture Ceph Rados. Elle a fourni un débit moyen supérieur de 19 % avec le banc de lecture Hadoop TestDFSIO.

On pourrait à l'avenir espérer que les OS type Linux ou Windows intègre un "driver" de disque SMR sur le modèle de fonctionnement proposé, permettant ainsi de profiter d'une capacité de stockage accrues à coût réduit dans le cadre du SMR (vs. CMR), tout en solutionnant un de problème essentiel de cette technologie SMR: les performances en écriture.

Sat DREAM

4 commentaires

Ou

le_banni le 22 septembre 2020 - 13:30

Commentaires à lire dans l'ordre chronologique :: :: V

le_banni le 22 septembre 2020 - 13:29

C'est ce qu'aurait du pouvoir faire ZFS avec ses capacités multi disques en RAID (sauf qu'il ne peut pas reconnaitre un disque SMR disk-managed d'un CMR). On peut imaginer qu'une future version de système d'exploitation de NAS, ou un système windows/linux/mac suffisamment avancé, et correctement informé de la typologie exacte de chaque disque du système, pourrait intelligemment et de façon transparente gérer un mix hétérogène de ssd, disques CMR et disques SMR.

le_banni le 22 septembre 2020 - 13:23

Cela s'applique à un environnement multi-disque, où l'ensemble des disques est virtualisé, et une couche intermédiaire qui connait les limitations et capacités de chaque disque (disque CMR, disque SMR, SSD) va optimiser les écritures sur les différents supports, sur différentes zones des supports, voire en utiliser certains comme cache rapide pour masquer les performances plus faibles en écriture des autres.

le_banni le 22 septembre 2020 - 13:21

Hmm. De ma compréhension de non-expert... On est là dans le domaine des data-centers, pas de l'informatique personnelle. Il s'agit d'une solution appliance (hardware) ou logicielle pour faire du Host-Managed SMR, en intégrant la gestion des différents types de disques au niveau de la couche filesystem ou même base de données (HADOOP).