Pozn.: Nejsem žádný specialista na disková pole, ale musel jsem se seznámit se základní prací s několika typy diskových polí, takže jsem si dal dohromady určité informace a postupy. Třeba se to bude někomu hodit.

NetApp E-Series - základní vlastnosti

Diskové pole NetApp E-Series 2760 je E-Series Storage System řady E2700 vybavený systémem SANtricity OS (momentálně firmware 08.30.10.01). Pro správu se používá aplikace SANtricity Storage Manager (momentálně verze 11.30.0G00.0017, aplikace obsahuje Enterprise Management Window - EMW a Array Management Window - AMW), kterou musíme nainstalovat na nějaký server/stanici (podporovány jsou OS Windows, Linux, AIX, Solaris). Také zde běží služba Storage Manager Event Monitor, která provádí zasílání údajů na NetApp pro AutoSupport a monitoruje události (posílá alerty). Disková pole E-Series Platform získal NetApp koupí od společnosti LSI Corporation (na rozdíl od polí FAS, která sám vyvinul a více prosazuje). Můžeme se s nimi setkat i pod jinými značkami, protože je poskytuje jako OEM, rozšířené jsou IBM DS-Series.

E-Series je od začátku navrženo jako klasické SAN pole (na nic jiného si nehraje a myslím, že pro řadu účelů je to to pravé), je jednoduché a výkonné. Nabízí maximum I/O za minimální cenu a má vysokou hustotu diskové kapacity na 1U. Nemá mnoho speciálních vlastností, ale poskytuje výkonné disky (LUNy) pro servery (různá správa dat se provádí na serveru, takže na poli je zbytečná). Podporuje pouze blokový přístup (Ethernet iSCSI a FCoE, optika Fibre Channel), nikoliv souborový (NAS protokoly). Umožňuje použít Dynamic Disk Pool (DDP) místo klasického RAIDu (RAID groupy), které se jednoduše používá a rozšiřuje, neztrácí výkon při výpadku disku, dynamicky rozmisťuje data i paritu napříč všemi disky, velmi rychlá rekonstrukce dat. Podporuje šifrování disků (AES 256).

Také je možné přímé vysokorychlostní připojení serverů (direct host connections) pomocí SAS (odpadá tak složitost SAN sítě, ale podporuje pouze pár hostů). Můžeme využívat klasické HDD spolu s SSD (buď jako běžné úložiště nebo SSD cache). Disky můžeme různě kombinovat v rámci police.

Oficiální dokumentace

• E-Series Documentation Center
• E-Series Systems Documentation Center - SANtricity Release 11.30
• E-Series SANtricity Management Software 11.30
• NetApp E2700 Hybrid Storage System
• My Support - podpora, stahování nových verzí OS a firmware (je potřeba mít vytvořený účet a aktivovaný produkt)
• Installation and Setup Instructions for E-Series 60-Drive Trays - základní popis zapojení a instalace

Konfigurace a zapojení

Konfigurace systému může být různá, záleží na použitých kontrolérech, kartách pro síťovou komunikaci, diskových policích, discích, atd. Zde je ukázka konfigurace, s jakou jsem se setkal.

Na rozdíl od FAS polí se u E-Series nepoužívá samostatný Enclosure pro kontroléry, ale kontroléry se vloží do první diskové police (Disk Shelf). Označuje se E2760 System Shelf, což znamená řadu E2700 a použitou diskovou polici DE6600 na 60 disků. Kombinace šasi a řadiče tedy určuje model. Když připojujeme další diskové police, tak se do nich místo kontrolérů vloží ESM - Environmental Services Module, pomocí kterého se propojuje Drive Tray s kontrolérem.

Můj systém se skládá ze tří šasi (diskových polic), což je 4U velký DE6600 Disk Shelf, označuje se také jako Enclosure nebo Tray, na 60 disků 2,5" nebo 3,5", se dvěma zdroji. Disková police obsahuje za běhu vytažitelné šuplíky (drawer), kam se umísťují disky (do jednoho se jich vejde 12). První Enclosure (Controller-drive tray) obsahuje dva kontroléry (řadiče) E2700 pro HA. Každý kontrolér je osazený

• 8GB cache memory
• 2x 12Gbps SAS porty, Port 1 (Ch 1) a Port 2 (Ch 2)
• 2x iSCSI porty 10Gbps pro data, Host Interface Cards (HIC) 1 Port 3 (Ch 3) a 4 (Ch 4)
• 2x 6Gbps SAS port na připojení dalšího Shelfu, Port 1 a 2
• 2x 1Gbps management ethernet port, Port 1 a 2

První Enclosure obsahuje 4x SSD disk o kapacitě 800GB a 56x SAS 600GB 10k RPM. Další dva Enclosure obsahují každý 60x SAS 600GB 10k. Celkem tedy 4x 800GB SSD a 176x 600GB SAS, celková hrubá kapacita je 108,8 TB, použitelná kapacita 74,4 TB.

Obrázek z oficiální dokumentace, který ukazuje propojení diskových polic.

Ukázka možného připojené do sítě. Je zde oddělená LAN síť pro management a datová iSCSI SAN síť.

NetApp AutoSupport (ASUP) a alerty

Krátký popis NetApp MySupport mysupport.netapp.com, registrace a webového portálu My AutoSupport, je uveden v článku NetApp AFF8040 - konfigurace, principy a základní postupy. Tyto části jsou shodné jak pro FAS pole, tak pro E-Series (My AutoSupport nabízí pro FAS více funkcí).

Na jeden server (administrační stanici), kde instalujeme SANtricity Storage Manager, musíme také nainstalovat a spustit službu Storage Manager Event Monitor (SMmonitor.exe, tato služba by neměla běžet na více stanicích, protože bychom dostávali zprávy duplicitně). Ta pak neustále monitoruje diskové pole a odesílá data a aletry na NetApp technical support a případně také na email.

AutoSupport zprávy jsou události (obsahuje konfigurační a diagnostické informace), denní zprávy (systémové události a data o výkonu) a týdenní zprávy (konfigurace a stav systému). Zprávy jsou odesílány jako souhrnný komprimovaný (7zip) soubor. Defaultně se zprávy odesílají pomocí HTTPS (alternativně HTTP či SMTP) na NetApp. Konfigurace se provádí globálně a pak můžeme povolovat pro jednotlivá disková pole. Zprávy se odesílají ze služby Storage Manager Event Monitor, takže ta musí někde běžet a mít možnost komunikace do internetu.

Globální konfigurace AutoSupport

• spustíme SANtricity Storage Manager Client a zůstaneme rovnou v okně Enterprise Management
• menu Tools - AutoSupport - Configuration
• zde nastavujeme použitý protokol, doporučeno je HTTPS (můžeme nastavit Proxy), můžeme také odeslat testovací zprávu

• pod Tools - AutoSupport - Schedule můžeme nastavit čas, kdy se má odesílat denní a týdenní zprávy
• pod Tools - AutoSupport - View Log si můžeme zobrazit historii odeslaných zpráv
• pod Tools - AutoSupport - Activation and Status provádíme globální povolení funkce AutoSpport
• také zde můžeme povolit AutoSupport OnDemand (AODS), který povolí NetApp podpoře, aby si vzdáleně vyžádala zaslání dat, a Remote Diagnostics, které jim povolí požádat o aktuální data

Nastavení AutoSupportu pro pole

• v SANtricity Storage Manager Client se připojíme na pole (otevře se okno Array Management)
• menu Health - AutoSupport - Enable/Disable
• vidíme zde stav a případně zapneme kliknutím na Enable

Nastavení alertů

Můžeme také nastavit, aby nám služba Storage Manager Event Monitor posílala aletry na email (případně pomocí SNMP).

• spustíme SANtricity Storage Manager Client a zůstaneme rovnou v okně Enterprise Management
• menu Edit - Configure Alerts
• na záložce Mail Server nastavíme adresu SMTP serveru, adresu odesílatele a můžeme zadat nějaké informace, které budou součástí emailu
• na záložce Email zadáváme adresy příjemců, a co vše má být zasláno

Alerty jsou zasílány při různých příležitostech, například když dojde k poruše disku či jiné komponenty (Critical Event). Můžeme si nechat zasílat i další aletry, jedním příkladem je docházející místo v Disk Poolu. Nastavení provedeme:

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Storage & Copy Services
• klikneme pravým tlačítkem na náš Disk Pool a zvolíme Change - Settings
• zde můžeme nastavit procentuální kapacitu, při jaké se zasílá upozornění

Správa E-Series SANtricity

Pro správu si musíme nainstalovat aplikaci SANtricity Storage Manager Client, do které zadáme Out-of-Band management IP adresy kontrolérů 10.0.0.210, 10.0.0.211. V iSCSI SAN síti jsou použity čtyři IP adresy pro připojování klientů.

Termíny aneb princip funkce

Diskové pole (Storage array) se skládá z fyzických komponent (police - Enclosure nebo Tray nebo Shelf, disky, kontroléry, větráky, napájení) a logických komponent (Disk Pools, Volume Groups, Volumes). Na klientovi jsou důležité fyzické komponenty pro připojení do sítě:

• Host Bus Adapter (HBA) - zjednodušeně síťová karta na klientovi, interface pro přenos dat mezi hostem a kontrolérem diskového pole, má jeden nebo více fyzických portů
• HBA host port (Host Adapter Port) - fyzický port na HBA
• Network interface card (NIC) - síťová karta

Z fyzických disků se vytvoří buď Disk Pool nebo Volume Group, každé má jiné parametry a výhody, viz. How do Volume Groups differ from Dynamic Disk Pools in E-Series storage. Z SSD disků můžeme také vytvořit Disk Pool nebo Volume Group nebo SSD Cache. Celkovou úložnou kapacitu (Storage Capacity) organizujeme do svazků (Volume) a ty pak mapujeme (mapping) na klienty (Host nebo Host Group).

• Disk Pool - Dynamic Disk Pool (DDP), rychlejší rebuild, jednodušší správa, neřešíme RAID (používá se DDP, podobné jako RAID 6), neomezený počet disků (minimum 11), nepoužívá hot spare (místo toho je disk preservation, procentuální kapacita se ponechá volná na každém disku), podporuje Thin Provisioning, pevná velikost segmentu 128kB, vhodné pro velkou náhodnou zátěž a malé bloky
• Volume Group  - maximální systémová propustnost, detailní ladění nastavení pole, používá globální hot spare, konfigurujeme RAID (1, 5, 6 a 10), velikost segmentu, maximálně 30 disků, nepodporuje Thin Provisioning, vhodné pro velkou sekvenční zátěž a velké bloky
• Volume - logický prostor uvnitř Disk Poolu nebo Volume Groupy, obsahuje vlastní data, může být různého typu, hlavní je Standard Volume a Thin Volume
• LUN - Logical Unit Number - přístup hosta k Volume je řešen skrze LUN (ten je mapován na Volume)
• Host - iSCSI Initiator, klient (server), kterému mapujeme pomocí LUNu Volume, definuje se pomocí IQN, buď může být samostatný nebo zařazený do nějaké Host Group
• Host Group - skupina Hostů, která sdílí přístup ke stejným Volume, pak můžeme mapovat LUN více hostům najednou (musí umět pracovat s clusterovým úložištěm)
• Storage Partition - logická entita, která je tvořena jedním nebo více Volume, který je sdílen s klienty. Vytváří se, když definujeme mapování (mapping) Host nebo Host Group na jeden nebo více Volume. Zajišťuje, že k daným Volume mají přístup pouze daní Host. Pochopil jsem to tak, že Storage Partition se vytvoří vždy, když namapuji k Hostu nebo Host Group nějaký LUN (Volume). Nemohu to konfiguračně ovlivnit a vždy je jedna Storage Partition pro jednoho Host (Host Group), přičemž nezáleží kolik má přiřazeno LUNů.

Operace s diskem (Volume)

Základní komponenty

Po instalaci pole se většinou musíme rozhodnout, zda budeme používat Dynamic Disk Pool nebo Volume Group. A zda vytvoříme jeden velký ze všech disků nebo více menších. Já jsem zvolil jeden společný Dynamic Disk Pool (to zde není popsáno), takže pak je již možné vytvářet jednotlivé Volume pro servery (nebo skupiny serverů).

Pravidla pro pojmenovávání

Myslím, že na začátku je dobré si stanovit určitý standard, jak budeme pojmenovávat objekty, které budeme na poli běžně vytvářet. Tak abychom z názvu poznali, o jaký jde objekt a k čemu patří. Například:

• Host - jméno-serveru, příklad Server
• Host Group - jméno-skupiny-serverů, příklad VMware_group1
• IQN - jméno-serveru_IQN, příklad Server_IQN
• Volume - jméno-serveru_vol_číslo, příklad Server_vol_1

Vytvoření Hosta (serveru)

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Host Mappings
• klikneme pravým tlačítkem na Default Group (pokud vytváříme samostatného hosta, případně na určitou Host Group, pokud jej chceme zařadit do ní)
• v kontextovém menu zvolíme Define - Host

• v prvním kroku průvodce zadáme jméno hosta (ideálně název serveru) a zvolíme, jestli budeme používat Storage Partitions (asi na volbě nezáleží, pokud zvolíme použití SP, tak v rámci průvodce můžeme rovnou vytvořit Host Group a zařazení) klikneme Next

Pozn.: Storage Partitions, nebo přesněji jejich použití či nepoužití, jsem úplně nepochopil a nenašel žádný rozumný popis. Z mých pokusů plyne, že se vytvoří vždy pro každé mapování Host na Volume, pokud přidáme ke stejnému hostu více LUNů (Volume), tak to je v rámci stejné Storage Partitions. I když zvolíme, že je nechceme vytvářet, tak se při vytvoření mapování zvyšuje jejich počítadlo, přehled jsem nikde nenalezl. Storage Partitions se nevytváří pouze pro Default Group, ani když k ní přiřadíme mapování na Volume (jinak mi připadá, že se to chová stejně jako každá Host Group).

• v dalším kroku nastavujeme identifikaci hosta. Jako typ interface zvolíme iSCSI a pokud máme nastavenu komunikaci serveru na pole (připojení na iSCSI Target), tak můžeme použít volbu Add by selecting a known unassociated host port identifier a ze seznamu vybrat IQN serveru. Druhá možnost je zadat IQN ručně. Zvolíme popisný Label a přidáme Add, klikneme Next

Pozn.: Kdykoliv (když nevytváříme hosta) můžeme použít Host Mappings - Unassociated Host Port Identifiers, kde klikneme pravým tlačítkem a zvolíme View. Zobrazí se nám IQN, které server vidí a zatím nemá přiřazené. I když to tak nevypadá, tak na řádku funguje kopírování Ctrl+C.

• dále volíme typ hosta, což je operační systém a případně další možnosti, které jsou důležité pro způsob práce (a třeba Multipath). Pro Windows Server je možnost Windows, Windows (ATTO) a Windows Clustered. ATTO je výrobce FC HBA. How do I know which host operating system type is correct?, klikneme Next

• poslední krok pouze shrne zadané údaje a potvrdíme vytvoření Finish (pokud se zobrazí dialog na zadání admin hesla, tak vložíme pro potvrzení)

Pozn.: Nově vytvořený Host je vidět pod Default Group, ve chvíli kdy mu přiřadíme Volume, tak se přesune o úroveň výše (do Rootu Storage Array).

Vytvoření disku - Volume

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Storage & Copy Services
• rozklikneme náš Disk Pool (nebo Volume Group)
• klikneme pravým tlačítkem na Free Capacity a zvolíme Create Volume

• dostaneme varování, že některé připojení hostů nepodporuje Data Assurance, je to proto, že není podporováno na iSCSI, takže jej musíme odškrtnout, potvrdíme OK

Pozn.: Data Assurance (DA) kontroluje a opravuje chyby, které mohou nastat při komunikaci mezi hostem a diskovým polem. Při zapnutí na Volume přidává CRC ke každému bloku dat. Není podporováno pro iSCSI, ale pouze pro SAS a Fibre Channel.

• zadáme parametry pro Volume, zvážíme, zda chceme použít Thin Provisioning, zadáme požadovanou kapacitu (pro DDP se doporučuje použít násobky 4GB, protože takto je alokováno), jméno pro Volume (můžeme použít jméno serveru nebo clusteru, kam přiřadíme), rovnou můžeme přiřadit hosta (pokud jej máme vytvořeného) nebo přiřazení provedeme později (poslední možnost je namapování na Default Group), v atributech vypneme DA a můžeme využít SSD cache (možnosti jsou k dispozici dle předchozího výběru)

• pokud jsme nezvolili Thin Volume, tak ukončíme průvodce tlačítkem Finish. V opačném případě klikneme na Next a máme možnost upravit konfiguraci Fyzické versus Virtuální kapacity.

Pozn.: Virtuální kapacita je velikost, kterou vidí host, standardně je stejná jako fyzická. Když je potřeba, tak můžeme virtuální kapacitu zvýšit - zvětšit velikost Volume (ale nelze zmenšit). Nebo můžeme fyzickou velikost (kapacita alokovaná na poli pro zápis dat) nastavit menší, a když se blíží zaplnění, tak ji automaticky nebo ručně zvýšit až do maxima virtuální kapacity.

Pozn.: Po vytvoření Volume můžeme měnit jeho atributy, například zapnout SSD Cache.

Na záložce Storage & Copy Services vidíme v  levém okně pod Disk Poolem všechny Volumy, ale pro lepší přehled zvolíme položku All Logical Objects a v pravém okně vybereme Object Type Volumes.

Namapování Volume na Host

Pokud jsme přiřazení Hosta neprovedli již při vytváření Volume, tak můžeme provést samostatně.

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Host Mappings
• rozklikneme Default Group a klikneme pravým tlačítkem na našeho hosta

Nyní máme dvě možnosti, jak provést mapování. Jak jsem popisoval dříve, tak mi přijde, že u obou je výsledek stejný. Vždy se vytvoří Storage Partition, i když použijeme Add LUN Mapping.

• v kontextovém menu zvolíme Add LUN Mapping
• náš Host je před vybraný, v seznamu Volume vidíme, které jsou dostupné, zvolíme požadovaný a klikneme na Add
• mapování se nastaví, můžeme pokračovat dalším nebo zavřeme Close

Druhá možnost pomocí Define Storage Partition. Tato možnost je uváděná v oficiální dokumentaci.

• v kontextovém menu zvolíme Define Storage Partition
• spustí se průvodce, který by měl vytvořit mapování a Storage Partition
• na druhé stránce vybíráme Hosta (náš je před vybraný)

• v dalším kroku přiřazujeme jeden nebo více Volumů (a nastavujeme číslo LUNu), k čemuž využijeme tlačítko Add, průvodce ukončíme kliknutím na Finish

Pozn.: Na záložce Host Mappings vidíme v  levém okně všechny Host a Host Group, v pravém pak mapování - tedy LUN a Volume pro zvolený objekt. Celkový přehled se v pravém okně zobrazí, pokud vlevo vybereme kořen - Storage Array.

Smazání disku - Volume

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Storage & Copy Services
• rozklikneme náš Disk Pool (nebo Volume Group)
• klikneme pravým tlačítkem na Volume, který chceme smazat, a zvolíme Delete
• dostaneme znovu výběr všech Volume stejného typu (Thin nebo ne), můžeme jich označit více najednou, klikneme na Delete
• dostaneme upozornění, že dojde k trvalému odstranění dat, do políčka musíme napsat yes a kliknout na OK

Došlo k odstranění Volume a existujících mapování na Host či Host Group.

Zvětšení velikosti disku - Volume

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Storage & Copy Services
• rozklikneme náš Disk Pool (nebo Volume Group)
• klikneme pravým tlačítkem na Volume, který chceme zvětšit, a zvolíme Increase Capacity
• dostaneme informaci, které OS podporují změnu velikosti disku, potvrdíme OK
• zadáme hodnotu, o kterou chceme velikost zvětšit, potvrdíme OK
• zvětšení nějakou dobu trvá, dokud neskončí, tak je u Volume vidět symbol hodin

Editace Host Port Identifier (IQN)

• spustíme SANtricity Storage Manager Client a připojíme se na pole (otevře se okno Array Management)
• přepneme se na záložku Host Mappings
• klikneme pravým tlačítkem na kořenovou položku Storage Array v levé části okna a zvolíme Manage Host Port Identifiers
• v novém okně vidíme přehled aliasů, IQN, přiřazení a můžeme upravovat