Dokumentace
Tento článek obsahuje pouze malou část příkazů, které jsem potřeboval (příležitostně budu doplňovat).
V oficiální dokumentaci máme k dispozici popis příkazů (man pages) ONTAP 9 Documentation Center - CLI. Kde rozklikneme Command man pages a dále vybereme sekci pro odpovídající verzi ONTAP. A popis práce a použití CLI Using the ONTAP command-line interface, který pokračuje popisem správy jednotlivých oblastí.
CLI - Command-Line Interface
Úrovně administrátorských oprávnění
Běžně pracujeme v administrátorském režimu, ale pro některé příkazy nebo parametry se musíme přepnout do rozšířeného (privilegovaného) režimu, případně diagnostického.
AFF::> set -privilege advanced
Warning: These advanced commands are potentially dangerous; use them only when directed to do
so by NetApp personnel.
Do you want to continue? {y|n}: y
AFF::*> set -privilege diagnostic
Warning: These diagnostic commands are for use by NetApp personnel only.
Do you want to continue? {y|n}: y
AFF::*> set -privilege admin
AFF::>
Shelly
Na NetApp clusteru můžeme využít tři různé Shelly:
- clustershell - hlavní a nativní Shell přístupný po přihlášení, správa a konfigurace clusteru
- nodeshell - speciální Shell pro příkazy, které se týkají uzlu, příkazy se volají pomocí
system node run - systemshell - nízko úrovňový shell pro diagnostiku a řešení problémů
Zadávání příkazů
Příkazy jsou uspořádány do hierarchie pomocí adresářů. Příkaz můžeme spustit zadáním celé cesty příkazu.
cluster::> storage disk show
Nebo navigací skrze adresářovou strukturu. Zadáním .. se posuneme o úroveň nahoru. Pomocí top se dostaneme na nejvyšší úroveň hierarchie.
cluster::> storage cluster::storage> disk cluster::storage disk> show
Příkazy můžeme zkracovat zadáním minimálního počtu písmen, které jej činí unikátním. Můžeme využívat tabulátor pro doplnění (rozbalení) příkazu a zobrazení parametrů. A otazník (?) pro zobrazení možností s popisem na daném místě.
V parametrech příkazů můžeme využívat operátory dotazů. Zástupný znak hvězdička (*), který odpovídá všem záznamům. Třeba všechny svazky s řetězcem volume show -volume *VMware*. Operátor ne vykřičník (!), hodnota, která se nemá porovnat. Operátor nebo (|), rozsah (..), menší (<), větší (>), rozšířený dotaz ( { dotaz } ).
U příkazu show můžeme použít parametr -instance pro zobrazení všech detailů. Příklad volume show -instance. Další možnost je využít parametr -fields a určit, které položky se mají zobrazit (defaultní se zobrazují vždy). Otazník nám zobrazí možnosti, příklad volume show -fields ?.
Správa sítí
Porty
Zobrazení informací o fyzických portech. Seznam všech portů.
AFF::> network port show
Node: AFF-01
Speed(Mbps) Health
Port IPspace Broadcast Domain Link MTU Admin/Oper Status
--------- ------------ ---------------- ---- ---- ----------- --------
a0a Default iSCSI-1 up 9000 -/- healthy
a0b Default iSCSI-2 up 9000 -/- healthy
e0M Default Default up 1500 auto/1000 healthy
e0a Default CIFS up 9000 auto/1000 healthy
e0b Default - down 1500 auto/- -
e0c Cluster Cluster up 9000 auto/25000 healthy
e0d Cluster Cluster up 9000 auto/25000 healthy
e2a Default - up 9000 auto/10000 healthy
e2b Default - up 9000 auto/10000 healthy
e2c Default - up 9000 auto/10000 healthy
e2d Default - up 9000 auto/10000 healthy
Detail určitého portu.
network port show -node AFF-01 -port e0M
Logical Interface (LIF), management IP adresy
Jedna z věcí, kterou nelze provést ve webovém rozhraní, je změna management IP adres.
V CLI si můžeme vypsat aktuální LIF a nastavené IP adresy. Seznam všech, různě filtrovat nebo detail (všechny parametry).
network interface show
network interface show -lif cluster_mgmt
network interface show -lif cluster_mgmt -instance
AFF::> network interface show -curr-port e0M
Logical Status Network Current Current Is
Vserver Interface Admin/Oper Address/Mask Node Port Home
----------- ---------- ---------- ------------------ ------------- ------- ----
AFF
AFF-A-mgmt1 up/up 10.0.0.198/24 node-a e0M true
AFF-B-mgmt1 up/up 10.0.0.199/24 node-b e0M true
cluster_mgmt up/up 10.0.0.200/24 node-a e0M true
3 entries were displayed.
Management adresu můžeme modifikovat, ale v příkazu musíme přesně určit, jakou adresu nastavujeme.
network interface modify -vserver AFF -lif AFF-B-mgmt1 -home-node node-b -home-port e0M -address 10.0.0.199 -netmask 255.255.255.0 network interface modify -vserver AFF -lif cluster_mgmt -address 10.0.0.200 -netmask 255.255.255.0
Síťová brána
Aby nám fungovalo směrování v síti, tak musíme mít také definovány brány pro různé subnety. Definice se provádí globálně, můžeme jich mít více a automaticky se přiřadí podle adresy interface.
AFF::> network route create -vserver AFF -gateway 10.0.0.1
AFF::> network route show
AFF::> network route show -vserver AFF
Vserver Destination Gateway Metric
------------------- --------------- --------------- ------
AFF
0.0.0.0/0 10.0.0.1 20
0.0.0.0/0 192.168.100.1 20
2 entries were displayed.
Zobrazení routovací tabulky
Zobrazí aktivní instalované routy na jednom nebo více uzlech clusteru. Vyžaduje rozšířený (privilegovaný) režim.
AFF::> network route active-entry show AFF::> network route active-entry show -vserver Cluster -node AFF-01 Vserver: Cluster Node: AFF-01 Subnet Group: 0.0.0.0/0 Destination Gateway Interface Metric Flags ---------------------- ------------------- --------- ------ ----- 127.0.0.1/32 link#3 lo0 1 127.0.10.1/32 link#3 lo0 1 127.0.20.1/32 link#3 lo0 1 169.254.0.0 link#4 e0c 7 169.254.0.0 link#5 e0d 7 169.254.131.53/32 link#4 lo0 1 169.254.229.90/32 link#5 lo0 1 7 entries were displayed.
DNS servery
Další věc, která je potřeba, jsou DNS servery. Níže je ukázka zobrazení aktuálních hodnot a přidání další adresy.
AFF::> vserver services dns show
Name
Vserver State Domains Servers
--------------- --------- ----------------------------------- ----------------
AFF enabled firma.local 10.0.0.10
2 entries were displayed.
AFF::> vserver services dns delete -vserver AFF
AFF::> vserver services dns create -vserver AFF -domains firma.local -name-servers 10.0.0.10,10.0.0.20
Testování komunikace - ping
Pro test síťové komunikace se může hodit klasický ping, který vyvoláme z určitého kontroléru či interface.
AFF::> network ping -node node-a -destination www.google.com www.google.com is alive AFF::> network ping -lif cluster_mgmt -vserver AFF -destination www.google.com www.google.com is alive
Subnets
Zobrazení definovaných subnetů.
network subnet show
Vytvoření subnetu.
network subnet create -ipspace Default -subnet-name Mgmt -broadcast-domain Mgmt -subnet 10.1.0.0/255.255.255.0 -gateway 10.1.0.1 -ip-ranges 10.1.0.10-10.1.0.100
Zobrazení statistik portu
V nodeshell můžeme zobrazit statistiky fyzických portů. Více je popsáno v NetApp ONTAP chyby na síťových portech.
system node run -node AFF-02 -command ifstat e2c
IPspaces
Zobrazení definovaných IPspaces.
AFF::> network ipspace show
IPspace Vserver List Broadcast Domains
------------------- ----------------------------- ----------------------------
Cluster
Cluster Cluster
Default
AFF, svm-iscsi CIFS, Default, iSCSI-1,
iSCSI-2
2 entries were displayed.
Broadcast Domains
Zobrazení definovaných Broadcast Domains.
AFF::> network port broadcast-domain show
IPspace Broadcast Update
Name Domain Name MTU Port List Status Details
------- ----------- ------ ----------------------------- --------------
Cluster Cluster 9000
AFF-01:e0c complete
AFF-01:e0d complete
AFF-02:e0c complete
AFF-02:e0d complete
Default Default 1500
AFF-01:e0M complete
AFF-02:e0M complete
iSCSI-1 9000
AFF-01:a0a complete
AFF-02:a0a complete
iSCSI-2 9000
AFF-01:a0b complete
AFF-02:a0b complete
4 entries were displayed.
Failover groups
Zobrazení definovaných Failover groups.
AFF::> network interface failover-groups show
Failover
Vserver Group Targets
---------------- ---------------- --------------------------------------------
AFF
Default
AFF-01:e0M, AFF-02:e0M
iSCSI-1
AFF-01:a0a, AFF-02:a0a
iSCSI-2
AFF-01:a0b, AFF-02:a0b
Cluster
Cluster
AFF-01:e0c, AFF-01:e0d,
AFF-02:e0c, AFF-02:e0d
4 entries were displayed.
System, Cluster a Interconnect
Zobrazení členů clusteru
AFF::> cluster show Node Health Eligibility --------------------- ------- ------------ AFF-01 true true AFF-02 true true 2 entries were displayed.
Vysoká dostupnost
AFF::> cluster ha show High-Availability Configured: true
High Availability interconnect konfigurace
Vyžaduje rozšířený (privilegovaný) režim. Typ je třeba InfiniBand, Remote direct memory access over Converged Ethernet (RoCE).
AFF::*> system ha interconnect config show
Node: AFF-01
Interconnect Type: RoCE
Local System ID: 536875713
Partner System ID: 536875678
Connection Initiator: local
Interface: external
Port IP Address
---- -----------------
e0c-17
169.254.17.161
e0d-18
169.254.18.222
Node: AFF-02
Interconnect Type: RoCE
Local System ID: 536875678
Partner System ID: 536875713
Connection Initiator: partner
Interface: external
Port IP Address
---- -----------------
e0c-17
169.254.17.192
e0d-18
169.254.18.143
2 entries were displayed.
High Availability interconnect porty
AFF::*> system ha interconnect port show
Physical Link
Link Layer Layer Physical Physical Active
Node Monitor Port State State Link Up Link Down Link
-------------- ------- ---- -------- --------- -------- --------- ------
AFF-01 off
0 linkup active 2 2 true
1 linkup active 2 2 true
AFF-02 off
0 linkup active 4 4 true
1 linkup active 4 4 true
2 entries were displayed.
High Availability interconnect stav
AFF::*> system ha interconnect status show
Node: AFF-01
Link 0 Status: up
Link 1 Status: up
Is Link 0 Active: true
Is Link 1 Active: true
IC RDMA Connection: up
Node: AFF-02
Link 0 Status: up
Link 1 Status: up
Is Link 0 Active: true
Is Link 1 Active: true
IC RDMA Connection: up
2 entries were displayed.
Převzetí služeb při selhání úložiště
AFF::> storage failover show
Takeover
Node Partner Possible State Description
-------------- -------------- -------- -------------------
AFF-01 AFF-02 true Connected to AFF-02
AFF-02 AFF-01 true Connected to AFF-01
2 entries were displayed.
Během restartu jednoho uzlu.
AFF::> storage failover show
Takeover
Node Partner Possible State Description
-------------- -------------- -------- ----------------------------------
AFF-01 AFF-02 - Unknown
AFF-02 AFF-01 false In takeover, Auto giveback will be
initiated in 442 seconds
2 entries were displayed.
Replikační kruh členů clusteru
cluster ring show
Stav clusteru v jádře
AFF::> cluster kernel-service show
Master Cluster Quorum Availability Operational
Node Node Status Status Status
---------- ---------- ------------- ------------- -------------
AFF-02 AFF-01 in-quorum true operational
AFF-02 in-quorum true operational
2 entries were displayed.
Disky a agregáty
Zobrazení informací o agregátu
Stručný seznam agregátů
storage aggregate show
Detaily o určitém agregátu
storage aggregate show -aggregate aggr_data1
Zobrazení informací o discích
Seznam disků včetně typu, agregáty na disku, apod.
storage disk show
Detail určitého svazku.
storage disk show -disk 1.0.0
Informace o oddílech na disku a vlastnictví kontrolérem.
storage disk show -partition-ownership
Zobrazení Spare disků
Ve výstupu vidíme, že je použito ADP v2 (Root-Data1-Data2). Spare disky se zobrazují pro každý kontrolér (Node). Je potřeba se dívat, že existuje prostor pro Root (Local Root Usable) i Data (Local Data Usable).
AFF::> storage aggregate show-spare-disks
Original Owner: node-a
Pool0
Root-Data1-Data2 Partitioned Spares
Local Local
Data Root Physical
Disk Type Class RPM Checksum Usable Usable Size Status
---------------- ------ ----------- ------ -------------- -------- -------- -------- --------
1.0.23 SSD solid-state - block 1.73TB 31.19GB 3.49TB zeroed
Original Owner: node-b
Pool0
Root-Data1-Data2 Partitioned Spares
Local Local
Data Root Physical
Disk Type Class RPM Checksum Usable Usable Size Status
---------------- ------ ----------- ------ -------------- -------- -------- -------- --------
1.0.8 SSD solid-state - block 0B 31.19GB 3.49TB zeroed
1.0.23 SSD solid-state - block 1.73TB 0B 3.49TB zeroed
3 entries were displayed.
Vytvoření agregátu
storage aggregate create -aggregate aggr_data2 -diskcount 23 -node node-b
Vymazání Spare disků
storage disk zerospares -owner node-b
Svazky (Volume) a LUNy
Zobrazení informací o Volumech
Seznam svazků včetně agregátu, stavu, velikosti, apod.
volume show
Detail určitého svazku.
volume show -vserver svm-iscsi_ -volume svm_iscsi_root
Zobrazení informací o LUNech
Seznam LUNů včetně typu, stavu, velikosti, apod.
lun show
Detail určitého LUNu.
lun show -vserver svm-iscsi -path /vol/Servers_vol_01/Servers_lun_01
Nahození (přenutí do Online) vypnutého LUNu
Pokud v LUNu dojde místo, tak se vypne, aby chránil data. Přepne se do stavu space-error. Pokud problém vyřešíme, tak jej musíme opět zapnout.
lun modify -path /vol/Servers_vol_01/Servers_lun_01 -state online
Vyprázdnění fronty obnovy (Purge Recovery Queue)
Pokud smažeme Volume, tak se nám hned neuvolní místo v agregátu. Nějakou dobu je možno Volume obnovit. Pokud potřebujeme prostor hned, tak můžeme úplně odstranit. Free Aggregate space is not returning after deleting Volumes - NetApp Knowledge Base
Nejprve si vypíšeme frontu, pak je varianta vymazání všeho nebo určitého Volume.
set -privilege diagnostic volume recovery-queue show -vserver <vserver name> volume recovery-queue purge-all -vserver <vserver_name> volume recovery-queue purge -vserver <vserver_name> -volume <volume name>
Zobrazení informací o Storage Efficiency
Detailněji popsáno ke konci článku NetApp ONTAP komponenty, principy a vlastnosti fungování
volume efficiency config volume efficiency show volume efficiency show -instance volume show -vserver svm-iscsi -volume Server_vol_01 volume show-footprint storage aggregate efficiency cross-volume-dedupe show storage aggregate show-efficiency -advanced storage aggregate show-efficiency storage aggregate show-efficiency -details storage aggregate show-space
Storage VM (SVM) - vServer
Zobrazení informací o SVM
Seznam SVM.
AFF::> vserver show Admin Operational Root Vserver Type Subtype State State Volume Aggregate ----------- ------- ---------- ---------- ----------- ---------- ---------- AFF admin - - - - - AFF-01 node - - - - - AFF-02 node - - - - - svm-iscsi data default running running svm_iscsi_ AFF_01_NVME root _SSD_1 4 entries were displayed.
Detail určitého SVM.
vserver show -vserver svm-iscsi
Změna iSCSI Target Name (IQN) na vServer
Setting the privilege level in the CLI.
AFF::> set -privilege advanced
Warning: These advanced commands are potentially dangerous; use them only when directed to do
so by NetApp personnel.
Do you want to continue? {y|n}: y
AFF::*> vserver iscsi stop -vserver svm-iscsi
AFF::*> vserver iscsi modify -vserver svm-iscsi -target-name iqn.1992-08.com.netapp:AFF
AFF::*> vserver iscsi start -vserver svm-iscsi
Události a upozornění
Více je popsáno v NetApp ONTAP EMS události, notifikace, monitoring zaplnění
Zobrazení událostí (logů)
event log show event log show -severity <=NOTICE event log show -message-name monitor.volume.nearlyFull event log show -time >10m
Zasílání notifikací (událostí) na mail
event config modify -mail-server SERVER -mail-from EMAIL@FIRMA.CZ event notification destination create -name ADMIN1 -email PRIJEMCE1@FIRMA.CZ event notification create -filter-name important-events -destinations ADMIN1
Komentáře
Zatím tento záznam nikdo nekomentoval.