Pozn.: Článek vychází z verze ONTAP 9.9.1.

Zobrazení systémových událostí (logů)

• event log show
• How to efficiently search the event log in clustered Data ONTAP (jde o starý článek pro ONTAP 8.2, kde existovalo více stupňů závažnosti)

Stupeň závažnosti (Severity Level)

• EMERGENCY - Disruption
• ALERT - Single point of failure
• ERROR - Degradation
• NOTICE - Information
• INFORMATIONAL - Information
• DEBUG - Debug information

Výpis událostí pomocí CLI

V CLI máme příkaz, s řadou parametrů, pro zobrazení obsahu logu událostí (Event Log). Defaultně se zobrazují nejnovější události první s hodnotami čas, kdy událost nastala, na kterém uzlu clusteru, závažnost události a text události.

event log show

Pro více detailů můžeme přidat parametr detail, ale ještě více zobrazí instance.

event log show -detail
event log show -instance

Ve výchozím stavu se zobrazují pouze události se závažností EMERGENCY, ALERT a ERROR. Změnit můžeme určením závažnosti.

event log show -severity DEBUG
event log show -severity <=NOTICE

Filtrovat můžeme podle jména zprávy (Message Name)

event log show -message-name secd.*

Nebo celého obsahu (textu) události (a pomocí dalších parametrů, které zde neuvádíme)

event log show -event *Aggregate*

Události můžeme vybírat podle času, třeba za posledních 10 minut nebo určením intervalu.

event log show -time >10m
event log show -time "11/30/2021 1:00:00".."11/30/2021 22:00:00" 

Pozn.: V praxi většinou potřebujeme různé parametry kombinovat.

Podle informací v The 'event log show' command displays only 3 days or 2048 events příkaz pracuje pouze s posledními 3 dny nebo 2048 záznamy. Počítají se všechny EMS zprávy, takže je to většinou jen krátký časový úsek.

Článek popisuje i různé možnosti, jak pracovat se staršími logy. Například stáhnout soubory s logy. To můžeme jednoduše přes webové rozhraní Service Processor infrastructure (SPI), adresa http(s)://<cluster-mgmt-ip>/spi/ (adresa clusteru plus /spi).

Zobrazení událostí pomocí ONTAP System Manager

• Events & Jobs - Events

Na webu si můžeme zobrazit události, můžeme v nich filtrovat a vyhledávat. Zobrazení ovšem není zrovna svižné.

Také mám zvláštní chování na jednom NetApp poli s ONTAP 9.9.1P3 a nedohledal jsem, zda je to vlastnost nebo chyba. Zde se mi zobrazují pouze události se závažností EMERGENCY, ALERT and ERROR. Kdežto na starším poli s ONTAP 9.8P7 jsou vidět všechny závažnosti (všechny kategorie se nabízí i ve filtru).

Nastavení upozornění na systémové události (posílání na mail)

• EMS configuration overview
• Event Commands

Pozn.: Podle dokumentace bude od ONTAP 9.10.1 možno konfigurovat pomocí (GUI) System Manager, jak EMS doručuje upozornění na události. Ve starších verzích je nutno využít CLI.

Vybrané události můžeme odesílat přímo na email, Syslog server, REST API klienta (WebHooks) nebo jako SNMP trap. Konfigurace je dost podobná, zde se zaměříme na posílání emailů.

Zadání SMTP serveru

Nastavení poštovního SMTP serveru (nenabízí příliš možností).

event config modify -mail-server SERVER.FIRMA.CZ -mail-from EMAIL@FIRMA.CZ 

Vytvoření příjemců (email adresy)

Vytvoření emailových příjemců (obecně definujeme různé příjemce notifikací), vždy jde o jednu adresu, takže pro více adres musíme definovat několik záznamů nebo využít distribuční skupinu.

event notification destination create -name ADMIN1 -email PRIJEMCE1@FIRMA.CZ
event notification destination create -name ADMIN2 -email PRIJEMCE2@FIRMA.CZ

Výběr odesílaných událostí (filtr)

Události, které nás zajímají a chceme na ně být upozornění, se vybírají pomocí filtru událostí (Event Filter). Je tvořen jedním nebo více pravidly (Rule), která se prochází odshora dolů, dokud nedojde ke shodě (First Fit). Na konci je implicitní pravidlo, které zachytí vše a vyřadí (Exclude).

Pravidlo může být typu include (zpráva odpovídající pravidlu se vloží) nebo exclude (nevloží). V pravidle zadáváme jméno (zprávy) události (message-name), závažnost (severity) a typ SNMP Trap (snmp-trap-type). Tyto tři položky se vyhodnocují pomocí logického AND. Když je v položce více hodnot, tak se použije logické OR. Hvězdička (*) je zástupný znak pro vše (můžeme kombinovat s dalšími znaky).

Filtr můžeme využít předdefinovaný nebo vytvořit vlastní. Výpis existujících filtrů spolu s pravidly:

event filter show

Systémem definované jsou 3 filtry událostí

• important-events - všechny události ALERT a EMERGENCY
• no-info-debug-events - všechny události EMERGENCY, ALERT, ERROR a NOTICE (ne INFO a DEBUG)
• default-trap-events - všechny události ALERT a EMERGENCY a všechny Standard a Built-in SNMP trapy

Vytvoření nového filtru událostí (vybírá všechny události EMERGENCY, ALERT, ERROR, plus události o zaplnění agregátu nebo svazku)

event filter create -filter-name important-events-2
event filter rule add -filter-name important-events-2 -type include -severity DEBUG -message-name monitor.volume.full
event filter rule add -filter-name important-events-2 -type include -severity DEBUG -message-name monitor.volumes.one.ok
event filter rule add -filter-name important-events-2 -type include -severity DEBUG -message-name monitor.volume.ok
event filter rule add -filter-name important-events-2 -type include -severity EMERGENCY,ALERT,ERROR

Vyřazení určité zprávy ze zasílání

event filter rule add -filter-name important-events-2 -type exclude -message-name tsse.scan.start.failed
event filter rule reorder -filter-name important-events-2 -position 4 -to-position 5

Nastavení zasílání upozornění

Poslední krok je spojení filtru událostí a jednoho nebo více příjemců (cílů) vytvořením Event Notification. Jakmile vytvoříme, tak začne odesílání fungovat.

event notification create -filter-name no-info-debug-events -destinations ADMIN1,ADMIN2

Úprava nebo mazání se provádí pomocí ID, které se zobrazuje při výpisu.

event notification show
event notification modify -ID 3 -destinations ADMIN3
event notification modify -ID 3 -filter-name important-events-2
event notification delete -ID 1

Můžeme si také vypsat historii události, které byly zaslány na určitý cíl notifikací (email).

event notification history show -destination admin1

Katalog událostí

Máme k dispozici příkaz, který nám vypíše události podle zadaného filtru nebo detail jedné události.

AFF::> event catalog show -message-name *nearlyFull*
Message                          Severity         SNMP Trap Type
-------------------------------- ---------------- -----------------
fg.inodes.member.nearlyFull      ALERT            Severity-based
fg.space.member.nearlyFull       ALERT            Severity-based
monitor.volume.nearlyFull        ERROR            Built-in
3 entries were displayed.

event catalog show -message-name monitor.volume.nearlyFull

Další příkaz shrnuje informace o výskytech událostí.

event status show -message-name *nearlyFull*

Sledování zaplnění agregátů a svazků

• How to configure Aggregate and Volume Nearly Full and Full Thresholds in Clustered Data ONTAP 8 and ONTAP 9
• Address aggregate fullness and overallocation alerts
• How the FlexVol volume and aggregate fullness alerts work (starý popis, který již není úplně aktuální)

Hodnoty téměř plné a plné (Nearly Full and Full Thresholds)

Pro svazky (Volume) a agregáty (Aggregate) se definují procentuální hodnoty, kdy je považován za

• téměř plný - EMS generuje chybu (ERROR), defaultně 95%, 0 znamená vypnuto, maximum 99%
• plný - EMS generuje zprávu (DEBUG), defaultně 98%, 0 znamená vypnuto, maximum 100%

EMS zpráva se generuje při každém překročení prahové hodnoty. Pokud zaplnění stoupá, tak jde o ERROR/DEBUG, pokud klesá, tak o OK. Pokud nastavíme zasílání upozornění na tyto události, tak nás to může včas informovat na docházející místo ve svazku nebo agregátu.

Prahové hodnoty pro agregát (Aggregate Thresholds)

Zobrazení aktuálního nastavení. Můžeme zobrazit všechny položky určitého agregátu nebo jen prahové hodnoty pro všechny či určitý agregát.

storage aggregate show -aggregate AFF_01_NVME_SSD_1
storage aggregate show -fields space-nearly-full-threshold-percent,space-full-threshold-percent 

Změnit můžeme jednu nebo obě hodnoty určitého agregátu.

storage aggregate modify AFF_01_NVME_SSD_1 -space-nearly-full-threshold-percent 90 -space-full-threshold-percent 95

Prahové hodnoty pro svazek (Volume Thresholds)

Zobrazení aktuálního nastavení.

volume show -fields space-nearly-full-threshold-percent,space-full-threshold-percent

Změna hodnot.

volume modify -volume Server_vol -vserver svm-iscsi -space-nearly-full-threshold-percen 94 -space-full-threshold-percent 97

Můžeme také nastavit více svazků najednou.

volume modify -volume VMware* -space-nearly-full-threshold-percen 90 -space-full-threshold-percent 95

EMS zprávy pro události

Pokud se generuje zpráva při překročení hodnoty téměř plné, tak jde o následující událost. Je stejná, jestli se jedná o svazek nebo agregát.

AFF::> event catalog show -message-name monitor.volume.nearlyFull

     Message Name: monitor.volume.nearlyFull
         Severity: ERROR
      Description: This message occurs when one or more file systems are nearly full, typically indicating at least 95% full.
 This event is accompanied by global health monitoring messages for the customer. The space usage is computed based on the
 active file system size and is computed by subtracting the value of the "Snapshot Reserve" field from the value of the
 "Used" field of the "volume show-space" command.
Corrective Action: Create space by increasing the volume or aggregate sizes, or by deleting data or deleting Snapshot(R)
 copies. To increase a volume's size, use the "volume size" command. To delete a volume's Snapshot(R) copies, use the "volume
 snapshot delete" command. To increase an aggregate's size, add disks by using the "storage aggregate add-disks" command.
 Aggregate Snapshot(R) copies are deleted automatically when the aggregate is full.
   SNMP Trap Type: Built-in
    Is Deprecated: false

Zaslaný email obsahuje předmět a zprávu a pokračuje popisem a nápravnou akcí výše.

Subject: AFF-01: monitor.volume.nearlyFull [ERROR]

Message: monitor.volume.nearlyFull: Aggregate AFF_01_NVME_SSD_1 is nearly full (using or reserving 75% of space and 0%
 of inodes).

Pokud se generuje zpráva při překročení hodnoty plné, tak jde o následující událost. Opět stejnou pro svazek i agregát.

AFF::> event catalog show -message-name monitor.volume.full

     Message Name: monitor.volume.full
         Severity: DEBUG
      Description: This message occurs when one or more file systems are full, typically indicating at least 98% full. This
 event is accompanied by global health monitoring messages for the customer. The space usage is computed based on the active
 file system size and is computed by subtracting the value of the "Snapshot Reserve" field from the value of the "Used"
 field of the "volume show-space" command. The volume/aggregate can be over 100% full due to space used or reserved by
 metadata. A value greater than 100% might cause Snapshot(tm) copy space to become unavailable or cause the volume to become
 logically overallocated. See the "vol.log.overalloc" EMS message for more information.
Corrective Action: NONE
   SNMP Trap Type: Built-in
    Is Deprecated: false

Email obsahuje.

Subject: AFF-02: monitor.volume.full [DEBUG]

Message: monitor.volume.full: Volume HV01lab_vol_01@app:602... is full (using or reserving 87% of space and 0% of inodes).

Při návratu pod prahovou hodnotu se generuje zpráva závažnosti DEBUG monitor.volumes.one.ok a monitor.volume.ok.

Při úplném zaplnění se generují další zprávy jako wafl.vol.full (ALERT), LUN.out.of.space (EMERGENCY).