Veeam Backup & Replication - Object Storage Repository a Immutability

Pozn.: Popis v článku vychází z Veeam Backup & Replication 12.3, licencováno pomocí Veeam Universal License (VUL), tedy obdoba Enterprise Plus.

Neměnné zálohy a objektová úložiště

Princip Immutability, a možnosti, jak ji dosáhnout ve Veeam Backup & Replication, popisuje podrobně článek Veeam Backup & Replication - Immutable Repository a bezpečné zálohy. Jde o zajištění, že data (zálohy) nemohou být změněna ani smazána zadanou dobu (Immutability Period) po jejich vytvoření. Jde o princip Write Once Read Many (WORM), kdy můžeme data jedinkrát zapsat a neomezeně číst.

Největší skupinou úložišť, která Immutability podporují, jsou (určitá) objektová úložiště. A jejich hlavní kategorie S3 kompatibilní úložiště s funkcí S3 Object Lock. Obecný popis a fungování objektových úložišť obsahuje článek Co je objektové úložiště (Object Storage)?

S3 Compatible Object Storage Repository

Příprava S3 Object Storage na ONTAP

Jako S3 kompatibilní objektové úložiště můžeme použít NetApp ONTAP. Konfiguraci jsme popsali v minulém článku NetApp ONTAP S3 Object Storage.

• nakonfigurujeme SVM s S3 protokolem
• vytvoříme S3 kbelík (Bucket), do kterého se budou ukládat zálohy, protože chceme využít Immutability, tak musíme zapnout object locking
• pro přístup potřebujeme uživatele s nastavenými právy, tedy jeho přístupový a tajný klíč (access and secret key)

Dokumentace

• Amazon S3 and S3 Compatible Object Storage Considerations and Limitations
• Immutability Considerations and Limitations
• Adding S3 Compatible Object Storage

Vytvoření Backup Repository S3 Compatible

• Veeam Backup & Replication Console
• Backup Infrastructure - Backup Repositories - Add Repository
• zvolíme Object Storage - S3 Compatible - S3 Compatible

• Name - unikátní název a popis úložiště
• Account
  • Service Point - zadáme FQDN (ideálně kvůli certifikátu) nebo IP adresu objektového úložiště (použije se https, můžeme také zadat port)
  • Region - pro OnPrem úložiště patrně není důležité, us-east-1 funguje
  • Credentials - vybereme nebo přidáme přístupové údaje k objektovému úložišti (Access key a Secret key)
  • Connection mode - volíme způsob přenosu dat do objektového úložiště, buď přímý nebo skrze bránu

• Bucket
  • Bucket - vybereme předem připravený kbelík pro ukládání záloh
  • Folder - vybereme existující složku nebo vytvoříme novou
  • Limit object storage consumption to - můžeme určit měkký limit využití úložiště, pokud je limit překročen, tak se běžící úloha dokončí, ale nová se nespustí
  • Make recent backups immutable - můžeme nastavit immutability period, tedy dobu, po kterou není možné uložená data měnit nebo mazat, GUI dovoluje zadat 1 až 90 dní, delší období můžeme nastavit pomocí PowerShellu

• při přechodu do dalšího kroku můžeme dostat nějaké varování nebo chybu (třeba chybějící licenci na NetApp a tedy nemožnost použít funkci S3 Object Lock)

• Mount Server - vybereme mount server a jeho parametry pro obnovu souborů a aplikačních položek
• Review - klikneme na Apply a proběhne instalace a konfigurace všech požadovaných komponent

Azure Blob Storage Repository

Azure Blob Storage je cloudové řešení společnosti Microsoft poskytující objektové úložiště. Využívá tři typy prostředků Storage account, Container a Blob.

Omezení a podpora

• Microsoft Azure Object Storage Considerations and Limitations
• Immutability Considerations and Limitations
• Microsoft Azure Storage Accounts

Azure Blob Storage podporuje Immutability, kterou můžeme aktivovat buď na úrovni Storage account, Container nebo Version. Pro využití s Veeam Backup & Replication máme řadu omezení, která musíme dodržet, aby neměnnost korektně fungovala a Veeam ji mohl řídit (nepoužívá se řízení Azure politikami).

• musíme aktivovat verzování pro Storage account
• Immutability musí být nastavena na úrovni kontejneru (ne pro Storage account)
• není podporována Default immutability policy(nesmí být povolena)
• není podporováno Soft delete for blobs (nesmí být povoleno)
• nesmíme konfigurovat Lifecycle management policies pro data kontejneru
• nesmíme povolit neměnnost pro již existující kontejner (musíme vytvořit nový)

Vytvoření Azure Blob Storage

• Introduction to Azure Blob Storage
• Storage account overview
• Create an Azure storage account
• How to Configure Azure Storage Account to Leverage Immutability with Veeam Backup & Replication

Vytvoření Storage account

• Microsoft Azure portal
• v rámci naši Azure subscription a určité Resource group vytvoříme (Create) Storage account
• na několika kartách vyplňujeme parametry pro vytvářený Storage account (zde jsou uvedeny jen hlavní položky)
• Basics
  • Storage account name - jméno, které musí být globálně unikátní v rámci Azure (Storage account already taken)
  • Performance - výkon Standard pro běžný general-purpose v2 storage account
  • Redundancy - podle potřeby, nejlevnější je Locally-redundant storage (LRS)

• Advanced
  • Security - Allow enabling anonymous access on individual containers - zakážeme
  • Security - Enable storage account key access - povolíme, pokud chceme umožnit autorizaci pomocí přístupového klíče
  • Blob storage - Access tier - podle potřeby a nákladů volíme Hot, Cool nebo Cold
• Networking
  • Network connectivity - Network access - zvolíme Enable public access from all networks
• Data protection
  • Recovery - Enable soft delete for blobs - zakážeme, musí být vypnuté
  • Tracking - Enable versioning for blobs - povolíme, je podmínka pro využití neměnnosti
  • Access control - Enable version-level immutability support - zakážeme, Veeam doporučuje využít neměnnost na úrovni kontejneru

Vytvoření Container

• otevřeme vytvořený Storage account
• Data storage - Containers - New container
• Name - jméno kontejneru (malá písmena, číslice a pomlčka)
• klikneme na Advanced
• Enable version-level immutability support - povolíme pro využití neměnnosti

Získání Access key

Přistupovat k úložišti můžeme pomocí přístupového klíče (Access key) nebo Entra ID účtu.

• otevřeme vytvořený Storage account
• Security + networking - Access key
• pro Veeam potřebujeme Storage account name a jeden z klíčů

Vytvoření Backup Repository Azure Blob Storage

Adding Azure Blob Storage

• Veeam Backup & Replication Console
• Backup Infrastructure - Backup Repositories - Add Repository
• zvolíme Object Storage - Hyperscalers - Microsoft Azure Storage - Azure Blob Storage
• Name - unikátní název a popis úložiště
• Account
  • Credentials - vybereme nebo přidáme přístupové údaje ke Storage account (můžeme použít Access key, zde nazvaný Shared key)
  • Region - standardně Azure Global (Standard)
  • Connection mode - volíme způsob přenosu dat, buď přímý nebo skrze bránu

• Container
  • Container - vybereme předem připravený kontejner pro ukládání záloh
  • Folder - vybereme existující složku nebo vytvoříme novou
  • Limit object storage consumption to - můžeme určit měkký limit využití úložiště, pokud je limit překročen, tak se běžící úloha dokončí, ale nová se nespustí
  • Make recent backups immutable - můžeme nastavit immutability period, dobu, po kterou není možné uložená data měnit nebo mazat, GUI dovoluje zadat 1 až 90 dní, delší období můžeme nastavit pomocí PowerShellu
  • Use cool blob storage tier (may result in higher cost) - pro určité situace můžeme využít tuto volbu, ale musíme zvážit náklady vs. využití

• Mount Server - vybereme mount server a jeho parametry pro obnovu souborů a aplikačních položek, tlačítkem Configure můžeme nastavit Helper Appliance, která se dočasně nasadí v Azure pro health check a uplatnění retence

• Review - klikneme na Apply a proběhne instalace a konfigurace všech požadovaných komponent

Backup Job

Backup Repositories

Přehled vytvořených úložišť.

Vytvoření Backup Job

Zálohovací úlohu vytvoříme standardním způsobem, například podle Veeam Backup & Replication - Backup Job. Jako Storage - Backup repository vybereme naše Azure Blob Storage Repository nebo S3 Compatible Repository. Neměnnost záloh bude minimálně taková, jako Immutability period zadaná na úložišti (Backup Repository).

Backups - Object Storage

Po provedení zálohovací úlohy uvidíme vytvořené zálohy ve složce Object Storage.

Pokus o smazání souborů zálohy

Když zkusíme smazat zálohu ve Veeam Backup & Replication, tak ke smazání nedojde a dostaneme informaci, že do určitého data je nastavena Immutability. Pro test jsem nastavil Immutability period pouze 1 den, přesto se ukazuje, že soubor je neměnný 11 dní. Vysvětlení je v Block Generation.

Objektové úložiště

Ukládání záloh

Objektové úložiště nepracuje se soubory, ale s objekty. Veeam rozdělí soubory záloh na bloky určité velikosti a ty nahrává jako objekty. Neměnnost se nastavuje na každý objekt. Ve výchozím nastavení se pracuje s velikostí bloku 1 MB, každý blok se následně komprimuje.  Výsledkem je spousta souborů o velikosti do 1 MB.

Během přírůstkové zálohy se nahrávají pouze nová nebo změněná data jako nové objekty. U existujících dat se pouze aktualizuje datum neměnnosti. Aby se ušetřily I/O operace, tak Veeam přidává několik dní k datu vypršení platnosti neměnnosti. Označuje se Block Generation.

Přístup k objektům na S3 kompatibilním objektovém úložišti

Jako nástroj pro správu S3 úložiště můžeme využít například AWS CLI, S3 Browser GUI nebo Rclone. Na mnoha místech je doporučován S3 Browser, který je šikovný a pohodlný. Na webu se uvádí, že je k dispozici freeware verze, ale po instalaci je uvedeno, že je pouze pro nekomerční použití. Navíc má různá omezení, například nedovoluje mazání více objektů najednou.

S3 Browser umožňuje mazat i verze objektů na záložce Versions. A dovolí také smazat celý kbelík, i když obsahuje objekty nebo jejich verze.

Přístup k objektům na Azure Blob Storage

Přímo v Microsoft Azure portal se pod Storage account nachází Storage browser (nebo můžeme přímo otevřít určitý kontejner), který umožňuje práci s objekty. Více možností nabízí aplikace Azure Storage Explorer.

Níže je vidět neúspěšný pokus o smazání dat zálohy.