Pozn.: Popis v článku vychází z FortiGate FG-300E s FortiOS verzí 6.2.3. Který je nakonfigurovaný jako FGCP cluster a využívá VDOM.

Pozn.: Popis je relativně stručný. Některé věci jsem testoval pouze krátce a nestudoval všechny možnosti. Dokumentace je opět roztříštěná a v některých věcech si i protiřečí. Možná je to způsobeno velkými změnami mezi verzemi. Neručím tedy za správnost informací uvedených v článku.

V článku se podíváme na různé možnosti, jak na jednom FortiGate využít dvě připojení k internetu (pro všechny metody jich může být i více). Každé připojení k internetu je přivedeno na jeden interface FortiGate jednotky. Má přiřazenu veřejnou IP adresu z definovaného rozsahu. Může mít různou rychlost a další parametry. Za každou linkou je dostupný internet.

Základní nastavení

Základní nastavení provedeme stejně, jako bychom měli jednu linku do internetu. Identicky pro obě připojení. Pro různé konfigurace později upravíme nastavení statického směrování.

• (Global/VDOM) > Network > Interfaces

Nastavíme rozhraní, kde jsou připojeny jednotlivé linky do internetu, včetně veřejné IP adresy.

• (VDOM) > Network > Static Routes

Pro komunikaci do internetu standardně nastavujeme statickou Default Route (pro cíl 0.0.0.0/0), kde zadáváme adresu brány (ISP router) z rozsahu, kde máme veřejnou IP adresu (tedy Next Hop). Pro statické směrování je výchozí hodnota Administrative Distance 10 a priorita 0.

Když nám přibude druhá linka do internetu, tak ji v tuto chvíli nastavíme identicky (samozřejmě volíme jiný Interface a adresu brány).

Komunikace z internetu

Jednodušší je situace, kdy publikujeme nějaké služby na veřejné IP adrese do internetu. Běžně máme veřejné IP adresy přiděleny od ISP. Na každé lince tedy máme jiné adresy. Nevyřešíme vysokou dostupnost, pokud bude jedna linka nedostupná, tak nebudou fungovat ani její IP adresy. Ale můžeme na FortiGate publikovat služby na IP adresách obou ISP a využívat tak obě linky.

Můžeme standardně vytvořit například Virtual IP (Destination NAT) a použít veřejnou IP adresu libovolného připojení. Pokud jsme provedli konfiguraci z předchozí kapitoly, tak bude vše fungovat. FortiGate komunikaci přijme, zpracuje a odpoví ze stejné IP adresy a přes rozhraní, kde požadavek přišel. Patrně v tuto chvíli hledá v routovací tabulce s přihlédnutím k rozhraní.

Komunikace do internetu

Dokumentace Dual Internet connections, Routing concepts

Pro komunikaci uživatelů do internetu přes dvě WAN linky máme několik možností konfigurace. Můžeme řešit rozvažování provozu (Load Balancing) i vysokou dostupnost (High Availability či Fault Tolerance pomocí Redundancy a Failover).

• statické směrování s primární a záložní cestou
• Equal Cost Multi-Path (ECMP) Load Balancing and Failover
• Policy Routing
• Software-Defined Wide Area Networks (SD-WAN)

V základním nastavení jsme pro více připojení do internetu vytvořili více statických směrovacích záznamů (route). Máme tak více cest pro stejný cíl, které používají jiný interface a jinou bránu. FortiGate se při směrování musí rozhodnout, jaký Next Hop použije.

Když vytváří routovací tabulku, a existuje více záznamů pro stejný cíl, tak porovná hodnotu Administrative Distance (AD) a vybere hodnotu s nejnižší vzdáleností, kterou vloží do tabulky. Pokud mají stejnou AD, tak se do tabulky vloží oba záznamy. Při rozhodování o směrování se pak FortiGate dívá na hodnotu priority (proprietární údaj, který používá Fortinet) a použije cestu s nižší hodnotou. Do směrovací tabulky se instalují pouze záznamy, jejichž rozhraní je nahoře (up).

Pokud existuje více cest pro stejný cíl a mají stejnou vzdálenost i prioritu, tak mluvíme o Equal Cost Multi Path (ECMP) routes. V tom případě FortiGate automaticky používá ECMP Load Balancing.

Pokud chceme využívat dvě cesty do internetu, tak musíme mít také dvakrát Firewall Policy (nebo využívat Multiple Interface Policies a přiřadit obě rozhraní), protože tam definujeme odchozí interface. V každé situaci, kdy se používá rozvažování na dvě linky nebo přepnutí v případě výpadku, se musí najít politika, která komunikaci povolí.

Primární a záložní cesta

Dokumentace Technical Tip: Redundant Internet connection without load-balance

• (VDOM) > Network > Static Routes

Pokud máme dvě připojení k internetu, tak můžeme jedno aktivně využívat a druhé mít jako zálohu. Dosáhneme toho jednoduše tak, že nakonfigurujeme defaultní routy s různou Administrative Distance nebo prioritou (což doporučuje Fortinet). Pak se upřednostňuje cesta s nižší hodnotou a pouze pokud je nedostupná, tak se použije druhá.

Aby FortiGate poznal, že je cesta nedostupná, tak můžeme využít Link Health Monitor.

ECMP Load Balancing and Failover

Dokumentace Technical Tip: ECMP - Load balancing algorithms for IPv4 and IPv6, Technical Tip: Configure Equal Cost MultiPath (ECMP), Advanced static routing example: ECMP failover and load balancing, Technical Note: Configuring link redundancy - Traffic load-balancing / load-sharing - ECMP (Equal Cost Multiple Path) - Dual Internet or WAN scenario

Equal Cost Multi-Path (ECMP) Load Balancing and Failover jsou metody, které rozšiřují statické směrování. Používají se k distribuci provozu do stejného cíle přes více cest. Na FortiGate automaticky probíhá rozvažování a výchozí chování je rozvažování podle zdrojové IP adresy, z které se počítá hash a přiřadí cesta.

To zařídí směrování provozu do internetu přes různou cestu pro různé klienty. Stejná zdrojová IP adresa využívá vždy stejnou cestu. Pokud chceme, aby fungoval také Failover, a když je jedna cesta nedostupná, tak se přestane používat (odstraní se ze směrovací tabulky). Tak musíme využít Link Health Monitor.

Změnit metodu rozvažování můžeme pomocí CLI.

config system settings 
    set v4-ecmp-mode source-ip-based
end

Link Health Monitor (Interface Status Detection)

Dokumentace CLI Reference - Configure Link Health Monitor, Link health monitor, Technical Tip: Bring other interfaces down when link monitor fails

Pokud je dole některý interface, přes který je vytvořena statická routa, tak se tento záznam odstraní ze směrovací tabulky. Pokud je nedostupné některé z připojení do internetu, tak chceme, aby se tato cesta odstranila z routovací tabulky. Automaticky se pak použije další dostupná cesta.

V praxi většinou nebývá problém ve spojení na rozhraní FortiGate, ale dále po cestě, kde není nedostupná brána u ISP. Link Health Monitor může kontrolovat dostupnost brány (či nějakého serveru v internetu) pomocí funkce ping v pravidelném intervalu. Pokud není cíl dostupný (definovaný počet testů), tak považuje linku za nedostupnou a odstraní cestu z routovací tabulky. Pokud je cesta opět dostupná, tak vrátí záznam zpět. V případně nedostupnosti může také vypnout další interface.

Konfiguruje se pomocí CLI

config system link-monitor
    edit "test"     
        set srcintf "WAN1"
        set server "8.8.8.8"
        set update-cascade-interface disable
        set update-static-route enable
end

Policy Routing

Dokumentace Policy routing, Technical Note : Configuration example of Policy Based Routing and VIP for SMTP services in Dual Wan scenario, YouTube - How to Configure Policy Base Routing on Fortigate, Technical Tip: How to create 'Stop Policy Route'

• (VDOM) > Network > Policy Routes

Pokud máme dvě linky do internetu a chceme určovat, který provoz má využít kterou linku, tak nám může pomoci Policy Routing. Klasické směrování hledá cestu pouze podle cílové adresy. Pomocí Policy Routing můžeme rozhodovat podle zdrojového rozhraní, zdrojové adresy, cílové adresy, protokolu či služby. A k tomu určit adresu brány (Next Hop) a případně rozhraní. Můžeme tak vytvořit pravidla, aby jedna interní síť použila jednu linku do internetu a zbytek druhou. Nebo určitý typ provozu (komunikace na Office 365 či SMTP) použil vyhrazenou linku.

Dokumentace uvádí, že pro běžné nastavení musí existovat záznam v routovací tabulce (FIB) odpovídající definované Policy Route. Při směrování se nejprve prochází Policy Route (seznam politik odshora dolů), pokud žádná nevyhovuje, tak se prochází statické routy. To znamená, že se uplatňuje před všemi Static Route. Pokud vytvoříme Policy Route na všechny cílové adresy (Default Route), tak se použije a ignorují se více specifické statické routy nebo routy z přímo připojených rozhraní.

Pokud chceme řízeně rozdělovat provoz (bez automatického rozvažování) na různé linky do internetu, tak možné řešení je následující. Pro linku, kterou bereme jako primární (výchozí), vytvoříme Default Route se standardní vzdáleností (AD) 10 a prioritou 0. Pro druhou linku vytvoříme Default Route také se vzdáleností 10, ale vyšší prioritou 10. Pro provoz, který má používat druhou linku, definujeme Policy Route identifikující tento provoz (třeba podle příchozího rozhraní) a zadáme odchozí rozhraní a adresu brány druhého připojení.

Pokud je nedostupné rozhraní, pro které je definovaná Policy Route, tak se tato politika nepoužije. Protože neexistuje záznam ve FIB a Policy Route se přeskočí. Můžeme tedy také využít Link Health Monitor. Tak standardně dojde k přepadu na druhou linku.

V Policy Route můžeme také použít akci Stop Policy Routing. To způsobí ukončení procházení Policy Route a přechod do standardní směrovací tabulky (přesněji do Forwarding Information Base).

Software-Defined Wide Area Networks (SD-WAN)

Dokumentace SD-WAN (6.2.3), SD-WAN (6.0.0), CLI Reference - Configure redundant internet connections using SD-WAN, Technical Tip: Multiple default routes where sdwan rules are not preferred

Komplexní řešení více připojení k internetu (Mulit-path WAN) se jmenuje SD-WAN. Dá se říci, že nahrazuje vše, co jsme si popsali výše.

SD-WAN je virtuální rozhraní, které se skládá ze skupiny členských rozhraní (minimálně jedno, maximálně 255), které mohou být připojeny k různým typům linek. Zjednoduší se konfigurace, protože nastavujeme jednu skupinu route a FW politik.  Kde použijeme rozhraní SD-WAN, tam se automaticky aplikuje na všechna rozhraní, která jsou členem SD-WAN. Můžeme využívat různé rozvažovací algoritmy (Load Balancing) pro směrování provozu na jednotlivé linky. Například podle využití pásma či počtu session.

V rámci VDOM můžeme vytvořit pouze jedno SD-WAN rozhraní. IPv6 se konfiguruje pomocí CLI. Můžeme vytvořit maximálně 4000 SD-WAN pravidel a monitorů zdraví linky. Rozhraní, která chceme zařadit do SD-WAN, nesmí být použita ve většině konfigurace (jinak nejdou zařadit). Jako členství v zóně, firewall politice, default route (ale může být použito ve Virtual IP či Address).

Pokud povolíme SD-WAN, tak vznikne virtuální rozhraní s pevným jménem SD-WAN, ke kterému není možné přidat Alias. Toto rozhraní můžeme použít pouze na některých místech, primárně ve Static Route a Firewall/Security Policy. Nejde zařadit do Zone, ani použít v Address nebo Virtual IP jako interface.

Vytvoření SD-WAN rozhraní

• (VDOM) > Network > SD-WAN

Povolíme SD-WAN, tím se vytvoří virtuální rozhraní, které vidíme pod Network > Interfaces. Jako Interface Members zařadíme rozhraní, kde máme linky do internetu. Nastavíme adresu brány (kterou bychom jinak zadávali do Default Route) a můžeme nastavit cenu (Cost), ta má smysl pouze pokud budeme používat rozvažovací strategii Lowest Cost (SLA).

Přidání Static Route

• (VDOM) > Network > Static Routes

Vytvoříme Default Route (tedy cíl 0.0.0.0/0.0.0.0), jako rozhraní volíme SD-WAN (nezadává se adresa brány). Ať zadáme jakoukoliv vzdálenost (AD), tak se změní na 1.

Nastavení defaultního algoritmu rozvažování

• (VDOM) > Network > SD-WAN Rules

Mezi SD-WAN pravidly existuje implicitní (poslední) pravidlo sd-wan, které se použije, pokud nevyhovuje jiné směrovací pravidlo. V něm nastavujeme algoritmus, který se využije pro rozvažování provozu na jednotlivé členy SD-WAN. Výchozí je Source IP, cože je stejné jako pro ECMP Load Balancing.

Nastavení monitoringu linek

• (VDOM) > Network > Performance SLA

Link Health Monitoring nastavujeme pomocí Performance SLA, které má mnoho možností. Základem je sledování kvality linky (podle latency, jitter a packet loss) a detekci výpadku linky pro členská rozhraní SD-WAN. Můžeme sledovat jeden nebo dva cíle/servery (sleduje se jeden, pokud není dostupný, tak se testuje druhý, pokud nejsou oba, tak kontrola selže). V GUI můžeme nastavit využití PING a HTTP GET. Pomocí CLI jed ještě využít TCP-Echo, UDP-Echo a Two-Way Active Measurement Protocol (TWAMP). Nastavujeme interval kontrol, kdy se bere jako neaktivní a po kolika úspěšných pokusech opět jako aktivní.

Základní vlastnost je úprava routovací tabulky (Update static route), kdy se odstraní nedostupné linky, takže se nepoužívají.

Vytvoření SD-WAN pravidel

• (VDOM) > Network > SD-WAN Rules

Můžeme vytvářet pravidla, což je podobné jako Policy Route. V těchto pravidlech můžeme identifikovat provoz a určit pro něj odchozí rozhraní. Pravidla se prochází odshora dolů a první odpovídající se použije (First Fit). Pokud žádné pravidlo nevyhovuje, tak se použije implicitní sd-wan. Pokud v pravidle zadáme více odchozích rozhraní, tak se použije zvolená strategie pro výběr rozhraní. Můžeme volit manuální přiřazení jednoho rozhraní.

Podobně jako u Policy Route, musí existovat záznam ve Forwarding Information Base (FIB) odpovídající SD-WAN Rule. Pokud neexistuje, tak se pravidlo přeskakuje. Toto chování lze, pro určité pravidlo, změnit příkazy

config system virtual-wan-link
    config service
        edit 2
            set gateway enable
            set default enable
        next
    end
end

Pokud nechceme provoz rozvažovat na více linek, tak můžeme vytvořit pravidlo pro všechny cílové adresy (tedy pokrývající všechen provoz) a manuálně přiřadit rozhraní. Nikdy tedy nedojde na implicitní pravidlo.

Pokud chceme vytvořit pravidlo podle příchozího rozhraní, tak to nelze v GUI, ale musíme využít CLI.

config system virtual-wan-link
    config service
        edit 2
            set input-device "DMZ"
        next
    end
end

Vytvoření bezpečnostních politik

• (VDOM) > Policy & Objects > IPv4 Policy

Aby mohl nějaký provoz odcházet do internetu, tak musíme vytvořit odpovídající Firewall / Security Policy. V nich vybereme jako Outgoing Interface sd-wan, to pokryje všechna členská rozhraní.

Monitoring SD-WAN

• (VDOM) > Network > SD-WAN
• (VDOM) > Monitor > SD-WAN Monitor
• (VDOM) > Network > Performance SLA
• (VDOM) > FortiView > All Sessions

Na dvou místech v GUI můžeme sledovat využití jednotlivých linek SD-WAN. U Performance SLA vidíme aktuální údaje (a zda vyhovují SLA cílům) a krátkou historii v grafech. V seznamu session můžeme zobrazit Destination Interface a kontrolovat, na jaké rozhraní se jaký provoz posílá.

Pozn.: Možná pouze ve verzi FortiOS 6.2.3 je bug (v Release Notes je něco takového popsané a mělo by být opraveno v 6.2.4). Pokud provozujeme FGCP cluster s VDOM, tak hodnoty vidíme pouze na FortiGate jednotce, kde je daná VDOM Master. V některých případech se tedy musíme manuálně připojit na druhou jednotku, jinak se zobrazuje linka jako Error.

• (VDOM) > Monitor > Routing Monitor

Zde vidíme routovací tabulku a vpravo se můžeme přepínat ze Static & Dynamic na Policy, kde se zobrazují Policy Route a SD-WAN Rules.

Můžeme použít tlačítko Route Lookup (v případě FGCP cluster s VDOM musíme být připojeni na FortiGate jednotce, kde je daná VDOM Master). Zde zadáme údaje (minimálně cílovou IP adresu) a zvýrazní se záznam, který se použije pro směrování.

Příkazy pro dohled a diagnostiku

Pozn.: V případě FGCP cluster s VDOM musíme většinu příkazů používat na FortiGate jednotce, kde je daná VDOM Master.

Zobrazení všech aktivních záznamů v routovací tabulce

get router info routing-table all

Zobrazení všech aktivních i neaktivních záznamů v routovací tabulce

get router info routing-table database

Výpis Policy Route (to jsou i SD-WAN Rules)

diagnose firewall proute list

Zobrazí Forwarding Information Base (FIB)

get router info kernel

Výpis Route Cache

diagnose ip rtcache list

Výpis členů SD-WAN

diagnose sys virtual-wan-link member

Výpis všech IP adres přiřazených na rozhraní FortiGate

diagnose ip address list

Routing Lookup - vyhledání směrovacího záznamu

Obecně se provádí směrování podle směrovací tabulky (Routing Table), kdy se hledá záznam pro cílovou IP adresu paketu. Tabulka má záznamy seřazeny podle délky masky od nejdelší (nejmenší subnet či jeden adresa /32) po nejkratší (což může obsahovat všechny adresy /0). Prochází se postupně, dokud se nenalezne vyhovující záznam nebo je cílová síť nedosažitelná. Pokud máme definovánu Default Route (obdoba Default Gateway pro server/stanici), tak se vždy nalezne záznam (Default Route obsahuje všechny adresy a je v seznamu na konci).

FortiGate používá pro zvýšení výkonu Route Cache, kde nejprve hledá záznam. Z Routing Table si vytváří Forwarding Information Base (FIB), kterou označuje jako Kernel Routing Table. Směrovací záznamy hledá ve FIB, která je optimalizovaná pro rychlejší vyhledávání cílové adresy (FIB Lookup).

Ve chvíli, kdy začneme používat Policy Routing nebo SD-WAN či oboje, tak se situace komplikuje. Nenašel jsem dokumentaci, která by vše jednoznačně popisovala. Takže neručím za správnost následujícího. Nejvíce napovídá diagram v článku Technical Tip: Multiple default routes where sdwan rules are not preferred.

• nejprve se prochází Policy Routes, pokud se nalezne politika
  • akce je Forward Traffic, tak se ve FIB hledá záznam pro interface, pokud se nenalezne, tak se politika přeskakuje, jinak se podle údajů směruje provoz (Forward Traffic)
  • akce je Stop Policy Routing, tak se jde na FIB (přeskakuje se SD-WAN)
• prochází se SD-WAN Rules, pokud se nalezne pravidlo
  • v nastavení pravidla je set default enable, set gateway enable, tak se podle údajů směruje provoz
  • v nastavení pravidla je set default disable, set gateway disable, tak se provede FIB Lookup pode cílové IP adresy
    • pokud se nalezne záznam a interface není členem SD-WAN, tak se podle záznamu směruje provoz
    • pokud se nalezne záznam a interface je členem SD-WAN, tak se podle SD-WAN pravidla směruje provoz
    • pokud se nenalezne záznam, tak se přeskakuje
• prochází se Forwarding Information Base (FIB) podle cílové IP adresy, nejprve se podívá do Route Cache a pak FIB
  • pokud se nalezne záznam, tak podle údajů směruje provoz
• konec Route Lookup - neexistuje cesta