skutečné přepravní schopnosti Internetu. Budování nové infrastruktury není
přitom jedinou možností. Cílem tohoto článku je seznámit s principy činnosti a
se zásadami používání vyrovnávacích serverů pro WWW, tedy zařízení, které se
snaží nepříznivý trend zvrátit lepším využitím stávajících možností Internetu.
Dříve než se ponoříme do vlastího popisu si však uděláme krátkou jazykovou
odbočku. Poměrně nemotorný český termín "vyrovnávací server pro WWW" totiž
neoznačuje nic jiného než systém, který se v angličtině nazývá proxy-cache, v
české počítačové hantýrce pak cache-server nebo proxy-server. Můj bývalý kolega
Pavel Satrapa též razil termín WWW--silo, který sice výstižně zachycuje princip
činnosti, ale bohužel se neujal. V textu budou dále použity všechny uvedené
termíny (s výjimkou "sila") jako synonyma.
Kde je problém?
Největší bolestí současného Internetu je (a vždy bylo) zahlcení komunikačních
tras, zejména mezinárodních linek. Zatímco počet WWW serverů, WWW klientů a
objem přepravovaných dat exponenciálně roste, síť, která by měla zajistit
provoz mezi nimi, roste navzdory úsilí poskytovatelů Internetu daleko pomaleji.
S tím, jak se Internet více a více zahlcuje, stoupá nespokojenost a zklamání
uživatelů z neefektivity a nespolehlivosti síťové technologie.
Zásadním problémem je však to, že stávající sítě nejsou optimálně využity. V
současnosti drtivá většina WWW spojení prochází přes pomalé mezinárodní spoje.
Pokud bychom dokázali udržet komunikaci v rámci rychlých lokálních či národních
sítí, bylo by možné dosáhnout daleko lepších výsledků. WWW model, ve kterém je
jeden jediný zdroj informace (server) a mnoho čtenářů rozptýlených po celé
síti, proto není z hlediska využití přenosového pásma vůbec optimální. Kdyby se
dokumenty přiblížily čtenářům, nebylo by nutné je přenášet přímo ze vzdálených
serverů, ale stačilo by je přenést z nějakého bližšího "meziskladu". Takový
systém lze vytvořit použitím různě realizovaných vyrovnávacích pamětí,
proxy-cache serverů.
Princip činnosti
Vyrovnávací server pro WWW je tedy zařízení, které se snaží zmenšit objem dat
přenášených po Internetu službou WWW. Místo toho, aby WWW prohlížeče uživatelů
navazovaly přímá spojení se vzdálenými servery, předávají své dotazy blízkému
vyrovnávacímu serveru, který je za ně vyřídí a získané dokumenty jim předá
zpět. Současně s tím se získané dokumenty ukládají do vyrovnávací paměti
serveru; pokud se některá žádost o dokument (či obrázek nebo zvukovou stopu)
bude opakovat častěji, může vyrovnávací server použít lokální kopii a vyřídit
tak žádost rychleji, bez potřeby přenášet data ze vzdáleného WWW serveru.
Praktické zkušenosti ukazují, že s takovouto základní konfigurací není problém
ušetřit přibližně 40 % objemu provozu.
Hiearachie vztahů
V předchozím odstavci jsme hovořili o vyrovnávacím serveru bez vazeb na okolí
nenajde-li server ve své vyrovnávací paměti platnou kopii dokumentu, obrátí se
přímo na původní WWW server a použije tak pro získání dokumentu stejné
komunikační trasy, jakou by použil klient. Doba získání dokumentu je v takovém
případě stejná, odstraní se ale duplicitní dotazy. Hovoříme o ploché struktuře
cache-serverů.
Zajímavější situace však nastává v případě, kdy se vyrovnávací server v
situaci, kdy sám nemá platnou kopii dokumentu,
obrací na okolní vyrovnávací servery. Tím lze výrazně zvýšit pravděpodobnost,
že požadovaný dokument bude nalezen na některém blízkém vyrovnávacím serveru,
což zkrátí dobu přenosu dokumentu po síti.
Nejjednodušším případem je hierarchie cache-serverů: každý vyrovnávací server
je nastaven tak, aby se v případě nenalezení platné kopie dokumentu obrátil na
nadřazený cache-server. Ten může být rovněž nastaven tak, aby se obracel na
svého nadřízeného, atd. Dotaz od klienta, který do hierarchie vstoupí v
některém ze spodních pater, tak putuje stromem vztahů vzhůru tak dlouho, dokud
některý z cache-serverů nenalezne platnou kopii dokumentu, a nebo dokud dotaz
nedorazí až k vrcholu hierarchie tam již nelze vyřídit dotaz jinak než dotazem
na původní webový server.
Řetězení proxy-serverů do hierarchie má však několik vážných vad na kráse,
zejména co se týče spolehlivosti a efektivity. Z obrázku je zřejmé, že v
případě selhání některého cache-serveru dojde k odříznutí všech podřízených
cache-serverů a jejich uživatelů. Výpadek jednoho serveru tak může ohrozit
funkčnost velké části systému; výpadek serveru na vrcholu pak znemožní činnost
celé soustavy.
K nevýhodám patří též to, že klasická hierarchie předává požadavky pouze směrem
vzhůru, ale nikdy vodorovně či dolů. Pokud použijeme situaci znázorněnou na
obrázku, v případě, že platná kopie dokumentu požadovaného uživatelem
prostřednictvím serveru Cache-12 je uložena např. v Cache-21, nebude pro
vyřízení dotazu využita. Důvod je zřejmý dotaz putuje pouze směrem vzhůru a
tudíž neprojde přes cache-server, který má platnou kopii dokumentu.
K výhodám hierarchie naopak patří to, že neklade na zúčastněné cache-servery
žádné dodatečné komunikační nároky. Hierarchii je tak možné sestavit i z
prostých cache-serverů, které nepodporují možnost vytvořit sofistikovanější
strukturu, či ze serverů od různých dodavatelů, které spolu neumí jinak
komunikovat. Dvojúrovňovou hierarchii lze též využít tehdy, pokud existuje
pouze jediná rozumná cesta do Internetu (například komutovaná linka) a
realizace složitějších struktur by byla zbytečným luxusem.
Složitější struktura
cache-serverů
Složitější struktura vzájemně provázaných cache-serverů se nazývá cache-mesh.
Tvoří ji vyrovnávací servery s definovanými vzájemnými sousedskými vztahy.
Sousedící cache-servery se podle míry spolupráce dělí na dvě kategorie: na
rodiče a sourozence. Od sourozenců je možné získat pouze dokumenty, které již
mají ve vyrovnávacích pamětech. Rodič může též fungovat jako nadřazený server v
hierarchii vede přes něj cesta k nenalezeným dokumentům.
Vyrovnávací server, který obdrží žádost o dokument, jehož platná kopie není
uložena ve vyrovnávací paměti, se tedy nejprve zeptá svých sousedících
cache--serverů, zda ho náhodou nemají. Pokud od některého souseda obdrží
kladnou odpověď, získá dokument od něj (respektive od souseda, který jako první
kladně odpověděl). Pokud žádný soused požadovaný dokument nemá, obrátí se
server na některého z rodičů. Výběr rodičů je ovlivněn rychlostí jejich odezvy,
předkonfigurovanou důležitostí a dodatečnými pravidly, beroucími v potaz např.
geografické umístění cílového WWW serveru.
Výhodou uspořádání vyrovnávacích serverů do "propletence" je vysoká flexibilita
konfigurace. S pomocí sousedských vazeb je možné požadované dokumenty hledat na
blízkých vyrovnávacích serverech dříve, než dojde k jejich získání od zdroje.
Rodičovské vazby umožňují předávat neuspokojené požadavky dále strukturou
serverů; v případě selhání rodiče však nedojde k "odstřižení" všech jeho
podřízených, protože výpadek rodiče lze detekovat tím, že přestane odpovídat na
dotazy. V takovém případě podřízený server použije jiného rodiče (s nižší
preferencí), nebo získá dokument sám přímo od zdroje uživatel tedy selhání
nadřízeného serveru vůbec nezaznamená. Pravidla výběru rodičů umožňují
rozkládat dotazy na několik nadřízených serverů, což snižuje jejich zatížení a
zlepšuje odezvu.
Nevýhodou struktury cache-mesh, vyplývající z probíhající komunikace mezi
sousedícími servery, je nepatrné zvýšení počáteční prodlevy před získáním
dokumentu. Zatímco celková doba čekání na dokument je při použití této
struktury v průměru kratší než při jeho získání z WWW serveru, díky úvodní
komunikaci mezi cache-servery se před očima uživatele chvíli "nic neděje", což
subjektivně působí jako zpomalení přístupu k Webu. Některé vyrovnávací servery
(jmenovitě poslední verze populárního programu Squid) tomu předchází tím, že
spolupracující vyrovnávací servery si v předstihu vymění seznamy lokálně
uložených dokumentů. Tím se odbourá nutnost počátečního zjišťování, kteří že
sousedi mají kopii požadovaného dokumentu, a je možné se obrátit přímo na
souseda, v jehož seznamu tento dokument figuruje.
Stárnutí dokumentů
Každý cache-server, dříve než předloží klientovi nalezenou lokální kopii
dokumentu, musí nejprve zvážit, zda je tato kopie čerstvá. Ani uživatelé, ani
správci WWW serverů nemají zájem na tom, aby vyrovnávací servery stohovaly
dokumenty nekonečně dlouho chcete-li si k ranní kávě přečíst poslední novinky
ze světa, tři týdny stará titulní stránka vašeho oblíbeného internetového
deníku vás jistě příliš nepotěší. Musí tedy existovat nástroje, jimiž lze
stanovit dobu platnosti kopie.
V ideálním případě by měl určit životnost dokumentu sám jeho autor, protože je
nejvíce fundovaný o ní rozhodnout. Stačí, aby do záhlaví dokumentu uvedl
(pomocí HTTP hlavičky Expires), do kdy může být tento dokument ukládán ve
vyrovnávacích pamětech. Cache-servery pak mohou po celou dobu životnosti
používat bez obav lokální kopie; očekává se, že po vypršení platnosti bude
dokument vystřídán novějším. Toto schema se výborně hodí na pravidelně
publikované zprávy, bulletiny, internetové noviny a časopisy.
Jiný způsob, jakým mohou autoři ovlivnit ukládání dokumentů ve vyrovnávacích
pamětech, je stanovit maximální dobu, po kterou je povoleno ponechat dokument
na cache-serveru (HHTP hlavička Cache-Control: max-age). Po uplynutí této doby
je třeba znovu přenést dokument ze serveru. Použitím tohoto způsobu se odstraní
opakované přenosy dokumentu z WWW serveru a současně je zaručeno, že klienti
budou moci vidět změny provedené v dokumentu maximálně do doby specifikované
tímto parametrem.
Ve většině případů však autoři bohužel životnost svého dokumentu neuvádějí.
Vyrovnávací servery si proto s ověřením čerstvosti musí poradit po svém. Často
používanou metodou (a nutno říci, že rozumnou), je určení morálního stáří
dokumentu. Morální stáří se počítá jako poměr mezi dobou, kterou dokument
strávil ve vyrovnávací paměti, a celkovým stářím dokumentu. Pokud je tento
poměr menší než hodnota určená v konfiguraci vyrovnávacího serveru, považuje se
dokument za čerstvý, v opačném případě za prošlý. Tím je zajištěno, že často se
obměňující dokumenty stráví ve vyrovnávací paměti jen chvilku, zatímco ty
neměnné mohou být uloženy podstatně déle (viz tabulka na následující straně).
Zjistí-li vyrovnávací server, že jeho kopie dokumentu není čerstvá, pokusí se
přímo na původním WWW serveru ještě ověřit, zda se originál dokumentu změnil od
doby jeho přenesení na vyrovnávací server (dotazem s hlavičkou
If-Modified-Since). Pokud se dokument od přenesení nezměnil, WWW server jen
krátce odpoví "dokument nezměněn"; vyrovnávací server tak může předložit
klientovi lokální kopii dokumentu, neboť její čerstvost právě ověřil u
autoritativního zdroje. Pokud je na webovém serveru vystavena nová verze
dokumentu, cache-server ji přenese, předloží klientovi a uloží si ji coby
čerstvou do své vyrovnávací paměti.
Jak na to?
Zřízení vlastního cache-serveru není složité volně dostupný je např. program
Squid, na trhu jsou též k dispozici komerční implementace. Zdálo by se tedy, že
masovému nasazení cache-serverů nestojí nic v cestě. Ale...
Problémy
Mají-li být vyrovnávací servery efektivní, je nutné, aby je využívalo co
nejvíce uživatelů. Konfigurace použití vyrovnávacích serverů v současných
prohlížečích je triviální, zisk z jejich používání nesporný; přesto řada
uživatelů nebude ochotna cache-servery používat možná to nedovedou, možná jsou
pohodlní, možná mají principiální výhrady proti tomu, aby jejich komunikace se
světem procházela více systémy, než je nutné.
Stejně tak poskytovatelé obsahu, tedy správci WWW serverů, nejsou vždy z
používání vyrovnávacích serverů nadšeni. Cache-servery sice snižují zátěž
jejich webových serverů, ale současně ovlivňují statistiky přístupů a reklam,
na nichž závisí život komerčně provozovaných serverů.
Uživatelé
Základním úkonem, který musí každý uživatel provést, je nastavit svůj WWW
prohlížeč tak, aby směroval své požadavky na vyrovnávací server. V optimálním
případě by měl být jeho prohlížeč přednastaven správcem sítě, či by se
nastavení mělo provést automaticky po instalaci programů pro připojení na
Internet. Někdy si však musí uživatel nastavit přístup k vyrovnávacímu serveru
ručně. Je to možné provést hned několika způsoby.
První, základní způsob, jak
nastavit WWW prohlížeč, je ručně ho nasměrovat na vyrovnávací server uvedením
jeho adresy a portu. V grafických prohlížečích je tato volba zpravidla pod
volbou "Připojení"; je třeba vyplnit položky obsahující adresu vyrovnávacího
serveru a port, na kterém server běží (zpravidla se používají čísla portů 3128,
8080 nebo 81) oba tyto údaje by měl dát uživatelům k dispozici správce sítě
nebo poskytovatel internetového připojení.
Webový prohlížeč se tak vlastně stává nejnižším uzlem hierarchie cache-serverů,
přičemž uvedený vyrovnávací server se stává jeho nadřízeným. Druhý, lepší
způsob, jak lze nakonfigurovat WWW prohlížeč, spočívá v takzvané
autokonfiguraci. Do nastavení WWW prohlížeče se zapíše lokátor URL, který
ukazuje na soubor s jednoduchým programem v JavaScriptu. Před tím, než začne
prohlížeč komunikovat s Internetem, si nejprve načte tento program z WWW
serveru. Pro každý požadovaný dokument pak pomocí tohoto programu určí, na
který vyrovnávací server se má obrátit. Tato metoda je výhodná hned z několika
důvodů: především, uživatelé si budou pamatovat URL autokonfiguračního programu
lépe než jméno cache-serveru a číslo patřičného portu. Je též možno centrálně
měnit způsob používání cache-serveru: zatímco např. při změně cache-serveru by
u ručního způsobu nastavení bylo nutné změnit nastavení všech prohlížečů, u
autokonfigurace stačí změnit jediný soubor autokonfigurační program. Dále je
možné napsat autokonfigurační skript tak, aby v případě výpadku jednoho
cache-serveru začal automaticky používat jiný, a to zcela samočinně. Konečně,
je možné vytvořit i takový skript, který automaticky rozkládá zátěž na několik
vyrovnávacích serverů.
Třetí způsob, jak přesměrovat WWW dotazy na vyrovnávací server, se nazývá
transparentní přesměrování. To se odehrává bez aktivní účasti (a často i bez
vědomí) uživatele. Ve WWW prohlížečích není při tomto způsobu potřeba nic
zapínat ani dopisovat. Přesměrování totiž probíhá zcela samočinně na
směrovačích poskytovatele přístupu k Internetu. Tím je možné bez další
administrativní námahy zvýšit počet uživatelů využívajících cache-server;
výhodou i nevýhodou této metody je, že před ní není úniku.
Použití vyrovnávacích serverů může ale v některých případech komplikovat
uživatelům život. Nejtypičtějším příkladem je přístup na placené komerční WWW
servery. Některé si totiž kromě přístupového jména a hesla uživatele pamatují i
adresu počítače, ze kterého je povolen přístup při použití vyrovnávacího
serveru však bude se serverem komunikovat nikoliv počítač uživatele, ale
cache-server, což může způsobit odmítnutí přístupu. Ve většině případů se dají
tyto problému řešit buď dohodou se správcem WWW serveru, nebo změnou nastavení
prohlížeče tak, aby se provoz s takovým WWW serverem nesměroval přes
vyrovnávací server.
Vzácně též může dojít k tomu, že do vyrovnávací paměti cache--serveru se uloží
neúplná kopie dokumentu. To se může stát v situaci, kdy cache-server komunikuje
se serverem, který neumí před přenosem dat oznámit jejich celkovou délku, a
následně v průběhu přenosu dojde k rozpadu spojení. Zkrácená verze dokumentu
potom bude opakovaně předkládána uživatelům coby autentická lokální kopie. V
takové situaci obvykle stačí, aby kterýkoliv z uživatelů stiskl ve svém
prohlížeči Refresh/Reload; nově přenesená úplná kopie stránky se pak ve
vyrovnávací paměti uloží namísto té zkrácené, a vše zase bude fungovat správně.
Poskytovatelé obsahu
Autoři WWW stránek a správci webových serverů mají sami největší šanci ovlivnit
způsob ukládaní svých dokumentů ve vyrovnávacích serverech. Cache-servery
snižují zatížení populárních WWW serverů a přetížených komunikačních linek k
nim vedoucích, na druhou stranu však mohou zkreslovat statistické údaje, nutné
pro komerční provoz. K všeobecné spokojenosti čtenářů i správců ve většině
případů stačí vhodně nastavit údaje o povolení či zákazu ukládát dokumenty na
cache-serverech.
Nejtvrdším nástrojem, který mají poskytovatelé obsahu k dispozici, je úplný
zákaz ukládání dokumentu ve vyrovnávacích pamětech cache-serverů i WWW
prohlížečů: použití HTTP hlavičky Pragma: no-cache. Nejpřípadnějšími kandidáty
pro ni jsou výstupy z CGI nebo ASP skriptů, které se mění s každým dotazem,
generátory odkazů pro reklamní proužky a další. Je vhodné podotknout, že
většina vyrovnávacích serverů i bez použití této hlavičky neukládá dokumenty, v
jejichž URL se buď vyskytuje řetězec "cgi-bin" nebo znak "?", nebo obsahují
cookies, což jsou typické příznaky dynamicky generovaných stránek.
O možnosti řídit dobu platnosti a maximální dobu ukládání pomocí HTTP hlaviček
jsem se již zmínil v souvislosti s určováním čerstvosti dokumentů. Právě v
uvážlivém používání těchto hlaviček leží skryt hlavní přínos vyrovnávacích
serverů: často měnící se dokumenty je možno uložit jen na krátkou dobu,
statické grafické prvky ale na mnohem delší, titulní stránka se nezmění do
zítřka, ceník je aktuální až do konce měsíce...
Spolu s aktivním úsilím autorů by WWW servery měly dodržovat několik dalších
pravidel usnadňujících spolupráci s vyrovnávacími servery. Jejich vyčerpávající
seznam je uveden na stránkách Cache Now!, které popularizují rozšíření této
technologie. Uvedu alespoň pár těch nejdůležitějších:
WWW servery by měly mít správně nastavené a se sítí synchronizované vnitřní
hodiny, aby bylo možné správně určit čas, kdy byl dokument vytvořen.
Dynamické dokumenty generované CGI nebo ASP skripty by měly být cache-friendly,
tj. vybavené platnými hlavičkami o životnosti dokumentu a o poslední modifikaci
údajů. Cesta k nim by neměla obsahovat řetězec cgi-bin, a měly by se vyvarovat
triků s obměnami obsahu v závislosti na typu WWW prohlížeče.
Pokud WWW server používá proužkovou reklamu nebo obměňující se grafické motivy,
je velmi vhodné povolit ukládání
ve vyrovnávacích pamětech pro všechny grafické prvky; ukládat se nebude pouze
dynamicky generovaný odkaz na grafiku.
WWW servery by měly omezit používání cookies.
Caching v tuzemsku
Vyrovnávací servery se v Čechách již několik let používají, a to v poměrně
širokém měřítku. Jejich nasazení však většinou neprovázela patřičná publicita
ze stran poskytovatelů. O existujících strukturách cache-serverů se toho proto
ví poměrně málo.
Asi největší soustava cache-serverů v ČR je realizována na akademické síti
TEN-34 CZ. Tvoří ji devět vyrovnávacích serverů umístěných v osmi velkých
univerzitních městech České republiky, propojených linkami o rychlosti 34 a 155
Mb/s. WWW komunikace univerzit, účastnících se na tomto projektu, je směrována
(často pomocí transparentního přesměrování) na jednotlivé vyrovnávací servery.
Díky vysokorychlostní síti se celá soustava chová jako jeden velký
distribuovaný server. Cílem vytvoření této soustavy bylo pozorovat její chování
pod reálnou zátěží, optimalizovat ji modifikací vztahů mezi jednotlivými
servery, a následné vypracování vědecké dokumentace, popisující provoz a
chování takovéto distribuované struktury. Technické parametry této struktury
serverů jsou poměrně úctyhodné celkový diskový prostor, vyhrazený pro
vyrovnávací paměti, překračuje 150 GB, přenesený objem dat se pohybuje v řádech
desítek gigabajtů za den. Dosažená úspěšnost úspory dat se pohybuje kolem 50 %.
I komerční poskytovatelé Internetu si uvědomují, jaký přínos pro ně vyrovnávací
servery znamenají, a proto téměř všichni vytvořili více či méně košaté
soustavy, přes které směrují provoz svůj i svých zákazníků. Možnost vzájemné
komunikace cache-serverů a sdílení dat ve vyrovnávacích pamětech otvírá nové
možnosti ve spolupráci jinak ostře konkurenčních společností.
8 2820 / pah
PŘEDPLATNÉ
ČLÁNKY DO MAILU