Lokální AI pro firmu bez veřejného cloudu

Rychlé shrnutí

Lokální AI je firemní asistent, který běží mimo veřejný cloud a pracuje nad daty, která mu sami povolíte. Typicky jde o interní směrnice, smlouvy, technické listy, ceníky, znalostní bázi, servisní historii nebo dokumenty ze sdíleného úložiště.

• Citlivá data nejdou do veřejného AI cloudu — model běží na vyhrazeném hardwaru u vás nebo u nás v Brně.
• Odpovědi vycházejí z vašich dokumentů — přes RAG napojíme model na schválené zdroje, ne na náhodnou znalost z internetu.
• Přístupy lze řídit a auditovat — uživatel vidí jen data, na která má oprávnění.
• Začínáme pilotem — nejdřív ověříme přínos na malém rozsahu, teprve potom dává smysl stavět plný provoz.
• Řekneme i ne — pokud pro vaše použití stačí cloudový nástroj, nebudeme vám prodávat zbytečný server.

Co je lokální AI a jak se liší od cloudu

Při běžném používání cloudových AI služeb posíláte prompt, přílohy a část kontextu na servery poskytovatele. Pro marketingové texty nebo obecnou rešerši to může být v pořádku. Pro smlouvy, HR dokumenty, pacientská data, výrobní know-how nebo interní cenotvorbu už ale firma často potřebuje přesnější kontrolu.

Lokální AI znamená, že model běží na vyhrazeném hardwaru. Server může stát ve vaší síti, nebo ho můžeme provozovat jako oddělenou instanci na našich GPU serverech v Brně-Židenicích. Důležité je, že firemní dokumenty neodcházejí do veřejného API třetí strany a architekturu lze popsat, zabezpečit a doložit.

Rozdíl není jen technický. Mění se odpovědnost, bezpečnostní model i ekonomika provozu. U lokální AI víte, kde data leží, kdo k nim má přístup, jak se zálohují, kdy se mažou a jak se řeší incident. Při vyšším objemu dotazů může být provoz na vlastním hardwaru také předvídatelnější než průběžné platby za API. Náklady rozebíráme podrobněji v článku Kolik stojí AI pro firmu.

Pro koho se vyplatí

Lokální AI dává smysl tam, kde data představují konkurenční výhodu, obsahují osobní údaje nebo podléhají regulaci. Nejčastěji ji řeší firmy, které chtějí dát lidem rychlé vyhledávání a sumarizaci interních informací, ale nechtějí pouštět dokumenty mimo kontrolované prostředí.

• Vedení a obchod — rychlé hledání ve smlouvách, nabídkách, ceníkách a historii spolupráce se zákazníkem.
• HR a administrativa — orientace ve směrnicích, náborových podkladech, školeních a interních pravidlech.
• Výroba a servis — dotazy nad technickou dokumentací, postupy, protokoly, katalogy dílů a servisní historií.
• Zdravotnictví a regulované obory — práce s dokumenty, u kterých je potřeba přísně hlídat lokalitu zpracování a přístupy.
• IT a bezpečnost — interní znalostní báze, incidenty, konfigurace, provozní postupy a auditní podklady.

Naopak tam, kde lidé pracují převážně s veřejnými informacemi, píšou obecné texty nebo zpracovávají rutinní e-maily bez citlivých údajů, často stačí hotový cloudový nástroj. Lokální AI má cenu řešit až ve chvíli, kdy potřebujete kontrolu nad daty, napojení na interní zdroje nebo větší objem pravidelného používání.

Co může lokální AI dělat v praxi

Dobré nasazení nezačíná otázkou „jaký model koupit". Začíná úkolem, který má dnes firmu bolet. Model sám o sobě proces neopraví, ale umí výrazně zrychlit práci s informacemi.

• Firemní vyhledávání bez kopírování dokumentů do cloudu. Uživatel se zeptá přirozenou řečí a model odpoví z interních dokumentů, ke kterým má daný člověk oprávnění.
• Sumarizace dlouhých dokumentů. Smlouvy, protokoly, zápisy a technické podklady lze rychle zkrátit na rozhodovací body.
• Asistent pro zákaznickou podporu. Operátor dostane návrh odpovědi z interní znalostní báze, ale finální odpověď schválí člověk.
• Příprava podkladů pro obchod a servis. AI vyhledá relevantní historii, parametry, postupy nebo předchozí řešení podobného případu.
• Kontrola konzistence interních pravidel. Upozorní na rozpory mezi směrnicemi, šablonami a aktuálními postupy.

Neprodáváme představu, že AI má rozhodovat místo lidí. Ve firemním prostředí má největší smysl jako rychlý vyhledávač, sumarizátor a návrhový pomocník, kde člověk zůstává ve smyčce.

Jak vypadá bezpečná architektura

Lokální AI není jen model stažený na server. Aby řešení obstálo ve firmě, musí mít jasně vymezené zdroje dat, přístupy, logování a provozní odpovědnost.

Základ tvoří čtyři vrstvy:

1. Datová vrstva — dokumenty, složky, znalostní báze, databáze nebo interní systémy, které model smí používat.
2. Index a RAG — z dokumentů vytvoříme vyhledatelný index, aby model odpovídal z relevantních částí vašich dat a nemusel „hádat".
3. Model a aplikační vrstva — vybraný jazykový model, webové rozhraní, API pro integrace a pravidla pro promptování.
4. Provozní vrstva — přihlášení, role, audit, monitoring, zálohy, aktualizace a incidentní postup.

U citlivých dat je důležité neudělat jednu velkou hromadu dokumentů. Oddělíme zdroje podle oprávnění a nastavíme, aby například obchodník neviděl HR dokumenty a servisní technik neviděl smluvní marže. To je častější problém než samotný výběr modelu.

Jak lokální AI nasadíme

Nasazení nemá začínat velkým projektem na půl roku. Začneme pilotem, který rychle ukáže, jestli AI na vašich datech skutečně pomůže a kde jsou limity.

1. Vybereme jeden až tři konkrétní use-casy. Například vyhledávání ve směrnicích, sumarizace smluv nebo asistent pro servisní postupy.
2. Zmapujeme data a rizika. Kde dokumenty leží, kdo je vlastní, jaká mají oprávnění a co do modelu naopak nesmí.
3. Navrhneme hardware a model. Podle objemu dat, češtiny, požadované rychlosti a počtu uživatelů zvolíme rozumnou konfiguraci.
4. Postavíme pilotní RAG. Napojíme schválený vzorek dokumentů, nastavíme přístupy a připravíme testovací scénáře.
5. Změříme kvalitu odpovědí. Sledujeme přesnost, dohledatelnost zdrojů, rychlost, chybovost a praktický přínos pro tým.
6. Rozhodneme o provozu. Teprve po pilotu doporučíme, jestli pokračovat lokálně u vás, na našem vyhrazeném hardwaru, nebo raději zvolit cloud/hybrid.

Co tím získáte

Hlavní přínos není „máme vlastní AI". Hlavní přínos je rychlejší práce s firemními znalostmi bez toho, aby citlivý kontext nekontrolovaně odcházel mimo firmu.

• Méně ručního hledání. Lidé se ptají nad interní znalostí přirozeným jazykem místo procházení složek a starých e-mailů.
• Lepší kontrola nad daty. Vy určujete, jaké zdroje se indexují, kdo je smí používat a jak dlouho se uchovávají logy.
• Snazší doložení procesů. Pro audit lze popsat lokalitu zpracování, přístupová práva, zálohování a odpovědnosti.
• Předvídatelnější provoz. Server a model nejsou závislé na změně obchodních podmínek veřejné AI služby.
• Možnost offline nebo odděleného režimu. U vybraných scénářů lze řešení provozovat i bez přímého napojení na internet.

Na co si dát pozor

Lokální AI není kouzelná krabička a není automaticky lepší než cloud. Pokud se udělá špatně, jen přesunete problém z faktury za API do vlastního provozu.

• Kvalita dat rozhoduje. Neaktuální směrnice, duplicity a špatně popsané dokumenty povedou ke špatným odpovědím i na nejlepším serveru.
• Oprávnění musí být vyřešená předem. Model nesmí vidět víc než uživatel, který se ptá.
• Někdo musí řešit provoz. Aktualizace, monitoring, zálohy, kapacita GPU a incidenty potřebují odpovědného správce.
• AI může odpovědět nepřesně. U důležitých výstupů musí zůstat kontrola člověkem a ideálně i odkazy na zdrojové dokumenty.
• Ne každý úkol potřebuje lokální model. Pro jednoduché veřejné texty nebo jednorázové použití často vyhraje cloud.

Kolik stojí lokální AI

Cena závisí hlavně na výkonu hardwaru, počtu uživatelů, velikosti dokumentové báze, požadované rychlosti odpovědí a rozsahu integrací. Jinou konfiguraci potřebuje interní asistent pro deset lidí a jinou systém napojený na více oddělení s pravidelným vytížením.

V praxi se rozpočet skládá z několika částí:

• Pilot a analýza — výběr use-casů, data, bezpečnostní požadavky, testovací scénáře.
• Hardware nebo vyhrazený provoz — GPU server u vás, nebo kapacita na našem vyhrazeném hardwaru.
• Implementace RAG a integrací — indexace dokumentů, oprávnění, webové rozhraní, napojení na interní systémy.
• Správa a údržba — monitoring, aktualizace, zálohy, kapacitní plánování a podpora uživatelů.

Proto cenu neurčujeme od stolu podle módního názvu modelu. Nejdřív zjistíme, co má AI skutečně řešit, a porovnáme lokální variantu s cloudem nebo hybridním provozem. Pokud cloud vyjde bezpečněji a levněji, řekneme to.

Proč ITHOPE

Nabídku stavíme na tom, co skutečně máme — vlastní hardware, lidi a 18 let provozu.

• Vlastní laboratoř a GPU servery v Brně — nejsme jen přeprodejci cizí kapacity. Hardware spravujeme, známe jeho limity a umíme ho servisovat.
• 18 let provozu IT infrastruktury — servery, sítě, zálohy, bezpečnost a koncové stanice řešíme dlouhodobě. AI přidáváme do existujícího provozního rámce.
• Jeden partner pro model i infrastrukturu — nemusíte řešit, kdo odpovídá za server, kdo za síť, kdo za model a kdo za podporu uživatelů.
• Praktický pilot místo velkých slibů — začínáme malým rozsahem a měříme, jestli řešení dává obchodní i bezpečnostní smysl.
• Člověk ve smyčce — nastavíme postupy, zaškolíme tým a u důležitých procesů necháme finální odpovědnost na člověku.

Kdy lokál a kdy cloud

Ne každá firma potřebuje vlastní AI server. Pokud pracujete hlavně s veřejnými daty, nepotřebujete garantovat lokalitu zpracování a chcete rychle začít, cloud je často správná volba. Lokální AI doporučujeme tam, kde jsou data jádrem podnikání, kde potřebujete řídit přístupy podle rolí nebo kde by únik dokumentů znamenal reálnou škodu.

Často vychází nejlépe hybridní přístup: běžné úkoly řešit v cloudu, citlivé dokumenty a interní znalostní bázi držet lokálně. Důležité je mít jasná pravidla, co kam smí.

Nejste si jistí, která varianta je pro vás ta pravá? Lokální AI je součást naší širší nabídky nasazení AI ve firmě. Ozvěte se na konzultaci — projdeme vaše dokumenty, rizika, uživatele a rozpočet. Společně rozhodneme, jestli dává smysl cloud, lokální server u vás, naše GPU infrastruktura v Brně, nebo kombinace obojího.