Organizace a bezpečnost

AI moderace obsahu: ochrana fotozdi bez člověka přilepeného k telefonu

Tým Bavenzo · 2026-08-06 · 8 min čtení

Jeden uniklý QR kód nebo nevhodný vtip může před celým sálem pokazit atmosféru. AI moderace průběžně posuzuje fotografie, vzkazy i podporovaná videa a nejisté případy nechává člověku.

Na soukromé oslavě většina hostů jedná s dobrým úmyslem. Stačí ale jeden cizí člověk, uniklý odkaz nebo nevhodný pokus o vtip a problematický obsah se může objevit přímo na velké projekci. Ruční moderace je účinná, jenže vyžaduje, aby někdo celou dobu sledoval telefon. AI moderace přebírá první kontrolu a člověka volá hlavně k tomu, co není jednoznačné.

Typické situace, které nechcete řešit až na plátně

• Návštěvník vyfotí QR kód a pošle jej někomu, kdo na akci vůbec není.
• Host nahraje explicitní fotografii, násilný obsah nebo nenávistný symbol jako údajný žert.
• Ve vzkazu se objeví výhrůžka, urážka, spam, odkaz na cizí službu nebo citlivé osobní údaje.
• Video vypadá na prvním snímku neškodně, ale závadný obsah se objeví až později nebo zazní v řeči.
• Jeden uživatel zkouší problematický obsah nahrávat opakovaně a zahlcuje moderátora.

Jak rozhodování probíhá

Podle zvolené citlivosti se obsah schválí, odmítne nebo pošle do fronty k ručnímu posouzení. Jednoznačně bezpečný příspěvek může pokračovat rovnou do galerie, vysoce jistý explicitní či jinak závažný obsah se skryje a nejistý případ zůstane člověku. Moderátor u rozhodnutí vidí kategorii, míru jistoty a záznam v logu a může výsledek opravit.

Jeden modul pro fotografie, text a video

• Fotografie se hodnotí ze zmenšeného náhledu — není potřeba odesílat tiskové plné rozlišení.
• Textové vzkazy a popisky se posuzují v kontextu běžné komunikace na oslavách, aby přátelské škádlení automaticky neznamenalo zákaz.
• U videa se podle délky vyberou reprezentativní snímky a volitelně se kontroluje i přepis zvukové stopy.
• Stejná pravidla citlivosti určují, co se pustí, co se zamítne a co musí vidět člověk.

Citlivost není totéž co cenzura

Rodinná oslava, maturitní večírek a veřejná firemní akce mají jiné hranice. Proto lze citlivost přizpůsobit. Uvolněnější režim toleruje více narážek a běžného škádlení, přísnější režim posílá hraniční obsah častěji k člověku nebo jej zamítne. Závažná rizika, jako je explicitní sexuální obsah, ohrožení dětí nebo nenávist, však mají zůstat blokovaná bez ohledu na atmosféru večera.

PIN je první dveřník, AI až druhý

Čtyřmístný PIN omezuje vstup lidem, kteří získali samotný odkaz nebo vyfotili QR kód mimo kontext akce. AI následně kontroluje obsah těch, kteří se dovnitř dostali. Tyto funkce se nenahrazují: PIN snižuje počet cizích pokusů a moderace řeší to, co přesto někdo odešle. Na větší nebo veřejně přístupné akci dává smysl použít obojí.

Opakované zneužití a automatické blokování

Pořadatel může volitelně zapnout měkké automatické zablokování hosta, který opakovaně odešle vysoce jistý explicitní obsah. Nastaví počet závažných pokusů a moderátor dostane informaci, koho systém zablokoval a proč. Nejde o nevratný rozsudek — člověk může situaci prověřit a rozhodnutí změnit.

Co AI neumí slíbit

• Žádný model není stoprocentní; u důležité veřejné projekce ponechte dostupného moderátora.
• AI nezná všechny osobní vztahy a interní vtipy účastníků, proto u nejistoty volí ruční kontrolu.
• Technický výpadek nesmí znamenat tiché schválení — nevyhodnocený obsah má zůstat ve frontě.
• Pravidla nastavte před akcí a ověřte je na několika testovacích příspěvcích, ne až po příchodu hostů.

Ochrana soukromí při moderaci

Ke klasifikaci se předává pouze obsah potřebný pro posouzení — text, zmenšený náhled a u zapnuté videomoderace vybrané snímky či dočasný přepis. Bavenzo nepoužívá příspěvky k trénování vlastních modelů a smluvní API dodavatelů je standardně nepoužívají k trénování svých modelů. Podrobnosti o zpracování a době provozních záznamů vždy najdete v aktuálních zásadách ochrany osobních údajů.