Creative Studio Stars — Vývoj digitálních produktů

New York obviňuje TikToku z klamání dospívajících falešnými bezpečnostními nástroji

Article hero image

Stát New York podal žalobu s obviněním, že společnost TikTok prováděla experimenty zapojující tisíce uživatelů, včetně nezletilých. Při nich nabídl tzv. „placebo“ verzi bezpečnostní funkce určené k obnovování doporučení obsahu. Žaloba tvrdí, že zatímco účastníci věřili, že aktivovali nástroj pro filtrování škodlivého obsahu, jejich obsahové kanály zůstaly nezměněny. To se liší od kontrolní skupiny, která dostala skutečně funkční verzi tohoto nástroje.

Klíčová zjištění

Klíčová zjištění
  • Žaloba státu New York obviňuje TikTok, že poskytl placebové bezpečnostní funkce teenagerům a dětem v experimentu zapojujícím tisíce uživatelů.
  • Sporný nástroj, označovaný jako „Algo Refresh“, měl uživatelům umožnit resetovat jejich doporučení a přestat vidět nechtěný obsah.
  • Účastníci experimentu věřili, že funkci aktivovali, ale jejich kanály se nezměnily, zatímco uživatelé mimo experiment, kteří měli přístup ke skutečnému nástroji, zaznamenali okamžité aktualizace.
  • Stát obviňuje TikTok z navrhování platformy tak, aby podporovala závislé chování u dětí, a z jejich klamání ohledně bezpečnostních možností.
  • Bloomberg informoval o samostatném incidentu v červnu, kdy TikTok zatajil bezpečnostní funkci před 15 miliony uživatelů ve Spojených státech, včetně teenagera, který následně spáchal sebevraždu.
  • TikTok reagoval pro Reuters tvrzením, že společnost pravidelně testuje nové produkty a funkce, aby pochopila jejich fungování v praxi.

Domnělý placebo experiment

Domnělý placebo experiment

Podle zpráv citovaných v právním podání státu New York se TikTok zapojil do experimentů s tisíci uživateli, konkrétně teenagery a dětmi, kteří souhlasili s využitím bezpečnostních funkcí. Jednou z takových funkcí byl identifikován nástroj „Algo Refresh“, který měl uživatelům dát kontrolu nad jejich obsahovým kanálem tím, že jim umožnil resetovat doporučení a vyhnout se potenciálně škodlivému nebo nechtěnému materiálu.

Jádrem obvinění je, že TikTok poskytl experimentální skupině simulovanou verzi této funkce. Uživatelé v této kohortě věřili, že úspěšně aktivovali Algo Refresh. Na rozdíl od uživatelů, kteří nebyli součástí experimentu a měli přístup k plně funkční verzi nástroje, se však kanály těch v placebové skupině nezměnily. Tento nesoulad naznačuje, že bezpečnostní mechanismus ve skutečnosti nezpracovával ani neměnil obsah pro tyto zranitelné uživatele, navzdory jejich přesvědčení, že je aktivní.

Žaloba státu New York je součástí širšího právního úsilí zapojujícího více než dva tucty států. Tyto případy společně obviňují sociální síť z navrhování své architektury tak, aby podporovala závislé vzorce chování u dětí, a z klamání uživatelů ohledně účinnosti a dostupnosti jejích bezpečnostních funkcí. Stát tvrdí, že tyto praktiky vykořisťují mladé uživatele tím, že jim nabízejí iluzi kontroly bez poskytnutí skutečné ochrany.

Zatajení kritických bezpečnostních nástrojů

Zatajení kritických bezpečnostních nástrojů

Za hranicemi placebo experimentu popisuje žaloba další případy, kdy podle obvinění TikTok manipuloval s přístupem k bezpečnostním funkcím. Zprávy z června naznačují, že jeden konkrétní experiment zahrnoval odepření bezpečnostní funkce 15 milionům uživatelů v USA. Vážnost tohoto obvinění podtrhla zmínka o teenagerovi v této skupině, který následně spáchal sebevraždu, což ilustruje potenciální reálné důsledky takového experimentálního designu.

Tyto tvrzení přispívají k rostoucímu zkoumání způsobu, jakým velké technologické společnosti provádějí A/B testování a uživatelské experimenty. Argument předložený státem New York spočívá v tom, že zapojení nezletilých do těchto testů, zejména když jde o odepření nebo simulaci bezpečnostních nástrojů, překračuje etické i právní hranice. Tím, že uživatelům byl odepřen skutečný funkční potenciál, na který byli naváděni, TikTok údajně ohrozil jejich schopnost bezpečně spravovat svůj online zážitek.

Reakce odvětví a kontext

Reakce odvětví a kontext

Na obvinění reagoval TikTok prohlášením pro agenturu Reuters, v němž obhájil své testovací postupy. Společnost vysvětlila, že neustále zlepšuje svou platformu, což si vyžaduje pravidelné testování nových produktů a funkcí. Podle TikToku je tento proces standardní pro ověřování uživatelského zážitku a pochopení toho, jak nové nástroje fungují v reálných podmínkách, podobně jako postupují většina ostatních technologických společností.

TikTok zatím neodpověděl na další žádosti o komentář týkající se konkrétních detailů žaloby ze státu New York nebo zprávy agentury Bloomberg o odepřené bezpečnostní funkci. Případ zůstává významným bodem sporu v probíhající debatě o digitální bezpečnosti, zákonech na ochranu dětí a firemní odpovědnosti při návrhu sociálních sítí. Jak se k právnímu výzvu připojuje více států, mohou mít dopady na to, jak technologické platformy provádějí výzkum uživatelů a implementují bezpečnostní funkce, značný význam.