AI Visibility Lab · Articole

Ce poți citi și ce poți schimba la un site fără acces la cod: ghid de audit din exterior

Q: Ce resurse pot inspecta fără acces la repository?

Poți inspecta resursele pe care serverul le expune public, precum HTML, headere HTTP, robots.txt, sitemapuri, feeduri, unele fișiere .well-known, manifesturi sau endpointuri API, dacă există. Existența și conținutul lor variază de la site la site.

Q: Merită să adaug llms.txt?

În august 2026 nu există dovezi solide că simpla prezență a llms.txt crește citările organice în principalele motoare AI. Poate avea utilitate în fluxuri în care un agent sau un utilizator îl solicită explicit, dar nu trebuie tratat ca un factor GEO demonstrat.

Ce poți observa din exteriorul unui site, ce poți modifica fără acces la repository și unde se termină dovada tehnică și începe inferența. Ghid AI Visibility Lab bazat pe documentație oficială și teste reproductibile.

Alex Matescu · Fondator și coordonator AI Visibility Lab

Publicat: 18 august 2026 · Actualizat: 18 august 2026 · Ultima verificare factuală: 18 august 2026

Fără acces administrativ poți inspecta o parte importantă din suprafața publică a unui site: răspunsurile HTTP, HTML-ul livrat requestului tău, robots.txt, sitemapurile publice, datele structurate, unele endpointuri publice, DNS și certificate. Nu poți vedea însă configurația internă a serverului, codul privat, baza de date, secretele, regulile complete ale infrastructurii sau setările care nu sunt expuse public. Iar DevTools nu publică modificările pe care le faci local: este un instrument de diagnostic și prototipare, nu un substitut pentru accesul la site.¹²

Această distincție este esențială într-un audit tehnic: trebuie separat ce ai observat de ce ai dedus și, mai ales, de ce poți modifica efectiv.

Corectarea unei premise frecvente

DevTools nu modifică în mod public site-ul.

Când editezi un element în panoul Elements sau schimbi CSS/JavaScript local, modifici reprezentarea încărcată în browserul tău. Chrome documentează separat funcția Local Overrides, care poate păstra anumite modificări între reload-uri, dar fișierul modificat rămâne local și este servit browserului tău în locul resursei din rețea.¹²

Consecința:

o modificare locală din DevTools nu schimbă răspunsul public al serverului și nu devine vizibilă automat altor vizitatori sau crawlere.

Asta nu face DevTools inutil. Îl poziționează corect: îl poți folosi pentru diagnostic, testarea unei ipoteze și prototiparea unei reparații înainte ca modificarea să fie implementată pe site.

Suprafața publică pe care merită să o verifici

Nu există un „inventar universal” de fișiere pe care orice site este obligat să le publice. Unele resurse sunt standardizate, altele sunt opționale, iar altele există numai pe anumite platforme.

Resursă	Ce poate indica	Limită
`/robots.txt`	reguli declarate pentru crawlere și uneori locația sitemapurilor	poate lipsi; nu este mecanism de securitate
`/sitemap.xml`	URL-uri declarate de publisher și, dacă sunt furnizate, metadate precum `lastmod`	poate avea alt URL sau poate exista un sitemap index
`/llms.txt`, `/llms-full.txt`	documente voluntare, în format text/Markdown, propuse pentru consum de către sisteme și agenți AI	nu sunt un standard universal de crawling sau ranking
`/manifest.json`, `/site.webmanifest`	metadata pentru aplicații web/PWA	opțional
`/.well-known/security.txt`	canal public de raportare a problemelor de securitate	opțional
alte resurse `/.well-known/...`	asocieri și configurații definite de standarde sau platforme	`/.well-known/` este un namespace; serverul nu este obligat să listeze directorul
`/ads.txt`, `/app-ads.txt`	relații declarate în ecosistemul publicitar	relevante doar unde sunt implementate
`/humans.txt`	informații editoriale sau despre echipă, dacă publisherul a ales să le publice	convenție, nu standard obligatoriu
`/rss.xml`, `/feed`, `/atom.xml`	feeduri publice de conținut	pot lipsi sau pot conține doar rezumate
`/opensearch.xml`	configurația OpenSearch, dacă este implementată	opțional
`/wp-json/wp/v2/posts`	endpoint public pentru postări pe site-uri WordPress care expun REST API standard	comportamentul poate fi restricționat sau modificat
`/wp-json/wp/v2/users`	poate expune profiluri publice de utilizatori/autori în WordPress	câmpurile și accesul depind de context și configurare

WordPress documentează oficial endpointurile GET /wp/v2/posts și GET /wp/v2/users; faptul că ele există în API nu înseamnă că fiecare instalare le va expune identic.³⁴

`robots.txt`: util pentru audit, inutil ca mecanism de secretizare

robots.txt descrie politici de crawling. Nu protejează resurse private și nu trebuie tratat ca un control de acces.

Web Almanac 2025 a raportat că 84,9% dintre requesturile testate către robots.txt au primit status 200 atât pe desktop, cât și pe mobil. Asta confirmă doar că fișierul exista și răspundea cu succes în acel dataset; nu confirmă că regulile lui erau corecte.⁵

Directivele Disallow pot oferi indicii despre structura site-ului, dar o cale listată acolo nu trebuie interpretată ca resursă „secretă” și nici ca autorizație pentru testare suplimentară.

RSS și REST API

Feedurile RSS/Atom pot fi foarte utile într-un audit editorial deoarece oferă o reprezentare structurată a conținutului public. Conținutul exact depinde însă de configurația site-ului: unele feeduri publică text integral, altele doar rezumate.

Pe WordPress, REST API poate oferi o reprezentare JSON a conținutului public. Din nou, acesta este un endpoint documentat, nu o „breșă”.³

`llms.txt`: ce se poate afirma în august 2026

llms.txt este o propunere, nu un standard universal adoptat de principalele motoare AI.

Datele publice disponibile trebuie citite separat, fără a amesteca studiile:

SE Ranking, într-un studiu comercial pe aproape 300.000 de domenii publicat la 7 noiembrie 2025, a raportat o adopție de 10,13% în propriul dataset și nu a găsit o relație măsurabilă între prezența fișierului și frecvența citărilor AI în modelul analizat.⁶
Limy, într-o analiză comercială publicată la 12 mai 2026, spune că a analizat 515.382.577 evenimente de trafic ale boților AI într-o fereastră de 90 de zile și că 408 requesturi au vizat direct /llms.txt.⁷
Search Engine Land, într-un test pe 10 site-uri, a raportat că opt nu au avut schimbări măsurabile după implementarea llms.txt; două au avut creșteri, dar acestea au coincis cu alte intervenții, astfel încât autorii nu le-au atribuit fișierului.⁸

Acestea sunt studii comerciale/industriale, nu specificații ale motoarelor. Rezultatele descriu dataseturile lor și nu trebuie transformate în reguli universale.

Ce spune Google

La data verificării din 18 august 2026, Google Search Central spune explicit că Google Search nu folosește llms.txt pentru vizibilitate sau ranking, inclusiv în funcțiile sale generative; menținerea fișierului pentru alte servicii nu ajută și nu afectează Google Search.⁹

Aceasta este o afirmație despre Google Search, nu despre toate sistemele AI.

Concluzia de audit

Formularea defensabilă este:

absența llms.txt nu trebuie tratată, în august 2026, ca defect SEO/GEO demonstrat. Prezența lui poate avea valoare în fluxuri agentice sau în situații în care un instrument este configurat explicit să-l consume, dar nu există dovadă solidă că simpla publicare a fișierului produce un plus de citare organică în principalele motoare AI.

Această concluzie trebuie reverificată pe măsură ce providerii își schimbă documentația.

Antetele HTTP: configurație observabilă în răspuns

O parte importantă a auditului nu se află într-un fișier separat, ci în răspunsul HTTP.

curl -sI https://exemplu.ro

`X-Robots-Tag`

Google documentează X-Robots-Tag ca modalitate de a transmite prin header aceleași tipuri de reguli care pot apărea în robots meta tag, inclusiv noindex și nosnippet.¹⁰

Un exemplu:

X-Robots-Tag: noindex

poate împiedica afișarea resursei în Google Search atunci când Google poate accesa și procesa regula.¹⁰

noai nu este o directivă Google documentată. Dacă întâlnești directive proprietare sau ne-standard, trebuie verificată documentația providerului căruia îi sunt destinate.

X-Robots-Tag: noindex este una dintre cauzele tehnice care merită verificate când o resursă nu apare în index; nu există bază pentru a o numi „cea mai frecventă cauză”.

`Link: rel="canonical"`

Google permite declararea canonicalului atât prin element HTML, cât și prin header HTTP Link. Documentația recomandă evitarea semnalelor contradictorii între metode.¹¹

Dacă HTML-ul indică un canonical iar headerul indică altul, ai o configurație inconsistentă care trebuie investigată. Metadatele care pot ajunge într-un răspuns AI — inclusiv canonicalul — sunt tratate separat, cu un studiu de caz complet, în metadata și citarea AI.

`Content-Type` și `charset`

Un tip MIME sau un charset incorect poate determina interpretarea greșită a răspunsului. Consecința exactă depinde de client și de conținut; nu trebuie presupus automat un anumit efect asupra indexării.

Cache

Cache-Control, Age, ETag, Last-Modified sau headeruri specifice unui CDN pot ajuta la explicarea faptului că vezi o versiune cached în locul celei recent publicate.

`Server` și `X-Powered-By`

Pot oferi indicii despre server sau runtime, dar pot lipsi, pot fi eliminate de CDN sau pot fi configurate arbitrar. Nu sunt o metodă sigură de identificare a stivei.

Codul de stare și redirecturile

Pentru lanțul observabil de redirecționări:

curl -sIL https://exemplu.ro/pagina

Rezultatul arată statusurile și locațiile comunicate acelui request. El trebuie interpretat în contextul URL-ului și al agentului folosit.

HTML primit versus DOM randat

Această distincție rămâne una dintre cele mai utile într-un audit extern.

View Source / răspunsul obținut cu curl arată HTML-ul primit de request. Panoul Elements din DevTools arată DOM-ul după ce browserul a procesat documentul și, eventual, a executat JavaScript.

curl -s https://exemplu.ro > servit.html

# Există un text distinct din pagină în răspuns?
grep -F "un text distinct din articol" servit.html

# Există JSON-LD în răspunsul primit?
grep -o 'application/ld+json' servit.html | wc -l

# Compară două rute
curl -s https://exemplu.ro/pagina-a > a.html
curl -s https://exemplu.ro/pagina-b > b.html
diff a.html b.html

Dacă textul vizibil în browser lipsește din servit.html, concluzia corectă este:

textul nu există în HTML-ul primit de requestul respectiv și depinde de un alt pas — de exemplu rendering client-side, un request ulterior sau o reprezentare diferențiată.

Nu înseamnă automat că „AI-ul nu îl vede”.

La fel, două răspunsuri identice nu demonstrează singure client-side routing. Pot indica un shell SPA, un fallback comun, un rewrite, o configurație de cache sau alt comportament. Formularea corectă este:

HTML identic pe rute diferite → posibil shell/fallback comun; verifică routingul, renderingul și metadata per rută.

Această interpretare este în concordanță cu studiul AI Visibility Lab despre paradoxul site-ului terminat: un request generic nu trebuie confundat cu reprezentarea servită unui crawler verificat.

Instrumente externe care nu necesită acces la repository

Wayback Machine

Poate ajuta la compararea versiunilor istorice ale unei pagini sau ale unor fișiere publice. Arhiva este incompletă: lipsa unei capturi nu dovedește că resursa nu exista.

Certificate Transparency

Registrele de certificate pot indica hostname-uri pentru care au fost emise certificate TLS. Ele nu garantează că un subdomeniu este activ în prezent și nu constituie autorizație pentru testarea lui.

DNS

dig și alte instrumente DNS permit citirea înregistrărilor publice. Ele pot oferi indicii despre mail, verificări de servicii, CDN sau infrastructură, dar nu identifică întotdeauna furnizorul real aflat în spatele unui reverse proxy/CDN.

Validatoare publice

Google Rich Results Test și validatorul Schema.org sunt utile pentru verificarea markupului.

Google documentează explicit că poate procesa structured data generată cu JavaScript, inclusiv JSON-LD introdus prin Google Tag Manager.¹²

Acest lucru nu trebuie extrapolat la toate crawlerele sau sistemele AI. Suportul de rendering trebuie verificat per provider și, când este posibil, pe outputul real.

Ce poți schimba efectiv fără acces la repository

„Fără acces la cod” nu înseamnă neapărat „fără niciun acces”. Pârghiile depind de permisiunile pe care le ai în alte straturi.

CMS sau platformă

Dacă ai cont cu drepturi suficiente într-un CMS/site builder, poți modifica titluri, descrieri, conținut și uneori structured data sau setări SEO fără a modifica repository-ul.

Google Search Console

Search Console poate fi folosit pentru submission de sitemap, URL Inspection, request indexing și temporary removals. Aceste acțiuni trimit informații sau cereri către Google; nu garantează indexarea, canonicalizarea sau rankingul.

Bing Webmaster Tools și IndexNow

IndexNow este un protocol de notificare: un site poate informa motoarele participante că un URL a fost adăugat, modificat sau șters. Documentația protocolului confirmă că URL-urile primite de un motor participant sunt partajate cu ceilalți participanți.¹³¹⁴

Notificarea nu este echivalentă cu indexarea.

IndexNow poate accelera descoperirea schimbării de către motoarele participante, dar fiecare motor decide dacă și când recrawlează, indexează sau afișează URL-ul.

Afirmațiile despre participanți și comportament sunt volatile și trebuie reverificate. Termenele de descoperire, crawl, indexare și citare — și de ce nu există un SLA universal pentru niciunul dintre ele — sunt tratate separat în cât durează până apari în Google și cât până te citează AI-ul.

Google Business Profile

Dacă ai drepturi asupra profilului, poți actualiza informațiile business fără acces la site. Aceasta este o suprafață separată de repository.

Google Tag Manager

Google documentează explicit folosirea GTM pentru generarea dinamică de JSON-LD.¹²

Formularea corectă este:

Google poate procesa structured data generată prin JavaScript. Pentru alte crawlere și sisteme AI, suportul pentru rendering diferă și trebuie verificat separat.

GTM nu trebuie prezentat ca înlocuitor universal pentru structured data disponibilă direct în HTML.

CDN, edge layer sau reverse proxy

Dacă ai acces la infrastructura de edge/CDN, unele produse permit:

modificarea headerurilor;
redirecturi;
rescrierea răspunsurilor;
transformarea HTML-ului;
logică la edge.

Aceasta poate fi una dintre puținele pârghii prin care poți schimba răspunsul public fără a modifica repository-ul. Nu este singura: hostingul, CMS-ul, middleware-ul, reverse proxy-ul sau funcțiile native ale platformei pot permite intervenții similare.

Surse externe

Wikidata, profilurile profesionale, directoarele și publicațiile terțe sunt suprafețe externe site-ului. Pentru corroborarea unei entități, sursele independente pot furniza informații pe care site-ul propriu nu le poate furniza singur.

Nu există însă un multiplicator universal care să permită afirmația că „off-site cântărește mai mult decât on-site”.

DevTools folosit corect

Disable JavaScript

Chrome DevTools permite dezactivarea JavaScriptului pentru a vedea cum arată și cum se comportă pagina fără execuție JS.¹⁵

Acesta este un test al dependenței paginii de JavaScript, nu o simulare fidelă a unui crawler AI.

Dacă pagina devine goală cu JavaScript dezactivat, ai demonstrat că browserul are nevoie de JavaScript pentru reprezentarea pe care o vezi în mod normal. Nu ai demonstrat ce primește un anumit crawler, deoarece unele platforme pot servi HTML pre-randat sau alte reprezentări agenților verificați.

Network

Panoul Network arată requesturile efectuate de browser, ordinea lor, statusurile și răspunsurile primite. Este util pentru a vedea dacă textul sau datele sunt livrate în documentul inițial sau într-un request ulterior.

Local Overrides

Chrome documentează Local Overrides ca funcție pentru înlocuirea locală a conținutului sau a headerurilor și păstrarea modificărilor între page loads.²

Este potrivit pentru prototipare și validarea unei propuneri, nu pentru publicare.

User-Agent override

Schimbarea user-agentului este utilă pentru a vedea dacă serverul reacționează la acel header, dar nu garantează că reproduci identitatea crawlerului real.

OpenAI publică user-agentul OAI-SearchBot pentru Search și documentează controlul accesului prin robots.txt.¹⁶ Perplexity publică user-agenturi și intervale IP pentru crawlerele sale și recomandă verificarea lor în configurațiile WAF.¹⁷

Prin urmare:

unele servicii folosesc user-agentul împreună cu IP-uri publicate sau alte mecanisme de verificare. Un user-agent falsificat, singur, nu demonstrează ce răspuns primește crawlerul autentic.

Nu există bază pentru o regulă universală conform căreia toate platformele folosesc „IP + reverse DNS”.

Livrabilul unui audit extern: specificația

Un audit fără acces de implementare se termină cu o specificație verificabilă.

1. Constatarea

Include:

URL-ul;
data și ora;
comanda sau instrumentul;
requestul relevant;
outputul brut sau captura;
condițiile testului.

2. Impactul

Explică mecanismul, nu doar eticheta.

În loc de:

„afectează SEO”

scrie:

„răspunsul conține X-Robots-Tag: noindex, ceea ce Google documentează ca directivă de excludere din rezultatele Search.”

3. Reparația

Descrie schimbarea la nivelul stratului asupra căruia trebuie intervenit:

HTML;
header;
CMS;
CDN;
sitemap;
robots;
routing;
canonicalizare etc.

4. Testul de acceptanță

Definește exact ce trebuie să returneze sistemul după implementare.

5. Prioritatea

Prioritizează după:

impact observabil;
probabilitatea cauzei;
efort;
risc;
reversibilitate.

Un audit cu dovezi și teste de acceptanță poate fi implementat și reverificat. Un audit fără ele rămâne o listă de opinii.

Limite profesionale, de autorizare și securitate

Această secțiune nu este consultanță juridică.

Faptul că un URL răspunde public nu trebuie interpretat ca autorizație pentru:

ocolirea autentificării;
exploatarea vulnerabilităților;
enumerare agresivă;
accesarea unor date pe care nu ai dreptul să le accesezi;
testarea activă a sistemelor în afara unui mandat explicit.

În România, articolul 360 din Codul penal incriminează accesul fără drept la un sistem informatic.¹⁸

Pentru teste de securitate, stabilește în scris scopul, domeniile/hosturile permise, metodele și limitele autorizării.

Dacă, în timpul unei verificări pasive și autorizate, întâlnești accidental informații sensibile expuse, abordarea profesională este să limitezi accesul la minimum necesar, să nu redistribui datele și să raportezi privat proprietarului prin canalul său de securitate, dacă există.

Verificarea de bază

Următoarele comenzi sunt exemple de verificări pasive asupra unor resurse publice și trebuie folosite numai pe site-uri pe care ai dreptul să le auditezi:

S=https://exemplu.ro

curl -sI "$S"                           # headerele răspunsului
curl -s "$S/robots.txt"                 # robots.txt, dacă există
curl -s "$S/sitemap.xml" | head         # sitemap, dacă este la această adresă
curl -sI "$S/llms.txt"                  # verifică doar dacă resursa răspunde
curl -s "$S" > /tmp/page.html           # HTML-ul primit de request
grep -i 'rel="canonical"' /tmp/page.html
grep -i 'application/ld+json' /tmp/page.html
curl -sIL "$S/pagina"                   # statusuri și redirecturi observabile

Ce NU trebuie dedus

Dimensiunea HTML-ului nu identifică arhitectura site-ului.

Nu există un prag de tip „sub 5 KB = aplicație client-side”.

Un document server-rendered poate fi foarte mic, iar un SPA shell poate fi mare. Testul relevant este prezența conținutului important în răspuns, nu numărul de octeți.

La fel, un canonical identic pe rute distincte indică o posibilă problemă de canonicalizare sau metadata per rută, nu demonstrează o problemă de routing.

Întrebări frecvente

Pot modifica un site din DevTools?

Nu în mod public. Modificările obișnuite din DevTools sunt locale. Local Overrides poate păstra o versiune modificată între reload-uri, dar aceasta rămâne în mediul local al browserului și nu schimbă resursa publicată pe server.¹²

Ce resurse pot inspecta fără acces la repository?

Poți inspecta resursele pe care serverul le expune public: HTML, headere, robots.txt, sitemapuri, feeduri, unele fișiere /.well-known, manifesturi sau endpointuri API, dacă există. Existența și conținutul lor variază de la site la site.

Merită să adaug `llms.txt`?

În august 2026, nu există dovezi solide că simpla sa prezență crește citările organice în principalele motoare AI. Studiile SE Ranking, Limy și Search Engine Land descrise mai sus nu susțin un efect general de citare. Fișierul poate avea utilitate în fluxuri în care un agent sau un utilizator îl solicită explicit, dar nu trebuie tratat ca un factor GEO demonstrat.⁶⁷⁸

Cum verific dependența unei pagini de JavaScript?

Compară HTML-ul primit de un request simplu cu DOM-ul randat și poți folosi Disable JavaScript în Chrome DevTools pentru a vedea cum se comportă pagina fără JavaScript. Acest lucru testează dependența de JS, nu simulează fidel un crawler AI.¹⁵

Pot adăuga structured data prin Google Tag Manager?

Da. Google documentează explicit generarea dinamică de JSON-LD prin Google Tag Manager. Pentru alte crawlere și sisteme AI, suportul pentru JavaScript/rendering trebuie verificat separat.¹²

IndexNow garantează indexarea rapidă?

Nu. IndexNow notifică motoarele participante despre URL-uri adăugate, schimbate sau șterse. Fiecare motor decide independent dacă și când procesează URL-ul pentru crawling și indexare.¹³

Metodologie și niveluri de certitudine

Observații proprii

Comenzile din articol sunt exemple de verificări reproductibile asupra răspunsului public primit de un request. Rezultatul lor descrie numai requestul respectiv și momentul în care a fost efectuat.

Surse primare

Afirmațiile tehnice despre platforme sunt ancorate, când există, în documentații primare: Chrome DevTools, Google Search Central, WordPress Developer Resources, IndexNow, OpenAI, Perplexity, Portalul Legislativ din România.

Studii comerciale

Cifrele despre llms.txt provin din SE Ranking, Limy și Search Engine Land. Sunt marcate explicit ca rezultate ale dataseturilor lor și nu sunt tratate ca reguli generale.

Regula de interpretare

În acest articol:

observație = ceea ce poate fi văzut în request/output;
fapt documentat = ceea ce providerul sau standardul confirmă;
inferență = explicație posibilă, care necesită verificări suplimentare;
recomandare = practică propusă pentru audit, nu mecanism algoritmic.

Surse

Chrome for Developers — „Changes: Track your HTML, CSS, and JavaScript changes", documentație oficială DevTools. Panoul Changes arată doar modificările făcute în DevTools; la reload dispar dacă nu sunt păstrate prin Local Overrides sau Workspaces: developer.chrome.com/docs/devtools/changes
Chrome for Developers — „Override web content and HTTP response headers locally", documentație oficială Local Overrides. Fișierul modificat e salvat local și servit browserului în locul resursei din rețea, inclusiv la reload: developer.chrome.com/docs/devtools/overrides
WordPress Developer Resources — „Posts", REST API Handbook. Endpoint documentat: GET /wp/v2/posts: developer.wordpress.org/rest-api/reference/posts
WordPress Developer Resources — „Users", REST API Handbook. Endpoint documentat: GET /wp/v2/users: developer.wordpress.org/rest-api/reference/users
HTTP Archive — „Web Almanac 2025", secțiunea SEO. Datasetul raportează status 200 pentru 84,9% dintre requesturile către robots.txt, atât pe desktop, cât și pe mobil: almanac.httparchive.org/en/2025/seo
SE Ranking, Yulia Deda — „LLMs.txt: Why Brands Rely On It and Why It Doesn't Work", publicat 7 noiembrie 2025. Studiu comercial pe aproape 300.000 de domenii; 10,13% adopție în dataset și nicio relație măsurabilă cu citarea în modelul analizat: seranking.com/blog/llms-txt
Limy, Yahel Oren — „LLMs.txt in 2026: The Full Guide", publicat 12 mai 2026. Furnizorul declară 515.382.577 evenimente de trafic bot analizate și 408 requesturi directe către /llms.txt într-o fereastră de 90 de zile. Date comerciale, nereplicate independent în acest articol: limy.ai/blog/llms.txt-in-2026-the-full-guide
Search Engine Land — „Does llms.txt matter? We tracked 10 sites to find out", 2026. Test industrial pe 10 site-uri: opt fără schimbare măsurabilă; creșterile de pe celelalte două au coincis cu alte modificări: searchengineland.com/does-llms-txt-matter-467740
Google Search Central — „Google's Guide to Optimizing for Generative AI Features on Google Search", actualizat în 2026. Google spune explicit că Google Search nu folosește llms.txt și că fișierul nu ajută și nu afectează vizibilitatea sau rankingul în Google Search: developers.google.com/…/ai-optimization-guide
Google Search Central — „Robots meta tag, data-nosnippet, and X-Robots-Tag specifications". Documentează directive precum noindex și nosnippet și utilizarea lor prin header HTTP: developers.google.com/…/robots-meta-tag
Google Search Central — „How to specify a canonical URL". Google acceptă canonical prin HTML sau header HTTP Link și recomandă evitarea semnalelor contradictorii între metode: developers.google.com/…/consolidate-duplicate-urls
Google Search Central — „Generate Structured Data with JavaScript". Google documentează generarea JSON-LD prin JavaScript și Google Tag Manager: developers.google.com/…/generate-structured-data-with-javascript
IndexNow.org — „Documentation". Documentează submiterea URL-urilor și partajarea notificărilor între motoarele participante: indexnow.org/documentation
IndexNow.org — „Documentation for search engines". Documentează mecanismul de participare și propagare a notificărilor: indexnow.org/searchengines
Chrome for Developers — „Disable JavaScript", documentație oficială DevTools: developer.chrome.com/docs/devtools/javascript/disable
OpenAI Help Center — „Publishers and Developers – FAQ", verificat 18 august 2026. OpenAI spune că OAI-SearchBot trebuie permis pentru includerea conținutului în summaries/snippets din ChatGPT Search: help.openai.com/…/publishers-and-developers-faq
Perplexity Documentation — „Perplexity Crawlers". Documentează user-agenturile și intervalele IP folosite pentru crawlerele Perplexity: docs.perplexity.ai/docs/resources/perplexity-crawlers
Portal Legislativ — „Codul penal, art. 360 – Accesul ilegal la un sistem informatic". Alin. (1): accesul, fără drept, la un sistem informatic se pedepsește cu închisoare de la 3 luni la 3 ani sau cu amendă: legislatie.just.ro

Notă de volatilitate

Comportamentul crawlerelor AI, documentația OpenAI/Perplexity, lista participanților IndexNow și poziția providerilor față de llms.txt se pot modifica. Afirmațiile despre aceste produse și protocoale descriu starea verificată la 18 august 2026 și trebuie reverificate înaintea unei actualizări viitoare.

Articol publicat de AI Visibility Lab, proiect independent de cercetare aplicată și documentare în AI Visibility, GEO și AEO, fondat și coordonat de Alex Matescu. Ultima verificare factuală și a surselor: 18 august 2026.