AI 크롤러 점검 결과를 배지로 만들었습니다 — 게이트 5개, 배지 문구는 두 조각만

Об этом предложении

이 글은 제가 만든 유료 상품 이야기입니다. 9월 25일부터 Gumroad에서 "AI 크롤러 정책 자동 검사 배지"를 $19에 팔고 있습니다. 무료로 쓸 수 있는 것부터 적고 유료 부분은 뒤에 따로 적겠습니다. 9월 초에 robots.txt가 GPTBot·ClaudeBot을 실제로 막는지 보여주는 무료 점검기를 소개했습니다. 그런데 점검 결과는 탭을 닫으면 사라져서, 정책을 정해 둔 사이트가 그 상태를 남에게 링크로 보여줄 방법이 없었습니다. 그래서 검사 결과를 발급일로부터 365일 동안 이용하는 결과 주소와 작은 SVG 배지로 남기는 발급기를 만들었습니다. 판정 로직은 복제하지 않고 점검기의 공개 API 2개를 그대로 부릅니다. 검사까지는 무료입니다. 발급 화면에서 키 없이 "먼저 무료로 검사"를 누르면 아래 5개 항목의 결과가 나오고, 같은 결과를 /check?domain=example.com 경로에서 JSON으로 받을 수도 있습니다. 로그인은 없습니다. 배지는 5개 항목을 전부 통과해야 나옵니다. robots.txt가 있을 것(404·410이면 미통과) robots.txt가 512K자를 넘어 잘리지 않을 것 AI 크롤러 15종 모두에 적용되는 규칙이 있을 것(전용 그룹이든 User-agent: * 든) /llms.txt 가 HTML이 아닌 텍스트로 응답할 것 llms.txt 형식 오류 0건 세 번째는 막았는지가 아니라 정했는지를 봅니다. 허용과 차단 중 무엇이 옳은지는 판단하지 않습니다. 네 번째에서 HTML 응답을 미통과로 치는 건 없는 경로에 SPA 껍데기 HTML을 200으로 돌려주는 사이트가 많아서입니다. 9월 24일 외부 도메인 6곳을 돌려 보니 cloudflare.com·vercel.com·stripe.com·docs.perplexity.ai는 5/5, llmstxt.org는 4/5, anthropic.com은 3/5였습니다. 배지가 안 나온다고 사이트에 문제가 있다는 뜻은 아닙니다. 가장 오래 붙잡은 건 배지 문구였습니다. 배지는 기관 심사나 법적 판단처럼 읽히는 순간 문제가 됩니다. 그래서 SVG 안의 글자를 도메인과 "YYYY-MM-DD 자동 검사 통과" 두 조각으로 고정했고, 그렇게 읽힐 수 있는 표현 20개를 금지 목록으로 두어 하네스가 배지·결과 페이지·판매 문안을 전수 검사합니다. 결제 확인은 Gumroad 라이선스 키 하나로 합니다. 발급기는 워커 1개이고, 키와 도메인이 오면 Gumroad licenses/verify API로 확인합니다. 키가 없으면 403, 결제된 키가 아니거나 환불·차지백·분쟁 건이면 402, 결제는 됐어도 5개 중 미통과가 있으면 422로 발급하지 않습니다. KV에는 키 원문을 저장하지 않습니다. 배지 id는 도메인과 키의 sha256 해시를 비밀값으로 HMAC한 값의 앞 24자이고, 해시는 id를 만든 뒤 버립니다. 같은 계정의 다른 워커가 KV list 일일 상한 1,000회를 다 쓴 적이 있어 이 워커는 list() 를 부르지 않습니다. 이 배지가 다루지 않는 것도 적어 둡니다. 기관 심사 결과도 법적 판단도 아닙니다. 사이트가 공개한 두 파일만 보므로 크롤러가 그 규칙을 실제로 따르는지는 알 수 없습니다. 한 번 관측한 결과라 이후 파일이 바뀌면 반영되지 않고, 사이트의 품질·보안·개인정보 처리와도 무관합니다. 결과 페이지에 이 한계와 다시 검사하는 주소가 함께 적힙니다. AI 크롤러 접근 점검기(무료) — https://ai-crawler-checker.hdg-os.workers.dev/ 배지 발급 화면(검사는 키 없이 무료) — https://verify-badge.hdg-os.workers.dev/redeem AI 크롤러 정책 자동 검사 배지($19, 도메인 1개·365일) — https://maxhwang.gumroad.com/l/ai-crawler-badge 구매 후 확인 메일의 라이선스 키와 도메인을 발급 화면에 넣으면 배지 삽입 코드가 나옵니다. 언급한 크롤러·서비스 이름과 도메인은 각 소유자의 것이며, 이 글과 도구는 어느 곳과도 제휴 관계가 없습니다.

Детали предложения

Провайдер

velog

Источник

velog-rss

Балл

54.4

Уверенность

49%