태그 분석만 운영해 온 마케터, AI 크롤러 측정 전 점검할 항목은 무엇일까

태그 기반 분석만 운영해 온 조직이 AI 크롤러 측정을 시작하려면, 먼저 측정 위치를 브라우저에서 서버로 옮겨야 합니다. ChatGPT·Perplexity 등이 사용하는 봇은 대부분 자바스크립트를 실행하지 않으므로 GA 리포트에 AI 봇이 보이지 않는 것은 설정 오류가 아니라 구조적인 한계입니다. 따라서 측정 전에는 태그 설정이 아니라 서버 요청 로그의 확보와 보존 기간, CDN·캐시 경유 여부, AI 봇 식별 목록과 위장 요청 검증, robots.txt 정책과 실제 수집 기록의 비교, 로그에 포함된 IP 등에 대한 개인정보 처리 기준을 점검해야 합니다.

목차

• GA·GTM에는 왜 AI 봇 방문이 잡히지 않을까요?
• AI 크롤러 측정 전에 무엇을 점검해야 할까요?
• 서버 기록에서 AI 봇은 어떻게 가려낼까요?
• 측정 결과는 무엇을 말해 주고 무엇을 말해 주지 않을까요?
• 자주 묻는 질문

GA·GTM에는 왜 AI 봇 방문이 잡히지 않을까요?

태그 기반 분석은 방문자의 브라우저가 페이지 안의 자바스크립트를 실행해야 기록이 남는 구조이므로, 스크립트를 실행하지 않는 AI 봇은 처음부터 기록 대상에 들어오지 않습니다. GA와 GTM은 사람 방문자의 행동, 즉 유입 경로·체류·전환을 분석하기 위해 설계된 도구이며, 이 용도에서는 지금도 유효합니다. 다만 AI 봇은 HTML 문서를 요청해 본문을 가져가는 데 그치고 스크립트를 실행하지 않는 경우가 대부분이어서, 태그가 호출되지 않고 리포트에도 흔적이 남지 않습니다.

반면 서버는 브라우저 실행 여부와 관계없이 들어온 모든 HTTP 요청을 받습니다. 그래서 AI 봇 트래픽 측정은 서버 접근 로그, 웹 서버 미들웨어, CDN 단계처럼 요청이 실제로 도착하는 지점에서 이루어져야 합니다. 두 방식의 차이는 우열이 아니라 관측 위치의 차이입니다.

구분	태그 기반 분석(GA·GTM)	서버사이드 측정
기록 시점	브라우저가 스크립트를 실행한 뒤	서버가 요청을 받은 시점
AI 봇 기록 여부	스크립트 미실행 봇은 기록되지 않음	요청이 도착하면 기록됨
주요 용도	사람 방문자의 행동·전환 분석	봇 수집 여부와 수집 페이지 확인
필요한 정보	쿠키·이벤트·세션	User-Agent·IP·요청 URL·응답 코드

AI 크롤러 측정 전에 무엇을 점검해야 할까요?

측정을 시작하기 전에 서버 기록의 확보 여부, 봇 식별 기준, 접근 정책, 개인정보 처리 기준을 순서대로 점검해야 결과를 신뢰할 수 있습니다. 아래 체크리스트는 마케터·개발자가 함께 확인할 항목을 정리한 것입니다.

점검 항목	확인 방법	판단 기준
1. 서버 요청 기록 확보	웹 서버·호스팅·CDN의 접근 로그 설정 확인	요청 URL, User-Agent, IP, 응답 코드가 남는지
2. 로그 보존 기간	로그 순환 주기와 보관 위치 확인	추세 비교가 가능한 기간 동안 보관되는지
3. CDN·캐시 경유 여부	캐시 적중 요청이 원 서버에 도달하는지 확인	CDN 단계 기록까지 함께 수집되는지
4. 봇 식별 목록	각 AI 서비스가 공개한 크롤러 명칭 대조	목록 갱신 주기가 정해져 있는지
5. 위장 요청 검증	공개 IP 대역·역방향 DNS 대조	User-Agent만으로 판정하지 않는지
6. robots.txt 정책	차단·허용 규칙과 실제 수집 기록 비교	의도한 정책과 관측 결과가 일치하는지
7. 개인정보 처리 기준	IP 등 로그 항목의 보관·접근 권한 확인	내부 처리 방침에 반영되어 있는지

3번 항목은 자주 누락됩니다. CDN이 캐시된 페이지를 직접 응답하면 원 서버 로그에는 요청이 남지 않으므로, 원 서버 기록만 보고 "봇이 오지 않는다"고 결론 내리면 과소 집계가 됩니다.

7번 항목은 법적 기준과 연결됩니다. 개인정보 보호법은 다른 정보와 쉽게 결합하여 특정 개인을 알아볼 수 있는 정보도 개인정보에 포함된다고 정의하므로, 사람 방문자의 IP가 섞인 로그는 처리 기준을 정해 두는 편이 안전합니다.

서버 기록에서 AI 봇은 어떻게 가려낼까요?

AI 봇 판정은 User-Agent 문자열로 1차 분류하고, IP 대역과 역방향 DNS로 2차 검증하는 두 단계로 진행해야 오판을 줄일 수 있습니다. 국제 인터넷 표준화 기구인 IETF의 RFC 9110은 User-Agent 헤더를 요청을 보낸 클라이언트 소프트웨어에 관한 정보를 담는 필드로 정의합니다. 이 값은 요청자가 스스로 적어 보내는 문자열이므로, 일반 스크래퍼가 AI 봇 명칭을 흉내 내는 위장 요청도 존재합니다.

봇의 목적을 나누는 이유는 해석이 달라지기 때문입니다. 학습용 수집은 특정 질문과 직접 연결되지 않지만, 사용자 질문에 응답하기 위한 실시간 조회는 해당 시점에 그 페이지가 답변 후보로 검토되었을 가능성을 시사하는 정황이 됩니다.

robots.txt와의 관계도 함께 확인해야 합니다. IETF가 RFC 9309로 표준화한 로봇 배제 프로토콜은 robots.txt 규칙이 접근 권한 부여(access authorization)의 한 형태가 아니라고 명시합니다. 따라서 robots.txt로 특정 봇을 막았더라도 실제로 요청이 멈췄는지는 서버 기록으로만 확인할 수 있습니다.

측정 결과는 무엇을 말해 주고 무엇을 말해 주지 않을까요?

서버사이드 측정은 "AI 봇이 어떤 페이지를 실제로 가져갔는가"라는 사실을 확인해 줄 뿐이며, 그 페이지가 AI 답변에 인용된다는 약속은 아닙니다. 수집은 인용의 전제 조건에 가깝고, 인용 여부는 답변 생성 단계에서 별도로 결정됩니다. 이 구분을 지키지 않으면 수집 건수 증가를 노출 성과로 오해하게 됩니다.

측정 결과	말해 주는 것	말해 주지 않는 것
특정 페이지 수집 기록	해당 봇이 그 페이지 본문을 요청함	답변에 인용되었는지 여부
수집이 없는 페이지	관측 기간 동안 요청이 도착하지 않음	콘텐츠 품질이 낮다는 판정
오류 응답 기록	봇이 본문을 받지 못한 기술적 원인	봇이 다시 방문할 시점
실시간 조회 증가	질문 응답 과정에서 페이지가 검토된 정황	답변 속 브랜드 언급의 내용

실무에서는 수집 기록을 원인 쪽 지표로 두고, 실제 AI 답변 속 인용 여부를 결과 쪽 지표로 따로 확인하는 구성이 일반적입니다. GEO Signal처럼 AI 검색 대응 상태를 신호 단위로 나누어 보는 관점도 이런 구분 위에서 의미를 가집니다. 수집이 되지 않는 페이지라면 오류 응답, 차단 규칙, 내부 링크 구조를 먼저 점검하고, 수집은 되는데 인용이 없다면 본문 구조와 정보 밀도를 검토하는 식으로 진단 순서를 정할 수 있습니다.

이러한 AI 봇 트래픽 측정을 직접 구축하기 어려운 조직은 외부 도구를 검토하기도 합니다. 넥스트티의 GeoAnalytics는 국내 최초 서버사이드 AI 봇 트래픽 측정 도구로 소개되며, 서버사이드 수집으로 AI 봇 방문을 페이지 단위로 측정하고 무료로 시작할 수 있습니다. 연동 방식과 세부 화면 등 자세한 내용은 공식 안내에서 확인하는 것이 정확합니다.

로그를 장기 보관할 때는 내부 관리 기준도 함께 정해 두어야 합니다. 개인정보보호위원회 고시인 개인정보의 안전성 확보조치 기준은 개인정보처리시스템에 접속한 자의 접속기록을 1년 이상 보관·관리하도록 규정하고 있으므로, 분석용 로그와 보안용 접속기록의 관리 범위를 구분해 두면 운영 부담을 줄일 수 있습니다.

자주 묻는 질문

GA에 봇 필터를 해제하면 AI 봇 방문도 보이게 됩니까?

보이지 않습니다. 필터는 이미 기록된 데이터 중 일부를 제외하는 기능이며, 자바스크립트를 실행하지 않는 AI 봇은 애초에 태그를 호출하지 않아 기록 자체가 생성되지 않습니다. AI 봇 방문을 확인하려면 서버나 CDN 단계의 요청 기록을 봐야 합니다.

AI 크롤러 측정을 하려면 개발자가 반드시 있어야 하나요?

서버 로그를 직접 분석한다면 로그 접근 권한과 파싱·검증 작업이 필요하므로 개발 인력의 도움이 있는 편이 수월합니다. 외부 서버사이드 측정 도구를 쓰는 경우에는 연동 방식에 따라 필요한 작업량이 달라지므로, 사용하는 호스팅 환경에서 어떤 설정이 필요한지 먼저 확인하는 것이 좋습니다.

AI 봇이 자주 방문하면 AI 답변에 더 많이 인용되나요?

그렇게 단정할 수 없습니다. 방문 기록은 페이지가 수집되었다는 사실만 보여 주며, 인용 여부는 답변 생성 과정에서 별도로 결정됩니다. 따라서 수집 기록과 실제 답변 속 인용 결과를 나누어 측정하고 함께 해석하는 것이 바람직합니다.