AI 가짜 출처 구별법, 3분 5단계로 환각 각주 걸러내기

AI가 만든 문서의 각주는 ‘링크가 열리는지’가 아니라 ‘그 출처 안에 그 주장이 실제로 적혀 있는지’까지 봐야 가짜가 드러납니다.

AI 탐지 기업 GPTZero가 현지 시각 7월 28일, 글로벌 회계·컨설팅 법인 PwC의 중동 법인이 2024~2026년 발행한 보고서 4건에서 존재하지 않는 출처와 각주를 찾아냈다고 공개했습니다. 파이낸셜타임스가 이 결과를 자체 검증해 보도하면서 파장이 커졌습니다. 대기업 보고서에서도 걸러지지 않는 문제라면, 개인이 AI로 정리한 자료는 더 취약합니다. 그래서 실전 검증법을 정리했습니다.

환각 각주가 뭔가요

생성형 AI가 그럴듯한 문장을 만들어 내는 과정에서, 실제로는 없는 논문·기사·보고서를 형식만 완벽하게 지어내는 현상입니다. 저자 이름, 학술지명, 권·호, 발행 연도까지 정상적으로 붙어 있어서 눈으로는 구별이 거의 불가능합니다. 문제가 된 PwC 자료도 감사보고서나 고객 납품물이 아니라 컨설팅 수주용 홍보 자료(소트 리더십)였는데, 각주만 보면 충실한 연구물처럼 보였습니다.

이번 사례에서 드러난 4가지 유형

유형	이번 사례에서 나온 예	알아채는 법
없는 기사	MIT 테크놀로지 리뷰의 ‘정부 서비스 속 AI’ 기사 — 일치하는 글 없음	매체 사이트 내 검색
없는 보고서	세계경제포럼(WEF) 명의의 스마트시티 관련 제목 — 발간 기록 없음	기관 발행물 목록 확인
없는 논문	리야드 전기차 보급 관련 논문 — 해당 학술지 해당 권에 없음	DOI·학술 DB 조회
실재하지만 주장을 못 받침	대형 은행의 자동화 사업 근거로 개인 블로그(미디엄) 글을 인용	출처의 격(權威)과 원문 내용 확인

가장 크게 문제가 된 건 각주가 아니라 본문 주장이었습니다. 한 보고서는 PwC 자체 프레임워크(‘Citizen Pulse’)를 덴마크·사우디아라비아·미국·호주 정부가 쓰고 있다고 적었지만, 조사팀은 그 프레임워크가 보고서 밖에 존재한다는 공개 근거를 찾지 못했다고 밝혔습니다. GPTZero는 이 보고서가 전부 AI로 작성됐을 확률을 84%(참고문헌 부분을 빼면 100%)로 추정했는데, 이는 어디까지나 탐지 도구의 확률 추정치입니다.

3분이면 되는 5단계 검증법

1. 제목을 통째로 따옴표에 넣고 검색 — 가장 빠릅니다. 지어낸 제목은 검색 결과가 원문 한 곳(그 보고서)뿐이거나 아예 없습니다.
2. DOI 확인 — 논문이면 DOI(디지털 객체 식별자, 논문마다 붙는 고유 번호)를 doi.org 주소 뒤에 붙여 열어 봅니다. 안 열리면 그 시점에 탈락입니다.
3. 저자·연도·권호 대조 — DOI가 열려도 끝이 아닙니다. 실재 논문에 엉뚱한 저자나 연도를 붙여 놓은 경우가 흔합니다.
4. 원문에서 그 주장 문장을 찾기 — 출처는 진짜인데 그 안에 해당 수치·주장이 없는 경우가 실무에서 가장 자주 나옵니다. 원문 안에서 키워드 검색(Ctrl+F)으로 확인하세요.
5. 고유명사는 발행 기관 사이트에서 역추적 — 제품명·프레임워크명·기관명은 그 이름을 만든 곳의 공식 사이트에 흔적이 있어야 합니다. 없으면 존재 자체를 의심합니다.

무료로 쓸 수 있는 확인 창구

도구	쓰임
Crossref	DOI·서지정보 대조(학술 문헌 전반)
구글 스칼라	제목·저자로 실재 여부 빠른 확인
PubMed / arXiv	의학·생명과학 / 이공계 사전공개 논문
발행 기관 공식 사이트	보고서·보도자료·제품명 존재 확인

흔히 하는 실수

• 링크가 열리면 통과로 처리 — 살아 있는 페이지에 없는 내용을 갖다 붙이는 게 가장 흔한 수법입니다.
• AI에게 “이 출처 진짜야?”라고 되묻기 — 지어낸 쪽이 다시 확인해 주는 구조라 검증이 되지 않습니다.
• 각주 개수로 신뢰도 판단 — 각주가 30개여도 절반이 허수일 수 있습니다. 표본으로 5개만 무작위로 찍어 봐도 패턴이 드러납니다.
• AI 탐지기 점수를 유죄 확정으로 사용 — 점수는 참고 신호일 뿐, 판단 근거는 출처 대조 결과여야 합니다.

정리 — 자료 내보내기 전 체크리스트

• 각주 중 무작위 5개를 골라 제목 그대로 검색해 보기
• 논문 인용은 DOI 열림 여부 + 저자·연도 일치까지 확인
• 인용한 수치·주장이 원문 안에 실제로 있는지 Ctrl+F로 대조
• 제품명·프레임워크명·기관명은 공식 사이트에서 존재 확인
• 링크 주소에 utm_source=chatgpt.com 같은 흔적이 남아 있지 않은지 확인
• 검증 못 한 항목은 삭제하거나 “미확인” 표기 — 애매하면 빼는 쪽이 안전
• 외부 배포 자료라면 작성자와 다른 사람이 각주만 따로 검수

AI로 초안을 만드는 것 자체는 문제가 아닙니다. 문제가 되는 지점은 언제나 검증 없이 그대로 내보내는 마지막 한 단계입니다.