생성형 AI로 과제와 보고서를 쉽게 만들 수 있게 되면서 교육 현장의 검증 방식도 바뀌고 있다. 완성된 글만 보고 AI 작성 여부를 판별하는 데서 나아가, 학생이 실제로 어떤 과정을 거쳐 글을 썼는지 확인하는 방식이 등장했다.
실용 AI 기업 무하유는 표절검사 서비스 카피킬러에 글 작성 과정을 기록하고 직접 작성 근거를 확인할 수 있는 ‘작성 검증’ 기능을 출시했다고 30일 밝혔다. 이용자가 별도 프로그램을 설치하지 않고 카피킬러 문서 에디터에서 글을 쓰면 타이핑과 수정, 삭제, 붙여넣기 등의 활동이 자동으로 기록된다.
회사는 타이핑 속도와 입력 간격, 커서 이동 등 150여 가지 세부 활동을 분석해 직접 작성 여부에 관한 결과지를 제공한다. 입력과 수정, 삭제 기록을 시간 순서대로 다시 볼 수 있는 리플레이 기능도 지원한다. 학생은 과제나 논문을 작성한 뒤 결과지를 함께 제출할 수 있고, 교사나 교수는 완성된 문서뿐 아니라 작성 과정도 확인할 수 있다.
● AI 탐지만으로 학생 부정행위 판단하기 어려워
이런 방식이 등장한 배경에는 생성형 AI 탐지 도구의 한계가 있다. AI가 만든 글과 사람이 쓴 글을 완성본만으로 구별하는 기술이 활용되고 있지만, 사람이 작성한 글을 AI 생성물로 잘못 분류하는 ‘오탐’ 가능성을 완전히 없애기는 어렵다.
글쓰기 검증 서비스 턴잇인(Turnitin)도 자사 AI 탐지 모델이 사람의 글이나 AI 생성 글을 잘못 판별할 수 있으며, 탐지 결과를 학생에게 불이익을 주는 유일한 근거로 사용해서는 안 된다고 안내하고 있다. 특히 AI 작성 가능성이 1~19%로 탐지된 경우 오탐 가능성이 상대적으로 높다는 이유로 구체적인 점수를 표시하지 않는다.
유네스코 역시 생성형 AI가 에세이와 문제풀이 등 기존 평가 결과물을 손쉽게 만들어낼 수 있게 되면서 완성된 결과만으로 개인의 노력이나 이해 수준을 판단하기 어려워졌다고 지적한다. 이에 따라 최종 결과물보다 사고와 수정, 피드백 반영 등 학습 과정을 평가하는 방식이 중요해지고 있다고 설명한다.
작성 검증은 이런 문제를 AI 탐지 정확도 경쟁과 다른 방식으로 접근한 것이다. 특정 문장이 AI로 작성됐는지를 추정하기보다, 실제 문서가 만들어지는 과정을 기록해 작성자가 직접 작업했다는 근거를 남기는 방식이다.
다만 무하유가 공개한 자료에는 작성 검증 기능의 정확도나 오탐률 등 성능 지표는 포함되지 않았다. 따라서 결과지만으로 부정행위 여부를 확정하기보다 작성 과정 확인을 위한 참고자료로 활용할 필요가 있다.
● “직접 썼어도 내용을 이해하나”…다음 단계는 구술 확인
무하유는 향후 작성자가 제출한 문서 내용을 실제로 이해하고 있는지 확인하는 ‘문서 이해도 평가’ 기능도 추가할 계획이다. 제출된 문서를 바탕으로 질문을 만들고 작성자가 구술로 답하는 방식이다.
유네스코는 학생이 자신의 생각을 실시간으로 설명하고 예상하지 못한 질문에 답하거나 결론을 방어하도록 하는 대화·구술 평가가 학습자의 실제 이해와 지적 소유를 확인하는 방법이 될 수 있다고 제안한다.
무하유는 이미 문서의 AI 작성 가능성을 분석하는 ‘GPT킬러’와 인용 출처의 실제 존재 여부를 확인하는 ‘가짜출처 검사’를 운영하고 있다. 이번에는 결과물 탐지를 넘어 작성 과정 자체를 확인하는 기능을 추가한 셈이다.
신동호 무하유 대표는 “생성형 AI가 글과 답변을 만드는 데 쓰이면서 결과물만으로 작성 과정이나 실제 역량을 판단하기 어려워졌다”며 “작성 검증을 시작으로 문서 이해도 평가까지 더해 AI 활용으로 생기는 문제를 하나씩 해결해 나가겠다”고 말했다.
기사 원문 읽기: https://www.donga.com/news/Economy/article/all/20260930/134757710/2
생성형 AI로 과제와 보고서를 쉽게 만들 수 있게 되면서 교육 현장의 검증 방식도 바뀌고 있다. 완성된 글만 보고 AI 작성 여부를 판별하는 데서 나아가, 학생이 실제로 어떤 과정을 거쳐 글을 썼는지 확인하는 방식이 등장했다.
실용 AI 기업 무하유는 표절검사 서비스 카피킬러에 글 작성 과정을 기록하고 직접 작성 근거를 확인할 수 있는 ‘작성 검증’ 기능을 출시했다고 30일 밝혔다. 이용자가 별도 프로그램을 설치하지 않고 카피킬러 문서 에디터에서 글을 쓰면 타이핑과 수정, 삭제, 붙여넣기 등의 활동이 자동으로 기록된다.
회사는 타이핑 속도와 입력 간격, 커서 이동 등 150여 가지 세부 활동을 분석해 직접 작성 여부에 관한 결과지를 제공한다. 입력과 수정, 삭제 기록을 시간 순서대로 다시 볼 수 있는 리플레이 기능도 지원한다. 학생은 과제나 논문을 작성한 뒤 결과지를 함께 제출할 수 있고, 교사나 교수는 완성된 문서뿐 아니라 작성 과정도 확인할 수 있다.
● AI 탐지만으로 학생 부정행위 판단하기 어려워
이런 방식이 등장한 배경에는 생성형 AI 탐지 도구의 한계가 있다. AI가 만든 글과 사람이 쓴 글을 완성본만으로 구별하는 기술이 활용되고 있지만, 사람이 작성한 글을 AI 생성물로 잘못 분류하는 ‘오탐’ 가능성을 완전히 없애기는 어렵다.
글쓰기 검증 서비스 턴잇인(Turnitin)도 자사 AI 탐지 모델이 사람의 글이나 AI 생성 글을 잘못 판별할 수 있으며, 탐지 결과를 학생에게 불이익을 주는 유일한 근거로 사용해서는 안 된다고 안내하고 있다. 특히 AI 작성 가능성이 1~19%로 탐지된 경우 오탐 가능성이 상대적으로 높다는 이유로 구체적인 점수를 표시하지 않는다.
유네스코 역시 생성형 AI가 에세이와 문제풀이 등 기존 평가 결과물을 손쉽게 만들어낼 수 있게 되면서 완성된 결과만으로 개인의 노력이나 이해 수준을 판단하기 어려워졌다고 지적한다. 이에 따라 최종 결과물보다 사고와 수정, 피드백 반영 등 학습 과정을 평가하는 방식이 중요해지고 있다고 설명한다.
작성 검증은 이런 문제를 AI 탐지 정확도 경쟁과 다른 방식으로 접근한 것이다. 특정 문장이 AI로 작성됐는지를 추정하기보다, 실제 문서가 만들어지는 과정을 기록해 작성자가 직접 작업했다는 근거를 남기는 방식이다.
다만 무하유가 공개한 자료에는 작성 검증 기능의 정확도나 오탐률 등 성능 지표는 포함되지 않았다. 따라서 결과지만으로 부정행위 여부를 확정하기보다 작성 과정 확인을 위한 참고자료로 활용할 필요가 있다.
● “직접 썼어도 내용을 이해하나”…다음 단계는 구술 확인
무하유는 향후 작성자가 제출한 문서 내용을 실제로 이해하고 있는지 확인하는 ‘문서 이해도 평가’ 기능도 추가할 계획이다. 제출된 문서를 바탕으로 질문을 만들고 작성자가 구술로 답하는 방식이다.
유네스코는 학생이 자신의 생각을 실시간으로 설명하고 예상하지 못한 질문에 답하거나 결론을 방어하도록 하는 대화·구술 평가가 학습자의 실제 이해와 지적 소유를 확인하는 방법이 될 수 있다고 제안한다.
무하유는 이미 문서의 AI 작성 가능성을 분석하는 ‘GPT킬러’와 인용 출처의 실제 존재 여부를 확인하는 ‘가짜출처 검사’를 운영하고 있다. 이번에는 결과물 탐지를 넘어 작성 과정 자체를 확인하는 기능을 추가한 셈이다.
신동호 무하유 대표는 “생성형 AI가 글과 답변을 만드는 데 쓰이면서 결과물만으로 작성 과정이나 실제 역량을 판단하기 어려워졌다”며 “작성 검증을 시작으로 문서 이해도 평가까지 더해 AI 활용으로 생기는 문제를 하나씩 해결해 나가겠다”고 말했다.
기사 원문 읽기: https://www.donga.com/news/Economy/article/all/20260930/134757710/2