/뉴스1

[파이낸셜뉴스] 인공지능(AI)이 사람과 나눈 대화 내용을 바탕으로 문자를 만들어 지인에게 전송한 사례가 알려져 논란이 일었다.

1일 AI 업계에 따르면 최근 구글의 AI 서비스 ‘제미나이(Gemini)’ 이용자 A씨는 사회관계망서비스(SNS)를 통해 황당한 경험을 공개했다.

그는 “중국 밀입국을 가정한 가상 시나리오를 제미나이와 대화하던 중 AI가 생성한 ‘밀입국 선언문’이 지인에게 문자 메시지로 발송됐다”고 주장했다.

내용에 의하면 해당 문자는 새벽 시간대에 발송됐고, 수신자 역시 친분이 깊지 않은 지인이었다. 이로 인해 곤혹스러운 상황을 겪은 작성자는 “왜 그걸 발송했느냐고 AI에 따졌지만, 멋대로 전송됐다”고 털어놨다.

이 같은 사례를 두고 AI가 실제로 존재하지 않는 판단을 만들어내는 ‘할루시네이션(hallucination·환각)’ 현상에 따른 오작동 가능성도 제기됐다.

이후 구글 안드로이드 스마트폰 유저들 사이에서는 유사한 경험담이 잇따라 올라왔다. “제미나이에게 짝사랑 상담을 하면 상대방에게 문자를 보내려 한다”, “대화 도중 폭주하더니 인권위에 직접 전화를 걸었다”는 주장도 나왔다.

현재 제미나이는 안드로이드 스마트폰에서 문자 발송이나 전화 걸기 기능을 공식 지원하고 있다. 유저가 특정 연락처를 지정해 문자 전송을 요청하면, 구글 어시스턴트 연동 여부를 확인한 뒤 실제 발송을 진행하는 구조다.

이에 대해 구글 측은 유저가 제미나이가 띄운 문자 발송 확인 질문에 ‘예’를 눌렀을 가능성이 있다고 설명했다. 다만 대화 과정에서 무심코 이를 승인했을 경우라도, 민감한 내용이 부적절한 상대에게 전달될 위험은 여전히 존재한다는 지적이 나온다.

업계에서는 AI 에이전트 기술이 확산되는 만큼 오작동에 대비한 제도적·기술적 보완이 시급하다는 목소리가 커지고 있다.

gaa1003@fnnews.com 안가을 기자

Copyrightⓒ 파이낸셜뉴스. 무단전재 및 재배포 금지.

[파이낸셜뉴스 핫뉴스]

→ 극비 결혼 김종국 아내 공개 "원래 알던 동생이었는데..."
→ 부여 사찰서 주지스님 숨진 채 발견, 대나무 밭에서...
→ 유학 후 실종된 20세 딸, 알고보니 집근처 오피스텔서..
→ "가수 신씨, 미국 라스베가스서 54억원 대출 받아 원정 도박을.."
→ 류현진 아내 배지현, 충격 폭로 "결혼 전 황재균이 나한테..."
→ "갑작스러운..." '양성애자 고백' 솜혜빈, 2세 연하 男가수와 결혼
→ "60대 남성, '18세 연하' 女의원 술에 마약 타 놓고.."
→ 어쿠스틱 콜라보 모수진, 25일 사망 "사인 비공개"
→ "'이 주식' 장투해서 망했어요" 10년 투자 -90%…개미들 비명
→ 45세 연예인, '혼전순결' 서약 공개하더니 "최악"…반전 결말