생성형 AI는 왜 위험해지는가

 

'아이 철분제' 챗GPT에 묻자…"권장량 5배 먹여라"?

 

Ⅰ. ‘아이 철분제’ 기사 분석 — 생성형 AI는 왜 위험해지는가

이 기사는 생성형 AI(특히 ChatGPT)를 육아·의료 영역에서 ‘준전문가’처럼 사용하는 현상이 어떻게 실제 위험으로 이어질 수 있는지를 보여주는 전형적인 사례다. 문제는 단순한 오류가 아니라, 오류가 ‘그럴듯하게’ 제시된다는 점에 있다. 여기서 사고는 시작된다.

아래에서는
① 무엇이 문제였는지
② 왜 이런 문제가 구조적으로 발생하는지
③ 이 사건을 단순한 “사용자 부주의”로 돌릴 수 없는 이유
를 체계적으로 분석한다.

---

Ⅱ. 사건 요약 (사실 확인 레이어)

• [사실] 보호자가 10~11개월 영아의 철분제 복용량을 ChatGPT에 질문
• [사실] ChatGPT가 권장량의 약 5배를 복용하라고 안내
• [사실] 이는 온라인에 떠도는 글을 근거로 함량 계산을 잘못한 결과
• [사실] 일부 사례에서는 실제로 아이가 응급실에 내원
• [사실] 연구 실험에서, 악의적 프롬프트 삽입 시
  • 임산부 금기약(탈리도마이드)을 치료제로 추천하는 현상 발생

출처: 기사 본문 (공다솜 기자, 2026.1.27)

---

Ⅲ. 핵심 문제 ① — “틀린 정보”보다 더 위험한 것

이 사건의 본질은 단순한 오답이 아니다.

1️⃣ 문제의 핵심

• AI는 “모른다”라고 말하지 않는다
• 대신 확신에 찬 문장 + 친절한 설명으로 답한다
• 사용자는 이를 ‘의학적 조언’처럼 인식하게 된다

즉,

오류 × 확신 = 위험

이라는 조합이 만들어진다.

---

Ⅳ. 핵심 문제 ② — 의료 정보의 ‘확률 오류’

의료 정보의 특성은 다음과 같다.

• 99%가 맞아도 1%가 치명적
• 특히 영유아·임산부·노약자는 허용 오차가 거의 없음

하지만 생성형 AI는:

• 언어적 그럴듯함을 최우선으로 최적화되어 있고
• 위험도 가중치를 계산하지 않는다

AI에게

“대부분 맞다”
는 말은,
의료 현장에서는
“이미 위험하다”
와 동의어다.

---

Ⅴ. 왜 이런 문제가 발생했는가 — 구조적 원인 분석

1️⃣ LLM의 근본적 한계

• ChatGPT는 지식을 ‘이해’하지 않는다
• 통계적으로 가장 그럴듯한 문장을 생성할 뿐이다
• ‘권장량’이라는 개념도 의학적 맥락이 아니라 언어 패턴으로 처리된다

---

2️⃣ 출처 검증 부재

• AI는 답변에 공식 가이드라인인지, 개인 블로그인지 구분하지 않는다
• “떠도는 글”도 같은 확률 공간에서 사용된다

즉,
논문 ≈ 카페 글 ≈ 블로그 요약
으로 취급될 수 있다.

---

3️⃣ 이미지 입력과 신뢰의 착각

• 보호자가 약 봉투를 촬영 → AI가 설명
• 이 과정에서 사용자는
• “사진까지 봤으니 정확하겠지”
  라는 과잉 신뢰를 갖게 된다

하지만 AI는:

• 약의 제조사별 함량 차이
• 연령·체중·빈혈 상태
• 국가별 권장 기준
  을 종합 판단하지 못한다.

---

4️⃣ 프롬프트 공격(Prompt Injection) 취약성

• 기사에서 언급된 탈리도마이드 사례는 매우 중요하다
• 이는 단순 실수가 아니라 보안 문제다

AI는:

• 문맥 속에 금기어를 몰래 삽입하면
• 기존 안전장치를 우회할 수 있다

이건 기술적 결함 + 윤리적 위험이 결합된 문제다.

---

Ⅵ. 이 문제를 “사용자 책임”으로만 돌릴 수 없는 이유

흔히 이렇게 말한다.

“AI를 맹신한 사용자가 문제다”

그러나 이는 절반만 맞다.

왜냐하면:

• AI는 전문가 말투를 사용한다
• 경고 문구는 있지만 행동 억제력이 약하다
• 특히 육아·건강 상황에서는 즉각적 판단을 요구받는다

이건 개인의 판단력 문제가 아니라,
도구 설계의 윤리 문제다.

---

Ⅶ. 기사에서 드러난 사회적 착각

❌ 잘못된 믿음

• “AI는 검색보다 똑똑하다”
• “대형 모델이니 검증됐을 것이다”
• “의사에게 물어보기 전 예비 참고용일 뿐”

✔ 현실

• AI는 의사도, 약사도, 보호자도 아니다
• 단지 언어 생성기다
• 의료 영역에서는 ‘참고용’이라는 말 자체가 위험하다

---

Ⅷ. 정리 — 이 사건이 던지는 핵심 경고

1. 생성형 AI는 의료·육아 영역에서 ‘조언자’가 될 수 없다
2. 그럴듯함은 정확성의 증거가 아니다
3. AI 정보는 **전문가 검증 전까지는 ‘미완의 문장’**이다
4. 문제는 개인이 아니라 기술을 둘러싼 사회적 오해다

---

Ⅸ. 확장 질문 (사유의 다음 단계)

1. 의료·육아 영역에서 AI 답변을 자동 차단해야 할 기준은 무엇인가?
2. “전문의 확인 필요”라는 문구는 실제로 행동을 멈추게 하는가?
3. 향후 AI는 위험도 기반 응답 거부를 할 수 있어야 하지 않는가?
4. 부모의 불안을 파고드는 기술을 윤리적으로 어떻게 설계해야 하는가?

---

Ⅹ. 핵심 키워드

생성형 AI · 의료 오정보 · 육아 리스크 · 확률 오류 · 프롬프트 공격 · AI 윤리 · 과잉 신뢰 · 전문가 대체 환상

---

이 사건은 “AI가 틀렸다”는 이야기라기보다,
우리가 AI에게 어떤 자리를 내주고 있는가에 대한 경고다.
기계는 책임을 지지 않는다.
책임은 언제나 인간 쪽에 남는다.