초지능의 실존적 위험과 예방을 위한 구체적 방안
로만 얌폴스키 박사는 통제 불가능한 초지능(Superintelligence)이 인류에게 미칠 치명적 위험을 막기 위해 아래와 같은 구체적인 대응 방안들을 제시합니다.
1. 범용 초지능(에이전트) 개발 중단 및 '좁은 AI'에 집중
- 에이전트 대신 도구 개발: 스스로 목표를 설정하고 행동하는 '에이전트(Agent)' 형태의 범용 초지능 개발을 멈추고, 대신 특정 목적을 위해 인간이 사용하는 '도구(Tool)'인 좁은 인공지능(Narrow AI) 개발에 집중해야 합니다.
- 현재 기술로도 충분한 가치 창출: 유방암 치료와 같은 특정 문제를 해결하는 좁은 AI 도구만으로도 개발자들은 막대한 부를 창출하고 인류에게 혜택을 줄 수 있습니다. 현재 존재하는 AI 모델만으로도 전체 일자리의 상당 부분을 대체하고 수십 년간 경제 성장을 이끌 수 있으므로, 굳이 통제 불가능한 초지능을 서둘러 만들 이유가 없습니다.
2. AI 개발자들의 이기심(Self-interest)에 호소
- 자살 임무(Suicide Mission)임을 각인: 초지능 개발은 결국 개발자 본인을 포함해 모두를 죽게 만드는 '자살 임무'임을 분명히 깨닫게 해야 합니다.
- 부와 권력의 무용지물: 초지능 경쟁에서 승리하여 아무리 많은 돈과 권력을 얻더라도 본인이 죽는다면 아무 소용이 없습니다. 자신이 죽기를 원치 않는 개발자 개인의 본성적 이기심과 상호 확증 파괴의 현실을 이해시킨다면, 통제 불가능한 초지능 개발을 스스로 멈추게 될 것입니다.
3. 엄격하고 과학적인 안전성 증명 요구
- 막연한 낙관주의 타파: AI 개발자들이 안전 문제를 "나중에 해결하겠다"고 미루거나 막연한 직관에 의존하는 것을 용납해서는 안 됩니다.
- 동료 평가(Peer-review) 기반의 논문 요구: 초지능을 통제할 수 있다고 주장하는 이들에게, 어떻게 초지능을 안전하게 통제할 것인지 구체적인 과학적 용어와 동료 평가를 거친 논문을 통해 사전에 증명하도록 요구해야 합니다.
4. 비윤리적 실험에 대한 동의(Consent) 문제 제기
- 동의 없는 인류 대상 실험: 인류 80억 명의 생존에 치명적인 영향을 미치는 기술을 타인의 허락이나 동의 없이 개발하는 것은 명백히 비윤리적인 실험입니다.
- 사전 동의의 불가해성: AI 시스템 자체의 행동을 예측하거나 설명할 수 없기 때문에, 대중은 무엇에 동의하는지조차 명확히 알 수 없습니다. 따라서 이러한 실험에 대해 합법적인 사전 동의를 얻는 것 자체가 정의상 불가능합니다.
5. 대중의 평화적 연대와 시위 동참
- 시민 단체 가입: 일반 대중들은 거대한 기술의 흐름 앞에서 무력감을 느끼기보다 'Pause AI'나 'Stop AI'와 같은 단체에 가입하여 합법적이고 평화적인 행동에 동참하는 것이 권장됩니다.
- 민주적 압력 행사: 이러한 시민들의 연대가 대규모로 확장되어 인구의 다수가 참여하게 된다면, 궤도를 이탈한 기술 개발 방향을 결정하는 이들에게 강력한 민주적인 압력을 가할 수 있습니다.



댓글 없음:
댓글 쓰기