AI가 일론 머스크에 필적할 수 있을까? LLM과 인간의 IQ 추정

사라지지 않는 질문

몇 달마다 하나의 헤드라인이 바이럴이 됩니다: "AI가 IQ 테스트에서 155점 달성". 함의는 명확합니다: 인공지능이 인간의 천재를 초월했고, 일론 머스크 같은 사람들은 시대착오가 되었습니다. 하지만 이것이 사실일까요?

짧은 대답: 아니오. 더 긴 대답은 IQ 테스트가 무엇을 측정하는지, 대규모 언어 모델(LLM)이 정보를 어떻게 처리하는지, 그리고 인간과 기계 지능을 비교하는 것이 잠수함과 수영자를 비교하는 것과 같은 이유를 이해해야 합니다.

이 글은 실제 증거 — LLM 인지 성능에 대한 동료 평가 연구, IQ 테스트의 구조, 일론 머스크의 인지 프로필에 대해 알려진 것 — 을 검토하여 정직한 답을 제공합니다.

IQ 테스트가 실제로 측정하는 것

IQ 테스트는 "똑똑함"의 단일 척도가 아닙니다. 이들은 일반적으로 Cattell-Horn-Carroll (CHC) 모델로 조직된 인지 능력의 위계를 평가합니다:

• 유동성 추론(Gf): 사전 지식 없이 새로운 문제 해결
• 결정화 지능(Gc): 습득한 지식과 어휘
• 정량적 추론(Gq): 수치 패턴 인식
• 시각 처리(Gv): 공간 및 기하학적 추론
• 작업 기억(Gwm): 머릿속에서 정보를 유지하고 조작
• 처리 속도(Gs): 빠른 인지 처리량

전체 IQ 점수는 이들을 집계하지만, 프로필이 숫자보다 중요합니다. IQ 130인 두 사람이 완전히 다른 능력 프로필을 가질 수 있습니다 — 한 사람은 언어 추론에 뛰어나지만 공간 과제에 어려움을 겪고, 다른 한 사람은 그 반대일 수 있습니다.

LLM 테스트 방법

여러 연구가 대규모 언어 모델에 인간 IQ 테스트를 실시했습니다. 가장 엄격한 것:

**Bubeck et al. (2023)**은 WAIS-IV(웩슬러 척도)로 GPT-4를 테스트하여, 어휘, 유사성, 정보와 같은 언어 서브테스트에서 99번째 백분위수 이상의 성과를 보였지만, 시각 처리가 필요한 공간 추론 과제에서는 어려움을 겪었다고 보고했습니다. 연구는 GPT-4의 "언어 IQ"를 약 155로 추정했습니다.

**Zhu et al. (2023)**은 여러 LLM에 레이븐 점진 행렬(비언어적 유동성 추론)을 실시했습니다. GPT-4는 75-90번째 백분위수 범위에서 점수를 받았습니다 — 존경스럽지만, 천재 수준에는 못 미칩니다. 저자들은 LLM이 종종 훈련 데이터의 패턴 매칭으로 행렬 문제를 해결한다고 지적했습니다.

OpenAI 자체 평가(2023-2024)는 GPT-4가 SAT 언어 섹션에서 163(99번째 백분위수)을 받았지만 수학 섹션에서는 710/800만 — 강하지만 엘리트 대학 기준으로는 예외적이지 않음을 보여줍니다.

언어 환상: AI 점수가 부풀려 보이는 이유

핵심 문제: IQ 테스트는 고도로 언어적이며, LLM은 텍스트로 훈련됩니다.

WAIS-IV에는 10개의 핵심 서브테스트가 있습니다. 다섯 개는 주로 언어적: 어휘, 유사성, 정보, 이해, 산수. 이에 대해 LLM은 엄청난 이점을 가집니다 — 훈련 데이터에서 본질적으로 모든 출판된 텍스트를 섭취했습니다. "시계와 달력의 유사점은 무엇입니까?"라고 물었을 때 모델은 추론하지 않습니다 — 통계적 언어 모델에서 답을 검색합니다.

이것은 **결정화 지능(Gc)**이지 유동성 추론이 아닙니다. 그리고 이것이 LLM이 가장 인상적으로 보이는 영역입니다. 하지만 결정화 지능은 실제 세계 문제 해결과 혁신을 예측하는 데 가장 예측력이 낮습니다. 무엇을 아는지를 측정하지, 어떻게 생각하는지를 측정하지 않습니다.

LLM이 실패하는 곳: 머스크 격차

일론 머스크의 인지 프로필 — SAT 점수와 경력 패턴에 기반 — 은 비대칭입니다: 매우 높은 유동성 추론, 예외적인 공간 능력, 강하지만 엘리트는 아닌 언어 기술. 이것은 LLM이 가장 성과가 낮은 프로필입니다.

공간 추론(Gv): LLM은 시각-공간 정보를 본질적으로 처리할 수 없습니다. 3D 객체를 정신적으로 회전하거나 로켓 궤적을 시각화하도록 요청받을 때, 실패하거나 텍스트 기반 우회책에 의존합니다. 머스크가 머릿속에서 로켓 구성 요소와 그 상호작용을 시각화하는 능력 — SpaceX의 핵심 요소 — 은 LLM 등가물이 없습니다.

작업 기억 조작(Gwm): LLM은 큰 컨텍스트 창을 가지고 있지만, 인간처럼 작업 기억에서 정보를 조작하지 않습니다. 패턴을 매칭하지, 정신 모델을 유지하고 변환하지 않습니다. 머스크가 여러 엔지니어링 트레이드오프를 동시에 유지하고 실시간으로 업데이트하는 능력은 현재 AI가 복제할 수 없는 작업 기억 기능입니다.

제1원리 추론: 머스크의 특징적 인지 전략 — 문제를 근본 물리학으로 분해하고 거기서부터 구축하는 것 — 은 진정한 유동성 추론을 필요로 하며, 검색이 아닙니다. LLM이 제1원리 추론을 시도할 때, 공리에서 추론하는 대신 훈련 예제 사이를 보간하기 때문에 그럴듯하게 들리지만 논리적으로 깨진 체인을 종종 생성합니다.

도메인 간 전이 학습: 머스크는 동일한 인지 도구 세트를 로켓, 자동차, 뇌 인터페이스, 소셜 미디어에 적용합니다. LLM은 이 모든 도메인에 대한 텍스트를 생성할 수 있지만, 인간 전문가처럼 해결 전략을 한 도메인에서 다른 도메인으로 전이할 수 없습니다.

벤치마크 문제

더 깊은 방법론적 문제가 있습니다: IQ 테스트는 인간을 위해 설계되었지, 기계를 위한 것이 아닙니다.

인간이 레이븐 점진 행렬을 풀 때, 작업 기억, 시각 처리, 유동성 추론의 조합을 사용합니다. LLM이 동일한 테스트(텍스트로 변환)를 볼 때, 훈련 데이터에 대한 통계적 패턴 매칭을 사용합니다. 이들은 근본적으로 다른 인지 과정이며, 특정 테스트에서 유사한 결과를 우연히 생산합니다.

이것은 굿하트 법칙 문제입니다: 측정이 목표가 되면, 좋은 측정이 아니게 됩니다. AI를 IQ 테스트에서 잘 점수하도록 최적화해도 AI를 더 똑똑하게 만드는 것이 아니라 — IQ 테스트를 더 잘 보게 만드는 것입니다.

더 정직한 비교는 인간 인지와 통계적 패턴 매칭을 구별하도록 설계된 테스트를 사용할 것입니다:

• 훈련 데이터에 있을 수 없는 새로운 물리 문제
• 정신적 시뮬레이션이 필요한 다단계 공간 추론
• 패턴 매칭 지름길을 노출하도록 설계된 적대적 질문
• 새로운 제약 하의 실시간 의사결정

이러한 지표에서 현재 LLM은 인간 전문가 수준에 크게 못 미칩니다.

숫자가 실제로 말하는 것

구체적으로 합시다. 머스크의 추정 인지 프로필(SAT 변환)과 GPT-4의 측정 성능을 비교하면:

그림은 명확합니다: LLM은 결정화 지능에서 지배적이지만 유동성 추론, 공간 능력, 작업 기억 조작에서 크게 뒤처집니다 — 바로 엔지니어링 혁신과 기업가적 문제 해결을 추진하는 능력입니다.

AI가 일론 머스크 기능을 대체할 수 있을까?

"일론 머스크 기능" — 인지적 역할로서, 개인이 아닌 — 은 다음을 포함합니다:

1. 아직 해결책이 없는 새로운 문제 식별
2. 여러 기술 도메인에서 제1원리로 추론
3. 불완전한 정보로 고위험 결정 내리기
4. 실시간으로 공간, 정량, 언어 추론 통합
5. 수년 프로젝트에서 노력과 집중 유지

현재 AI는 각각을 보조할 수 있지만 통합을 수행할 수 없습니다. GPT-4는 로켓 시뮬레이션 코드 작성을 도울 수 있지만, 재사용 가능한 로켓을 구축할지 결정할 수 없습니다. 배터리 화학 데이터를 분석할 수 있지만 새로운 셀 설계의 열적 거동을 시각화할 수 없습니다.

격차는 IQ 점수만이 아닙니다 — 지능의 유형에 관한 것입니다. 머스크의 가치는 새로운 문제에 적용된 유동성 추론에서 오며, 사실을 아는 것에서 오지 않습니다. LLM은 그 반대입니다: 방대한 사실 지식이지만 제한된 새로운 문제 해결.

미래: 수렴인가 발산인가?

AI는 빠르게 개선되고 있지만, 개선은 균일하지 않습니다. LLM은 언어 과제(이미 초인간적)에서 더 나아지고 있지만 공간 추론과 진정한 유동성 추론의 진전은 더 느립니다. 가장 유망한 접근법 — 멀티모달 모델, 신경-기호 아키텍처, embodied AI — 은 공간 및 추론 격차를 좁히려 시도하지만, 인간 전문가 수준에 여전히 못 미칩니다.

정직한 예측: AI는 향후 5-10년 동안 인간 인지를 점점 더 보강할 것이지만, "머스크 기능" — 새로운 엔지니어링 과제에 적용된 여러 추론 유형의 창조적 통합 — 은 가까운 미래에 인간 능력으로 남을 것입니다. 인간이 본질적으로 우월해서가 아니라, 필요한 지능의 유형이 현재 AI 아키텍처가 정확히 어려워하는 유형이기 때문입니다.

평결

• IQ 테스트 점수는 AI 지능을 과대평가합니다. IQ 테스트가 고도로 언어적이고 LLM이 텍스트로 훈련되었기 때문
• LLM은 결정화 지능(사실을 아는 것)에서 뛰어나지만 유동성 추론(새로운 문제를 푸는 것)에서 뒤처집니다
• 머스크의 인지 프로필 — 높은 유동성 추론, 예외적 공간 능력 — 은 AI가 가장 약한 곳입니다
• "AI IQ 155" 헤드라인은 오해의 소지가 있습니다: 실제 혁신을 추진하는 것과 다른 종류의 지능을 측정합니다
• AI는 보강하지만 대체할 수 없습니다 — 전문가적 엔지니어링 인지를 정의하는 추론 유형의 창조적 통합을

질문은 AI가 IQ 155에 도달할 것인가가 아닙니다. 아마 이미 도달했을 것입니다 — 혁신에 중요하지 않은 서브테스트에서. 진짜 질문은 AI가 아무도 풀지 못한 문제를 보고 해결할 수 있게 하는 유동적, 공간적, 통합적 추론을 개발할 것인가입니다. 그것이 머스크 테스트입니다. 그리고 지금까지 AI는 실패합니다.