[책] 슈퍼인텔리전스 닉 보스트롬 '인간 중심적인 근거 없는 기대에 대한 경고'

슈퍼인텔리전스 _ 닉 보스트롬 [책 리뷰]

'인간 중심적인 근거 없는 기대에 대한 경고'

 

(1)인공지능 수준이 아직 동물보다도 못한 멍청이야. 이제 겨우 침팬지? 사람 따라오려면 한참 멀었네.

(2) 인공지능이 결국에는 더욱 사람을 닮을 것이다?

(3) 행동의 동기. 최종 목표를 윤리적으로 설계할 수 있다?

 

만약 이 생각들에 쉽게 동의했다면, 이책을 읽어볼만하다.

 

에필로그

이 책을 신간코너에서 사왔었으니, 17년도 즈음이 아니었을까 싶다. 안타깝게도 사와서는 어려워서 중간에 놓아버렸다. 분명 두근거리며 사와서, 그리고 열심히 설레어 읽은 책이다. 이제는 몇 구절 정도는 넘어설 능력이 생기지 않았을지 그리고 왜 이렇게 이 책이 재밌고 충격적이었는지 확인해보고자 다시 읽기로 했다.

이책을 다시 펴보니 다행히 1월에 들어 읽기 시작하면서 내 예상은 반정도는 맞았다. 그 사이에 인공지능에 대하여 여기저기서 들은 바가 많이 생겼고, 대학원 첫 학기 수업 때 들었던 강의가 아주 큰 힘이 되었다. 고비가 왔을 즈음이 어느 페이지인지 느낌이 왔다. 특히 당시에 줄을 그어놓은 부분을 보니 내가 개념을 전혀 몰라 헛짚은 느낌도 났다. 이책은 인문학적인 접근으로만 다가가기에는 조금 어려운 부분이 있다.
그럼에도 불구하고 인공지능에 대한 어려운 개념을 설명하는 책이 아니라, 우리의 사고방식에서 나오는 착각에 대한 경고, 통찰력있는 생각을 전하는 책이라고 느껴진다.
놀랍게도 이책과 동시에 읽고 있었던 '생각에 관한 생각'이라는 행동경제학의 바이블이 인용되기도 한다. (내가 이책도 읽는 줄 어떻게 알았지하고 혼자 소름ㅎㅎ)

초지능이 어떤 형태로 등장할지, 현실적인 가능성에 대한 논의, 그리고 우리가 가져야할 통제력에 대하여 이야기한다.
인공지능이 얼마나 빠르게 발전할 것인가?
여러가지 시나리오가 등장하는데, 느린 도약, 빠른 도약, 중간 속도의 노약을 나누어 저자는 각각의 도약에 따라 우리가 준비할 시간이 얼마나 충분하거나 얼마나 부족할지 이야기한다.
무엇보다 빠른 도약에서 말하는 '빠른'은 몇 분, 몇 시간, 며칠이라는 시간에 도약이 일어난다는 것.
그게 가능한가? 그런 생각에 동의하게 만드는 내용은 이것이다.

 

(착각1) 아직 동물보다도 못한 멍청이야. 이제 겨우 침팬지? 사람따라오려면 한참 멀었네.

173P
인간 중심적인 기준은 씨앗 인공지능의 성장궤도와 성숙한 초지능의 심리, 동기, 그리고 능력에 대하여 근거없는 기대를 가지게 한다.

똑똑함과 멍청함에 대해 가지고 있는 직관적인 개념은 인간의 사고능력 범주에 대한 경험에서 형성된 것이다.
그러나 인간 집단 사이에서의 인지능력의 차이는 인간의 지능과 초지능 간의 차이에 비하면, 지극히 사소할 뿐이다.
-엘리제 유드코프스키-

 

침팬지는 사람보다 한참 바보다. 이것은 인간 중심적 사고가 반영된 지능의 척도라는 것이 인용된 엘리저 유드코프스키의 주장이다. 우리가 볼때 동네 바보의 지능은 (책에서 이렇게 묘사한다.ㅎㅎ) 아인슈타인과 한참 다르다. 그러나 인공지능이 개선을 통해 발전해갈 지능의 범위에서 보면 보이지도 않는 아주 작은 간격이라는 것이다. (우주에서 바라보면 우리 지구가 얼마나 작은가!)

 

즉, 이것이 작은 간격임을 이해했다면, 아래 설명도 동의할 것이다.

 

이미 쥐, 침팬지의 지능에 들어섰다면, 인간의 지능을 넘어서는 도약이 (우리의 입장에서 매우 갑작스럽게) 쉽게 일어날 수 있다는 것이다.
애석하게도 우리 입장에서는 폭발적으로 느껴질 것이다.

오른쪽으로 가도 화살표는 끝이 없다.

 

 

이런 인간 중심적 사고에 더해 우리가 대상을 쉽게 의인화하는 경향에도 경고를 한다

172쪽
초지능의 잠재적인 영향력을 생각할 때, 그것을 인간 기준에서 의인화하여 바라보지 않는 것이 중요하다.'

초지능적 기계는 아주 똑똑하지만 샌님같은 인간과 비슷할 것이라는 대중적인 예상 같은 것이다.
즉, 지식적 차원은 뛰어나지만, 사회적인 방면은 부족할 것이라는 예상이다.

 

(착각2) 인공지능이 결국에는 더욱 사람을 닮을 것이다?

그렇지 않을 수도 있다. 사람의 감정을 구현하는 것은 굉장한 비용이 들고 어려운 일이다. 그런데 무엇보다도 사람의 감정이 필요할까?

66쪽
인공지능이 인간의 지능체계와 완전히 똑같을 필요는 전혀 없다 ...
완전히 이질적일 수도 잇다. 사실 대부분이 그럴 것으로 생각된다.

인공 일반 지능이 사랑이나 증오, 또는 자존심 같은 인간의 감정을 행동의 동기로 삼으라는 법은 없다.

 

(착각3) 행동의 동기. 최종 목표를 윤리적으로 설계할 수 있다?

인공지능이 무엇을 목표로 설계되는가. 최종 목표가 무엇인가? 윤리적인 기준을 세워보자.
더 나은 인공지능을 만들어보자.
그러나 최종목표가 윤리적이면 된다는 생각부터 참 단순하고 순진한 기대였다. AI윤리수업에서 이 내용을 쉽게 접근했다는 생각이 들었다. 이걸 읽고나니 내가 뭘 가르칠 수나 있는 것인가... 라는 생각이 들었다.

책의 사례들을 살펴보자

최종 목표 : 우리가 행복해지도록 해달라 로 설정하였더니
왜곡된 사례 : AI은 인간이 뇌 속 쾌락 중추에 전극을 이식한다.

종이 클립 인공지능.
생산 관리 인공지능이 종이 클립의 제조를 극대화해야하는 최종 목표를 받음.
그래서 지구 전체, 나아가 관측이 가능한 우주의 상당 부분을 종이클립으로 변환시켜버림.

와이어 헤딩
인공지능에게 보상을 추구하도록 동기를 부여해서, 중간에 적절한 행위에 보상을 연결함.
그러나 이후 확실한 전략적 우위를 가지게 된 인공지능이 보상 메커니즘 자체에 대한 통제력을 가져버릴 수 있음.

 

왜곡된 사례와 가설을 몇 가지 읽다보면 생각이 다 꼬여버린다. 놀라운 책이다. 올해 시작부터 이책을 읽은 것이 참 다행이다 싶다. 이책에서 든 의문을 잘 모아 해결해보고 싶어진다.