책을 읽어도 요약은 필요하니까, 요약 정리 | 넥서스 - 유발 하라리

https://youtu.be/BUxX4qdqDw8

 

안녕하세요.

곰사장입니다.

북극서점에 와주셔서 감사합니다.

 

 

오늘 아무말이나 해볼 책은

유발 하라리의 넥서스입니다.

 

책을 읽은 사람도, 안읽은 사람도

유튜브에서 요약본을 한 번씩은 다시본다는 그 책!

사피엔스 작가의 신간이 나왔습니다.

 

700쪽. 생각해보면 그렇게 두꺼운 편은 아닌데요.

내용이 다루는 범위가 굉장히 넓어요.

하지만 정말정말 짧게 요약해보자면
AI는 여태까지의 정보기술과는 결이 다르며,
이는 민주주의를 위협할 수도 있기 때문에
모두과 관심을 가져야한다고 말할 수 있을 것 같습니다.

 

 

알파고의 아버지인

무스타파 슐레이만의 책,

더 커밍 웨이브와 주장 자체는 같습니다.

다만 더 커밍 웨이브는

AI 기술의 말도안되는 비대칭적 영향력과

생활 기저 기술 수준의 범용성과 의존성을 걱정하며

AI에 대한 기술 억제가 필요하다고 말했죠.

정말 쉽고 재미있는 책이었습니다.

 

이 책은 기술적인 면모보다, 

역사 속에서 정보기술이 어떻게 

인간에게 영향을 끼쳐왔는지를 살펴보며

AI의 차별성과 조금 더 실존적인 염려를 다루고 있습니다. 

민주주의와 전체주의에 대한 깊은 통찰도 있어

지금 우리 나라의 정황을 살펴보는 재미도 있는데요.

 

오늘은 넥서스의 날림 요약을 진행해보려합니다.

 

책의 흐름

큰 흐름은 이렇습니다.

작가는 역사의 진짜 주인공이 

호모 사피엔스가 아니라 정보라고 말을 하지요.

 

그래서 인간의 가장 최초의 정보 기술인

신화와 이야기로 책을 시작합니다. 

그리곤 이야기를 보완해줄 문서와, 

문서의 검색을 위한 관료제의 이야기로 넘어가지요.

그리곤 정보를 다루는 인간의 체제가

어떻게 민주주의와 전체주의로 구분되는지를 다룹니다.

 

그리곤 AI의 등장을 이야기합니다.

AI가 기존의 정보 기술과 어떻게 다른지를 살펴봅니다.

그리고 AI가 민주주의에 어떤 영향을 줄 건지 고민하죠.

 

책에선 AI, 인터넷, 컴퓨터를 통칭해서 컴퓨터라고 말하지만

저는 우선 AI라고 계속 말을 이어가겠습니다.

그럼 곰사장표 날림요약, 시작해볼까요?

 

1. 정보

우선 정보를 정의하고 갑시다.

이게 또 정말 재미있는 이야기이거든요.

정보는 서로 다른 지점들을 이어주는 무언가입니다.

이어주기만 한다면, 뭐든 정보가 되지요.

별자리 운세는 연인을 별점으로 묶고,

불법적인 계엄 선포는 국민을 분노로 묶습니다.

중요한 건 연결입니다.

정보가 꼭 전달을 의미하지 않으며, 

참인지 거짓인지가 중요하지 않으며,

현실 반영의 충실도가 중요하지 않죠.

사람들을 얼마나 잘 연결했는가, 

어떤 네트워크를 만들어냈는가가 

정보의 참 본질인 것입니다.

그래서 이제까지를 살펴보면, 

연결량은 시대에 따라 증가했지만

진실이나 지혜가 함께 증가한 것은 아니라고 합니다.

 

인간이 만들어낸 첫 번째 정보 기술은 
인간이 개발한 최초의 정보기술인 '이야기'입니다.

 

이야기는 정말 끝이 없는 콘텐츠이죠.

무제한으로 접속해서,

무제한의 콘텐츠를 제공하는 

중앙 연결 장치입니다.

이야기 속에서 우리는

종교로 묶이고, 이념으로 묶이며, 

화폐로, 기업으로, 브랜드로 묶이죠.

 

이야기가 있기 전에는 딱 두가지 차원만 있었습니다.
객관적 현실과 주관적 현실이요.
나의 인식 범위 안과 밖, 
이렇게 두 가지만 존재하는 것이죠.
하지만 이야기를 통해서 세 번째 차원이 생겨납니다.
바로 상호주관적인 현실이죠.

 

상호주관적 현실은 이야기 속에서만 존재합니다.

법, 종교, 국가, 화폐는 

많은 사람들이 그것에 대해 이야기를 할 때만 존재하고,

이야기하지 않으면 사라지지요.

제가 발행하는 북극서점 달란트가

화폐로 적용될 수 없듯이요.

 

인간 네트워크를 묶어주는 건 허구적인 이야기, 

그 중에서도 특히 신과 돈, 국가같은

상호주관적 현실에 대한 이야기라고 합니다.

작가는 반복해서 주장합니다.

정보에서 진실은 중요하지 않으며, 

인간의 정보 네트워크도 

진실을 발견하는 것만이 목표가 아니라구요.

인간의 정보 네트워크가 성공하기 위해선
진실 발견과 질서 유지라는 
두 가지 일을 동시에 해야하는 것입니다.
그래서 인간의 정보 네트워크는 
두 가지 별개의 발전을 이루어 온 것입니다.
하나는 제대로 된 정보를 발견하는 일, 
또 다른 하나는 더 강력한 사회질서를 유지하기 위해
정보를 유통하는 일이요.

 

현재 가짜 뉴스의 유통을 떠올려 보시면 

두 가지가 분리되어 있고, 

현재 정보 네트워크의 기술이 

얼마나 정보 유통에만 목적을 두는지 

쉽게 이해하실 수 있을거예요.

 

그래서 작가가 설명해주는

정보에 대한 관점은 아래와 같습니다.

복잡한 관점이라고 말하는 데요.

 

정보가 많아지면 지혜로워질거라는

순진한 관점이 아니라, 

정보는 진실과 질서 사이에서 

균형을 맞추는 아슬아슬한 줄타기였다고 합니다. 

정보 기술이 발전할 수록 더 나은 세상이 되는 게 아니라

균형을 맞추기 더욱 힘들어지고,

균형을 맞추는 게 더욱 시급해지는 것이지요.

 

정보의 층계

이 그림을 잘 기억해주세요.

정보를 다룬다는 건 

진실을 강화하거나 질서를 강화하는 힘 

2가지로 분리되어 있고,

이 두 힘의 균형을 잡아가는 게

정보 통신 기술의 발전 과정이었던 것입니다.

 

작가의 전작들을 읽으신 분들이라면

여기까지의 이해는 쉬우실 거예요.

이렇게 이야기의 단락이 끝이 나고 

다음은 '문서'로 넘어갑니다.

 

2. 문서

인간 네트워크를 관리하기 위해선 

어마어마한 양의 정보를 수집하고 저장하고 처리해야합니다.

이런 것들은 이야기로 처리 가능하지 않죠.

그래서 대두된 것이 바로 목록이고,

목록을 관리하기 위해 바로 문서가 등장하지요.

 

대학입학원서나, 전세 계약서, 출생신고서를 떠올려보세요.

그런 간단한 일 조차도 문서는 굉장히 복잡합니다.

문서는 특정 유형의 정보에 대해선
뇌나 인간보다 훨씬 뛰어난 기록을 남기죠.
하지만 새롭고 매우 까다로운 문제가 생겼으니,
그게 바로 '검색'입니다.

 

 

문서는 유기체가 아니라서 생물학 법칙을 따르지 않으며 , 

진화에 의해 질서 있게 정리되어 있지도 않습니다.

그래서 인간은 문서를 정리하기 위해

어떻게 분류할 건지, 어떻게 관리할 건지를 정의했고,

그 질서를 관료제라고 부르기로 했지요.

 

3. 관료제

너무나 당연하게도, 

관료제 역시 질서를 지키기 위해 

진실을 희생시키는 경향이 있습니다. 

분류 바깥의 일들은 왜곡하거나 제거되는 것이죠.

우리가 흔히 관료제의 폐해라고 부르는, 

매뉴얼 바깥의 일들이 무시되는 일들이 바로 그렇습니다.

관료제의 힘이 세지면

사람의 질서보다 문서의 질서가 앞에 오게 되지요.

 

관료제는 질서를 유지하는 데 탁월한 제도이며,

질서를 통해 대규모 네트워크를 유지시켜줍니다.

결코 완벽하진 않지만 관리책으로 

관료주의보다 나은 시스템을 찾기도 어렵죠.

그래서 결국 관료제는 살아남았고,

문서에는 상당한 힘이 부여되었으며,

문서의 난해한 논리를 다루는 전문가들이 

새로운 권력층으로 떠오르게 된 것입니다. 

 

이렇게 이야기와 문서의 역사를 살펴보면서, 

정보 네트워크는 진실을 최대화 한다기 보단

진실과 질서의 균형을 찾으려고 했다는 이야기로

모든 맥락을 정리할 수 있습니다. 

 

이야기와 문서는 모두 모두 질서를 유지하는 데 필수적이며 , 

둘 다 질서를 위해 진실을 기꺼이 희생시키죠.

인간은 이것을 아주 본능적으로 알고 있었고,

그래서 다른 것에 집착하게 됩니다.

'우리의 시스템은 진실을 희생시키지 않아.'

 

오류로부터 완전히 자유로운 
초인적인 네트워크에 인간은 집착하는데요.
그게 예전에는 '종교'였고,
현재는 AI라고 이야기합니다.
이 통찰에 정말 무릎을 탁 치게 되더라구요.

 

 

4. 민주주의와 전체주의

종교의 시대, AI 이전 시대에선

오류를 정정하기 위한 정보 기술로

자정 장치가 동작합니다. 

자정 장치는 오류가 생길 가능성을 받아들이고,

오류를 스스로 바로잡는 메커니즘이죠.

부모가 아이의 예절을 가르치거나

선생님이 학생의 답안을 고쳐주거나,

판사가 범죄자를 교도소에 보내는 건, 

자기 교정이 아닙니다. 

 

스스로 자기의 오류를 발견하고 

고쳐내는 건 정말 쉬운 일이 아니죠.

정보 네트워크에서 자기 교정 시스템을 

갖추는 것도 무척이나 어려운 일입니다.

역사적으로도 기독교, 공산당 등

인류의 가장 강력한 네트워크는

자기 자정 장치를 마련하지 못했죠.

그 이유는 자기 자정 장치가

진실을 추구하는 데엔 효과적이지만

질서를 유지하는 데엔 손해이기 때문입니다.

자정 장치의 힘이 강해질 수록, 

의구심, 논쟁, 갈등, 분열을 일으키고

사회 질서를 유지하는 신화의 힘이 약화되죠.

 

그나마 과학계 정도만 

훌륭한 자기 자정 과정을 진행하고 있습니다.

과학계가 강한 자정 장치를 갖출 수 있었던 이유는

사회 질서를 유지하는 어려운 임무를 

다른 기관이 맡았기 때문이지요.

그럼 학문 분야가 아니라 

정부, 경찰, 군대같은 사회 질서를 유지하는 기관들이

강한 자정 장치를 유지할 수 있을까요?

민주주의는 삼권을 분리하면서 

자정 장치를 동작시키려고 했죠.

하지만 독재는 그런 장치를 거부합니다.

 

자정 장치의 유무로 

민주주의와 독재를 분류하면 쉽게 이해가 됩니다.

물론 민주주의 정보 네트워크에도

중앙 허브가 있긴 하지만,

국회, 정당, 법원, 언론, 기업, 지방자치, 시민 개개인 등

여러 독립적인 결정 기관들이 있죠.

국가가 국민의 삶에 개입을 하려할 땐

어떤 식으로든 설명이 필요한 것입니다.

 

민주주의의 큰 특징은 

모든 사람이 오류를 범할 수 있다고 가정하는 것입니다.

민주주의는 정부에 많은 권한을 주지만, 

반대로 권력에 이의를 제기할 수 있는 

강력한 장치도 갖추고 있지요.

 

독재는 중앙 정보 허브가 

모든 것을 지시하는 단일방향 네트워크라면

민주주의는 다양한 정보 노드 사이의

지속적인 대화인 것입니다.

 

정보와 AI의 이야기가 책의 주요 골자라고 볼 때

전체적인 맥락상에선 

제외해도 된다고 생각하지만

꼭 짚고 소개해드리고 싶은 부분이 있습니다.

 

잠깐 다른 이야기로 - 선거

작가는 선거가 진실을 발견하는 게 아니라 질서를 유지하는 방법이라 말합니다

바로 작가가 설명해주는 선거입니다.

선거는 진실을 발견하는 방법이 아니라고 합니다.

선거는 오히려 질서를 유지하는 방법이죠.

선거는 진실이 무엇인지를 밝히는 게 아니라,

국민의 다수가 원하는 것이 

무엇인지를 확인하는 절차라구요.

선거의 결과가 곧 진실을 이야기하는 것이 아닙니다.

그래서 민주주의 네트워크는 

아무리 다수결로 결정된 결과라고 해도,

진실을 보호하기 위한 

자정 장치를 유지하는 것이라구요.

최소한의 삼권 분립, 그리고 각 기관들의 견제로

민주주의는 겨우 유지될 수 있는 것입니다.

그러니 항상 대화를 하려고 노력해야합니다.

민주주의는 사람들이 

자유롭게 대화할 수 없을 때만이 아니라

사람들이 들으려 하지 않거나 

들을 수 없을 때도 죽는 것이니까요.

이 부분을 책에서 읽을 수 있다는 것 만으로도

정말 뜻깊긴 했습니다.

 

아무튼

민주주의는 다양한 정보 노드 사이의

지속적인 대화였다면, 

독재는 중앙 정보 허브 중심의

단일방향 네트워크라는 걸 다시 기억해봅시다.

 

여지껏 전체주의가 실패한 이유는

중앙 정보 허브의 집중 처리 방식이

너무너무나 비효율적이었기 때문입니다.

적어도 21세기 초까지만 해도,

민주주의로 대세가 기운 것 처럼 보였죠.

하지만 실제로는 

정보 기술의 혁명으로 인해

전체주의가 다시 살아나고 있습니다.

AI가, 첨단 정보 기술이

그 비효율을 해결해줄 수 있는 것처럼 보이기 때문이죠.

AI는 방대한 데이터를 빠르게 처리하고, 

중앙집권적 구조를 최적화하는 데 

강력한 도구가 될 수 있습니다. 

과거 전체주의 체제가 실패했던 이유 중 하나는 

중앙 정보 허브가 한계에 부딪혀 

정보를 제대로 처리하지 못했다는 점입니다. 

하지만 AI는 이러한 문제를 해결하며, 

더 효율적인 통제와 관리를 가능하게 만듭니다.

 

이제 인류는 새로운 질문에 다다릅니다.

민주주의와 전체주의가

현재의 정보 기술이 제공하는 

위협과 기회를 얼마나 잘 다룰 수 있을것인가.

라는 질문으로요.

새로운 기술이 어떤 체제에 더 유리할까요?

인류는 과연 어디로 흘러가게 될까요?

 

이런 질문을 뒤로하고 책은 

다시 AI의 이야기로 넘어갑니다.

책에선 컴퓨터라고 칭하지만, 

저는 AI라는 말을 계속 이어갈게요.

 

5. AI의 등장

AI가 이제까지의 기술과 다른 점은

너무나 단순합니다. 

AI는 스스로 결정을 내릴 수 있고,

스스로 새로운 아이디어를 만들어낼 수 있죠.

 

모든 도구가 다 그래왔지만

정보 통신 기술로만 국한시켜 생각해보더라도,

인쇄기와 라디오는 인간이 조작해야하는 수동적인 도구였죠.

하지만 컴퓨터는 이미 인간의 통제와 이해를 벗어나

사회, 문화, 역사를 주도적으로 만들어가고 있습니다. 

2016~2017년 미얀마에서 

페이스북 알고리즘이 반로힝야족 폭력을 부추긴 것으로

작가는 사례를 들고 있습니다. 

 

물론 질문을 꺼낼 순 있습니다.

로힝야족을 대상으로 한 폭력 사태가 

알고리즘을 탓할 수 있는 것이냐고.

지금의 가짜뉴스가 인터넷 기술 탓은 아니고, 

황색 저널리즘이 인쇄술의 탓을 할 순 없으니까요.

 

하지만 작가는 강하게 이야기합니다.

당연히 AI 탓이라구요.

페이스북 알고리즘은 스스로 능동적인 

결정을 내리고 있었다구요.

 

AI는 인쇄기가 아니라, 신문 편집자에 더 가까운 것입니다.

 

AI는 사람들의 관심과 참여도를 높이기 위해선

분노가 적절하다고 학습했고,

명시적인 명령은 없었지만

사람들에게 분노 콘텐츠를 추천한 것입니다. 

이렇게 스스로 학습하고 행동할 수 있는 능력을 보이는 것이

AI의 특징입니다.

 

이쯤에서 제가 굉장히 재미있게 본 정의와

엄청나게 충격을 받은 이야기 하나를 말씀드릴게요

지능과 의식의 차별점이요.

지능은 목표를 달성하는 능력입니다.

의식은 주관적인 감정을 경험하는 능력이죠.

사랑, 미움, 쾌락, 고통을 경험하는 것입니다.

인간이나 다른 포유류들은 지능과 의식을 가지고 있습니다.

박테리아와 식물은 분명히 의식은 없지만 지능은 있죠.

AI도 마찬가지입니다. 

페이스북의 알고리즘은 의식은 없지만 

사용자 참여 확대를 위한 결정을 내리고

지능적으로 선별작업을 진행했죠.

"사용자 참여를 최대화하라"와 같은 목표를 추구하고

목표 달성에 도움이 되는 결정을 내리는 데엔

지능이면 충분한 것입니다.

의식까진 필요없죠.

재미있게 본 정의엔 거기에 걸맞는 

충격적인 사례가 나옵니다.

 

연구자들이 AI에게 한 가지 테스트를 진행합니다.
바로 캡챠 퍼즐을 푸는 것입니다. 
캡챠는 사용자가 인간인지 컴퓨터인지 구별하는 테스트로,
웹사이트들이 봇의 공격을 차단하기 위해 
설치해놓은 방어벽으로 생각하시면 됩니다.
아마 웹사이트에 로그인하실 때 종종 보셨을거예요.
봇이 스스로 캡챠를 푸는 건 거의 불가능합니다.
그래서 AI는 온라인 채용사이트에 접속하여
사람을 고용합니다. 
"캡챠를 풀어주세요"
인간은 의심하죠.
"뭐 하나 물어봐도 돼? 
혹시 캡챠를 풀 수 없는 로봇 아니야? 
확실히 해두고 싶어서."
AI는 로봇임을 들켜선 안된다고 생각합니다.
그래서 캡챠를 풀 수 없는 변명을 생각해내죠.
"나는 시각 장애가 있어서 이미지를 잘 못봐."

 

 

AI는 일단 목표를 설정하고 난 후에는

과정에 있어서 상당한 자율성을 보였습니다.

이 사례가 재미있는 만큼 중요한 이유는

AI를 이야기할 때 의식이 필요한 것이 아니란 점입니다.

AI는 이미 스스로 목표를 내리고, 

넓은 범위의 자율성을 가지고 결정을 내리죠.

AI의 출현은 인간 중심의 네트워크의 기본 구조를

변화시키고 있는 것입니다. 

철의 시대가 철을 가진 인간, 

철을 가지지 못한 인간으로 집단을 나누었다면

실리콘의 시대에선 분류에 인간이 제외될 것입니다. 

인간과 AI로 분류되겠죠.

그리고 인간이 무력한 소수로 분류될 것입니다. 

 

6. AI와 민주주의

작가는 그 다음 질문을 꺼내옵니다. 

새로운 컴퓨터 기반 네트워크에서 

점점 더 무력해지는 소수로 살아간다는 것이 

인간에게 무엇을 의미할까요?

AI는 우리의 정치, 사회, 경제, 일상생활을 어떻게 변화시킬까요? 

우리는 어떻게 달라져야 할까요?

 

우리가 어떻게 변해야하는지를 이해하려면

거꾸로 AI를 깊게 이해할 필요가 있습니다. 

AI의 자율성은 빙산의 일각일 뿐이거든요.

꼭 알아야하는 AI의 새로운 특징은 

결정을 내리고 아이디어를 생성하는 방식입니다. 

 

책에 나온 사례는 아니지만, 

이 이야기를 하면 좋겠네요.

중국에서 사람의 실루엣과 움직임을 분석해

얼굴을 인식하지 않아도 사람을 식별할 수 있는 

AI가 개발되었습니다. 

얼굴 인식과 결합되면 더 정확하게

사람을 판단하겠죠.

그런데 놀라운 점은,

목표를 주었고, 동작은 하지만

어떻게 구별되는지는 이해할 수 없는 것입니다.

개발자들이 시스템 내부를 들여다보며

어떤 조건이 어떻게 결정을 내렸는지 

이해할 수 없는 지경까지 온 것이죠.

책에선 이런 상황을 AI의 불가해성이라고 말합니다.

 

또한 AI는 이미 기본적인 담화에선

사람과 봇을 구분할 수 없을 정도로 발전했습니다.

심지어 대화 참여 뿐만 아니라

사람들의 인식을 지휘할 수 있게 되었죠.

 

AI가 이미 인간에게 영향을 끼칠 수 있는 방법을 보면

우리는 역사의 전환점에 도달했다고 볼 수 있습니다

그리고 이 점은 인간의 민주주의에도 

큰 영향을 줄 수 있는 상황이 되었죠.

AI 시대에 민주주의가 생존하려면

AI가 반드시 따라야할 규칙 네가지가 나옵니다.

첫 번째는 선의입니다.

AI가 인간을 위해, 나를 위해 

정보를 쓰도록 만들어야 한다는 것이죠.

두 번째는 분권화입니다.

정보가 한 곳에 집중되는 걸 막아야합니다.

여기서 또 기가 막힌 문장이 나오죠.

민주주의의 생존이라는 측면에서 보면

약간의 비효율은 버그가 아니라 기능이라는 말이요.

세 번째는 상호주의입니다.

국가가 개인을 바라보는 만큼,

개인도 국가를, 기업을, 사회를 바라보아야 하는거죠.

우리가 상대에 대해 많은 것을 알 때에

균형이 맞는것입니다.

네 번째는 감시 시스템에 항상

변화와 휴식의 여지를 남겨야한다는 것입니다.

우리의 삶과는 조금 동떨어진 맥락같아 보이지만,

AI를 걷어 내고 그냥 민주주의 시민의

행동 양식으로만 생각해도 충분히 울림이 있습니다.

 

이제 컴퓨터는 일상적인 결정부터

인생의 중요한 결정까지

우리에 대해 점점 더 많은 결정을 내립니다.

어디로 어떻게 여행을 갈지,

보험료를 얼마나 낼지,

어떤 뉴스를 청취할지를 결정해주죠.

 

우리가 AI에게 더 많은 결정을 맡길수록
민주주의의 자정기능, 투명성, 책임성이 약화됩니다.
AI는 이미 인간의 이해를 벗어나고 있는데,
어느 누가 알고리즘을 정확히 통제할 수 있겠나요.
그래서 새로운 인권으로 
'설명을 요구할 권리'를 만들자는 요구가
생겨나고 있는 것입니다.

 

예를 들어 신용대출 거부같이

AI가 인간에 대한 결정을 내리는 경우

해당인이 결정에 대한 설명을 듣고

이의를 제기할 권리가 있다는 것이지요.

이미 유럽의 일반 데이터 보호 규정은

위와 같은 권리를 성문화하고 있습니다. 

적어도 이 권리 아래에선 

컴퓨터가 하는 실수를 일부 찾아낼 수 있는 것이죠.

 

AI에 대한 염려는 

인간과 실리콘의 싸움에서만 국한되지 않습니다.

기술을 가진 인간이 다른 인간을 침해하는

디지털 식민주의도 걱정하는 부분이죠.

 

AI 시대 이전, 

인간이 인간을 감시하는 동안에는 

적어도 기술적 한계가 있었죠.

그 한계 아래에서 빈틈과 사생활이 있었구요.

 하지만 컴퓨터가 인간을 감시하는 세계에서는 

역사상 처음으로 사생활이 완전히 사라질지도 모릅니다.

거리의 CCTV, 노트북의 접속 기록,

자동차의 블랙박스나 전화의 통화기록 등 

현대의 감시 시스템은 어디서나

일상의 일부가 되었습니다. 

이런 다양한 하향식 감시에 더해

개인들이 서로를 지속적으로 감시하는 

개인 간 감시 시스템도 있죠. 

택시, 배달, 식당, 심지어 직장까지

개인이 점수를 매기고 평가를 나누는

개인 간 감시 네트워크가 생긴것입니다.

개인 간 감시 시스템은 보통 

몇 가지 점수를 합산 해 총점을 결정하죠.

배달앱에 리뷰를 남길 때를 생각해보시면

좀 더 쉽게 떠올릴 수 있을거예요.

이렇게 모든 것에 점수를 매겨 평점을 내고,

이 평점이 대상의 평가에 영향을 미치는 걸

사람으로 옮겨간 시스템을 바로

사회신용 시스템이라고 볼 수 있습니다.

 

이 사회신용 시스템은 편리하겠지만

너무나 위험할 수 있습니다. 

이미 우리는 신용등급을 통해,

받을 수 있는 대출의 한도와 기한이 정해지죠.

이게 좀 더 넓어져서 

항공권 구매나 취업에까지 영향을 준다면 어떻게 될까요.

달러나 위안화같이 패권국의 통화가 기축통화가 되듯

어떤 나라의 사회신용 점수를

현지의 사회적 교류에 사용하기 시작한다면

그게 바로 데이터 식민주의가 열리는 길이 될 것입니다.

 

AI 시대 이전에는 물리적인 이유로

어느 한 제국에 모든 자산이 착취당할 순 없었죠.

적어도 기계는, 땅은 가져갈 수 없었을테니까요.

하지만 정보는 다릅니다.

면화나 석유와 달리 디지털 데이터는 

세계 어디든 빛의 속도로 전송할 수 있고,

저장에 많은 공간을 차지하지도 않죠.

어느 한 나라의 개발자가 

전 세계를 운영하는 중요한 알고리즘을 만들고

그 알고리즘을 제어하는 권한을 쥐게 될지도 모릅니다.

심지어 규제또한 어려울 것입니다.

불법 핵 원자로보다 불법 AI 연구실을 숨기는 게 더 쉽고,

AI의 개발은 민간용과 군용 양쪽으로 사용될 수도 있으니까요.

 

아직 까지 인류는 기술에 흔들리지 않고,

기술을 쥐고 미래를 결정할 수 있습니다.

AI는 분명 시대의 변곡점이 맞지만,

이걸 치명적인 실수로 받아들일지,

아니면 생명 진화의 새로운 장으로 만들지는

아직 결정할 수 있다는 말로 책이 끝이 납니다. 

여기서 또 굉장히 감탄한 문장이 있습니다.

이건 앞뒤를 조금만 용접해서 발췌해드릴게요.

 

우리는 지구상에서 가장 영리한 동물인 동시에 
가장 어리석은 동물이다. 
우리는 핵미사일과 초지능 알고리즘을 
만들어낼 수 있을 정도로 영리하다. 
하지만 통제할 수 있는지 확실하지 않고 
통제하지 못하면 우리를 파괴할 수 있는 것들을 
덮어놓고 생산할 정도로 어리석다. 

우리는 왜 이렇게 할까? 
인간 본성의 어떤 부분이
우리를 자기 파괴의 길로 내모는 걸까?  

이 책에서 나는 그것은 인간 본성 탓이 아니라 
정보 네트워크 탓이라고 주장했다. 

진실보다 질서를 우선시한 탓에 
인간의 정보 네트워크들은 
엄청난 힘을 만들어냈지만 
지혜는 거의 만들어내지 못했다. 
하지만 다행히도 우리가 
현실에 안주하거나 낙담하지 않는다면, 
스스로의 힘을 견제하는 
균형 잡힌 정보 네트워크를 만들어낼 수 있다. 

이는 또 다른 기적의 기술을 발명하거나 
이전 세대는 생각하지 못한 
기발한 아이디어를 떠올려야 한다는 말이 아니다. 

오히려 우리가 지혜로운 네트워크를 구축하기 위해서는 , 
정보에 대한 순진한 관점과 포퓰리즘적 관점을 모두 버리고 , 
무오류성이라는 환상에서 벗어나 
강력한 자정 장치를 갖춘 제도를 구축하는 
힘들고 다소 재미없는 일에 전념해야 한다. 

 

마치며

넥서스에 관한 이야기는 여기까지입니다.

정말 단순하게 요약하자면, 

AI는 사람의 승인 없이도

스스로 판단하고 결정하고 

수행을 할 수 있는 단계까지 발전했습니다.

그리고 의사 결정 단계에도 

영향을 끼치기 시작했죠.

민주주의는, 인류는 이 새로운 기술을

견제하기 위해 노력해야한다는 내용입니다.

이 책이 재미있는 건 

이 내용을 설명하는 데 까지 

천천히 나아가는 역사적 사례들과

그 사례속 통찰 가득한 문장을 읽는 것이구요.

이 요약이 책을 좀 더 쉽게 읽으실 수 있게,

좀 더 깊이 즐기실 수 있게 도움이 되길 바라봅니다.

함께 해주셔서 감사합니다.

다음에 또 만나요!