7월 한 달 동안 기계, 인공지능, 자율주행, 나노기술 등에 대한 책을 몰아서 읽었다. 아무래도 이 부분에 대해 알아야겠다는 생각이 들고, 또 당장 주어진 미션(언제 달성할지 모르지만)이 있기도 했고. 첫번째로 잡은 것이 스웨덴 태생의 미 MIT 물리학교수 맥스 테그마크의 <라이프 3.0>(백우진 옮김. 동아시아)이었다. 집에 쟁여둔 지는 좀 됐는데 게으름피우고 있다가 끄집어냈다. 손에 잡자마자 순식간에 읽었다. 아주 재미있었다.
저자는 생명을 1.0, 2.0, 3.0으로 구분한다. 1단계는 박테리아이고 2단계는 인간이다. 3단계는 진화에 의존하지 않고 스스로 소프트웨어와 하드웨어(몸과 의식)를 학습하고 설계해나가는 단계, 즉 인공지능이다. 인공지능이 인류를 대체할 것인가 하는 질문에 대한 저자의 답이기도 하다. 대체할 수도 공존할 수도 혹은 우리 몸 안에 합쳐져서 존재할 수도(레이 커즈와일이 말한 것처럼) 있지만, 우리의 'AI 후손들'도 생명을 봐야 한다는 쪽이다. 그들을 생명으로 볼 것인지 말 것인지의 문제가 아니라, '생명'에 대한 우리의 관념의 틀을 넘어서 확장시켜야 한다고 말한다.
인공지능의 시대는 이미 시작됐고 우리 주변에 속속 들어와 있다. 사람들이 흥미로워하는, 혹은 '두려워하는' 터미네이터 류의 인공지능 즉 범용인공지능(AGI)은 아직 오지 않았지만 언젠가는 올 것이다. 그 뒤엔? 인간은 진화의 물리적 속박 속에서 살지만 AGI에겐 그런 한계가 별 의미가 없을 것이다. 그들은 기하급수로 진화할 것이고, 결국엔 '초지능(슈퍼 인텔리전스)'가 될 것이다. 초지능을 인간이 막는 것은 논리적으로 불가능하다! 왜냐면 너무도 똑똑한 그들이 미리 선제적으로 우리의 견제를 다 막아낼 것이니까.
저자는 이런 내용으로 이뤄진 AI 논의와 그간의 연구 동향들을 망라하면서도, 생명의 범위를 확장시키며 저자 자신의 논지를 분명히 정리한다. 우려할 것들과 걱정할 필요 없는 것들을 갈라주는데 문장마저 쉽고 재미있다. 특히 도입 부분에 '오메가팀'이라는 가상의 AI연구팀을 만들어서 이들이 '사람들이 모르는 사이에' 지구를 장악하는 과정을 소개하고, 나아가 '프로메테우스'라고 이름붙인 이 AI가 초지능이 되어 자기를 개발한 사람들도 모르는 사이에 지구를 장악하는 과정을 상상하는데 은밀하면서도 섬찟하고 흥미롭다.
그래서. 어쩌라고? 저자가 누누이 강조하는 것은 "이 논의에 시민들이 참여해야 한다"는 것이다. 어떤 미래가 올 것인지 묻지 말고, 어떤 미래를 원하는지 생각해보라. 일자리가 사라질지 걱정만 하고 있지 말고, 어떤 일과 어떤 경제적 결과를 바라는지 생각하고 이야기하라. 어느날 갑자기 슈퍼울트라외계문명이 도래해 인간에게 뭔가 강요하는 상황이 아니라, 인간이 초지능을 만들어가는(혹은 만들지도 모르는) 작업을 하고 있는 상황이다. 미래는 지금, 우리가 생각하고 염려하고 준비하고 바라는 것에 따라 바뀔 수 있다고 말한다.
AI를 걱정하기에, 지금 우리 '인간 지능'이 벌이고 있는 일들 중에도 그리 미덥지 않은 것들이 많다. '로보판사'의 판단력 혹은 AI 법관의 데이터편향을 지적하기엔 지금 인간 판사들의 판결도 욕설을 부르는 것이 얼마나 많은가. AI 군비경쟁을 걱정하기엔 지금 인간이 벌이고 있는 대량살상은 또 얼마나 많은가. AI가 SF영화에서처럼 인간을 지배하고 노예로 부릴 때에 인간들은 속상하겠지만 과연 상어도, 만타레이도, 코뿔소도, 북극곰도 그럴까?
AI를 걱정한다면 지금 민주주의를 더 키우고, 분배 불평등에 관심을 기울이고 기본소득을 준비하고, '인간예외주의'에서 벗어나 다른 종들과 공생하라는 것이 저자의 메시지다. 별 다섯 개.
생명을 어떻게 정의하느냐는 악명 높은 논쟁거리이다. 그중에는 세포로 구성돼 있다는 것과 같은 매우 구체적인 조건을 포함하는 것도 있는데, 이 정의는 미래의 지능형 기계와 외계 문명을 생명에 포함하지 않을 것이다. 우리는 생명을 우리가 지금까지 마주친 종으로 한정하기를 원하지 않는다.
따라서 생명을 매우 넓게 정의해, 단순히 자신의 복잡성을 유지하고 복제할 수 있는 과정이라고 하자. 복제되는 대상은 물질(원자)이 아니라 정보이고, 어떻게 원자가 배열되는지를 구체적으로 정하는 정보이다. 박테리아가 자신을 복제할 때 새 원자는 하나도 창조되지 않고, 다만 원래 개체와 같은 양상으로 새로운 원자의 조하비 배열되고 그럼으로써 정보가 복제된다. 달리 말하면 생명은 자기 복제를 위한 정보처리 시스템이다. (43쪽)
이와 관련해, 생명 형태를 세 단계로 구분하는 방식이 도움이 된다. 라이프 1.0, 라이프 2.0, 라이프 3.0이다. 박테리아는 하드웨어와 소프트웨어 모두 진화할 뿐 설계되진 않는다. 당신과 나는 라이프 2.0이어서 하드웨어는 진화하지만 소프트웨어는 설계된다. 소프트웨어란 당신이 감각으로 모은 정보를 처리해 무엇을 할지 결정하는 알고리즘과 지식 전체를 가리킨다. 소프트웨어는 태어난 이후에 학습이라고 불리는 과정으로 머릿속에 프로그램된다.
DNA에 담긴 정보는 5만 년 동안 극적으로 진화하지 않았지만 우리의 뇌와 책, 컴퓨터에 집단적으로 저장된 정보는 폭발하듯 증가했다. 그러나 우리가 부리는 가장 강력한 기술에도 불구하고 우리가 아는 생명의 형태는 각자의 생물적 하드웨어로 제한된다. 아무도 100만 년 살거나 위키피디아를 전부 외우거나 알려진 과학을 전부 이해하거나 우주선 없이 우주비행을 할 수 없다. 이런 점을 고려할 때 생명은 라이프 3.0으로 최종 업그레이드가 돼야 한다. 소프트웨어는 물론이고 하드웨어도 설계하는 능력을 갖추자는 얘기이다. 말하자면 라이프 3.0은 자신이 운명의 주인이 돼 마침내 진화의 족쇄에서 완전히 벗어나는 것이다.
라이프 1.0은 약 40억년 전 도래했고 라이프 2.0(우리 인류)은 약 10만년 전 등장했으며 많은 인공지능 연구자는 라이프 3.0이 다음 세기 중에, 이르면 우리가 사는 동안에 올 것이라고 생각한다. (48-49쪽)
래리 페이지는 내가 디지털 이상주의라고 여기는 입장을 열정적으로 방어했다. 디지털 생활은 우주 진화에서 자연스럽고 바람직한 다음 단계이고 우리가 디지털 마인드를 멈춰 세우거나 노예로 만들려고 하지 않고 자유롭게 풀어놓는다면 그 결과가 좋을 것이 거의 확실하다고 말했다. 그는 생명이 은하계와 그 너머로 영역을 넓힐 경우 디지털 형태가 필요할 것이라고 말했다. 그가 주로 걱정하는 것은 AI 피해망상이 디지털 이상주의의 도래를 늦추거나 AI를 군사적으로 탈취하는 파국을 일으킬 가능성이었다. 이 가능성은 구글의 '사악해지지 말자'라는 슬로건에 저촉되는 종류이다.
래리는 일론 머스크를 계속 종차별주의자 speciesist라고 몰아붙였다. 탄소가 아니라 실리콘을 기반으로 한다는 이유로 어떤 생명 형태를 열등하게 취급한다는 것이었다. (51-52쪽)
래리가 옹호한 디지털 이상주의는 저명한 지지자가 많다. 한스 모라벡은 1988년 이제는 고전이 된 <마음의 아이들>이라는 책으로 한 세대의 모든 디지털 이상주의자에게 영감을 불어넣었고, 발명가 레이 커즈와일이 이 전통을 이어받아 끌어올렸다. 리처드 서튼은 강화학습이라는 AI의 세부 영역을 개척한 연구자 중 한 사람인데 우리 푸에르토리코 컨퍼런스에서 디지털 이상주의를 열정적으로 방어했다.
AI를 걱정하지 않는다는 집단 중 두드러진 부류가 있는데, 그들이 제시하는 이유는 디지털 이상주의와 판이하다. 그들은 초인간 AGI(범용인공지능)를 만드는 일이 너무 어려워 앞으로 수백 년이 지나도 이뤄지지 않으리라고 생각한다. 나는 이를 기술회의 입장이라고 생각하는데, 중국 바이두의 수석과학자인 앤드루 응이 이 주장을 펼쳤다. 그는 AI의 위험성에 대한 우려는 AI 분야의 진보를 늦출 수 있어 잠재적으로 해로운 비난이라고 말했다.
MIT 교수로 룸바 로봇청소기와 백스터의 산업용 로봇을 개발한 로드니 브룩스도 기술회의론자들이다. 이상주의자는 대부분 인간수준 AGI가 20~100년 안에 등장하리라고 예상하는 반면, 기술회의론자들은 몽상이라고 일축하고, 특이점 예언을 '괴짜의 황홀경'이라고 부르며 조롱한다. (53-54쪽)
아이들이 어떻게 배우는지 우리가 온전히 이해하지 못하는 것처럼, 우리는 신경망 프로그램이 어떻게 배우며 왜 가끔 틀리는지 온전히 이해하지 못한다. 그러나 분명한 것은 신경망 프로그램이 이미 고도로 유용하며, 딥러닝에 대한 투자가 불어나도록 자극했다는 사실이다.
우리를 번거롭게 하는 캡차 퍼즐, 즉 웹사이트에 우리가 로봇이 아니라 사람임을 확인하기 위해 푸는 퍼즐이 점점 더 어려워지고 있다. 머신러닝 기술이 할 수 있게 된 수준보다 난이도를 더 높이기 위해서이다. 기계가 모든 인지 과제에서 우리와 겨룰 수 있기까지 얼마나 걸릴까? 우리는 분명히 알지 못하며, 답변이 '결코 오지 않는다'일 가능성에 대해 열린 자세를 취해야 한다. 그러나 그런 상태가 우리 생애 중에 발생할 가능성도 고려할 필요가 있다.
어떤 사람들은 이를테면 골대를 계속 옮기는데, 지능을 컴퓨터가 여전히 하지 못하는 일이나 우리에게 감명을 주는 것으로 정의하는 것이다. 기계가 이제 능숙하거나 뛰어난 영역은 계산, 체스, 수학 정리 증명, 주식 종목 선정, 이미지 설명, 운전, 아케이드 게임, 바둑, 음성 합성, 연설 받아적기, 번역, 암 진단 등으로 늘어났다. 그러자 일부 비판자들은 경멸조로 비웃는다. "그렇지만 그건 진짜 지능이 아니지!" 그들은 이러다가는 진짜 지능은 모라벡의 지형에서 물에 잠기지 않은 산 정상에만 해당한다고 주장할지 모르겠다. (113-115쪽)
이 대화에 AI 연구자만 참여해서는 안 된다. 여러분은 어떤 종류의 미래를 원하는가? 우리는 치명적인 자율무기를 개발해야 하나? 업무자동화는 어떻게 진행되기를 원하나? 오늘날의 아이들에게 직업에 대해 무슨 조언을 해줄 것인가? 여러분은 새로운 일자리가 낡은 일자리를 대체하는 편이 더 낫다고 여기는가? 아니면 일자리가 사라지고 모든 사람이 기계가 생산한 부를 누리며 여가를 즐기는 사회를 원하는가? 더 나아가 여러분은 라이프 3.0을 창조해 우주로 확산하기를 바라는가? 지능을 갖춘 기계를 제어할 것인가, 아니면 그들이 우리를 통제할 것인가? 영리한 기계가 우리를 대체할 것인가, 우리와 공존할 것인가, 아니면 우리와 융합할 것인가? 인공지능의 시대에 인간임은 무엇을 의미할 것인가? 당신은 인간임이 무엇을 뜻하기를 원하며, 미래를 그렇게 만들려면 어떻게 해야 하는가? (60쪽)
1. 어떻게 미래의 AI 시스템을 지금보다 튼튼하게 만들어, 사고 나지 않고 오작동하지 않고 해킹당하지 않게 할 수 있을까? 2. 급속하게 변하는 디지털 지형에 발맞춰 우리의 법률 시스템을 어떻게 더 공정하고 효율적으로 갱신할 수 있을까? 3. 치명적인 자율무기를 향한 통제불가능한 군비경쟁을 촉발하지 않는 가운데, 무기를 더 스마트하게 만들고 무고한 시민을 덜 죽이도록 만드는 방법은 무엇일까? 4. 자동화로 부를 증진하는 과정에서 사람들이 돈을 못 벌거나 목표를 상실하지 않도록 하는 방법이 무엇일까?
이들 네 가지 단기 질문은 주로 컴퓨터과학자, 법률학자, 군사전략가, 경제학자를 겨냥한 것이다. 그러나 우리에게 필요한 답변을 찾도록 돕기 위해 우리 각자가 이 대화에 참여할 필요가 있다. 앞으로 우리가 마주칠 도전은 전통적인 경계를 모두 뛰어넘는다. 전문가들 사이의 경계와 국가 간 경계 같은 것들을 말이다. (132쪽)
모든 사람이 로보판사가 논리적인 추론을 충분히 이해하기 때문에 로보판사의 판결을 존중할 만하다고 여길까? 로보판사에 대한 신뢰 확보는 최근 신경망의 성공으로 인해 더 어려워졌다. 왜 유죄판결을 받았는지 알고 싶어하는 피고인은 "우리는 시스템을 많은 데이터로 훈련시켰고 그 판결은 그 시스템이 결정한 것"이라는 답변보다 나은 설명을 들을 권리가 있지 않을까?
최근 연구는 재소자와 관련한 정보가 대량으로 제공된 딥 신경망은 누가 다시 범죄를 저지를지 판사보다 더 정확히 예측할 수 있음을 보여줬다. 그러나 시스템이 예측한 재범 가능성이 통계적으로 재소자의 성별이나 인종과 관련이 있음을 발견한다면 어떻게 할 것인가? 로보판사는 성차별적이거나 인종차별적이므로 다시 프로그램되어야 할까? 사실 미국에서 두루 활용되는 재범 예측 소프트웨어가 흑인에게 불리하게 편향돼 불공정한 판결에 영향을 줬다는 연구가 2016년에 나왔다. (150쪽)
미국의 이지스급 순양함에 장착된 근접방어 무기체계 팔랑스는 대함미사일과 전투기 같은 위협요인을 스스로 발견하고 추적해 공격한다. 미국 미사일 순양함 빈센스함은 로보크루저라는 별명으로 불렸고, 1988년 이란-이라크 전쟁에서 이란의 포함과 교전 중이었다. 7월 3일 레이더시스템이 항공기 접근을 경고했다. 윌리엄 로저스 3세 함장은 이지스시스템의 발사를 승인했다. 그는 발사된 미사일이 이란항공 655편을 격추했음을 알지 못했다. 이로 인해 승객 290명이 전원 사망했고 국제적인 공분이 들끓었다.
지금까지 배치된 모든 무기 시스템은 작동 루프에 사람이 관여한다(로테크 지뢰와 같은 부비트랩은 논외로 한다). 그러나 목표물을 선정하고 공격하기까지 모든 과정을 스스로 결정하는 자동무기가 현재 개발되고 있다. 속도를 더 내기 위해 루프에서 사람을 배제하는 것은 군사적으로 솔깃한 일이다. (155-156쪽)
루프에 사람이 있어서 엄청나게 다행이었던 위기일발의 상황이 있었다. 쿠바 미사일 위기 때인 1962년 10월 27일에 미국 구축함 11척과 항공모함 랜돌프는 소련 잠수함 B-59를 미국의 '격리' 영역 밖 공해에서 쿠바 가까이로 밀어붙였다. 미군이 알지 못한 사실은 소련 잠수함의 배터리가 거의 방전이 되는 바람에 에어컨이 멈췄고, 그래서 함내 온도가 섭씨 45도 넘게 올라갔다는 상황이다. 이산화탄소 중독으로 승무원들은 다수가 기절했다. 미군은 잠수함이 수면 위로 올라와 떠나도록 만들기 위해 작은 기뢰를 떨어뜨리기 시작했다.
B-59에는 핵어뢰를 보유했고 이를 본국의 재가가 없어도 자체적으로 발사할 수 있었다. 함장 발렌틴 사비츠키는 핵어뢰를 발사하기로 결심했다. 다행히 핵어뢰를 발사하기 위해서는 함장 외에 두 명이 더 동의해야 했다. 부함장 바실리 아르키포프는 "안된다"라고 말해다. 만약 B-59가 AI가 통제하는 자율적인 잠수함이어서 사람이 의사결정에 개입하지 않게 돼 있었다면 무슨 일이 벌어졌을지 생각만 해도 섬찟하다. (157-158쪽)
일단 대량생산되면 AI가 장착된 소형 킬러 드론은 스마트폰보다 조금 더 비쌀 것이다. 정치인을 암살하려는 테러리스트나 자신을 걷어찬 여자친구에게 해코지하려는 전 연인은 그저 킬러 드론에 목표의 사진과 주소를 입력하기만 하면 된다. 인종청소를 자행하려는 사람들은 특정한 피부색이나 인종적인 특징을 가진 사람들을 죽이라는 프로그램을 쉽게 드론에 심을 수 있다. (164쪽)
과거 동독 비밀경찰 슈타지에서 활동한 볼프강 슈미트는 에드워드 스노든이 폭로한 미국 국가안전국 NSA 감시시스템에 대한 인터뷰에서 "이게 우리한테 있었다면 그야말로 꿈의 실현이었을 것"이라고 말했다. 비록 지금까지는 정치적 반대가 그런 시스템의 온전한 구현을 막았지만, 우리는 궁극의 독재에 필요한 인프라 구조를 만들어왔다. 그래서 미래에 충분히 강력한 세력이 이 글로벌 1984 시나리오를 실행하겠다고 결정할 경우, 그들에게 남은 일은 작동 스위치를 켜는 것뿐이다. (264쪽)
내 MIT 동료 경제학자 에릭 브릭욜프슨은 늘 단정하고 흠잡을 데 없이 잘 차려입지만, 아이슬랜드 혈통이다. 나는 가끔 상상한다. 그가 MIT의 비즈니스스쿨에 동화되기 위해 최근에야 야성적인 바이킹 턱수염과 머리털을 다듬은 게 아닌가 하고 말이다. 그가 자신의 야성적인 아이디어를 다듬지 않은 것은 분명해서, 그는 자신의 최적 노동시장 비전을 '디지털 아테네'라고 부른다.
노예를 AI로봇으로 대체해 누구나 즐기는 디지털 이상주의를 창조하면 어떨까? 우리가 현재에서 에릭의 디지털 아테네로 다가가려면 모든 사람의 시간당 임금이 매년 올라, 여가를 더 원하는 사람들은 점차 덜 일하면서도 생활수준을 계속 향상시킬 수 있어야 한다. 미국에서 이런 추세가 2차 대전 이후 1970년대 중반까지 진행됐다. 소득 분배 불평등이 있긴 했지만 파이의 전체 크기가 커져서 거의 누구나 더 큰 조각을 받게 됐다. 그러나 그때 무언가가 바뀌었고, 이를 처음 알아챈 사람이 에릭이었다. (167쪽)
에릭은 AI의 발달과 자동화가 경제적 파이를 더 크게 만들 것이라고 생각한다. 그러나 그는 모든 사람이, 심지어 대다수 사람이 도움을 받는다는 경제법칙은 없다고 말한다.
경제학자들 사이에는 불평등이 확대되고 있다는 데 광범위한 동의가 이뤄졌지만 그 원인이 무엇인지와 이 추세가 계속될지를 놓고는 흥미로운 논란이 있다. 좌파 진영에서는 주요 요인으로 세계화와 부자감세 같은 경제정책을 꼽는다. 반면 에릭과 동료 연구자 앤드루 맥아피는 기술이라고 주장한다. 이들은 디지털 기술이 세 갈래로 불평등을 키운다고 말한다.
첫째, 기술이 기존 일자리를 기술이 더 필요한 일자리로 대체하면서 더 교육받은 사람들에게 돌아가는 금전적 보상이 늘어났다. 둘째, 그들은 2000년 이후 기업소득에서 점점 더 많은 몫이 노동자들보다 주주들에게 돌아가고 있다고 주장한다. 또 자동화가 계속되면 기계를 소유한 사람들이 점점 파이에서 더 큰 부분을 차지하게 될 것이라고 말한다.
셋째, 에릭과 연구자들은 디지털 경제는 종종 대다수 사람들보다는 슈퍼스타들에게 유리하다고 주장한다. (168-169쪽)
자동화가 직업이 처한 유일한 도전은 아니다. 이 글로벌 디지털 시대에 전문적인 필자, 영화제작자, 배우, 운동선수, 패션디자이너가 된다는 목표는 다른 이유로 위험하다. 이들 직업에 종사하는 사람들은 시간이 흘러도 기계와 경쟁하지는 않겠지만, 앞서 말한 슈퍼스타 이론에 따라 전 세계의 경쟁자들과 치열하게 경쟁해야 하고 소수만 성공하게 된다는 것이다.
완전 자동화에 이르지는 않더라도 업무 중 많은 부분이 자동으로 처리될 직업이 많을 것이다. 예를 들어 의료계를 지망한다면 방사선 전문의가 됐다가 IBM의 왓슨에 대체되지 말고, 방사선 분석을 지시하고 결과를 환자와 상의한 뒤 치료계획을 결정하는 의사가 되어라. 금융분야에 진출할 거라면 데이터 알고리즘을 적용하는 퀀트로 일하다가 소프트웨어로 대체되지 말고, 퀀트 분석을 활용하고 전략적인 투자 결정을 내리는 펀드매니저가 되어라. 법조계로 간다면 조사 단계에서 관련자료 수천 건을 검토하는 법률보조원이 되기보다는 고객과 상담하고 소송을 대리하는 변호사가 되어라.
그럼 정부는 사람들이 이 시장에서 성공하도록 돕기 위해 무엇을 할 수 있는가? 현재 시스템, 즉 10년이나 20년 가르친 다음 40년 동안 전문분야에서 일하도록 하는 게 여전히 통할 것인가? 사람들이 몇 년 일한 뒤 1년 배우고 다시 몇 년 더 일하는 방식이 나을까? 그도 아니면 아마 온라인으로 계속 배우면서 일하는 방식이 어느 직업이나 표준이 될까? (171-172쪽)
기계에 넘어간 일자리가 더 나은 일자리로 대체될 것인가, 아니면 인간은 대다수가 고용되지 못한 존재가 될까? 양쪽 다 맞을 수 있다. 한쪽은 단기적으로 맞고, 다른 쪽은 장기적으로 맞게 된다.
우리가 일을 원하는 것은 일을 통해 소득과 목적을 얻을 수 있기 때문이다. 기계가 제공하는 풍요로움을 전제로 할 때, 일자리 없이도 소득과 목적을 제공하는 다른 방법을 찾는 것이 가능할 것이다. 비슷한 일이 말에게 일어났지만 모든 말이 멸종하지는 않았다. 1960년대 이후 말의 수는 세 배 이상 늘었다. 일종의 말 복지시스템으로 보호를 받은 덕분이다. 말이 그 비용을 대지는 않았지만 사람들은 말을 보살피기로 했고, 즐거움과 스포츠를 위해, 그리고 반려동물로 말을 곁에 두기로 했다. 이처럼 우리는 동료 인간을 보살필 수 있을까?
소득에서 논의를 시작하자. 증가하는 경제적 파이의 작은 부분만 재분배해도 모든 사람이 더 나아질 것이다. 모셰 바르디 교수가 2016년 인공지능발전협회 총회에서 AI가 주도하는 기술의 시대에 생명을 살리기 위해 도덕적으로 긴요한 일에 대해 얘기했을 때, 나도 부의 공유를 포함해 AI의 이로운 활용을 주장하는 것은 도덕적 의무라고 말했다. 에릭 브린욜프슨은 "만약 이 새롭게 창출된 부를 가지고 우리가 인류의 절반의 형편이 나빠지는 걸 막지 못한다면 부끄러운 일"이라고 말했다. (177쪽)
만약 언젠가 기계가 현재의 상품과 서비스를 최소의 비용으로 제공할 수 있다면, 그때엔 모두가 더 잘 살기에 충분한 부가 있음이 확실하다. 달리 말하면 정부는 상대적으로 약간의 세금만 투여해도 기본소득과 무료 서비스를 제공할 수 있다. 그러나 부의 공유가 가능하다는 것이 그런 일이 발생한다는 것을 뜻하는 것은 아니다. 게다가 오늘날 부를 공유해야 하는지를 놓고 정치적인 대립이 팽팽한 실정이다. 소득불평등을 줄이는 일은 AI의 역할이 압도적으로 커지는 미래뿐 아니라 오늘날에도 좋은 아이디어라고 많은 토론자가 주장한다. (178쪽)
AI가 주도한 세계 장악이 발생하려면 다음 세 가지 논리적 단계를 거쳐야 한다. 1단계, 인간 수준 AGI 개발. 2단계, 이 AGI를 초지능을 창조하는 데 활용. 3단계, 이 초지능을 세계를 장악하는 데 활용. AI가 과연 세계를 장악할 것인가? 이 질문에 대한 답을 탐색하려면 '터미네이터' 같은 어리석은 상상일랑 잊고 실제로 무슨 일이 일어날지 세부 시나리오들을 들여다봐야 한다. (188쪽)
닉 보스트롬은 이륙속도의 문제를 최적화 힘 optimization power과 반항 recalcitrance이라는 용어로 분석했다. 최적화 힘은 AI를 더 영리하게 만드는 데 투입되는 노력을 뜻하고 반항은 개발의 어려움을 나타낸다.
폭발의 시간표는 AI 개발에 단지 새로운 소프트웨어만 필요한 것인지 아니면 새 하드웨어도 만들어야 하는지에 주로 달렸다. 오메가 시나리오에서는 소프트웨어에 비해 상대적으로 하드웨어 과잉인 상태였다. 그래서 프로메테우스는 주로 소프트웨어를 개선함으로써 능력을 거듭해서 배가했다. 인터넷 데이터의 많은 부분에서는 콘텐트 과잉 상태이다.
AI를 돌리는 데 필요한 하드웨어와 전기 비용도 중요하다. AI로 인간 수준 작업을 하는 데 드는 비용이 임금보다 높아서는 AI의 지능이 폭발하지 못한다. AI의 시간당 비용이 사람의 임금보다 적어지면 그때 비로소 AI가 자신을 개량하면서 최적화 힘을 키워나갈 수 있다. 이는 다시 AI 비용을 줄이고 최적화 힘을 늘리면서 지능폭발을 촉발한다.
마치 운명으로 정해진 것처럼 "무슨 일이 일어날까"라고 수동적으로 물어보는 것은 그 자체로 잘못이다. 외계문명이 내일 지구에 온다면 그렇게 물어보는 것이 적합하겠지만 기술적으로 우월한 AI의 도래는 그와 다른데, 우리 인간은 그 결과에 큰 영향력을 행사하기 때문이다. 그러므로 우리는 이렇게 물어봐야 한다. "무슨 일이 발생해야 하는가? 우리가 원하는 미래는 무엇인가?" (219-220쪽)
마치 우리 우주가 우리 존재에 의미를 부여하는 것처럼, 사람들이 생명의 의미를 묻는 것은 퇴행적인 일이다. 우리 우주가 의식이 있는 존재에게 의미를 부여하는 것이 아니라 의식이 있는 존재가 우리 우주에 의미를 부여하는 것이다.
우리 인간들은 점점 더 영리해지는 기계와 공존하는 것을 어떻게 느낄까? 멈출 수 없는 것으로 보이는 인공지능의 부상은 당신을 신경쓰이게 하는가? 그렇다면 왜 그런가?
전통적으로 우리 인간들은 스스로의 존재 가치를 인간예외주의에서 찾곤 했다. AI의 부상은 우리로 하여금 이 확신을 포기하고 더 겸손해지도록 할 것이다. 그러나 AI가 아니더라도 인간은 태도를 그렇게 바꿔야 한다. 타자(개인, 종족, 종)와 비교해 우월하다는 오만한 생각은 그동안 끔찍한 사태를 일으켜왔으니 이제 폐기해야 한다. 인간예외주의는 과거 비극의 원인이었을 뿐 아니라 미래 번영을 위해서도 불필요하다.
과학과 예술을 비롯해 모든 분야에서 우리보다 앞선 문명이 있다고 해서 우리의 목적과 의미 경험이 끝나는 건 아니다. 우리는 가족, 친구, 더 넓은 지역사회, 우리에게 의미와 목적을 주는 모든 활동을 유지할 수 있고, 바라건대 오만 외에는 잃을 게 없다.
미래를 계획할 때 의미를 우리 자신의 삶에 국한하지 말고 우주 자체로 확장하자. 이를 놓고 내가 좋아하는 물리학자 두 사람, 스티븐 와인버그와 프리먼 다이슨은 정반대 견해를 보인다. 와인버그는 "우주는 이해할수록 무의미해 보인다"라고 말한 것으로 유명하다. 반면 다이슨은 그보다 낙관적이다. 그는 우리 우주가 무의미했다는 데 동의하지만, 생명이 우주를 점점 더 의미로 채우고 있고 이 추세가 계속돼 우주 전역에 생명이 확산되면 최고의 경지에 이를 것이라고 본다.
우리는 이 책에서 지능의 미래에 초점을 맞췄지만 더 중요한 것은 의식의 미래이다. 의미를 가능하게 하는 것은 의식이기 때문이다. 철학자들은 이 구별과 관련해 라틴어로 돌아가곤 한다. sapience를 sentience와 대조하는 것이다. 사피엔스는 지능적으로 생각하는 능력이고 센티언스는 감각질을 주관적으로 경험하는 능력이다. 우리 인간들은 호모 사피엔스로서 우리의 독자성을 형성해왔다. 이제 더 영리한 기계들이 우리의 지능을 속속 추월하는 상황에서, 우리 자신의 브랜드를 호모 센티언스로 새롭게 하자고 제안한다. (420-421쪽)
아실로마 AI 원칙 중 '윤리와 가치' 부분
6. 안전: AI 시스템은 작동 수명의 전 기간에 걸쳐 안전하고 안정적이어야 하며 검증할 수 있어야 한다.
7. 오류 투명성: AI 시스템이 손상을 일으킬 경우 그 이유를 확인할 수 있어야 한다.
8. 사법적 투명성: 사법적 의사결정에 자율시스템이 개입할 경우 권한 있는 인간 기관이 감사할 수 있는 충분한 설명을 제공해야 한다.
9. 책임성: 첨단 AI 시스템 설계자와 제조자는 그것의 사용, 오용 및 행위의 도덕적 영향을 미치는 이해관계자이다.
10. 가치의 준수: 고도로 자율적인 AI 시스템은 그것이 작동하는 동안 목표와 행동이 인간의 가치와 반드시 일치하도록 설계돼야 한다.
11. 인간의 가치: AI 시스템은 인간의 존엄성, 권리, 자유 및 문화적 다양성의 이상에 적합하도록 설계되고 운영돼야 한다.
12. 개인정보 보호: AI 시스템이 개인정보 데이터를 분석하고 활용할 수 있는 경우 사람들은 자신이 생성한 데이터에 접근해 관리 및 통제할 권리를 가져야 한다.
13. 자유와 개인정보: 인공지능을 개인정보에 적용할 때도 사람들의 실제 또는 인지된 자유를 부당하게 침해해서는 안 된다.
14. 이익 공유: AI 기술은 가능한 한 많은 사람에게 혜택을 주고 그들의 역량을 강화해야 한다.
15. 공동번영: AI에 의해 만들어진 경제 번영은 모든 인류에게 이익이 되도록 널리 공유돼야 한다.
16. 인간 통제: 인간은 인간이 선택한 목적을 달성하기 위해 의사결정을 AI 시스템에 위임할 것인지 여부와 위임 시 방법을 선택할 수 있어야 한다.
17. 사회 전복 방지: 고도로 발전된 AI 시스템을 통제함으로써 부여받은 힘은 건강한 사회를 위해 필요한 시민적, 사회적 절차들을 존중하고 개선하는 데 쓰여야 한다.
18. AI 무기경쟁: 치명적인 AI 무기의 군비경쟁은 피해야 한다.
'딸기네 책방 > 과학, 수학, 의학 등등' 카테고리의 다른 글
| 닉 보스트롬 '슈퍼인텔리전스' (0) | 2020.08.16 |
|---|---|
| 전방욱, '크리스퍼 베이비' (0) | 2020.02.23 |
| 페드루 페레이라, '완벽한 이론' (0) | 2019.06.11 |
| 헬레나 크로닌, '개미와 공작' (2) | 2018.08.05 |
| 아구스틴 푸엔테스, '크리에이티브' (0) | 2018.05.24 |