토론

오래된 미래의 AI

2024.04.30

132

AI 윤리 레터

인공지능 윤리를 고민하는 직장인, 프리랜서, 대학원생이 꾸려가는 뉴스레터입니다.

더 나은 AI를 위한 상상

by. 💂죠셉

어떤 계기로 <AI 윤리 레터>를 구독하게 되셨나요? 원래 AI와 관련된 분야에 종사하고 계셨을 수도 있지만, 많은 경우는 2022년 11월 출시된 챗GPT 이후로 본격적인 관심을 가지게 되시지 않았을까 합니다.

잘 아시다시피 챗GPT와 같은 챗봇들은 ‘LLM(거대 언어 모델)’을 기반으로 작동하는데요. 이후 클로드(Claude), 제미나이(Gemini)등 LLM 챗봇들이 쏟아져 나오면서 요즘 미디어에서 언급되는 ‘AI’는 사실상 ‘LLM’과 동의어처럼 사용되고 있습니다.

LLM이 현재 AI 산업을 이끌어가는 패러다임인 건 분명한 사실입니다. 하지만 LLM은 인간 뇌의 작동 방식을 모방한 신경망(Neural network)을 바탕으로 하고, 이 신경망 기술이 인공지능이라는 목표에 이르기 위한 여러 방법론 중 하나란 사실은 짚고 넘어갈 필요가 있습니다. LLM은(=하위개념) AI지만(=상위개념) 그 반대는 불완전한 설명이라는 것이죠. 오늘 레터에서는 이게 왜 윤리 이슈 관점에서도 흥미로운 지점인지 짧게 다뤄보도록 할게요.

뉴로..심볼릭..?

AI와 LLM을 동의어처럼 사용하는 경향은 얼마 전 발행된 스탠포드 HAI의 연간 리포트에서도 볼 수 있었는데요. 그 와중에 흥미로운 단락이 하나 등장합니다. (185페이지). 바로 뉴로 심볼릭 AI (Neuro-symbolic AI, 이하 ‘뉴로 심볼릭’)라는 개념인데요. 안 그래도 복잡한데 이건 또 뭐냐? 하실 것 같아 AI 역사의 맥락 속에서 간단히 정리해 보겠습니다.

AI 연구가 하나의 학문으로서 정립된 것은 1956년. 이 당시 주류 패러다임은 기호주의(symbolism)로서, 세계의 지식을 기호로 바꿔 컴퓨터에 계산하는 규칙 기반의 방법론이라 할 수 있음.
반면 현재 신경망 기술의 기원이 된 건 1957년 프랑크 로젠블랫(Frank Rosenblatt)이 발표한 퍼셉트론(Perceptron) 논문. 이 때부터 이 계열의 연구에는 연결주의(connectionism)라는 이름이 붙었음.
이후 AI 연구가 몇 차례 호황기와 부침을 겪는 오랜 기간 동안 주류의 위치를 차지해 온 건 기호주의. 그러나 떨어지는 효율성과 수익화 문제 등을 극복하지 못하며 1990년대 들어 산업 전체가 침체기에 빠짐.
2010년에 이르러 데이터셋과 반도체 성능의 비약적 발전과 함께 대세가 전환됨. 2012년, AI의 이미지 분류 정확도를 평가하는 이미지넷 (ImageNet)대회에서 제프리 힌튼 연구팀의 알고리즘인 ‘알렉스넷’이 획기적인 성과를 증명. 이때부터 신경망을 바탕으로 하는 딥러닝은 승승장구해 지금의 주류 패러다임이 되기에 이름.
뉴로 심볼릭은 이름처럼 신경망(neuro)과 기호주의(symbolic)를 혼합한 형태. 현재 AI 기술의 문제에 대한 대안으로 조금씩 언급되며 다양한 연구가 진행 중.

(*AI 역사에 대해 더 읽고 싶으시다면 첫 책으로 케이드 매츠의 <AI 메이커스>를 추천드립니다.)

신경망, 기호주의에 대한 설명과 함께 미래 AI 생태계에 대한 흥미로운 예측을 들려주는 카톨린 욘커 교수 (영상: The Royal Institution 유튜브 채널)

방대한 데이터를 통해 자가 학습하는 딥 러닝 기술은 스케일과 성능의 측면에서는 월등하지만, ‘블랙박스’로 대표되는 설명 불가능성의 취약점을 가지고 있습니다. 이론상으로는 더 많은 데이터를 확보해 결과물의 정확도를 올릴 수 있지만 투입할 수 있는 데이터는 유한하며, 그에 따르는 환경 문제도 계속 지적되고 있죠.

반면 인간이 입력해 둔 지식을 바탕으로 세계를 재현하는 기호주의 계열 AI의 대표적 장점은 명시적인 법칙과 규칙을 알고리즘에 반영하기가 훨씬 용이하다는 것입니다. 가령 우리에게 익숙한 AI 윤리 문제(할루시네이션, 편향, 상식 부족 등)가 발생했을 때 그 원인을 정확히 특정해 낼 수 있습니다. AI에게 인간의 상식과 도덕관 등을 주입하는 연구에서 이 기술이 자주 언급되는 이유죠. (TED 강의로 화제가 된 최예진 교수의 연구가 좋은 예시입니다.) 뉴로 심볼릭은 오랫동안 경쟁해온 두 패러다임의 장점을 취해 성능과 설명 가능성, 두 마리 토끼를 모두 잡기 위한 시도라고 할 수 있습니다.

신경망과 기호주의 AI의 장단점 비교. (출처: The Royal Institution 유튜브 채널)

‘더 나은’ AI?

현재 AI 그 자체처럼 여겨지는 딥러닝 또한 기나긴 AI 흥망성쇠 역사의 일부라는 사실은 향후 5년, 10년 이후의 전망을 더욱 흥미롭게 만듭니다. 그리고 뉴로 심볼릭이라는 가능성은 앞으로 어떤 기술주에 투자해야 할지(?)에 대한 안목뿐만 아니라 AI 윤리의 쟁점들에 대해서도 시사하는 바가 있습니다.

가령 더 투명하고 설명 가능한 AI의 필요성에 대해 저희 레터에서도 여러 차례 다룬 바 있는데요. 스케일의 LLM과 투명한 심볼릭, 혹은 그 혼합체의 다양한 모델들이 서로를 보완, 공존하는 하이브리드 형태의 AI 생태계가 실현된다면 어떨까요? 저희 레터에서 다뤄 온 시급한 이슈들도 AI 기술 자체의 난제라기 보다는 LLM이라는 한 패러다임이 가졌던 한계점으로 기억될 날이 올지도 모릅니다. 그래서 블랙박스의 한계, 혹은 AI가 환경에 끼치는 영향이 기술 발전으로 인한 ‘불가피함’이라 누군가 말할 때, 뉴로 심볼릭은 (아직 대중화까지는 거리가 있음에도 불구) ‘더 나은 AI’에 대한 우리의 상상력을 확장해 준다는 점에서 의미를 가질 수 있지 않을까요?

강화학습이 강화하는 역사

by. 🥨채원

지난주, 무언가를 자세히 살펴 본다는 뜻의 영어 단어 ‘delve’가 화제가 되었습니다. 이 단어는 챗GPT를 자주 사용하는 사람들 사이에서 챗GPT에 자주 등장한다고 이미 널리 알려진 단어 중 하나였습니다. Y Combinator의 공동 창립자인 폴 그레이엄은 이를 X (구 트위터) 에 ‘누군가가 나에게 새로운 프로젝트를 제안하는 콜드메일을 보냈다. 그런데 거기에 단어 ‘delve’가 쓰였다는 사실을 알아챘다’며, 해당 단어가 챗GPT 등장 이후 사용 빈도가 크게 증가했다는 그래프를 첨부하였습니다.

논문 제목과 초록에 단어 'delve'의 빈도의 증가세를 보여주는 트윗 (출처: 폴 그레이엄 계정)

해당 사건을 다룬 가디언지 기사에서는 ‘delve’라는 단어가 아프리카의 웹, 특히 나이지리아에서 자주 사용되는 단어라는 점을 지적합니다. 아프리카는 챗GPT를 비롯한 많은 언어 모델의 학습 데이터를 외주로 생산하고 있는 곳이기도 합니다. 지난 레터에서 케냐의 노동자들이 한시간에 2불이 채 되지 않는 임금을 받으며 챗GPT를 학습시킨 케냐 노동자들에 대한 TIME지의 심층 취재를 공유드리기도 했습니다. 그리고 챗GPT의 답변에 챗GPT의 학습 데이터를 생성하는 아프리카 화자들의 언어습관을 반영되었다는 것은, 기존의 언어모델의 문제로 제기되는 편향의 문제를 넘어선 사회경제적, 역사적 문제점을 시사합니다.

RLHF

인간 피드백을 통한 강화학습(Reinforcement Learning with Human Feedback, RLHF)은 거대언어모델 (LLM)의 한계를 극복하기 위한 방법론 중 하나로 각광받고 있습니다. 챗GPT를 비롯한 LLM을 학습 시키는 방법론 중 하나인 RLHF는 인간의 피드백을 명시적으로 학습에 포함시킴으로서, 학습 데이터만을 기반으로 가장 확률이 높은 출력을 생성하는 것과 더불어 인간이 보기에 더 나은 출력을 생성하도록 돕습니다.

선호 데이터를 사용하여 리워드(선호) 모델을 학습하는 RLHF 알고리즘 (출처: 허깅페이스 블로그 ‘RLHF’ )

인간의 명시적인 선호도는 일명 선호데이터를 생성하여 학습에 추가하는 식으로 반영됩니다. 선호 데이터는 대개 서로 다른 LLM이 생성한 답변들과, 이들 중 채점자 (annotator)가 더 나은 답변으로 판단한 선호도로 구성되어 있습니다. 더 나은 답변이라는 것은 방식에 따라 정확도나 자연스러움 등 다양한 기준으로 정의됩니다. 수만건의 답변을 비교하여 판단하는 데에는 많은 사람이 필요하기 때문에 이 과정은 대개 크라우드소싱이나 외주를 통해 이루어집니다.

예를 들어 오픈AI의 WebGPT모델에 사용된 선호 데이터셋은 19,578개의 비교 데이터로 구성되어있습니다. 논문에 따르면 해당 데이터는 프리랜서로 고용된 56명이 생성했는데, 특히 이 중 다섯명이 데이터셋의 절반을 제공했다고 합니다. 즉, 이들 다섯명이 대략 데이터셋 전체의 10%씩을 각각 생성했다는 것입니다. 그렇다면 이 다섯명의 판단이 해당 데이터셋의 추이를 결정하는 데에 결정적인 역할을 했을 것으로 짐작할 수 있습니다. 논문은 이들의 인구구성학적인 정보를 밝히지 않고 있지만, 이 다섯명의 채점자 편향 (annotator bias)이 데이터셋에 반영될 소지가 있을 것입니다.

편향의 문제를 넘어서

본인이 받은 콜드메일의 'delve'를 지적하는 트윗 (출처: 폴 그레이엄 계정)

폴 그래햄의 트윗으로 다시 돌아가서 살펴보면, 챗GPT로 생성한 메일은 인간이 작성한 메일보다 가치가 없다는 뉘앙스가 느껴집니다. 그리고 작성자를 판단하는 근거는 해당 메일에 포함된 ‘delve’라는 단어입니다. 하지만 만약 해당 메일이 챗GPT가 아닌 아프리카의 영어 화자에 의해 쓰인 메일이라면 어떨까요? 해당 화자는 영어를 외국어로 사용하는 본인의 언어 습관이 AI를 학습하는 데에 반영되었다는 이유로 부당한 차별을 받게 됩니다. 이와 관련하여 비영어권 화자의 영작문이 생성 AI 툴에 의해 표절로 판별될 가능성이 더 높다는 글을 전해드린 적이 있습니다.

함께 AI 윤리 레터를 발간하는 🤖아침이 비판한 것처럼, 이러한 데이터 편향은 AI 개발 비용을 줄이기 위해 남반구의 저임금 노동자를 착취하는 문제와 더불어, 이를 근거로 남반구의 영어 화자들의 언어를 'AI 텍스트'로 저평가하는 이중착취의 문제입니다. 나아가 나이지리아를 비롯한 다양한 남반구의 국가들에 영어 화자가 많은 것이 제국주의 국가들에게 식민지화되었던 역사 때문이라는 사실도 간과해서는 안 될 것입니다. 이미 다양한 형태로 착취되고 있는 사람들이 또다시 AI를 개발하는 데 저임금 노동으로 동원되고, AI가 가져올 혜택에서는 소외되면서, 이를 근거로 이루어질 수 있는 언어문화적 차별에도 노출되어 있습니다. 이는 제국주의와 신자유주의로 이어지는 차별의 역사가 AI라는 새로운 매개를 통해 구태의연하게 반복되고 또 강화될 수도 있다는 것을 보여줍니다.

🦜 같이 보면 좋은 글

💬 댓글

(💂죠셉) 영어로 쓰는 게 업인 제 직장에서도 언제부턴가 ‘delve into’가 하나의 밈이 된지라 더 흥미로웠습니다. 한국어 결과물에 비슷한 경향성이 존재할지도 궁금해지고요!
(🧙‍♂️텍스) 요새 인공지능 분야 논문을 읽다보면 예전과 다르게 ‘showcase’ 동사가 자주 쓰이는데 챗GPT가 자주 사용하는 단어인가란 생각이 스쳐 지나가네요!