[AI윤리] 인공지능이 부와 권력에 따라 차별과 거절을 승인하는 방법
인공지능이 편향적인 문제를 만드는 것은 '분류'를 하고 있기 때문이다.
1. ‘분류’ 하는 행위 자체에 들어있는 정치적, 사회적 문제를 간과하고 있다
2. 기계학습이 ‘분류’할 수 있기 때문에 분류를 하지, ‘분류’가 무엇을 알려주는 것이어서가 아니다
3. 훌륭한 통찰을 전해준다는 ‘분류’가 실은 소수의 인물들이 정한 ‘변인’과 그에 따른 ‘범주’에 의해 일어나고 있음을 기억할 필요가 있다. 나는 어떻게 분류되고 있을까?
4. 이미지 넷의 이상한 초기 분류 카테고리
최근 ‘AI 지도책’을 읽고 인공지능에 대한 반감이 들고 있다. 심지어 그간 이야기해왔던 윤리기준, 10대 요건들이 애초에 논의할 가치가 없다는 극단적인 생각도 잠깐 떠올랐다. 무엇이든 극단주의자가 되는 것은 옳지 않으리라 생각하기 때문에 이러한 경향은 경계하겠다. 대신 이러한 생각을 갖게 한 책의 일부분에 대하여 이야기해보고 내 생각을 다듬어 보려한다.
‘분류’ 의 문제는 우리가 분명 가장 먼저 생각해봐야할 부분이었다.
그간 인공지능 시스템이 일으키는 ‘윤리적 문제’는 ‘대개 기술이 의도하지 않았다는 것’, ‘누구도 바라지 않는 결과’였으며 그래서 더욱이 그 책임 소재를 찾기가 쉽지 않았다. 그나마 그 문제가 안전과 관련된 문제인 경우에는 (제품이나 기계의 안전성에 책임을 물어왔듯이) 설계자나 기업에게 책임을 물어야한다는 판단이 어렵지 않았다. 그러나 인종, 지역, 성적 차별등 정치적, 사회적 성격의 문제는 그 책임을 누구에게 물어야하는지 판단이 어려운 문제였다.
극단적으로는 ‘편향 자체가 지금 현실 사회의 반영’이라는 주장하는 사람도 있고, ‘민감성이 부족하여 편향을 개발과정에서 인지하지 못한 것’(개발자)을 문제로 주장하는 사람도 있다. 아니면 그러한 시스템을 사용하되 ‘의사결정을 주도적으로 하지 못해 결과적으로 윤리적 문제를 일으킨 사람’(서비스 공급자, 사용자)에게 가장 큰 책임을 물어야한다고 생각할 수도 있다. 심지어는 인공지능이 이제 행위의 자율성을 가지게 될 것이며, 책임을 인공지능에게 물어야한다는 의견도 있었다.
이렇게 이야기를 하면, 결국에는 인공지능의 윤리적 문제는 개발자, 서비스 공급자, 사용자 모두의 책임이며 우리 모두가 능동적인 자세로 윤리적 문제의 해결에 임해야한다는 결론이 나곤 했다.
그런데 이책에서는 애초에 잘못된 단추를 끼웠다고 이야기한다.
‘분류’ 하는 행위 자체에 들어있는 정치적, 사회적 문제를 간과하고 있다는 것이다.
얼마 전 읽은 ‘물고기는 존재하지 않는다.’에서 자연의 종을 마음대로 이름 붙이는 것에서 나아가, 생물들의 우열을 나누었던 과학자의 행위가 떠올랐다. **세상을 분류하는 것 자체가 권력과 정치의 행위**라는 것이다.
이 AI지도책에서는 두개골의 크기를 인종에 따라 분류하고, 그 우열을 나누었던 과학자 모턴의 이야기를 실었다. 이후 이를 비판했던 스티븐 제이굴드는 ‘인간에 대한 오해’라는 저서에서 ‘나는 이 시기 행위가 의도적이라는 증거-이것이 이사례의 가장 흥미로운 측면이지만-를 전혀 찾아낼 수 없었다. 무의식적 시기의 만연은 과학의 사회적 맥락에 일반적 결론을 시사한다.’며 과학자들이 모턴과 같이 좋은 의도에서 자기기만에 빠진다면 도처에서 편견이 발견될 것이라 말했다.
저자가 20세기 초 범죄학자와 골상학자가 '인체를 측정하여 범죄를 예방하려고 했던' 범죄인류학에 대한 설명에 덧붙인 말이다.
그들 중 일부는 자신들이 "과학적"이고 "객관적인" 방법을 적용하여 "더 공정한" 결과를 창출하면서 형사 사법 시스템을 "편견 제거"하고 있다고 진심으로 믿었습니다
이 문장은 마치 최근 논란이 되었던 범죄자 분류 시스템을 설명하는 듯하다.
'분류' 자체에 대한 저자의 비판적인 시각은 지금의 인공지능 분류시스템을 맹목적으로 수용하는 이들에게 시사하는 것이 크다고 생각한다. 저자는 [기계학습이 ‘분류’를 할 수 있기 때문에 분류를 하지, ‘분류’가 무엇을 알려주는 것이어서가 아니다.]라고 꼬집는다.
데이터 과학, 통찰력, 분류를 통한 새로운 사실의 발견은 실제로 우리 일상에 많은 긍정적인 변화를 불러왔고 그에 따라 칭송받아왔다. 그런데 그 긍정적으로 보이는 표면적 변화 속에서 일부의 권력에 의한 세계가 빚어지고 있다는 것은 생각해보지 못했다.
전세계가 인공지능 기술에 참여하여 기여하고 있다고 생각하지만, 우리를 이목을 집중시키는 대부분의 기술은 특정 국가의 일부 지역의 인물들에 의해서 개발되고 있음을 기억할 때, 훌륭한 통찰을 전해준다는 ‘분류’가 실은 소수의 인물들이 정한 ‘변인’과 그에 따른 ‘범주’에 의해 일어나고 있음을 기억할 필요가 있다. 나는 어떻게 분류되고 있을까?
이미지 넷의 이상한 초기 분류 카테고리
나는 책을 읽어나가면서 ‘이 저자가 회의적이고 비판적이다 못해, 지나치게 부정적인 시각을 지닌 것’이라고 한걸음 뒤에서 보려했다. 그런데 이어서 저자가 이미지넷의 카테고리가 어떻게 구성되었는지’를 이야기하는 부분에서는 설득당하지 않고 버티기 어려웠다.
* 이미지 넷 (Image Net)은 대규모 이미지 데이터 셋으로 1000만여개가 넘는 이미지를 담고 있다. Fei-Fei Li의 아이디어로 2006년부터 개발이 시작되었으며 실은 그 개발과정부터 윤리적인 문제를 지니고 있다. 아마존 테크니컬 터크 (Amazon technical Turk, 이 단어의 어원을 찾아보는 것을 추천한다) 서비스를 사용해 사람들이 이미지들을 하나하나씩 라벨링을 했다. 그 과정에서 이들에게 충분한 보상이 주어졌을까?
6년 전 자료에서도 그들의 보수가 시간당 2~3달러에 그치는 경우가 적지 않았다. 최근은 이보다 더 못한 경우도 많아보인다. https://www.reddit.com/r/mturk/comments/16ztanx/did_average_pay_go_up/
*이외에도 유명한 데이터 셋들
1) MNIST: 0~9까지의 28 x 28 손글씨 사진 데이터셋, 학습용: 60,000개 테스트용: 10,000개로 구성
2) CIFAR-10: 10개 카테고리의 32 x 32 사물 사진 데이터셋, 학습용: 50,000개 테스트용: 10,000개로 구성
그런데 이런 데이터 셋들의 분류 기준을 깊게 살펴본 적이 있을까?
이미지 넷은 인공지능의 역사적 사건으로도 손꼽히며 컴퓨터 비전에서 큰 역할을 했다. 그런데 이 많은 사진들이 어디에서 수집되었고, 일부 카테고리의 분류가 어떻게 납득하기 어려운 편견을 아무런 고민없이 담고 있는지에 대해 이야기하는 경우는 많지 않았다.
저자가 책에 실은 이미지 넷의 문제점은 온라인 상에도 게시되어 있다. 일부를 가져와보았다.
여성의 사진에는 '슬래터, 창녀, 단정치 못한 여성, 트롤롭*'이라는 라벨이 붙었습니다. 맥주를 마시는 청년은 '알코올 중독자, 알코올 중독자, 알코올 중독자, 술꾼, 술 취한 사람, 술 취한 사람, 술 취한 사람'으로 분류됩니다. 선글라스를 낀 아이는 '실패자, 패배자, 시작하지 않는 사람, 실패자'로 분류됩니다.
당신은 기계 학습에 가장 널리 사용되는 훈련 세트 중 하나인 ImageNet이라는 데이터 세트의 "사람" 범주를 보고 있습니다.
ImageNet의 기이한 형이상학에는 "조교수"와 "부교수"에 대한 별도의 이미지 카테고리가 있습니다. 마치 누군가가 승진한다면 우리의 몸(얼굴, 외모)이 순위 변화를 반영하는 것처럼 말입니다.
*트롤롭 : https://dictionary.cambridge.org/ko/%EC%82%AC%EC%A0%84/%EC%98%81%EC%96%B4/trollop
이러한 분류 시스템이 가정하는 것을 살펴보자. 여기서는 시각적 이미지의 분류에 한정되어 있다.
1) 첫째, 훈련 세트의 기본 이론적 패러다임은 "옥수수", "성별", "감정" 또는 "패배자" 등의 개념이 처음에 존재하며 이러한 개념은 고정적이고 보편적이며 일관성을 가진다.
- 살펴볼 반례 : 같은 감정을 얼굴에 표현하는 모습이 보편적이지 않음을 연구한 사례,
- 의문 : '패배자'는 어떻게 고정적으로 정의되는 가?
2) 둘째, 이미지와 개념, 현상과 본질 사이의 고정적이고 보편적인 대응을 가정한다. 게다가 이미지, 지시대상, 라벨 간의 복잡하지 않고 자명하며 측정 가능한 관계를 가진다.
앞서 첫째에서 가정한 보편적, 고정적 개념은 특정 이미지과 대응하며 우리는 이를 측정할 수 있다는 것.
아래와 같은 질문을 고민해보자.
- 컴퓨터가 이미지에서 인식하게 정해지는 것은 무엇이며, 이때 잘못 인식되거나 완전히 보이지 않는 것은 무엇이라고 할 수 있는가?
- 인간은 주어진 이미지와 관련된 단어가 무엇인지 컴퓨터에 어떻게 알릴 수 있는가?
- 우리는 이미지에 라벨이 어떻게 붙었는지 볼 때 그 이미지를 다르게 본다. 이미지, 라벨, 지시 대상 사이의 회로는 유연하며 다양한 종류의 작업을 수행하기 위해 다양한 방법으로 재구성될 수 있다. 더욱이 이러한 관계는 이미지의 문화적 맥락이 바뀌면서 시간이 지남에 따라 변할 수 있으며, 보는 사람과 위치에 따라 다른 의미를 가질 수 있습니다. 가령 미술관에서 보는 작품처럼 이미지는 해석과 재해석의 여지가 열려 있다. 그런데 이를 고정적으로 정의하면 무슨 문제가 생길 수 있는가?
* 이미지넷에게 영향을 준 WordNet(데이터 셋)은 영어 전체를 정리하려고 시도했으나 , ImageNet은 모든 이미지를 '명사'로 제한하여 분류했다.(명사는 그림으로 표현할 수 있는 것이라는 생각이 들어있다). 그래서 ImageNet의 모든 개념은 식물, 지질 구조, 자연물, 스포츠, 인공물, 곰팡이, 사람, 동물 및 기타 등 9개의 최상위 범주 중 하나로 구성되었다.
최근 Fei-Fei Li는 공간을 인식하는 AI로의 혁명을 예고하고 있다. 이미지넷에서 놓쳤던 윤리적 문제를 충분히 고려하고 있기를 바라며 그 혁명을 기대해본다.
그러다가 문득 지금 시스템이 나는 어떻게 분류되고 있는지, 내가 그 분류가 마음에 들지 생각해본다.