AI가 등장하면서 우리는 두 가지 미래를 동시에 상상하곤 합니다. 하나는 기술이 삶을 편리하게 만들고 고통을 줄여서 더 행복해지는 미래이고, 다른 하나는 통제 불가능한 시스템과 불평등이 강화되어 사회 밖으로 밀려나는, 불행이 더 커져버리고 마는 미래입니다. 때때로 통번역가로 일하는 저는 해가 다르게 일감이 줄어들고 있음을 체감합니다. 아직까지는 필요가 있으나 곧 대체될 것입니다. 하지만 직업은 사라져도, 통번역가가 가진 역량은 다른 직업의 형태로 쓰일 거라 예상합니다.
《도덕적인 AI》는 바로 이 갈림길에서, AI가 무엇을 할 수 있는지보다 AI가 무엇을 해서는 안 되는지, 그리고 무엇을 하게 만들어야 하는지를 도덕과 윤리의 언어로 정리해 보여주는 책입니다. 이 책의 핵심은 AI를 선하거나 악한 존재로 의인화하는 대신, 실제로 작동하는 기술과 제도, 그리고 그 결과를 책임지는 인간 사회 구조를 함께 보자는 데 있습니다.
인공지능에 인간의 도덕성을 탑재할 수 있을까?
책은 도덕적 문제를 크게 두 층위로 다룹니다. 첫째는 AI 자체가 내리는 판단의 문제입니다. 우리는 AI에게 판단을 위임할수록, 그 판단이 공정한지 설명 가능한지, 그리고 누구에게 어떤 피해를 주는지 더 엄격하게 따져야 합니다. 둘째는 AI에게 이를 사용하는 권력과 조직의 문제입니다. 같은 기술이라도 어디에 쓰이느냐에 따라 삶을 돕는 도구가 될 수도, 사람을 분류하고 배제하는 장치가 될 수도 있습니다. 결국 도덕적인 AI는 기술의 성능만으로 만들어지지 않고, 데이터의 구성, 목표의 설계, 책임의 배분, 감시와 통제의 규칙까지 포함한 전체 시스템으로 만들어진다는 메시지가 책 전체를 관통합니다.
이 책에서 특히 설득력 있게 다가오는 지점은, AI의 윤리 문제가 대부분 추상적 딜레마가 아니라 매우 현실적인 불균형에서 출발한다는 점입니다. 비평가들이 지적하듯, 많은 알고리듬은 특정 인종 및 젠더 집단에 불리하게 편향되어 있을 수 있습니다. 이는 개발자가 악의를 품어서라기보다, 훈련 데이터가 이미 사회의 불평등을 반영하고 있고, 시스템이 그 불평등을 학습한 뒤 더 효율적으로 반복하기 때문입니다. 공정성은 선언만으로 확보되지 않고, 어떤 데이터를 모았는지, 무엇을 성공이라고 정의했는지, 오류가 누구에게 집중되는지까지 들여다봐야만 가까워질 수 있습니다.
기계학습은 AI에 목표를 부여한 뒤 목표 달성 방식을 경험을 통해 스스로 알아내도록 하는 방법입니다. 여기서 경험이란, 목표와 관련된 데이터를 무수히 많이 접하거나 처리하는 것을 의미한다.
책의 논의는 의료 사례에서도 구체적으로 드러납니다. 예를 들어 고위험군 돌봄의 필요성을 예측하기 위한 AI 훈련용 데이터가 편향되어 있었고, 그 결과 흑인 환자보다 백인 환자를 지나치게 우선시하는 결과로 이어졌다는 문제 제기가 소개됩니다. 심지어 두 환자가 정확히 같은 수준의 질병을 앓는 경우에도 마찬가지였다는 점은 충격적입니다. 이런 사례는 AI가 사람을 직접 차별하려는 의도를 갖지 않더라도, 비용, 이용 기록, 과거의 접근성 같은 대리 지표를 통해 차별을 자동화할 수 있음을 보여줍니다. 책은 이런 문제를 단순히 기술의 결함으로 치부하지 않고, 어떤 지표를 목표로 삼을 때 어떤 사람이 구조적으로 배제될 수 있는지를 윤리적 질문으로 바꿔 묻습니다.
또 하나의 큰 축은 감시와 통제의 문제입니다. 중국 정부가 대부분이 이슬람교도인 소수민족 위구르족을 추적하고 통제하기 위해 최첨단 얼굴인식 기술 시스템을 비밀리에 사용하고 있다는 보도, 그리고 다른 국가들에서도 표적 감시를 위해 얼굴 인식 AI를 활용하는 사례들은, AI 윤리가 개인의 선택 문제가 아니라 정치적이고 제도적인 문제임을 분명히 합니다. 얼굴 인식 기술은 편리함이라는 명분 아래 빠르게 확산될 수 있지만, 한 번 인프라가 구축되면 개인의 일상을 되돌릴 수 없는 방식으로 바꿉니다. 이 책은 바로 그 지점에서 프라이버시를 단순한 취향이 아니라 자유와 안전을 지탱하는 조건으로 다룹니다. 누군가를 식별하고 분류하는 능력이 곧 권력으로 연결될 때, 도덕적 기준은 기술의 중립성이라는 말보다 훨씬 엄격해져야 한다는 경고가 따라옵니다.
우리는 무엇을 할 수 있을까?
그렇다면 도덕적인 AI는 어떻게 가능할까요? 책은 AI에게 도덕을 주입하는 단순한 해법을 경계합니다. 대신 책임이 작동하는 구조를 만드는 것을 강조합니다. 누가 데이터에 책임지는지, 누가 모델의 결과를 검증하는지, 피해가 발생했을 때 어떤 절차로 구제되는지, 그리고 어떤 영역에서는 아예 사용을 제한하거나 금지해야 하는지까지 포함해 생각해야 합니다. 기술이 인간의 의사결정을 대체할수록, 시스템 설계는 더 투명해야 하고, 설명 가능해야 하며, 이해당사자의 관점에서 감사를 받아야 한다는 주장도 자연스럽게 이어집니다. 요약하면, 도덕적인 AI는 더 똑똑한 모델이라기보다 더 책임질 수 있는 사용 방식에 가깝습니다.
이 책을 덮고 나면, AI의 윤리 문제는 미래의 가상 시나리오가 아니라 이미 우리 곁에서 진행 중인 현실이라는 감각이 남습니다. 기술이 불행을 없애줄 것이라는 낙관도, 기술이 결국 모든 것을 망칠 것이라는 비관도, 이 책 앞에서는 조금 단순해 보입니다. 중요한 것은 어떤 AI를 만들 것인가가 아니라, 어떤 사회를 유지하고 싶은가에 가깝습니다. 의료에서의 예측이 누구를 살리고 누구를 놓치는지, 알고리듬이 누구에게 더 자주 틀리는지, 얼굴 인식이 안전을 명분으로 누구의 일상을 감시하는지, 이런 질문을 구체적으로 붙잡을 때에만 도덕이라는 단어가 현실에서 힘을 갖게 됩니다. 그래서 이 책은 AI에 관한 책이면서 동시에 인간의 책임과 제도에 관한 책으로 읽힙니다.