2021
SUMMER

VOL. 258

Contents VOL. 258

COVER STORY

<HYPER> 여름호는 자율주행 차와 친환경차로 대변되는 이동 수단의 혁명, 모빌리티의 미래를 테마로 다뤘습니다. 이번호 기사를 통해 생각해보세요. 빠르게 발전하는 첨단과학 기술들, 그 변화의 흐름을 따르기만 하면 우리는 과연 멋진 신세 계에 도달할 수 있을까요?

Theme
Story

기술만큼 중요한 사회적 합의!
자율주행차와 AI 윤리

Social Agreement for New Technology
The Autonomous Vehicle and AI Ethics

철학과 이상욱 교수(HY 과학기술 윤리·법·정책센터 센터장)

Writing Professor Lee Sang-wook, Department of Philosophy (Director of the HY Science Technology Ethics · Law · Policy Center)
Translation Lee Won-young, Ben Park

자율주행은 최첨단 기술이 집약되는 분야다. 하지만 기술만 개발하면 모든 것이 해결될까? 자율주행 기술의 도입과 상용화에 앞서 제도적, 윤리적, 사회적 논의와 합의가 제대로 이뤄져야 한다. 기술 개발에만 몰두한 채 자율주행을 둘러싼 문제들을 등한시한다면, 오히려 큰 사회 문제를 야기하게 될 것이다.

Autonomous-driving is an area of integration for all novel technologies. Nevertheless, can the development of technology solve all problems? Prior to the introduction and commercialization of autonomous-driving technology, institutional, ethical, and social agreements centered on this issue must first be made. When the matter of a social agreement is neglected, a larger social problem will arise as a result.

자율주행차 시대의 도래?

자율주행차에 대한 기대가 높아지고 있다. 불과 얼마 전까지만 해도 테슬라나 구글의 자율주행차 실험이 신기하게 생각됐는데 이제는 국내에서도 자율주행차 시범운행이 이뤄지고, 스마트시티 대중교통 시스템을 자율주행 버스로 운영하려는 계획까지 추진 중이다. 바야흐로 자율주행차가 일상적인 길거리 풍경으로 자리 잡을 날을 기대해 볼 수 있다.

하지만 기술적 난관이 만만치 않다. 자율주행차는 그 핵심기술을 성취하기도 어렵지만 설사 원리적으로 그 기술 수준을 확보하더라도 난제가 남는다. 대도시의 혼잡한 거리 환경에서 발생할 수 있는 다양한 시나리오나 갑작스러운 기상이변처럼 설계 단계에서 완벽하게 고려하기 어려운 우발적 상황이 그것이다. 인간 운전자라면 어느 정도 경험이 쌓인 뒤 이런 상황에 어떻게 대응해야 하는지를 ‘대충’ 생각해 낼 수 있지만, 자율주행차의 인공지능(AI) 시스템은 이런 일을 해내는데 원리적인 어려움이 있다.

여기서 중요한 것은 ‘대충’이다. 인간 운전자 역시 출퇴근 시간처럼 분비는 때에 낯선 거리를 운전하는 일은 어렵다. 사고를 내기도 쉽다. 기상이변으로 운전 중에 갑작스럽게 돌멩이만 한 우박이 떨어진다면 운전경력이 상당한 사람도 당황할 수밖에 없다. 하지만 인간 지능의 특징은 뛰어난 학습 능력과 일반화 능력이다. 즉 평균적인 운전 능력을 갖춘 인간 운전자라면 자신이 직접 경험한 적 없는 우발적 상황에서도 기존 경험을 ‘유비(analogy)’하거나 ‘종합(synthesis)’해 ‘대부분의 경우’ 혹은 적어도 ‘상당히 많은 경우’에 성공적으로 대응할 수 있다.

The era of autonomous vehicles?

The anticipation for autonomous vehicles is higher than ever. Experiments on autonomous vehicles done by Tesla or Google were considered new and novel until not long ago. Now, the test driving of autonomous vehicles is now operating here in Korea, as well as the plan to apply autonomous vehicle technology onto the country’s public transportation system. This technology is soon to be a part of our daily lives.

Meanwhile, there are still technical obstacles along the way. Autonomous vehicle technology is difficult to reach its core technological level, but even after reaching this level, another issue remains to be solved. Numerous unexpected situations, such as various scenarios in crowded big cities, or sudden changes in the weather, are especially hard for the technology to predict in advance. Human drivers can roughly think of how to respond in any given circumstance to any issues after gaining some experience, but the AI system of autonomous vehicles has difficulty in principle in achieving this.

The important factor in this issue is the word roughly. Driving on an unfamiliar road during rush hours is difficult for human drivers. If a hailstone the size of a stone suddenly falls while driving due to an extreme weather event, even those with considerable driving experience will have no choice but to panic. However, the key characteristic of human intelligence is the ability to learn and generalize. In other words, a human driver with average driving ability can “analyze” or “synthesize” existing experiences successfully, even in situations that they have never experienced directly.

AI의 ‘이해하기 어려운 실수’ 사례 The case of AI’s incomprehensible errors
왼쪽 그림을 버스로 정확하게 인식하는 AI가 여기에 사람은 알아차리기 어려운 변화를 약간만 더한 오른쪽 그림은 타조로 인식한다. 또 하얀 색깔의 대형 트럭을 하늘과 혼동하기도 한다. While AI can accurately detect the left picture as a bus, it detects a human with some minor changes as an ostrich. It also often confuses a large truck with the sky.

인간의 통찰력을 AI가 구현할 수 있을까?

반면, 자율주행차의 핵심기술인 AI는 인간 지능의 특징인 유비추론 능력이나 여러 사례를 종합해 판단하는 통찰력에 있어 특별히 취약하다. 미리 학습된 상황에서 미리 입력된 알고리즘에 따라 실시간으로 판단해 운전하는 능력은 AI가 인간 운전자보다 압도적으로 효율적일 수 있다. 하지만 ‘평균적으로’ 인간보다 더 뛰어난 정확도로 사물을 인식하는 시각인지 AI도 아직까지는 한계를 보인다. 인간에게는 구별되지 않는 방식으로 살짝 바꾼 교통표지판을 엉뚱하게 읽거나 아예 교통표지판이 아닌 다른 것으로 읽기도 한다.

물론 인간 운전자 역시 교통표지판을 잘못 읽을 수 있다. 하지만 AI와 달리 거의 똑같은 시각적 이미지를 전혀 다른 것, 예를 들어 스쿨버스와 타조로 인식하지는 않는다. 스쿨버스와 타조가 등장하는 맥락이 전혀 다르다는 걸 인간 운전자는 ‘상식’으로 알고 있지만, 맥락적 이해에 약한 AI는 그렇지 못하다. AI는 순전히 패턴 매칭 효율성만으로 판단하다 보니 사람이 보기에는 다소 어이없는 실수, ‘이해하기 어려운 실수’를 하는 것이다.

Can AI embody human insight?

Meanwhile, the core technology of autonomous vehicles, AI, is especially weak in creating insight through synthesizing experiences through analogical reasoning and other various examples. AI may be more efficient than humans in terms of driving according to the information that is already learned. However, even the visual recognition of AI that can detect objects better than humans “on average” still displays some shortcomings. The AI may fail to recognize slight changes in traffic signs, or recognize it as a completely different object.

Of course, humans can also misread a traffic sign, but unlike AI, humans do not recognize an almost similar visual image as a completely different object, such as a school bus or an ostrich. Humans know through “common sense” that a school bus and an ostrich have completely different contexts, but AI, with a weak understanding of the contexts, can interpret an image erratically. AI makes decisions solely on pattern matching efficiency, resulting in creating mistakes that are rather “hard to understand” from the viewpoint of humans.

AI는 ‘정신 활동’ 아닌 ‘수학 계산’ 수행

최근 AI의 눈부신 발전 덕분에 많은 사람이 SF 영화에 등장하는, 인간과 구별되지 않는 수준의 인공지능이 곧 등장할 것으로 생각한다. 자율주행차가 단순히 안전하게 목적지까지 사람을 태워주는 것만이 아니라, 영화 <아이언맨>에 등장하는 자비스처럼 독자적인 정신세계를 갖춘 인공지능이 운전하는 것이라 기대하는 사람도 많다.

하지만 먼 미래에 등장할 인공지능 말고 현재, 그리고 가까운 미래에 활용될 AI는 압도적인 계산능력을 활용해 주어진 데이터의 패턴을 파악하는 기계다. 그러므로 자율주행차에 적용되는 AI 역시 자동차 운전과 관련된 다양한 데이터베이스를 학습하고 ⇨ 운전에 중요한 패턴을 인식한 후 ⇨ 이를 실제 운전 과정에서 수집되는 실시간 정보와 결합해 ⇨ 사물을 인지하고 교통신호를 따르며 차를 운행하게 된다. 이 과정에서 AI가 수행하는 것은 수학적인 의미의 계산이지 인간 운전자의 ‘정신 활동’과 유사한 것이 아니다.

자율주행 자동차의 윤리적 쟁점을 고려할 때 이 측면이 강조될 필요가 있다. AI의 윤리적 쟁점은 AI 자체를 윤리적 행위자로서 수행 행위의 윤리성과 관련짓는 것이 아니라, AI를 제작하는 설계자와 활용하는 소비자를 중심으로 AI가 산출하는 ‘결과물’을 관련짓는 것이기 때문이다. 다시 말해, 자율주행차의 AI 윤리는 자율주행차라는 널리 사용되는 용어에도 불구하고 ‘자동차가 자율적으로 결정’하는 상황에 대한 윤리적 판단과는 무관하다. 자율주행차 AI의 알고리즘을 설계하는 사람들, 그 자동차를 생산하는 사람들, 그 자동차를 사용하는 사람들, 그리고 그 자동차가 운행하는 환경 속 보행자들의 윤리적 판단과 그들에게 미치는 영향 등과 관련된다.

우리는 이 점을 정확하게 인지해야 한다. 21세기 AI와 함께 살아가는 데 결정적으로 중요한 사항이다. 우리는 이미 AI에 둘러싸여 살고 있다. 인공지능 챗봇과 친구처럼 다정하게 이야기를 나누는 것은 좋지만, 그 챗봇이 위기상황에서 당신을 진짜 친구처럼 돌볼 수 있다고 생각하지 않아야 한다. 챗봇이 거짓으로 친구인 체 당신을 속인 것이 아니다. 인공지능은 인간을 속일 수 있는 능력이 없다. 단지 우리가 인공지능이 인간을 돌볼 수 있는 마음과 능력을 갖췄다고 믿기에 스스로 ‘자기 속임’을 한 것이다.

AI does not “think”, but it “calculates mathematically”

Due to the remarkable advances in AI in recent years, many people believe that artificial intelligence, as portrayed in Sci-Fi movies, can operate at a level indistinguishable from humans. Many people anticipate that self-driving cars will not only safely drive people to their destinations, but also be driven by an artificial intelligence with a unique mental capacity like Jarvis in the movie Iron Man.

However, the artificial intelligence of now and the near future is simply a machine that detects patterns of given data through its calculation skill. Therefore, the AI applied to self-driving cars also goes through the steps of calculation; learning various databases related to car driving recognizing patterns important when driving integrating it with data that is collected in real-time during actual driving and driving the car while recognizing objects and traffic signs. What the AI conducts through this process is not “thinking” like that of human drivers, but mere mathematical calculations.

When considering the ethical issue of autonomous vehicles, that point needs to be highlighted. The ethical issue of AI is not the technology itself as an ethical actor, but is on the “result” that is produced based on the architect and consumers that use AI. In other words, the AI ethics of autonomous vehicles is in fact not related to ethical decisions that the car makes by itself. This is especially related to the ethical decisions and its effects on those that construct the algorithm of an AI autonomous vehicle, those that produce the vehicle, those that use it, and those that are walking around the environment where the vehicle is driven. We need to recognize this matter precisely. It is a crucial matter to face the 21st century where people and AI coexist together. We are already living around AI. While it is nice to create a conversation with an AI chat-bot like a friend, we need to understand that the chat-bot will not be able to take care of you like an actual friend in an emergency.

It is not that the chat-bot is trying to deceive you by pretending it is your friend. It’s just that AI does not have the ability to deceive humans. In fact, we are deceiving ourselves by believing that AI has the mind and ability to take care of humans.

알고리즘 설계 시 ‘윤리적 판단’ 미리 결정돼야

자율주행차의 윤리적 쟁점을 이야기할 때 단골처럼 등장하는 트롤리 문제 역시 AI의 이런 특징과 관련 있다. 기술적으로 완벽해진 자율주행차는 ‘평균적으로는’ 인간 운전자가 운전하는 자동차보다 사고를 덜 낼것으로 예상된다. 그래서 자율주행차를 옹호하는 일부 사람들은 자율주행차를 사회적으로 더 빨리, 더 많이 도입하는 것이 윤리적으로 시급한 일이라고 주장하기도 한다. 자율주행차가 인간 운전자가 운행하는 자동차를 모두 대체하면 평균적으로 교통사고로 인한 사상자가 줄고 사회 전체의 공익을 증진할 것이라는 논리다.

이 논리는 기술적으로 완벽한 자율주행차가 특정 시점에 기존 차를 한꺼번에 대체하는 방식이라면 유효하다. 하지만 실제로는 기술적으로 불완전한 3단계, 4단계 자율주행차가 여러 경로로 조금씩 도입되면서 사회 전체의 교통 시스템에 점진적으로 통합되는 방식일 수밖에 없다. 따라서 이 과정에서는 오히려 교통사고가 증가할 수도 있다.

더 중요한 문제는 설사 이런 가능성을 무시하고 기술적으로 완벽한 자율주행차만을 고려하더라도, 교통사고를 완벽하게 막는 것은 불가능하다는 사실이다. 5단계 자율주행차 역시 필연적으로 교통사고를 낼 수 있다. 따라서 자율주행차 알고리즘은 어떤 조건 아래에서 어떤 판단-행동을 해야 하는지 ‘미리 결정’해 두는 방식으로 설계돼야 한다. 사고가 일어나는 찰나, 인간의 직관적 판단-행동에 의해 좌우되는 기존 자동차와 달리 진정한 의미의 자율주행차는 사고 상황에서 인간의 개입 없이 판단-행동해야 하기 때문이다.

이런 이유로 대중적으로 잘 알려진 선택의 문제, ‘자율주행차가 운전자와 보행자 중 어느 한 사람밖에 구할 수 없다면 어떤 사람을 구하도록 프로그램해야 하는가’의 문제는 설계 과정에서 미리 결정이 이루어져야 한다. 하지만 결정은 쉽지 않다. 문화권별로 윤리적으로 바람직한 결정에 대한 직관이 상당히 차이가 난다. 예를 들어 유럽인들은 아시아인들과 비교해 어린이가 노인보다 우선시 돼야 한다고 답한다. 이런 직관의 차이가 보행자를 운전자보다 우선시하기 어려운 자동차회사의 상업적 고려와 맞물리면 자율주행차의 알고리즘 설계, ‘윤리적 판단’이 매우 논쟁적이고 어려울 수 있다. 이런 점을 고려할 때 자율주행차와 관련돼 자주 언급되는 트롤리 문제는 자율주행차가 운전자와 보행자 중 누구를 살릴 것인지 윤리적 고민을 하는 상황과는 전혀 관련이 없다. 그보다는 자율주행차의 도입방식과 제도적 관리방안에 대한 사회적 판단, 실천에 밀접하게 관련돼 있다.

Ethical decision should be made first when constructing an algorithm

When talking about the ethical issues surrounding autonomous vehicles, the most discussed episode, the “trolley dilemma”, is also related to these characteristics of AI. Autonomous vehicles that are now technologically perfect are expected to create less accidents than human drivers on average. This is also the reason why advocates of autonomous vehicles argue that it is ethically urgent to adopt more autonomous vehicles more quickly for commercialization in our social lives. The logic is that once autonomous vehicles replace all human driven vehicles, it would decrease the average casualties created by vehicle accidents and would decrease and promote the public interest of society as a whole.

This theory is plausible when all conventional automobiles are replaced by autonomous ones during a certain period of time. In reality, however, the traffic system of society as a whole will be gradually integrated as technically incomplete 3rd and 4th level autonomous vehicles are gradually introduced through various routes. During this process, the number of vehicle accidents may actually increase.

More importantly, even if we ignore this possibility and only consider perfect autonomous vehicles, it is impossible to prevent traffic accidents completely. The 5th level autonomous vehicle can inevitably cause vehicle accidents. Therefore, its algorithms must be designed in such a way that it can predetermine which appropriate action to take under which conditions. Unlike conventional automobiles that are governed by human intuitive judgment at the moment of an accident, a true autonomous vehicle must judge and act without human intervention in an automobile accident.

For this reason, the well-known issue of choice, “who should it be programmed to save if an autonomous vehicle can only save a driver or a pedestrian,” must be decided in advance during the design process. But the decision is not an easy one. The differences in making ethically sound decisions vary considerably across cultures. For example, Europeans say that children should be given priority over the elderly compared to Asians. When this difference of ethicality is combined with the commercial considerations of automobile companies, which make it difficult to prioritize pedestrians over drivers, the algorithm design and “ethical judgment” of autonomous vehicles can be very controversial and difficult. Considering this, the trolley dilemma that is often mentioned in relation to autonomous vehicles has nothing to do with the situation of whether an autonomous vehicle is ethically concerned about saving the driver or the pedestrian. Rather, it is closely related to the social judgment and practice of autonomous vehicle introduction methods and institutional management measures.

다가올 AI 시대, AI 윤리 위한 실천적 노력 중요

트롤리 문제는 이론 윤리학 논의에서 ‘망가진 트롤리가 달리고 있는 선로를 변경해 원래 충돌지점에 있던 여러 사람을 살리는 대신, 바뀐 선로에 있는 한 사람을 구하는 것이 윤리적으로 정당화될 수 있는가’에 대해 공리주의자와 의무론자들 사이에 본질적인 견해 차이가 있다는 점에서 제기된 것이다. 두 이론 모두 이론 윤리학에서 오랫동안 대립해 온 입장이고, 각각의 장점과 한계가 잘 알려져 있기에 어느 한쪽으로 쉽게 결론이 나기는 어렵다.

자율주행차의 AI 윤리를 논의할 때 이 트롤리 문제는 이론 윤리학적 쟁점 해소를 기다릴 사안이 아니다. 그보다는 사회적 차원에서 우리가 자율주행차를 도입해야 할지, 도입한다면 어떤 조건에서 어떤 방식으로 운행해야 할지, 자율주행차와 관련된 사고 상황에 작동할 알고리즘 설계 시 어떤 제도적 조건을 부과할지 등을 결정하는 실천 윤리적 문제다. 결국 AI 윤리는 추상적인 이론 논의를 배경으로, 구체적인 문제를 차근차근 사회적 논의로 풀고 우리 사회에서 존중되는 여러 이론적 가치를 반영하는 방식으로 해결돼야 한다. 자율주행차로 대표되는 AI 시대가 다가오는 이때, AI 윤리를 위한 실천적 노력이 필요하다.

Practical effort on AI ethics is important for creating the upcoming AI era

The trolley dilemma was raised by the argument between utilitarians and deontologists as to whether it is ethically justified to change the track on which a broken trolley is running and save one person on a changed track instead of saving several individuals who were originally at the point of collision. Both theories have been opposed to each other for a long time in theoretical ethics, and it is difficult to draw a conclusion on either side because the strengths and limitations of each are well known.

When discussing the AI ethics of autonomous vehicles, the trolley dilemma is not a matter of waiting for an ethical issue to be resolved. Rather, it is a matter of practical ethics, such as whether society should implement autonomous vehicles, under what conditions and how to operate them, and what regulatory measures to impose when designing algorithms for accident situations. In the end, AI ethics is based on rather abstract and theoretical discussion of ethics and should be solved in a way that holds various theoretical values, so that society can agree and respect its decisions. With the AI era represented by the autonomous vehicle approaching, practical efforts for AI ethics are needed more than ever.