자율주행의
역사와 현재

이 그래프에서 읽어야 할 것은 절대 수보다 비율의 크기다. 미국 기준으로 사람이 운전할 때 사망사고는 1억 마일(약 1.6억 km)당 1.26건이다(2023년). 한 사람이 평생 운전하는 거리가 대략 50만 마일이니, 개인이 체감하기에 사망사고는 거의 일어나지 않는 사건이다. 그런데 자율주행 시스템이 넘어야 할 기준이 바로 이 숫자다. 사고율 0.000001%대의 시스템을 만들고, 그것이 정말 그렇다는 것을 증명해야 한다.

편익은 안전 외에도 있다. 이동이 어려운 고령자와 장애인의 이동권, 호출형 대중교통(Mobility on Demand), 차량 공유로 인한 주차 면적 감소 같은 것들이 자주 거론된다. 다만 이 편익들은 실현된 결과가 아니라 기대라는 점을 구분해 두자. 2026년 현재 실제 데이터로 확인되는 것은 특정 도시의 로보택시 사고율 정도다.

생각해 볼 질문

한국의 사망자가 12년 만에 절반으로 줄었다. 같은 기간 자율주행 기술은 사고 감소에 얼마나 기여했을까. 기여했다고 말하려면 어떤 데이터가 필요한가.

이 계산에는 가정이 하나 숨어 있다. 사고가 서로 독립이고 사고율이 일정하다는 푸아송 가정이다. 실제로는 날씨, 지역, 시간대에 따라 사고율이 달라지므로 특정 ODD 안에서만 성립하는 상한이다. 피닉스 교외 도로에서 1억 마일을 달린 기록이 서울 도심의 사고율을 보장하지는 않는다.

2026년 시점의 실제 숫자를 하나 놓아 두자. 웨이모는 2025년 말 기준 누적 무인 주행거리가 1억 마일을 넘었다고 보고했다. RAND 기준선의 3분의 1이 넘는 거리인데, 이 숫자를 사람과 비교하려면 같은 도로, 같은 시간대의 사람 운전 사고율과 견주어야 한다. 웨이모가 자체 발표한 비교는 있지만 독립 검증은 진행 중이다. "이미 사람보다 안전하다"는 문장은 이 단서와 함께 읽는다.

2018년 3월 애리조나주 템피에서 우버의 시험 차량이 야간에 자전거를 끌고 무단횡단하던 보행자를 치어 숨지게 했다. 미국 교통안전위원회(NTSB) 조사 보고서에 따르면 시스템은 충돌 5.6초 전에 물체를 감지했지만 차량, 자전거, 미확인 물체로 분류를 바꾸어 가며 경로 예측을 반복 초기화했고, 긴급 제동은 설계상 꺼져 있었으며, 안전 운전자는 휴대전화를 보고 있었다. 인식, 판단, 시스템 설계, 사람의 감시가 동시에 실패한 사례다. 하나의 원인으로 설명되는 사고는 드물다.

이 장 이후의 강의가 다루는 카메라 모델, 기하, 특징점, 광류, 3차원 복원, 딥러닝은 전부 이 "남은 사고"를 줄이기 위한 도구다. 도구 각각은 평균 상황을 위한 것이 아니라 드문 상황에서 무엇이 틀리는지를 알기 위한 것이라는 관점으로 읽으면 순서가 보인다.

자율주행 자료가 왜 1886년에서 시작하는가. 두 가지 이유가 있다. 첫째, 뒤에 나올 2013년의 S500 시연이 바로 이 차의 주행로를 골랐기 때문이다. 산업이 자기 기원을 어떻게 서사로 쓰는지를 보여 주는 장면이다. 둘째, 자동차의 확산 곡선 자체가 자율주행의 참고 자료이기 때문이다. 특허에서 대중화까지 30년이 걸렸고, 그 사이에 도로, 주유소, 면허, 보험, 교통법이 새로 만들어졌다. 자율주행도 차만 만들어서 끝나는 문제가 아니라는 점을 미리 짚어 두자.

1925년의 시연은 자율주행의 시작으로 자주 인용되지만, 엄밀히는 무선 조종 자동차다. 운전 판단은 뒤차의 사람이 했다. 그럼에도 이 사건이 의미 있는 이유는 "운전석에 사람이 없는 차가 도로를 달린다"는 장면이 대중에게 처음 제시됐기 때문이다. 기술적 계보와 대중적 상상의 계보는 여기서 갈라진다.

1960년 RCA의 시연은 도로 기반 방식의 정점이었다. 기사에 따르면 시연 차량은 앞차 뒤 25~30 m를 유지하다 앞차가 서면 부드럽게 정지했다. 오늘의 적응형 순항 제어(Adaptive Cruise Control, ACC)와 같은 기능이 이미 있었던 셈이다. 다른 점은 센서다. 차가 앞차를 본 것이 아니라 도로가 두 차의 위치를 알고 있었다. 도로에 전선을 까는 비용이 이 방식의 확장을 막았다.

이 방식이 완전히 사라진 것은 아니다. 공장 안의 무인 운반차(Automated Guided Vehicle, AGV), 항만의 컨테이너 운반차, 일부 버스 전용차로의 자석 유도 시스템은 지금도 같은 원리로 움직인다. 인프라를 통제할 수 있는 닫힌 환경에서는 여전히 가장 싸고 확실한 방법이다. 자율주행 방식을 고를 때 "환경을 통제할 수 있는가"가 첫 번째 질문이 되는 이유다.

1960년대의 시험 연도는 자료마다 다르게 적혀 있다. 과학박물관 소장 기록은 "1960년대"로, 일부 기사는 1970년 시연을 기준으로 쓴다. 이 자료는 원 차량이 1960년형 DS19이고 시험이 1960년대에 걸쳐 진행되었다는 박물관 기록을 따른다.

NavLab과 VaMoRs는 같은 문제를 다른 방식으로 풀었다. 카네기멜런은 영상 전체를 분류하는 방식, 디크만스는 도로의 기하 모형을 세우고 칼만 필터로 추적하는 "4-D 접근"이었다. 후자는 계산량이 훨씬 적었기 때문에 당시 컴퓨터로도 고속 주행이 가능했다. 데이터 기반 방식과 모델 기반 방식의 대비는 여기서 이미 시작되고, 이 강의 후반의 기하학(3~6주차)과 학습(10주차 이후)이 각각 어느 계보에 서는지 생각하며 읽으면 좋다.

1986년이라는 연도는 카메라 기반 자율주행의 출발점으로 널리 인용된다. 다만 "세계 최초"라는 수식은 조심스럽게 쓰자. 일본 쓰쿠바 기계공학연구소는 1977년에 카메라 두 대로 흰 선을 따라 시속 30 km로 달린 차량을 만들었다고 보고했다. 이 자료는 NavLab을 "도로 환경에서 지속적인 연구 프로그램으로 이어진 첫 비전 자율주행"으로 적는다.

ALVINN이 중요한 이유는 성능이 아니라 학습 방식이다. 도로 특징을 사람이 설계하지 않고, 사람이 운전한 영상과 조향각 쌍으로 망을 학습시켰다. 2016년 엔비디아가 발표한 종단간(end-to-end) 조향 학습과 원리가 같고, 실제로 그 논문은 ALVINN을 첫 줄에서 인용한다. 28년 사이에 바뀐 것은 입력 해상도, 층 수, 데이터 양, 그리고 GPU였다.

한계도 분명했다. 학습한 도로 유형이 바뀌면 다시 학습해야 했고, 교차로나 다른 차량을 다루지 못했다. 1995년 포멀로는 후속 시스템으로 미국 대륙 횡단 "No Hands Across America"를 시도해 4,500 km의 98%를 자동 조향으로 달렸지만 가감속은 사람이 했다. 조향은 되고, 판단은 안 되던 시기라고 요약할 수 있다.

생각해 볼 질문

ALVINN의 출력이 회귀(조향각 하나)가 아니라 45개 분류인 이유는 무엇일까. 갈림길에서 두 방향이 모두 가능할 때 회귀 출력은 어떤 값을 내놓게 되는가.

같은 1995년, 미쓰비시는 디아망테에 레이저 기반 차간 거리 제어(Preview Distance Control)를 넣어 판매했다. 브레이크는 못 걸고 가속 페달과 변속만 제어했지만 양산차에 실린 첫 ACC로 알려져 있다. 레이더로 제동까지 하는 메르세데스 Distronic은 1998~1999년 S클래스에 들어갔다. 연구용 자율주행과 양산 운전자 보조가 같은 해에 나란히 시작된 셈이다. 이 두 갈래가 20년 뒤 SAE 레벨 2와 레벨 4로 이름을 얻는다.

PROMETHEUS의 예산은 약 7억 4,900만 ECU(당시 유럽 통화 단위)로, 자동차 회사 13곳과 대학 수십 곳이 참여했다. 규모에 비해 대중적 기억이 적은 이유는 결과가 제품이 아니라 부품 기술(ACC, 차선 이탈 경고)로 흩어져 들어갔기 때문이다. 시연은 화려했고 확산은 조용했다.

자율주행에서 위치 추정(localization)이 왜 그렇게 중요한지는 지도와 함께 생각하면 보인다. 정밀 지도가 있고 내 위치를 지도 위에 10 cm 정확도로 놓을 수 있다면, 차선과 정지선과 신호등의 위치는 보지 않아도 안다. 인식이 해야 할 일이 "지도에 없는 것", 즉 다른 차와 보행자로 줄어든다. 2009년 이후 구글 방식의 자율주행이 정밀 지도에 크게 의존한 이유이고, 반대로 테슬라가 지도 의존을 줄이겠다고 한 것이 왜 어려운 선택인지도 여기서 설명된다.

2005년 우승팀 스탠퍼드의 Stanley 논문은 무엇이 달라졌는지를 솔직하게 적었다. 핵심은 레이저 거리계로 가까운 지형을 분류하고, 그 결과를 카메라 영상에 학습시켜 먼 곳의 주행 가능 영역을 추정하는 자기 지도(self-supervised) 방식이었다. 그리고 "가장 중요한 것은 수천 km의 시험 주행에서 나온 버그 수정"이었다고 썼다. 이 문장은 이후 모든 자율주행 회사의 개발 방식이 된다.

2007년 대회의 1위 카네기멜런 Tartan Racing, 2위 스탠퍼드 Junior, 3위 버지니아공대 VictorTango의 핵심 인력은 이후 구글, 우버, 오로라, 아르고, 크루즈로 흩어진다. 산업의 계보를 그리면 거의 모든 가지가 이 세 팀에서 갈라진다. 대회의 성과는 완주가 아니라 사람이었다.

생각해 볼 질문

2004년에는 0대, 2005년에는 5대가 완주했다. 기술이 18개월 만에 그만큼 좋아진 것인가, 아니면 문제를 푸는 방법이 바뀐 것인가. Stanley 논문의 결론부를 읽고 답해 보자.

LiDAR 논쟁을 미리 정리해 두자. 2019년 테슬라는 "LiDAR는 헛수고"라며 카메라 중심 노선을 선언했고, 웨이모와 대부분의 로보택시 회사는 LiDAR를 유지했다. 이 논쟁은 센서 자체보다 중복성(redundancy)에 대한 견해 차이다. 한 센서가 실패하는 조건에서 다른 센서가 살아 있어야 한다는 입장과, 사람도 눈으로만 운전하니 카메라와 충분한 학습으로 된다는 입장이다. 2026년 현재 무인 상용 서비스를 하는 회사는 예외 없이 LiDAR를 쓰고 있으며, 테슬라의 오스틴 로보택시도 초기에는 동승 안전요원을 두었다. 데이터로 답이 난 문제가 아니라 아직 진행 중인 논쟁으로 읽는 것이 정확하다.

2주차에 이 세 센서의 물리를 자세히 다룬다. 카메라의 노출과 렌즈, ToF 방식 깊이 카메라, LiDAR의 파장(905 nm과 1550 nm)이 각각 어떤 상황에서 실패하는지가 그 강의의 뼈대다.

두 사건은 접근이 정반대다. 구글은 정밀 지도, 고가 LiDAR, 제한된 지역, 많은 주행량을 골랐다. VisLab은 지도 없는 낯선 도로, 카메라 중심의 싼 센서, 그리고 앞차 추종이라는 좁은 과제를 골랐다. 어느 쪽이 옳았는가보다 각자 무엇을 증명하려 했는지를 보는 것이 맞다. 구글은 "특정 도시에서 사람 없이"를, VisLab은 "어떤 도로에서든 사람 뒤에서"를 증명했다.

구글 프로젝트의 초기 목표는 캘리포니아의 어려운 코스 10개, 총 1,000마일을 완주하는 것이었다고 스런은 회고했다. 그 코스에는 샌프란시스코의 롬바드 스트리트가 포함되어 있었다. 2010년 10월 이 목표를 달성했다고 발표하면서 프로젝트가 공개됐다.

ImageNet 수치를 인용할 때 자주 틀리는 부분이 있다. AlexNet 논문에는 검증 세트 기준 16.4%(단일 모델 18.2%, 앙상블 16.4%)와 대회 시험 세트 기준 15.3%가 함께 나온다. 대회 순위는 15.3%로 매겨졌고 2위는 26.2%였다. 어느 수치를 쓰든 출처를 밝히면 되지만, 두 수치를 섞어 "약 16%"로 쓰면 비교가 흐려진다.

KITTI가 자율주행 연구에 끼친 영향은 데이터 양보다 평가 방식에 있었다. 정답을 공개하지 않고 서버에서 채점하는 방식, 과제별 순위표, 그리고 스테레오·광류·검출을 같은 장면에서 평가하는 구성은 이후 Cityscapes, nuScenes, Waymo Open이 그대로 따랐다. 8장에서 이 데이터셋들을 표로 비교한다.

이 시연 논문은 자율주행 논문 중 드물게 무엇이 안 됐는지를 상세히 적었다. 로터리에서 다른 차의 의도를 읽는 일, 보행자가 건널지 말지 판단하는 일, 지도와 실제 도로의 불일치가 주요 난점으로 꼽혔다. 이 항목들은 13년이 지난 지금도 로보택시 회사의 사고 보고서에 같은 순서로 등장한다. 기술 논문의 "한계" 절은 그 분야의 다음 10년을 예고하는 경우가 많다.

J3016은 2016년, 2018년, 2021년에 개정됐다. 2021년판은 레벨 1과 2를 "운전자 지원 기능", 레벨 3~5를 "자동 운전 기능"으로 묶어 부르도록 권고했다. "반자율주행"이나 "자율주행 모드" 같은 표현을 레벨 2에 쓰지 말라는 취지다. 테슬라의 "Autopilot", "Full Self-Driving"이라는 이름은 이 권고와 정면으로 충돌하며, 캘리포니아 차량국은 2022년 이 명칭을 허위 광고로 문제 삼았다.

레벨 3의 자리는 특히 어렵다. 시스템이 감시하다가 한계에서 사람에게 넘기는데, 사람은 감시하지 않고 있다가 몇 초 안에 상황을 파악해야 한다. 이 "넘겨받기(takeover)" 문제 때문에 많은 회사가 레벨 3을 건너뛰고 레벨 4로 갔다. 2021년 혼다 레전드와 2022년 메르세데스 Drive Pilot이 시속 60 km 이하 정체 구간 한정으로 레벨 3 인증을 받았다는 사실은, 레벨 3이 얼마나 좁게 정의되어야 실현되는지를 보여 준다.

세 사건은 세 가지 사업 모델이다. 우버는 기사 인건비를 없애는 로보택시, 테슬라는 판매한 차의 소프트웨어 기능 판매, 구글은 아직 사업 모델이 정해지지 않은 기술 축적이었다. 10년 뒤의 결과를 미리 적어 두면, 우버는 2020년 자율주행 부문을 오로라에 넘겼고, 테슬라는 2025년에야 로보택시를 시작했으며, 구글의 웨이모는 로보택시 시장의 대부분을 차지하고 있다. 사업 모델과 기술 노선이 어떻게 얽혔는지는 6장에서 본다.

우버 사고는 레벨 2가 아니라 개발 단계의 레벨 4 시험이었지만, 안전요원이 감시 역할을 맡았다는 점에서 구조는 같다. 시스템이 아직 미덥지 않으니 사람이 보고 있으라는 설계는, 사람이 오랫동안 아무 일도 없는 상태를 지켜볼 수 없다는 심리학과 정면으로 충돌한다. 항공 분야에서 자동화 안주(automation complacency)라는 이름으로 수십 년 전에 정리된 문제다. NTSB 보고서는 우버에 대해 "안전 위험 평가 절차 부재"와 "운전자 감시 장치 부재"를 함께 지적했다.

테슬라 사고 두 건은 다른 질문을 남긴다. 핸들에서 손을 떼면 경고하는 장치가 있었는데도 사고가 났다. 감시를 강제하는 장치는 감시를 보장하지 않는다. 2021년 이후 테슬라가 실내 카메라로 시선을 추적하기 시작하고, 유럽 규정이 운전자 모니터링을 의무화한 배경이다. 이 강의에서 다루는 컴퓨터비전은 차 밖만 보는 것이 아니다.

Cruise의 경우를 조금 더 보자. 2023년 8월 캘리포니아는 Cruise와 Waymo에 샌프란시스코 전역 24시간 유료 운행을 허가했다. 두 달 뒤 다른 차에 치여 날아온 보행자가 Cruise 차량 아래 깔렸고, 차량은 정지 뒤 갓길로 이동하면서 보행자를 약 6 m 끌었다. 사고 자체보다 회사가 규제 기관에 끌림 장면을 즉시 공개하지 않은 것이 면허 정지의 직접 사유가 됐다. 인식 실패, 정지 후 행동 설계, 그리고 조직의 대응이 한 사건에 겹쳐 있다.

같은 도시에서 Waymo는 운행을 이어 갔다. 두 회사의 차이로 흔히 지목되는 것은 Waymo가 2017년부터 피닉스 교외에서 5년 넘게 좁은 영역을 유지한 반면 Cruise는 2022년부터 샌프란시스코 도심에서 빠르게 확장했다는 점이다. 이것은 해석이며 합의된 사실은 아니다. 다만 2026년 현재 무인 유료 서비스를 하는 회사들이 예외 없이 도시 하나씩 순서대로 넓혀 가고 있다는 것은 사실이다.

한국 시장이 분업형이 된 이유로 흔히 세 가지가 지목된다. 로보택시 운영에 필요한 규제 특례가 지역과 기간 단위로 주어져 왔다는 점, 완성차 회사 하나가 국내 수요의 대부분을 차지해 스타트업이 운영사보다 공급사가 되기 쉽다는 점, 그리고 시뮬레이션과 인증처럼 수출 가능한 영역에 자본이 먼저 몰렸다는 점이다. 이 역시 해석이다. 여러분이 진로를 생각할 때 국내 회사 목록을 "누가 로보택시를 하는가"가 아니라 "누가 어느 부품을 세계 시장에 파는가"로 읽으면 더 정확하다.

생각해 볼 질문

Waymo의 주당 50만 회는 2024년 5월의 5만 회에서 2년 만에 10배가 된 수치다. 이 성장률이 유지된다면 무엇이 먼저 한계가 되는가. 차량 생산, 도시별 허가, 원격 감시 인력, 아니면 사고 한 건인가.

완성차 업계는 2070년 무렵까지 기존 자동차 산업이 서서히 바뀔 것으로 본다는 전망이 자주 인용된다. 시한이 붙은 예측은 이 자료가 앞에서 거듭 경계한 바로 그 종류의 문장이다. 그 대신 확인 가능한 것을 적어 두자. 2026년 현재 무인 유료 서비스는 미국과 중국의 일부 도시에서만 운영되고, 레벨 3 양산차는 정체 구간 한정으로만 인증되어 있으며, 레벨 5 차량은 없다. 이 세 문장이 바뀌는 순서가 곧 자율주행의 다음 역사다.

트롤리 문제가 자율주행 논의에서 과대평가되었다는 비판은 공학자와 철학자 양쪽에서 나왔다. 공학 쪽 논거는 위 카드의 "보여 주지 못한 것"이다. 철학 쪽 논거는 이 문제가 결과의 확실성을 전제한다는 것이다. 실제 도로에서는 어떤 선택이 누구를 죽일지 확률로만 안다. 그렇다면 진짜 윤리 문제는 "누구를 희생할 것인가"가 아니라 "얼마나 위험을 줄일 수 있을 때 배포할 것인가", 즉 1장의 RAND 계산과 같은 질문으로 돌아온다.

Moral Machine 실험의 가치는 답이 아니라 답이 나라마다 다르다는 사실에 있다. 어떤 규칙을 코드에 넣든 그것은 특정 문화의 선택이 된다. 독일은 2017년 자율주행 윤리위원회 보고서에서 "개인적 특성(나이, 성별 등)에 따른 구별을 금지한다"고 명시했다. 규칙을 안 정하는 것도 선택이라는 점을 기억해 두자.

표에서 읽어야 할 흐름이 셋 있다. 첫째, 센서 수의 증가다. KITTI의 카메라 4대·LiDAR 1대에서 nuScenes의 카메라 6대·LiDAR 1대·레이더 5대로, 360도를 덮는 구성이 표준이 됐다. 둘째, 포장도로에서 비포장으로. RELLIS-3D와 TartanDrive는 차선과 표지판이 없는 환경을 다루며, 이 강의의 담당 교수 연구실이 하는 주행 가능 영역(traversability) 연구가 이 계보에 있다. 셋째, 정답의 종류가 상자에서 분할로, 분할에서 동역학으로 바뀌어 왔다. 정답을 어떻게 다느냐가 곧 문제 정의다.

규모 수치는 자료마다 세는 단위가 다르다. KITTI를 "15,000장"이라고 쓰는 자료는 원시 데이터 전체를, "7,481장"은 검출 과제 학습 세트를 센 것이다. nuScenes의 "140만 장"은 모든 카메라 프레임을, "40,000개"는 주석이 달린 키프레임을 센 것이다. 이 자료는 논문의 표기를 그대로 옮기고 단위를 병기했다.