비전 센서

핀홀 카메라에는 렌즈가 없다. 그런데도 상이 맺히는 이유는 구멍이 작아서 한 점에서 나온 빛 중 거의 한 방향의 빛만 통과하기 때문이다. 이 단순함이 핀홀 모델을 카메라 기하의 기준으로 만든다. 렌즈는 밝기를 얻기 위해 붙이는 장치이고, 렌즈가 만드는 모든 문제(수차, 왜곡, 비네팅, 심도)는 핀홀 모델에서 벗어난 만큼의 오차로 다룬다.

눈과 카메라의 비유는 유용하지만 한 곳에서 어긋난다. 눈은 망막 중심(중심와)에만 해상도가 집중되어 있고, 눈알을 움직여 장면을 훑는다. 카메라는 전체 화소가 균일하다. 그래서 사람은 8K 화면이 필요 없지만 카메라는 필요하다. 반대로 사람이 보는 "선명한 세상"은 뇌가 조립한 결과이고, 카메라 한 장은 조립 전의 원료다. 8장에서 이 차이가 왜 인식을 어렵게 하는지 다시 본다.

f-number의 정의를 정확히 두자. N = f/D, 초점거리를 조리개 지름으로 나눈 값이다. 그래서 N이 작을수록 구멍이 크다. 빛의 양은 면적, 즉 D²에 비례하므로 N이 √2배(1.4, 2, 2.8, 4, 5.6, 8, 11, 16, 22)씩 커질 때마다 빛이 절반이 된다. 이 수열을 외워 두면 카메라 설정을 읽을 때 계산이 빨라진다.

ISO는 "감도"라고 부르지만 센서의 물리적 감도(양자 효율)는 바뀌지 않는다. 바뀌는 것은 아날로그·디지털 이득이다. 광자가 100개 들어오면 그 요동은 √100 = 10개, 신호 대 잡음비는 10이다. 이득을 8배 올려도 광자가 100개인 사실은 그대로이므로 신호 대 잡음비도 10 그대로다. ISO를 올려서 밝아진 사진의 잡음이 거친 이유다. 밝기를 얻는 순서는 언제나 조리개 → 셔터 → ISO다.

생각해 볼 질문

차량용 카메라가 야간에 1/30초 셔터를 쓰면 시속 60 km 앞차는 영상에서 몇 화소 번지는가. 초점거리 6 mm, 화소 피치 3 µm, 앞차 거리 20 m로 계산해 보자. 답이 나오면 왜 야간 영상이 거친지도 설명된다.

핀홀의 최적 지름은 레일리(Rayleigh)가 1891년에 근사식으로 제시했다. d ≈ 1.9 √(f λ), 초점거리 f와 파장 λ의 곱의 제곱근에 비례한다. f = 50 mm, λ = 550 nm이면 약 0.32 mm다. 사진 9에서 0.35 mm가 가장 선명한 것과 일치한다. 이 식은 "구멍이 작을수록 좋다"는 직관이 틀리는 지점을 숫자로 알려 주며, 다음 장의 회절 논의로 바로 이어진다.

2.44라는 계수는 원형 구멍의 회절 무늬를 베셀 함수로 풀었을 때 첫 번째 어두운 고리까지의 지름에서 나온다. 조지 에어리(George Airy)가 1835년에 계산했다. 사각형 구멍이면 계수가 2가 된다. 렌즈의 조리개는 원형에 가까우므로 2.44를 쓴다.

파장 의존성도 기억해 두자. 파랑(450 nm)보다 빨강(650 nm)의 원반이 1.4배 크다. 그래서 회절 한계 근처에서는 빨간 채널이 먼저 흐려진다. 3장의 색수차와는 원인이 다르지만 결과가 비슷해 혼동하기 쉽다. 색수차는 렌즈 유리의 굴절률이 파장에 따라 다른 것이고, 회절은 렌즈가 없어도 생긴다.

스마트폰 카메라가 4,800만, 2억 화소를 내세우는 것과 이 계산은 어떻게 맞는가. 답은 화소 묶기(pixel binning)다. 0.6~0.8 µm 화소 여러 개를 하나로 묶어 실제로는 1,200만 화소로 출력한다. 마케팅 화소 수와 유효 해상도가 다르다는 것을 이 장의 계산으로 직접 확인할 수 있다.

차량용 카메라의 화소 피치가 큰 진짜 이유는 회절보다 야간 감도다. 화소 면적이 4배면 같은 노출에서 광자가 4배 들어오고 신호 대 잡음비가 2배 좋아진다. 1장의 노출 삼각형에서 ISO를 올리지 않고 밝기를 얻는 유일한 방법이 화소를 키우는 것이다. 회절 여유는 그 부산물이다.

심도의 근사식은 DOF ≈ 2 N c u² / f²이다. N은 f-number, c는 허용 착란원 지름, u는 피사체 거리, f는 초점거리다. 거리의 제곱에 비례한다는 점이 중요하다. 20 m 앞의 차에 초점을 맞추면 심도는 수십 m로 넓어지고, 사실상 무한대까지 선명하다. 차량용 카메라가 고정 초점으로 충분한 이유다. 반대로 실내 로봇의 카메라는 50 cm 앞의 물체를 봐야 하므로 심도가 좁고 자동 초점이 필요해진다.

차량용 카메라에는 셔터 종류가 하나 더 문제가 된다. 대부분의 CMOS 센서는 줄 단위로 순서대로 읽는 롤링 셔터(rolling shutter)다. 위쪽 줄과 아래쪽 줄의 노출 시점이 수 ms 다르므로 빠르게 움직이는 물체나 흔들리는 카메라에서 수직선이 기울어진다. 프레임 전체를 한 시점에 노출하는 글로벌 셔터(global shutter) 센서가 있지만 화소 구조가 복잡해 비싸고 감도가 낮다. 7장의 LiDAR 스캔 왜곡은 같은 문제의 LiDAR판이다.

LED 신호등과 표지판도 셔터와 얽힌다. LED는 눈에 보이지 않는 속도(수백 Hz)로 깜박이므로 짧은 셔터로 찍으면 꺼진 순간이 찍힌다. 차량용 센서의 사양서에 있는 "LED 플리커 완화(LFM)"가 이 문제의 해법이다.

잡음의 종류를 셋으로 나누어 두면 뒤에서 편하다. 광자 산탄 잡음은 빛 자체의 통계적 요동이며 신호의 제곱근에 비례한다. 밝은 곳에서 상대적으로 작고 어두운 곳에서 크다. 읽기 잡음은 증폭과 변환 회로에서 생기며 밝기와 무관하게 일정하다. 암전류는 빛 없이도 열로 생기는 전하이며 온도와 노출 시간에 비례한다. 여름 엔진룸 근처의 카메라가 겨울보다 잡음이 많은 이유다.

2000년대 초까지 고급 카메라는 CCD, 저가는 CMOS였다. 지금은 거의 전부 CMOS다. 화소마다 증폭기를 두면 읽기 속도가 빠르고 전력이 적으며 같은 공정으로 처리 회로를 함께 만들 수 있기 때문이다. 이 전환이 스마트폰 카메라와 차량용 카메라의 값을 내린 배경이다.

두 결함은 소프트웨어로 대부분 보정된다. 색수차는 채널별로 다른 배율의 방사 왜곡으로 모델링해 3주차의 렌즈 왜곡 보정과 같은 식으로 잡는다. 비네팅은 화소 위치의 함수(cos⁴θ 법칙에 가까운 곡선)로 밝기 이득을 곱해 편다. 그런데 보정한다고 정보가 돌아오지는 않는다. 어두운 가장자리를 밝히면 잡음도 함께 밝아진다. 렌즈의 결함은 지우는 것이 아니라 잡음으로 바꾸는 것이다.

이 결함들이 인식에 미치는 영향은 사진의 미관 문제보다 크다. 색수차는 물체 경계의 색을 바꾸어 학습된 검출기의 특징을 흐트러뜨리고, 비네팅은 화면 가장자리의 보행자를 어둡게 만든다. 학습 데이터를 찍은 카메라와 실제 차량의 카메라가 다르면 이 차이가 곧 성능 차이가 된다. 데이터셋을 고를 때 센서 사양을 함께 보는 습관이 여기서 시작된다.

이 파이프라인을 왜 배우는가. 첫째, 학습 데이터의 분포 때문이다. 어떤 카메라의 ISP가 만든 JPEG으로 학습한 검출기는 다른 ISP의 출력에서 성능이 떨어진다. 둘째, 정보 손실의 위치 때문이다. 양자화 Q1(RAW의 12~14비트)과 Q2(JPEG의 8비트) 사이에서 감마가 적용되므로, 어두운 영역의 계조는 JPEG에 거의 남지 않는다. 야간 영상을 다루는 알고리즘이 RAW를 요구하는 이유다. 셋째, 역문제 때문이다. 흐림 제거, 잡음 제거, HDR 합성은 전부 이 파이프라인의 한 상자를 거꾸로 푸는 일이다.

최근에는 ISP 자체를 신경망으로 바꾸거나, 인식 성능을 목표로 ISP의 파라미터를 학습하는 연구가 있다. 사람이 보기 좋은 사진과 검출기가 잘 보는 사진이 다르다는 관찰에서 나온 방향이다. 8장 끝의 노출 제어 연구가 그 초기 사례다.

에일리어싱은 4주차 영상 처리에서 축소와 피라미드를 다룰 때 다시 온다. 영상을 절반으로 줄일 때 화소를 그냥 건너뛰면 사진 33(b)처럼 되고, 먼저 흐린 뒤 건너뛰면 (c)처럼 된다. "축소 전에 저역 통과"라는 규칙이 여기서 나온다. 반대로 확대에서는 에일리어싱이 생기지 않는다. 정보를 새로 만들 수 없을 뿐이다.

실제 카메라의 ISP는 쌍선형보다 훨씬 정교한 방법을 쓴다. 가장자리 방향을 먼저 추정해 그 방향으로만 보간하거나(사진 38의 VNG), 초록 채널을 먼저 복원한 뒤 색차를 보간한다. 최근 스마트폰은 신경망으로 디모자이킹과 잡음 제거를 함께 한다. 그러나 어떤 방법도 측정하지 않은 값을 만들어 내지는 못한다. 촘촘한 무늬에서 방법마다 다른 얼룩이 생기는 이유는 그 자리에 정답이 없기 때문이다.

이 문제를 피하는 하드웨어 해법도 있다. 삼층 센서(Foveon)는 한 화소에서 세 색을 깊이별로 재고, 3판식 카메라는 프리즘으로 빛을 나누어 센서 세 장에 담는다. 둘 다 비싸고 감도가 낮아 차량용에는 거의 쓰이지 않는다. 대신 차량용 센서에는 RCCB(빨강, 투명, 투명, 파랑)처럼 초록 대신 필터 없는 화소를 두어 야간 감도를 높인 배치가 쓰인다. 색 정확도를 감도와 바꾼 것이다.

감마의 역사는 브라운관에서 왔다. 브라운관의 밝기는 전압의 약 2.2제곱에 비례했고, 카메라가 미리 1/2.2제곱으로 구부려 보내면 화면에서 원래대로 돌아왔다. 이 우연이 눈의 감각 곡선과 비슷해서 그대로 표준(sRGB, 1996)이 됐다. 브라운관이 사라진 지금도 8비트 저장 효율 때문에 남아 있다.

이 장의 결론을 한 줄로 두면, JPEG의 화소 값은 물리량이 아니다. 비선형으로 구부러졌고, 채널별 이득이 곱해졌고, 8비트로 잘렸고, 압축으로 흔들렸다. RAW를 요구하는 연구가 많은 이유이고, 이 강의 9주차의 3차원 복원이 밝기 값이 아니라 특징점의 위치만 쓰는 이유이기도 하다.

대응 찾기의 가장 단순한 방법이 블록 정합이다. 왼쪽 영상의 작은 창을 오른쪽 영상의 같은 행에서 옆으로 밀며 차이의 절댓값 합(SAD)이 가장 작은 위치를 찾는다. 사진 52~54가 그 과정이다. 이 방법은 질감이 없는 벽, 반복 무늬, 가려짐에서 실패한다. 실패하는 조건이 곧 스테레오의 약점 목록이고, 그것을 줄이려는 40년의 연구가 6주차 내용이다.

테슬라와 대부분의 로보택시 회사의 차이를 이 장의 언어로 다시 쓰면 이렇다. 테슬라는 "추정"만으로, 나머지는 "측정"을 섞어서 간다. 그림 5가 보여 주듯 카메라 기반 거리는 멀수록 나빠지므로 고속도로 원거리에서 두 노선의 차이가 가장 크다. 단안 카메라의 거리 추정은 학습된 크기 사전 지식(차는 폭 1.8 m)에 의존하므로 본 적 없는 물체에서 틀린다. 1장의 "본 적 없는 사건"이 센서 수준에서 어떻게 나타나는지의 예다.

ToF의 위상 측정에는 모호성이 있다. 변조 주파수 f에서 거리 c/(2f)마다 위상이 한 바퀴 돌아 같은 값이 된다. 20 MHz면 7.5 m다. Azure Kinect는 주파수 여러 개를 섞어 이 모호성을 푼다. 그래도 측정 거리는 수 m에 그치는데, 발광 출력을 눈 안전 한계 안에 두어야 하기 때문이다. 같은 원리로 더 멀리 재려면 출력이 큰 레이저와 화소당 하나가 아닌 단일 검출기가 필요하고, 그것이 6장의 LiDAR다.

ToF와 구조광은 둘 다 자기가 쏜 적외선을 봐야 하므로 햇빛 아래에서 급격히 나빠진다. 실내 로봇과 게임기에는 널리 쓰이지만 차량 외부 센서로는 거의 쓰이지 않는 이유다. 반대로 스테레오는 빛을 쏘지 않으므로 햇빛에서 잘 되고 어둠에서 못 된다. 두 방식이 정확히 반대 조건에서 실패한다는 점이 그림 1의 요점을 다시 보여 준다.

거리 사양을 읽을 때 반사율을 함께 봐야 한다. "200 m"라고 적힌 값은 보통 반사율 80%의 흰 표적 기준이고, 검은 차(반사율 10%)는 그 절반 이하에서만 잡힌다. 젖은 아스팔트는 거울처럼 빛을 앞으로 보내 버려 돌아오지 않는다. 8장의 악천후 사진에서 LiDAR가 비 오는 도로를 놓치는 이유다.

회전식 LiDAR의 구조적 문제는 값과 내구성이었다. 2007년 HDL-64E는 7만 5천 달러였고, 모터와 슬립링이 있어 진동에 약했다. 2020년 무렵부터 MEMS 거울, 광학 위상 배열, 플래시 방식의 고체형이 수백 달러대로 내려오며 양산차에 실리기 시작했다. 사진 64의 M1이 그 첫 세대다. 다만 고체형은 시야각이 좁아(보통 120°) 여러 대를 붙여야 한다.

눈 안전 등급은 IEC 60825-1이 정한다. Class 1은 어떤 조건에서도 눈에 해가 없는 등급이고, 차량 LiDAR는 예외 없이 이 등급을 지켜야 한다. 905 nm 빛은 눈의 투명한 조직을 통과해 망막에 초점을 맺으므로 허용 출력이 낮고, 1550 nm은 각막과 유리체의 물에 흡수되어 망막에 닿지 않으므로 같은 등급에서 수십 배 큰 출력이 허용된다. 이 차이가 측정 거리 차이의 근원이다.

세 번째 선택지도 있다. 850 nm과 940 nm은 실리콘 검출기를 쓰면서 태양광이 조금 적은 파장이고, 일부 ToF 카메라와 근거리 LiDAR가 쓴다. 파장 선택은 결국 검출기 재료(실리콘의 감도는 약 1,100 nm에서 끝난다)와 태양광 스펙트럼, 물 흡수 곡선 세 그래프를 겹쳐 놓고 고르는 문제다.

새 센서를 평가할 때 던질 질문은 하나다. 어떤 조건에서 기존 센서보다 낫고, 그 조건이 얼마나 자주 오는가. 게이티드 카메라는 짙은 안개에서 압도적이지만 맑은 날에는 일반 카메라와 같다. 이벤트 카메라는 빠른 움직임에 강하지만 정지 장면에서는 아무것도 주지 않아 기존 인식 알고리즘을 그대로 쓸 수 없다. 센서가 아무리 좋아도 그것을 처리할 알고리즘, 학습 데이터, 그리고 다른 센서와의 동기화가 없으면 차에 실리지 않는다. 다음 카드가 그 마지막 조건이다.

동기화에는 층이 셋 있다. 첫째, 시계 동기화. 모든 장치가 같은 시각 기준(GPS PPS 신호나 PTP)을 공유하게 한다. 둘째, 트리거 동기화. 카메라의 노출 시작을 원하는 순간에 하드웨어 신호로 맞춘다. 사진 79의 모듈이 이것이다. 셋째, 움직임 보상. 그래도 남는 시각 차이를 차량의 자세 변화로 보정한다. 그림 7이 이것이다. 소프트웨어 타임스탬프만으로 하는 "동기화"는 첫째 층만 하는 것이고, 그림 8의 왼쪽이 그 결과다.

사진 81의 실험은 동기화 문제를 알고리즘 쪽에서 본 것이다. 검출기가 한 프레임을 처리하는 데 100 ms가 걸리면, 답이 나왔을 때 그 답은 100 ms 전의 세상에 대한 것이다. 시속 72 km면 2 m다. 스트리밍 정확도(streaming AP)는 이 지연을 평가에 넣은 지표이고, 그 지표에서는 느리고 정확한 모델보다 빠르고 덜 정확한 모델이 이기는 경우가 많다. 이 강의 10주차에서 신경망 구조를 고를 때 이 표를 다시 꺼낸다.

에임스의 방은 5장의 단안 거리 추정 논의와 직결된다. 카메라 한 대는 광선의 방향만 알므로 "먼 곳의 큰 물체"와 "가까운 곳의 작은 물체"를 구별할 수 없다. 사람은 방이 직육면체라는 사전 지식으로 이 모호성을 풀고, 그 사전 지식이 틀렸을 때 착시가 생긴다. 신경망의 단안 깊이 추정도 같다. 학습 데이터에서 배운 "차의 폭은 1.8 m"라는 사전 지식으로 거리를 추정하고, 장난감 차나 광고판 속 차에서 틀린다.

이 변동들은 두 부류로 나뉜다. 시점, 조명, 날씨는 같은 물체가 다른 숫자로 나타나는 문제이고, 변형과 범주 수는 다른 물체가 같은 이름으로 묶여야 하는 문제다. 앞의 것은 불변성(invariance), 뒤의 것은 일반화(generalization)라 부른다. 7주차의 특징점(SIFT)은 앞의 문제를 손으로 설계한 불변성으로 풀려 한 시도이고, 10주차의 합성곱 신경망은 두 문제를 데이터로 함께 풀려는 시도다.

범주 수 1만~3만은 심리학자 비더만(Biederman)이 1987년 사전의 명사 수와 하위 범주 수로 추정한 값이다. ImageNet의 1,000개 클래스는 이 추정치의 3~10%에 불과하다. 자율주행에서는 범주 수보다 본 적 없는 범주가 문제이고, 그래서 "장애물인가 아닌가"만 판단하는 주행 가능 영역 추정이 범주 인식과 별도로 필요하다.

사진 96~97의 연구는 노출을 "평균 밝기"가 아니라 "영상 기울기의 총량"으로 정하자는 제안이다. 경계가 많이 살아 있는 노출이 인식에 좋은 노출이라는 관찰에서 출발했고, 시각 주행거리 측정과 보행자 검출에서 자동 노출보다 나은 결과를 보였다. 이후 확장판은 카메라 응답 곡선을 함께 추정해 여러 대의 카메라에 적용했다. 이 자료 4장의 파이프라인 중 "이득·노출" 상자를 인식 성능을 목표로 되돌린 사례이며, 센서와 알고리즘의 경계가 고정되어 있지 않다는 것을 보여 준다.

생각해 볼 질문

자동 노출이 18시에 건물을 어둡게 찍은 이유를 1장의 노출 삼각형으로 설명해 보자. 카메라는 무엇을 "적정"이라고 판단했고, 그 판단 기준을 어떻게 바꾸면 되는가. 답을 적은 뒤 사진 97의 세 번째 영상과 비교해 보자.