카메라는 머신 비전시스템의 눈이지만, 카메라의 핵심은 이미지 센서입니다. 이미지 센서 선택은 정확성, 처리량, 감도, 비용 등에 관여하기 때문에 애플리케이션의 모든 요구 사항을 바탕으로 이루어져야 합니다. 주요 센서 특성에 대한 기본적인 이해로 개발자들이 빠르고 올바르게 센서에 대한 검색 범위를 좁힐 수 있습니다.

대부분의 머신 비전 시스템 사용자들은 카메라가 주요 시스템 요소임을 인식하지만, 대부분은 머신 비전 시스템의 "이미지 센서"로 말하곤 합니다. 하지만, 카메라는 광자를 전자로 변환하는 장치인 이미지 센서를 핵심으로 렌즈, 신호 처리, 통신 인터페이스 등을 포함하는 복잡한 시스템입니다. 렌즈 및 기타 요소들은 카메라 기능을 지원하지만, 이미지 센서는 궁극적으로 카메라의 최대 성능 한계를 설정하는 장치입니다.

머신 비전 업계 내에서 제조 기술 문제 및 CMOS와 CCD 센서의 상대적 장점을 중심으로 많은 논의를 하고 있습니다. 하지만, 이러한 토론의 대부분은 시스템의 최종 사용자와는 관계되지 않습니다. CMOS와 CCD, 두 기술은 이점과 단점을 제공하고 이들로 만든 이미지 센서는 서로 다른 속성을 가집니다. 하지만, 사용자의 관심은 센서가 어떻게 작동하는지가 아니라 최종 애플리케이션의 성능입니다. 구동 센서의 선택은 기술이 아니라, 애플리케이션의 요구 사항으로 결정됩니다.

특정 애플리케이션에 대한 선택을 내릴 때 중요한 관심을 두어야 할 이미지 센서의 3가지 특성은 다이내믹 레인지(Dynamic range), 속도, 응답도(responsivity)입니다. 다이내믹 레인지(Dynamic Range)는 시스템이 캡쳐할 수 있는 명암의 민감도 측면에서 이미지 품질을 결정합니다. 이미지 센서의 속도는 이미지 센서가 1초 동안 이미지를 얼마나 많이 생산하는지를 측정하고 시스템이 얻을 수 있는 이미지 처리량을 설정합니다. 반응도(Responsivity)는 전자로 광자를 변환할 때 센서의 효율성을 측정하고 시스템이 필요로 하는 유용한 이미지를 캡처하기 위해 조명 수준을 결정합니다. 센서의 기술과 설계 모두 이러한 특성 간의 상호작용이 있기 때문에, 센서를 선택할 때 시스템 개발자는 트레이드 오프를 고려해야 합니다. 이러한 특성을 자세하게 알면 트레이드 오프를 실시할 때 도움이 됩니다.

 

 

 

 

 

다이내믹 레인지(Dynamic Range) 이해

 

이미지 센서의 다이내믹 레인지(dynamic range) 특성은 노출 다이내믹 레인지(exposure dynamic range), 디지털 다이내믹 레인지(digitization dynamic range) 등 2개의 구성요소가 있습니다. 노출 다이내믹 레인지(exposure dynamic range)와 디지털 다이내믹 레인지(digitization dynamic range)는 일반적이지만, 반드시 연관되지는 않습니다. 노출 다이내믹 레인지(Exposure dynamic range)는 이미지 센서가 효과적으로 이미지 정보를 캡처할 수 있는 최소 및 최대 노출 (조명 x 시간) 사이의 기간입니다. 디지털 다이내믹 레인지(digitization dynamic range)는 비트로 표현하는 이미지 정보를 디지털화에 사용하는 수준의 수입니다. 디지털화 프로세스는 CMOS 센서와 같이 센서 장치의 내부가 될 수도 있고 아니면 CCD 센서와 같이 외부일 수도 있습니다. 디지털화 프로세스가 외부에 있다면 설계자는 디지털 센서를 평가하는 것과 같은 방식으로 비전 시스템의 A/D 컨버터를 평가해야 합니다.

노출 다이내믹 레인지(Exposure dynamic range)는 센서 기능에 걸친 조명 수준을 특징으로 합니다. 광자(photon)들이 이미지 센서의 활성 픽셀 영역에 도달하면 광자들은 판독을 위해 이미지 센서가 캡처하고 저장하는 전자로 변환합니다. 활성 영역에 더 많은 광자들이 도달하면 더 많은 전자들이 생성됩니다. 판독 사이에 긴 과정이 계속되면 더 많은 전자가 저장됩니다. 다음으로, 센서의 노출 다이내믹 레인지를 정의하는 파라미터 중 하나는 스토리지를 잘 채우기 위한 노출입니다. 이미지 센서를 제작하는 반도체 파운드리 공정 모두는 센서의 회로 설계뿐만 아니라 용량 또는 깊이를 결정합니다.

전자 노이즈는 센서가 기능하는 최소 노출을 설정합니다. 활성 픽셀 영역에 도달하는 광자(photon)가 없더라도 이미지 센서는 단순 열 방출의 결과 전자를 생성합니다. 다음으로, 인식할 신호를 생성하려면 충분한 광자가 활성 픽셀 영역에 도달해서 dark noise보다 더 많은 전자가 스토리지 내에 있어야 전자를 생성합니다. 이미지 센서에서 유용하게 쓸 수 있는 최소 노출은 최소한 노이즈 전자들보다 많은 광자로 만들어집니다. 오직 이 잡음 대비 노출만 센서에서 생산하는 유용한 정보일까요?

센서의 노출 다이내믹 레인지는 물리학적 기능 및 회로 설계이지만, 디지털화 다이내믹 레인지는 회로 설계입니다. 이미지 센서의 디지털화 다이내믹 레인지는 단순히 디지털 센서(또는 A/D 컨버터 - 아날로그 센서를 사용하는 경우)가 비전 시스템에 제시하는 별개의 노출 값의 숫자를 설명합니다. 8비트 센서는 256 수준을 가지고, 10비트 센서는 1024 수준을 가집니다. 범위 내의 비트 수는 반드시 이미지 센서가 응답할 수 있는 최대 노출을 반영하지는 않지만, 일반적으로 관련이 있습니다.

이미지 센서의 dark noise 수준보다 작은 양자화 수준은 유용한 정보를 제공하지 않습니다. 마찬가지로, 센서의 최대 신호 레벨을 나타내는 것보다 큰 디지털화 가치는 추가적인 정보를 전달하지 않습니다. 다음으로, 실제로, 센서 설계에서 양자화 단계를 필요로 하고 범위 내의 충분한 단계들로 dark noise 신호 수준과 같도록 합니다. 이 방법으로 설계하면, 디지털 다이내믹 레인지와 노출 다이내믹 레인지는 같은 것을 설명합니다. (포화 등가 노출 대 노이즈 등가 노출 비)

 

 

 

 

 

상호 작용 트레이드오프 필요

 

부분적으로, 센서의 다이내믹 레인지는 머신 비전 시스템이 작동할 이미지의 품질을 결정합니다. 큰 비트 수는 시스템이 구별할 수 있는 좀 더 정교한 이미지로 변환합니다. 하지만, 낮은 dark noise를 달성하고 고정밀 양자 효율을 달성하면 센서는 더 비싸지고 모든 애플리케이션들이 이러한 세부 이미지를 필요로 하지 않습니다. 결과적으로, 센서 설계는 각양각색의 다이내믹 레인지의 다양성을 목표로 할 수 있습니다. 예를 들어, 우편물 분류 또는 전자 제조 검사와 같은 애플리케이션은 8비트 다이내믹 레인지로 효과적인 동작을 합니다. 반면에, 의학 화상 및 공중 정찰은 14비트만큼 필요할 수 있습니다.

애플리케이션은 또한 두번째로 중요한 센서의 특성에 대한 요구 사항인 속도를 설정할 필요가 있습니다. 속도는 단순히 센서가 얼마나 빠르게 이미지를 캡처하고 제공할 수 있는 지를 나타내는 척도이기 때문에 다이내믹 레인지보다 더 간단한 특성입니다. 하지만, 센서 속도는 또한 2개의 구성요소를 가집니다. 하나는 프레임 속도(frame rate) 또는 센서가 시스템으로 캡처한 픽셀 데이터를 전달하기 위해 필요한 시간입니다. 다른 구성 요소는 센서가 유용한 이미지를 캡처하기 위해 필요한 노출 시간입니다. 프레임 속도(frame rate)는 노출 시간보다 빠를 수 없으므로 프레임 속도는 센서를 설명하는 데 사용하는 측정 기준입니다.

제조 검사 애플리케이션에서 센서 속도는 시스템의 처리량(throughput)을 결정합니다. 예를 들어, 각각의 이미지가 한 부분의 검사 이미지를 포함하고 있으면 시스템이 조사할 수 있는 초당 부품의 수는 센서가 제공할 수 있는 초당 프레임의 수보다 더 클 수 없습니다. 높은 캡처 속도는 검사할 개체의 이미지가 움직이는 경우 blur를 피해야 하는 기타 애플리케이션에서 중요합니다. 따라서, 고속 센서는 높은 처리량(throughput)과 빠른 움직임을 포착하고자 하는 애플리케이션에서 필요합니다. 보안 감시와 같은 다른 애플리케이션에서는 높은 속도가 필요하지 않습니다.

속도와 다이내믹 레인지는 상호 연관되어 있습니다. 신속하게 이미지를 전송하기 위해 이미지 센서는 각 픽셀 데이터의 디지털화를 수행해야만 합니다. 이것은 아날로그-디지털 컨버터(ADC)가 빠르게 결정해서 안정적인 출력을 내야한다는 것을 의미합니다. 이 빠른 결정은 작은 다이내믹 레인지로 더 쉽게 달성할 수 있고, 센서 설계는 종종 센서 비용을 내리는 것과 다이내믹 레인지와 속도를 트레이드오프하기도 합니다. 속도는 물리적인 단계에서 뿐만 아니라 설계 단계에서 다이내믹 레인지와 타협할 수 있습니다. 빠른 전자 회로는 더 많은 열을 생성합니다. 따라서, 센서의 dark noise는 온도를 증가시키므로 빠른 센서는 더 많은 노이즈와 더 적은 다이내믹 레인즈를 가집니다. 빠른 센서들은 느린 센서보다 더 많은 노이즈가 있고 낮은 비트 수를 제공하는 경향이 있습니다.

센서 속도와 세번째로 중요한 센서 특성인 responsivity 또한 상호 작용합니다. 애플리케이션에서 빠른 프레임 속도를 요구하면, 더 적은 노출 시간을 사용할 수 있습니다. 노출 시간이 감소되면 이를 보상하기 위해 시스템 설계자는 조명 수준을 증가시켜야 합니다. 조명 수준을 증가시킬 수 없는 경우에만 다른 옵션으로 높은 responsivity의 센서를 선택해야만 합니다.

Responsivity는 주어진 노출 수준에서의 센서가 생산하는 신호(V)를 측정하는 방법입니다. 이미지 센서에서 responsivity를 제어하는 3가지 요소가 있습니다. 첫번째 요인은 양자 효율 또는 각 광자가 생성하는 전자의 수입니다. 두번째 요인은 센서 출력 회로의 커패시터(C)의 크기입니다. 여기서, well에 저장된 전하(q)는 신호 전압으로 변환됩니다. (V=q/C) 세번째 요인은 센서의 출력 증폭 게인입니다. 하지만, 센서가 노이즈 등가 노출 수준 근처에서 동작하는 경우에 게인은 센서의 responsivity를 향상시키지 않습니다.

하지만, 높은 responsivity를 지닌 센서를 만드는 것은 다른 센서 특성 값을 낮출 수 있습니다. responsivity 향상은 센서의 노이즈 수준을 증가시킵니다. 또한 센서의 포화 노출 수준을 낮출 수 있습니다. 그 결과로 노이즈가 추가되고 다이내믹 레인지가 감소합니다.

따라서, 개발자들은 머신 비전 시스템을 위한 센서 선택을 위해 애플리케이션이 지원하는 다이내믹 레인지, 속도, responsivity 등 세 요소에 대한 트레이드오프를 결정해야 합니다. 높은 속도와 낮은 조명 수준은 노이즈 증가와 낮은 다이내믹 레인지로 이어질 것입니다. 넓은 다이내믹 레인지의 미묘한 색조가 필요하면 센서는 낮은 responsivity를 보상하기 위해 높은 조명 수준을 요구합니다. 각 중요한 요소들은 센서 물리학에 내재되어 있는대로 이러한 트레이드오프는 피할 수 없습니다.

하지만, 중요 요소들만 센서 선택에 영향을 미치는 유일한 특성이 아닙니다. 2개의 추가적인 중요한 요소는 센서 해상도와 픽셀 피치입니다. 각 요소는 시스템이 작동되는 이미지 품질에 영향을 미칠 뿐만 아니라, 중요 요인들과 상호 작용할 수도 있습니다.

픽셀 피치는 센서의 개별 픽셀 영역의 크기를 정의하고 센서 크기와 결합하여 센서 해상도를 결정합니다. 일반적으로 센서는 몇 종류의 크기 옵션, 피치 튜닝, 해상도로만 설계되기 때문입니다 . 하지만, 픽셀 피치는 너무 작은 피치는 픽셀 당 더 적은 활성 영역을 제공하여 광자를 캡처하기 때문에 responsivity에 영향을 줄 수 있습니다.

차례로 모든 이 요소들은 다른 카메라 요소들과 상호 연관되어 있습니다. 예를 들어, MTF(Modulation transfer function)로 측정하는 카메라 렌즈의 해상도는 원하는 이미지 해상도를 달성하기 위해 센서 픽셀 피치로 비교해야 합니다. 5-micron MTF의 렌즈는 3-micron 픽셀 피치의 센서를 사용하여 흑백 라인 패턴이 번갈아 있는 패턴을 촬영하면, 센서의 해상도 한계에서 동작할 때 회색 이미지를 생성합니다. 따라서, 머신 비전 시스템의 센서 선택은 다른 시스템 요소를 고려하여 적절하게 선택하여야만 합니다.

하지만, 시작은 센서의 다이내믹 레인지, 속도, responsivity에 대한 애플리케이션 요구사항에 대한 철저한 이해를 바탕으로 해야 합니다. 애플리케이션 요구사항들은 기타 시스템 요구사항을 정의하는 특성들에 대한 범위를 설정하는 트레이드오프를 결정합니다. 이 정보를 바탕으로 개발자들은 (주)앤비젼과 같은 카메라 공급 업체를 설정하고 애플리케이션에 맞는 이미지 센서들을 확인할 수 있습니다.

 

 

유튜브와 블로그에서 더 많은 자료를 보실 수 있습니다.

 

배너를 클릭하면 해당 페이지로 이동합니다.