KR20230031122A - 이미지 센서의 색상 왜곡을 평가하는 평가 장치의 동작하는 방법 - Google Patents

Abstract

본 개시의 일 실시 예에 따른 평가 장치는 이미지 센서와 통신한다. 평가 장치의 동작하는 방법은, 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신하는 단계, 원시 이미지 데이터의 색상 도메인 변환에 기초하여 변환 이미지 데이터를 생성하는 단계, 변환 이미지 데이터에 기초하여 비-왜곡 이미지를 추정함으로써 추정 이미지 데이터를 생성하는 단계, 및 추정 이미지 데이터 및 변환 이미지 데이터에 기초하여, 이미지 센서의 색상 왜곡을 평가하는 단계를 포함한다.

Description

이미지 센서의 색상 왜곡을 평가하는 평가 장치의 동작하는 방법{METHOD OF OPERATING AN ASSESSMENT DEVICE ASSESSING A COLOR DISTORTION OF AN IMAGE SENSOR}

본 개시는 이미지 센서에 관한 것으로, 보다 상세하게는, 이미지 센서의 색상 왜곡을 평가하는 평가 장치의 동작하는 방법에 관한 것이다.

이미지 센서는 객체로부터 반사된 광을 감지하여 이미지 데이터를 생성할 수 있다. 이미지 데이터는 사람이 인지하는 시각적 환경과 동일하거나 유사한 환경을 디스플레이 장치 상에 구현하는데 사용되는 픽셀 값들을 포함할 수 있다. 일반적으로, 베이어 패턴(Bayer pattern)에 따른 색상 필터 어레이(CFA; Color Filter Array) 등과 같은 다양한 이미지 처리 기법이 이미지 데이터에 적용될 수 있고, 처리된 이미지 데이터는 원래의 장면에 존재하지 않았던 다양한 색상 왜곡을 가질 수 있다.

색상 왜곡의 수준이 높을수록 사람에 의해 인지되는 이미지의 품질이 저하될 수 있다. 한편, 색상 왜곡은 실제로 이미지 센서를 사용하는 자연 장면, 사람의 인지 특성 등 다양한 요인들을 반영하므로, 색상 왜곡은 객관적이고 정량적으로 평가되기 어려울 수 있다. 이에 따라, 이미지 센서의 색상 왜곡을 객관적이고 정량적으로 평가하는 방법이 요구될 수 있다.

본 개시의 일 실시 예에 따르면, 이미지 센서의 색상 왜곡을 평가하는 평가 장치의 동작하는 방법이 제공된다.

본 개시의 일 실시 예에 따르면, 평가 장치는 이미지 센서와 통신한다. 상기 평가 장치의 동작하는 방법은, 상기 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신하는 단계, 상기 원시 이미지 데이터의 색상 도메인 변환에 기초하여 변환 이미지 데이터를 생성하는 단계, 상기 변환 이미지 데이터에 기초하여 비-왜곡 이미지를 추정함으로써 추정 이미지 데이터를 생성하는 단계, 및 상기 추정 이미지 데이터 및 상기 변환 이미지 데이터에 기초하여, 상기 이미지 센서의 색상 왜곡을 평가하는 단계를 포함한다.

본 개시의 일 실시 예에 따르면, 평가 장치는 이미지 센서와 통신한다. 상기 평가 장치의 동작하는 방법은, 상기 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신하는 단계, 상기 원시 이미지 데이터 및 기준 차트에 기초하여 대체 색상 정보를 생성하는 단계, 상기 대체 색상 정보에 기초하여 상기 원시 이미지 데이터의 색상을 재구성함으로써 색상 재구성 이미지 데이터를 생성하는 단계, 및 상기 색상 재구성 이미지 데이터 및 상기 원시 이미지 데이터에 기초하여, 상기 이미지 센서의 색상 왜곡을 평가하는 단계를 포함한다.

본 개시의 일 실시 예에 따르면, 평가 장치는 이미지 센서와 통신한다. 상기 평가 장치의 동작하는 방법은, 상기 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신하는 단계, 상기 원시 이미지 데이터의 위색(false color) 또는 탈색(decolorization)을 복원함으로써, 복원 이미지 데이터를 생성하는 단계, 및 상기 복원 이미지 데이터 및 상기 원시 이미지 데이터에 기초하여, 상기 이미지 센서의 색상 왜곡을 평가하는 단계를 포함한다. 상기 테스트 차트는, 위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 선형 패턴을 포함한다.

본 개시의 일 실시 예에 따르면, 이미지 센서의 색상 왜곡을 평가하는 평가 장치의 동작하는 방법이 제공된다.

또한, 본 개시의 실시 예들에 따르면, 객관적이고 정량적으로 평가된 색상 왜곡 수준에 기초하여 이미지 센서를 개량함으로써, 색상 왜곡이 감소되고, 화질이 향상된 이미지 센서가 제공된다.

도 1은 본 개시의 실시 예에 따른 전자 장치의 블록도이다.
도 2는 본 개시의 일부 실시 예들에 따라 도 1의 테스트 차트를 설명하는 도면이다.
도 3은 본 개시의 일부 실시 예들에 따라 도 1의 테스트 차트의 선형 패턴을 설명하는 도면이다.
도 4는 본 개시의 일부 실시 예들에 따른 평가 장치의 블록도이다.
도 5는 본 개시의 일부 실시 예들에 따라 도 4의 비-왜곡 이미지 추정 모듈을 구체화한 블록도이다.
도 6은 본 개시의 일부 실시 예들에 따라 도 4의 왜곡 연산 모듈을 구체화한 블록도이다.
도 7은 본 개시의 일부 실시 예들에 따라 도 1의 테스트 차트를 설명하는 도면이다.
도 8은 본 개시의 일부 실시 예들에 따른 평가 장치의 블록도이다.
도 9는 본 개시의 일부 실시 예들에 따라 도 8의 평가 장치를 구체화한 블록도이다.
도 10은 본 개시의 일부 실시 예들에 따라 평가 장치의 동작하는 방법을 설명하는 순서도이다.
도 11은 본 개시의 일부 실시 예들에 따라 평가 장치의 동작하는 방법을 설명하는 순서도이다.
도 12는 본 개시의 일부 실시 예들에 따라 평가 장치의 동작하는 방법을 설명하는 순서도이다.
도 13은 본 개시의 일부 실시 예들에 따른 전자 시스템의 블록도이다.
도 14는 본 개시의 일부 실시 예들에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 15는 본 개시의 일부 실시 예들에 따라 도 14의 카메라 모듈을 구체화한 블록도이다.

이하에서, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 용이하게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.

상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 계층(layer) 등의 용어를 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예를 들어, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(MEMS; microelectromechanical system), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.

도 1은 본 개시의 실시 예에 따른 전자 장치의 블록도이다. 도 1을 참조하면, 전자 장치(10)가 도시된다. 전자 장치(10)는 객체로부터 반사된 광을 검출하고, 이미지 데이터를 처리하는 장치일 수 있다. 예를 들어, 전자 장치(10)는 스마트 폰, 태블릿 PC(personal computer), 랩탑 PC, 웨어러블(wearable) 장치 등과 같은 다양한 유형의 전자 장치들에 내장될 수 있다.

전자 장치(10)에 의해 획득된 이미지 데이터는 사람이 인지하는 시각적 환경과 동일하거나 유사한 환경을 디스플레이 장치 상에 구현하는데 사용되는 픽셀 값들을 포함할 수 있다. 이미지 데이터에 기초하여 구현된 시각적 환경은 사람이 실제로 인지하는 시각적 환경과 다를 수 있다.

예를 들어, 전자 장치(10)는 베이어 패턴(Bayer pattern)에 따른 색상 필터 어레이(CFA; Color Filter Array) 등과 같은 다양한 이미지 처리 기법을 이미지 데이터에 적용할 수 있고, 처리된 이미지 데이터는 원래의 장면에 존재하지 않았던 색상 왜곡을 가질 수 있다. 색상 왜곡은 위색(false color) 및 탈색(decolorization)을 포함할 수 있다. 이러한 색상 왜곡의 수준이 높을수록, 이미지 데이터에 의해 구현된 이미지의 품질이 저하될 수 있다.

본 개시의 실시 예에 따르면, 색상 왜곡을 평가하는데 사용되는 테스트 차트(TC)가 제공될 수 있다. 또한, 테스트 차트(TC)에 대응하는 이미지 데이터를 처리함으로써, 전자 장치(10)의 색상 왜곡의 수준을 평가하는 방법이 제공될 수 있다.

전자 장치(10)는 이미지 센서(11) 및 평가 장치(100)를 포함할 수 있다. 이미지 센서(11)는 테스트 차트(TC)에 대응하는 원시 이미지 데이터(RI)를 획득할 수 있다. 이미지 센서(11)는 원시 이미지 데이터(RI)를 평가 장치(100)에 제공할 수 있다. 예를 들어, 광원은 광을 테스트 차트(TC)에 방사할 수 있다. 이미지 센서(11)는 테스트 차트(TC)로부터 반사된 광을 검출하고, 검출된 광을 전기적인 신호로 변환하고, 그리고 전기적인 신호를 처리함으로써, 테스트 차트(TC)에 대한 원시 이미지 데이터(RI)를 획득할 수 있다. 원시 이미지 데이터(RI)는 색상 왜곡을 가질 수 있다.

테스트 차트(TC)는 위색 또는 탈색 등과 같은 색상 왜곡을 평가하는데 사용되는 객체일 수 있다. 위색은 실제 환경에서 밝기 및 휘도만 존재할 뿐 색상이 존재하지 않음에도 불구하고, 원시 이미지 데이터(RI)에서 임의의 색상이 발생하는 것을 가리킬 수 있다. 탈색은 실제 환경에서 색상이 존재함에도 불구하고, 원시 이미지 데이터(RI)에서 색상이 옅어지거나 흑백으로 표현되는 것을 가리킬 수 있다.

테스트 차트(TC)는 실제 환경에서의 다양한 색상 및 다양한 형태를 갖는 객체들을 반영하도록, 임의의 색상들 또는 임의의 선들을 포함할 수 있다. 테스트 차트(TC) 내에 포함된 패턴들은 전자 장치(10)의 색상 왜곡의 수준을 객관적이고 정량적으로 평가하는데 사용될 수 있다. 테스트 차트(TC)에 대한 보다 상세한 설명은 도 2, 도 3, 및 도 7과 함께 후술될 것이다.

평가 장치(100)는 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 평가 장치(100)는 테스트 차트(TC)에 대응하는 원시 이미지 데이터(RI)에 기초하여, 이미지 센서(11)의 색상 왜곡의 수준을 평가할 수 있다. 평가된 수준은 연구 및 개발 단계에서 이미지 센서를 개량함으로써, 색상 왜곡을 감소시키고 화질을 향상시키는데 사용될 수 있다. 또한, 평가된 수준은 실제 사용 단계에서 사용자가 이미지 센서의 색상 왜곡의 수준을 평가하고 확인하는데 사용될 수 있다.

위색의 수준을 평가하는 방법에 대한 보다 상세한 설명은 도 4, 도 5, 및 도 6과 함께 후술될 것이다. 탈색의 수준을 평가하는 방법에 대한 보다 상세한 설명은 도 8 및 도 9와 함께 후술될 것이다.

평가 장치(100)는 위색의 수준을 평가하는 연산들을 수행하는 하드웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. 평가 장치(100)는 이미지 센서(11)와 같은 모듈 상에 구현되거나, 이미지 센서(11)로부터 획득된 이미지 데이터를 처리하는 프로세서 상에 구현되거나, 또는 이미지 센서(11)를 포함하는 전자 장치와 통신하는 별도의 전자 장치 상에 구현될 수 있다. 평가 장치(100)의 구현 예시에 대한 보다 상세한 설명은 도 13, 도 14, 및 도 15와 함께 후술될 것이다.

도 2는 본 개시의 일부 실시 예들에 따라 도 1의 테스트 차트를 설명하는 도면이다. 도 1 및 도 2를 참조하면, 테스트 차트(TCa)의 설계 예시 및 구현 예시가 설명된다. 테스트 차트(TCa)는 위색을 평가하는데 사용될 수 있다. 테스트 차트(TCa)는 화이트 및 블랙의 조합으로 표현될 수 있다. 테스트 차트(TCa)는 도 1의 테스트 차트(TC)의 예시들 중 하나일 수 있다.

테스트 차트(TCa)의 설계 예시는 테스트 차트(TCa)를 설계하는 방법을 설명한다. 테스트 차트(TCa)의 구현 예시는 예시로서 구현된 테스트 차트(TCa)를 도시한다. 테스트 차트(TCa)의 설계 예시 및 테스트 차트(TCa)의 구현 예시는 서로 대응할 수 있다.

테스트 차트(TCa)는 행 방향 및 열 방향으로 배열된 복수의 영역들(RG11, RG12, RG13, RG14, RG21, RG22, RG23, RG24, RG31, RG32, RG33, RG34, RG41, RG42, RG43, 및 RG44)을 포함할 수 있다. 본 개시의 이해를 돕기 위해, 테스트 차트(TCa)는 4개의 행들 및 4개의 열들을 포함하는 것으로 도시되지만, 본 개시의 범위는 이에 제한되지 않는다. 테스트 차트(TCa)의 행들의 개수 및 열들의 개수는 각각 증가 또는 감소할 수 있다.

일부 실시 예들에서, 테스트 차트(TCa)는 공통 영역, 제1 서브-영역, 및 4개의 제2 서브-영역들을 포함할 수 있다. 제1 서브-영역은 공통 영역에 중첩될 수 있다. 4개의 제2 서브-영역들은 공통 영역에 중첩될 수 있다.

테스트 차트(TCa)의 영역들(RG11, RG12, RG13, RG14, RG21, RG22, RG23, RG24, RG31, RG32, RG33, RG34, RG41, RG42, RG43, 및 RG44) 전체는 테스트 차트(TCa)의 공통 영역으로 지칭될 수 있다. 공통 영역은 제1 면적 및 제1 주파수의 제1 선형 패턴을 가질 수 있다. 면적은 테스트 차트(TCa)의 전체 면적 중 대응하는 영역이 점유하는 면적을 가리킬 수 있다. 주파수는 선형 패턴 내의 선들의 굵기에 대응할 수 있다. 선형 패턴은 임의의 형태를 갖는 복수의 선들을 포함하는 패턴일 수 있다. 선형 패턴에 대한 보다 상세한 설명은 도 3과 함께 후술될 것이다.

테스트 차트(TCa)의 일부 영역들(RG22, RG23, RG32, RG33)은 테스트 차트(TCa)의 제1 서브-영역으로 지칭될 수 있다. 제1 서브-영역은 제2 면적 및 제2 주파수의 제2 선형 패턴을 가질 수 있다. 제2 면적은 공통 영역에 대응하는 제1 면적보다 작을 수 있다. 제2 주파수는 공통 영역에 대응하는 제1 주파수보다 높을 수 있다. 제2 선형 패턴은 제1 선형 패턴이 작게 스케일링된 것일 수 있다.

테스트 차트(TCa)의 영역(RG11)은 테스트 차트(TCa)의 제2 서브-영역으로 지치될 수 있다. 이와 유사하게, 테스트 차트(TCa)의 영역들(RG14, RG41, RG44)은 각각 테스트 차트(TCa)의 제2 서브-영역들로 지칭될 수 있다. 제2 서브-영역은 제3 면적 및 제3 주파수의 제3 선형 패턴을 가질 수 있다. 제3 면적은 제1 서브-영역에 대응하는 제2 면적보다 작을 수 있다. 제3 주파수는 제1 서브-영역에 대응하는 제2 주파수보다 높을 수 있다. 제3 선형 패턴은 제2 선형 패턴이 작게 스케일링된 것일 수 있다.

도 3은 본 개시의 일부 실시 예들에 따라 도 1의 테스트 차트의 선형 패턴을 설명하는 도면이다. 도 1 및 도 3을 참조하면, 테스트 차트(TC)에 적용된 선형 패턴이 설명된다. 선형 패턴은 테스트 차트(TC)의 전체 영역 또는 일부 영역에 적용될 수 있다. 예를 들어, 선형 패턴은 도 2의 테스트 차트(TCa)의 공통 영역, 제1 서브-영역, 및 제2 서브-영역에 적용될 수 있다.

선형 패턴은 복수의 선들을 포함할 수 있다. 복수의 선들 각각은 임의의 위치, 임의의 길이, 임의의 기울기, 및 임의의 두께를 가질 수 있다.

선형 패턴의 위치, 길이, 및 기울기 그래프를 참조하면, 가로축은 위치, 길이, 및 기울기를 나타낸다. 세로축은 확률을 나타낸다.

선형 패턴의 위치의 확률은 균일할 수 있다. 예를 들어, 선형 패턴 내의 복수의 선들은 선형 패턴이 점유하는 영역 내에서 임의의 좌표들을 점유할 수 있다. 선형 패턴이 점유하는 영역 내의 위치와 무관하게, 선들이 임의의 좌표들을 점유할 확률은 균일할 수 있다.

선형 패턴의 길이의 확률은 균일할 수 있다. 예를 들어, 선형 패턴 내의 복수의 선들은 임의의 길이들을 가질 수 있다. 선의 길이가 짧은지 긴지 여부와 무관하게, 선형 패턴 내의 선이 임의의 길이를 가질 확률은 균일할 수 있다.

선형 패턴의 기울기의 확률은 균일할 수 있다. 예를 들어, 선형 패턴 내의 복수의 선들은 임의의 기울기를 가질 수 있다. 가로 방향을 기준 축이라 가정할 때, 선형 패턴 내의 선은 0도 내지 360도 사이의 임의의 각도에 대응하는 기울기를 가질 수 있다. 다시 말해서, 선형 패턴 내의 선이 임의의 기울기를 가질 확률은 균일할 수 있다.

선형 패턴의 두께 그래프를 참조하면, 가로축은 두께를 나타낸다. 세로축은 확률을 나타낸다.

선형 패턴의 두께의 확률은 지수적으로 감소할 수 있다. 예를 들어, 선형 패턴 내의 복수의 선들은 다양한 두께들을 가질 수 있다. 선형 패턴은 두께가 얇은 다수의 선들을 포함하고 그리고 두께가 두꺼운 소수의 선들을 포함할 수 있다. 선형 패턴 내의 선의 두께가 두꺼울 확률은 두꺼워질수록 지수적으로 감소할 수 있다.

상술된 바와 같이, 본 개시의 실시 예들에 따르면, 다양한 위치, 길이, 기울기, 및 두께를 갖는 복수의 선들을 포함하는 선형 패턴이 테스트 차트에 적용될 수 있다. 선형 패턴은 이미지 센서의 실제 사용 환경에서 색상 왜곡이 쉽게 발생하는 상황을 극한적으로 가정한 것일 수 있다. 선형 패턴을 갖는 테스트 차트는 이미지 센서의 색상 왜곡을 평가하는데 사용되는 이미지의 객체로서 사용될 수 있다.

도 4는 본 개시의 일부 실시 예들에 따른 평가 장치의 블록도이다. 도 4를 참조하면, 본 개시의 일부 실시 예들에 따른 평가 장치(100a)가 도시된다. 평가 장치(100a)는 도 1의 평가 장치(100)에 대응할 수 있다. 평가 장치(100a)는 이미지 센서(11)와 통신할 수 있다. 평가 장치(100a)는 도 2의 테스트 차트(TCa)에 대응하는 원시 이미지 데이터(RI)에 기초하여, 이미지 센서(11)의 색상 왜곡의 수준을 평가할 수 있다. 예를 들어, 색상 왜곡은 위색을 포함할 수 있다.

평가 장치(100a)는 도메인 변환 모듈(110a), 비-왜곡 이미지 추정 모듈(120a), 및 왜곡 연산 모듈(130a)을 포함할 수 있다.

도메인 변환 모듈(110a)은 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 원시 이미지 데이터(RI)는 이미지 센서(11)에 의해 테스트 차트(TCa)를 캡처함으로써 획득될 수 있다. 도메인 변환 모듈(110a)은 원시 이미지 데이터(RI)의 색상 도메인 변환에 기초하여 변환 이미지 데이터(CI)를 생성할 수 있다. 변환 이미지 데이터(CI)의 색상 도메인은 원시 이미지 데이터(RI)의 색상 도메인과 다를 수 있다.

일부 실시 예들에서, 도메인 변환 모듈(110a)은 RGB-대-LAB(RGB-to-LAB) 변환을 수행할 수 있다. RGB-대-LAB 변환은 색상 도메인을 RGB 도메인으로부터 LAB 도메인으로 변환시키는 것일 수 있다.

RGB 도메인은 제1 색상 값, 제2 색상 값, 및 제3 색상 값을 가질 수 있다. 예를 들어, 제1 색상 값은 레드 색상이 우세한 정도를 나타낼 수 있다. 제2 색상 값은 그린 색상이 우세한 정도를 나타낼 수 있다. 제3 색상 값은 블루 색상이 우세한 정도를 나타낼 수 있다.

LAB 도메인은 밝기 값(L), 제1 색차(chrominance) 값(a), 및 제2 색차 값(b)을 가질 수 있다. 밝기 값(L)은 색상과 독립적으로 밝기를 나타낼 수 있다. 제1 색차 값(a)은 레드 색상 및 그린 색상의 차이를 나타낼 수 있다. 제1 색차 값(a)이 클수록 이미지는 레드 색상에 가깝고, 그리고 제1 색차 값(a)이 작을수록 이미지는 그린 색상에 가까울 수 있다. 제2 색차 값(b)은 옐로우 색상 및 블루 색상의 차이를 나타낼 수 있다. 제2 색차 값(b)이 클수록 이미지는 옐로우 색상에 가깝고, 그리고 제2 색차 값(b)이 작을수록 이미지는 블루 색상에 가까울 수 있다.

예를 들어, 도메인 변환 모듈(110a)은 제1 색상 값, 제2 색상 값, 및 제3 색상 값을 갖는 원시 이미지 데이터(RI)에 기초하여, 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)을 갖는 변환 이미지 데이터(CI)를 생성할 수 있다.

비-왜곡 이미지 추정 모듈(120a)은 도메인 변환 모듈(110a)로부터 변환 이미지 데이터(CI)를 수신할 수 있다. 비-왜곡 이미지 추정 모듈(120a)은 변환 이미지 데이터(CI)에 기초하여 비-왜곡 이미지를 추정함으로써 추정 이미지 데이터(EI)를 생성할 수 있다. 비-왜곡 이미지 추정 모듈(120a)은 추정 이미지 데이터(EI) 및 변환 이미지 데이터(CI)를 왜곡 연산 모듈(130a)에 제공할 수 있다.

예를 들어, 변환 이미지 데이터(CI)는 색상 도메인만 변경되었을 뿐, 이미지 센서(11)의 성능에 따른 색상 왜곡을 가질 수 있다. 추정 이미지 데이터(EI)는 변환 이미지 데이터(CI)에 기초하여, 색상 왜곡이 없는 이미지를 추정한 것일 수 있다.

일부 실시 예들에서, 비-왜곡 이미지 추정 모듈(120a)은 위색이 없는 이미지를 추정할 수 있다. 예를 들어, 위색 수준을 평가하는데 사용되는 테스트 차트(TCa)는 색상을 갖지 않을 수 있다. 이미지 센서(11)의 색상 왜곡이 없는 경우, 변환 이미지 데이터(CI) 내에서 제1 색차 값(a) 및 제2 색차 값(b)은 캡처된 장면에 대응하는 픽셀들 내에서 균일할 수 있다.

비-왜곡 이미지 추정 모듈(120a)은 제1 색차 값(a) 및 제2 색차 값(b) 각각에 대해, 인접한 픽셀들의 값들과 경향이 상이한 특이 값들(예를 들어, 아웃라이어 값들)을 인접한 픽셀들의 값들과 유사해지도록 조정(즉, 피팅)함으로써, 제1 피팅된 색차 값(af) 및 제2 피팅된 색차 값(bf)을 결정할 수 있다.

비-왜곡 이미지 추정 모듈(120a)은 추정된 비-왜곡 이미지로서, 밝기 값(L), 제1 피팅된 색차 값(af), 및 제2 피팅된 색차 값(bf)을 갖는 추정 이미지 데이터(EI)를 생성할 수 있다. 추정 이미지 데이터(EI)의 밝기 값(L)은 변환 이미지 데이터(CI)의 밝기 값(L)과 같을 수 있다. 비-왜곡 이미지 추정 모듈(120a)에 대한 보다 상세한 설명은 도 5와 함께 후술될 것이다.

왜곡 연산 모듈(130a)은 비-왜곡 이미지 추정 모듈(120a)로부터 추정 이미지 데이터(EI) 및 변환 이미지 데이터(CI)를 수신할 수 있다. 왜곡 연산 모듈(130a)은 추정 이미지 데이터(EI) 및 변환 이미지 데이터(CI)에 기초하여, 이미지 센서(11)의 색상 왜곡(예를 들어, 위색)을 평가할 수 있다.

일부 실시 예들에서, 왜곡 연산 모듈(130a)은 대비 감도 함수(CSF; Contrast Sensitivity Function)를 사용하여 이미지 센서(11)의 색상 왜곡을 평가할 수 있다. 대비 감도 함수(CSF)는 주파수별로 사람의 시각적 인지 특성을 반영하여 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)의 감도들을 수학적으로 모델링한 함수일 수 있다. 왜곡 연산 모듈(130a)은 추정 이미지 데이터(EI) 및 변환 이미지 데이터(CI)의 차이 값들에 대해, 대비 감도 함수(CSF)의 가중 합을 적용하여 색상 왜곡 수준을 평가할 수 있다. 대비 감도 함수(CSF)를 반영함에 따라, 색상 왜곡의 평가 수준은 사람의 시각적 인지 특성을 객관적이고 정량적으로 반영할 수 있다. 왜곡 연산 모듈(130a)에 대한 보다 상세한 설명은 도 6과 함께 후술될 것이다.

도 5는 본 개시의 일부 실시 예들에 따라 도 4의 비-왜곡 이미지 추정 모듈을 구체화한 블록도이다. 도 4 및 도 5를 참조하면, 비-왜곡 이미지 추정 모듈(120a)은 도메인 변환 모듈(110a) 및 왜곡 연산 모듈(130a)과 통신할 수 있다.

비-왜곡 이미지 추정 모듈(120a)은 입력 버퍼, 비-왜곡 이미지 추정 경로, 제1 출력 버퍼, 왜곡 이미지 경로, 및 제2 출력 버퍼를 포함할 수 있다.

입력 버퍼는 도메인 변환 모듈(110a)로부터 변환 이미지 데이터(CI)를 수신할 수 있다. 변환 이미지 데이터(CI)는 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)을 가질 수 있다. 변환 이미지 데이터(CI)는 위색에 대응하는 색상 왜곡을 가질 수 있다. 입력 버퍼는 변환 이미지 데이터(CI)를 비-왜곡 이미지 추정 경로 및 왜곡 이미지 경로에 제공할 수 있다.

비-왜곡 이미지 추정 경로는 입력 버퍼로부터 변환 이미지 데이터(CI)를 수신할 수 있다. 비-왜곡 이미지 추정 경로는 제1 피팅 함수 및 제2 피팅 함수를 포함할 수 있다. 제1 피팅 함수는 변환 이미지 데이터(CI)의 제1 색차 값(a)의 아웃라이어 값들을 피팅함으로써, 제1 피팅된 색차 값(af)을 결정할 수 있다.

예를 들어, 제1 색차 값(a)은 장면을 나타내는 픽셀들에 대응하는 여러 포인트들을 포함할 수 있다. 제1 피팅 함수는 제1 색차 값(a)의 공간 상에서 여러 포인트들을 사용하여 평면을 추정할 수 있다. 제1 피팅 함수는 추정된 평면을 과도하게 벗어나는 일부 포인트들(즉, 아웃라이어 값들)을 추정된 평면과 유사해지도록 조정할 수 있다. 제1 피팅 함수는 제1 색차 값(a)에서 아웃라이어 값들이 조정된 연산 결과를 제1 피팅된 색차 값(af)으로 결정할 수 있다.

이와 유사하게, 제2 피팅 함수는 변환 이미지 데이터(CI)의 제2 색차 값(b)의 아웃라이어 값들을 피팅함으로써, 제2 피팅된 색차 값(bf)을 결정할 수 있다. 즉, 비-왜곡 이미지 추정 경로는 위색의 경우에서 색상 왜곡에 해당하는 제1 색차 값(a) 및 제2 색차 값(b)을 조정함으로써 비-왜곡 이미지를 추정하는 경로일 수 있다.

비-왜곡 이미지 추정 경로는 밝기 값(L)에 대한 별다른 연산이나 처리를 수행하지 않을 수 있다. 비-왜곡 이미지 추정 경로는 밝기 값(L), 제1 피팅된 색차 값(af), 및 제2 피팅된 색차 값(bf)을 제1 출력 버퍼에 제공할 수 있다. 제1 출력 버퍼는 밝기 값(L), 제1 피팅된 색차 값(af), 및 제2 피팅된 색차 값(bf)을 갖는 추정 이미지 데이터(EI)를 왜곡 연산 모듈(130a)에 제공할 수 있다.

왜곡 이미지 경로는 입력 버퍼로부터 변환 이미지 데이터(CI)를 수신할 수 있다. 왜곡 이미지 경로는 변환 이미지 데이터(CI)의 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)에 대한 별다른 연산이나 처리를 수행하지 않을 수 있다. 즉, 왜곡 이미지 경로는 색상 왜곡을 갖는 변환 이미지 데이터(CI)를 그대로 전달하는 경로일 수 있다. 왜곡 이미지 경로는 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)을 제2 출력 버퍼에 제공할 수 있다. 제2 출력 버퍼는 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)을 갖는 변환 이미지 데이터(CI)를 왜곡 연산 모듈(130a)에 제공할 수 있다.

도 6은 본 개시의 일부 실시 예들에 따라 도 4의 왜곡 연산 모듈을 구체화한 블록도이다. 도 4 및 도 6을 참조하면, 왜곡 연산 모듈(130a)은 비-왜곡 이미지 추정 모듈(120a)과 통신할 수 있다.

왜곡 연산 모듈(130a)은 제1 입력 버퍼, 제2 입력 버퍼, 제1 차이 계산기, 제2 차이 계산기, 대비 감도 함수(CSF), 제1 가산기, 제2 가산기, 지각 색상 분석기, 및 스코어 차트를 포함할 수 있다.

제1 입력 버퍼는 비-왜곡 이미지 추정 모듈(120a)로부터 추정 이미지 데이터(EI)를 수신할 수 있다. 추정 이미지 데이터(EI)는 밝기 값(L), 제1 피팅된 색차 값(af), 및 제2 피팅된 색차 값(bf)을 포함할 수 있다. 제1 입력 버퍼는 제1 피팅된 색차 값(af)을 제1 차이 계산기에 제공할 수 있다. 제1 입력 버퍼는 제2 피팅된 색차 값(bf)을 제2 차이 계산기에 제공할 수 있다.

제2 입력 버퍼는 비-왜곡 이미지 추정 모듈(120a)로부터 변환 이미지 데이터(CI)를 수신할 수 있다. 변환 이미지 데이터(CI)는 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)을 포함할 수 있다. 제2 입력 버퍼는 제1 색차 값(a)을 제1 차이 계산기에 제공할 수 있다. 제2 입력 버퍼는 제2 색차 값(b)을 제2 차이 계산기에 제공할 수 있다.

제1 차이 계산기는 제1 입력 버퍼로부터 제1 피팅된 색차 값(af)을 수신할 수 있다. 제1 차이 계산기는 제2 입력 버퍼로부터 제1 색차 값(a)을 수신할 수 있다. 제1 차이 계산기는 제1 피팅된 색차 값(af) 및 제1 색차 값(a)의 차이에 기초하여, 제1 계산된 차이 값(ad)을 결정할 수 있다. 제1 계산된 차이 값(ad)의 크기가 클수록, 이미지 센서(11)에서 제1 색차 값(a)에 대한 색상 왜곡이 심하게 발생할 수 있다. 제1 차이 계산기는 제1 계산된 차이 값(ad)을 제1 가산기에 제공할 수 있다.

제2 차이 계산기는 제1 입력 버퍼로부터 제2 피팅된 색차 값(bf)을 수신할 수 있다. 제2 차이 계산기는 제2 입력 버퍼로부터 제2 색차 값(b)을 수신할 수 있다. 제2 차이 계산기는 제2 피팅된 색차 값(bf) 및 제2 색차 값(b)의 차이에 기초하여, 제2 계산된 차이 값(bd)을 결정할 수 있다. 제2 계산된 차이 값(bd)의 크기가 클수록, 이미지 센서(11)에서 제2 색차 값(b)에 대한 색상 왜곡이 심하게 발생할 수 있다. 제2 차이 계산기는 제2 계산된 차이 값을 제2 가산기에 제공할 수 있다.

대비 감도 함수(CSF)는 주파수별로 사람의 시각적 인지 특성을 반영하여 밝기 값(L), 제1 색차 값(a), 및 제2 색차 값(b)의 감도들을 수학적으로 모델링한 함수일 수 있다. 대비 감도 함수(CSF)는 색상 왜곡 평가시 시각적 인지 특성을 반영하여 가중치를 부여하기 위해 사용될 수 있다. 대비 감도 함수(CSF)는 밝기 감도 값(Ls), 제1 색차 감도 값(as), 및 제2 색차 감도 값(bs)을 포함할 수 있다.

대비 감도 함수(CSF)에 대응하는 그래프에서, 가로축은 주파수를 나타낸다. 세로축은 크기를 나타낸다. 밝기 감도 값(Ls)의 파형은 실선으로 도시된다. 제1 색차 감도 값(as)은 굵은 실선으로 도시된다. 제2 색차 감도 값(bs)은 파선(dashed line)으로 도시된다. 밝기 감도 값(Ls), 제1 색차 감도 값(as), 및 제2 색차 감도 값(bs) 각각의 크기가 클수록, 대응하는 주파수 대역에서 사람에게 시각적으로 인식되는 감도의 크기가 우세할 수 있다.

대비 감도 함수(CSF)의 제1 색차 감도 값(as)은 제1 가산기에 제공될 수 있다. 대비 감도 함수(CSF)의 제2 색차 감도 값(bs)은 제2 가산기에 제공될 수 있다.

제1 가산기는 제1 차이 계산기로부터 제1 계산된 차이 값(ad)을 수신할 수 있다. 제1 가산기는 대비 감도 함수(CSF)가 저장된 메모리 장치로부터 제1 색차 감도 값(as)을 수신할 수 있다. 제1 가산기는 제1 계산된 차이 값(ad) 및 제1 색차 감도 값(as)의 가중 합에 기초하여, 제1 가중 합 값(aw)을 결정할 수 있다. 제1 가산기는 제1 가중 합 값(aw)을 지각 색상 분석기에 제공할 수 있다.

제2 가산기는 제2 차이 계산기로부터 제2 계산된 차이 값(bd)을 수신할 수 있다. 제2 가산기는 대비 감도 함수(CSF)가 저장된 메모리 장치로부터 제2 색차 감도 값(bs)을 수신할 수 있다. 제2 가산기는 제2 계산된 차이 값(bd) 및 제2 색차 감도 값(bs)의 가중 합에 기초하여, 제2 가중 합 값(bw)을 결정할 수 있다. 제2 가산기는 제2 가중 합 값(bw)을 지각 색상 분석기에 제공할 수 있다.

지각 색상 분석기는 제1 가산기로부터 제1 가중 합 값(aw)을 수신할 수 있다. 지각 색상 분석기는 제2 가산기로부터 제2 가중 합 값(bw)을 수신할 수 있다. 지각 색상 분석기는 제1 가중 합 값(aw) 및 제2 가중 합 값(bw)에 기초하여, 이미지 센서의 색상 왜곡을 평가할 수 있다.

예를 들어, 지각 색상 분석기는 제1 가중 합 값(aw) 및 제2 가중 합 값(bw)에 기초하여, 색상 분석 값(CAV)을 결정할 수 있다. 색상 분석 값(CAV)은 이미지 센서(11)의 색상 왜곡(예를 들어, 위색)의 수준에 대한 정보를 포함할 수 있다. 지각 색상 분석기는 색상 분석 값(CAV)을 스코어 차트에 제공할 수 있다.

스코어 차트는 색상 분석 값(CAV)에 기초하여 스코어 값을 결정할 수 있다. 스코어 값은 이미지 센서(11)의 색상 왜곡의 정도를 가리킬 수 있다. 예를 들어, 스코어 값은 평가된 위색의 정도를 수치(numerical value)로 나타내거나, 또는 문자 형태의 등급으로 나타낼 수 있다.

도 7은 본 개시의 일부 실시 예들에 따라 도 1의 테스트 차트를 설명하는 도면이다. 도 1 및 도 7을 참조하면, 테스트 차트(TCb)의 설계 예시 및 구현 예시가 설명된다. 테스트 차트(TCb)는 탈색을 평가하는데 사용될 수 있다. 테스트 차트(TCb)는 다양한 색상의 배경들, 다양한 색상의 선들, 선형 패턴을 갖는 선형 패턴 서브-영역, 및 패턴이 존재하지 않는 플레인 서브-영역을 포함할 수 있다. 테스트 차트(TCb)는 도 1의 테스트 차트(TC)의 예시들 중 하나일 수 있다. 선형 패턴에 대한 특징은 도 3의 선형 패턴의 특징과 유사하므로, 이에 대한 상세한 설명은 생략된다.

테스트 차트(TCb)의 설계 예시는 테스트 차트(TCb)를 설계하는 방법을 설명한다. 테스트 차트(TCb)의 구현 예시는 예시로서 구현된 테스트 차트(TCb)를 도시한다. 테스트 차트(TCb)의 설계 예시 및 테스트 차트(TCb)의 구현 예시는 서로 대응할 수 있다.

테스트 차트(TCb)는 행 방향 및 열 방향으로 배열된 복수의 영역들(RG11, RG12, RG13, RG14, RG21, RG22, RG23, RG24, RG31, RG32, RG33, RG34, RG41, RG42, RG43, 및 RG44)을 포함할 수 있다. 본 개시의 이해를 돕기 위해, 테스트 차트(TCb)는 4개의 행들 및 4개의 열들을 포함하는 것으로 도시되지만, 본 개시의 범위는 이에 제한되지 않는다. 테스트 차트(TCb)의 행들의 개수 및 열들의 개수는 각각 증가 또는 감소할 수 있다.

일부 실시 예들에서, 테스트 차트(TCb)는 혼합 색상 영역, 제1 색상 영역, 제2 색상 영역, 및 제3 색상 영역을 포함할 수 있다. 혼합 색상 영역, 제1 색상 영역, 제2 색상 영역, 및 제3 색상 영역은 서로 중첩되지 않을 수 있다.

테스트 차트(TCb)의 영역들(RG11, RG12, RG21, RG22)은 테스트 차트(TCb)의 혼합 색상 영역으로 지칭될 수 있다. 혼합 색상 영역은 복수의 색상들의 선형 패턴을 가질 수 있다. 예를 들어, 혼합 색상 영역의 배경색은 존재하지 않거나 또는 화이트 색상일 수 있다. 혼합 색상 영역을 점유하는 선들은 임의의 다양한 색상들을 가질 수 있다. 선형 패턴은 위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 복수의 선들을 포함할 수 있다.

테스트 차트(TCb)의 영역들(RG13, RG14, RG23, RG24)은 테스트 차트(TCb)의 제1 색상 영역으로 지칭될 수 있다. 제1 색상 영역은 제1 색상의 배경을 가질 수 있다. 제1 색상 영역은 제1 선형 패턴 서브-영역 및 제1 플레인 서브-영역을 포함할 수 있다. 선형 패턴 서브-영역은 선형 패턴으로 점유된 영역을 가리킬 수 있다. 플레인 서브-영역은 선형 패턴이 존재하지 않고 배경의 색상으로 표시되는 영역을 가리킬 수 있다.

예를 들어, 제1 색상은 옐로우 색상일 수 있다. 영역들(RG13, RG23, RG24)은 제1 선형 패턴 서브-영역일 수 있다. 제1 선형 패턴 서브-영역을 점유하는 선형 패턴에 따른 선들의 색상은 블랙 색상일 수 있다. 영역(RG14)은 제1 플레인 서브-영역일 수 있다.

테스트 차트(TCb)의 영역들(RG31, RG32, RG41, RG42)은 테스트 차트(TCb)의 제2 색상 영역으로 지칭될 수 있다. 제2 색상 영역은 제2 색상의 배경을 가질 수 있다. 제2 색상 영역은 제2 선형 패턴 서브-영역 및 제2 플레인 서브-영역을 포함할 수 있다.

예를 들어, 제2 색상은 시안(cyan) 색상일 수 있다. 영역들(RG31, RG41, RG42)은 제2 선형 패턴 서브-영역일 수 있다. 제2 선형 패턴 서브-영역을 점유하는 선형 패턴에 따른 선들의 색상은 블랙 색상일 수 있다. 영역(RG32)은 제2 플레인 서브-영역일 수 있다.

테스트 차트(TCb)의 영역들(RG33, RG34, RG43, RG44)은 테스트 차트(TCb)의 제3 색상 영역으로 지칭될 수 있다. 제3 색상 영역은 제3 색상의 배경을 가질 수 있다. 제3 색상 영역은 제3 선형 패턴 서브-영역 및 제3 플레인 서브-영역을 포함할 수 있다.

예를 들어, 제3 색상은 그린 색상일 수 있다. 영역들(RG33, RG43, RG44)은 제3 선형 패턴 서브-영역일 수 있다. 제3 선형 패턴 서브-영역을 점유하는 선형 패턴에 따른 선들의 색상은 블랙 색상일 수 있다. 영역(RG34)은 제3 플레인 서브-영역일 수 있다.

도 8은 본 개시의 일부 실시 예들에 따른 평가 장치의 블록도이다. 도 8을 참조하면, 본 개시의 일부 실시 예들에 따른 평가 장치(100b)가 도시된다. 평가 장치(100b)는 도 1의 평가 장치(100)에 대응할 수 있다. 평가 장치(100b)는 이미지 센서(11)와 통신할 수 있다. 평가 장치(100b)는 도 7의 테스트 차트(TCb)에 대응하는 원시 이미지 데이터(RI)에 기초하여, 이미지 센서(11)의 색상 왜곡의 수준을 평가할 수 있다. 예를 들어, 색상 왜곡은 탈색을 포함할 수 있다.

평가 장치(100b)는 추정 모듈(110b), 재구성 모듈(120b), 및 왜곡 연산 모듈(130b)을 포함할 수 있다.

추정 모듈(110b)은 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 원시 이미지 데이터(RI)는 이미지 센서(11)에 의해 테스트 차트(TCb)를 캡처함으로써 획득될 수 있다. 추정 모듈(110b)은 테스트 차트(TCb)에 대응하는 기준 차트를 포함할 수 있다. 기준 차트는 테스트 차트(TCb)에 사용된 색상 정보를 포함할 수 있다. 기준 차트는 이미지 센서(11)에 의한 색상 왜곡의 영향을 받지 않고, 테스트 차트(TCb)를 캡처한 환경의 휘도에 독립적인 색상 정보를 가질 수 있다.

추정 모듈(110b)은 원시 이미지 데이터(RI) 및 기준 차트에 기초하여 대체 색상 정보(RCI)를 생성할 수 있다. 대체 색상 정보(RCI)는 원시 이미지 데이터(RI)의 색상을 대체하는데 사용될 수 있다. 추정 모듈(110b)은 대체 색상 정보(RCI)를 재구성 모듈(120b)에 제공할 수 있다.

재구성 모듈(120b)은 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 재구성 모듈(120b)은 추정 모듈(110b)로부터 대체 색상 정보(RCI)를 수신할 수 있다. 재구성 모듈(120b)은 대체 색상 정보(RCI)에 기초하여 원시 이미지 데이터(RI)의 색상을 재구성함으로써 색상 재구성 이미지 데이터(CRI)를 생성할 수 있다.

색상 재구성 이미지 데이터(CRI)는 원시 이미지 데이터(RI)의 색상 왜곡을 보상한 것일 수 있다. 예를 들어, 색상 재구성 이미지 데이터(CRI)는 기준 차트를 사용하여, 탈색이 없는 이미지 센서(11)에 의해 획득된 이미지 데이터를 추정한 것일 수 있다. 재구성 모듈(120b)은 색상 재구성 이미지 데이터(CRI)를 왜곡 연산 모듈(130b)에 제공할 수 있다.

왜곡 연산 모듈(130b)은 재구성 모듈(120b)로부터 색상 재구성 이미지 데이터(CRI)를 수신할 수 있다. 왜곡 연산 모듈(130b)은 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 왜곡 연산 모듈(130b)은 색상 재구성 이미지 데이터(CRI) 및 원시 이미지 데이터(RI)에 기초하여, 이미지 센서(11)의 색상 왜곡(예를 들어, 탈색)을 평가할 수 있다.

도 9는 본 개시의 일부 실시 예들에 따라 도 8의 평가 장치를 구체화한 블록도이다. 도 8 및 도 9를 참조하면, 평가 장치(100b)는 이미지 센서(11)와 통신할 수 있다. 평가 장치(100b)는 테스트 차트(TCb)에 대응하는 원시 이미지 데이터(RI)에 기초하여, 이미지 센서(11)의 색상 왜곡(예를 들어, 탈색)의 수준을 평가할 수 있다. 평가 장치(100b)는 추정 모듈(110b), 재구성 모듈(120b), 및 왜곡 연산 모듈(130b)을 포함할 수 있다.

추정 모듈(110b)은 색상 추출기, 기준 차트, 및 대체 색상 결정기를 포함할 수 있다. 색상 추출기는 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 색상 추출기는 원시 이미지 데이터(RI)에 기초하여 제1 색상 정보(CI1)를 추출할 수 있다. 제1 색상 정보(CI1)는 이미지 센서(11)에 의한 색상 왜곡을 반영할 수 있다.

기준 차트는 테스트 차트(TCb)에 사용된 색상 정보에 대응하는 제2 색상 정보(CI2)를 포함할 수 있다. 제2 색상 정보(CI2)는 이미지 센서(11)에 의한 색상 왜곡의 영향을 받지 않고, 이미지 센서(11)가 테스트 차트(TCb)를 캡처한 환경에서의 휘도의 변화에 독립적일 수 있다.

대체 색상 결정기는 색상 추출기로부터 제1 색상 정보(CI1)를 수신할 수 있다. 대체 색상 결정기는 기준 차트로부터 제2 색상 정보(CI2)를 수신할 수 있다. 대체 색상 결정기는 제1 색상 정보(CI1) 및 제2 색상 정보(CI2)에 기초하여, 대체 색상 정보(RCI)를 생성할 수 있다. 대체 색상 정보(RCI)는 색상 왜곡이 없는 이미지 센서(11)가 원시 이미지 데이터(RI)를 캡처한 환경(예를 들어, 휘도 환경)에서 획득한 색상 정보를 추정한 것일 수 있다. 대체 색상 결정기는 대체 색상 정보(RCI)를 재구성 모듈(120b)로 제공할 수 있다.

재구성 모듈(120b)은 선형 변환 함수, 색상 매퍼(mapper), 및 감마 변환 함수를 포함할 수 있다. 선형 변환 함수는 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 선형 변환 함수는 원시 이미지 데이터(RI)의 선형 변환에 기초하여 선형 이미지 데이터(LI)를 생성할 수 있다.

선형 변환은 디스플레이 장치에서 전기적인 입력 신호의 세기에 대한 밝기의 비선형적인 관계를 선형적으로 변환하는 것일 수 있다. 예를 들어, 선형 변환은 원시 이미지 데이터(RI)의 색상 공간을 sRGB 공간에서 RGB 공간으로 변환시키는 sRGB-대-RGB(sRGB-to-RGB) 변환일 수 있다.

색상 매퍼는 선형 변환 함수로부터 선형 이미지 데이터(LI)를 수신할 수 있다. 색상 매퍼는 추정 모듈(110b)로부터 대체 색상 정보(RCI)를 수신할 수 있다. 색상 매퍼는 대체 색상 정보(RCI)를 선형 이미지 데이터(LI)의 배경에 매핑함으로써 매핑 이미지 데이터(MI)를 생성할 수 있다. 매핑 이미지 데이터(MI)는 색상 왜곡(예를 들어, 탈색)을 보상한 이미지 데이터일 수 있다.

감마 변환 함수는 색상 매퍼로부터 매핑 이미지 데이터(MI)를 수신할 수 있다. 감마 변환 함수는 매핑 이미지 데이터(MI)의 감마 변환에 기초하여 색상 재구성 이미지 데이터(CRI)를 생성할 수 있다.

감마 변환은 입력 신호에 대한 밝기의 선형적인 관계를 감마 커브에 따라 변환하는 것일 수 있다. 감마 커브는 디스플레이 장치에서 전기적인 입력 신호의 세기에 대한 사람이 시각적으로 인지하는 밝기의 비선형적인 관계를 나타낼 수 있다. 예를 들어, 감마 변환은 매핑 이미지 데이터(MI)의 색상 공간을 RGB 공간에서 sRGB 공간으로 변환시키는 RGB-대-sRGB(RGB-to-sRGB) 변환일 수 있다. 즉, 감마 변환 함수는 선형 변환 함수에 대해 역함수의 관계를 가질 수 있다. 감마 변환 함수는 색상 재구성 이미지 데이터(CRI)를 왜곡 연산 모듈(130b)에 제공할 수 있다.

왜곡 연산 모듈(130b)은 계산기 및 스코어 차트를 포함할 수 있다. 계산기는 재구성 모듈(120b)로부터 색상 재구성 이미지 데이터(CRI)를 수신할 수 있다. 계산기는 이미지 센서(11)로부터 원시 이미지 데이터(RI)를 수신할 수 있다. 계산기는 색상 재구성 이미지 데이터(CRI) 및 원시 이미지 데이터(RI)에 기초하여, 색차 비율 값(CRV; chrominance ratio value)을 결정할 수 있다. 색차 비율 값(CRV)은 이미지 센서(11)의 색상 왜곡(예를 들어, 탈색)의 수준에 대한 정보를 포함할 수 있다. 계산기는 색차 비율 값(CRV)을 스코어 차트에 제공할 수 있다.

스코어 차트는 색차 비율 값(CRV)에 기초하여 스코어 값을 결정할 수 있다. 스코어 값은 이미지 센서(11)의 색상 왜곡의 정도를 가리킬 수 있다. 예를 들어, 스코어 값은 평가된 탈색의 정도를 수치로 나타내거나, 또는 문자 형태의 등급으로 나타낼 수 있다.

도 10은 본 개시의 일부 실시 예들에 따라 평가 장치의 동작하는 방법을 설명하는 순서도이다. 도 10을 참조하면, 평가 장치의 동작하는 방법이 설명된다. 평가 장치는 이미지 센서와 통신할 수 있다. 평가 장치는 도 1의 평가 장치(100) 및 도 4의 평가 장치(100a)에 대응할 수 있다.

S110 단계에서, 평가 장치는 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신할 수 있다.

일부 실시 예들에서, 테스트 차트는, 위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 선형 패턴을 포함할 수 있다.

일부 실시 예들에서, 테스트 차트는 공통 영역, 제1 서브-영역, 및 제2 서브-영역을 포함할 수 있다. 공통 영역은 제1 면적 및 제1 주파수의 제1 선형 패턴을 가질 수 있다. 제1 서브-영역은 공통 영역에 중첩될 수 있다. 제1 서브-영역은 제1 면적보다 작은 제2 면적 및 제1 주파수보다 높은 제2 주파수의 제2 선형 패턴을 가질 수 있다. 제2 서브-영역은 공통 영역에 중첩될 수 있다. 제2 서브-영역은 제2 면적보다 작은 제3 면적 및 제2 주파수보다 높은 제3 주파수의 제3 선형 패턴을 가질 수 있다.

S120 단계에서, 평가 장치는 원시 이미지 데이터의 색상 도메인 변환에 기초하여 변환 이미지 데이터를 생성할 수 있다.

일부 실시 예들에서, S120 단계는, 제1 색상 값, 제2 색상 값, 및 제3 색상 값을 갖는 원시 이미지 데이터의 색상 도메인 변환에 기초하여, 밝기 값, 제1 색차 값, 및 제2 색차 값을 갖는 변환 이미지 데이터를 생성하는 것을 포함할 수 있다.

S130 단계에서, 평가 장치는 변환 이미지 데이터에 기초하여 비-왜곡 이미지를 추정함으로써 추정 이미지 데이터를 생성할 수 있다.

일부 실시 예들에서, S130 단계는, 제1 피팅 함수를 통해, 변환 이미지 데이터의 제1 색차 값의 아웃라이어 값들을 피팅함으로써, 제1 피팅된 색차 값을 결정하는 것, 제2 피팅 함수를 통해, 변환 이미지 데이터의 제2 색차 값의 아웃라이어 값들을 피팅함으로써, 제2 피팅된 색차 값을 결정하는 것, 그리고 밝기 값, 제1 피팅된 색차 값, 및 제2 피팅된 색차 값을 갖는 추정 이미지 데이터를 생성하는 것을 포함할 수 있다.

S140 단계에서, 평가 장치는 추정 이미지 데이터 및 변환 이미지 데이터에 기초하여, 이미지 센서의 색상 왜곡을 평가할 수 있다.

일부 실시 예들에서, 색상 왜곡은 위색을 포함할 수 있다.

일부 실시 예들에서, S140 단계는, 추정 이미지 데이터의 제1 피팅된 색차 값 및 변환 이미지 데이터의 제1 색차 값의 차이에 기초하여, 제1 계산된 차이 값을 결정하는 것, 추정 이미지 데이터의 제2 피팅된 색차 값 및 변환 이미지 데이터의 제2 색차 값의 차이에 기초하여, 제2 계산된 차이 값을 결정하는 것, 제1 계산된 차이 값 및 대비 감도 함수의 제1 색차 감도 값의 가중 합에 기초하여, 제1 가중 합 값을 결정하는 것, 제2 계산된 차이 값 및 대비 감도 함수의 제2 색차 감도 값의 가중 합에 기초하여, 제2 가중 합 값을 결정하는 것, 그리고 제1 가중 합 값 및 제2 가중 합 값에 기초하여, 이미지 센서의 색상 왜곡을 평가하는 것을 포함할 수 있다.

일부 실시 예들에서, 평가 장치는 스코어 차트를 사용하여, 제1 가중 합 값 및 제2 가중 합 값에 기초하여, 이미지 센서의 색상 왜곡의 정도를 가리키는 스코어 값을 결정할 수 있다.

도 11은 본 개시의 일부 실시 예들에 따라 평가 장치의 동작하는 방법을 설명하는 순서도이다. 도 11을 참조하면, 평가 장치의 동작하는 방법이 설명된다. 평가 장치는 이미지 센서와 통신할 수 있다. 평가 장치는 도 1의 평가 장치(100) 및 도 8의 평가 장치(100b)에 대응할 수 있다.

S210 단계에서, 평가 장치는 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신할 수 있다.

일부 실시 예들에서, 테스트 차트는, 위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 선형 패턴을 포함할 수 있다.

일부 실시 예들에서, 테스트 차트는, 혼합 색상 영역, 제1 색상 영역, 제2 색상 영역, 및 제3 색상 영역을 포함할 수 있다. 혼합 색상 영역은 복수의 색상들의 선형 패턴을 가질 수 있다. 제1 색상 영역은 제1 색상의 배경을 갖고, 그리고 제1 선형 패턴 서브-영역 및 제1 플레인 서브-영역을 포함할 수 있다. 제2 색상 영역은 제2 색상의 배경을 갖고, 그리고 제2 선형 패턴 서브-영역 및 제2 플레인 서브-영역을 포함할 수 있다. 제3 색상 영역은 제3 색상의 배경을 갖고, 그리고 제3 선형 패턴 서브-영역 및 제3 플레인 서브-영역을 포함할 수 있다.

S220 단계에서, 평가 장치는 원시 이미지 데이터 및 기준 차트에 기초하여 대체 색상 정보를 생성할 수 있다.

일부 실시 예들에서, S220 단계는, 원시 이미지 데이터에 기초하여 제1 색상 정보를 추출하는 것, 테스트 차트에 대응하는 기준 차트를 참조하여 휘도의 변화에 독립적인 제2 색상 정보를 추출하는 것, 그리고 제1 색상 정보 및 제2 색상 정보에 기초하여 대체 색상 정보를 결정하는 것을 포함할 수 있다.

S230 단계에서, 평가 장치는 대체 색상 정보에 기초하여 원시 이미지 데이터의 색상을 재구성함으로써 색상 재구성 이미지 데이터를 생성할 수 있다.

일부 실시 예들에서, S230 단계는, 원시 이미지 데이터의 선형 변환에 기초하여 선형 이미지 데이터를 생성하는 것, 대체 색상 정보를 선형 이미지 데이터의 배경에 매핑함으로써 매핑 이미지 데이터를 생성하는 것, 그리고 매핑 이미지 데이터의 감마 변환에 기초하여 색상 재구성 이미지 데이터를 생성하는 것을 포함할 수 있다.

S240 단계에서, 평가 장치는 색상 재구성 이미지 데이터 및 원시 이미지 데이터에 기초하여, 이미지 센서의 색상 왜곡을 평가할 수 있다.

일부 실시 예들에서, 색상 왜곡은 탈색을 포함할 수 있다.

일부 실시 예들에서, S240 단계는, 색상 재구성 이미지 데이터 및 원시 이미지 데이터에 기초하여 색차 비율 값을 결정하는 것, 그리고 색차 비율 값에 기초하여 이미지 센서의 색상 왜곡을 평가하는 것을 포함할 수 있다.

일부 실시 예들에서, 평가 장치는 스코어 차트를 사용하여, 이미지 센서의 색상 왜곡의 정도를 가리키는 스코어 값을 결정할 수 있다.

도 12는 본 개시의 일부 실시 예들에 따라 평가 장치의 동작하는 방법을 설명하는 순서도이다. 도 12를 참조하면, 평가 장치의 동작하는 방법이 설명된다. 평가 장치는 이미지 센서와 통신할 수 있다. 평가 장치는 도 1의 평가 장치(100), 도 4의 평가 장치(100a), 및 도 8의 평가 장치(100b)에 대응할 수 있다.

S310 단계에서, 평가 장치는 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신할 수 있다. 테스트 차트는, 위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 선형 패턴을 포함할 수 있다.

S320 단계에서, 평가 장치는 원시 이미지 데이터의 위색 또는 탈색을 복원함으로써, 복원 이미지 데이터를 생성할 수 있다.

S330 단계에서, 평가 장치는 복원 이미지 데이터 및 원시 이미지 데이터에 기초하여, 이미지 센서의 색상 왜곡을 평가할 수 있다.

일부 실시 예들에서, 평가 장치는 위색을 평가할 수 있다. 예를 들어, S320 단계는, 원시 이미지 데이터의 색상 도메인 변환에 기초하여 변환 이미지 데이터를 생성하는 것, 그리고 변환 이미지 데이터에 기초하여 비-왜곡 이미지를 추정함으로써 복원 이미지 데이터를 생성하는 것을 포함할 수 있다. 복원 이미지 데이터는 도 4의 추정 이미지 데이터(EI)에 대응할 수 있다. S330 단계는, 복원 이미지 데이터 및 변환 이미지 데이터에 기초하여, 이미지 센서의 위색 수준을 평가하는 것을 포함할 수 있다.

일부 실시 예들에서, 평가 장치는 탈색을 평가할 수 있다. 예를 들어, S320 단계는, 원시 이미지 데이터 및 기준 차트에 기초하여 대체 색상 정보를 생성하는 것, 그리고 대체 색상 정보에 기초하여 원시 이미지 데이터의 색상을 재구성함으로써 복원 이미지 데이터를 생성하는 것을 포함할 수 있다. 복원 이미지 데이터는 도 8의 색상 재구성 이미지 데이터(CRI)에 대응할 수 있다. S330 단계는, 복원 이미지 데이터 및 원시 이미지 데이터에 기초하여, 이미지 센서의 탈색 수준을 평가하는 것을 포함할 수 있다.

도 13은 본 개시의 일부 실시 예들에 따른 전자 시스템의 블록도이다. 도 13을 참조하면, 전자 시스템(40)은 전자 장치(20) 및 외부 전자 장치(30)를 포함할 수 있다. 전자 장치(20)는 이미지 센서(21) 및 이미지 프로세서(22)를 포함할 수 있다.

이미지 센서(21)는 도 1의 이미지 센서(11)에 대응할 수 있다. 이미지 센서(21)는 임베디드 프로세서를 포함할 수 있다. 이미지 프로세서(22)는 이미지 센서(21)로부터 획득된 이미지 데이터를 처리할 수 있다. 전자 장치(20)는 스마트 폰, 디지털 카메라, 테블릿 등과 같은 카메라 모듈을 포함할 수 있는 다양한 전자 장치들 중 하나일 수 있다.

외부 전자 장치(30)는 전자 장치(20)와 유선 또는 무선으로 통신할 수 있다. 외부 전자 장치(30)는 프로세서를 포함할 수 있다. 외부 전자 장치(30)의 프로세서는 전자 장치(20)로부터 수신된 데이터를 관리할 수 있다. 외부 전자 장치(30)는 PC, 랩탑, 서버 등 전자 장치(20)와 통신할 수 있는 다양한 전자 장치들 중 하나일 수 있다.

본 개시의 일부 실시 예들에 따르면, 이미지 센서(21)의 색상 왜곡을 평가하는 평가 장치는 전자 시스템(40) 내의 다양한 프로세서들 중 적어도 하나에 구현될 수 있다.

예를 들어, 이미지 센서(21)의 색상 왜곡을 평가하는 평가 장치는, 이미지 센서(21)의 임베디드 프로세서 상에 구현되거나, 이미지 센서(21)와 통신하는 이미지 프로세서(22) 상에 구현되거나, 또는 이미지 센서(21)를 포함하는 전자 장치(20)와 통신하는 외부 전자 장치(30)의 프로세서 상에 구현될 수 있다.

이미지 센서(21)의 색상 왜곡을 평가하는 평가 장치는 도 1의 평가 장치(100), 도 4의 평가 장치(100a), 및 도 8의 평가 장치(100b)에 대응할 수 있다. 이미지 센서(21)의 색상 왜곡을 평가하는 평가 장치는 도 10, 도 11, 및 도 12에서 설명된 방법들을 수행할 수 있다.

도 14는 본 개시의 일부 실시 예들에 따른 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 15는 본 개시의 일부 실시 예들에 따라 도 14의 카메라 모듈을 구체화한 블록도이다.

도 14를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 스토리지(1400)를 포함할 수 있다. 전자 장치(1000)는 도 13의 전자 장치(20)에 대응할 수 있다. 카메라 모듈 그룹(1100)은 도 1의 이미지 센서(11) 및 도 13의 이미지 센서(21)에 대응할 수 있다. 애플리케이션 프로세서(1200)는 도 13의 이미지 프로세서(22)에 대응할 수 있다.

카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시 예가 도시되어 있으나, 실시 예들이 이에 제한되는 것은 아니다. 몇몇 실시 예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시 예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.

이하, 도 15를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시 예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.

도 15를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝˝액추에이터(1130), 이미지 센싱 장치(1140) 및 스토리지(1150)를 포함할 수 있다.

프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

일부 실시 예들에서, 프리즘(1105)은 X-방향으로 입사되는 광(L)의 경로를 X-방향에 수직인 Y-방향으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A-방향으로 회전시키거나, 중심축(1106)을 B-방향으로 회전시켜 X-방향으로 입사되는 광(L)의 경로를 수직인 Y-방향으로 변경시킬 수 있다. 이때, OPFE(1110)도 X-방향 및 Y-방향과 수직인 Z-방향으로 이동할 수 있다.

일부 실시 예들에서, 도 15에서 도시된 것과 같이, 프리즘(1105)의 A-방향 최대 회전 각도는 플러스(+) A-방향으로는 15도(degree)이하이고, 마이너스(-) A-방향으로는 15도보다 클 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

일부 실시 예들에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B-방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B-방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.

일부 실시 예들에서, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)의 연장 방향과 평행한 Z-방향으로 이동할 수 있다.

OPFE(1110)는, 예를 들어, m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 Y-방향으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액추에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어, 액추에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.

메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

스토리지(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 스토리지(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 일부 실시 예들에서, 스토리지(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시 예들이 이에 제한되는 것은 아니다.

도 14 및 도 15를 함께 참조하면, 일부 실시 예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.

일부 실시 예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

일부 실시 예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

일부 실시 예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 본 개시가 이에 제한되는 것은 아니다.

또한, 일부 실시 예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

일부 실시 예들에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.

다시 도 14를 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.

이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.

각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

한편, 일부 실시 예들에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

보다 상세하게는, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

일부 실시 예들에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 일부 실시 예들에서, 모드 신호는, 예를 들어, 사용자(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시 예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

일부 실시 예들에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.

일부 실시 예들에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.

일부 실시 예들에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예를 들어, 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.

PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.

PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (10)

1. 이미지 센서와 통신하는 평가 장치의 동작하는 방법에 있어서:
   상기 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신하는 단계;
   상기 원시 이미지 데이터의 색상 도메인 변환에 기초하여 변환 이미지 데이터를 생성하는 단계;
   상기 변환 이미지 데이터에 기초하여 비-왜곡 이미지를 추정함으로써 추정 이미지 데이터를 생성하는 단계; 및
   상기 추정 이미지 데이터 및 상기 변환 이미지 데이터에 기초하여, 상기 이미지 센서의 색상 왜곡을 평가하는 단계를 포함하는 방법.
2. 제 1 항에 있어서,
   상기 색상 왜곡은 위색(false color)을 포함하는 방법.
3. 제 1 항에 있어서,
   상기 테스트 차트는:
   위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 선형 패턴을 포함하는 방법.
4. 제 1 항에 있어서,
   상기 테스트 차트는:
   제1 면적 및 제1 주파수의 제1 선형 패턴을 갖는 공통 영역;
   상기 공통 영역에 중첩되고, 그리고 상기 제1 면적보다 작은 제2 면적 및 상기 제1 주파수보다 높은 제2 주파수의 제2 선형 패턴을 갖는 제1 서브-영역; 및
   상기 공통 영역에 중첩되고, 그리고 상기 제2 면적보다 작은 제3 면적 및 상기 제2 주파수보다 높은 제3 주파수의 제3 선형 패턴을 갖는 제2 서브-영역을 포함하는 방법.
5. 제 1 항에 있어서,
   상기 원시 이미지 데이터의 색상 도메인 변환에 기초하여 변환 이미지 데이터를 생성하는 단계는:
   제1 색상 값, 제2 색상 값, 및 제3 색상 값을 갖는 상기 원시 이미지 데이터의 상기 색상 도메인 변환에 기초하여, 밝기 값, 제1 색차(chrominance) 값, 및 제2 색차 값을 갖는 상기 변환 이미지 데이터를 생성하는 단계를 포함하고,
   상기 변환 이미지 데이터에 기초하여 상기 비-왜곡 이미지를 추정함으로써 상기 추정 이미지 데이터를 생성하는 단계는:
   제1 피팅 함수를 통해, 상기 변환 이미지 데이터의 상기 제1 색차 값의 아웃라이어 값들을 피팅함으로써, 제1 피팅된 색차 값을 결정하는 단계;
   제2 피팅 함수를 통해, 상기 변환 이미지 데이터의 상기 제2 색차 값의 아웃라이어 값들을 피팅함으로써, 제2 피팅된 색차 값을 결정하는 단계; 및
   상기 밝기 값, 상기 제1 피팅된 색차 값, 및 상기 제2 피팅된 색차 값을 갖는 상기 추정 이미지 데이터를 생성하는 단계를 포함하고, 그리고
   상기 추정 이미지 데이터 및 상기 변환 이미지 데이터에 기초하여, 상기 이미지 센서의 상기 색상 왜곡을 평가하는 단계는:
   상기 추정 이미지 데이터의 상기 제1 피팅된 색차 값 및 상기 변환 이미지 데이터의 상기 제1 색차 값의 차이에 기초하여, 제1 계산된 차이 값을 결정하는 단계;
   상기 추정 이미지 데이터의 상기 제2 피팅된 색차 값 및 상기 변환 이미지 데이터의 상기 제2 색차 값의 차이에 기초하여, 제2 계산된 차이 값을 결정하는 단계;
   상기 제1 계산된 차이 값 및 대비 감도 함수의 제1 색차 감도 값의 가중 합에 기초하여, 제1 가중 합 값을 결정하는 단계;
   상기 제2 계산된 차이 값 및 상기 대비 감도 함수의 제2 색차 감도 값의 가중 합에 기초하여, 제2 가중 합 값을 결정하는 단계; 및
   상기 제1 가중 합 값 및 상기 제2 가중 합 값에 기초하여, 상기 이미지 센서의 상기 색상 왜곡을 평가하는 단계를 포함하는 방법.
6. 이미지 센서와 통신하는 평가 장치의 동작하는 방법에 있어서:
   상기 이미지 센서에 의해 테스트 차트를 캡처함으로써 획득된 원시 이미지 데이터를 수신하는 단계;
   상기 원시 이미지 데이터 및 기준 차트에 기초하여 대체 색상 정보를 생성하는 단계;
   상기 대체 색상 정보에 기초하여 상기 원시 이미지 데이터의 색상을 재구성함으로써 색상 재구성 이미지 데이터를 생성하는 단계; 및
   상기 색상 재구성 이미지 데이터 및 상기 원시 이미지 데이터에 기초하여, 상기 이미지 센서의 색상 왜곡을 평가하는 단계를 포함하는 방법.
7. 제 6 항에 있어서,
   상기 색상 왜곡은 탈색(decolorization)을 포함하는 방법.
8. 제 6 항에 있어서,
   상기 테스트 차트는:
   위치, 길이, 및 기울기의 확률들이 균일하고, 그리고 두께의 확률이 지수적으로 감소하는 선형 패턴을 포함하는 방법.
9. 제 6 항에 있어서,
   상기 테스트 차트는:
   복수의 색상들의 선형 패턴을 갖는 혼합 색상 영역;
   제1 색상의 배경을 갖고, 그리고 제1 선형 패턴 서브-영역 및 제1 플레인 서브-영역을 포함하는 제1 색상 영역;
   제2 색상의 배경을 갖고, 그리고 제2 선형 패턴 서브-영역 및 제2 플레인 서브-영역을 포함하는 제2 색상 영역; 및
   제3 색상의 배경을 갖고, 그리고 제3 선형 패턴 서브-영역 및 제3 플레인 서브-영역을 포함하는 제3 색상 영역을 포함하는 방법.
10. 제 6 항에 있어서,
    상기 대체 색상 정보에 기초하여 상기 원시 이미지 데이터의 상기 색상을 재구성함으로써 상기 색상 재구성 이미지 데이터를 생성하는 단계는:
    상기 원시 이미지 데이터의 선형 변환에 기초하여 선형 이미지 데이터를 생성하는 단계;
    상기 대체 색상 정보를 상기 선형 이미지 데이터의 배경에 매핑함으로써 매핑 이미지 데이터를 생성하는 단계; 및
    상기 매핑 이미지 데이터의 감마 변환에 기초하여 상기 색상 재구성 이미지 데이터를 생성하는 단계를 포함하는 방법.

Images