KR20220143013A - 화상 처리 방법, 센서 장치 - Google Patents

Abstract

복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서를 사용한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행한다. 그리고 검출한 물체의 화소 범위 내에 해당하는 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행한다.

Description

화상 처리 방법, 센서 장치

본 기술은 화상 처리 방법 및 센서 장치에 관한 것으로, 특히 어레이 센서에 의해 얻은 화상 신호에 대한 착색 처리를 상정하는 기술에 관한 것이다.

촬상 소자를 배열한 이미지 센서에서는, 소위 베이어 배열로서 알려져 있는 바와 같이, 녹색의 컬러 필터가 적색과 청색의 각 필터의 2배의 수로, R(적색)-G(녹색) 필터가 늘어선 열과, G(녹색)-B(청색) 필터가 늘어선 열이 교호로 되는 식의 배열을 하고 있는 것이 있다.

또한, 하기 특허문헌 1에는, 베이어 배열과는 상이한 색(옐로우나 시안 등)을 포함하는 배열을 사용한 컬러 필터 배열이 개시되어 있다.

일본 특허 공개 제2019-122045호 공보

이미지 센서의 분야에서는, 고감도화, 고해상도화라는 요구가 존재한다.

먼저 고감도화라는 점에 대해서는, 촬상 소자에 대한 입사 광자 수를 높이는 것이 필요하게 되지만, 이를 위해서는, 화소(촬상 소자)의 사이즈를 크게 하는 것이나, 입사 광자 손실을 삭감한다고 하는 사고 방식이 있다.

입사 광자 수의 손실에 착안하면, 그 주요 요인으로서는 컬러 필터에 의한 흡수가 있다. 컬러 필터에서는 약 66％의 손실이 발생한다. 그러나 컬러 필터를 사용하지 않는 색 분리 3판 방식 등은 비용 면에서 합리적이지 않고, 한편, 컬러 필터를 사용하는 방식은 비용 면의 우위성과, 색 재현성이 비교적 좋다는 점에서 널리 사용되고 있어, 컬러 필터에 의한 입사 광자 수의 손실이 부득이하게 되는 케이스가 많다. 이 때문에 예를 들어 화소 사이즈의 확대에 의해 입사 광자 수를 증가시키는 것이 곤란한 소형의 이미지 센서는, 감도 향상의 점에서 불리해지고 있다.

또한 베이어 배열의 컬러 필터가 사용되는 경우, 해상도는 실제의 화소수의 1/4이 되어, 고해상도화에는 불리하다. 또한 색 무아레나 위색에 대한 저역 통과 필터 처리에 의해 해상도가 저하되는 경우도 있다.

이러한 상황을 감안하여 본 개시에서는, 고감도화, 고해상도화를 실현할 수 있는 기술을 제안한다.

본 기술에 관한 화상 처리 방법은, 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서를 사용한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고, 검출한 물체의 화소 범위 내에 해당하는 상기 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행한다.

촬상을 행하는 이미지 센서로서의 어레이 센서는, 일부에 컬러 필터가 배치되고, 다른 것은 컬러 필터가 배치되어 있지 않은 화소로 한다. 따라서 당해 다른 화소로부터는 휘도 정보만이 얻어지는데, 이에 대하여 착색 처리를 행함으로써 컬러 화상을 생성한다. 이 경우에, 물체 검출을 행함과 함께, 그 물체의 화소 범위의 착색을 위해 컬러 필터를 배치한 화소에 의한 색채 정보 취득점의 정보를 사용하도록 한다.

상기한 본 기술에 관한 화상 처리 방법에 있어서는, 상기 착색 처리에서는, 검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리에 의해 후보 색을 설정하고, 상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 후보 색의 선정을 행하여, 검출한 물체의 화소 범위의 착색을 행하는 것을 생각할 수 있다.

즉 착색 처리에서는, 먼저 화상 내의 물체 검출을 행하고, 물체의 클래스(종별)에 따라 후보 색을 설정한다. 후보 색 중에서, 색채 정보 취득점에서 얻어진 색 정보를 사용함으로써 실제의 색에 가까운 후보 색을 선정한다.

본 기술에 관한 센서 장치는, 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서와, 상기 어레이 센서에 의한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고, 검출한 물체의 화소 범위 내에 해당하는 상기 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행하는 연산부를 구비한다.

연산부는, 컬러 필터가 배치된 화소에 의해 형성되는 색채 정보 취득점을 갖는 어레이 센서에 의해 촬상된 화상(화상 신호)에 대하여 처리를 행한다. 이 경우에, 물체 검출을 행함과 함께, 그 물체의 화소 범위의 착색을 위해 컬러 필터를 배치한 화소에 의한 색채 정보 취득점의 정보를 사용하도록 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리에 의해 후보 색을 설정하고, 상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 후보 색의 선정을 행하여, 검출한 물체의 화소 범위의 착색 처리를 행하는 것을 생각할 수 있다.

연산부는, 어레이 센서에 의해 얻어진 화상 내의 물체 검출을 행하고, 물체의 클래스(종별)에 따라 후보 색을 설정한다. 후보 색 중에서, 색채 정보 취득점에서 얻어진 색 정보를 사용함으로써 실제의 색에 가까운 후보 색을 선정한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 선정한 후보 색에 기초하여 컬러 레이어를 생성하고, 컬러 레이어를 상기 어레이 센서로부터 얻어진 휘도 정보 화상과 합성함으로써 컬러 화상을 생성하는 것을 생각할 수 있다.

즉 착색 처리에서는, 컬러 레이어와 휘도 정보 화상의 합성을 행하여 컬러 화상을 생성한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 연산부는, 상기 어레이 센서로부터 얻어지는 휘도 정보 화상에 대하여, 상기 색채 정보 취득점에 해당하는 화소의 휘도 보정을 행한 상태에서, 휘도 정보 화상과 컬러 레이어의 합성을 행하는 것을 생각할 수 있다.

휘도 정보 화상에 있어서 색채 정보 취득점으로 되어 있는 화소는, 컬러 필터가 배치된 화소이기 때문에, 다른 화소에 비하여 저감도로 되어 있다. 그래서 휘도 보정을 행한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 색채 정보 취득점을 형성하지 않는 화소의 총 면적은, 상기 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하도록 되어 있는 것을 생각할 수 있다.

어레이 센서에 있어서는, 컬러 필터가 배치되어 색채 정보 취득점을 구성하는 화소(이하 「컬러 화소」라고도 함)와, 컬러 필터가 배치되어 있지 않은 화소(이하 「클리어 화소」라고도 함)가 마련되게 되는데, 전체 유효 화소 중에서, 클리어 화소의 총 면적이 25％를 초과하는 것으로 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 이산적으로 배치되어 있도록 하는 것을 생각할 수 있다.

색채 정보 취득점의 한 단위는, 1개 또는 복수의 컬러 화소로 형성된다. 이 한 단위의 색채 정보 취득점은, 1차원 또는 2차원으로 배열된 화소 중에서 이산적으로 배치되도록 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 일정 간격으로 배치되어 있도록 하는 것을 생각할 수 있다.

한 단위의 색채 정보 취득점은, 1차원 또는 2차원으로 배열된 화소 중에서 일정 간격으로 배치되도록 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 비일정 간격으로 배치되어 있도록 하는 것을 생각할 수 있다.

한 단위의 색채 정보 취득점은, 1차원 또는 2차원으로 배열된 화소 중에서 일정 간격으로 하지는 않고, 랜덤하게 배치하거나, 중앙에 집중 배치하거나, 확산적으로 배치하거나, 라인형으로 배치하거나 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성되는 것을 생각할 수 있다.

예를 들어 한 단위의 색채 정보 취득점은, 어레이 센서의 수직 방향, 수평 방향, 또는 경사 방향으로 인접한 2개 이상의 화소로 구성되는 것으로 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성됨과 함께, R 화소, G 화소, B 화소를 포함하도록 하는 것을 생각할 수 있다.

예를 들어 한 단위의 색채 정보 취득점은, 어레이 센서의 수직 방향, 수평 방향, 또는 경사 방향으로 인접한 R(적색) 화소, G(녹색) 화소, B(청색) 화소로 구성되는 것으로 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성됨과 함께, R 화소, G 화소, B 화소, 및 다른 색의 화소를 포함하도록 하는 것을 생각할 수 있다.

예를 들어 한 단위의 색채 정보 취득점은, 어레이 센서의 수직 방향, 수평 방향, 또는 경사 방향으로 인접한 R 화소, G 화소, B 화소 및 다른 색의 화소로 구성되는 것으로 한다.

상기한 본 기술에 관한 센서 장치에 있어서는, 상기 색채 정보 취득점의 한 단위는 1개의 화소로 구성되고, 상기 어레이 센서에 있어서 상기 색채 정보 취득점은 이산적으로 배치되어 있도록 하는 것을 생각할 수 있다.

예를 들어 한 단위의 색채 정보 취득점은, 어떤 색을 투과시키는 컬러 필터가 배치된 1 화소로 구성되고, 이러한 화소가 이산적으로 배치되어 있다.

본 기술에 관한 센서 장치는, 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성되어 있고, 상기 색채 정보 취득점을 형성하지 않는 화소의 총 면적은, 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는 어레이 센서를 갖는다.

즉 컬러 필터가 배치되어 있지 않은 화소(클리어 화소)의 면적이 적어도 1/4를 초과하도록 확보한다.

본 기술에 관한 센서 장치는, 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성되어 있고, 상기 색채 정보 취득점이 이산적으로 배치되어 있는 어레이 센서를 갖는다.

1개 또는 복수의 컬러 화소로 형성되는 한 단위의 색채 정보 취득점은, 1차원 또는 2차원으로 배열된 화소 중에서 이산적으로 배치되도록 한다.

도 1은 본 기술의 실시 형태 센서 장치를 도시하는 블록도이다.
도 2는 기계 학습에 의한 색 생성과 착색의 설명도이다.
도 3은 기계 학습에 의한 컬러화의 설명도이다.
도 4는 기계 학습에 의한 컬러화의 설명도이다.
도 5는 실시 형태의 색채 정보 취득점의 설명도이다.
도 6은 실시 형태의 색채 정보 취득점의 구성의 설명도이다.
도 7은 실시 형태의 색채 정보 취득점과 촬상 화상의 설명도이다.
도 8은 실시 형태의 화상 처리의 흐름도이다.
도 9는 실시 형태의 컬러 레이어의 합성의 설명도이다.
도 10은 실시 형태의 색채 정보 취득점의 설명도이다.
도 11은 실시 형태의 색채 정보 취득점의 비일정 간격 배치예의 설명도이다.
도 12는 실시 형태의 색채 정보 취득점의 비일정 간격 배치예의 설명도이다.
도 13은 실시 형태의 색채 정보 취득점의 일정 간격 배치예의 설명도이다.
도 14는 실시 형태의 색채 정보 취득점의 일정 간격 배치예의 설명도이다.
도 15는 실시 형태의 색채 정보 취득점의 일정 간격 배치예의 설명도이다.
도 16은 실시 형태의 색채 정보 취득점의 비일정 간격 배치예의 설명도이다.
도 17은 실시 형태의 색채 정보 취득점의 비일정 간격 배치예의 설명도이다.
도 18은 실시 형태의 색채 정보 취득점의 비일정 간격 배치예의 설명도이다.
도 19는 실시 형태의 색채 정보 취득점의 복수 화소에 의한 구성예의 설명도이다.
도 20은 실시 형태의 색채 정보 취득점의 복수 화소에 의한 구성예의 설명도이다.
도 21은 실시 형태의 색채 정보 취득점의 복수 화소에 의한 구성예의 설명도이다.
도 22는 실시 형태의 색채 정보 취득점의 단일 화소에 의한 구성예의 설명도이다.
도 23은 실시 형태에 적용할 수 있는 다른 구성예의 블록도이다.
도 24는 실시 형태에 적용할 수 있는 또 다른 구성예의 블록도이다.

이하, 실시 형태를 다음의 순서로 설명한다.

<1. 센서 장치의 구성>

<2. 기계 학습에 의한 착색>

<3. 실시 형태의 센서 구조와 착색 처리>

<4. 색체 정보 취득점의 배치 및 구성>

<5. 센서 장치의 다른 구성예>

<6. 정리 및 변형예>

또한 이하에 설명하는 실시 형태로서는, 촬상 소자 어레이를 갖고, 검출 신호로서 화상 신호를 출력하는 이미지 센서로서의 센서 장치(1)를 예로 든다. 특히 실시 형태의 센서 장치(1)는 화상 해석에 의한 물체 검출 기능을 구비하는 것으로 하고, 인텔리전트 어레이 센서라고 칭할 수 있는 장치이다.

<1. 센서 장치의 구성>

센서 장치(1)의 구성예를 도 1에 도시한다. 또한 도 1에는 센서 장치(1)와 데이터 통신을 행하는 외부 장치로서 프로세서(11), 외부 센서(12)도 도시하고 있다. 프로세서(11)는 센서 장치(1)와 통신 접속되는 온갖 프로세서가 상정된다.

센서 장치(1)는, 하드웨어로서는, 이미지 센서 디바이스, DRAM(Dynamic Random Access Memory) 등의 기억 영역, AI(artificial intelligence) 기능 프로세서로서의 구성 부위를 갖고 있다. 그리고 이들 3개가 3레이어 적층 구조로 되거나, 1레이어로 소위 수평 배치 구성으로 되거나, 혹은 2레이어(예를 들어 DRAM과 AI 기능 프로세서가 동일 레이어) 적층 구조로 되거나 하는 등으로서 일체형의 디바이스로 된다.

도 1과 같이 센서 장치(1)는, 어레이 센서(2), ADC(Analog to Digital Converter)/픽셀 셀렉터(3), 버퍼(4), 로직부(5), 메모리(6), 인터페이스부(7), 연산부(8)를 갖는다.

ADC/픽셀 셀렉터(3), 버퍼(4), 로직부(5)는, 어레이 센서(2)에 의해 얻어지는 검출 신호를 외부로의 출력을 위해 신호 처리하는 신호 처리부(30)가 된다.

어레이 센서(2)는, 검출 소자가 가시광 또는 비가시광의 촬상 소자로 되고, 복수의 촬상 소자가 1차원 또는 2차원으로 배열되어 구성되어 있다. 예를 들어 행방향 및 열방향으로 2차원으로 다수의 촬상 소자가 배열되고, 각 촬상 소자에 있어서의 광전 변환에 의해 이차원 화상 신호를 출력하는 구성으로 된다.

ADC/픽셀 셀렉터(3)는, 어레이 센서(2)에 의해 광전 변환된 전기 신호를 디지털 데이터화하여, 디지털 데이터로서의 화상 신호를 출력한다.

또한 ADC/픽셀 셀렉터(3)는, 어레이 센서(2)의 화소(촬상 소자)에 대한 픽셀 선택의 기능을 가짐으로써, 어레이 센서(2)에 있어서 선택한 화소만에 대하여, 광전 변환 신호를 읽어 내어 디지털 데이터화하여 출력할 수 있게 해도 된다. 즉 ADC/픽셀 셀렉터(3)는, 통상은 1프레임의 화상을 구성하는 유효한 화소 모두에 대하여 광전 변환 신호의 디지털 데이터화 출력을 행하지만, 선택한 화소만에 대한 광전 변환 신호의 디지털 데이터화 출력을 행할 수도 있다.

ADC/픽셀 셀렉터(3)에 의해, 프레임 단위로 화상 신호가 읽어 내어지지만, 이 각 프레임의 화상 신호는 버퍼(4)에 일시 기억되어, 적절한 타이밍에 읽어 내어져 로직부(5)의 처리에 제공된다.

로직부(5)에서는, 입력되는 각 프레임 화상 신호에 대하여 각종 필요한 신호 처리(화상 처리)를 행한다.

예를 들어 로직부(5)에서는, 색 보정, 감마 보정, 색 계조 처리, 게인 처리, 윤곽 강조 처리, 콘트라스트 조정 처리, 샤프니스 조정 처리, 그레이 레벨 조정 처리 등의 처리에 의해 화질 조정을 행하는 것이 상정된다.

또한 로직부(5)에서는 데이터 압축 처리, 해상도 변환, 프레임 레이트 변환, 종횡 비율 변환, 샘플링 레이트 변경 등, 데이터 사이즈를 변경하는 처리를 행하는 것도 상정된다.

이들 로직부(5)에서 행해지는 각 처리에 대해서는, 각각의 처리에 사용하는 파라미터가 설정된다. 예를 들어 색이나 휘도의 보정 계수, 게인값, 압축률, 프레임 레이트, 해상도, 처리 대상의 영역, 샘플링 레이트 등의 설정값이 있다. 로직부(5)에서는, 각각의 처리에 대하여 설정된 파라미터를 사용하여 필요한 처리를 행한다. 본 실시 형태에서는, 이들 파라미터를 연산부(8)가 설정하는 경우가 있다.

로직부(5)에서 처리된 화상 신호는 메모리(6)에 기억된다.

메모리(6)에 기억된 화상 신호는, 필요한 타이밍에 인터페이스부(7)에 의해 프로세서(11) 등에 송신 출력된다.

또한, 메모리(6)로서는 DRAM, SRAM(Static Random Access Memory), MRAM(Magnetoresistive Random Access Memory: 자기 저항 메모리) 등이 상정된다.

또한 MRAM은 자기에 의해 데이터를 기억하는 메모리이고, 자기 코어 대신에 TMR 소자(Tunneling Magnetoresistive)를 사용하는 것으로 알려져 있다. TMR 소자는 수 원자분이라는 극히 얇은 절연물의 층을 자성체로 집은 것으로, 자성체의 층의 자화의 방향에 따라 전기 저항이 변화한다. TMR 소자의 자화의 방향은 전원이 끊어져도 변화하지 않고, 불휘발성의 메모리가 된다. 미세화하면 할수록 기입 전류를 크게 할 필요가 있기 때문에, 메모리 셀을 미세화하기 위해서는, 자계를 사용하지 않고, 스핀이 정렬된 전자를 흘려서 기입하는 스핀 주입 자화 반전 방식(STT: Spin Torque Transfer)을 사용한 STT-MRAM이 알려져 있다.

물론 메모리(6)의 구체예로서는, 이들 이외의 기억 소자여도 된다.

센서 장치(1)의 외부의 프로세서(11)에서는, 센서 장치(1)로부터 송신되어 온 화상 신호에 대하여, 화상 해석, 화상 인식 처리를 행하여, 필요한 물체 검출 등을 실행할 수 있다. 혹은 프로세서(11)는 화상 신호의 기억, 통신, 표시 등을 위한 신호 처리를 행하는 것으로 해도 된다.

프로세서(11)는 외부 센서(12)의 검출 정보를 참조할 수도 있다.

또한, 프로세서(11)는 유선 또는 무선으로 센서 장치(1)와 접속되는 것을 생각할 수 있다.

이 프로세서(11)는 센서 장치(1)와 공통의 하우징에 마련되는 것을 생각할 수 있다. 예를 들어 센서 장치(1)를 장비하는 촬상 장치나 단말 장치 내의 프로세서로 여겨지는 것이 상정된다.

혹은 또한, 프로세서(11)는 센서 장치(1)와는 별체의 장치에 마련되는 것이어도 된다. 예를 들어 센서 장치(1)를 장비하는 촬상 장치나 단말 장치와 케이블이나 무선 통신 등으로 접속되는 정보 처리 장치, 단말 장치, 화상 편집 장치, 모니터 장치, 통신 장치 등에 내장되는 것이어도 된다.

또한 프로세서(11)는, 예를 들어 클라우드 컴퓨팅 시스템에 있어서의 프로세서로 여겨지고, 센서 장치(1) 혹은 센서 장치(1)를 내장하는 기기 사이에서 네트워크 통신이 행해지는 것이어도 된다.

연산부(8)는 예를 들어 1개의 AI 프로세서로서 구성된다. 그리고 실행 가능한 연산 기능으로서 도시하는 바와 같이 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84), 색채 처리부(85)를 구비한다. 또한 이들 연산 기능이 복수의 프로세서에 의해 구성되어도 된다.

키 프레임 선택부(81)는, 소정의 알고리즘 또는 지시에 따라, 동화상으로서의 화상 신호의 프레임 내에서 키 프레임을 후술하는 알고리즘에 의해 선택하는 처리를 행한다.

물체 영역 인식부(82)는, 어레이 센서(2)에 의해 광전 변환되어, ADC/픽셀 셀렉터(3)에 의해 읽어 내어지는 화상 신호의 프레임에 대하여, 검출의 후보가 되는 물체의 영역의 검출이나, 검출 대상의 물체에 대하여 화상(프레임) 내에서의 당해 물체의 면적의 인식 처리를 행한다.

화상 신호로부터 검출되는 물체란, 화상으로부터의 인식을 목적으로 하여 검출 대상이 될 수 있는 물체를 말한다. 센서 장치(1)나 프로세서(11)의 검출의 목적, 처리 능력, 애플리케이션 종별 등에 따라, 어떠한 물체가 검출 대상으로 되는지는 다르지만, 온갖 물체가, 여기서 말하는 검출 대상의 물체로 될 가능성이 있다. 어디까지나 일부이지만 예시하면, 동물, 이동체(자동차, 자전거, 항공기 등), 자연물(야채, 식물 등), 공업 제품/부품, 건조물, 시설, 산, 바다, 강, 별, 태양, 구름 등이 해당할 가능성이 있다.

클래스 식별부(83)는, 물체 영역 인식부(82)가 검출한 물체에 대하여 클래스 분류를 행한다.

클래스란, 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들어 「사람」 「자동차」 「비행기」 「배」 「트럭」 「새」 「고양이」 「개」 「사슴」 「개구리」 「말」 등과 같이 검출해야 할 물체를 클래스로 나누는 것이다.

파라미터 선택부(84)는, 각 클래스에 따른 신호 처리용의 파라미터를 기억하고 있고, 클래스 식별부(83)가 식별한 검출 물체의 클래스나 그 면적 등을 사용하여, 대응하는 1개 또는 복수의 파라미터를 선택한다. 그리고 그 1개 또는 복수의 파라미터를 로직부(5)에 설정한다.

색채 처리부(85)는, 상세하게는 후술하지만, 어레이 센서(2)에 의해 얻어진 화상 신호에 대하여 착색 처리를 행하는 기능이다.

본 실시 형태의 경우, 어레이 센서(2)로부터는 흑백 화상으로서의 각 프레임의 화상 신호가 취득된다. 그 화상 신호에 대하여 착색 처리를 행하여 컬러 화상을 생성한다. 그 때문에 기계 학습에 기초한 후보 색의 설정이나, 후술하는 색채 정보 취득점(90)에 의한 색 정보를 사용한 후보 색의 선정을 행하여, 착색된 화상 신호를 생성한다.

또한 본 개시에서 말하는 흑백 화상이란, 단순히 백색과 흑색의 2계조만의 화상을 가리키는 것은 아니고, 다계조의 휘도 정보에 의한 화상, 소위 그레이 스케일도 포함하는 것이다.

연산부(8)에 의한 이들 기능은, 통상 어레이 센서 내에서는 행하지 않은 처리이며, 본 실시 형태에서는, 물체 검출이나 클래스 인식, 착색 처리 등을 어레이 센서 내에서 실행한다. 이에 의해, 프로세서(11)에 공급하는 화상 신호를, 고품질의 것으로 한다.

또한 인터페이스부(7)는, 프로세서(11)에 화상 신호를 출력하는 것 외에, 연산부(8)에서 검출된 물체의 정보, 클래스의 정보, 검출 물체 수, 선택한 파라미터의 정보 등을, 예를 들어 메타데이터로서 화상 신호와 함께 출력하거나, 혹은 화상 신호와는 독립적으로 출력할 수 있다. 또한 예를 들어 클래스의 정보만을 출력하는 등과 같은 것도 가능하다.

또한 예를 들어 프로세서(11) 측이, 인터페이스부(7)에 대하여 필요한 정보를 지시하고, 인터페이스부(7)가 그에 따른 정보를 출력하는 것도 생각할 수 있다.

여기서, 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84)에 의한 물체 검출 및 파라미터 제어에 대하여 간단하게 설명해 둔다.

키 프레임 선택부(81)는, 키 프레임 선택 알고리즘에 따른 타이밍에 키 프레임을 선택하는 처리를 행한다.

센서 장치(1)는 어레이 센서(2)의 픽셀 어레이 출력 신호인 프레임 단위의 화상 신호로부터, 키 프레임을 선택하여, 화상 인식을 행함으로써, 촬상 대상의 피사체의 클래스를 인식하게 된다. 키 프레임의 선택은 키 프레임 선택 알고리즘에 의해 행해지고, 이에 의해 정지 화상(어느 1프레임)이 선택된다.

키 프레임 선택 알고리즘의 예를 든다.

먼저, 지정한 시간의 간격마다 1프레임 선택하는 방법이 있다. 예를 들어 30초 간격으로 1프레임을 키 프레임으로 하는 등이다. 물론 30초라는 것은 일례이다.

또한 센서 장치(1)의 외부(프로세서(11) 등)로부터의 명령에 의한 타이밍으로서 키 프레임을 선택하는 것도 생각할 수 있다. 예를 들어 센서 장치(1)가 탑재되어 있는 디바이스, 기기 측으로부터의 지시에 따른 것으로 한다. 예를 들어 센서 장치(1)가 자동차에 탑재되어 있는 케이스에서, 주차장에 정지하고 있었지만, 주행을 개시한 타이밍 등에서 키 프레임을 선택하는 등이다.

또한 키 프레임의 선택 방법을 상황에 따라 변화시켜도 된다. 예를 들어 센서 장치(1)가 자동차에 탑재되는 경우에, 정차 시, 통상 주행 시, 고속 주행 시에 키 프레임의 간격을 변경하는 등이다.

키 프레임이 선택되면, 물체 영역 인식부(82)는 키 프레임 내의 물체의 후보가 되는 위치의 검출을 행한다.

즉 물체 영역 인식부(82)는 키 프레임의 화상에 있어서 검출해야 할 물체의 후보를 탐색하여, 1개 또는 복수의 후보 위치(화상 내의 위치 좌표)를 구한다.

클래스 식별부(83)는 검출 물체의 클래스 분류를 행한다. 즉 물체의 후보 각각에 대하여 클래스 식별을 행하고, 분류한다.

상술한 바와 같이 클래스란 화상 인식을 사용하여 인식된 물체의 카테고리이다. 예를 들어 검출한 물체에 대하여 「사람」 「꽃」과 같은 클래스 식별이 행해진다.

파라미터 선택부(84)는, 클래스 식별 결과로서 얻어진 클래스에 따른 파라미터 제어를 행한다.

예를 들어 파라미터 선택부(84)는, 물체의 클래스, 수, 면적 등에 기초하여 파라미터 세트를 선택한다.

화상 내에 예를 들어 1개의 클래스가 존재하는 경우에는, 파라미터 선택부(84)는 그 클래스에 대응하는 파라미터 세트를 선택한다. 예를 들어 식별된 클래스 중에 「사람」이 존재했을 경우, 파라미터 선택부(84)는 사람의 화상에 적합한 파라미터 세트를 선택한다.

화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 이하의 예를 생각할 수 있다.

예를 들어, 각 클래스 중 가장 물체의 수가 많은 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

또는, 화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 가장 면적이 큰 물체의 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

또는, 화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 클래스마다 면적의 총계가 가장 커지는 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

또는, 화면 내에 복수 종류의 클래스의 물체가 존재하는 경우에는, 클래스마다의 물체의 수와 면적의 총계(또는 최댓값)로부터, 최우선의 클래스를 구하고, 그 클래스에 대응하는 파라미터 세트를 선택하는 것을 생각할 수 있다.

물론 그 밖에도 파라미터 세트의 선택 방법은 각종 존재하지만, 어쨌든 화면 내에서 지배적인 물체, 혹은 우선하여 검출해야 할 물체의 클래스에 따른 파라미터 세트가 선택되도록 하면 된다.

그리고 파라미터 선택부(84)는, 선택한 파라미터 세트를 로직부(5)에 설정하는 처리를 행한다.

이에 의해 로직부(5)에서는 이후, 순차 입력되는 각 프레임의 화상 신호에 대하여, 설정된 파라미터 세트를 사용하여 각종의 화상 처리를 행한다.

처리된 화상 신호나 설정된 파라미터, 혹은 식별된 클래스의 정보 등은 DRAM(6)에 일시적으로 기억된다.

센서 장치(1)는, 프로세서(11)의 요구에 따라 화상 신호(정지 화상, 동화상), 클래스 식별 정보(클래스, 오브젝트 수 등), 사용된 파라미터 세트 등의 정보의 전부 또는 적어도 어느 것을 출력하게 된다.

즉 메모리(6)에 일시 기억된 정보 중 어느 것이, 프로세서(11)의 요구에 따라 인터페이스부(7)에 의해 읽어 내어져 송신된다.

또한, 이 처리는, 연산부(8)의 제어에 의한 것으로 해도 되지만, 인터페이스부(7)를 통한 프로세서(11)에 의한 메모리(6)에 대한 액세스에 의해 실행되는 것이어도 된다.

이상의 처리에 의해, 프로세서(11)에는, 화상에 포함되는 물체로서의 클래스의 존재에 따라 파라미터 설정이 이루어진 화상 신호가 공급된다. 그 화상 신호는, 당해 클래스에 적합한 화질이 되도록 화상 처리가 행해진 화상 신호이거나, 당해 클래스의 물체 검출에 적합한 화상 처리가 행해진 화상 신호이거나 하는 것이 된다.

또한, 이상에서는 연산부(8)가 클래스에 따라 로직부(5)의 파라미터를 설정하는 것으로 했지만, 이 처리는 행해지지 않아도 된다.

<2. 기계 학습에 의한 착색>

여기서 본 개시의 기술에 이르는 사정에 대하여 설명한다.

상술한 바와 같이 이미지 센서의 분야에서는, 고감도화, 고해상도화라는 요구가 존재한다.

먼저 고감도화라는 점에 대해서는, 촬상 소자에 대한 입사 광자 수를 증가시키는 것이 필요하게 된다.

입사 광자 수를 증가시키는 데는, 화소 사이즈를 크게 하거나, 입사 광자 손실을 줄이는 것을 생각할 수 있다. 화소 사이즈를 고정으로 하는 경우에는, 입사 광자 손실의 저감이 중요해진다.

여기서 입사 광자 손실의 요인으로서는 이하가 있다.

· 마이크로렌즈의 표면 반사

· 컬러 필터에 의한 흡수

· 배선층에 있어서의 반사·흡수

· 절연막/실리콘 계면에 있어서의 반사

이들 중 입사광 손실의 요인으로서는, 컬러 필터가 가장 크다. 컬러 필터에서는 약 66％의 손실이 발생한다. 그러나, 비용적인 면이나 색 재현성의 우위성에 의해, 컬러 필터 방식은 널리 채용되고 있다.

또한 고해상도화(고정밀화)라는 점에서 생각하면, 컬러 이미지 센서에서는, 동일한 화소수의 흑백 이미지 센서와 비교하여 해상도가 1/4로 낮아진다.

많은 이미지 센서에는 베이어 배열로 R/G/B/G의 컬러 필터가 사용되고 있다.

원래 색 정보가 아니라 휘도만을 취득하는 화소에 R, G, B의 필터를 붙이고 있고, 인접하는 각 R, G, B의 휘도값을 합성하여 컬러화를 행하고 있다.

결과적으로, 베이어 배열을 적용한 센서의 해상도는, 원래의 센서의 1/4밖에 되지 않는다는 구조상의 문제를 갖는다.

또한 이것에 의해, 피사체에는 실제로 없는 색이 발생하여, 위색이 나타나거나, 반복 모양과 이미지 센서의 화소 배열이 간섭하여 색 무아레를 발생시키거나 하는 경우도 생긴다.

그 때문에, 저역 통과 필터 처리를 행하여 화상을 흐리게 함으로써 상기의 문제를 경감하고 있지만, 이것이 더욱 해상도를 낮추는 원인이 되기도 한다.

여기서 시점을 바꾸면, 컬러 필터를 마련하지 않고, 이미지 센서로부터 휘도 정보 화상을 취득하고, 이것에 의한 흑백 화상(그레이 스케일 화상을 포함함)에 착색 처리를 실시함으로써, 고감도, 고해상도의 컬러 화상 신호를 얻는 것이 가능하다고 생각할 수 있다.

근년의 화상 처리에서는, 기계 학습에 의한 흑백 사진의 컬러화가 실현되고 있다.

즉 기계 학습에 의한 물체 검출을 사용하여, 흑백 사진의 착색을 행한다. 물체 검출에서는 대량으로 사물을 사전에 학습해 둠으로써, 입력 화상 중에서 물체의 위치와 카테고리(즉 상술한 「클래스」) 검출을 행한다. 이 물체 검출을 위한 학습 시에 물체의 형상과 동시에 색에 대해서도 미리 학습을 행해 둔다.

흑백 화상을 입력으로 하여 물체 검출을 행하고, 먼저 물체의 클래스를 추정함으로써, 해당 클래스가 갖는 색에 대해서도 마찬가지로 학습 데이터로부터 추측하는 것이 가능하게 된다.

또한, 이 기계 학습에는, 다층 뉴럴 네트워크를 사용한, 심층 학습, 소위 딥 러닝에 의한 물체 검출 방법도 포함한다. 이 착색을 위한 기계 학습 및 자동 착색에 대해서는 다양한 알고리즘이 알려져 있다.

그러나 현 상황에서, 기계 학습에 의한 착색에는 한계가 있다.

예를 들어 도 2의 A는 흑백 화상을 모식적으로 도시하고, 도 2의 B, 도 2의 C, 도 2의 D는 각각 기계 학습에 기초하여 자동 착색된 화상을 모식적으로 도시하고 있다. 이들 도면에서는 해칭이나 농담 등에 따라 상이한 색을 표현하고 있는 것으로 한다.

기계 학습에 기초한 자동 착색으로는, 예를 들어 심층 학습의 물체 검출에 의해 화상의 화소(픽셀) 단위로 부위 인식을 행한다. 그리고 부위마다 학습 데이터로부터 후보 색을 추정하고, 전역을 착색한다. 이때, 예를 들어 도 2의 B, 도 2의 C, 도 2의 D와 같이 상이한 복수의 후보 색이 도출되고, 소정의 알고리즘으로 가장 확실한 듯한 후보 색이 선택되어, 착색 처리된 컬러 화상으로서 출력된다.

그런데, 이렇게 후보 색이 반드시 일의적으로 결정되는 것은 아니고, 또한 선택 알고리즘도 한계가 있기 때문에, 출력되는 컬러 화상은, 실제의 색과는 크게 다른 상태가 되는 경우가 있다.

예를 들어 도 3의 A는 실제의 화상, 도 3의 B는 도 3의 A의 휘도 정보만으로 흑백화된 화상, 도 3의 C는 기계 학습에 의한 자동 착색된 화상을 모식적으로 도시하고 있다.

도 3의 C의 화상은, 넥타이나 배경의 커튼의 색이, 실제와는 상이한 색으로 되어 있다.

또한, 학습에 의한 색의 추정이 극히 곤란한 화상도 있다. 예를 들어 도 4의 A는 컬러 팔레트의 실제의 화상, 도 4의 B는 도 4의 A의 휘도 정보만으로 흑백화된 화상, 도 4의 C는 기계 학습에 의한 자동 착색된 화상을 모식적으로 도시하고 있다. 컬러 팔레트의 색의 배치는 기계 학습으로 추정하는 것이 극히 곤란하다. 이 때문에, 자동 착색으로 컬러화된 화상을 실제의 화상과 일치시키는 것은 어렵다.

이러한 점에서 기계 학습에 기초한 자동 착색으로는 색의 재현성에 한계가 있다고 말하지 않을 수 없다.

그래서 본 실시 형태에서는 다음의 사고 방식을 채용한다.

어레이 센서(2)에 있어서 컬러 필터를 제거하거나, 또는 클리어(무색) 필터로 함으로써, 입사 광자 수를 증가시켜, 고감도화를 행하여, 흑백 화상을 얻도록 한다. 또한 이에 의해 고해상도화를 도모하고, 또한 색 무아레나 위색을 해소함으로써, 저역 통과 필터 처리에 의한 해상도 저하가 발생하지 않도록 한다.

또한 흑백 화상으로부터 컬러 화상을 얻기 위해 기계 학습에 기초한 착색 처리를 행하지만, 그때, 일부의 화소로부터는 실제의 색 정보를 취득하고, 그것을 반영시킴으로써, 보다 재현성이 높은 자동 착색을 실현한다.

실제의 색 정보를 취득하기 위해서는, 어레이 센서(2)는, 컬러 필터를 전혀 마련하지 않는 것으로 하는 것은 아니고, 화소의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 이 컬러 필터 배치 화소에 의해 색채 정보 취득점을 형성되도록 한다.

이러한 사고 방식으로, 통상 사용되고 있는 베이어 배열이나, 다른 유색 컬러 필터 배열을 사용한 이미지 센서와 비교하여 고감도화, 고해상도화를 실현함과 함께, 색의 재현성을 확보한다.

<3. 실시 형태의 센서 구조와 착색 처리>

실시 형태의 센서 장치(1)에 있어서의 어레이 센서(2)의 화소 배열 상에 형성되는 색채 정보 취득점(90)의 예를 도 5에 도시한다.

도 5는 어레이 센서(2)의 화소 어레이면(2A)을 나타내고 있고, 격자 무늬의 하나 하나가, 휘도 정보를 얻는 1개의 화소(픽셀)인 것으로 한다.

또한, 실제의 이미지 센서에서는, 휘도 정보의 취득에 사용되는 유효 화소뿐만 아니라, 주위 가장자리부 등에 더미 화소가 마련되는 경우도 있지만, 본 개시에서는 설명상 더미 화소를 무시하고, 유효 화소의 범위에서 설명을 행하는 것으로 하고 있다.

도 5에서는 유효 화소로 되는 전체 화소 범위 내에 있어서, 수직 방향 및 수평 방향으로 일정 간격으로 색채 정보 취득점(90)(사선을 부여한 화소)이 마련되어 있는 상태를 나타내고 있다.

도 5의 파선 영역 AX를 확대한 것이 도 6의 A이다.

도 6의 A는 베이어 배열의 R 화소, G 화소, B 화소, G 화소의 4개의 화소로 한 단위의 색채 정보 취득점(90)이 형성되어 있는 예이다.

사선 및 “R”을 부여한 격자 무늬가 R 화소이다. 사선 및 “G”을 부여한 격자 무늬가 G 화소이다. 사선 및 “B”을 부여한 격자 무늬가 B 화소이다.

R 화소란 입사 광로에 R 광만을 투과시키는 컬러 필터가 배치된 화소, G 화소란 입사 광로에 G 광만을 투과시키는 컬러 필터가 배치된 화소, B 화소란 입사 광로에 B 광만을 투과시키는 컬러 필터가 배치된 화소이다.

사선을 부여하지 않은 격자 무늬로 나타내는 화소는 클리어 화소이다.

클리어 화소란, 컬러 필터를 배치하지 않은 화소이다. 보다 구체적으로는 필터 부분이 클리어(무색)이며 컬러 필터로서 기능하지 않는 화소나, 혹은 필터 자체가 존재하지 않는 화소를 가리킨다.

또한 클리어 화소에 대하여, 컬러 필터를 배치한 화소를, 컬러 화소라 칭한다. 본 실시 형태의 경우, 컬러 화소란, 색채 정보 취득점(90)을 구성하는, 컬러 필터가 배치된 화소라는 의미가 된다.

도 6의 A의 R 화소, G 화소, B 화소는 각각 컬러 화소이다. 컬러 화소는, 다른 색의 필터를 배치한 화소도 포함한다.

또한 도 6의 B는 R 화소, G 화소, B 화소의 3개의 화소로 한 단위의 색채 정보 취득점(90)이 형성되어 있는 예이다. 이렇게 색채 정보 취득점(90)은 베이어 배열의 4개의 화소에 의해 구성되는 것으로 한정되는 것은 아니다. 색채 정보 취득점(90)을 각종의 구성예는 후술한다.

도 5, 도 6으로부터 알 수 있는 바와 같이, 화소 어레이면(2A)에는, 이산적으로 색채 정보 취득점(90)이 형성되어 있다.

색채 정보 취득점(90)이란, 컬러 필터를 임의의 배열로 배치한 최소 단위로, 컬러 정보를 취득하는 기능을 갖는다. 이미지 센서 내에서 색채 정보 취득점(90)이 차지하는 영역을 컬러 에어리어, 그 이외의 영역의 투명 필터 또는 필터가 배치되어 있지 않은 영역(클리어 화소의 영역)을 클리어 에어리어로 정의한다.

애플리케이션에 따라 색채 정보 취득점(90)의 배치 장소나 수는 상이하다. 변형에 대해서는 후술한다.

또한 애플리케이션에 따라 이미지 센서의 유효 화소 영역 전체에 차지하는 컬러 에어리어와 클리어 에어리어의 비율도 상이하다.

본 실시 형태의 고감도화와 고정밀화가 효과로서 나타나는 비율로서, 클리어 에어리어는 전체의 25％를 초과하는 면적으로 배치된다.

도 5의 예에서는, 분명히 클리어 에어리어의 비율은 전체의 25％를 초과하는 것으로 되어 있다. 도 6의 A의 예에서 말하면, 64 화소 중, 60 화소가 클리어 화소이므로, 클리어 에어리어는 93.75％이다.

도 7의 A는 어레이 센서(2)에 의해 촬상되는 피사체 화상을 나타내고, 도 7의 B는 이를 도 5와 같은 색채 정보 취득점(90)의 배치 상태와 겹쳐서 나타낸 것이다.

이 경우, 피사체로서 커피 컵과 배경의 나무가 찍혀 있는데, 커피 컵의 화소 범위에 해당하는 에어리어에 몇몇 색채 정보 취득점(90)이 존재하고, 또한 배경의 나무의 화소 범위에 해당하는 에어리어에 몇몇 색채 정보 취득점(90)이 존재하는 것을 알 수 있다.

1개의 색채 정보 취득점(90)은, 도 6의 A, 도 6의 B와 같이 R 화소, G 화소, B 화소를 포함하여 구성되기 때문에, 색채 정보 취득점(90)을 구성하는 화소로부터 얻어지는 색 정보로서, 실제의 컵의 색이나 배경의 나무의 색을 판정할 수 있게 된다.

센서 장치(1)에서는, 이러한 색채 정보 취득점(90)을 배치한 어레이 센서(2)를 사용함과 함께, 연산부(8)에서는 도 8과 같은 착색 처리를 실행한다.

도 8의 스텝 S100으로서 어레이 센서(2)로부터 1프레임 단위의 화상 신호의 출력이 개시된 후에 있어서, 연산부(8)에서 실행되는 처리를 나타내고 있다.

또한, 어레이 센서(2)로부터 얻어지는 1프레임의 화상 신호는, 휘도 정보만의 흑백(그레이 스케일)으로서의 휘도 정보 화상 신호이다. 단, 색채 정보 취득점(90)에 대해서는, 그 부분의 실제의 색을 나타내는 색 정보를 취득할 수 있게 된다.

이 도 8의 연산부(8)의 처리는, 스텝 S101이 주로 도 1에 도시한 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83)로서의 각 기능에 의해 실행되는 처리이며, 스텝 S102 이후는 주로 색채 처리부(85)의 기능에 의해 실행되는 처리가 된다.

스텝 S101에서 연산부(8)는 물체 검출을 행한다. 즉 어레이 센서(2)로부터 출력된 1프레임의 화상에 대하여 상술한 바와 같이 물체 검출하여, 해당하는 클래스를 판정한다.

스텝 S102에서 연산부(8)는 색 추정을 행한다. 즉 물체마다 판정한 클래스와, 학습 데이터를 사용한 기계 학습의 처리에 의해 당해 물체에 관한 색을 추정한다. 예를 들어 사람의 얼굴이면 얼굴에 적합한 색을 기계 학습에 기초하여 추정한다.

스텝 S103에서 연산부(8)는 화상 내의 각 에어리어, 즉 화상 내에서 검출된 물체의 에어리어마다, 각각 기계 학습의 결과를 사용하여 추정한 복수의 후보 색을 설정한다.

예를 들어 도 7의 A와 같은 화상이면, 커피 컵이 찍혀 있는 화소 범위로서의 에어리어에 있어서, 몇몇 후보 색을 설정하고, 배경이 찍혀 있는 화소 범위로서의 에어리어에 있어서, 몇몇 후보 색을 설정하게 된다.

스텝 S104에서 연산부(8)는 화상 내의 각 에어리어 중 1개의 에어리어를 처리 대상으로 하고, 그 에어리어 내에 색채 정보 취득점(90)이 존재하는지 여부를 확인한다. 예를 들어 도 7의 B의 커피 컵에 해당하는 화소 범위로서의 에어리어에 색채 정보 취득점(90)이 존재하는지 여부를 확인한다.

처리 대상으로 한 에어리어에 색채 정보 취득점(90)이 존재하면, 연산부(8)는 스텝 S105로 진행하여, 당해 에어리어 내에 해당하는 색채 정보 취득점(90)에 의한 색 정보를 확인한다. 이 색 정보는, 예를 들어 R, G, B의 컬러 화소에 의해 실제로 촬상한 색 정보가 된다. 그리고 실제의 색 정보를 참조하여, 그 에어리어의 후보 색 중에서 가장 가까운 색의 후보 색을 선정한다.

이 경우, 후보 색의 선정뿐만 아니라, 후보 색으로 된 색의 보정을 행하도록 해도 된다.

만약 처리 대상으로 한 에어리어에 색채 정보 취득점(90)이 존재하지 않으면, 연산부(8)는 스텝 S106으로 진행하여, 가장 가능성이 높은 색으로 된 후보 색을 선정한다.

또한 스텝 S106에서는, 물체 검출이 되지 않은 에어리어이며 후보 색을 설정할 수 없었던 에어리어에 대하여, 가능성이 높은 색을 선정하는 처리를 행하도록 해도 된다.

스텝 S107에서 연산부(8)는 화상 내의 각 에어리어에 대하여, 이상의 스텝 S105 또는 스텝 S106의 처리를 종료했는지 여부를 확인하고, 아직 미처리된 에어리어가 있으면, 스텝 S104로 되돌아가서, 그 에어리어에 대하여 상기 처리를 행한다.

또한 물체 인식을 할 수 없는 에어리어에 대해서는, 휘도값 등에 기초하여 1개의 에어리어의 범위를 정하고, 그 에어리어 내에 대해서는 색채 정보 취득점(90)의 유무를 스텝 S104에서 판정한다. 그리고 존재하는 경우에는 스텝 S105에서 색채 정보 취득점(90)에 의한 색 정보에 기초하여 색 설정을 행하도록 하면 된다. 또한 색채 정보 취득점(90)이 존재하지 않으면 스텝 S106에서 가능성이 높은 색을 추정하는 처리를 행하면 된다.

모든 에어리어에 대하여 스텝 S105 또는 스텝 S106의 처리를 종료하면, 연산부(8)는 스텝 S107로부터 스텝 S108로 진행하여, 컬러 레이어의 생성을 행한다.

컬러 레이어란, 각 화소의 채도 정보를 갖는 화상 레이어 정보이다. 즉 연산부(8)는 각 에어리어에 대하여 스텝 S105, S106에서 선정한 색에 의해, 1프레임의 각 화소의 채도 정보를 갖는 컬러 레이어를 생성한다.

스텝 S109에서 연산부(8)는 어레이 센서(2)에 의해 얻어진 휘도 정보 화상 신호에 대하여 색채 정보 취득점(90)을 구성하는 화소의 휘도 정보의 보정을 행한다.

색채 정보 취득점(90)을 구성하는 화소는 컬러 필터가 배치된 컬러 화소이고, 입사 광자 수가 클리어 화소와 비교하여 저하되어 있다.

따라서 휘도 정보 화상의 화소값(화소마다의 휘도값)으로 비교한 경우, 색채 정보 취득점(90)을 구성하는 화소는 주위의 클리어 화소에 비하여 휘도값이 저하되어 있게 된다.

그래서 1프레임의 휘도 정보 화상 신호에 있어서, 색채 정보 취득점(90)을 구성하는 화소에 대한 휘도값을 상승시키도록 보정한다. 이는 클리어 화소와 동등한 조건으로 입사 광자 수가 얻어진 상태로 보정하게 된다.

예를 들어 컬러 필터에 의한 입사 광자 수의 손실이 66％이고, 본래의 휘도값의 34％가 되어 있는 것으로 하는 경우, 그 66％의 손실이 발생하지 않는 값이 되도록 휘도값을 보정한다.

또한 주위의 클리어 화소의 휘도값을 사용한 보간 처리에 의해 컬러 화소의 휘도값을 보정해도 된다.

스텝 S110에서 연산부(8)는 흑백 화상 신호에 대하여 컬러 레이어를 합성하여, 착색 처리된 컬러 화상을 생성한다.

도 9에 합성된 이미지를 나타낸다. 어레이 센서(2)로부터 출력되는 휘도 정보 화상을 흑백 레이어로 하고, 이를 컬러 레이어에 합성함으로써, 착색 화상을 얻는다.

스텝 S111에서 연산부(8)는, 생성한 컬러 화상으로서의 화상 신호를 출력한다. 예를 들어 연산부(8)는 버퍼(4)에 컬러 화상 신호를 전송한다.

이 컬러 화상 신호는 로직부(5)에서 처리되어, 메모리(6), 인터페이스부(7)를 통해 프로세서(11)에 송신된다.

이러한 컬러 화상 신호는, 단순히 기계 학습에 기초하여 휘도 정보 화상을 착색한 것은 아니고, 색채 정보 취득점(90)에서 얻어지는 실제의 색을 확인하고, 그것을 반영한 색을 선정하여 착색 처리한 것이 되기 때문에, 극히 색 재현성이 우수한 것이 된다.

<4. 색체 정보 취득점의 배치 및 구성>

이하에서는, 색채 정보 취득점(90)의 배치예나 구성의 변형에 대하여 설명한다.

색채 정보 취득점(90)의 배치예로서 도 5에는, 화소 어레이면(2A) 내에서 일정 간격으로 배치하는 예를 나타냈지만, 색채 정보 취득점(90)의 배치는, 애플리케이션에 따라, 즉 센서 장치의 용도, 사용 목적, 컬러 화상 요구 정밀도 등에 따라 설정되는 것이 바람직하다.

또한, 한 단위의 색채 정보 취득점(90)의 구성도 다양하다.

도 10에는 색채 정보 취득점(90)이 비일정 간격으로 배치된 일례를 나타내고 있다.

또한 이 예에서는 한 단위의 색채 정보 취득점(90)은, 도 6의 B에 나타낸 바와 같이 R 화소, G 화소, B 화소의 인접한 3개의 화소로 구성되는 것으로 하였다.

어쨌든, 색채 정보 취득점(90)의 배치나 구성은, 색채 정보 취득점(90)을 형성하는 화소를 가지면서, 클리어 에어리어의 총 면적은, 어레이 센서(2)의 전체 유효 화소의 총 면적 중 25％를 초과하는 것으로 하면서, 애플리케이션에 따른 배치가 되도록 하는 것이 바람직하다.

또한 색채 정보 취득점(90)의 배치나 구성은, 어레이 센서(2)의 화소 어레이면(2A) 상에서 이산적으로 배치되는 것이 바람직하다.

각종의 예를 들어 설명한다.

도 11은 센서 장치(1)가 주택의 현관 등에 설치되는 도어 카메라에 사용되는 것을 상정한 예이다.

도면은 모식적으로 화소 어레이면(2A)에 있어서 색채 정보 취득점(90)을 구성하는 컬러 화소의 위치를 나타내고 있다. 여기서는, 예를 들어 도 6의 A와 같이 4 화소로 한 단위의 색채 정보 취득점(90)이 형성되는 것으로 하고 있다.

또한, 어디까지나 설명을 위한 모식도이기 때문에, 4 화소에 의한 색채 정보 취득점(90)을 확대하여 나타내고 있다. 실제의 한 단위의 색채 정보 취득점(90)의 면적은, 도시하는 면적보다도 훨씬 작은 것이 상정된다.

도어 카메라의 경우, 얼굴의 화상이 중요해진다. 실내의 사람에게 방문자 등의 얼굴이 색을 포함하여 정확하게 얻어질 것이 요구된다. 또한 시큐리티 게이트 등의 얼굴 인증을 위한 카메라를 생각하면, 얼굴 인식/대조를 위해, 마찬가지로 얼굴의 부분의 화상이 중요하다.

그래서 그러한 용도의 경우, 도시한 바와 같이, 얼굴이 찍히는 중앙 부분에 중점적으로 색채 정보 취득점(90)을 배치하는 것을 생각할 수 있다.

도 12는 차량 탑재용 카메라를 상정하고 있다. 차량 탑재용 카메라로서 5대의 카메라를 탑재하고 있는 것으로 한다. 도면에서는, 전방 중앙을 촬상하는 카메라의 센서 장치(1)의 화소 어레이면(2A1), 전방을 넓은 시야로 촬상하는 카메라의 센서 장치(1)의 화소 어레이면(2A2), 좌측을 촬상하는 카메라의 센서 장치(1)의 화소 어레이면(2A3), 우측을 촬상하는 카메라의 센서 장치(1)의 화소 어레이면(2A4), 후방 카메라의 센서 장치(1)의 화소 어레이면(2A5)을 나타내고 있다.

전방 중앙을 촬상하는 카메라의 센서 장치(1)의 화소 어레이면(2A1)에서는, 중앙에 집중하여 색채 정보 취득점(90)을 배치하여, 진행 방향의 물체의 색 재현 기능을 강화하고 있다.

전방을 넓은 시야로 촬상하는 카메라의 센서 장치(1)의 화소 어레이면(2A2)에서는, 수직 방향의 몇 개의 라인 형상으로 색채 정보 취득점(90)을 배치하여, 좌우 방향으로부터 접근하는 물체에 대하여 색 재현 기능을 강화하고 있다.

좌우 방향의 화소 어레이면(2A3, 2A4)에서는 수직 방향의 몇 개의 라인 형상으로 색채 정보 취득점(90)을 배치하여, 좌측이나 우측에서 주행하는 물체나 통과하는 물체에 대하여 색 재현 기능을 강화하고 있다.

후방 카메라의 센서 장치(1)의 화소 어레이면(2A5)에서는, 전체적으로 색채 정보 취득점(90)을 배치하여, 전체의 색 재현 기능을 넓게 유지할 수 있게 하고 있다.

이상의 도 11, 도 12의 예와 같이 애플리케이션에 따라, 배치하는 위치나 밀도를 설정함으로써, 목적에 적합한 색 재현성을 실현할 수 있다.

이렇게 색채 정보 취득점(90)은, 일정 간격으로 배치하는 예나, 비일정 간격으로 배치하는 예가 있고, 또한 각각 애플리케이션에 따라 다양한 배치를 생각할 수 있다.

예를 들어 색채 정보 취득점(90)을 일정 간격으로 배치하는 경우, 그 배치 간격은 애플리케이션에 따라 다양하게 생각할 수 있다. 도 13, 도 14, 도 15는 간격이 상이함으로써 색채 정보 취득점(90)의 밀도가 상이한 예를 나타내고 있다.

도 13의 A는 소위 4K, 8K 등의 대형 이미지 센서를 채용하는 카메라의 경우나, 원경을 찍는 카메라, 감시 카메라 등에 사용되는 센서 장치(1)를 상정하여, 색채 정보 취득점(90)을 높은 밀도로 배치한 예이다.

예를 들어 도 13의 B는 감시 카메라의 화상을 예시하고 있지만, 이러한 경우, 대상이 되는 사람이 작게 찍히고, 색도 다양하다는 점에서, 색채 정보 취득점(90)을 고밀도로 배치하는 것이 바람직하다.

도 14의 A는 일반적인 민생용 카메라 등에 사용되는 센서 장치(1)를 상정하여, 색채 정보 취득점(90)을 중간 정도의 밀도로 배치한 예이다.

도 14의 B는 일반적인 풍경의 화상을 예시하고 있지만, 상기의 감시 카메라 등과 비교하면, 동등한 밀도일 필요는 별로 없다. 그래서 어느 정도의 색 재현성을 확보할 수 있을 정도의 밀도로 색채 정보 취득점(90)을 배치한다.

도 15의 A는 웹 카메라 등에 사용되는 센서 장치(1)를 상정하여, 색채 정보 취득점(90)을 저밀도로 배치한 예이다.

도 15의 B는 웹 카메라로 촬상되는 화상을 예시하고 있다. 웹 카메라로 그 정도의 색 재현성을 구할 수 없는 용도의 경우, 필요 최저한의 색 재현성을 확보할 수 있는 저밀도로 색채 정보 취득점(90)을 배치하는 것을 생각할 수 있다.

또한 색채 정보 취득점(90)을 비일정 간격으로 배치하는 경우, 그 배치예는 예를 들어 도 16, 도 17, 도 18과 같이 각종 생각할 수 있다.

도 16은 중앙 집중형의 배치예를 나타내고, 상술한 도어 카메라 등에 적합하다.

도 17은 확산형의 배치예를 나타내고, 예를 들어 차량 탑재 카메라의 정면 방향의 카메라 등에 적용할 수 있다.

도 18은 라인형의 배치예를 나타내고, 예를 들어 차량 탑재 카메라의 횡방향의 카메라 등에 적용할 수 있다.

다음으로 색채 정보 취득점(90)의 구성에 대하여 각종의 예를 든다.

먼저 한 단위의 색채 정보 취득점(90)이 복수 화소로 형성되는 예를 나타낸다.

도 19의 A는 한 단위의 색채 정보 취득점(90)을 베이어 배열의 4개의 화소(R 화소, G 화소, B 화소, G 화소)로 형성한 예이다.

도 19의 B는 한 단위의 색채 정보 취득점(90)을 인접하는 16개의 화소로 형성한 예이다. 이 경우, 4개의 R 화소, 4개의 G 화소, 4개의 B 화소, 4개의 G 화소로 색채 정보 취득점(90)을 형성하고 있다.

도 19의 C는 한 단위의 색채 정보 취득점(90)을 인접하는 3개의 화소(R 화소, G 화소, B 화소)로 형성한 예이다.

도 19의 D는 한 단위의 색채 정보 취득점(90)을 인접하는 12개의 화소로 형성한 예이다. 이 경우, 3개의 R 화소, 3개의 G 화소, 3개의 B 화소, 3개의 G 화소로 색채 정보 취득점(90)을 형성하고 있다. 사선을 부여하지 않은 클리어 화소는, 색채 정보 취득점(90)에 포함되지 않는 것으로 생각하면 된다.

도 19의 E는 한 단위의 색채 정보 취득점(90)을 수직 방향으로 인접하여 늘어선 3개의 화소(R 화소, G 화소, B 화소)로 형성한 예이다.

도 19의 F는 한 단위의 색채 정보 취득점(90)을 수평 방향으로 인접하여 늘어선 3개의 화소(R 화소, G 화소, B 화소)로 형성한 예이다.

도 19의 G는 한 단위의 색채 정보 취득점(90)을 수평 방향으로 인접하여 늘어선 9개의 화소(R 화소, G 화소, B 화소, R 화소, G 화소, B 화소, R 화소, G 화소, B 화소)로 형성한 예이다.

도 20의 B, 도 20의 C, 도 20의 D는 예를 들어 도 20의 A의 베이어 배열의 4개의 화소(R 화소, G 화소, B 화소, G 화소)를 기본으로 하여, 한 단위의 색채 정보 취득점(90)의 면적을 확대한 예를 나타내고 있다.

도 20의 B는 베이어 배열의 4개의 화소의 그룹을 수평 수직 방향으로 4개 인접시켜, 한 단위의 색채 정보 취득점(90)을 형성하는 예이다.

도 20의 C는 베이어 배열의 4개의 화소의 그룹을 수평 수직 방향으로 9개 인접시켜, 한 단위의 색채 정보 취득점(90)을 형성하는 예이다.

도 20의 D는 베이어 배열의 4개의 화소의 그룹을 수평 수직 방향으로 16개 인접시켜, 한 단위의 색채 정보 취득점(90)을 형성하는 예이다.

또한, 한 단위의 색채 정보 취득점(90)은 반드시 R 화소, G 화소, B 화소 모두를 포함하는 것은 아니어도 된다.

도 21의 A는 경사 방향으로 인접하는 2개의 G 화소로 한 단위의 색채 정보 취득점(90)이 형성되는 예이다.

도 21의 B는 경사 방향으로 인접하는 8개의 G 화소로 한 단위의 색채 정보 취득점(90)이 형성되는 예이다.

또한 물론, 도 21의 A, 도 21의 B의 예에서, B 화소, 혹은 R 화소를 사용하는 예도 생각할 수 있다.

도 21의 C는 R 화소, G 화소, B 화소에 더하여 다른 색의 화소를 포함하는 예이다.

또한, 다른 색의 화소란 입사 광로에 당해 다른 색의 광을 투과시키는 컬러 필터가 배치된 화소이다. 여기서는 Y(옐로우) 화소를 예로 하고 있다.

도면과 같이 R 화소, G 화소, B 화소, Y 화소의 4 화소로 한 단위의 색채 정보 취득점(90)이 형성된다.

도 21의 D는 도 21의 C의 구조의 화소 그룹을 4개 인접시켜, 16개의 컬러 화소로 한 단위의 색채 정보 취득점(90)을 형성한 예이다.

여기서는 Y 화소를 예로 들었지만, 다른 색의 화소로서는 마젠타 화소, 시안 화소 등, 다른 색의 화소를 사용해도 된다.

또한 다른 색으로서 Y 화소와 마젠타 화소 등 2종류 이상의 색의 화소를 사용해도 된다.

또한 R 화소, G 화소, B 화소 모두를 포함하지 않아도 된다. 예를 들어 R 화소, G 화소, Y 화소로 한 단위의 색채 정보 취득점(90)이 구성되는 예나, B 화소와 Y 화소로 한 단위의 색채 정보 취득점(90)이 구성되는 예 등도 생각할 수 있다.

색채 정보 취득점(90)에 사용하는 컬러 화소의 색의 조합은, 센서 장치(1)의 용도, 목적 등에 따라 결정되면 된다. 예를 들어 재현성을 확보하고 싶은 색이 특정 색인 경우에는, 그 색에 맞추어 색채 정보 취득점(90)의 구조를 정하면 된다.

이제까지 한 단위의 색채 정보 취득점(90)이 복수의 화소로 구성되는 예를 나타냈지만, 한 단위의 색채 정보 취득점(90)이 1개의 화소로 구성되어도 된다.

도 22의 A는 색채 정보 취득점(90)이 1개의 R 화소로 구성되는 예를 나타내고 있다.

이 경우, 화소 어레이면(2A)에 있어서, 도 22의 B와 같이 1 화소에 의한 색채 정보 취득점(90)이 이산적으로 배치된다.

물론 색채 정보 취득점(90)은 G 화소로 구성하는 것이나, B 화소로 구성하는 것도 있을 수 있다.

또한 1개의 화소에 의한 색채 정보 취득점(90)으로서, 도 22의 C에 나타내는 바와 같이, 각 색의 화소를 배치해도 된다. 즉 R 화소에 의한 색채 정보 취득점(90), G 화소에 의한 색채 정보 취득점(90), B 화소에 의한 색채 정보 취득점(90)을 각각 이산적으로 배치한다.

이상의 각 예와 같이, 색채 정보 취득점(90)의 배치예나, 색채 정보 취득점(90)의 구성예는 다양하며, 예시한 것 이외에도 각종 생각할 수 있다.

<5. 센서 장치의 다른 구성예>

센서 장치(1)의 구성예로서는, 도 1에 한정되지는 않고 다른 예를 생각할 수 있다.

도 23은 단말 장치(100)로서, 센서 장치(1)와는 별체로 연산부(8)가 마련되어 있는 구성예이다. 또한 단말 장치(100)로서는, 정보 처리 단말기, 촬상 장치 단말기 등, 각종을 생각할 수 있다.

연산부(8)는 센서 장치(1)와는 다른 칩으로 되어 단말 장치(100) 내에 마련되고, 센서 장치(1)와 인터페이스부(7)를 통해 통신 가능하게 된다.

그리고 연산부(8)는 색채 처리부(85)로서의 DNN 엔진을 구비함으로써, 상기 도 1의 경우와 마찬가지의 처리를 행할 수 있다.

도 24의 구성예는, 색채 처리부(85)로서의 DNN 엔진을, 센서 장치(1)나 연산부(8)와는 독립된 프로세서 등에 의해 형성되는 경우의 예이다.

예를 들어 단말 장치(100)로서, 센서 장치(1)(연산부(8)를 포함함), 프로세서(11), 외부 센서(12), 및 색채 처리부(85)를 갖는 구성이다.

이 경우에도 색채 처리부(85)는 센서 장치(1)와는 인터페이스부(7)를 통해 통신 가능하게 되고, 연산부(8)와 연계하여 상기 도 1의 구성의 경우와 마찬가지의 처리를 행할 수 있다.

또한 도시는 생략하지만, 도 23과 같이 센서 장치(1)와 연산부(8)가 별체의 구성에 있어서, 또한 색채 처리부(85)가 별체의 프로세서 등에 의해 구성되어도 된다.

또한, 키 프레임 선택부(81), 물체 영역 인식부(82), 클래스 식별부(83), 파라미터 선택부(84) 등에 대해서도, 색채 처리부(85)와 마찬가지로, 센서 장치(1) 밖에, 혹은 연산부(8) 밖에 배치되는 구성으로 하는 것도 생각할 수 있다. 이 점은 도 1의 구성의 변형예로서도 적용할 수 있다.

<6. 정리 및 변형예>

이상의 실시 형태에서는, 다음과 같은 효과가 얻어진다.

실시 형태의 센서 장치(1)는, 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 컬러 필터 배치 화소에 의해 색채 정보 취득점(90)이 형성된 어레이 센서(2)와, 연산부(8)를 구비한다.

그리고 연산부(8)는 색채 정보 취득점(90)을 갖는 어레이 센서(2)를 사용한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고, 검출한 물체의 화소 범위 내에 해당하는 색채 정보 취득점(90)에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행하는 화상 처리 방법을 실행한다.

이 경우, 어레이 센서(2)로서는, 색채 정보 취득점(90)으로 된 화소 이외는, 컬러 필터가 마련되어 있지 않은 클리어 화소이기 때문에, 입사 광자 손실을 줄이고, 입사 광자 수를 증가시킬 수 있어, 이미지 센서 전체로서 대폭적인 감도 향상을 실현할 수 있다.

또한, 일반적으로 컬러 이미지 센서의 경우에는, 흑백의 이미지 센서와 비교하여 해상도가 낮아지지만(예를 들어 베이어 배열의 경우 1/4로 낮아짐), 어레이 센서(2)의 각 화소는 흑백 화소로서 휘도 검출에 사용되고, 연산부(8)의 처리에서 착색하는 것이기 때문에, 컬러 화소에 의한 해상도 저하는 발생하지 않는다. 즉 컬러 화상을 출력하는 이미지 센서로서, 고해상도화, 고정밀화를 실현할 수 있다.

또한, 일반적으로 컬러 이미지 센서의 경우에는 위색이나 색 무아레가 발생하고, 그 대처를 위해 저역 통과 필터 처리를 행하는 경우가 있지만, 본 실시 형태의 경우, 그러한 문제도 발생하지 않기 때문에, 저역 통과 필터 처리에 의한 해상도 저하도 발생하지 않는다.

또한 착색 처리는, 물체 검출을 행하여, 물체의 화소 범위에 해당하는 색채 정보 취득점(90)의 색 정보를 사용하여 행한다. 이 경우, 현실의 색 정보를 참조하게 되기 때문에, 화상 내에서 검출한 물체에 대하여 재현성이 높은 착색 처리를 행할 수 있다.

실시 형태에서는, 연산부(8)는, 어레이 센서(2)에 의해 얻어진 화상 내에서 검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리를 행함으로써 기계 학습에 기초한 착색이 가능하다. 단, 기계 학습에 의한 색 추정에서는 복수의 후보가 작성된다. 또한 학습 데이터 내용이나 혹은 도 4에서 예시한 바와 같은 색을 특정하기 어려운 디자인의 물체 등에서는, 재현성에 한계가 발생한다. 그래서 색채 정보 취득점(90)에 의한 실제의 색 정보를 참조하여, 기계 학습으로 얻어진 후보 색 중에서 실제의 색에 가까운 후보 색을 선정한다. 이에 의해 기계 학습에 기초한 재현성이 높은 착색에 더하여 기계 학습에 의한 착색의 한계를 커버하는 착색 처리가 가능하게 되고, 결과적으로, 극히 재현성이 높은 컬러 화상을 생성할 수 있다.

즉, 본 실시 형태에서는, 고감도, 고해상도이며 또한 재현성이 높은 컬러 화상을 생성할 수 있다.

실시 형태에서는, 색채 정보 취득점(90)으로부터 얻어진 색 정보에 기초하여 선정한 후보 색에 기초하여 컬러 레이어를 생성하고, 컬러 레이어를 상기 어레이 센서로부터 얻어진 휘도 정보 화상과 합성함으로써 컬러 화상을 생성한다(도 8, 도 9 참조).

이에 의해 어레이 센서(2)에 의해 얻어지는 휘도 정보, 즉 흑백 화상에 대하여 기계 학습 및 색채 정보 취득점(90)의 정보를 사용한 착색을 반영시킬 수 있다.

실시 형태에서는, 어레이 센서(2)로부터 얻어지는 휘도 정보 화상에 대하여 휘도 보정을 행하는 예를 들었다(도 8의 스텝 S109).

색채 정보 취득점(90)의 화소는, 컬러 필터를 거치기 때문에, 클리어 화소에 비하여 입사 광자 손실이 커서, 휘도가 저하되어 있게 된다. 그러면, 흑백 레이어를 구성하는 휘도 정보 화상에서는, 색채 정보 취득점(90)의 화소의 휘도가 통상 화소보다도 낮게 되어 버려, 화상 전체로서 휘도의 불균일성이 발생한다. 그래서 색채 정보 취득점(90)의 화소의 휘도값을, 컬러 필터로 손실된 만큼 상승시키도록 보정한다. 이에 의해 흑백 레이어의 화상의 품질을 향상시키고, 나아가서는 착색 후의 컬러 화상의 품질도 향상시키게 된다.

이 경우, 색채 정보 취득점(90)의 화소의 휘도 보정을, 주위의 화소의 휘도 정보로부터 보간하는 것 등으로, 보다 정확하게 실현할 수 있게 되기도 한다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)을 형성하지 않는 화소의 총 면적은, 상기 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는 것으로 하였다.

즉 클리어 화소에 의한 클리어 에어리어의 총 면적과 컬러 화소에 의한 컬러 에어리어의 총 면적을 비교했을 때,

(클리어 에어리어 총 면적)/(클리어 에어리어 총 면적+컬러 에어리어 총 면적)

이 0.25를 초과하는 것으로 하고 있다.

또한 모든 화소가 동일 면적이면,

(클리어 화소수)/(클리어 화소수+컬러 화소수)

가 0.25를 초과하는 것으로 하고 있다.

클리어 에어리어는 고감도화, 고정밀화를 위해 마련되는 것이며, 클리어 에어리어 면적과 컬러 에어리어 면적의 비율을 이렇게 하는 것은, 상술한 고감도화, 고정밀화의 효과를 양호하게 발휘시키는 것이 된다.

또한, 고감도화, 고정밀화를 중시하는 경우에는, 바람직하게는 클리어 에어리어 면적이 전체 유효 화소의 총 면적의 50％를 초과하는 것으로 하거나, 75％를 초과하는 것으로 하거나 하면 된다.

예를 들어 클리어 에어리어 면적이 75％를 초과하는 것으로 하는 경우, 클리어 화소가 지배적이며, 색채 정보 취득점(90)을 구성하는 컬러 화소는 소수이게 된다. 이렇게 클리어 화소가 지배적으로 되는 화소 배치를 실현하면, 입사 광자 손실의 삭감에 극히 유효하고, 상술한 고감도화, 고정밀화의 효과가 보다 양호하게 나타난다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)은 이산적으로 배치되어 있는 것으로 하였다.

즉 한 단위의 색채 정보 취득점(90)은 연속되어 있지 않고, 2차원으로 배치된 화소 어레이 상에서 이산적으로 배치되어 있다(도 6, 도 10, 도 13 내지 도 18 참조).

색채 정보 취득점(90)을 이산적으로 배치함으로써, 색채 정보 취득점(90)의 수를 가능한 한 많게 하지 않은 상태에서, 화상 내의 각 부에 대하여 실제의 색 정보를 취득할 수 있게 할 수 있다.

따라서 화상 내의 각처에서 검출된 물체에 대하여, 각각 실제의 색 정보를 참조하여 재현성이 높은 착색 처리가 가능하게 된다.

또한 화소가 1차원으로 배치되는 경우에도, 이산적으로 배치하는 것이 상정된다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)은 일정 간격으로 배치되어 있는 것으로 하였다(도 13, 도 14, 도 15 참조).

색채 정보 취득점(90)을 일정 간격으로 배치함으로써, 화상 내에서 구석구석까지 각 부의 실제의 색 정보를 취득할 수 있게 된다.

또한 요구되는 화상 품질이나, 센서 장치(1)의 사용 목적 등에 따라, 일정 간격의 밀도를 설정함으로써, 사용 목적 등에 기초한 요구 정밀도에 따른 화상 촬상, 즉 애플리케이션에 따른 화상 촬상 및 컬러 화상 생성이 가능하게 된다. 예를 들어 도 13, 도 14, 도 15에서는, 색채 정보 취득점(90)의 밀도가 상이한 예를 나타냈지만, 이들은 사용 목적, 요구 정밀도에 따른 색채 정보 취득점(90)의 배치예가 된다.

특히 감도 상승, 고해상도화의 점에서는, 컬러 필터가 배치된 컬러 화소의 수는, 적을수록 좋다. 한편 색채 정보 취득점(90)은 많이 배치하는 편이, 색 재현에는 유리하게 된다. 그래서, 색채 정보 취득점(90)의 배치는, 사용 목적, 요구 정밀도에 따라 가능한 한 적게 하면서, 색 재현을 위해 필요한 수를 확보한다는 사고 방식으로, 배치 밀도를 설정하는 것이 바람직하다.

또한, 색채 정보 취득점(90)을 일정 간격으로 배치하는 경우, 수평 방향 및 수직 방향 모두 동일한 간격으로 배치해도 되지만, 수평 방향으로 제1 일정 간격으로 배치하고, 수직 방향으로 제2 일정 간격으로 배치하는 식으로, 수평 수직 방향으로서 배치 간격을 상이하도록 해도 된다.

또한 화소가 1차원으로 배치되는 경우에도, 배열 방향으로 일정 간격으로 색채 정보 취득점(90)을 배치하는 것이 상정된다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)은 비일정 간격으로 배치되어 있는 것으로 하였다(도 10, 도 11, 도 12, 도 16, 도 17, 도 18 참조).

색채 정보 취득점(90)을 비일정 간격으로 배치함으로써, 촬상 목적에 따른 화상 내에서의 중요도를 고려하여 실제의 색 정보를 취득할 수 있게 된다.

센서 장치(1)가 사용되는 상황, 즉 감시 카메라, 차량 탑재 카메라, 웹 카메라 등의 애플리케이션의 차이에 의해, 화상 내에서의 중요도의 요구는 상이하다. 그래서 중요도의 요구에 합치하도록 색채 정보 취득점(90)을 배치함으로써, 애플리케이션에 따른 화상 촬상 및 컬러 화상 생성이 가능하게 된다. 예를 들어 도 10, 도 11, 도 12, 도 16, 도 17, 도 18에서는, 색채 정보 취득점(90)이 비일정 간격으로 된 배치예를 나타냈지만, 이들은 사용 목적에 적합한 색채 정보 취득점(90)의 배치예가 된다.

상술한 바와 같이 감도 상승, 고해상도화의 점에서는, 컬러 필터가 배치된 컬러 화소의 수는 적을수록 좋지만, 색채 정보 취득점(90)은 많이 배치하는 편이, 색 재현에는 유리하게 된다. 그래서, 사용 목적에 따라 중요한 에어리어에 높은 밀도로 색채 정보 취득점(90)을 배치함으로써, 보다 바람직한 컬러 화상 생성이 가능하게 된다.

또한 화소가 1차원으로 배치되는 경우에도, 배열 방향으로 비일정 간격으로 색채 정보 취득점(90)을 배치하는 것이 상정된다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)의 한 단위는, 인접한 복수 화소로 구성되는 예를 들었다(도 19, 도 20, 도 21 참조). 이들 도면에서는, 색채 정보 취득점(90)의 한 단위는, 어레이 센서(2)에 있어서 수직 방향, 수평 방향, 또는 경사 방향으로 인접한 2개 이상의 화소로 구성되어 있다. 복수 화소로 구성함으로써, 색 정보를 보다 정확하게 취득할 수 있을 가능성을 높일 수 있다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)의 한 단위는, 인접한 복수 화소로 구성되고, R 화소, G 화소, B 화소를 포함하는 예를 들었다(도 19, 도 20 참조). 이들 도면에서는, 색채 정보 취득점(90)의 한 단위에 있어서 삼원색의 화소가 포함됨으로써, 한 단위의 색채 정보 취득점(90)으로 다양한 색 정보를 얻을 수 있다. 이에 의해 색 정보를 보다 정확하게 취득할 수 있을 가능성을 높일 수 있다.

실시 형태에서는, 어레이 센서(2)에 있어서, 색채 정보 취득점(90)의 한 단위는, 인접한 복수 화소로 구성되고, R 화소, G 화소, B 화소, 다른 색의 화소(예를 들어 Y 화소)를 포함하는 예를 들었다(도 21의 C, 도 21의 D 참조).

이 경우에도, 한 단위의 색채 정보 취득점(90)으로 다양한 색 정보를 얻을 수 있다. 특히 특정 색의 물체를 검출하고 싶은 요구가 있는 경우에는, 그 물체의 검출에 적합한 색의 화소를 배치함으로써, 검출 정밀도를 향상시킬 수 있다.

또한 다른 색의 화소는 옐로우에 한정되지는 않는다. 예를 들어 시안, 마젠타 등 각종의 색이 상정된다. 또한 다른 색으로서 2종류 이상의 색의 화소가 마련되어도 된다.

실시 형태에서는, 색채 정보 취득점(90)의 한 단위는 1개의 화소로 구성되고, 어레이 센서(2)에 있어서 색채 정보 취득점(90)은 이산적으로 배치되어 있는 예를 들었다(도 22 참조).

이렇게 어떤 1개의 색 정보를 얻기 위한 색채 정보 취득점(90)을 배치하는 것으로도, 센서 장치(1)의 촬상 목적에 따라서는, 충분한 색 재현을 행할 수 있다.

도 22의 B와 같이 모든 색채 정보 취득점(90)을 동일한 색의 화소로 함으로써, 특정 색의 물체 검출의 목적에는 적합한 것이 된다.

도 22의 C와 같이, 각각의 색채 정보 취득점(90)에서 상이한 색의 화소로 함으로써, 화상 내의 각 부에서 다양한 색 검출을 할 수 있다.

그리고 이들과 같이 한 단위의 색채 정보 취득점(90)을 1 화소로 형성함으로써, 컬러 필터에 의한 입사 광자 수의 저하 화소를 보다 이산적으로 할 수 있다.

실시 형태의 센서 장치(1)는 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 컬러 필터 배치 화소에 의해 색채 정보 취득점(90)이 형성되어 있고, 색채 정보 취득점(90)을 형성하지 않는 화소의 총 면적은, 상기 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는 어레이 센서(2)를 갖는 것으로 하였다.

색채 정보 취득점(90)을 구성하는 클리어 에어리어 면적이 25％를 초과하도록 함으로써, 클리어 화소에 의한 입사 광자 손실의 삭감에 유효하게 된다.

또한, 색채 정보 취득점(90)을 배치함으로써, 센서 장치(1) 내의 연산부(8), 혹은 센서 장치(1) 밖의 프로세서(11) 등에서의 착색 처리의 재현성 향상을 실현시킬 수 있다.

실시 형태의 센서 장치(1)는 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 컬러 필터 배치 화소에 의해 색채 정보 취득점(90)이 형성되어 있고, 색채 정보 취득점(90)이 이산적으로 배치되어 있는 어레이 센서(2)를 갖는 것으로 하였다.

색채 정보 취득점(90)을 이산적으로 배치함으로써, 색채 정보 취득점(90)의 수를 가능한 한 많게 하지 않은 상태에서, 화상 내의 각 부에 대하여 실제의 색 정보를 취득할 수 있게 할 수 있다. 따라서 센서 장치(1) 내의 연산부(8), 혹은 센서 장치(1) 밖의 프로세서(11) 등에서의 착색 처리의 재현성 향상을 실현시킬 수 있다.

본 개시의 기술은 실시 형태의 구성예에 한정되지는 않고 각종의 변형예가 상정된다.

센서 장치(1)의 구성은 도 1, 도 23, 도 24에 예시한 것으로 한정되지는 않는다.

어레이 센서(2)는 가시광을 수광하는 화소에 한정되지는 않고, 비가시광의 촬상 소자가 복수 마련된 것이어도 된다.

색채 정보 취득점(90)의 배치나 구성은 예시한 것으로 한정되지는 않고, 더욱 다양한 예를 생각할 수 있다. 적어도 일부의 화소가 사용되어 색채 정보 취득점(90)이 구성되면 된다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.

또한 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1)

복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서를 사용한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고,

검출한 물체의 화소 범위 내에 해당하는 상기 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행하는

화상 처리 방법.

(2)

상기 착색 처리에서는,

검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리에 의해 후보 색을 설정하고,

상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 후보 색의 선정을 행하여, 검출한 물체의 화소 범위의 착색을 행하는

상기 (1)에 기재된 화상 처리 방법.

(3)

복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서와,

상기 어레이 센서에 의한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고, 검출한 물체의 화소 범위 내에 해당하는 상기 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행하는 연산부를 구비한

센서 장치.

(4)

상기 연산부는,

검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리에 의해 후보 색을 설정하고, 상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 후보 색의 선정을 행하여, 검출한 물체의 화소 범위의 착색 처리를 행하는

상기 (3)에 기재된 센서 장치.

(5)

상기 연산부는,

상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 선정한 후보 색에 기초하여 컬러 레이어를 생성하고, 컬러 레이어를 상기 어레이 센서로부터 얻어진 휘도 정보 화상과 합성함으로써 컬러 화상을 생성하는

상기 (4)에 기재된 센서 장치.

(6)

상기 연산부는,

상기 어레이 센서로부터 얻어지는 휘도 정보 화상에 대하여, 상기 색채 정보 취득점에 해당하는 화소의 휘도 보정을 행한 상태에서, 휘도 정보 화상과 컬러 레이어의 합성을 행하는

상기 (5)에 기재된 센서 장치.

(7)

상기 색채 정보 취득점을 형성하지 않는 화소의 총 면적은, 상기 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는

상기 (3) 내지 (6) 중 어느 것에 기재된 센서 장치.

(8)

상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 이산적으로 배치되어 있는

상기 (3) 내지 (7) 중 어느 것에 기재된 센서 장치.

(9)

상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 일정 간격으로 배치되어 있는

상기 (3) 내지 (8) 중 어느 것에 기재된 센서 장치.

(10)

상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 비일정 간격으로 배치되어 있는

상기 (3) 내지 (8) 중 어느 것에 기재된 센서 장치.

(11)

상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성되는

상기 (3) 내지 (10) 중 어느 것에 기재된 센서 장치.

(12)

상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성됨과 함께, R 화소, G 화소, B 화소를 포함하는

상기 (3) 내지 (11) 중 어느 것에 기재된 센서 장치.

(13)

상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성됨과 함께, R 화소, G 화소, B 화소, 및 다른 색의 화소를 포함하는

상기 (3) 내지 (12) 중 어느 것에 기재된 센서 장치.

(14)

상기 색채 정보 취득점의 한 단위는 1개의 화소로 구성되고, 상기 어레이 센서에 있어서 상기 색채 정보 취득점은 이산적으로 배치되어 있는

상기 (3) 내지 (10) 중 어느 것에 기재된 센서 장치.

(15)

복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성되어 있고, 상기 색채 정보 취득점을 형성하지 않는 화소의 총 면적은, 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는 어레이 센서를 갖는

센서 장치.

(16)

복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성되어 있고, 상기 색채 정보 취득점이 이산적으로 배치되어 있는 어레이 센서를 갖는

센서 장치.

1: 센서 장치
2: 어레이 센서
3: ADC/픽셀 셀렉터
4: 버퍼
5: 로직부
6: 메모리
7: 인터페이스부
8: 연산부
11: 프로세서
12: 외부 센서
30: 신호 처리부
81: 키 프레임 선택부
82: 물체 영역 인식부
83: 클래스 식별부
84: 파라미터 선택부
85: 색채 처리부
90: 색채 정보 검지 점
100: 단말 장치

Claims (16)

1. 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서를 사용한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고,
   검출한 물체의 화소 범위 내에 해당하는 상기 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행하는
   화상 처리 방법.
2. 제1항에 있어서,
   상기 착색 처리에서는,
   검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리에 의해 후보 색을 설정하고,
   상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 후보 색의 선정을 행하여, 검출한 물체의 화소 범위의 착색을 행하는
   화상 처리 방법.
3. 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성된 어레이 센서와,
   상기 어레이 센서에 의한 촬상에 의해 얻어진 화상에 대하여 물체 검출을 행하고, 검출한 물체의 화소 범위 내에 해당하는 상기 색채 정보 취득점에서 얻어지는 색 정보를 참조하여, 검출한 물체의 화소 범위의 착색 처리를 행하는 연산부를 구비한
   센서 장치.
4. 제3항에 있어서,
   상기 연산부는,
   검출한 물체에 대하여 학습 데이터에 기초한 색 추정 처리에 의해 후보 색을 설정하고, 상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 후보 색의 선정을 행하여, 검출한 물체의 화소 범위의 착색 처리를 행하는
   센서 장치.
5. 제4항에 있어서,
   상기 연산부는,
   상기 색채 정보 취득점으로부터 얻어진 색 정보에 기초하여 선정한 후보 색에 기초하여 컬러 레이어를 생성하고, 컬러 레이어를 상기 어레이 센서로부터 얻어진 휘도 정보 화상과 합성함으로써 컬러 화상을 생성하는
   센서 장치.
6. 제5항에 있어서,
   상기 연산부는,
   상기 어레이 센서로부터 얻어지는 휘도 정보 화상에 대하여, 상기 색채 정보 취득점에 해당하는 화소의 휘도 보정을 행한 상태에서, 휘도 정보 화상과 컬러 레이어의 합성을 행하는
   센서 장치.
7. 제3항에 있어서,
   상기 색채 정보 취득점을 형성하지 않는 화소의 총 면적은, 상기 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는
   센서 장치.
8. 제3항에 있어서,
   상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 이산적으로 배치되어 있는
   센서 장치.
9. 제3항에 있어서,
   상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 일정 간격으로 배치되어 있는
   센서 장치.
10. 제3항에 있어서,
    상기 어레이 센서에 있어서, 상기 색채 정보 취득점은 비일정 간격으로 배치되어 있는
    센서 장치.
11. 제3항에 있어서,
    상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성되는
    센서 장치.
12. 제3항에 있어서,
    상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성됨과 함께, R 화소, G 화소, B 화소를 포함하는
    센서 장치.
13. 제3항에 있어서,
    상기 색채 정보 취득점의 한 단위는, 인접한 복수 화소로 구성됨과 함께, R 화소, G 화소, B 화소, 및 다른 색의 화소를 포함하는
    센서 장치.
14. 제3항에 있어서,
    상기 색채 정보 취득점의 한 단위는 1개의 화소로 구성되고, 상기 어레이 센서에 있어서 상기 색채 정보 취득점은 이산적으로 배치되어 있는
    센서 장치.
15. 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성되어 있고, 상기 색채 정보 취득점을 형성하지 않는 화소의 총 면적은, 어레이 센서 상의 전체 유효 화소의 총 면적 중 25％를 초과하는 어레이 센서를 갖는
    센서 장치.
16. 복수의 촬상 소자가 1차원 또는 2차원으로 배열됨과 함께, 촬상 소자의 일부는 입사 광로에 컬러 필터가 배치된 컬러 필터 배치 화소로 되고, 상기 컬러 필터 배치 화소에 의해 색채 정보 취득점이 형성되어 있고, 상기 색채 정보 취득점이 이산적으로 배치되어 있는 어레이 센서를 갖는
    센서 장치.

Images