KR20180117597A - 화상 처리 장치, 화상 처리 방법, 컴퓨터 프로그램 및 전자 기기 - Google Patents

Abstract

전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시키는 것이 가능한, 화상 처리 장치를 제공한다.
촬상 소자로부터 출력된 화소 신호를 기억하는 기억부와, 상기 촬상 소자의 움직임 정보에 의거하여 상기 기억부에 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 영역 결정부와, 상기 영역 결정부에 의해 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 화상 처리부를 구비하는, 화상 처리 장치가 제공된다.

Description

화상 처리 장치, 화상 처리 방법, 컴퓨터 프로그램 및 전자 기기

본 개시는, 화상 처리 장치, 화상 처리 방법, 컴퓨터 프로그램 및 전자 기기에 관한 것이다.

촬상자가 촬상 장치를 손으로 잡은 상태에서 촬상 장치가 촬상 처리를 실행하면, 손 떨림에 의해 화상의 흐트러짐이 생길 수 있다. 그 때문에 촬상 장치에는 손 떨림 보정 기능이 구비되어 있다. 이 손 떨림 보정의 방식으로는, 일반적으로, 광학식(OIS : Optical Image Stabilization)과 전자식(EIS : Electrical Image Stabilization)의 2개의 방식이 있다.

광학식 손 떨림 보정 방식은, 광학계를 움직이기 위한 구동 기구가 필요해지고, 사이즈도 비용도 커져 버린다. 한편, 전자식 손 떨림 보정 방식은, 손 떨림에 의한 화상의 어긋남량을 산출하고, 그 어긋남량에 응한 처리를 행하는 방식이기 때문에, 광학식 손 떨림 보정 방식과 같은 구동 기구는 불필요하다. 전자식 손 떨림 보정 방식에 관한 기술로서, 예를 들면 특허 문헌 1 등이 있다.

특허 문헌 1 : 일본 특개2015-220690호 공보

본 개시에서는, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시키는 것이 가능한, 신규이면서 개량된 화상 처리 장치, 화상 처리 방법, 컴퓨터 프로그램 및 전자 기기를 제안한다.

본 개시에 의하면, 촬상 소자로부터 출력된 화소 신호를 기억하는 기억부와, 상기 촬상 소자의 움직임 정보에 의거하여 상기 기억부에 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 영역 결정부와, 상기 영역 결정부에 의해 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 화상 처리부를 구비하는, 화상 처리 장치가 제공된다.

또한 본 개시에 의하면, 촬상 소자로부터 출력된 화소 신호를 기억하는 것과, 상기 촬상 소자의 움직임 정보에 의거하여, 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 것과, 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 것을 포함하는, 화상 처리 방법이 제공된다.

또한 본 개시에 의하면, 컴퓨터에, 촬상 소자로부터 출력된 화소 신호를 기억하는 것과, 상기 촬상 소자의 움직임 정보에 의거하여, 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 것과, 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 것을 실행시키는, 컴퓨터 프로그램이 제공된다.

또한 본 개시에 의하면, 상기 화상 처리 장치를 구비하는, 전자 기기가 제공된다.

이상 설명한 바와 같이 본 개시에 의하면, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시키는 것이 가능한, 신규이면서 개량된 화상 처리 장치, 화상 처리 방법, 컴퓨터 프로그램 및 전자 기기를 제공할 수 있다.

또한, 상기한 효과는 반드시 한정적인 것이 아니고, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서에 나타난 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 이루어져도 좋다.

도 1은 유효 화소 영역과 실효 화소 영역을 도시하는 설명도.
도 2는 본 개시의 실시의 형태에 관한 전자 기기(10)의 기능 구성례를 도시하는 설명도.
도 3은 센서 모듈(100)의 구성례를 도시하는 설명도.
도 4는 센서 모듈(100)의 기능 구성례를 도시하는 설명도.
도 5는 동 실시의 형태에 관한 센서 모듈(100)의 효과를 설명하기 위한 설명도.
도 6은 동 실시의 형태에 관한 센서 모듈(100)의 효과를 설명하기 위한 설명도.
도 7은 동 실시의 형태에 관한 센서 모듈(100)의 동작례를 도시하는 흐름도.
도 8은 센서 모듈(100)의 동작시간의 예를 도시하는 설명도.
도 9는 센서 모듈(100)의 구성례를 도시하는 설명도.
도 10은 센서 모듈(100)의 구성례를 도시하는 설명도.
도 11은 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 12는 차외 정보 검출부 및 촬상부의 마련 위치의 한 예를 도시하는 설명도.

이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 본 개시의 실시의 형태

1. 1. 개요

1. 2. 촬상 장치의 기능 구성례

1. 3. 센서 모듈의 구성례

1. 4. 동작례

2. 이동체에의 응용례

3. 정리

<1. 본 개시의 실시의 형태>

[1. 1. 개요]

본 개시의 실시의 형태에 관해 상세히 설명하기 전에, 우선 본 개시의 실시의 형태의 개요에 관해 설명한다.

촬상자가 촬상 장치를 손으로 잡은 상태에서 촬상 장치가 촬상 처리를 실행하면, 손 떨림에 의해 화상의 흐트러짐이 생길 수 있다. 그 때문에 촬상 장치에는 손 떨림 보정 기능이 구비되어 있다. 이 손 떨림 보정의 방식에는, 일반적으로, 광학식과 전자식의 2개의 방식이 있다.

광학식 손 떨림 보정 방식은, 광학계를 움직이기 위한 구동 기구가 필요해지고, 사이즈도 비용도 커져 버린다. 한편, 전자식 손 떨림 보정 방식은, 손 떨림에 의한 화상의 어긋남량을 산출하고, 그 어긋남량에 응한 처리를 행하는 방식이기 때문에, 광학식 손 떨림 보정 방식과 같은 구동 기구는 불필요하다. 따라서, 스마트 폰이나 웨어러블 카메라와 같은 소형의 휴대 단말에서는, 전자식 손 떨림 보정 방식이 주로 이용된다.

전자식 손 떨림 보정 방식은, 손 떨림 보정을 위해, 복수 프레임의 화상의 정보를 기초로 손 떨림의 방향을 검지할 필요가 있다. 기존의 전자식 손 떨림 보정 방식에서는, 이미지 센서가 출력하는 모든 범위에 대응하는 유효 화소 영역 모든 정보를 어플리케이션 프로세서(AP)에 보내고, AP측에서 손 떨림의 방향을 검지하여, 손 떨림이 보정된 화상을 출력하고 있다. 여기서, 손 떨림이 보정된 화상은, 유효 화소 영역 전부가 아니고, 일부의 영역을 잘라낸 실효 화소 영역의 정보로부터 생성된다. 도 1은, 유효 화소 영역과, 손 떨림이 보정되고 화면에 표시되거나 기록되거나 하는 화상에 대응하는 실효 화소 영역을 도시하는 설명도이다. 이와 같이, 실효 화소 영역의 범위는 유효 화소 영역보다 좁다.

그러나, AP는 손 떨림의 방향을 검지하는 처리 외에, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리 등의 다양한 화상 처리를 실행할 수 있다. 이들의 화상 처리는 유효 화소 영역에 대해 행하여지기 때문에, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 후에 사용되지 않는 영역에 대한 화상 처리는 헛되게 되어 버린다. 예를 들면, 실효 화소 영역의 상하 좌우 10%의 영역이 유효 화소 영역인 경우, 유효 화소 영역 전체에 대한 화상 처리의 처리량은, 유효 화소 영역에 대한 화상 처리의 처리량에 비하여 44% 증가한다. 실효 화소 영역의 상하 좌우 12.5%의 영역이 유효 화소 영역인 경우, 유효 화소 영역 전체에 대한 화상 처리의 처리량은, 유효 화소 영역에 대한 화상 처리의 처리량에 비하여 약 56% 증가한다. 따라서 AP는, 전자식 손 떨림 보정 방식에 의해 손 떨림 보정 처리를 행하는 경우, 유효 화소 영역 전체에 대한 화상 처리에 의해 헛된 전력을 소비하여 버린다.

또한, 이미지 센서로부터의 데이터의 출력 프레임 레이트는, AP로의 처리나, 인터페이스 대역에 율속(律涑) 하여 버린다. 예를 들면, AP가 처리하는 화상의 사이즈가 풀 HD 사이즈이고, 프레임 레이트가 60fps인 경우, 이미지 센서가 60fps보다 고속으로 화소 신호를 출력 가능하여도, 60fps보다 고속으로 화소 신호를 출력할 수가 없다. 이미지 센서가 60fps보다 고속으로 화소 신호를 출력할 수 없으면, 포컬 플레인 왜곡이라고 불리는 동체 왜곡이 생겨, 왜곡을 보정하는 처리가 AP측에서 필수가 된다. 따라서, 이미지 센서로부터의 데이터의 출력 프레임 레이트는, AP로의 처리나, 인터페이스 대역에 율속하여 버려서, 더욱 소비 전력의 증가를 가져오게 된다.

그래서 본건 개시자는, 상술한 점을 감안하여, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시키는 것이 가능한 기술에 관해 예의 검토를 행하였다. 그 결과, 본건 개시자는, 단순한 처리로 전자식 손 떨림 보정 방식에 의한 손 떨림 보정을 행하고, 게다가 종래의 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리에 비하여 소비 전력을 저하시킴으로써, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시키는 것이 가능한 기술을 고안하는데 이르렀다.

이상, 본 개시의 실시의 형태의 개요에 관해 설명하였다.

[1. 2. 기능 구성례]

계속해서, 본 개시의 실시의 형태에 관한 전자 기기의 기능 구성례에 관해 설명한다. 도 2는, 본 개시의 실시의 형태에 관한 전자 기기(10)의 기능 구성례를 도시하는 설명도이다. 이하, 도 2를 이용하여 본 개시의 실시의 형태에 관한 전자 기기(10)의 기능 구성례에 관해 설명한다.

도 2에 도시한 바와 같이, 본 개시의 실시의 형태에 관한 전자 기기(10)는, 촬상부(11)와, 화상 처리부(12)와, 표시부(13)와, 제어부(14)와, 기억부(15)와, 조작부(16)를 포함하여 구성된다.

촬상부(11)는, 렌즈나, 센서 모듈 등을 포함하여 구성되고, 렌즈를 통하여 센서 모듈의 수광면에 결상되는 상에 응하여 소정 기간 전자를 축적한다. 촬상부(11)는, 그 축적된 전자에 응한 신호에 대해 소정의 신호 처리를 행한다. 그리고 촬상부(11)는, 신호 처리를 행한 후의 신호를 화상 처리부(12)에 출력한다. 또한, 촬상부(11)에 포함되는 센서 모듈의 구성에 관해서는 후에 상세히 기술한다.

촬상부(11)는, 상기 소정의 신호 처리로서, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리 등의 신호 처리를 실행할 수 있다.

화상 처리부(12)는, 예를 들면 어플리케이션 프로세서(AP)로 구성되고, 촬상부(11)로부터 출력되는 신호를 이용하여 화상 처리를 실행한다. 화상 처리부(12)가 실행하는 화상 처리에는, 예를 들면 촬상부(11)로부터 출력되는 신호를 이용한 디모자이크 처리, 디모자이크 처리 후의 화상의 표시부(13)에의 표시 처리나, 기억부(15)에의 기억 처리 등이 있다.

표시부(13)는, 예를 들면 액정 디스플레이, 유기 EL 디스플레이 등으로 구성되는 표시 디바이스이다. 표시부(13)는, 제어부(14)에 의해 표시 내용이 제어된다. 예를 들면, 표시부(13)는, 촬상부(11)에 의해 촬상되어, 화상 처리부(12)에 의해 화상 처리가 행하여진 화상을, 제어부(14)의 제어에 의거하여 표시한다.

제어부(14)는, 예를 들면 CPU(Central Processing Unit) 등의 프로세서나, ROM, RAM 등으로 구성되고, 전자 기기(10)의 각 부분의 동작을 제어한다.

기억부(15)는, 예를 들면 플래시 메모리 그 밖의 불휘발성 메모리 등의 기억 매체로 구성된다. 기억부(15)는, 촬상부(11)에 의해 촬상되어, 화상 처리부(12)에 의해 화상 처리가 행하여진 화상을 기억한다. 기억부(15)가 기억한 화상은, 전자 기기(10)의 유저의 조작에 응하여 표시부(13)에 표시될 수 있다.

조작부(16)는, 전자 기기(10)의 조작을 위한 디바이스이고, 예를 들면 버튼이나 터치 패널 등으로 구성된다. 조작부(16)가 터치 패널을 포함하는 경우, 터치 패널은 표시부(13)의 표시면에 마련된다. 전자 기기(10)의 유저는, 촬상부(11)가 촬상하는 화상을 전자 기기(10)에 기록하고 싶은 경우에는, 조작부(16)의 소정의 버튼을 조작함으로써 셔터 트리거를 발생시킨다. 촬상부(11)나 화상 처리부(12)는, 셔터 트리거의 발생을 검지하면, 그 셔터 트리거의 발생에 응하고 화상을 전자 기기(10)에 기록하기 위한 처리를 실행한다.

이상, 본 개시의 실시의 형태에 관한 전자 기기(10)의 기능 구성례에 관해 설명하였다. 계속해서, 본 개시의 실시의 형태에 관한 전자 기기(10)의, 촬상부(11)에 포함되는 이미지 센서의 구성례에 관해 설명한다.

[1. 3. 센서 모듈의 구성례]

도 3은, 촬상부(11)에 포함되는 센서 모듈(100)의 구성례를 도시하는 설명도이다. 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 본 개시의 화상 처리 장치의 한 예이고, 도 3에 도시한 바와 같이, 3개의 기반이 적층되어 구성되어 있다. 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 화소 기판(110)과, 메모리 기판(120)과, 신호 처리 기판(130)의 순서로 적층된 구성을 갖는다.

화소 기판(110)은, 단위화소가 어레이형상으로 형성된 화소 영역으로 이루어지는 촬상 소자를 갖는 기판이다. 각 단위화소는, 피사체로부터의 광을 수광하고, 그 입사광을 광전변환하여 전하를 축적하고, 소정의 타이밍에서, 그 전하를 화소 신호로서 출력한다. 화소 기판(110)이 출력하는 화소 신호는, 메모리 기판(120)에 축적되고, 또한 신호 처리 기판(130)에서 신호 처리가 시행된다. 또한, 화소 기판(110)은, 아날로그 신호를 디지털 신호로 변환하는 AD 변환기를 구비한다. 즉 화소 기판(110)이 출력하는 화소 신호는 디지털 신호이다.

메모리 기판(120)은, 화소 기판(110)이 출력하는 화소 신호를 일시적으로 축적하는 DRAM(Dynamic Random Access Memory) 등의 메모리를 갖는 기판이다. 메모리 기판(120)은, 복수 프레임, 예를 들면, 신호 처리 기판(130)에서 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 실행할 수도 있을 만큼의 프레임의 화소 신호를 일시적으로 축적할 수 있는 용량을 갖는다. 메모리 기판(120)에 축적된 화소 신호는, 신호 처리 기판(130)으로부터의 판독 명령에 의거하여 판독된다.

신호 처리 기판(130)은, 메모리 기판(120)에 축적된 화소 신호에 대한 각종 신호 처리를 실행한다. 신호 처리 기판(130)이 실행하는 신호 처리는, 메모리 기판(120)에 축적된 화소 신호에 대한 화질에 관한 신호 처리이고, 예를 들면, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리 등의 신호 처리를 실행할 수 있다.

또한, 도 3에는 센서 모듈(100)이 화소 기판(110)과, 메모리 기판(120)과, 신호 처리 기판(130)의 순서로 적층된 구성의 도면을 도시하였지만, 본 개시는 이러한 예로 한정되지 않는다. 예를 들면, 센서 모듈(100)이 화소 기판(110)과, 신호 처리 기판(130)과, 메모리 기판(120)의 순서로 적층된 구성을 갖고 있어도 좋다.

이상, 도 3을 이용하여 센서 모듈(100)의 구성례에 관해 설명하였다. 계속해서, 센서 모듈(100)의 기능 구성례에 관해 설명한다.

도 4는, 본 개시의 실시의 형태에 관한 센서 모듈(100)의 기능 구성례를 도시하는 설명도이다. 이하, 도 4를 이용하여 본 개시의 실시의 형태에 관한 센서 모듈(100)의 기능 구성례에 관해 설명한다.

화소 기판(110)은, 단위화소가 어레이형상으로 형성된 화소 영역으로 이루어지는 촬상 소자(111)를 구비한다. 촬상 소자(111)가 출력하는 화소 신호는 신호 처리 기판(130)에 일단 보내진 후에, 메모리 기판(120)에 보내진다.

메모리 기판(120)은, DRAM(Dynamic Random Access Memory) 등으로 구성되는 화상 기억부(121)를 갖는다. 화상 기억부(121)는, 촬상 소자(111)가 출력하는 화소 신호를 일시적으로 축적한다. 화상 기억부(121)는, 복수 프레임, 예를 들면, 신호 처리 기판(130)에서 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 실행할 수 있을 만큼의 프레임의 화소 신호를 일시적으로 축적할 수 있는 용량을 갖는다. 화상 기억부(121)에 축적된 화소 신호는, 신호 처리 기판(130)으로부터의 판독 명령에 의거하여 판독된다.

신호 처리 기판(130)은, 전처리부(131)와, 잘라내는 영역 결정부(132)와, 화상 절출부(133)와, 후처리부(134)를 포함하여 구성된다.

전처리부(131)는, 촬상 소자(111)가 출력하는 화소 신호에 대한 신호 처리를 시행한다. 전처리부(131)는, 신호 처리를 시행한 후의 화소 신호를 화상 기억부(121)에 기억시킨다. 전처리부(131)가 실행하는 신호 처리에는, 예를 들면, 게인 조정 처리나 클램프 처리, 화소 가산 처리 등이 포함될 수 있다.

잘라내는 영역 결정부(132)는, 화상 절출부(133)가 유효 화소 영역으로부터 실효 화소 영역을 잘라낼 때의 잘라내는 영역을 결정한다. 잘라내는 영역 결정부(132)는, 잘라내는 영역을 결정할 때에, 예를 들면 복수 프레임의 화소 신호를 이용하여, 화상의 움직임량을 추정하는 움직임 벡터 탐색(ME : Motion Estimation)을 행하여도 좋고, 전자 기기(10)가 갖고 있는 자이로스코프 센서가 출력하는 센싱 데이터를 이용하여도 좋다.

화상 절출부(133)는, 화상 기억부(121)에 축적된 화소 신호에 대해, 유효 화소 영역으로부터 실효 화소 영역을 잘라내는 처리를 실행한다. 화상 절출부(133)는, 잘라내는 영역 결정부가 결정한 잘라내는 영역에 의거하여, 유효 화소 영역으로부터 실효 화소 영역을 잘라낸다. 화상 절출부(133)는, 유효 화소 영역으로부터 실효 화소 영역을 잘라내면, 잘라낸 후의 화소 신호를 화상 기억부(121)에 기억시킨다.

후처리부(134)는, 화상 절출부(133)가 실효 화소 영역을 잘라낸 후의 화소 신호에 대한 신호 처리를 실행한다. 후처리부(134)는, 실효 화소 영역을 잘라낸 후의 화소 신호에 대한 신호 처리를 실행하면, 신호 처리 후의 화소 신호를 화상 처리부(12)에 출력한다. 후처리부(134)가 실행하는 신호 처리로서는, 예를 들면, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리 등이 포함될 수 있다.

후처리부(134)는, 유효 화소 영역 전체의 화소 신호가 아니고, 화상 절출부(133)가 실효 화소 영역을 잘라낸 후의 화소 신호에 대해 신호 처리를 실행한다. 따라서 후처리부(134)는, 유효 화소 영역 전체의 화소 신호에 대한 신호 처리에 비하여 적은 처리량으로 신호 처리를 실행할 수 있다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 도 4에 도시한 바와 같은 구성을 가짐으로써, 단순한 처리로 전자식 손 떨림 보정 방식에 의한 손 떨림 보정을 행할 수가 있다. 또한, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 도 4에 도시한 바와 같은 구성을 가짐으로써, 종래의 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리에 비하여 소비 전력을 저하시킬 수 있다. 따라서 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시킬 수 있다.

도 5 및 도 6은, 본 개시의 실시의 형태에 관한 센서 모듈(100)의 효과를 설명하기 위한 설명도이다. 도 5는, 센서 모듈(100)의 후단에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우의 처리시간의 예를 도시하는 설명도이다. 또한 도 6은, 센서 모듈(100)에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우의 처리시간의 예를 도시하는 설명도이다.

센서 모듈(100)의 후단에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우, 도 5에 도시한 바와 같이, 전단 처리(게인 조정 처리나 클램프 처리 등) 및 후단 처리(자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리 등)를 센서 모듈(100)에서 동시에 작동하지 않으면 안된다. 따라서, 센서 모듈(100)의 내부 처리에 소비하는 처리시간은, 센서 모듈(100)의 내부의 신호 처리 대역이나, AP(화상 처리부(12))의 인터페이스 대역 및 신호 처리 대역에 의해 일의적으로 정하여져 버린다. 상술한 바와 같이, AP가 처리하는 화상의 사이즈가 풀 HD 사이즈이고, 프레임 레이트가 60fps인 경우, 센서 모듈(100)은, 60fps보다 고속으로 화소 신호를 출력 가능하여도, 60fps보다 고속으로 화소 신호를 AP에 출력할 수가 없다.

또한 센서 모듈(100)의 후단에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우, AP에서의 손 떨림 보정 처리가 완료될 때까지 유효 화소 영역 전체의 화소 신호의 처리를 행하지 않으면 안된다. 따라서, 센서 모듈(100)에서의 후단 처리에 필요로 하는 리소스나, 센서 모듈(100)과 AP 사이의 인터페이스 대역, AP에서의 신호 처리에 필요로 하는 리소스는, 유효 화소 영역 전체를 처리할 수 있을 만큼의 것을 준비하지 않으면 안된다.

한편, 센서 모듈(100)의 내부에 화상 기억부(121)를 마련하고, 센서 모듈(100)의 내부에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우, 도 6에 도시한 바와 같이, 전단 처리와 후단 처리를 제각기 처리할 수 있다. 이것은, 전단 처리의 후의 화소 신호를 화상 기억부(121)에 일시적으로 축적하여 두기 때문이다. 즉, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전단 처리와 후단 처리에서 프레임 레이트의 변환이 가능해진다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 도 6에 도시한 바와 같이 전단 처리와 후단 처리를 제각기 처리할 수가 있어서, 전단 처리를 고속으로, 후단 처리를 저속으로 동작시킬 수 있다. 예를 들면, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전단 처리를 480∼960fps로 동작시킬 수 있다. 또한 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전단 처리를 고속으로 동작시킴으로써, 포컬 플레인 왜곡의 발생을 막을 수 있다. 따라서, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 포컬 플레인 왜곡을 보정하는 처리가 필요 없게 되어, 후단 처리에 필요로 하는 소비 전력을 저감시킬 수 있다. 또한 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 하나의 칩만으로 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리가 실현 가능해지기 때문에, 손 떨림 보정 처리에 필요로 하는 비용을 억제하는 것이 가능해진다.

또한 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 유효 화소 영역 전체가 아니라 실효 화소 영역에 대해 후단 처리를 실행할 수 있기 때문에, 센서 모듈(100)의 후단에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우에 비하여 후단 처리에 걸리는 신호 처리 대역을 저감시킬 수 있다. 또한 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 센서 모듈(100)의 후단에서 실효 화소 영역의 잘라냄 및 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하는 경우에 비하여 후단 처리에 필요로 하는 소비 전력을 저감시킬 수 있다.

이상, 도 4를 이용하여 본 개시의 실시의 형태에 관한 센서 모듈(100)의 기능 구성례에 관해 설명하였다. 계속해서, 본 개시의 실시의 형태에 관한 센서 모듈(100)의 동작례에 관해 설명한다.

[1. 4. 동작례]

도 7은, 본 개시의 실시의 형태에 관한 센서 모듈(100)의 동작례를 도시하는 흐름도이다. 도 7에 나타내 것은, 화소 신호를 생성하고 나서, 화소 신호에 대해 후단 처리를 실행하여 화상 처리부(12)에 출력할 때까지의, 센서 모듈(100)의 동작례이다. 이하, 도 7을 이용하여 본 개시의 실시의 형태에 관한 센서 모듈(100)의 동작례에 관해 설명한다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 우선 촬상 소자(111)가 출력하는 화소 신호에 대한 전단 처리를 시행한다(스텝 S101). 스텝 S101의 전단 처리는, 예를 들면 전처리부(131)가 실행한다. 스텝 S101의 전단 처리에는, 예를 들면, 게인 조정 처리나 클램프 처리, 화소 가산 처리 등이 포함될 수 있다.

상기 스텝 S101에서 전단 처리를 실행하면, 계속해서 센서 모듈(100)은, 전단 처리가 행하여진 후의 화소 신호를 일시적으로 기억한다(스텝 S102). 센서 모듈(100)은, 전단 처리가 행하여진 후의 화소 신호를 화상 기억부(121)에 기억시킨다.

또한 센서 모듈(100)은, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 행하기 위해, 유효 화소 영역에 대한 잘라내는 영역을 결정한다(스텝 S103). 스텝 S103의 잘라내는 영역의 결정 처리는, 예를 들면 잘라내는 영역 결정부(132)가 행한다. 센서 모듈(100)은, 잘라내는 영역을 결정할 때에, 예를 들면 복수 프레임의 화소 신호를 이용하여, 화상의 움직임량을 추정하는 움직임 벡터 탐색을 행하여도 좋고, 전자 기기(10)가 갖고 있는 자이로스코프 센서가 출력하는 센싱 데이터를 이용하여도 좋다. 센서 모듈(100)은, 움직임 벡터 탐색을 행하는 경우는, 유효 화소 영역 전체의 화소 신호에 대해 행하여도 좋지만, 내부 처리의 간략화를 위해, 유효 화소 영역 전체의 화상이 축소되고, 또한 색정보를 흑백의 1비트로 나타내어 생성되는 1비트의 축소 화소 신호에 대해 행하여도 좋다.

센서 모듈(100)은, 상기 스텝 S103에서 유효 화소 영역에 대한 잘라내는 영역을 결정하면, 계속해서, 화상 기억부(121)가 기억하고 있는 화소 신호로부터 실효 화소 영역을 잘라낸다(스텝 S104). 스텝 S104의 잘라냄 처리는, 예를 들면 화상 절출부(133)가 행한다.

센서 모듈(100)은, 상기 스텝 S104에서 실효 화소 영역을 잘라내면, 계속해서 잘라낸 후의 화소 신호를 일시적으로 기억한다(스텝 S105). 센서 모듈(100)은, 잘라낸 후의 화소 신호를 화상 기억부(121)에 기억시킨다. 또한, 당해 스텝 S105는, 센서 모듈(100) 내에서 실행하지 않고, 잘라냄 처리의 후에 후단 처리 중에서 실행되어도 좋다. 또한, 당해 스텝 S105 자체가 생략되어도 좋다.

그리고 센서 모듈(100)은, 화상 기억부(121)가 기억하고 있는 잘라낸 후의 화소 신호에 대해, 소정의 후단 처리를 실행한다(스텝 S106). 스텝 S106의 후단 처리는, 예를 들면 후처리부(134)가 실행한다. 센서 모듈(100)은, 후단 처리로서, 예를 들면, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리 등을 실행할 수 있다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 도 7에 도시한 바와 같은 동작을 실행함으로써, 단순한 처리로 전자식 손 떨림 보정 방식에 의한 손 떨림 보정을 행할 수가 있다. 또한, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 도 7에 도시한 바와 같은 동작을 실행함으로써, 종래의 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리에 비하여 소비 전력을 저하시킬 수 있다. 따라서, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시킬 수 있다.

도 8은, 움직임 벡터 탐색을 행하는 경우에, 유효 화소 영역 전체의 화상으로부터 1비트의 축소 화소 신호를 생성하는 경우의, 센서 모듈(100)의 동작시간의 예를 도시하는 설명도이다.

센서 모듈(100)은, 전단 처리에서, 유효 화소 영역 전체의 화상으로부터, 녹색의 화소만을 사용하여 1비트의 축소 화소 신호를 생성하고, 화상 기억부(121)에 격납한다. 센서 모듈(100)은, 화상 기억부(121)에 격납한 복수 프레임의 1비트의 축소 화소 신호를 이용하여 간이적으로 움직임 벡터를 산출한다. 여기서는, 센서 모듈(100)은, 1비트의 축소 화소 신호를 이용하여, 글로벌 움직임 벡터의 계산에 필요한 로컬 움직임 벡터만을 산출한다. 그리고 센서 모듈(100)은, 산출한 움직임 벡터에 의거하여 잘라내는 영역을 결정하는 잘라냄 판정 처리를 행하고, 잘라냄 판정 처리에 의해 결정한 잘라내는 영역에 의거하여 실효 화소 영역을 잘라내어 후단 처리를 실행한다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 화상 기억부(121)를 통하여 전단 처리와 후단 처리를 제각기 처리할 수 있음으로써, 전단 처리는 프레임 레이트에 율속되지 않고서 고속으로 동작시킬 수 있고, 또한 시간을 들여서 후단 처리를 동작시킬 수 있다.

도 9는, 전자 기기(10)의 내부에 마련되어 있는 자이로스코프 센서(140)로부터 보내지는 센싱 데이터를 이용하여 잘라내고 영역을 결정하는 경우의 센서 모듈(100)의 구성례를 도시하는 설명도이다. 또한, 자이로스코프 센서(140)는 센서 모듈(100)의 내부에 구비되어 있어도 좋고, 센서 모듈(100)의 외부에 마련되어 있다 도 좋다.

전자 기기(10)에 마련되어 있는 자이로스코프 센서(140)로부터 보내지는 센싱 데이터를 이용하여 잘라내고 영역을 결정하는 경우, 도 9에 도시한 바와 같이, 잘라내는 영역 결정부(132)가 센싱 데이터를 취득하고, 센싱 데이터에 의거하여 잘라내는 영역을 결정한다. 화상 절출부(133)는, 잘라내는 영역 결정부(132)가 결정한 잘라내는 영역에 의거하여 유효 화소 영역으로부터 실효 화소 영역을 잘라낸다.

도 10은, 화상 처리부(12)와의 연휴(in cooperation)에 잘라내는 영역을 결정하는 경우의 센서 모듈(100)의 구성례를 도시하는 설명도이다.

도 10에 도시한 예에서는, 화상 처리부(12)가, 복수 프레임의 가속도 정보의 통계로부터 구한 손 떨림량을 센서 모듈(100)에 출력하고 있다. 화상 처리부(12)와의 연휴에 의해 잘라내는 영역을 결정하는 경우, 도 10에 도시한 바와 같이, 잘라내는 영역 결정부(132)가 손 떨림량을 화상 처리부(12)로부터 취득하고, 손 떨림량에 의거하여 잘라내는 영역을 결정한다. 화상 절출부(133)는, 잘라내는 영역 결정부(132)가 결정한 잘라내는 영역에 의거하여 유효 화소 영역으로부터 실효 화소 영역을 잘라낸다.

화상 처리부(12)와의 연휴에 의해 잘라내는 영역을 결정하는 경우, 센서 모듈(100)은, 복수 프레임분의 화소 신호를 화상 기억부(121)에 모아 둔다. 예를 들면, 화상 처리부(12)가, 4프레임분의 가속도 정보의 통계로부터 손 떨림량을 구하고 손 떨림량을 센서 모듈(100)에 출력하는 경우, 센서 모듈(100)은, 화상 기억부(121)에 기억하고 있던 4프레임 전의 화소 신호에 대해, 손 떨림량에 의거한 잘라냄 처리를 실행한다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 내부에서 복수 프레임분의 화소 신호를 기억할 수 있는 화상 기억부(121)를 마련함으로써, 화상 처리부(12)와의 연휴에 의해 잘라내는 영역을 결정하고, 결정한 잘라내는 영역에 의거하여 유효 화소 영역으로부터 실효 화소 영역을 잘라낼 수 있다. 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 내부에서 복수 프레임분의 화소 신호를 기억하여 둠으로써, 화상 기억부(121)에서의 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 지연을 흡수할 수 있다. 즉, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 화소 신호가 생성된 시점과, 움직임 정보가 취득된 시점과의 동기를 취한 상태에서 잘라내는 영역을 결정할 수 있다. 또한 센서 모듈(100)은, 내부에서 유효 화소 영역으로부터 실효 화소 영역을 잘라냄으로써, 후단 처리부(134)의 처리 화각의 저감에 의한 소비 전력의 삭감을 할 수 있다. 또한 센서 모듈(100)은, 내부에서 유효 화소 영역으로부터 실효 화소 영역을 잘라냄으로써, 센서 모듈(100)과 화상 처리부(12) 사이의 인터페이스 대역의 오프로드가 가능해진다.

<2. 이동체에의 응용례>

본 개시에 관한 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 한 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.

도 11은, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 한 예인 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도이다.

차량 제어 시스템(12000)은, 통신 네트워크(12001)을 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 11에 도시한 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 바디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차량탑재 네트워크 I/F(interface)(12053)가 도시되어 있다.

구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각(steering angle)을 조절하는 스티어링 기구, 및, 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.

바디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 바디계 제어 유닛(12020)은, 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있는다. 바디계 제어 유닛(12020)은, 이들의 전파 또는 신호의 입력을 접수하여, 차량의 도어 로크 장치, 파워 윈도우 장치, 램프 등을 제어한다.

차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 의거하여, 사람, 차량, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 좋다.

촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 응한 전기 신호를 출력하는 광센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 거리측정의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이라도 좋고, 적외선 등의 비가시광이라도 좋다.

차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력된 검출 정보에 의거하여, 운전자의 피로 정도 또는 집중 정도를 산출하여도 좋고, 운전자가 앉아서 졸고 있지 않는지를 판별하여도 좋다.

마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차내외의 정보에 의거하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수가 있다.

또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득된 차량의 주위의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해, 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.

또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득된 차외의 정보에 의거하여, 바디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 응하여 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 전환하는 등의 방현(anti-glaring)을 도모하는 것을 목적으로 한 협조 제어를 행할 수가 있다.

음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 11의 예에서는, 출력 장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는, 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다.

도 12는, 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.

도 12에서는, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.

촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트 노우즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프론트유리의 상부 등의 위치에 마련된다. 프런트 노우즈에 구비되는 촬상부(12101) 및 차실 내의 프론트유리의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득된 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.

또한, 도 12에는, 촬상부(12101 내지 12104)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(12111)는, 프런트 노우즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 중합시켜짐에 의해, 차량(12100)을 상방에서 본 조감 화상을 얻을 수 있다.

촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 갖고 있어도 좋다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라라도 좋고, 위상차 검출용의 화소를 갖는 촬상 소자라도 좋다.

예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함에 의해, 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물에서, 차량(12100)과 개략 동일 방향으로 소정의 속도(예를 들면, 0㎞/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차의 내 차로부터 미리 확보하여야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함하다)나 자동 가속 제어(추종 발진 제어도 포함하다) 등을 행할 수가 있다. 이와 같이 운전자의 조작에 근거하지 않고서 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수가 있다.

예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 기타의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상이고 충돌 가능성이 있는 상황일 때에는, 오디오 스피커(12061)나 표시부(12062)를 통하여 드라이버에게 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 통하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수가 있다.

촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라라도 좋다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이들의 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지의 여부를 판별하는 순서에 의해 행하여진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 방형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어하여도 좋다.

이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은, 이상 설명한 구성 중, 촬상부(12031) 등에 적용될 수 있는다. 촬상부(12031) 등에 본 개시에 관한 기술이 적용됨으로써, 떨림을 방지한 화상을 생성할 수 있다.

<3. 정리>

이상 설명한 바와 같이 본 개시의 실시의 형태에 의하면, 단순한 처리로 전자식 손 떨림 보정 방식에 의한 손 떨림 보정을 행할 수가 있음과 함께, 종래의 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리에 비하여 소비 전력을 저하시킴으로써, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리의 효율을 향상시키는 것이 가능한 센서 모듈(100)이 제공된다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 실행한 후의, 실효 화소 영역의 화소 신호에 대해, 화상에 관한 신호 처리를 실행한다. 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 유효 화소 영역 전체에 대해 화상에 관한 신호 처리를 실행하는 경우에 비하여, 소비 전력을 저하시킬 수 있다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 촬상 소자(111)로부터 출력되는 화소 신호를 화상 기억부(121)에 한 번 기억시키고 나서, 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 실행한다. 이에 의해, 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전단 처리와 후단 처리의 처리 레이트를 변환할 수 있다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전단 처리는 고속으로 동작시키고, 후단 처리는, 센서 모듈(100)의 후단의 어플리케이션 프로세서(AP)의 처리 속도에 맞추어서 동작시킬 수 있다. 또한 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 전단 처리를 고속으로 동작시킴으로써, 포컬 플레인 왜곡의 발생을 막을 수 있다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 화상 기억부(121)에 기억시킨 화소 신호에 대해, 센서 모듈(100)의 내부에서 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 실행한다. 본 개시의 실시의 형태에 관한 센서 모듈(100)은, 센서 모듈(100)의 내부에서 전자식 손 떨림 보정 방식에 의한 손 떨림 보정 처리를 실행함으로써, 센서 모듈(100)의 후단에서 손 떨림 보정 처리를 실행하는 경우에 비하여 처리량이나 소비 전력, 인터페이스 대역을 적게 할 수 있다.

본 개시의 실시의 형태에 관한 센서 모듈(100)은, 화상 기억부(121)에 화소 신호를 기억시켜 둠으로써, 어플리케이션 프로세서로의 처리 지연을 센서 모듈(100)측에서 흡수시킬 수 있다. 즉, 어플리케이션 프로세서(화상 처리부(12))측에서 복수 프레임의 데이터를 기초로 화상의 움직임량을 산출한 경우라도, 센서 모듈(100)은, 과거의 프레임에 소급하여 손 떨림 보정 처리를 실행할 수 있다.

본 명세서의 각 장치가 실행하는 처리에서의 각 스텝은, 반드시 시퀀스도 또는 플로우 차트로서 기재된 순서에 따라 시계열로 처리할 필요는 없다. 예를 들면, 각 장치가 실행하는 처리에서의 각 스텝은, 플로우 차트로서 기재하는 순서와 다른 순서로 처리되어도, 병렬적으로 처리되어도 좋다.

또한, 각 장치에 내장되는 CPU, ROM 및 RAM 등의 하드웨어를, 상술한 각 장치의 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한, 그 컴퓨터 프로그램을 기억시킨 기억 매체도 제공된 것이 가능하다. 또한, 기능 블록도에서 나타낸 각각의 기능 블록을 하드웨어 또는 하드웨어 회로로 구성함으로써, 일련의 처리를 하드웨어 또는 하드웨어 회로로 실현할 수도 있다.

이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 이룰 수 있다.

또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1) 촬상 소자로부터 출력된 화소 신호를 기억하는 기억부와, 상기 촬상 소자의 움직임 정보에 의거하여 상기 기억부에 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 영역 결정부와, 상기 영역 결정부에 의해 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 화상 처리부를 구비하는 화상 처리 장치.

(2) 상기 영역 결정부는, 복수 프레임의 상기 화소 신호의 정보를 이용하여 상기 촬상 소자의 움직임 정보를 통계적으로 산출하는 상기 (1)에 기재된 화상 처리 장치.

(3) 상기 영역 결정부는, 상기 화소 신호를 축소하여 얻어지는 축소 화소 신호를 이용하여 상기 잘라내는 영역을 결정하는 상기 (1) 또는 (2)에 기재된 화상 처리 장치.

(4) 상기 촬상 소자의 움직임 정보를 검출하는 움직임 정보 검출부를 구비하고, 상기 영역 결정부는, 상기 움직임 정보 검출부로부터 출력된 센싱 데이터에 의거하여 상기 잘라내는 영역을 결정하는 상기 (1)∼(3)의 어느 하나에 기재된 화상 처리 장치.

(5) 상기 영역 결정부는, 외부의 센서로부터 출력되는 센싱 데이터에 의거하여 상기 잘라내는 영역을 결정하는 상기 (1)∼(3)의 어느 하나에 기재된 화상 처리 장치.

(6) 상기 영역 결정부는, 화소 신호가 생성된 시점과 상기 움직임 정보가 취득된 시점과의 동기를 취한 상태에서 상기 잘라내는 영역을 결정하는 상기 (1)∼(5)의 어느 하나에 기재된 화상 처리 장치.

(7) 상기 촬상 소자로부터 출력된 화소 신호를 상기 기억부에 보내는 전처리부를 또한 구비하고, 상기 전처리부가 상기 기억부에 상기 화소 신호를 보내는 속도는, 상기 기억부에 기억된 상기 화소 신호를 상기 화상 처리부가 판독하는 속도보다도 빠른 상기 (1)∼(6)의 어느 하나에 기재된 화상 처리 장치.

(8) 상기 화상 처리부가 실행하는 화질에 관련되는 화상 처리는, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리의 적어도 어느 하나인 상기 (1)∼(7)의 어느 하나에 기재된 화상 처리 장치.

(9) 제1 반도체 기판, 제2 반도체 기판, 제3 반도체 기판으로 이루어지는 3장의 반도체 기판을 적층하여 구성되고, 상기 제1 반도체 기판에는, 상기 촬상 소자가 적어도 형성되고, 상기 제2 반도체 기판에는, 상기 기억부가 적어도 형성되고, 상기 제3 반도체 기판에는, 상기 상기 영역 결정부 및 상기 화상 처리부가 적어도 형성되어 있는 상기 (1)∼(8)의 어느 하나에 기재된 화상 처리 장치.

(10) 상기 제2 반도체 기판이, 상기 제1 반도체 기판과 상기 제3 반도체 기판의 사이에 마련되는 상기 (9)에 기재된 화상 처리 장치.

(11) 상기 제3 반도체 기판이, 상기 제1 반도체 기판과 상기 제2 반도체 기판의 사이에 마련되는 상기 (9)에 기재된 화상 처리 장치.

(12) 촬상 소자로부터 출력된 화소 신호를 기억하는 것과, 상기 촬상 소자의 움직임 정보에 의거하여, 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 것과, 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 것을 포함하는 화상 처리 방법.

(13) 컴퓨터에, 촬상 소자로부터 출력된 화소 신호를 기억하는 것과, 상기 촬상 소자의 움직임 정보에 의거하여, 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 것과, 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 것을 실행시키는 컴퓨터 프로그램.

(14) 상기 (1)∼(11)의 어느 하나에 기재된 화상 처리 장치를 구비하는 전자 기기.

10 : 전자 기기 100 : 센서 모듈

Claims (14)

1. 촬상 소자로부터 출력된 화소 신호를 기억하는 기억부와,
   상기 촬상 소자의 움직임 정보에 의거하여 상기 기억부에 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 영역 결정부와,
   상기 영역 결정부에 의해 결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 화상 처리부를 구비하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 영역 결정부는, 복수 프레임의 상기 화소 신호의 정보를 이용하여 상기 촬상 소자의 움직임 정보를 통계적으로 산출하는 것을 특징으로 하는 화상 처리 장치.
3. 제1항에 있어서,
   상기 영역 결정부는, 상기 화소 신호를 축소하여 얻어지는 축소 화소 신호를 이용하여 상기 잘라내는 영역을 결정하는 것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,
   상기 촬상 소자의 움직임 정보를 검출하는 센서를 구비하고, 상기 영역 결정부는, 상기 센서로부터 출력되는 센싱 데이터에 의거하여 상기 잘라내는 영역을 결정하는 것을 특징으로 하는 화상 처리 장치.
5. 제1항에 있어서,
   상기 영역 결정부는, 외부의 센서로부터 출력되는 센싱 데이터에 의거하여 상기 잘라내는 영역을 결정하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항에 있어서,
   상기 영역 결정부는, 화소 신호가 생성된 시점과 상기 움직임 정보가 취득된 시점과의 동기를 취한 상태에서 상기 잘라내는 영역을 결정하는 것을 특징으로 하는 화상 처리 장치.
7. 제1항에 있어서,
   상기 촬상 소자로부터 출력된 화소 신호를 상기 기억부에 보내는 전처리부를 또한 구비하고,
   상기 전처리부가 상기 기억부에 상기 화소 신호를 보내는 속도는, 상기 기억부에 기억된 상기 화소 신호를 상기 화상 처리부가 판독하는 속도보다도 빠른 것을 특징으로 하는 화상 처리 장치.
8. 제1항에 있어서,
   상기 화상 처리부가 실행하는 화질에 관련되는 화상 처리는, 자동 화이트 밸런스 처리, 자동 노출 처리, 왜곡 보정 처리, 결함 보정 처리, 노이즈 저감 처리, 하이 다이내믹 레인지 합성 처리의 적어도 어느 하나인 것을 특징으로 하는 화상 처리 장치.
9. 제1항에 있어서,
   제1 반도체 기판, 제2 반도체 기판, 제3 반도체 기판으로 이루어지는 3장의 반도체 기판을 적층하여 구성되고,
   상기 제1 반도체 기판에는, 상기 촬상 소자가 적어도 형성되고,
   상기 제2 반도체 기판에는, 상기 기억부가 적어도 형성되고,
   상기 제3 반도체 기판에는, 상기 영역 결정부 및 상기 화상 처리부가 적어도 형성되어 있는 것을 특징으로 하는 화상 처리 장치.
10. 제9항에 있어서,
    상기 제2 반도체 기판이, 상기 제1 반도체 기판과 상기 제3 반도체 기판의 사이에 마련되는 것을 특징으로 하는 화상 처리 장치.
11. 제9항에 있어서,
    상기 제3 반도체 기판이, 상기 제1 반도체 기판과 상기 제2 반도체 기판의 사이에 마련되는 것을 특징으로 하는 화상 처리 장치.
12. 촬상 소자로부터 출력된 화소 신호를 기억하는 단계와,
    상기 촬상 소자의 움직임 정보에 의거하여, 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 단계와,
    결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 단계를 포함하는 것을 특징으로 하는 화상 처리 방법.
13. 컴퓨터에,
    촬상 소자로부터 출력된 화소 신호를 기억하는 것과,
    상기 촬상 소자의 움직임 정보에 의거하여, 기억된 상기 화소 신호의 잘라내는 영역을 결정하는 것과,
    결정된 상기 잘라내는 영역에서의 화소 신호에 대해 화질에 관한 화상 처리를 실행하는 것을 실행시키는 것을 특징으로 하는 컴퓨터 프로그램.
14. 제1항에 기재된 화상 처리 장치를 구비하는 것을 특징으로 하는 전자 기기.

Images