KR20170139521A - 화상 처리 장치 및 화상 처리 시스템 - Google Patents

Abstract

화상 처리 장치는, 화상 데이터에 대응하는 시차(parallax)를 사용하여 화상의 각 픽셀에 대한 기준 위치로부터의 거리에 관한 정보를 포함하는 깊이 맵(depth map)을 전자적으로 생성하는 깊이 취득 회로와, 거리 정보 및 상기 깊이 맵을 사용하여 화상 데이터의 특정 화소를 식별함에 의해 화상 내의 특정 물체를 전자적으로 검출하는 물체 검출 회로를 포함한다.

Description

화상 처리 장치 및 화상 처리 시스템

본 기술은, 화상 처리 장치 및 화상 처리 시스템에 관한 것으로서. 보다 상세하게는 화상 처리 장치 및 화상 처리 시스템에 관한 것이다.

근래, 몸에 붙여서 지니고 다닐 수 있는 정보 단말, 이른바 웨어러블 단말이 주목을 모으고, 개발이나 판매가 행하여지고 있다.한 예로서, 카메라와 투과형의 디스플레이를 마련한 안경형의 웨어러블 단말이 제안되어 있다(예를 들면, 특허 문헌 1 참조.). 이 웨어러블 단말은, 카메라가 촬상한 화상에서, 인물을 검출하는 처리 등의 화상 처리를 행하여, 디스플레이상의 인물이 적은 영역에 자막 등을 표시시키고 있다.

특허 문헌 1 : JP2012-108793호 공보

그렇지만, 상술한 종래 기술에서는, 카메라가 촬상한 화상이 고해상도일 수록, 또한, 프레임 레이트가 높을 수록, 인물 검출 등의 화상 처리의 처리량이 많아져 버린다는 문제가 있다. 화상 처리량을 적게 하려면, 해상도나 프레임 레이트를 저하시키는 것이 생각되지만, 이들을 저하시키면, 인물 검출의 정밀도도 저하되어 버린다. 이 때문에, 화상 처리량을 저감하는 것이 곤란하다.

본 기술은 이와 같은 상황을 감안하여 생겨난 것으로서, 화상 처리를 행하는 장치에서 화상 처리량을 저감하는 것을 목적으로 한다.

본 발명에 따른 화상 처리 장치는, 화상 데이터에 대응하는 시차(parallax)를 사용하여, 화상의 각 픽셀에 대한 기준 위치로부터의 거리에 관한 정보를 포함하는 깊이 맵을 전자적으로 생성하는 깊이 취득 회로와, 거리 정보 및 상기 깊이 맵을 사용하여, 화상 데이터의 특정 화소를 식별함에 의해 화상의 특정 물체를 전자적으로 검출하는 물체 검출 회로를 포함하는 것을 특징으로 한다.

본 기술에 의하면, 화상 처리를 행하는 장치에서 화상 처리량을 저감할 수 있다는 우수한 효과를 이룰 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.

도 1은 제1의 실시의 형태에서의 안경형 웨어러블 단말의 사시도의 한 예.
도 2는 제1의 실시의 형태에서의 주카메라, 우측 카메라 및 좌측 카메라의 촬상 범위의 한 예를 도시하는 도면.
도 3은 제1의 실시의 형태에서의 안경형 웨어러블 단말의 한 구성례를 도시하는 블록도.
도 4는 제1의 실시의 형태에서의 카메라부 및 신호 처리부의한 구성례를 도시하는 블록도.
도 5는 제1의 실시의 형태에서의 주카메라의한 구성례를 도시하는 블록도.
도 6은 제1의 실시의 형태에서의 화상 처리부 및 표시부의한 구성례를 도시하는 블록도.
도 7은 제1의 실시의 형태에서의 보정부의한 구성례를 도시하는 블록도.
도 8은 제1의 실시의 형태에서의 안경형 웨어러블 단말의 동작의 한 예를 도시하는 플로우 차트.
도 9는 제1의 실시의 형태에서의 보정 설정 처리를 도시하는 플로우 차트.
도 10은 제1의 실시의 형태에서의 물체 검출 처리를 도시하는 플로우 차트.
도 11은 제1의 실시의 형태에서의 주화상 데이터 및 표시 데이터의 한 예를 도시하는 도면.
도 12는 제1의 실시의 형태의 제1의 변형례에서의 테스트용 종이 및 주화상 데이터의 한 예를 도시하는 도면.
도 13은 제1의 실시의 형태의 제1의 변형례에서의 좌표 변환부의한 구성례를 도시하는 블록도.
도 14는 제1의 실시의 형태의 제1의 변형례에서의 보정 방법을 설명하기 위한 도면.
도 15는 제1의 실시의 형태의 제2의 변형례에서의 안경형 웨어러블 단말의 한 구성례를 도시하는 블록도.
도 16은 제1의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말의 한 구성례를 도시하는 블록도.
도 17은 제1의 실시의 형태의 제3의 변형례에서의 카메라부의 한 예를 도시하는 블록도.
도 18은 제1의 실시의 형태의 제3의 변형례에서의 수직 동기 신호의 한 예를 도시하는 타이밍 차트.
도 19는 제1의 실시의 형태의 제4의 변형례에서의 카메라부 및 신호 처리부의한 구성례를 도시하는 블록도.
도 20은 제2의 실시의 형태에서의 화상 처리부의한 구성례를 도시하는 블록도.
도 21은 제2의 실시의 형태에서의 안경형 웨어러블 단말의 동작의 한 예를 도시하는 플로우 차트.
도 22는 제2의 실시의 형태에서의 거리측정 처리를 도시하는 플로우 차트.
도 23은 제2의 실시의 형태에서의 주화상 데이터 및 표시 데이터의 한 예를 도시하는 도면.
도 24는 제3의 실시의 형태에서의 안경형 웨어러블 단말의 사시도의 한 예.
도 25는 제3의 실시의 형태에서의 안경형 웨어러블 단말의 상면도의 한 예.
도 26은 제3의 실시의 형태에서의 안경형 웨어러블 단말의 한 구성례를 도시하는 블록도.
도 27은 제3의 실시의 형태에서의 카메라부 및 신호 처리부의한 구성례를 도시하는 블록도.
도 28은 제3의 실시의 형태에서의 화상 처리부의한 구성례를 도시하는 블록도.
도 29는 제3의 실시의 형태에서의 보정부의한 구성례를 도시하는 블록도.
도 30은 제3의 실시의 형태에서의 우안 화상 데이터 및 좌안 화상 데이터의 한 예를 도시하는 도면.
도 31은 제3의 실시의 형태에서의 검출 범위의 설정 방법을 설명하기 위한 도면.
도 32는 제3의 실시의 형태에서의 물체 검출 처리를 도시하는 플로우 차트.
도 33은 제3의 실시의 형태의 제1의 변형례에서의 화상 처리부의한 구성례를 도시하는 블록도.
도 34는 제3의 실시의 형태의 제1의 변형례에서의 홍채 패턴 정보마다의 우세안 정보의 한 예를 도시하는 도면.
도 35는 제3의 실시의 형태의 제1의 변형례에서의 물체 검출 처리를 도시하는 플로우 차트.
도 36은 제3의 실시의 형태의 제1의 변형례에서의 시선 검출 처리를 도시하는 플로우 차트.
도 37은 제3의 실시의 형태의 제2의 변형례에서의 화상 처리부의한 구성례를 도시하는 블록도.
도 38은 제3의 실시의 형태의 제2의 변형례에서의 입체화상의 표시 위치의 한 예를 도시하는 도면.
도 39는 제3의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말의 한 구성례를 도시하는 블록도.
도 40은 제3의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말의 동작의 한 예를 도시하는 타이밍 차트.
도 41은 제3의 실시의 형태의 제4의 변형례에서의 안경형 웨어러블 단말의 동작의 한 예를 도시하는 타이밍 차트.
도 42는 차량 제어 시스템의 개략 구성례를 도시하는 블록도.
도 43은 촬상 장치의 위치와 외부 정보 검출 장치의 한 예.

이하, 본 기술을 실시하기 위한 형태(이하, 실시의 형태라고 칭한다)에 관해 설명한다. 설명은 이하의 순서에 의해 행한다.

1. 제1의 실시의 형태(소정 범위의 깊이의 영역에서 물체를 검출하는 예)

2. 제2의 실시의 형태(물체를 검출하는 영역의 깊이를 구하든지, 소정 범위의 깊이의 영역에서 물체를 검출하는 예)

3. 제3의 실시의 형태(시선방향을 검출하고, 소정 범위의 깊이의 영역에서 물체를 검출하는 예)

<1. 제1의 실시의 형태>

[안경형 웨어러블 단말의 구성례]

도 1은, 제1의 실시의 형태에서의 안경형 웨어러블 단말(100)의 사시도의 한 예이다. 이 안경형 웨어러블 단말(100)은, 림(101 및 102)과, 주카메라(111)와, 우측 카메라(115)와, 좌측 카메라(116)와, 우측 투과형 디스플레이(151)와, 좌측 투과형 디스플레이(152)를 구비한다.

안경형 웨어러블 단말(100)의 전체의 형상은, 안경과 유사하고 있고, 안경의 렌즈 대신에 우측 투과형 디스플레이(151) 및 좌측 투과형 디스플레이(152)가 마련된다. 우측 투과형 디스플레이(151)는, 안경형 웨어러블 단말(100)을 장착한 유저의 우안에 대향하는 위치에 부착되고, 좌측 투과형 디스플레이(152)는, 유저의 좌안에 대향하는 위치에 부착된다.

림(101)은, 우측 투과형 디스플레이(151)가 부착되는 부재이고, 림(102)은, 좌측 투과형 디스플레이(152)가 부착되는 부재이다. 주카메라(111) 및 우측 카메라(115)는, 림(101)에 마련되고, 좌측 카메라(116)는 림(102)에 마련된다. 또한, 유저의 얼굴이 향한 방향을 전방(화살표의 방향)으로 하여, 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)는, 림(101 및 102)의 전방을 향한 면에 부착된다.

또한, 주카메라(111)를 림(101)에 마련하는 구성으로 하고 있지만, 우측 카메라(115) 및 좌측 카메라(116)와 촬상 범위의 적어도 일부가 중복되는 위치라면, 림(102) 등, 림(101) 이외의 장소에 마련하여도 좋다.

도 2는, 제1의 실시의 형태에서의 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)의 촬상 범위의 한 예를 도시하는 도면이다. 동 도면에서, 실선으로 둘러싸여진 영역은, 유저의 두정부(頭頂部)에의 방향을 상방으로 하여, 상방에서 본 주카메라(111)의 촬상 범위를 나타낸다. 또한, 1점쇄선으로 둘러싸여진 영역은, 상방에서 본 우측 카메라(115)의 촬상 범위를 나타내고, 점선으로 둘러싸여진 영역은, 상방에서 본 좌측 카메라(116)의 촬상 범위를 나타낸다. 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)는, 모두 안경형 웨어러블 단말(100)의 전면(前面)에 부착되어 있기 때문에, 이들 카메라의 촬상 범위는, 그 적어도 일부가 중복된다. 동 도면에서 사선의 부분은, 촬상 범위의 중복 부분이다.

도 3은, 제1의 실시의 형태에서의 안경형 웨어러블 단말(100)의한 구성례를 도시하는 블록도이다. 이 안경형 웨어러블 단말(100)은, 카메라부(110), 신호 처리부(130), 화상 처리부(200), 기준신호 발생부(120), 노광 제어부(140), 및, 표시부(150)를 구비한다. 또한, 안경형 웨어러블 단말(100)은, 특허청구의 범위에 기재된 촬상 장치 및 화상 처리 장치의 한 예이다.

기준신호 발생부(120)는, 촬상을 행하는 타이밍을 나타내는 기준신호로서 수직 동기 신호(VSYNC)를 발생하는 것이다. 이 기준신호 발생부(120)는, 수직 동기 신호(VSYNC)를 카메라부(110)에 신호선(129)을 통하여 공급한다.

카메라부(110)는, 수직 동기 신호(VSYNC)에 동기하여 화상 데이터를 촬상하는 것이다. 이 카메라부(110)는, 촬상한 화상 데이터를 신호 처리부(130)에 신호선(119)을 통하여 공급한다.

신호 처리부(130)는, 화상 데이터에 대해 화이트 밸런스 처리나 노이즈 제거 처리 등의 각종의 신호 처리를 행하는 것이다. 신호 처리부(130)는, 처리 후의 화상 데이터를 신호선(139)을 통하여 노광 제어부(140) 및 화상 처리부(200)에 공급한다. 또한, 신호 처리부(130)는, 화상 데이터로부터 광량을 측광하여 측광량을 신호선(138)을 통하여 노광 제어부(140)에 공급한다.

화상 처리부(200)는, 화상 데이터에 대해 소정의 화상 처리를 실행하는 것이다. 이 화상 처리는, 얼굴이나 인물 등의 특정한 물체를 검출하는 처리를 포함한다. 화상 처리부(200)는, 물체를 검출한 결과를 나타내는 표시 데이터를 생성하고, 신호선(209)을 통하여 표시부(150)에 공급한다. 예를 들면, 검출한 물체의 위치, 형상이나 명칭 등을 표시하기 위한 데이터가 표시 데이터로서 생성된다.

노광 제어부(140)는, 측광량에 의거하여, 카메라부(110)의 노광량을 제어하는 것이다. 노광 제어부(140)는, 조리개나 노광 시간을 제어하기 위한 노광 제어 신호를 신호선(149)을 통하여 카메라부(110)에 공급한다. 표시부(150)는, 표시 데이터를 표시하는 것이다.

또한, 안경형 웨어러블 단말(100)은, 외부의 기기와 통신을 행하는 외부 인터페이스를 또한 구비하고, 주화상 데이터나 표시 데이터를 외부에 송신하여도 좋다. 또한, 카메라부(110), 신호 처리부(130), 화상 처리부(200), 기준신호 발생부(120), 노광 제어부(140), 및, 표시부(150)를 동일한 기기에 마련하는 구성으로 하고 있지만, 이것을 다른 장치나 기기에 분산하여 마련하여도 좋다. 예를 들면, 카메라부, 신호 처리부(130), 노광 제어부(140), 및, 표시부(150)를 안경형 웨어러블 단말(100)에 마련하고, 화상 처리부(200)를 외부의 서버 등에 마련하는 구성이라도 좋다. 또한, 카메라부(110) 등을 안경형 웨어러블 단말(100)에 마련하는 구성으로 하고 있지만, 태블릿 단말이나 스마트 폰 등, 안경형 웨어러블 단말 이외의 장치나 기기에 마련하여도 좋다.

[카메라부 및 신호 처리부의 구성례]

도 4는, 제1의 실시의 형태에서의 카메라부(110) 및 신호 처리부(130)의한 구성례를 도시하는 블록도이다. 카메라부(110)는, 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)를 구비한다. 신호 처리부(130)는, 신호 처리 회로(131, 132 및 133)를 구비한다.

주카메라(111)는, 안경형 웨어러블 단말(100)을 촬상한 유저의 시야를 촬상하는 것이다. 이 주카메라(111)는, 촬상한 화상 데이터를 주화상 데이터로서 신호 처리 회로(131)에 공급한다. 또한, 주카메라(111)는, 특허청구의 범위에 기재된 주화상의 촬상부의 한 예이다.

우측 카메라(115) 및 좌측 카메라(116)는, 적어도 일부가 주카메라(111)와 중복되는 촬상 범위를 촬상하는 것이다. 우측 카메라(115) 및 좌측 카메라(116)에 의해, 그들 카메라의 부착 위치 사이의 거리에 응한 시차의한 쌍의 시차화상 데이터가 촬상된다.한 쌍의 시차화상의 각각의 해상도는 동일하다. 우측 카메라(115)는, 그들 시차화상 데이터의 일방을 우측 화상 데이터로서 신호 처리 회로(132)에 공급하고, 좌측 카메라(116)는, 시차화상 데이터의 타방을 좌측 화상 데이터로서 신호 처리 회로(133)에 공급한다. 또한, 우측 카메라(115) 및 좌측 카메라(116)를 포함하는 모듈은, 특허청구의 범위에 기재된 시차화상 촬상부의 한 예이다.

여기서,한 쌍의 시차화상 데이터의 해상도는, 주화상 데이터보다도 낮은 것이 바람직하다. 시차화상 데이터의 해상도를 낮게 함에 의해, 후술하는 거리측정(測距)의 연산량을 삭감하고, 소비 전력을 저감할 수 있다. 또한,한 쌍의 시차화상 데이터 내의 화소 데이터는 색정보(色情報)를 포함하지 않고, 주화상 데이터 내의 화소 데이터는 색정보를 포함하는 것이 바람직하다. 시차화상을 모노클로 화상으로 하는 편이, 컬러 화상으로 하기 보다도 촬상 소자의 감도를 높게할 수 있고, 또한, 촬상 소자의 화소수를 유효하게 활용하는 면에서도 유리하다. 한편, 주화상 데이터를 컬러 화상으로 하는 편이, 모노클로 화상으로 하기보다도 물체의 검출 정밀도를 높게할 수 있다.

또한, 우측 카메라(115) 및 좌측 카메라(116)의 광학계는, 동일한 것이 바람직하다. 이들의 광학계가 정돈되지 않으면, 광학 왜곡 등의 캘리브레이션이 곤란해지기 때문이다.

또한, 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)를 동일한 기기(안경형 웨어러블 단말(100))에 마련하고 있지만, 이 구성으로 한정되지 않는다. 각 카메라에 의해, 적어도 일부가 중복되는 촬상 범위를 촬영할 수 있는 것이라면, 그들 카메라를 다른 기기에 분산하여 마련하여도 좋다. 단, 복수의 기기에 분산하여 마련하는 경우에는, 어는 하나의 기기가 이동한 때에, 주화상의 좌표와 시차화상의 좌표를 대응시키기 위한 캘리브레이션을 행할 필요가 있다. 이와 같은 캘리브레이션의 빈도를 저감하는 관점에서, 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)를 동일한 기기에 마련하는 것이 바람직하다.

또한, 노광 제어부(140)는, 주화상 및 시차화상의 각각의 촬상시의 노광 시작 타이밍 및 노광 종료 타이밍을 제어하여 노광 기간을 동일하게 하는 것이 바람직하다. 노광 기간을 정돈함에 의해, 촬영 조건의 차를 보정하는 연산을 없앨 수 있고, 또한, 거리측정 물체 검출의 정밀도를 향상시킬 수 있다.

신호 처리 회로(131)는, 주화상 데이터에 대해 소정의 신호 처리를 행하는 것이다. 신호 처리 회로(132)는, 우측 화상 데이터에 대해 소정의 신호 처리를 행하는 것이다. 또한, 신호 처리 회로(133)는, 좌측 화상 데이터에 대해 소정의 신호 처리를 행하는 것이다. 신호 처리 회로(131, 132 및 133)는, 처리 후의 화상 데이터를 화상 처리부(200)에 공급한다. 또한, 신호 처리 회로(131, 132 및 133)는, 대응하는 화상 데이터로부터 광량을 측광하여 측광량을 노광 제어부(140)에 공급한다.

[주카메라의 구성례]

도 5는, 제1의 실시의 형태에서의 주카메라(111)의한 구성례를 도시하는 블록도이다. 이 주카메라(111)는, 촬상 렌즈(112), 조리개(113) 및 촬상 소자(114)를 구비한다. 또한, 우측 카메라(115) 및 좌측 카메라(116)의 구성은, 주카메라(111)와 마찬가지이다. 단, 주카메라(111)는 가변 초점의 카메라이고, 우측 카메라(115) 및 좌측 카메라(116)는 고정 초점의 카메라인 것이 바람직하다. 또한, 우측 카메라(115) 및 좌측 카메라(116)는, 같은 초점 거리에서, 해상도가 피크가 되도록 조정되어 있는 것이 바람직하다. 우측 카메라(115) 및 좌측 카메라(116)를 고정 초점으로 함에 의해, 용이하게 거리측정 정밀도를 향상시킬 수 있다.

촬상 렌즈(112)는, 피사체로부터의 광을 집광하여 촬상 소자(114)에 유도하는 것이다. 조리개(113)는, 노광 제어 신호에 따라 통과하는 광의 양을 조정하는 것이다. 촬상 소자(114)는, 수직 동기 신호(VSYNC)에 동기하여, 광을 전기 신호로 변환하여 주화상 데이터를 생성하는 것이다. 또한, 촬상 소자(114)는, 노광 제어 신호에 따라, 촬상 소자(114)의 화소 내의 트랜지스터를 제어함에 의해 노광 시간을 변경한다. 이와 같이, 화소 내의 트랜지스터를 제어함에 의해 노광 시간을 변경하는 방식은, 전자 셔터 방식이라고 불린다.

또한, 주카메라(111)는, 전자 셔터 방식에 의해 노광 시간을 변경하고 있지만, 메커니컬 셔터를 또한 구비하고, 그 메커니컬 셔터를 제어함에 의해 노광 시간을 변경하여도 좋다. 우측 카메라(115) 및 좌측 카메라(116)에 대해서도 마찬가지이다.

또한, 우측 카메라(115) 및 좌측 카메라(116)를 고정 초점의 카메라로 하고 있지만, 가변 초점의 카메라로 하여도 좋다. 이 경우에는, 이들의 카메라의 초점 거리는 동일하게 제어되는 것이 바람직하다. 또한, 주카메라(111)를 가변 초점의 카메라로 하고 있지만, 고정 초점이라도 좋다.

[화상 처리부 및 표시부의 구성례]

도 6은, 제1의 실시의 형태에서의 화상 처리부(200) 및 표시부(150)의한 구성례를 도시하는 블록도이다. 이 화상 처리부(200)는, 보정부(210), 물체 검출부(240) 및 깊이 취득부(250)를 구비한다. 또한, 표시부(150)는, 우측 투과형 디스플레이(151) 및 좌측 투과형 디스플레이(152)를 구비한다.

여기서, 화상 처리부(200)에는, 물체 검출 모드인지, 보정 설정 모드인지를 나타내는 모드 신호가 입력된다. 이 물체 검출 모드는, 특정한 물체의 검출을 행하는 모드이다. 보정 설정 모드는, 화상 데이터에서의 좌표의 어긋남을 보정하기 위한 보정 데이터를 설정하는 모드이다. 이 보정 데이터는, 예를 들면, 화상 데이터에서의 좌표 어긋남의 보정을 행하는 범위나, 전(全) 화소에 관해 보정 전후의 좌표 등을 포함한다.

보정부(210)는, 카메라의 부착 위치의 위치 어긋남이나, 촬상 렌즈(112)의 광학 왜곡에 의한, 소정의 기준 좌표로부터의 좌표의 어긋남을 화소마다 보정하는 것이다. 물체 검출 모드에서 보정부(210)는, 주화상 데이터에서, 주카메라(111)의 위치 어긋남 및 광학 왜곡의 적어도 일방에 의한 좌표 어긋남을 보정하여 물체 검출부(240)에 공급한다. 또한, 보정부(210)는, 우측 화상 데이터에서도 마찬가지로, 우측 카메라(115)의 위치 어긋남 등에 의한 좌표 어긋남을 보정하여 깊이 취득부(250)에 공급한다. 또한, 보정부(210)는, 좌측 화상 데이터에서도 마찬가지로, 좌측 카메라(116)의 위치 어긋남 등에 의한 좌표 어긋남을 보정하여 깊이 취득부(250)에 공급한다.

한편, 보정 설정 모드에서 보정부(210)는, 주화상 데이터, 우측 화상 데이터 및 좌측 화상 데이터의 각각에 관해, 좌표 어긋남을 보정하기 위한 보정 데이터를 설정한다. 예를 들면, 보정부(210)는, 화상 데이터의 각각의 특징점을 검출하고, 그들 특징점의 좌표를, 좌표 어긋남이 없는 가상(假想)의 통일 좌표계에서의 좌표로 정규화한다. 그리고, 보정부(210)는, 정규화된 특징점의 좌표의 매칭을 취함에 의해, 좌표 어긋남을 보정한다. 이와 같이, 정규화된 좌표를 처리함에 의해, 어긋남이 없는 이상적인 좌표계에서 연산할 수가 있어서, 매칭 처리 등을 대폭적으로 경감할 수 있다. 또한, 특징점의 매칭을 행함으로써, 화상 전체에서 매칭을 행하는 것보다도 높은 정밀도로 효율적으로 보정을할 수가 있다.

또한, 안경형 웨어러블 단말(100) 자체가, 보정 데이터를 생성하여 설정하는 구성으로 하고 있지만, 안경형 웨어러블 단말(100)의 외부의 장치가, 보정 데이터를 생성하여 안경형 웨어러블 단말(100)에 설정하는 구성으로 하여도 좋다.

깊이 취득부(250)는, 우측 화상 데이터 및 좌측 화상 데이터의 시차로부터, 주화상 데이터 내의 화소마다의 깊이를 취득하는 것이다. 여기서, 깊이는, 촬상 렌즈(112)의 광축 방향에서의, 기준 위치(화상 데이터의 결상면의 위치 등)로부터 피사체까지의 거리를 나타낸다. 전술한 바와 같이, 주화상 데이터와, 우측 화상 데이터 및 좌측 화상 데이터의 각각의 촬상 범위는 일부가 중복되기 때문에, 깊이의 취득은, 그 중복되는 범위 내의 화소에 관해서만 실행된다. 깊이 취득부(250)는, 화소마다의 깊이를 나타내는 깊이 맵을 물체 검출부(240)에 공급한다.

물체 검출부(240)는, 주화상 데이터에 대해, 특정한 물체를 검출하는 물체 검출 처리를 실행하는 것이다. 이 물체 검출부(240)는, 깊이 맵을 이용하여, 광축 방향에서의 소정의 설정 범위 내의 깊이에 대응하는 화소로 이루어지는 주화상 데이터 내의 영역을 검출 영역으로서 구한다. 물체 검출부(240)에는, 깊이 맵 내의 화소의 좌표와, 주화상 데이터 내의 화소의 좌표와의 대응 관계가 미리 유지되어 있는 것으로 한다. 또한, 광축 방향에서의 설정 범위에는, 예를 들면, 주화상의 결상면에서의 거리(Dn 내지 Df)의 범위가 설정된다. Dn 내지 Df에는, 특정한 물체의 검출 정밀도가 충분히 높아지는 값이 미리 설정된다. Dn 내지 Df의 단위는, 예를 들면 미터이다. 물체로서 인물 등을 검출하는 경우, 예를 들면,(2 내지 15 미터 정도의 범위에서 충분한 검출 정밀도를 얻을 수 있는 것이면, Dn에(2가 설정되고, Df에 15가 설정된다. 그리고, 물체 검출부(240)는, 설정 범위 내의 깊이가 얻어진, 주화상 데이터 내의 검출 영역에 대해 물체 검출 처리를 실행한다. 물체 검출부(240)는, 검출 결과를 나타내는 표시 데이터를 생성하여 표시부(150)에 공급한다.

우측 투과형 디스플레이(151) 및 좌측 투과형 디스플레이(152)는, 물체가 검출된 위치에, 화상 처리부(200)로부터의 표시 데이터를 표시시킨다.

[보정부의 구성례]

도 7은, 제1의 실시의 형태에서의 보정부(210)의한 구성례를 도시하는 블록도이다. 이 보정부(210)는, 좌표 어긋남 산출부(211)와 좌표 변환부(220,(212 및(213)를 구비한다.

좌표 어긋남 산출부(211)는, 보정 설정 모드에서 주화상 데이터, 우측 화상 데이터 및 좌측 화상 데이터의 각각에 관해, 좌표 어긋남을 산출하는 것이다. 이 좌표 어긋남 산출부(211)는, 산출한 좌표 어긋남을 보정하기 위한 보정 데이터를 생성하고, 좌표 변환부(220,(212 및(213)에 공급한다.

좌표 변환부(220)는, 보정 데이터를 사용하여, 주화상 데이터의 보정 전의 좌표를 보정 후의 좌표로 변환하는 것이다. 이 좌표 변환부(220)는, 보정 설정 모드에서 생성된 보정 데이터를 유지하여 둔다. 그리고, 좌표 변환부(220)는, 물체 검출 모드에서, 보정 데이터를 이용하여 좌표를 변환하고, 변환 후의 주화상 데이터를 물체 검출부(240)에 공급한다.

좌표 변환부(212)는, 보정 데이터를 사용하여, 우측 화상 데이터의 보정 전의 좌표를 보정 후의 좌표로 변환하는 것이다. 좌표 변환부(213)는, 보정 데이터를 사용하여, 좌측 화상 데이터의 보정 전의 좌표를 보정 후의 좌표로 변환하는 것이다.

도 8은, 제1의 실시의 형태에서의 안경형 웨어러블 단말(100)의 동작의 한 예를 도시하는 플로우 차트이다. 이 동작은, 예를 들면, 전원이 투입된 때나, 소정의 어플리케이션이 실행된 때에 시작한다.

안경형 웨어러블 단말(100)은, 물체 검출 모드로 설정되었는지의 여부를 판단한다(스텝 S901). 보정 설정 모드로 설정된 경우에(스텝 S901 : No), 안경형 웨어러블 단말(100)은, 보정 데이터를 설정하는 보정 설정 처리를 실행한다(스텝 S910). 한편, 물체 검출 모드로 설정된 경우에(스텝 S901 : Yes), 안경형 웨어러블 단말(100)은, 특정한 물체를 검출하는 물체 검출 처리를 실행한다(스텝 S920). 스텝 S910 또는 S920의 후, 안경형 웨어러블 단말(100)은, 보정 설정 처리 또는 물체 검출 처리가 종료되었는지의 여부를 판단한다(스텝 S902). 그들의 처리가 종료되지 않은 경우에는(스텝 S902 : No), 안경형 웨어러블 단말(100)은, 스텝 S901 이후를 반복한다. 한편, 처리가 종료된 경우에는(스텝 S902 : Yes), 안경형 웨어러블 단말(100)은, 동작을 종료한다.

도 9는, 제1의 실시의 형태에서의 보정 설정 처리를 도시하는 플로우 차트이다. 안경형 웨어러블 단말(100)은, 주화상 데이터를 촬상하고(스텝 S911), 또한,한 쌍의 시차화상 데이터를 촬상한다(스텝 S912). 그리고, 안경형 웨어러블 단말(100)은, 그들의 화상을 비교하여, 좌표 어긋남을 산출하고(스텝 S913), 보정 데이터를 설정한다(스텝 S914). 스텝 S914의 후, 안경형 웨어러블 단말(100)은, 보정 설정 처리를 종료한다.

도 10은, 제1의 실시의 형태에서의 물체 검출 처리를 도시하는 플로우 차트이다. 안경형 웨어러블 단말(100)은, 주화상 데이터를 촬상하고(스텝 S921), 또한,한 쌍의 시차화상 데이터를 촬상한다(스텝 S922). 그리고, 안경형 웨어러블 단말(100)은, 각 화상 데이터의 좌표 어긋남을 보정하고(스텝 S923),한 쌍의 시차화상 데이터로부터 깊이 맵을 생성한다(스텝 S924). 또한, 안경형 웨어러블 단말(100)은, 소정 범위 내의 깊이의 검출 영역에서, 특정한 물체를 검출하고(스텝 S925), 검출 결과를 표시한다(스텝 S926). 스텝 S926의 후, 안경형 웨어러블 단말(100)은, 물체 검출 처리를 종료한다.

도 11은, 제1의 실시의 형태에서의 주화상 데이터 및 표시 데이터의 한 예를 도시하는 도면이다. 동 도면에서의 a는, 주화상 데이터(500)의 한 예를 도시하는 도면이고, 동 도면에서의 b는, 표시 데이터(510)의 한 예를 도시하는 도면이다.

주화상 데이터(500)는, 인물(501 및 502) 등의 피사체를 포함한다. 이 인물(501)은, 안경형 웨어러블 단말(100)로부터 충분히 떨어진, 거리(d1)의 위치에 서 있기 때문에, 전신이 찍혀 있다. 이 때문에, 거리(d1)에서는, 안경형 웨어러블 단말(100)은, 인물을 정확하게 검출할 수 있다. 한편, 인물(502)은, 단말에 매우 가까운, 거리(d2)의 위치에 서고 있고, 얼굴의 일부만이 찍혀 있다. 이와 같이 거리(d2)에서는, 거리가 너무 가까워 안경형 웨어러블 단말(100)이 인물을 정확하게 검출할 수가 없을 우려가 있다.

이 경우, d1을 포함하고, d2를 포함하지 않는 범위를 검출 범위로 설정하여 두면, 안경형 웨어러블 단말(100)은, d1의 영역만에 대해 물체 검출 처리를 행하여, 인물을 효율적으로 검출할 수 있다. 인물을 검출할 수가 없는 d2의 영역에는 물체 검출 처리가 행하여지지 않기 때문에, 물체 검출 처리의 처리량을 저감할 수 있다. 처리량의 저감에 의해, 안경형 웨어러블 단말(100)은, 비교적 낮은 소비 전력으로, 물체를 효율적으로 검출할 수 있다.

또한, 표시 데이터(510)는, 검출된 인물(501)의 윤곽을 나타내는 검출 결과(511)를 포함한다. 또한, 안경형 웨어러블 단말(100)은, 물체의 윤곽을 표시하고 있지만, 이 구성으로 한정되지 않는다. 예를 들면, 안경형 웨어러블 단말(100)은, 물체를 둘러싸는 사각형이나 타원의 테두리 등, 윤곽 이외의 검출 결과를 표시하여도 좋다. 또한, 안경형 웨어러블 단말(100)은, 검출한 현실의 물체와 겹쳐지는 위치에, 가상의 물체를 표시하여도 좋다. 이와 같이, 현실의 물체에 가상의 물체를 겹쳐 표시시키는 기술은, AR(Augmented Reality) 기술이라고 불린다.

이와 같이, 본 기술의 제1의 실시의 형태에 의하면, 안경형 웨어러블 단말(100)이 소정 범위 내의 깊이에 대응하는 화소로 이루어지는 검출 영역으로 한정하여 물체 검출 처리를 실행하기 때문에, 그 소정 범위 외의 깊이의 영역에 대한 처리량을 삭감할 수 있다. 이에 의해, 안경형 웨어러블 단말(100)의 소비 전력을 저감할 수 있다.

[제1의 변형례]

상술한 제1의 실시의 형태에서는, 안경형 웨어러블 단말(100)은, 전 화소에 관해 보정 전후의 좌표를 대응시킨 테이블을 이용하여, 좌표 어긋남을 보정하고 있다. 그러나, 화상 데이터의 해상도가 증대하여 테이블의 사이즈가 커지면, 그 테이블을 유지하는 메모리의 용량이 부족할 우려가 있다. 제1의 실시의 형태의 제1의 변형례의 안경형 웨어러블 단말(100)은 보정 전후의 좌표를 유지한 테이블의 사이즈를 삭감하는 점에서 제1의 실시의 형태와 다르다.

도 12는, 제1의 실시의 형태의 제1의 변형례에서의 테스트용 종이(紙) 및 주화상 데이터의 한 예를 도시하는 도면이다. 동 도면에서의 a는, 테스트용 종이(515)의 한 예이다. 동 도면에서의 b는, 테스트용 종이(515)를 주카메라(111)가 촬상한 때의 주화상 데이터(516)의 한 예를 도시하는 도면이다.

테스트용 종이(515)로서, 일정한 간격을 띠우고(2차원 격자형상으로 복수의 흑환(黑丸)이 배열된 화상을 인쇄한 것이 사용된다. 이들의 흑환이 대표점으로서 사용된다.

공장 출하 전이나 수리시 등에서, 작업자는, 안경형 웨어러블 단말(100)에 보정 설정 모드를 설정하고, 테스트용 종이(515)를 소정의 위치에 배치한다. 그리고, 작업자는, 안경형 웨어러블 단말(100)을 조작하여 테스트용 종이(515)를 촬상시킨다. 안경형 웨어러블 단말(100)의 주카메라(111)는, 테스트용 종이(515)를 촬상하여 주화상 데이터(516)를 생성한다.

여기서, 주카메라(111)의 촬상 렌즈(112)에 광학 왜곡이 있으면, 주화상 데이터(516)의 대표점의 좌표가 기준 좌표로부터 어긋나 버린다. 여기서, 기준 좌표는, 테스트용 종이(515)의 대표점에 대응하는, 주화상 데이터(516)에서의 설계상의 좌표이다. 또한, 제조 편차에 의해 주카메라(111)의 부착 위치가 어긋나 있으면, 주화상 데이터(516)의 대표점의 좌표가 기준 좌표로부터 어긋나 버린다. 예를 들면, 테스트용 종이(515)에서 좌상(左上)의 영역이 왜곡되어 있는 것은, 광학 왜곡의 영향에 의한다. 또한, 테스트용 종이(515)의 대표점이 주화상 데이터(510)와 비교하여, 전체적으로 우측으로 어긋나 있는 것은, 부착 위치의 위치 어긋남의 영향에 의한다.

안경형 웨어러블 단말(100)은, 주화상 데이터(516)의 대표점의 각각의 좌표 어긋남을 산출하고, 대표점마다 보정 전후의 좌표를 대응시킨 테이블을 작성한다. 우측 화상 데이터 및 좌측 화상 데이터에 관해서도 마찬가지의 처리가 행하여진다.

도 13은, 제1의 실시의 형태의 제1의 변형례에서의 좌표 변환부(220)의한 구성례를 도시하는 블록도이다. 이 좌표 변환부(220)는, 보정 범위 기억부(221), 리드 어드레스 카운터(222), 라이트 어드레스 카운터(223), 리드 어드레스 디코더(224), 라이트 어드레스 디코더(225) 및 왜곡 보정 테이블(226)을 구비한다. 또한, 좌표 변환부(220)는, 왜곡 보정 어드레스 생성부(227), 지연 조정부(228), 왜곡 보정 어드레스 디코더(229), 라이트 제어부(230), 리드 제어부(231), 화상 메모리(232) 및 보간 처리부(233)를 구비한다. 또한, 제1의 변형례의 좌표 변환부(212 및(213)의 구성은, 좌표 변환부(220)와 마찬가지이다.

보정 범위 기억부(221)는, 좌표 어긋남의 보정을 행하는 보정 범위를 기억하는 것이다. 예를 들면, 무효 화소를 제외하는, 유효 화소의 수평 좌표 및 수직 좌표의 각각의 범위가 보정 범위로서 설정된다. 또한, 보정 범위는, 좌표 어긋남 산출부(211)에 의해 설정된다.

라이트 어드레스 카운터(223)는, 수직 동기 주파수 및 수평 동기 주파수 등의 타이밍 신호에 동기하여 계수치를 계수하는 것이다. 이 라이트 어드레스 카운터(223)는, 수직 좌표의 보정 범위 내에서 수직 동기 신호에 동기하여 계수를 행하여, 또한, 수평 좌표의 보정 범위 내에서 수평 동기 신호에 동기하여 계수하여 계수를 행한다. 수직 동기 신호에 동기하여 계수된 계수치는, 수직 라이트 어드레스를 나타내고, 수평 동기 신호에 동기하여 계수된 계수치는, 수평 라이트 어드레스를 나타낸다. 라이트 어드레스 카운터(223)는, 수직 라이트 어드레스 및 수평 라이트 어드레스로 이루어지는 라이트 어드레스를 라이트 어드레스 디코더(225) 및 리드 어드레스 카운터(222)에 공급한다. 또한, 라이트 어드레스 카운터(223)는, 보정 범위에 대응하는 수직 라이트 어드레스 및 수평 라이트 어드레스의 범위를 라이트 범위로서 라이트 어드레스 디코더(225) 및 리드 어드레스 카운터(222)에 공급한다.

리드 어드레스 카운터(222)는, 라이트 어드레스의 출력 타이밍에서 동기하여 계수치를 계수하는 것이다. 이 리드 어드레스 카운터(222)는, 수직 라이트 어드레스의 출력 타이밍에서 동기하여 라이트 범위 내에서 계수치를 계수하여 수직 리드 어드레스를 생성한다. 또한, 리드 어드레스 카운터(222)는, 수평 라이트 어드레스의 출력 타이밍에서 동기하여 라이트 범위 내에서 계수치를 계수하여 수직 리드 어드레스를 생성한다. 리드 어드레스 카운터(222)는, 수직 리드 어드레스 및 수평 리드 어드레스로 이루어지는 리드 어드레스(R)를 리드 어드레스 디코더(224)에 공급한다. 또한, 리드 어드레스 카운터(222)는, 라이트 범위에 대응하는 수직 리드 어드레스 및 수평 리드 어드레스의 범위를 리드 범위로서 리드 어드레스 디코더(224)에 공급한다.

왜곡 보정 테이블(226)을, 보정 전 테이블 어드레스와 보정 후 테이블 어드레스를 대응시켜서 기억하는 것이다. 여기서, 보정 전 테이블 어드레스는, 보정 전의 대표점의 어드레스이고, 보정 후 테이블 어드레스는, 대응하는 보정 전 테이블 어드레스의 좌표 어긋남을 보정한 어드레스이다. 이들의 어드레스는, 좌표 어긋남 산출부(211)에 의해 설정된다.

리드 어드레스 디코더(224)는, 대표점에 해당하지 않는 리드 어드레스(R)의 각각에 관해, 보간 계수를 산출하는 것이다. 우선, 리드 어드레스 디코더(224)는, 왜곡 보정 테이블(226)을 참조하여 리드 어드레스(R)가, 보정 전 테이블 어드레스(즉, 대표점의 어드레스)인지의 여부를 판단한다. 리드 어드레스(R)가 대표점의 어드레스라면, 리드 어드레스 디코더(224)는, 리드 어드레스(R)를 그대로 왜곡 보정 어드레스 생성부(227)에 공급한다.

한편, 리드 어드레스(R)가 대표점의 어드레스가 아닌 경우에 리드 어드레스 디코더(224)는, 그 어드레스의 주위의 4개의 보정 전 테이블 어드레스(A, B, C 및 D)를 왜곡 보정 테이블(226)로부터 판독하고, 그들의 어드레스로부터 보간 계수를 구한다. 여기서, 보정 전 테이블 어드레스(A, B, C 및 D)의 각각의 좌표를 (HA, VA), (HB, VB), (Hc, Vc), (HD, VD)로 하여, HB>HA, VC>VA, VD>VB 및 HD>HC의 관계가 성립되는 것으로 한다. 이 경우, 리드 어드레스 디코더(224)는, A 및 C를 통과하는 직선(AC)과, B 및 D를 통과하는 직선(BD)의 사이에서 선형 보간을 행하여 리드 어드레스(R)를 통과하는 직선을 보간직선(補間直線)으로서 구한다. 예를 들면, 직선(AC)의 기울기 및 절편을 (a1, b1)로 하고, 직선(BD)의 기울기 및 절편을 (a2, b2)로 하고, 리드 어드레스(R)를 (HR, VR)로 하여, 다음의 식에 의해, 보간직선의 기울기 및 절편(a0, b0)이 산출된다.

(a0-a1)/(a2-a1) = (b0-b1)/(b2-b1) … (수식 1)

VR = a0×HR+b0 … (수식 2)

리드 어드레스 디코더(224)는, 산출한 보간직선과 A 및 B를 잇는 직선(AB)과의 교점(M)의 좌표(HM, VM)를 산출하고, 보간직선과 C 및 D를 잇는 직선(CD)과의 교점(N)의 좌표(HN, VN)를 산출한다. 리드 어드레스 디코더(224)는, 예를 들면, 다음의 식에 의해, M 및 N을 잇는 선분(MN)을 리드 어드레스(R)에 의해 내분(內分)하는 내분비(m)를 구한다.

(HM-HR) : (HR-HN) = m : (1-m) … (수식 3)

또한, 리드 어드레스 디코더(224)는, 직선(AB)과 직선(CD)의 사이에서 선형 보간을 행하여 리드 어드레스(R)를 통과하는 보간직선을 구한다. 예를 들면, AB의 기울기 및 절편을 (a1, b1)로 하고, CD의 기울기 및 절편을 (a2, b2)로 하여, 식1 및 식2에 의해, 보간직선의 기울기 및 절편(a0, b0)이 산출된다.

리드 어드레스 디코더(224)는, 산출한 보간직선과 직선(AC)과의 교점(O)의 좌표(HO, VO)를 산출하고, 보간직선과 직선(BD)과의 교점(P)의 좌표(HP, VP)를 산출한다. 왜곡 보정 어드레스 생성부(227)는, 예를 들면, 다음의 식에 의해, 선분(OP)을 리드 어드레스(R)에 의해 내분하는 내분비(n)를 구한다.

(HO-HR) : (HR-HP) = n : (1-n) … (수식 4)

그리고, 리드 어드레스 디코더(224)는, 산출한 보간 계수(m 및 n)와, 리드 어드레스(R)와, 보정 전 테이블 어드레스(A, B, C 및 D)를 왜곡 보정 어드레스 생성부(227)에 공급한다. 또한, 리드 어드레스 디코더(224)는, 보간 계수(m 및 n)와, 리드 어드레스(R)를 보간 처리부(233)에 공급한다.

왜곡 보정 어드레스 생성부(227)는, 리드 어드레스(R)로부터, 왜곡을 보정한 왜곡 보정 어드레스(R')를 생성하는 것이다. 이 왜곡 보정 어드레스 생성부(227)는, 리드 어드레스(R)만을 리드 어드레스 디코더(224)로부터 수취한 경우에, 그 리드 어드레스(R)에 대응하는 보정 후 테이블 어드레스를 왜곡 보정 테이블(226)로부터 판독한다. 그리고, 왜곡 보정 어드레스 생성부(227)는, 판독한 어드레스를 왜곡 보정 어드레스(R')로서 왜곡 보정 어드레스 디코더(229)에 공급한다.

한편, 보간 계수 등을 리드 어드레스(R)와 함께 받은 경우에 왜곡 보정 어드레스 생성부(227)는, 왜곡 보정 테이블(226)로부터, 보정 전 테이블 어드레스(A, B, C 및 D)에 대응하는 보정 후 테이블 어드레스(A', B'. C' 및 D')를? 판독한다. 또한, 왜곡 보정 어드레스 생성부(227)는, 보간 계수(m 및 n)를 왜곡 보정 후 보간 계수(m' 및 n')로 변환한다. 여기서, 왜곡 보정 후 보간 계수(m' 및 n')는, 소정의 계수군 중, 보간 계수(m 및 n)에 가장 가까운 계수이다. 이 계수군은, A' 및 B'를 잇는 선분의 화소수에 응한 계수로 이루어지는 군이다. 예를 들면, A'부터 B'까지의 선분(A' B')의 화소수가 4화소인 경우, 그 선분을 내분하는 내분비는, 0, 1/4,(2/4, 3/4 및 1의 어느 하나이다. 이 경우, 0, 1/4,(2/4, 3/4 및 1로 이루어지는 계수군 중, 보간 계수(m 및 n)에 가장 가까운 계수가 왜곡 보정 후 보간 계수(m' 및 n')로서 선택된다.

왜곡 보정 어드레스 생성부(227)는, 보정 후 테이블 어드레스(A', B'. C' 및 D')와 왜곡 보정 후 보간 계수(m' 및 n')로부터, 리드 어드레스(R)에 대응하는 왜곡 보정 어드레스(R')를? 구한다. 예를 들면, A', B'. C' 및 D'의 각각의 좌표를 (HA', VA'), (HB'. VB'), (Hc', Vc'), (HD', VD')로 하고, 다음의 식에 의해, R'의 좌표(HR', VR')가 산출된다.

(HB' - HR') : (HR' - HA') = m' : (1-m') … (수식 5)

(VD' - VR') : (VR' - VA') = n' : (1-n') … (수식 6)

왜곡 보정 어드레스 생성부(227)는, 윗식에 의해 구한 왜곡 보정 어드레스(R')를 왜곡 보정 어드레스 디코더(229)에 공급한다. 또한, 왜곡 보정 어드레스 생성부(227)는, 왜곡 보정 후 보간 계수를 보간 처리부(233)에 공급한다. 또한, 왜곡 보정 어드레스 생성부(227)는, 특허청구의 범위에 기재된 보간부의 한 예이다.

왜곡 보정 어드레스 디코더(229)는, 왜곡 보정 어드레스(R')를, 화상 메모리(232)상의 어드레스로 변환하는 것이다. 왜곡 보정 어드레스 디코더(229)는, 변환한 어드레스를 리드 메모리 어드레스로서 리드 제어부(231)에 공급한다.

라이트 어드레스 디코더(225)는, 라이트 어드레스를, 화상 메모리(232)상의 어드레스로 변환하는 것이다. 라이트 어드레스 디코더(225)는, 변환한 어드레스를 라이트 메모리 어드레스로서 라이트 제어부(230)에 공급한다.

지연 조정부(228)는, 주화상 데이터 내의 화소 데이터의 각각을 일정 시간 지연시켜서 라이트 제어부(230)에 차례로 공급하는 것이다.

라이트 제어부(230)는, 라이트 메모리 어드레스를 지정한 라이트 커맨드를 발행하여 화상 메모리(232)에 공급하고, 화소 데이터를 라이트 메모리 어드레스에 기록하는 것이다. 화상 메모리(232)는, 주화상 데이터를 기억하는 것이다. 리드 제어부(231)는, 리드 메모리 어드레스를 지정한 리드 커맨드를 발행하여 화상 메모리(232)에 공급하고, 화소 데이터를 판독하는 것이다. 이 리드 제어부(231)는, 판독 화소 데이터를 보간 처리부(233)에 공급한다.

보간 처리부(233)는, 화상 메모리(232)로부터 판독된 주화상 데이터에서의 부족한 화소를 보간하는 것이다. 예를 들면, 보정 전의 A, B, C 및 D로 둘러싸인 영역 내의 화소수가 15화소이고, 보정 후의 A', B'. C' 및 D'로? 둘러싸인 영역 내의 화소수가 16화소인 경우, 1화소를 보간할 필요가 있다. 보간 처리부(233)는, 보간 계수, 왜곡 보정 후 보간 계수 및 리드 어드레스(R)와 화상 메모리로부터 판독한 화소 데이터에 의거하여, 필요한 화소 데이터를 보간한다. 보간 처리부(233)는, 보간 후의 화상 데이터를 왜곡 보정한 주화상 데이터로서 물체 검출부(240)에 공급한다.

도 14는, 제1의 실시의 형태의 제1의 변형례에서의 보정 방법을 설명하기 위한 도면이다. 동 도면에서의 a는, 보정 전 테이블 어드레스(A, B, C 및 D)와 리드 어드레스(R)를 도시하는 도면이다. 동 도면에서의 b는, 보정 후 테이블 어드레스(A', B'. C' 및 D')와 왜곡 보정 어드레스(R')를 도시하는 도면이다.

리드 어드레스(R)가 대표점의 어드레스가 아닌 경우에 리드 어드레스 디코더(224)는, R의 주위의 4개의 대표점의 어드레스, 즉 보정 전 리드 어드레스(A, B, C 및 D)를 왜곡 보정 테이블(226)로부터 판독한다.

리드 어드레스 디코더(224)는, 식1 및 식2에 의해, 직선(AC)과 직선(BD)의 사이에서 선형 보간을 행하여 리드 어드레스(R)를 통과하는 직선을 보간직선으로서 구한다. 왜곡 보정 어드레스 생성부(227)는, 그 보간직선과 직선(AB)과의 교점(M)의 좌표를 산출하고, 보간직선과 직선(CD)과의 교점(N)의 좌표를 산출한다. 그리고, 리드 어드레스 디코더(224)는, 예를 들면, 선분(MN)을 리드 어드레스(R)에 의해 내분하는 내분비(m)를 구한다.

또한, 리드 어드레스 디코더(224)는, 직선(AB)과 직선(CD)의 사이에서 선형 보간을 행하여 리드 어드레스(R)를 통과하는 직선을 보간직선으로서 구한다. 왜곡 보정 어드레스 생성부(227)는, 그 보간직선과 직선(AC)과의 교점(O)의 좌표를 산출하고, 보간직선과 직선(BD)과의 교점(P)의 좌표를 산출한다. 그리고, 리드 어드레스 디코더(224)는, 예를 들면, 선분(OP)을 리드 어드레스(R)에 의해 내분하는 내분비(n)를 구한다.

왜곡 보정 어드레스 생성부(227)는, 왜곡 보정 테이블(226)로부터, 보정 전 테이블 어드레스(A, B, C 및 D)에 대응하는 보정 후 테이블 어드레스(A', B'. C' 및 D')를? 판독한다. 또한, 왜곡 보정 어드레스 생성부(227)는, 보정 계수(m 및 n)로부터 왜곡 보정 후 보정 계수(m' 및 n')를? 구한다. 그리고, 도 14에서의 b에 예시하는 바와 같이, 왜곡 보정 어드레스 생성부(227)는, 구한 m' 및 n'과 보정 후 테이블 어드레스(A', B'. C' 및 D')로부터 식5 및 식6에 의해 리드 어드레스(R)에 대응하는 왜곡 보정 어드레스(R')를 구한다.

이와 같이, 왜곡 보정 어드레스 생성부(227)는, 4개의 대표점의 좌표로부터, 대표점에 해당하지 않는 점의 좌표를 보간하기 때문에, 왜곡 보정 테이블(226)에는 대표점만에 관해 보정 전후의 좌표를 유지하여 두면 좋다. 따라서 전 화소에 관해 보정 전후의 좌표를 유지하는 구성과 비교하여, 왜곡 보정 테이블(226)의 사이즈를 작게할 수 있다.

이처럼 본 기술의 제1의 실시의 형태의 제1의 변형례에 의하면, 안경형 웨어러블 단말(100)은, 대표점 이외의 좌표를 대표점의 좌표로부터 보간하기 때문에, 왜곡 보정 테이블(226)의 사이즈를 삭감할 수 있다.

[제2의 변형례]

상술한 제1의 실시의 형태에서는, 안경형 웨어러블 단말(100)은, 유저가 두부(頭部)를 움직인 경우라도 같은 프레임 레이트로 촬상을 행하고 있다. 그러나, 두부에 움직임이 있는 경우에는 화상 데이터 내의 물체의 위치도 크게 변화하기 때문에, 물체를 정확하게 검출할 수가 없게될 우려가 있다. 제1의 실시의 형태의 제2의 변형례에서의 안경형 웨어러블 단말(100)은, 두부의 움직임이 있어도 물체를 정확하게 검출할 수 있도록 주카메라(111) 등을 제어하는 점에서 제1의 실시의 형태와 다르다.

도 15는, 제1의 실시의 형태의 제2의 변형례에서의 안경형 웨어러블 단말(100)의한 구성례를 도시하는 블록도이다. 제1의 실시의 형태의 제2의 변형례에서의 안경형 웨어러블 단말(100)은, 가속도 센서(160)를 또한 구비하는 점에서 제1의 실시의 형태와 다르다.

가속도 센서(160)는, 일정한 샘플링 레이트에 의해 안경형 웨어러블 단말(100)의 가속도를 검출하는 것이다. 가속도 센서(160)는, 검출한 가속도의 값을 기준신호 발생부(120) 및 노광 제어부(140)에 공급한다. 또한, 가속도 센서(160)가, 가속도를 검출하는 샘플링 레이트는, 시차화상 데이터의 프레임 레이트보다도 높은 것이 바람직하다. 일반적으로, 가속도 센서의 쪽이, 촬상 소자보다도 소비 전력이 적기 때문에, 가속도 센서의 샘플링 레이트의 쪽이 촬상 소자와 비교하여 높게하기 쉽다.

제2의 변형례의 기준신호 발생부(120)는, 가속도가 클수록, 수직 동기 신호(VSYNVC)의 주파수를 크게 한다. 이에 의해, 주화상 데이터 등의 화상 데이터의 프레임 레이트가 높아진다. 또한, 제2의 변형례의 노광 제어부(140)는, 가속도가 클수록 노광 시간을 단축한다.

이와 같이, 본 기술의 제1의 실시의 형태의 제2의 변형례에 의하면, 안경형 웨어러블 단말(100)은, 그 가속도가 클수록 높은 프레임 레이트로 화상 데이터를 촬상하기 때문에, 유저가 두부를 움직여도 물체를 정확하게 검출할 수 있다.

[제3의 변형례]

상술한 제1의 실시의 형태에서는, 안경형 웨어러블 단말(100)은, 주화상 데이터와,한 쌍의 시차화상 데이터(우측 화상 데이터 및 좌측 화상 데이터)를 동일한 프레임 레이트로 촬상하고 있다. 그러나, 이 구성에서는, 시차화상 데이터를 이용하여 거리측정 및 물체 검출을 행하는 간격(間隔)과 다른 간격으로 주화상 데이터의 촬상을 행할 수가 없다. 제1의 실시의 형태의 제3의 변형례의 안경형 웨어러블 단말(100)은, 거리측정 및 물체 검출의 간격과 다른 간격으로 촬상을 행하는 점에서 제1의 실시의 형태와 다르다.

도 16은, 제1의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말(100)의한 구성례를 도시하는 블록도이다. 제1의 실시의 형태의 제3의 변형례의 안경형 웨어러블 단말(100)은, 기준신호 발생부(120) 대신에 기준신호 발생부(121)를 구비하고, 기록부(165)를 또한 구비하는 점에서 제1의 실시의 형태와 다르다.

기록부(165)는, 주화상 데이터를 기록하는 것이다. 또한, 기준신호 발생부(121)는, 서로 주파수가 다른 수직 동기 신호(VSYNC1 및 VSYNC2)를 생성한다. 기준신호 발생부(121)는, 그들의 수직 동기 신호를 신호선(128 및 129)을 통하여 카메라부(110)에 공급한다.

여기서, VSYNC1의 주파수와, VSYNC2의 주파수의 비는 정수비인 것이 바람직하다. 정수비로 하면, 깊이의 산출의 타이밍과, 물체 검출의 타이밍을 정돈할 수 있다. 또한, VSYNC1 및 VSYNC2의 주파수가 정수비가 아니면, 주화상 데이터와 시차화상 데이터의 일방을 보간할 필요가 생기기 때문이다.

도 17은, 제1의 실시의 형태의 제3의 변형례에서의 카메라부(110)의 한 예를 도시하는 블록도이다. 수직 동기 신호(VSYNC1)는, 주카메라(111)에 공급되고, 수직 동기 신호(VSYNC2)는, 우측 카메라(115) 및 좌측 카메라(116)에 공급된다. 이에 의해, 주화상 데이터와 시차화상 데이터와의 각각이, 서로 다른 프레임 레이트로 촬상된다.

또한, 제3의 변형례의 물체 검출부(240)는, 주카메라(111)에 대응하는 VSYNC1이 아니라, 우측 카메라(115) 및 좌측 카메라(116)에 대응하는 VSYNC2에 동기하여 물체를 검출한다.

도 18은, 제1의 실시의 형태의 제3의 변형례에서의 수직 동기 신호의 한 예를 도시하는 타이밍 차트이다. 동 도면에서의 a는, 수직 동기 신호(VSYNC1)의 주파수를 수직 동기 신호(VSYNC2)의 3배로 설정한 경우의 타이밍 차트이다. 이에 의해, 주화상 데이터는, 시차화상 데이터의 3배의 프레임 레이트로 촬상된다. 거리측정과 물체의 검출은, 타이밍(T1이나 T2) 등, 주파수가 낮은 쪽의 수직 동기 신호(VSYNC2)에 동기하여 실행된다.

도 18에서의 b는, 수직 동기 신호(VSYNC1)의 주파수를 수직 동기 신호(VSYNC2)의 1/3로 설정한 경우의 타이밍 차트이다. 이에 의해, 주화상 데이터는, 시차화상 데이터의 1/3의 프레임 레이트로 촬상된다. 거리측정과 물체의 검출은, 타이밍(T1이나 T2) 등, 주파수가 낮은 쪽의 수직 동기 신호(VSYNC1)에 동기하여 실행된다.

도 18에 예시한 바와 같이, 주화상 데이터와 시차화상 데이터의 각각의 프레임 레이트의 비를 정수비로 함에 의해, 물체 검출의 타이밍과 거리측정의 타이밍을 용이하게 맞출 수 있다. 또한, 주화상 데이터와 시차화상 데이터의 각각의 프레임 레이트를 다른 값으로 함에 의해, 화상 데이터의 촬상 간격과, 거리측정 및 물체 검출의 간격을 제각기 조정할 수 있다.

이와 같이, 본 기술의 제1의 실시의 형태의 제3의 변형례에 의하면, 안경형 웨어러블 단말(100)이 주화상 데이터와 시차화상 데이터를 서로 다른 프레임 레이트로 촬상하기 때문에, 거리측정 및 물체 검출의 간격과 다른 간격으로 촬상을 행할 수가 있다.

[제4의 변형례]

상술한 제1의 실시의 형태에서는, 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)의 3개의 카메라를 이용하여, 물체의 검출을 행하고 있다. 그러나, 이와 같이 3개의 카메라를 이용하는 것을 전제로 하는 구성에서는,(2개밖에 카메라가 마련되지 않은 안경형 웨어러블 단말에서는 물체의 검출을 행할 수가 없다. 제1의 실시의 형태의 제4의 변형례의 안경형 웨어러블 단말(100)은,(2개의 카메라밖에 마련되지 않은 안경형 웨어러블 단말에서 물체의 검출을 행하는 점에서 제1의 실시의 형태와 다르다.

도 19는, 제1의 실시의 형태의 제4의 변형례에서의 카메라부(110) 및 신호 처리부(130)의한 구성례를 도시하는 블록도이다. 제1의 실시의 형태의 제4의 변형례의 카메라부(110)는, 주카메라(111)를 구비하지 않은 점에서 제1의 실시의 형태와 다르다. 또한, 제1의 실시의 형태의 제4의 변형례의 신호 처리부(130)는, 신호 처리 회로(131)를 구비하지 않은 점에서 제1의 실시의 형태와 다르다.

또한, 제4의 변형례의 물체 검출부(240)에는, 우측 화상 데이터 및 좌측 화상 데이터의 적어도 일방이 주화상 데이터로서 입력된다. 또는, 우측 화상 데이터 및 좌측 화상 데이터가 물체 검출부(240)에 입력되고, 물체 검출부(240)는, 그들을 합성한 화상을 주화상 데이터로서 생성한다. 물체 검출부(240)는, 그 주화상 데이터에서, 제1의 실시의 형태와 마찬가지로 물체를 검출한다. 제4의 변형례의 깊이 취득부(250)에는, 제1의 실시의 형태와 마찬가지로 우측 화상 데이터 및 좌측 화상 데이터가 입력된다.

이와 같이, 본 기술의 제1의 실시의 형태의 제4의 변형례에 의하면, 안경형 웨어러블 단말(100)이 우측 카메라(115) 및 좌측 카메라(116)에 의해 물체의 검출을 행하기 때문에, 주카메라(111) 및 신호 처리 회로(131)를 마련할 필요가 없어진다. 이에 의해, 부품 갯수나 소비 전력을 삭감할 수 있다.

<2. 제2의 실시의 형태>

상술한 제1의 실시에 형태에서는, 안경형 웨어러블 단말(100)은, 깊이 맵을 생성하고 있는데, 시차화상 데이터의 해상도나 프레임 레이트가 높아질수록 깊이 맵을 생성한 처리의 처리량이 많아져 버린다. 이 제2의 실시의 형태의 안경형 웨어러블 단말(100)은, 물체 검출의 결과를 이용하여 깊이 맵 생성의 처리량을 저감하는 점에서 제1의 실시의 형태와 다르다.

도 20은, 제2의 실시의 형태에서의 화상 처리부(200)의한 구성례를 도시하는 블록도이다. 제2의 실시의 형태의 화상 처리부(200)는, 물체 검출부(240) 및 깊이 취득부(250) 대신에, 물체 검출부(241) 및 깊이 취득부(251)를 구비하는 점에서 제1의 실시의 형태와 다르다.

또한, 제2의 실시의 형태에서는, 보정 설정 모드 및 물체 검출 모드에 더하여, 유저의 조작에 의해 거리측정 모드가 또한 설정된다. 이 거리측정 모드는, 특정한 물체까지의 거리를 측정하여, 그 거리를 표시부(150)에 표시시키기 위한 모드이다.

거리측정 모드가 설정되면, 물체 검출부(241)는, 주화상 데이터 중 시차화상에 대응하는 영역 전체에 대해 물체 검출 처리를 실행하고, 그 결과를 깊이 취득부(251)에 공급한다. 그리고, 깊이 취득부(251)는, 그 검출 결과에 의거하여, 특정한 물체가 검출된 영역에서의 깊이를 취득하고, 깊이 맵을 생성하여 표시부(150)에 공급한다. 표시부(150)는, 깊이 맵이 나타내는 거리를 표시한다.

한편, 보정 설정 모드 또는 물체 검출 모드가 설정된 경우에 물체 검출부(241) 및 깊이 취득부(251)는, 제1의 실시의 형태와 마찬가지의 처리를 행한다.

도 21은, 제2의 실시의 형태에서의 안경형 웨어러블 단말(100)의 동작의 한 예를 도시하는 플로우 차트이다. 제2의 실시의 형태에서의 안경형 웨어러블 단말(100)의 동작은, 스텝 S903 및 S950을 또한 실행하는 점에서 제1의 실시의 형태와 다르다.

물체 검출 모드가 아닌 경우(스텝 S901 : No), 안경형 웨어러블 단말(100)은, 거리측정 모드인지의 여부를 판단한다(스텝 S903). 거리측정 모드인 경우(스텝 S903 : Yes), 안경형 웨어러블 단말(100)은, 특정한 물체가 검출된 영역에서의 깊이(즉, 거리)를 취득하는 거리측정 처리를 실행한다(스텝 S950). 한편, 보정 설정 모드인 경우(스텝 S903 : No), 안경형 웨어러블 단말(100)은, 보정 설정 처리를 실행한다(스텝 S910). 스텝 S910, S920 또는 S950의 후, 안경형 웨어러블 단말(100)은, 스텝 S902를 실행한다.

도 22는, 제2의 실시의 형태에서의 거리측정 처리를 도시하는 플로우 차트이다. 안경형 웨어러블 단말(100)은, 주화상 데이터를 촬상하고(스텝 S951), 또한,한 쌍의 시차화상을 촬상한다(스텝 S952). 안경형 웨어러블 단말(100)은, 각 화상 데이터의 좌표 어긋남을 보정하고(스텝 S953), 주화상 데이터에서의 특정한 물체를 검출한다(스텝 S954). 그리고, 안경형 웨어러블 단말(100)은,한 쌍의 시차화상을 이용하여, 물체가 검출된 영역에서 깊이 맵을 생성하고(스텝 S955), 그 깊이 맵에 의거하여 거리를 표시한다(스텝 S956). 스텝 S956의 후, 안경형 웨어러블 단말(100)은, 거리측정 처리를 종료한다.

도 23은, 제2의 실시의 형태에서의 주화상 데이터 및 표시 데이터의 한 예를 도시하는 도면이다. 동 도면에서의 a는, 주화상 데이터(520)의 한 예를 도시하고, 동 도면에서의 b는, 표시 데이터(530)의 한 예를 도시한다.

주화상 데이터(520)에는, 인물(521 및 522) 등의 피사체가 찍혀 있다. 단, 인물(522)은 전체가 찍혀 있지 않기 때문에, 물체 검출 처리에서는 인물로서 검출되지 않는다. 거리측정 모드가 설정되면, 안경형 웨어러블 단말(100)은, 주화상 데이터(520)에서의 인물(521)을 검출한다. 그리고 안경형 웨어러블 단말(100)은, 검출한 인물(521)의 영역에 있어서, 깊이 맵을 생성한다.

표시 데이터(530)는, 인물의 검출 결과(531)와, 거리 정보(532)를 포함한다. 이 거리 정보(532)는, 검출된 인물(521)까지의 거리를 나타낸다.

이와 같이, 본 기술의 제2의 실시의 형태에 의하면, 안경형 웨어러블 단말(100)은, 주화상 데이터 중 특정한 물체가 검출된 영역만에서 깊이를 취득하기 때문에, 깊이를 취득하는 처리의 처리량을 저감할 수 있다.

<3. 제3의 실시의 형태>

상술한 제1의 실시의 형태에서는, 안경형 웨어러블 단말(100)은, 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)의 3개로부터의 화상 데이터를 이용하여 물체를 검출하고 있다. 그러나, 주화상 데이터에 복수의 물체가 찍혀 있는 경우, 그들의 물체의 수가 많을수록, 물체 검출의 처리량이 많아져 버린다. 이 제3의 실시의 형태의 안경형 웨어러블 단말(100)은, 복수의 물체가 찍혀 있을 때에 물체 검출의 처리량을 삭감하는 점에서 제1의 실시의 형태와 다르다.

도 24는, 제3의 실시의 형태에서의 안경형 웨어러블 단말(100)의 사시도의 한 예이다. 제3의 실시의 형태의 안경형 웨어러블 단말(100)은, 우측 적외선 카메라(117), 좌측 적외선 카메라(118), 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 또한 구비하는 점에서 제1의 실시의 형태와 다르다. 우측 적외선 카메라(117) 및 우측 적외선 투광기(181)는, 유저의 얼굴이 향하는 쪽을 전방으로 하여, 림(101)의 후방의 면에 부착된다. 또한, 좌측 적외선 카메라(118) 및 좌측 적외선 투광기(182)는, 림(102)의 후방의 면에 부착된다.

우측 적외선 투광기(181)는, 유저의 우안이 존재한다고 추정되는 위치에 적외광을 조사하는 것이다. 좌측 적외선 투광기(182)는, 유저의 좌안이 존재한다고 추정되는 위치에 적외광을 조사하는 것이다.

우측 적외선 카메라(117)는, 적외광을 전기 신호로 변환하여 유저의 우안을 촬상하는 것이고, 좌측 적외선 카메라(118)는, 적외광을 전기 신호로 변환하여 유저의 좌안을 촬상하는 것이다.

도 25는, 제3의 실시의 형태에서의 안경형 웨어러블 단말(100)의 상면도의 한 예이다. 주카메라(111), 우측 카메라(115) 및 좌측 카메라(116)는, 림(101 및 102)의 전방의 면에 마련되고, 가시광을 전기 신호로 변환한다. 한편, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)는, 림(101 및 102)의 후방의 면에 마련되고, 적외광을 유저의 눈을 향하여 조사한다. 또한, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 림(101 및 102)의 후방의 면에 마련되고, 유저의 눈에서 반사한 적외광을 전기 신호로 변환하여, 그 눈의 화상을 촬상한다. 이와 같이, 적외선 투광기로부터의 반사광을 수광하기 쉬운 위치에 적외선 카메라를 마련함에 의해, 적외광이 강한 태양광 등의 외광의 영향을 최소한으로할 수 있다.

도 26은, 제3의 실시의 형태에서의 안경형 웨어러블 단말(100)의한 구성례를 도시하는 블록도이다. 이 제3의 실시의 형태의 안경형 웨어러블 단말(100)은, 발광 제어부(170), 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 또한 구비한다.

제3의 실시의 형태의 기준신호 발생부(120)는, 카메라부(110)외, 발광 제어부(170)에도 수직 동기 신호(VSYNC)를 공급한다.

발광 제어부(170)는, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 제어하여 발광시키는 것이다. 이 발광 제어부(170)는, 기준신호 발생부(120)로부터 수직 동기 신호(VSYNC)가 공급되고 있는 기간에 걸쳐서, 연속하여 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 발광시킨다. 또한, 발광 제어부(170)는, 촬상 환경의 밝기 등에 의거하여, 필요에 응하여, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)의 발광 강도를 조정한다.

도 27은, 제3의 실시의 형태에서의 카메라부(110) 및 신호 처리부(130)의한 구성례를 도시하는 블록도이다. 제3의 실시의 형태의 카메라부(110)는, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)를 또한 구비한다. 제3의 실시의 형태의 신호 처리부(130)는, 신호 처리 회로(134 및 135)를 또한 구비한다.

우측 적외선 카메라(117)는, 유저의 우안을 촬상하여 우안 화상 데이터를 신호 처리 회로(134)에 공급하고, 좌측 적외선 카메라(118)는, 유저의 좌안을 촬상하여 좌안 화상 데이터를 신호 처리 회로(135)에 공급한다. 또한, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)로 이루어지는 모듈은, 특허청구의 범위에 기재된 눈화상 촬상부의 한 예이다.

신호 처리 회로(134)는, 우안 화상 데이터에 대해 신호 처리를 행하고, 신호 처리 회로(135)는, 좌안 화상 데이터에 대해 신호 처리를 행한다.

제3의 실시의 형태의 노광 제어부(140)의 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)의 노광량을 또한 제어한다. 이들의 적외선 카메라에 대해서도 노광 제어함에 의해, 이들의 적외선 카메라에 갑자기 외광이 입사된 경우의 영향을 경감할 수 있다. 예를 들면, 측광량으로부터 직사(直射) 일광하(日光下)라고 추정되는 경우, 노광 제어부(140)가 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)의 노광량을 작게 함에 의해, 유저의 안면(顔面)에서 반사하는 외광의 영향을 최소화할 수 있다. 또한, 제3의 실시의 형태의 기준신호 발생부(120)는, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)에, 또한 수직 동기 신호(VSYNC)를 공급한다.

또한, 기준신호 발생부(120)는, 동일한 수직 동기 신호를 주카메라(111)와 적외선 카메라(117 및 118)에 공급하고 있지만, 이들에 다른 주파수의 수직 동기 신호를 공급하여도 좋다. 이 경우도, 제1의 실시의 형태의 제3의 변형례와 마찬가지로, 각각의 수직 동기 신호의 주파수는, 정수비인 것이 바람직하다.

도 28은, 제3의 실시의 형태에서의 화상 처리부(200)의한 구성례를 도시하는 블록도이다. 이 제3의 실시의 형태의 화상 처리부(200)는, 시선방향(視線方向) 검출부(260)를 또한 구비한다.

제3의 실시의 형태의 보정부(210)는, 우안 화상 데이터 및 좌안 화상 데이터를 또한 보정하고, 보정 후의 그들의 화상 데이터를 시선방향 검출부(260)에 공급한다.

또한, 시선방향 검출부(260)는, 우안 화상 데이터 및 좌안 화상 데이터로부터 유저의 우안 및 좌안의 시선방향을 검출하는 것이다. 시선방향 검출부(260)는, 그들의 시선방향을 물체 검출부(242)에 공급한다.

물체 검출부(242)는, 시선방향에 따른 직선상(直線上)에 위치하는 피사체까지의 거리를 산출하고, 그 거리를 포함하는 일정한 범위 내의 깊이의 화소로 이루어지는 영역을 검출 영역으로서 설정한다. 그리고, 물체 검출부(242)는, 검출 영역에 대해 물체 검출 처리를 행한다. 예를 들면, 광축 방향에서의 기준 위치로부터, 우안 및 좌안의 각각의 시선방향이 교차한 주시점(注視點)까지의 거리가, 시선방향에 따른 직선상의 피사체까지의 거리로서 산출된다.

또한, 주파수가 다른(2개의 수직 동기 신호에 의해 주화상 데이터와, 우안 화상 데이터 및 좌안 화상 데이터가 다른 프레임 레이트로 촬상되는 경우, 물체 검출부(242) 및 시선방향 검출부(260)의 각각은, 동일한 타이밍에서 처리를 행한다. 예를 들면, VSYNC1이 주카메라(111)에 공급되고, 적외선 카메라에 VSYNC1보다 낮은 주파수의 VSYNC2가 공급되는 경우, 물체 검출부(242) 및 시선방향 검출부(260)는, VSYNC2에 동기하여 처리를 행한다. 또한, VSYNC1이 주카메라(111)에 공급되고, 적외선 카메라에 VSYNC1보다 높은 주파수의 VSYNC2가 공급되는 경우, 물체 검출부(242) 및 시선방향 검출부(260)는, VSYNC1에 동기하여 처리를 행한다. 단, VSYNC1 및 VSYNC2의 주파수의 비율은 정수비인 것으로 한다.

도 29는, 제3의 실시의 형태에서의 보정부(210)의한 구성례를 도시하는 블록도이다. 이 제3의 실시의 형태의 보정부(210)는, 좌표 변환부(214 및(215)를 또한 구비한다.

좌표 변환부(214)는, 우안 화상 데이터의 보정 전의 좌표를 보정 후의 좌표로 변환하고, 좌표 변환부(215)는, 좌안 화상 데이터의 보정 전의 좌표를 보정 후의 좌표로 변환한다. 또한, 제3의 실시의 형태는, 좌표 변환부(214 및(215)에도 보정 데이터를 설정한다.

도 30은, 제3의 실시의 형태에서의 우안 화상 데이터(540) 및 좌안 화상 데이터(550)의 한 예를 도시하는 도면이다. 동 도면에서의 a는, 우안 화상 데이터(540)의 한 예이고, 동 도면에서의 b는, 좌안 화상 데이터(550)의 한 예이다.

우안 화상 데이터(540)에는, 유저의 우안의 동공(瞳孔)(541)과, 각막(角膜)에서 반사한 적외광(542)이 찍혀 있다. 또한, 좌안 화상 데이터(550)에는, 유저의 좌안의 동공(551)과, 각막에서 반사한 적외광(552)이 찍혀 있다. 시선방향 검출부(260)는, 이 각막 반사의 위치에 대한 동공의 위치에 의거하여, 우안 및 좌안의 시선방향을 검출한다. 이와 같이 각막 반사를 이용하여 시선방향을 구하는 방법은, 동공각막 반사법이라고 불린다. 이 동공각막 반사법의 상세는, 예를 들면, 「오오노다케히코, 외(2명, 『안구형상 모델에 의거한 시선 측정 시스템-시선 입력 디바이스의 실현을 목표로 하여-』, 정보처리학회 연구보고(2001-HI-93」에 기재되어 있다.

또한, 시선방향 검출부(260)는, 동공각막 반사법 이외의 방법을 이용하여 시선방향을 검출하여도 좋다. 예를 들면, 가시광을 광전 변환하는 카메라를 적외선 카메라 대신에 마련하고, 그 카메라로 촬상한 눈의 화상에서 눈시울과 홍채와의 위치 관계로부터 시선방향을 검출하여도 좋다. 이 경우에는, 시선방향의 검출 정밀도가 저하되는 것이지만, 적외선 카메라나 적외선 투광기가 불필요하게 된다.

도 31은, 제3의 실시의 형태에서의 검출 범위의 설정 방법을 설명하기 위한 도면이다. 동 도면은, 유저의 두정부로부터 본 촬상 범위를 도시한다. 동 도면에서, 굵은 실선은, 주화상의 결상면이고, 점선은 시선(視線)을 나타낸다.

여기서, 촬상 범위에는, 인물(600 및 601)이 존재하고, 유저는 인물(600)을 주시하고 있는 것으로 한다. 또한, 결상면에서 인물(600)까지의 거리는 d1이고, 주화상의 결상면에서 602까지의 거리는 d2이다. 이 경우, 안경형 웨어러블 단말(100)은, 우안 및 좌안의 각각의 시선방향을 검출하고, 그들의 교차하는 주시점과 결상면과의 사이의 거리(d1)를 산출한다. 안경형 웨어러블 단말(100)은, 깊이 맵을 참조하여, 산출한 d1을 포함하는 일정 범위(예를 들면, d1의 전후 1미터의 범위)의 깊이가 얻어진 검출 영역에 대해, 물체 검출 처리를 실행한다. d1을 포함하는 일정 범위로부터 d2가 벗어나는 경우, 안경형 웨어러블 단말(100)은, 유저가 주시한 인물(600)만을 검출할 수 있다. 또한, 안경형 웨어러블 단말(100)은, 인물(601)의 영역에 대해 물체 검출 처리를 행하지 않아도 좋기 때문에, 처리량을 저감할 수 있다.

또한, 안경형 웨어러블 단말(100)은, 우안 및 좌안의 양방의 시선방향을 검출하고 있지만, 일방의 시선방향만을 검출하여도 좋다. 이 경우는, 검출 정밀도가 저하된 것이지만, 적외선 카메라, 적외선 투광기, 신호 처리 회로 및 좌표 변환부로 이루어지는 조(組)가 1조(組) 불필요하게 된다.

또한, 안경형 웨어러블 단말(100)은, 시선방향의 검출 결과와, 깊이 맵을 이용하여 검출 범위를 설정하고 있지만, 시선방향의 검출 결과만을 이용하여 검출 범위를 설정하여도 좋다. 깊이 맵을 이용하지 않는 경우, 물체 검출부(242)는, 예를 들면, 주화상 데이터에서, 에지 검출을 행하여 에지에 의해 둘러싸여진 영역의 각각을 후보 영역으로서 구하고, 그들의 후보 영역 중, 주시점을 포함하는 영역을 검출 영역으로 설정한다. 이 경우는, 물체 검출의 정밀도가 저하된 것이지만, 우측 카메라(115), 좌측 카메라(116)와 신호 처리 회로(132 및 133)과 깊이 취득부(250)가 불필요하게 된다.

도 32는, 제3의 실시의 형태에서의 물체 검출 처리를 도시하는 플로우 차트이다. 제3의 실시의 형태의 물체 검출 처리는, 스텝 S928, S929 및 S930을 또한 실행하는 점에서 제1의 실시의 형태와 다르다.

안경형 웨어러블 단말(100)은, 주화상 데이터 및한 쌍의 시차화상 데이터를 촬상하고(스텝 S921 및 S922), 또한, 좌안 및 우안의 화상 데이터를 촬상한다(스텝 S928). 그리고, 안경형 웨어러블 단말(100)은, 그들의 화상 데이터의 좌표 어긋남을 보정하고(스텝 S923), 깊이 맵을 생성한다(스텝 S924). 또한, 안경형 웨어러블 단말(100)은, 시선방향을 검출하고(스텝 S929), 시선방향 및 깊이 맵을 이용하여, 유저가 주시하고 있는 물체를 검출한다(스텝 S930). 안경형 웨어러블 단말(100)은, 물체의 검출 결과를 표시하고(스텝 S926), 물체 검출 처리를 종료한다.

이와 같이, 본 기술의 제3의 실시의 형태에 의하면, 안경형 웨어러블 단말(100)은, 시선방향에 따른 직선상의 피사체까지의 거리를 포함하는 일정한 범위 내의 깊이의 영역에 대해 물체 검출 처리를 행하기 때문에, 유저가 주시한 물체만을 검출할 수 있다. 이와 같이 유저가 주시한 물체만으로 검출 대상을 좁혀넣음에 의해, 복수의 물체가 찍혀 있는 경우에 물체 검출의 처리량을 삭감할 수 있다.

[제1의 변형례]

상술한 제3의 실시의 형태에서는, 안경형 웨어러블 단말(100)은, 좌안 및 우안의 양방의 시선방향에서 주시점을 구하고 있지만, 좌우의 눈의 움직임량(動き量)은 동일하다고는 한할 수 없다. 일반적으로, 우안 및 좌안의 일방은 타방보다 안구의 움직임이 광범위하며, 그와 같은 눈은 우세안(利き目)이라고 불린다. 이 우세안의 시선은, 유저의 실제의 시선과 잘 일치하지만, 우세안이 아닌 쪽의 눈의 시선은 우세안만큼 일치하지 않는다. 이 때문에, 우세안이 아닌 쪽의 눈의 시선방향의 영향으로, 주시점의 검출 정밀도가 저하될 우려가 있다. 제3의 실시의 형태의 제1의 변형례에서의 안경형 웨어러블 단말(100)은, 우세안이 아닌 쪽의 시선방향에 의한 검출 정밀도의 저하를 억제하는 점에서 제1의 실시의 형태와 다르다.

도 33은, 제3의 실시의 형태의 제1의 변형례에서의 화상 처리부(200)의한 구성례를 도시하는 블록도이다. 제3의 실시의 형태의 제1의 변형례의 화상 처리부(200)는, 시선방향 검출부(260) 대신에 시선방향 검출부(261)를 구비하고, 홍채 패턴 검출부(270), 우세안 선택부(280) 및 홍채 패턴 기억부(290)를 또한 구비한다.

홍채 패턴 검출부(270)는, 우안 화상 데이터 및 좌안 화상 데이터의 적어도 일방(예를 들면, 우안 화상 데이터만)에서 홍채 패턴을 검출하는 것이다. 이 홍채 패턴 검출부(270)는, 검출한 홍채 패턴을 우세안 선택부(280)에 공급한다.

홍채 패턴 기억부(290)는, 홍채 패턴마다, 양 눈(兩目) 중 우세안이 어느쪽인지를 나타내는 우세안 정보를 기억하는 것이다.

우세안 선택부(280)는, 우안 화상 데이터 및 좌안 화상 데이터로부터 양 눈의 일방을 우세안으로서 선택하는 것이다. 이 우세안 선택부(280)는, 홍채 패턴이 검출되면, 그 홍채 패턴이 홍채 패턴 기억부(290)에 등록되어 있는지의 여부를 판단한다. 홍채 패턴이 등록되어 있으면, 우세안 선택부(280)는, 검출된 홍채 패턴에 대응하는 우세안 정보를 홍채 패턴 기억부(290)로부터 판독하고, 그 우세안 정보를 시선방향 검출부(261)에 공급한다.

한편, 홍채 패턴이 등록되지 않은 경우에 우세안 선택부(280)는, 우안 화상 데이터로 이루어지는 동화와, 좌안 화상 데이터로 이루어지는 동화를 해석하여, 움직임이 큰 쪽을 우세안으로서 선택한다. 우세안 선택부(280)는, 선택한 우세안을 나타내는 우세안 정보를 생성하고, 검출된 홍채 패턴과 대응시켜서 홍채 패턴 기억부(290)에 등록한다. 또한, 우세안 선택부(280)는, 생성한 우세안 정보를 시선방향 검출부(261)에 공급한다. 이와 같이, 우세안 선택부(280)가 우세안을 자동으로 선택하기 때문에, 유저가 우세안을 입력하는 조작을 행할 필요가 없어진다.

시선방향 검출부(261)는, 우세안 선택부(280)에 의해 우세안이 선택된 경우에, 우세안을 우선하여 시선방향을 검출한다. 예를 들면, 시선방향 검출부(261)는, 양 눈 중 우세안의 시선방향만을 검출한다. 또는, 시선방향 검출부(261)는, 우세안 쪽의 화상 데이터의 매수를 우세안이 아닌 쪽보다도 많이 취득하고, 그들의 화상 데이터의 각각에서 시선방향의 검출을 행하여, 그들 검출 결과의 통계량을 산출한다.

한편, 우세안 선택부(280)에 의한 동화의 해석이 완료되어 있지 않고, 우세안이 선택되지 않은 경우에 시선방향 검출부(261)는, 제3의 실시의 형태와 마찬가지로 양 눈의 시선방향을 검출한다.

또한, 홍채 패턴 검출부(270)는, 홍채 패턴의 검출만을 행하고 있지만, 검출된 홍채 패턴이 미리 등록된 홍채 패턴과 일치하는지의 여부를 판단하는 홍채 인증을 또한 행하면 좋다. 또한, 안경형 웨어러블 단말(100) 자체가, 양 눈의 화상 데이터로부터 우세안을 자동 선택하고 있지만, 유저가 우세안을 수동으로 입력하는 구성으로 하여도 좋다. 이 경우에는, 우세안 선택부(280)가 불필요하게 된다.

도 34는, 제3의 실시의 형태의 제1의 변형례에서의 홍채 패턴 정보마다의 우세안 정보의 한 예를 도시하는 도면이다. 홍채 패턴 기억부(290)는, 식별 정보마다, 홍채 패턴 정보 및 우세안 정보를 기억한다. 식별 정보는, 홍채 패턴을 식별하기 위한 정보이다. 예를 들면, 패턴A의 인물의 우세안으로서 우안이 검출된 경우에, 홍채 패턴 기억부(290)는, 「패턴A」에 「우안」을 나타내는 우세안 정보를 대응시켜서 기억한다.

도 35는, 제3의 실시의 형태의 제1의 변형례에서의 물체 검출 처리를 도시하는 플로우 차트이다. 제3의 실시의 형태의 제1의 변형례에서의 물체 검출 처리는, 깊이 맵의 생성(스텝 S924)의 후에, 시선방향을 검출하기 위한 시선 검출 처리(스텝 S940)를 또한 실행하는 점에서 제3의 실시의 형태와 다르다.

도 36은, 제3의 실시의 형태의 제1의 변형례에서의 시선 검출 처리를 도시하는 플로우 차트이다. 안경형 웨어러블 단말(100)은, 홍채 패턴을 검출하고(스텝 S941), 홍채 패턴이 등록완료인지의 여부를 판단한다(스텝 S942). 홍채 패턴이 등록완료인 경우에(스텝 S942 : Yes), 안경형 웨어러블 단말(100)은, 검출된 홍채 패턴에 대응하는 우세안 정보를 판독한다(스텝 S943). 한편, 홍채 패턴이 등록되지 않은 경우에(스텝 S942 : No), 안경형 웨어러블 단말(100)은, 우세안을 선택하고(스텝 S944), 홍채 패턴 및 우세안 정보를 대응시켜서 등록한다(스텝 S945).

스텝 S943 또는 S945의 후, 안경형 웨어러블 단말(100)은, 우세안을 우선하여 시선방향을 검출한다(스텝 S946). 스텝 S946의 후, 안경형 웨어러블 단말(100)은, 시선 검출 처리를 종료한다.

이와 같이, 본 기술의 제3의 실시의 형태의 제1의 변형례에 의하면, 안경형 웨어러블 단말(100)은, 양 눈의 일방을 우세안으로서 선택하고, 그 우세안을 우선하여 시선방향을 검출하기 때문에, 시선방향의 검출 정밀도를 향상시킬 수 있다.

[제2의 변형례]

상술한 제3의 실시의 형태에서는, 안경형 웨어러블 단말(100)이 물체의 검출 결과를 평면적으로 표시하고 있지만, 투과형 디스플레이를 통하여 보는 현실의 물체가 입체적으로 보임에 대해, 검출 결과는 평면 표시되기 때문에, 현장감이 부족할 우려가 있다. 제3의 실시의 형태의 제2의 변형례의 안경형 웨어러블 단말(100)은, 현장감을 향상시키는 점에서 제3의 실시의 형태와 다르다.

도 37은, 제3의 실시의 형태의 제2의 변형례에서의 화상 처리부(200)의한 구성례를 도시하는 블록도이다. 제3의 실시의 형태의 제2의 변형례에서의 화상 처리부(200)는, 입체화상 생성부(300)를 또한 구비하는 점에서 제3의 실시의 형태와 다르다.

제3의 실시의 형태의 물체 검출부(240)는, 물체의 검출 결과를 나타내는 표시 데이터와, 검출하는 물체까지의 깊이를 나타내는 거리 정보를 입체화상 생성부(300)에 공급한다.

입체화상 생성부(300)는, 거리 정보에 응한 시차의 우측 표시 데이터 및 좌측 표시 데이터를 표시 데이터로부터 생성하는 것이다. 입체화상 생성부(300)는, 우측 표시 데이터를 우측 투과형 디스플레이(151)에 공급하고, 좌측 표시 데이터를 좌측 투과형 디스플레이(152)에 공급한다. 이들의 디스플레이에 의해, 광축 방향에서, 유저가 주시한 물체의 위치에, 검출 결과가 입체 표시된다.

도 38은, 제3의 실시의 형태의 제2의 변형례에서의 입체화상의 표시 위치의 한 예를 도시하는 도면이다. 우측 표시 데이터의 기준의 수평 좌표(예를 들면, 중앙의 수평 좌표)를 UR이라고 하고, 좌측 표시 데이터의 기준의 수평 좌표를 UL이라고 한다. 수평 좌표는, 유저가 보아 좌측일수록, 값이 작은 것으로 한다. 이 경우에 있어서, 예를 들면, UR에서 UL을 뺀 값이 시차(DIF)로서 이용된다.

여기서, 좌안과 우안의 사이의 거리를 베이스 거리(B)로 하여, 시청자부터 표시부(150)까지의 거리를 Dm로 하여, 깊이 방향으로 입체적으로 시인되는 입체화상의 표시 위치를 Dp라고 한다. 이때, 우안, 좌안 및 입체화상의 중심이 이루는 삼각형과, UR, UL 및 입체화상의 중심이 이루는 삼각형은 상사(相似)이기 때문에, 다음의 식4가 성립한다.

DIF : Dm = B : Dp … (수식 7)

윗식에 의해, 거리 정보가 나타내는 Dp와 B 및 Dm의 설계치로부터 시차(DIF)가 산출되고, 그 시차(DIF)를 갖는한 쌍의 표시 데이터가 생성된다.

이와 같이, 본 기술의 제3의 실시의 형태의 제2의 변형례에 의하면, 안경형 웨어러블 단말(100)은, 물체가 검출된 깊이에 응한 시차를 갖는한 쌍의 표시 데이터를 생성하기 때문에, 물체가 검출된 위치에 입체화상을 표시시킬 수 있다. 이와 같이 입체화상을 표시시킴에 의해, 현장감을 향상시킬 수 있다.

[제3의 변형례]

상술한 제3의 실시의 형태에서는, 안경형 웨어러블 단말(100)은, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 연속해서 발광시키고 있었는데, 이들의 발광에 의해, 안경형 웨어러블 단말(100)의 소비 전력이 증대하는 문제가 있다. 제3의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말(100)은, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)의 발광에 의한 소비 전력을 삭감하는 점에서 제3의 실시의 형태와 다르다.

도 39는, 제3의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말(100)의한 구성례를 도시하는 블록도이다., 제3의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말(100)은, 발광 제어부(170) 대신에 발광 제어부(171)를 구비하는 점에서 제3의 실시의 형태와 다르다.

발광 제어부(171)는, 수직 동기 신호(VSYNC)와 함께, 노광 시간을 나타내는 노광 제어 신호를 또한 수취한다. 그리고, 발광 제어부(171)는, 수직 동기 신호(VSYNC)에 동기하여, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 간헐적으로 발광시킨다.

여기서, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 화상 내의 복수의 라인을 차례로 노광시키는 롤링 셔터 방식에 의해 촬상을 행하는 것으로 한다. 이 경우, 최초 라인의 노광이 시작한 때부터, 최후 라인의 노광이 종료된 때까지의 노광 기간을 포함하는 일정한 발광 기간에 걸쳐서 연속해서 발광시키는 것이 바람직하다. 그 노광 기간 내에서 스위칭 제어에 의해 간헐적으로 적외선 투광기를 발광시키면, 라인마다의 적외선의 수광 시간에 상위(相違)가 생겨서 정확한 우안 화상 및 좌안 화상을 얻을 수가 없을 우려가 있기 때문이다. 예를 들면, 발광 제어부(171)는, 수직 동기 신호(VSYNC)에 동기하여, 노광 시작보다 전의 타이밍에서 발광을 시작시키고, 노광 종료보다 후의 타이밍에서 발광을 종료시킨다.

도 40은, 제3의 실시의 형태의 제3의 변형례에서의 안경형 웨어러블 단말(100)의 동작의 한 예를 도시하는 타이밍 차트이다.

기준신호 발생부(120)는, 일정 간격의 타이밍(T1, T2 및 T3) 등의 타이밍에서 수직 동기 신호(VSYNC)를 생성한다. 또한, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 수직 동기 신호(VSYNC)에 동기하여 노광을 시작 또는 종료한다. 예를 들면, 타이밍(T1)부터 일정 기간이 경과한 타이밍(T11)에서 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 최초 라인의 노광을 시작한다. 타이밍(T11) 경과 후는,(2행째 이후의 라인의 노광이 차례로 시작된다. 그리고, 타이밍(T2)부터 일정 기간이 경과한 타이밍(T21)에서 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 최후 라인의 노광을 종료한다. 또한, 이들의 적외선 카메라는, 타이밍(T2)부터 일정 기간이 경과한 타이밍(T22)에서 최초 라인의 노광을 시작하고, 타이밍(T3)부터 일정 기간이 경과한 타이밍(T31)에서 최후 라인의 노광을 종료한다.

한편, 발광 제어부(171)는, 수직 동기 신호(VSYNC)에 동기하여, 최초 라인의 노광 시작보다 전의 타이밍에서 발광을 시작시키고, 최후 라인의 노광 종료보다 후의 타이밍에서 발광을 종료시킨다. 예를 들면, 발광 제어부(171)는, 타이밍(T11)의 직전의 타이밍부터, 타이밍(T21)의 직후의 타이밍까지의 기간에 걸쳐서 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 발광시킨다. 또한, 발광 제어부(171)는, 타이밍(T21)의 직후로부터 타이밍(T22)의 직전까지의 사이는 발광을 정지시킨다. 그리고, 발광 제어부(171)는, 타이밍(T22)의 직전의 타이밍부터, 타이밍(T31)의 직후의 타이밍까지의 기간에 걸쳐서 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 발광시킨다.

이와 같이, 본 기술의 제3의 실시의 형태의 제3의 변형례에 의하면, 발광 제어부(171)가 노광 기간을 포함하는 일정 기간에서 적외선 투광기를 발광시키기 때문에, 연속해서 발광시키는 경우와 비교하여 소비 전력을 저감할 수 있다.

[제4의 변형례]

상술한 제3의 실시의 형태의 제3의 변형례에서는, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 롤링 셔터 방식에 의해 노광을 행하고 있었다. 그러나, 이 롤링 셔터 방식에서는, 노광 시작 및 노광 종료의 타이밍이 라인마다 다르기 때문에, 동체(動體)를 촬상할 때에 화상이 비뚤어지는 현상(이른바, 롤링 셔터 왜곡)이 생기고, 또한, 형광등을 촬상할 때에 플리커가 생겨 버린다. 제3의 실시의 형태의 제4의 변형례의 안경형 웨어러블 단말(100)은, 롤링 셔터 왜곡이나 플리커를 억제하는 점에 있어서 제3의 변형례와 다르다.

여기서, 제3의 변형례의 롤링 셔터 방식에서는, 노광 기간 내에 적외선 투광기를 간헐적으로 발광시키면, 라인마다의 적외선의 수광 시간에 상위가 생기기 때문에, 발광 제어부(171)는, 노광 기간을 포함하는 발광 기간에 걸쳐서 연속해서 발광시키고 있다. 그러나, 제4의 변형례의 글로벌 셔터 방식에서는, 노광 시간 내에 적외선 투광기를 간헐적으로 발광시켜도, 라인마다의 적외선의 수광 시간에 차가 생기지 않는다. 이 때문에, 제4의 변형례의 발광 제어부(171)는, 노광 시간 내에 간헐적으로 적외광을 발광시켜서, 더욱 소비 전력을 저감할 수 있다.

도 41은, 제3의 실시의 형태의 제4의 변형례에서의 안경형 웨어러블 단말(100)의 동작의 한 예를 도시하는 타이밍 차트이다. 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 전 라인의 노광을 동시에 시작시킨다. 예를 들면, 우측 적외선 카메라(117) 및 좌측 적외선 카메라(118)는, 타이밍(T11)에서 전 라인의 노광을 시작하고, 타이밍(T21)에서 전 라인의 노광을 종료한다.

한편, 발광 제어부(171)는, 수직 동기 신호(VSYNC)에 동기하여, 전(全) 라인의 노광 시작의 타이밍에서 일정한 듀티비의 간헐 발광을 시작시키고, 전 라인의 노광 종료의 타이밍에서 간헐 발광을 종료시킨다. 예를 들면, 발광 제어부(171)는, 타이밍(T11)부터 타이밍(T21)까지의 기간에 걸쳐서 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 간헐 발광시킨다. 또한, 발광 제어부(171)는, 타이밍(T21)부터 타이밍(T22)까지의 사이는 발광을 정지시킨다. 그리고, 발광 제어부(171)는, 타이밍(T22)부터, 타이밍(T31)까지의 기간에 걸쳐서 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 간헐 발광시킨다.

또한, 발광 제어부(171)는, 우측 적외선 투광기(181) 및 좌측 적외선 투광기(182)를 발광시키는 발광 제어 신호의 듀티비를 제어함에 의해, 발광 강도를 조정할 수 있다. 이와 같이 펄스 폭(즉, 듀티비)을 바꾸는 제어는, PWM(Pulse Width Modulation) 제어라고 불린다.

또한, 발광 제어부(171)는, 노광 시간에만 간헐 발광시키고 있지만, 노광 시간을 포함하는 촬상 기간에 걸쳐서 간헐 발광시켜도 좋다. 또한, 발광 제어부(171)는, 제3의 변형례와 마찬가지로, 노광 시간보다 긴 일정한 발광 기간에 걸쳐서 연속해서 발광시켜도 좋다.

이와 같이, 본 기술의 제3의 실시의 형태의 제4의 변형례에 의하면, 발광 제어부(171)는, 전 라인의 노광을 동시에 시작시키는 글로벌 셔터 방식에 의해 촬상을 행하기 때문에, 롤링 셔터 왜곡이나 플리커를 억제할 수 있다.

또한, 상술한 실시의 형태는 본 기술을 구현화하기 위한한 예를 나타낸 것이고, 실시의 형태에서의 사항과, 특허청구의 범위에서의 발명 특정 사항은 각각 대응 관계를 갖는다. 마찬가지로, 특허청구의 범위에서의 발명 특정 사항과, 이것과 동일 명칭을 붙인 본 기술의 실시의 형태에서의 사항은 각각 대응 관계를 갖는다. 단, 본 기술은 실시의 형태로 한정되는 것이 아니고, 그 요지를 일탈하지 않는 범위에서 실시의 형태에 여러가지의 변형을 행함에 의해 구현화할 수 있다.

또한, 상술한 실시의 형태에서 설명한 처리 순서는, 이들 일련의 순서를 갖는 방법으로서 파악하여도 좋고, 또한, 이들 일련의 순서를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악하여도 좋다. 이 기록 매체로서, 예를 들면, CD(Compact Disc), MD(Mini Disc), DVD(Digital Versatile Disc), 메모리 카드, 블루레이 디스크(Blu-ray(등록상표) Disc) 등을 이용할 수 있다.

<응용예>

본 발명에 따른 기술은 다양한 제품에 적용할 수 있다. 예를 들어, 본 발명에 따른 기술은 예를 들면 자동차, 전기 자동차, 하이브리드 전기차, 오토바이, 자전거, 개인용 이동기기, 항공기, 드론(drone), 선박, 로보트 등과 같은 이동체에 구비된 장치로서 실현될 수 있다.

도 42는 본 발명에 따른 이동 제어 시스템의 기술의 한 예가 적용되는 차량 제어 시스템(2000))의 개략 구성례를 도시하는 도면이다. 차량 제어 시스템(2000)은 통신 네트워크(2010)를 통해 접속된 복수의 전자 제어 유닛(2010)을 포함한다. 도 42에 도시된 실시예에서, 차량 제어 시스템(2000))은 구동 시스템 제어 유닛(2100), 본체 시스템 제어 유닛(2200), 배터리 제어 유닛(2300), 외부 정보 검출 서브시스템(2400), 차량 탑재 정보 검출 유닛(2500) 및 통합 제어 유닛(2600)을 포함한다. 복수의 제어 유닛을 접속하는 통신 네트워크(2010)는 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 플렉스레이(FlexRay)(등록상표) 같은 임의의 표준에 따른 차량 탑재 통신 네트워크 일 수 있다.

각각의 제어 유닛은 여러 프로그램에 따라 연산 처리를 실행하는 마이크로 컴퓨터, 상기 마이크로 컴퓨터에 의해 수행된 여러 연산 또는 프로그램에서 사용된 변수 등을 기억하는 기억 수단, 여러 제어 대상에 대해 설치된 장치를 구동하는 구동 회로를 포함한다. 상기 제어 유닛은 상기 통신 네트워크(2010)를 경유하여 다른 제어 유닛들과 통신하는 네트워크 I/F, 및 자동차 또는 센서 내외부에서 장치들 사이의 유선 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 포함한다.

외부 정보 검출 서브시스템(2400)은, 차량 제어 시스템(2000)을 갖는 차량의 외부 정보를 검출한다. 예를 들면, 외부 정보 검출 서브시스템(2400)은 촬상 유닛(2410) 및 외부 정보 검출 수단(2420) 중의 적어도 하나에 접속된다. 촬상 유닛(2410)은 ToF(Time of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 다른 카메라 중의 적어도 하나를 포함한다. 외부 정보 검출 유닛(2420)은 예를 들면 현재의 날씨를 검출하는 환경 센서 및 주위의 다른 자동차, 장애물 또는 보행자를 검출하기 위한 주변 정보 검출 센서 중의 하나를 적어도 포함한다.

상기 환경 센서는 예를 들면 강우를 검출하는 강우 센서, 안개를 검출하는 안개 센서, 햇볕의 세기를 검출하는 햇빛 센서, 눈(snow)을 검출하는 스노우 센서 중의 적어도 하나를 포함할 수 있다. 주변 정보 검출 센서는 초음파 센서, 레이더 장치, 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 중의 적어도 하나를 포함할 수 있다. 촬상 유닛(2410)과 외부 정보 검출 유닛(2420)은 독립 센서 또는 장치, 또는 복수의 센서 또는 통합된 장치로서 제공될 수 있다.

여기에서, 도 43은 촬상 유닛(2410)과 외부 정보 검출 유닛(2420)의 위치의 한 예를 나타낸다. 예를 들면, 촬상 유닛(2910, 2912, 2914, 2916 및 2918)은 차량(2900)의 프론트 노우즈(front nose), 사이드 미러, 리어 범퍼, 후면 도어 및 내부의 프론트 글라스의 상부 중의 적어도 어느 하나에 마련된다. 프론트 노우즈에 마련된 촬상 유닛(2910) 및 차량 내부의 프론트 글라스의 상부에 마련된 촬상부(2918)는 차량(2900)의 앞에서 주로 화상을 획득한다. 사이드 미러에 마련된 촬상 유닛(2912, 2914)은 차량(2900)의 측면에서 주로 화상을 획득한다. 리어 범퍼 또는 후면 도어에 마련된 촬상 유닛(2916)은 차량(2900)의 후면에서 주로 화상을 획득한다. 자동차 내부의 프론트 글라스의 상부에 마련된 촬상 유닛(2918)은 선행하는 차량, 보행자, 장애물, 주행 신호, 및 주행 차선을 검출하는데 사용한다.

도 43에 있어서, 촬상 장치(2910, 2912, 2914, 2916 및 2918)의 촬상 범위의 한 예를 나타낸다. 촬상 범위 "a"는 프론트 노우즈에 설치된 촬상부(2910)의 촬상 범위를 나타낸다. 촬상 범위 "b" 및 "c"는 사이드 미러에 설치된 촬상 유닛(2912, 2914)의 촬상 범위이고, 촬상 범위 "d"는 리어 범퍼 또는 후면 도어에 설치된 촬상 유닛(2916)의 촬상 범위를 나타낸다. 예를 들어, 차량(2900) 상부로부터 본 오버헤드 이미지는 촬상 유닛(2910, 2912, 2914, 2916)에 의해 촬영된 화상 데이터를 중첩함으로써 얻어진다.

전면, 후면, 측면, 모서리 및 전면 유리의 상부에 마련된 외부 정보 검출 유닛(2920, 2922, 2924, 2926, 2928, 및 2930) 각각은, 예를 들면, 초음파 센서 또는 레이더 장치일 수 있다. 전면 노우즈, 리어 범퍼, 후면 도어 및 차량(2900) 내부 전면 유리의 상부에 마련된 외부 정보 검출 유닛(2920, 2926, 2930)은 예를 들면 LIDAR일 수 있다. 외부 정보 검출 유닛(2920 내지 2930)은 선행 차량, 보행자 또는 장애물의 검출에 주로 사용된다.

도 42를 참조하면, 외부 정보 검출 서브시스템(2400)은 촬상 유닛(2410)으로 하여금 차량 외부의 영상을 캡처하고 갭처된 촬상 화상 데이터를 수신하도록 지시한다. 또한, 외부 정보 검출 서브시스템(2400)은 외부 정보 검출 서브시스템(2400)에 접속되는 외부 정보 검출부(2420)에서 검출 정보를 수신한다. 외부 정보 검출부(2420)가 초음파 센서, 레이더 장치 또는 LIDAR 시스템이라면, 외부 정보 검출 서브시스템(2400)은 초음파 또는 전자파 등을 송신하고, 수신된 반사파에 관한 정보를 수신한다. 외부 정보 검출 서브시스템(2400)은 수신된 정보에 기초하여 노면 사람, 차량, 장애물, 교통 신호나 문자 객체 검출 처리나 거리 검출 처리를 수행할 수 있다. 외부 정보 검출 서브시스템(2400)은 수신된 정보에 기초하여, 비, 안개 또는 노면 상태 측정 환경 검출 처리를 수행할 수 있다. 외부 정보 검출 서브시스템(2400)은 수신된 정보에 기초하여 외부 물체까지의 거리를 계산할 수 있다.

또한, 외부 정보 검출 서브시스템(2400)은 수신된 화상 데이터에 기초하여 외부 정보 검출 서브시스템(2400), 사람, 차량, 장애물, 문자나 교통 신호나 노면 등을 인식하기 위한 화상 인식 처리나 거리 검출 처리를 수행할 수 있다. 외부 정보 검출 서브시스템(2400)은 수신된 화상 데이터에 대하여 왜곡 보정 처리 및 배향 처리를 행하는 다른 촬상 유닛(2410)에 의해 캡처된 화상 데이터를 합성하고, 오버 헤드 화상 또는 파노라마 이미지를 생성할 수 있다. 다른 촬상 유닛(2410)에 의해 촬영된 화상 데이터를 이용하여 외부 정보 검출 서브시스템(2400)은 시점 변환 처리를 수행할 수 있다.

또한, 외부 정보 검출부(2400)에 의해 실행된 처리는, 촬상부(2400)에 의해 촬상된 화상 데이터를 수신하는 통합 제어 수단(2600에 의해 수행될 수 있다.

통합 제어 유닛(2600)은 다양한 프로그램에 따라 차량 제어 시스템(2000)의 전반적인 동작을 제어한다. 상기 통합 제어 유닛(2600)은 입력 수단(2800)을 포함한다. 상기 입력 수단(2800)은 터치 패널, 버튼, 마이크, 스위치 또는 레버 등과 같은 운전자에 의해 동작 가능한 장치들에 의해 실현될 수 있다. 상기 통합 제어 유닛(2600)은 입력으로서 음성 인식 처리 후에 도착한 데이터를 수신할 수 있다. 입력부(2800)는 예를 들어 적외선이나 전파를 이용하는 원격 제어 장치이거나 또는 차량 제어 시스템(2000)의 조작에 대응하는 휴대 전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 장치일 수 있다. 상기 입력부(2800)는 예를 들면 카메라가 될 수 있고 그 경우에 유저는 동작(gesture)에 의해 정보를 입력할 수 있다. 또한, 데이터는 유저에 의해 장착된 웨어러블 장치의 움직임을 검출함으로써 입력된다. 또한, 상기 입력부(2800)는 예를 들어 사용자에 의해 입력된 정보에 의거한 입력 신호를 생성하고 그들을 통합 제어 유닛(2600)에 출력한다. 상기 유저는 여러 데이터를 입력하고 입력 유닛(2800)을 동작시킴으로써 차량 제어 시스템(2000)에 처리 동작을 명령한다.

오디오 및 비디오 출력부(2670)는 사용자 또는 차량 외부에 시각 또는 청각적으로 정보를 통지할 수 있는 출력 장치에 대해 오디오 및 비디오 데이터로 이루어진 출력 신호 중 적어도 하나를 송신한다. 도 42의 예에서. 오디오 스피커(2710), 표시부(2720) 및 계기판(2730)은 출력 장치로 도시된다. 표시부(2720)는 예를 들면, 적어도 온-보드 디스플레이 및 헤드-업 디스플레 중 하나를 포함할 수 있다. 표시부(2720)는 AR(증강 현실) 표시 기능을 포함할 수 있다. 출력 장치 드라이버을 위한 예를 들면 안경형 웨어러블 디스플레이, 헤드폰, 프로젝터, 램프 또는 웨어러블 장치와 같은 다른 장치 일 수 있다. 출력 장치가 디스플레이 장치인 경우에, 출력 장치는 마이크로컴퓨터(2610)에 의한 여러 처리를 통해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를 텍스트, 이미지, 차트, 그래프 등의 여러 가지 형태의 포맷으로 표시한다. 출력 장치가 오디오 출력 장치인 경우, 재생된 오디오 데이터 또는 소리 데이터를 포함하는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.

도 42의 예에서, 통신 네트워크(2010)를 통해 접속된 적어도 두 개의 제어 유닛은 하나의 제어부에 통합될 수 있다. 또한, 각각의 제어 유닛은 복수의 제어 유닛으로 구성될 수 있다. 또한, 차량 제어 시스템(2000)에는 도시되지 않은 별개의 제어 장치가 제공될 수 있다. 또한, 상기 설명에서, 제어 장치 중의 어느 하나의 일부 또는 모든 기능은 다른 컨트롤 유닛으로 구현될 수 있다. 즉, 정보의 송수신이 통신 네트워크(2010)를 통해 실행된다면 제어 유닛 중의 어느 하나에 의해 실현될 수 있다. 마찬가지로, 제어 유닛 중의 어느 하나에 접속된 센서 또는 장치들은 다른 제어 유닛에 접속되며, 복수의 제어 유닛은 통신 네트워크(2010)를 통해 서로 검출 정보를 송수신한다.

또한, 도 42를 참조하여 설명한 본 실시예에 따른 안경형 웨어러블 단말(100)의 각 기능을 실현하는 컴퓨터 프로그램은, 차량 제어 시스템(2000) 내의 제어 유닛 중의 어느 하나에 설치될 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들면, 자기 디스크, 광 디스크, 광 자기 디스크 또는 플래시 메모리를 포함할 수 있다. 또한, 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체 없이도 네트워크를 통해 분배될 수 있다.

위에서 설명된 차량 제어 시스템(2000)과 도 3을 참조하여 설명된 본 실시예의 안경형 웨어러블 단말(100)는 도 42에 도시된 응용예를 위한 차량 제어 시스템(2000)에 적용될 수 있다. 예를 들면, 카메라 유닛(110) 및 안경형 웨어러블 단말(100)의 표시 유닛(150)은 차량 제어 시스템(2000)의 촬상부(2410)와 표시 유닛(2720)에 대응한다. 안경형 웨어러블 단말(100)의 신호 처리부(130) 및 화상 처리부(200)는 차량 제어 시스템(2000)의 외부 정보 검출 서브시스템(2400) 및 마이크로컴퓨터(2610)에 대응한다.

도 3을 참조하여 설명된 안경형 웨어러블 단말(100)의 구성 요소들 중 적어도 몇몇은 도 42에 도시된 차량 제어 시스템(2000)용의 모듈(예를 들어, 하나의 다이로형성된 집적 회로 모듈)에 의해 구현될 수 있다. 또한. 도 3을 참조하여 설명된 안경형 웨어러블 단말(100)는 도 42에 도시된 차량 제어 시스템(2000) 내의 복수의 제어 유닛에 의해 구현될 수 있다.

본 명세서에 기술된 효과는 단지 예시적인 것이며, 다른 효과가 있을 수 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 주화상을 결상하는 렌즈의 광축 방향에서의 깊이를 상기 주화상 내의 화소의 각각에 대응시켜서 취득하는 깊이 취득부와,

상기 광축 방향에서의 소정 범위 내의 상기 깊이에 대응하는 상기 화소로 이루어지는 검출 영역에 대해 특정한 물체를 검출하는 물체 검출 처리를 실행하는 물체 검출부를 구비하는 화상 처리 장치.

(2) 상기 깊이 취득부는, 촬상 범위의 적어도 일부가 상기 주화상과 중복되는한 쌍의 시차화상의 시차로부터 상기 깊이를 취득하는 상기 (1)에 기재된 화상 처리 장치.

(3) 상기 특정한 물체의 검출이 지시된 경우에는 상기 깊이 취득부는 상기 깊이를 상기 주화상 내의 화소의 각각에 대응시켜서 취득하고, 상기 물체 검출 처리는 상기 검출 영역에 대해 상기 물체 검출 처리를 실행하고,

상기 깊이의 취득이 지시된 경우에는 상기 물체 검출부는 상기 주화상 전체에 대해 상기 물체 검출 처리를 실행하고, 상기 깊이 취득부는, 상기 주화상 중 상기 특정한 물체가 검출된 영역 내의 상기 화소의 각각에 대응시켜서 상기 깊이를 취득하는 상기 (1) 또는 (2)에 기재된 화상 처리 장치.

(4) 좌안 및 우안의 적어도 일방을 촬상한 눈화상에 의거하여 상기 좌안 및 상기 우안의 적어도 일방의 시선 방향을 검출하는 시선 검출부를 또한 구비하고,

상기 물체 검출부는, 상기 시선방향에 따른 직선상에 위치하는 피사체까지의 거리를 포함하는 일정한 범위를 상기 소정 범위로 하여 상기 물체 검출 처리를 실행하는 상기 (1)부터 (3)의 어느 하나에 기재된 화상 처리 장치.

(5) 상기 눈(eye)화상에 의거하여 상기 좌안 및 상기 우안의 일방을 우세안으로서 선택하는 우세안 선택부를 또한 구비하고,

상기 시선 검출부는, 상기 우세안을 우선하여 상기 시선방향을 검출하는 상기 (4)에 기재된 화상 처리 장치.

(6) 상기 눈화상에 의거하여 상기 좌안 및 상기 우안의 적어도 일방의 홍채 패턴을 검출하는 홍채 패턴 검출부와,

상기 검출된 홍채 패턴마다 당해 홍채 패턴의 인물에 관해 선택된 상기 우세안을 기억하는 홍채 패턴 기억부를 또한 구비하고,

상기 시선 검출부는, 상기 검출된 홍채 패턴에 대응하는 상기 우세안을 상기 홍채 패턴 기억부로부터 판독하는 상기 (5)에 기재된 화상 처리 장치.

(7) 상기 주화상에서 상기 화소의 좌표의 각각의 소정의 기준 좌표로부터의 어긋남을 보정하여 상기 물체 검출부에 공급하는 상기 보정부를 또한 구비하는 상기 (1)부터 (6)의 어느 하나에 기재된 화상 처리 장치.

(8) 상기 보정부는,

상기 좌표의 어긋남을 보정하기 전의 보정전 좌표와 보정한 후의 보정후 좌표를 상기 화소 중 일부의 대표점마다 대응시켜서 유지하는 왜곡 보정 테이블과,

상기 대표점에 해당하지 않는 상기 화소의 주위의 4개의 상기 보정전 좌표의 각각에 대응하는 상기 보정후 좌표로부터 보간한 좌표를 상기 좌표의 어긋남을 보정한 좌표로서 구하는 보간부를 구비하는 상기 (7)에 기재된 화상 처리 장치.

(9) 주화상을 결상하는 렌즈에 의해 주화상을 촬상하는 주화상 촬상부와,

상기 광축 방향에서의 깊이를 상기 주화상 내의 화소의 각각에 대응시켜서 취득하는 깊이 취득부와,

상기 광축 방향에서의 소정 범위 내의 상기 깊이에 대응하는 상기 화소로 이루어지는 검출 영역에 대해 특정한 물체를 검출하는 물체 검출 처리를 실행하는 물체 검출부를 구비하는 촬상 장치.

(10) 촬상 범위의 적어도 일부가 상기 주화상과 중복되는한 쌍의 시차화상을 촬상하는 시차화상 촬상부를 또한 구비하고,

상기 깊이 취득부는, 상기한 쌍의 시차화상의 시차로부터 상기 깊이를 취득하는 상기 (9)에 기재된 촬상 장치.

(11) 상기 주화상 촬상부는, 제1의 주파수의 제1의 동기 신호에 동기하여 상기 주화상을 촬상하고,

상기 시차화상 촬상부는, 제2의 주파수의 제2의 동기 신호에 동기하여 상기한 쌍의 시차화상을 촬상하고,

상기 제1의 주파수와 상기 제2의 주파수의 비는 정수비인 상기 (10)에 기재된 촬상 장치.

(12) 상기 주화상 촬상부 및 상기 시차화상 촬상부의 각각의 노광 기간을 동일한 값으로 제어하는 노광 제어부를 또한 구비하는 상기 (10) 또는 (11)에 기재된 촬상 장치.

(13) 좌안 및 우안의 적어도 일방의 화상을 눈화상으로서 촬상하는 눈화상 촬상부와,

상기 눈화상에 의거하여 상기 좌안 및 상기 우안의 적어도 일방의 시선방향을 상기 눈화상에 의거하여 검출하는 시선 검출부를 또한 구비하고,

상기 물체 검출부는, 상기 시선방향에 따른 직선상에 위치하는 피사체까지의 거리를 포함하는 일정한 범위를 상기 소정 범위로 하여 상기 물체 검출 처리를 실행하는 상기 (9)부터 (12)의 어느 하나에 기재된 촬상 장치.

(14) 적외광을 발광하는 적외선 투광기와,

상기 적외선 투광기를 제어하여 상기 적외광을 발광시키는 발광 제어부를 또한 구비하고,

상기 눈화상 촬상부는, 상기 적외광을 광전 변환하여 상기 눈화상을 촬상하는 상기 (13)에 기재된 촬상 장치.

(15) 상기 촬상 장치의 가속도를 검출하는 가속도 센서를 또한 구비하고,

상기 주화상 촬상부는, 상기 가속도가 클수록 높은 주파수의 동기 신호에 동기하여 상기 주화상을 촬상하는 상기 (9)부터 (14)의 어느 하나에 기재된 촬상 장치.

(16) 상기 특정한 물체까지의 상기 깊이에 응한 시차를 갖는한 쌍의 표시 데이터를 생성하는 입체화상 생성부와,

상기한 쌍의 표시 데이터를 표시하는 표시부를 또한 구비하는 상기 (9)부터 (15)의 어느 하나(15)에 기재된 촬상 장치.

(17) 깊이 취득부가, 주화상을 결상하는 렌즈의 광축 방향에서의 깊이를 상기 주화상 내의 화소의 각각에 대응시켜서 취득하는 깊이 취득 순서와,

물체 검출부가, 상기 광축 방향에서의 소정 범위 내의 상기 깊이에 대응하는 상기 화소로 이루어지는 검출 영역에 대해 특정한 물체를 검출하는 물체 검출 처리를 실행하는 물체 검출 순서를 구비하는 화상 처리 방법.

(18) 깊이 취득부가, 주화상을 결상하는 렌즈의 광축 방향에서의 깊이를 상기 주화상 내의 화소의 각각에 대응시켜서 취득하는 깊이 취득 순서와,

물체 검출부가, 상기 광축 방향에서의 소정 범위 내의 상기 깊이에 대응하는 상기 화소로 이루어지는 검출 영역에 대해 특정한 물체를 검출하는 물체 검출 처리를 실행하는 물체 검출 순서를 컴퓨터에 실행시키기 위한 프로그램.

(19) 주화상에 대해 특정한 물체를 검출하는 물체 검출 처리를 실행하는 물체 검출부와,

상기 특정한 물체가 검출된 영역 내의 화소의 각각에 대응시켜서 상기 주화상을 결상하는 렌즈의 광축 방향에서의 깊이를, 촬상 범위의 적어도 일부가 상기 주화상과 중복되는한 쌍의 시차화상의 시차로부터 취득하는 깊이 취득부를 구비하는 화상 처리 장치.

(20) 상기 좌안 및 상기 우안의 적어도 일방을 촬상한 눈화상에 의거하여 좌안 및 우안의 적어도 일방의 시선방향을 검출하는 시선방향 검출부와,

주화상 중 상기 시선방향에 따른 직선상에 위치하는 피사체가 촬상된 검출 영역에 대해 특정한 물체를 검출하는 물체 검출 처리를 실행하는 물체 검출부를 구비하는 화상 처리 장치.

(21) 화상 데이터에 대응하는 시차(parallax)를 사용하여 화상의 각 픽셀에 대한 기준 위치로부터의 거리에 관한 정보를 포함하는 깊이 맵(depth map)을 전자적으로 생성하는 깊이 취득 회로와,

거리 정보 및 상기 깊이 맵을 사용하여 화상 데이터의 특정 화소를 식별함에 의해 화상 내의 특정 물체를 전자적으로 검출하는 물체 검출 회로를 포함하는 화상 처리 장치.

(22) 상기 거리 정보가 제1의 거리와 제2의 거리 사이의 거리의 범위인 상기 (21)의 화상 처리 장치.

(23) 상기 거리 정보가 값(value)인 상기 (21)의 화상 처리 장치.

(24) 상기 물체 검출 회로가 화상의 검출 영역을 식별하는 상기 거리 정보 및 상기 깊이 맵을 사용하도록 구성되는 상기 (21)의 화상 처리 장치.

(25) 상기 검출 영역이 깊이 정보를 갖는 화소를 포함하는 상기 (24)의 화상 처리 장치.

(26) 상기 화상 데이터의 촬상 범위가 제1의 화상 데이터의 촬상 범위와 제2의 화상 데이터의 촬상 범위를 겹치는 상기 (21)의 화상 처리 장치.

(27) 상기 제1의 화상 데이터의 해상도가 상기 화상 데이터의 해상도보다 낮은 상기 (26)의 화상 처리 장치.

(28) 상기 제1의 화상 데이터와 상기 제2의 화상 데이터가 동일한 해상도를 가지는 상기 (27)의 화상 처리 장치.

(29) 상기 시차의 해상도가 상기 화상 데이터의 해상도보다 낮은 상기 (21)의 화상 처리 장치.

(30) 상기 시차가 단색 화상 데이터인 상기 (21)의 화상 처리 장치.

(31) 소정의 기준 좌표로부터 어긋난 상기 화상 데이터의 어느 화소 좌표를 보정하도록 구성된 보정 회로를 더 포함하는 상기 (21)의 화상 처리 장치.

(32) 화상 데이터에 대응하는 시차(parallax)를 사용하여 화상의 각 픽셀에 대한 기준 위치로부터의 거리에 관한 정보를 포함하는 깊이 맵(depth map)을 전자적으로 생성하는 깊이 취득 회로와,

거리 정보 및 상기 깊이 맵을 사용하여 화상 데이터의 특정 화소를 식별함에 의해 화상 내의 특정 물체를 전자적으로 검출하는 물체 검출 회로와,

상기 화상을 시야(visual field)로서 촬상하고 상기 시야를 화상 데이터로 변환하도록 구성된 카메라 장치를 포함하는 화상 처리 시스템.

(33) 제1의 화상을 촬상하도록 구성된 제1의 카메라 장치; 및

제2의 화상을 촬상하도록 구성된 제2의 카메라 장치를 더 포함하고,

상기 시차가 상기 제1의 화상에 대응하는 상기 제1의 화상 데이터 및 상기 제2의 화상에 대응하는 상기 제2의 화상 데이터로부터 생성되는 상기 (32)의 화상 처리 시스템.

(34) 상기 물체 검출 회로가, 표시되는 상기 특정 물체의 표시 데이터를 생성하도록 구성되는 상기 (33)의 화상 처리 시스템.

(35) 가시적 화상으로서 표시 데이터를 출력하도록 구성된 디스플레이 회로를 더 포함하는 상기 (34)의 화상 처리 시스템.

(36) 상기 화상 데이터의 촬상 범위가 제1의 화상 데이터의 촬상 범위와 제2의 화상 데이터의 촬상 범위를 겹치는 상기 (33)의 화상 처리 시스템.

(37) 상기 제1의 화상 데이터의 해상도가 상기 화상 데이터의 해상도보다 낮은 상기 (36)의 화상 처리 시스템.

(38) 상기 제1의 화상 데이터와 상기 제2의 화상 데이터가 동일한 해상도를 가지는 상기 (37)의 화상 처리 시스템.

(39) 상기 시차의 해상도가 상기 화상 데이터의 해상도보다 낮은 상기 (33)의 화상 처리 시스템.

(40) 상기 시차가 단색 화상 데이터인 상기 (33)의 화상 처리 시스템.

(41) 상기 카메라 장치는 한 쌍의 안경에 탑재되는 상기 (32)의 화상 처리 시스템.

Claims (21)

1. 화상 데이터에 대응하는 시차(parallax)를 사용하여 화상의 각 픽셀에 대한 기준 위치로부터의 거리에 관한 정보를 포함하는 깊이 맵(depth map)을 전자적으로 생성하는 깊이 취득 회로와,
   거리 정보 및 상기 깊이 맵을 사용하여 화상 데이터의 특정 화소를 식별함에 의해 화상 내의 특정 물체를 전자적으로 검출하는 물체 검출 회로를 포함하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 거리 정보가 제1의 거리와 제2의 거리 사이의 거리의 범위인 것을 특징으로 하는 화상 처리 장치.
3. 제1항에 있어서,
   상기 거리 정보가 값(value)인 것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,
   상기 물체 검출 회로가 화상의 검출 영역을 식별하는 상기 거리 정보 및 상기 깊이 맵을 사용하도록 구성되는 것을 특징으로 하는 화상 처리 장치.
5. 제4항에 있어서,
   상기 검출 영역이 깊이 정보를 갖는 화소를 포함하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항에 있어서,
   상기 화상 데이터의 촬상 범위가 제1의 화상 데이터의 촬상 범위와 제2의 화상 데이터의 촬상 범위를 겹치는 것을 특징으로 하는 화상 처리 장치.
7. 제6항에 있어서,
   상기 제1의 화상 데이터의 해상도가 상기 화상 데이터의 해상도보다 낮은 것을 특징으로 하는 화상 처리 장치.
8. 제7항에 있어서,
   상기 제1의 화상 데이터와 상기 제2의 화상 데이터가 동일한 해상도를 가지는 것을 특징으로 하는 화상 처리 장치.
9. 제1항에 있어서,
   상기 시차의 해상도가 상기 화상 데이터의 해상도보다 낮은 것을 특징으로 하는 화상 처리 장치.
10. 제1항에 있어서,
    상기 시차가 단색 화상 데이터인 것을 특징으로 하는 화상 처리 장치.
11. 제1항에 있어서,
    소정의 기준 좌표로부터 어긋난 상기 화상 데이터의 어느 화소 좌표를 보정하도록 구성된 보정 회로를 더 포함하는 것을 특징으로 하는 화상 처리 장치.
12. 화상 데이터에 대응하는 시차(parallax)를 사용하여 화상의 각 픽셀에 대한 기준 위치로부터의 거리에 관한 정보를 포함하는 깊이 맵(depth map)을 전자적으로 생성하는 깊이 취득 회로와,
    거리 정보 및 상기 깊이 맵을 사용하여 화상 데이터의 특정 화소를 식별함에 의해 화상 내의 특정 물체를 전자적으로 검출하는 물체 검출 회로와,
    상기 화상을 시야(visual field)로서 촬상하고 상기 시야를 화상 데이터로 변환하도록 구성된 카메라 장치를 포함하는 것을 특징으로 하는 화상 처리 시스템.
13. 제12항에 있어서,
    제1의 화상을 촬상하도록 구성된 제1의 카메라 장치; 및
    제2의 화상을 촬상하도록 구성된 제2의 카메라 장치를 더 포함하고,
    상기 시차가 상기 제1의 화상에 대응하는 상기 제1의 화상 데이터 및 상기 제2의 화상에 대응하는 상기 제2의 화상 데이터로부터 생성되는 것을 특징으로 하는 화상 처리 시스템.
14. 제13항에 있어서,
    상기 물체 검출 회로가, 표시되는 상기 특정 물체의 표시 데이터를 생성하도록 구성되는 것을 특징으로 하는 화상 처리 시스템.
15. 제14항에 있어서,
    가시적 화상으로서 표시 데이터를 출력하도록 구성된 디스플레이 회로를 더 포함하는 것을 특징으로 하는 화상 처리 시스템.
16. 제13항에 있어서,
    상기 화상 데이터의 촬상 범위가 제1의 화상 데이터의 촬상 범위와 제2의 화상 데이터의 촬상 범위를 겹치는 것을 특징으로 하는 화상 처리 시스템.
17. 제16항에 있어서,
    상기 제1의 화상 데이터의 해상도가 상기 화상 데이터의 해상도보다 낮은 것을 특징으로 하는 화상 처리 시스템.
18. 제17항에 있어서,
    상기 제1의 화상 데이터와 상기 제2의 화상 데이터가 동일한 해상도를 가지는 것을 특징으로 하는 화상 처리 시스템.
19. 제13항에 있어서,
    상기 시차의 해상도가 상기 화상 데이터의 해상도보다 낮은 것을 특징으로 하는 화상 처리 시스템.
20. 제13항에 있어서,
    상기 시차가 단색 화상 데이터인 것을 특징으로 하는 화상 처리 시스템.
21. 제12항에 있어서,
    상기 카메라 장치는 한 쌍의 안경에 탑재되는 것을 특징으로 하는 화상 처리 시스템.

Images