KR20160101910A - 화상 처리 장치 및 방법, 및 프로그램 - Google Patents

Abstract

본 기술은, 조작성을 향상시킬 수 있도록 하는 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다. 근거리 화상 분리부는, 촬상부에 의해 촬상된 입력 화상으로부터 절출된 절출 화상과, 절출 화상의 각 영역의 피사체까지의 거리를 나타내는 거리 화상에 의거하여, 촬상부측에 있는 근거리 피사체를 나타내는 근거리 화상을 생성한다. 윤곽 추출부는, 근거리 화상의 윤곽을 추출하여 조정용 화상으로 하고, 표시 화상 생성부는 조정용 화상에 의거하여 출력 화상을 생성하고, 화상 표시부에 표시시킨다. 유저는, 화상 표시부에 표시된 출력 화상을 보면서, 자신의 손이 출력 화상상의 손의 영역에 겹쳐지도록, 손을 이동시킨다. XY 산출부는, 다른 시각의 조정용 화상에 의거하여, 화상의 표시 위치의 보정량을 산출한다. 본 기술은, 헤드 마운트 디스플레이에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 프로그램{IMAGE PROCESSING DEVICE AND METHOD, AND PROGRAM}

본 기술은 화상 처리 장치 및 방법, 및 프로그램에 관한 것으로, 특히, 조작성을 향상시킬 수 있도록 한 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다.

요즘, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등의 진화에 의해, CG(Computer Graphics) 화상을 이용한 가상(假想) 현실이 실현되고, 또한 그것을 응용하여 실제의 촬영 화상과 가상 화상을 합성한 확장(擴張) 현실(AR(Augmented Reality))도 실현되어 있다.

예를 들면, 이와 같은 확장 현실에 관한 기술로서, 실(實) 환경상에 존재하는 물체의 위치에 화상을 중첩 표시하고, 그 화상에의 조작에 응한 처리를 실행하는 기술이 제안되어 있다(예를 들면, 특허 문헌 1 참조).

또한, 확장 현실을 실현하는 화상 표시 장치로서, 시스루형의 헤드 마운트 디스플레이와 같이, 유저가 반투명한 글라스를 통하여 직접, 육안으로 실재 공간을 볼 수 있고, 또한 그 글라스상에 화상을 표시함으로써 확장 현실을 실현하는 것도 제안되어 있다.

특허 문헌 1 : 일본국 특개2011-203823호 공보

그렇지만, 상술한 기술에서는, 시스루형의 화상 표시 장치의 조작성을 향상시킬 수가 없다.

예를 들면 시스루형의 화상 표시 장치에서는, 유저에 의한 조작은 터치 인터페이스나 버튼 인터페이스가 사용되어 행하여지기 때문에, 두부가 화면으로 덮여 있는 상황에서 유저가 조작하는 것을 알기 어려워, 조작성이 좋다고는 말할 수가 없었다.

본 기술은, 이와 같은 상황을 감안하여 이루어진 것이고, 조작성을 향상시킬 수 있도록 하는 것이다.

본 기술의 한 측면의 화상 처리 장치는, 유저의 시점(視點) 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실(實) 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상(畵像上)의 상기 피사체를 나타내는 화상을 생성하는 생성부와, 표시 화면을 통하여 상기 유저가 상기 피사체를 시인(視認) 가능하고, 상기 화상을 표시하는 화상 표시부와, 서로 다른 시각(時刻)의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 보정량 산출부를 구비한다.

상기 보정량 산출부에는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 상기 화상상에서의 이동량에 의거하여, 상기 표시 위치를 보정하기 위한 상기 보정량을 산출시킬 수 있다.

상기 보정량 산출부에는, 기준이 되는 상기 화상, 또는 상기 보정량에 의해 보정된, 상기 기준이 되는 상기 화상보다도 뒤(後)의 상기 화상이 상기 화상 표시부에 표시되어 있는 상태에서, 상기 근거리 피사체로서의 조작 지시부가, 표시되어 있는 상기 화상상의 상기 조작 지시부와 겹쳐지도록 상기 유저가 상기 조작 지시부를 움직인 때에 촬상된 상기 화상과, 상기 기준이 되는 상기 화상, 또는 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상과의 사이에서의 상기 조작 지시부의 상기 이동량에 의거하여, 상기 보정량을 산출시킬 수 있다.

상기 보정량 산출부에는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 상기 화상상에서의 크기의 변화에 의거하여, 상기 표시 사이즈를 보정하기 위한 상기 보정량을 산출시킬 수 있다.

상기 보정량 산출부에는, 기준이 되는 상기 화상, 또는 상기 보정량에 의해 보정된, 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상이 상기 화상 표시부에 표시되어 있는 상태에서, 상기 근거리 피사체로서의 조작 지시부가, 표시되어 있는 상기 화상상의 상기 조작 지시부와 같은 크기가 되도록 상기 유저가 상기 조작 지시부를 움직인 때에 촬상된 상기 화상과, 상기 기준이 되는 상기 화상과의 사이에서의 상기 조작 지시부의 상기 크기의 변화에 의거하여, 상기 보정량을 산출시킬 수 있다.

상기 보정량 산출부에는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 특정 부위의 상기 화상상에서의 이동량에 의거하여, 상기 표시 사이즈를 보정하기 위한 상기 보정량을 산출시킬 수 있다.

상기 화상 표시부에는, 상기 유저에 의한 조작 대상이 되는 가상 화상을 또한 표시시켜서, 상기 보정량에 의거하여, 상기 가상 화상의 상기 표시 위치 또는 상기 표시 사이즈를 보정하는 보정부를 또한 마련할 수 있다.

화상 처리 장치에는, 공간상(空間上)에서의 상기 가상 화상의 거리보다도 상기 촬상부측에 있는 상기 피사체의 영역을 비(非)마스크 영역으로 하여, 상기 비마스크 영역을 나타내는 마스크 화상을 생성하는 마스크 생성부와, 상기 보정량에 의거하여, 상기 마스크 화상에서의 상기 비마스크 영역의 위치 또는 사이즈를 보정하는 마스크 보정부와, 상기 마스크 보정부에 의해 보정된 상기 마스크 화상, 및 상기 보정량에 의거하여 상기 가상 화상에 대한 투과(透過) 처리를 행하여, 상기 가상 화상으로부터 상기 비마스크 영역을 제거하는 마스크 처리부를 또한 마련하고, 상기 화상 표시부에는, 상기 투과 처리된 상기 가상 화상을 표시시킬 수 있다.

화상 처리 장치에는, 상기 보정량에 의거하여, 상기 유저에 의해 조작된 상기 가상 화상상의 위치를 보정하는 조작 보정부를 또한 마련할 수 있다.

상기 유저의 좌우의 눈마다 상기 화상 표시부를 마련하고, 상기 보정량 산출부에는, 상기 유저의 좌우의 눈마다 상기 보정량을 산출시킬 수 있다.

본 기술의 한 측면의 화상 처리 방법 또는 프로그램은, 유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하고, 표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능한 화상 표시부에 상기 화상을 표시시켜서, 서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 스텝을 포함한다.

본 기술의 한 측면에서는, 유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상이 생성되고, 표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능한 화상 표시부에 상기 화상이 표시되고, 서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량이 산출된다.

본 기술의 한 측면에 의하면, 조작성을 향상시킬 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.

도 1은 표시 장치의 외관의 구성례를 도시하는 도면.
도 2는 가상 화상에의 조작에 관해 설명하는 도면.
도 3은 표시 장치의 구성례를 도시하는 도면.
도 4는 위치 조정시의 동작에 관해 설명하는 도면.
도 5는 사이즈 조정시의 동작에 관해 설명하는 도면.
도 6은 사이즈 조정시의 동작에 관해 설명하는 도면.
도 7은 표시 어긋남의 조정에 관해 설명하는 도면.
도 8은 조정 처리를 설명하는 플로 차트.
도 9는 보정량 산출 처리를 설명하는 플로 차트.
도 10은 출력 화상의 표시에 관해 설명하는 도면.
도 11은 터치 인식 처리를 설명하는 플로 차트.
도 12는 표시 장치의 구성례를 도시하는 도면.
도 13은 표시 장치의 구성례를 도시하는 도면.
도 14는 표시 장치의 외관의 구성례를 도시하는 도면.
도 15는 표시 장치의 외관의 구성례를 도시하는 도면.
도 16은 표시 장치의 구성례를 도시하는 도면.
도 17은 표시 어긋남의 조정에 관해 설명하는 도면.
도 18은 조정 처리를 설명하는 플로 차트.
도 19는 보정량 산출 처리를 설명하는 플로 차트.
도 20은 출력 화상의 표시에 관해 설명하는 도면.
도 21은 터치 인식 처리를 설명하는 플로 차트.
도 22는 표시 장치의 구성례를 도시하는 도면.
도 23은 표시 장치의 구성례를 도시하는 도면.
도 24는 컴퓨터의 구성례를 도시하는 도면.

이하, 도면을 참조하여, 본 기술을 적용한 실시의 형태에 관해 설명한다.

<제1의 실시의 형태>

<본 기술의 개요>

본 기술은, 시스루형의 헤드 마운트 디스플레이를 장착한 사용자가 육안으로 본 것과, 가상 화상에 의한 3D 표시를 행함으로써, 리얼하게 접촉한 감각을 얻을 수 있도록 하고, 이에 의해 현실과 같은 레벨의 자연스러운 유저 인터페이스를 실현할 수 있도록 하는 것이다. 특히, 본 기술에서는, 응답성이 빠르고 자유도가 높은, 유저가 자연스럽게 느낄 수 있는 시스루형의 헤드 마운트 디스플레이의 유저 인터페이스를 저비용으로 실현할 수 있다.

예를 들면, 본 기술은, 오디오 기기, 다기능형 휴대 전화기, 전자 서적의 리더 등의 각종 전자 기기의 조작이나, 의료 분야, 게임기기의 조작, 콘서트, 영화, 어트렉션 등에 적용할 수 있다.

이하에서는, 본 기술을 글라스형의 표시 장치에 적용한 경우를 예로 하여, 본 기술에 관해 설명한다. 그와 같은 경우, 예를 들면 도 1의 상측에 도시하는 바와 같이 표시 장치(11)의 이측(裏側), 즉 유저가 표시 장치(11)를 장착한 때에 유저의 좌우의 눈과 대향하는 측의 면에는, 화상 표시부(21L)와 화상 표시부(21R)가 마련되어 있다.

이들의 화상 표시부(21L)와 화상 표시부(21R)는, 시스루형의 반투명한 표시 디바이스로 이루어지고, 각각 유저의 좌안과 우안에 화상을 제시한 표시 디바이스이다. 또한, 유저는, 화상 표시부(21L)나 화상 표시부(21R)의 표시 화면을 통하여, 시선 방향의 전방(先)에 있는 현실 공간도 시인할 수 있다.

또한, 이하, 화상 표시부(21L)와 화상 표시부(21R)를 특히 구별할 필요가 없는 경우, 단지 화상 표시부(21)라고도 칭하기로 한다.

또한, 표시 장치(11)의 표측(表側), 즉 유저가 표시 장치(11)를 장착한 때에 유저의 눈의 측과는 반대측에 위치하는 면에는, 화상 표시부(21L)와 화상 표시부(21R) 사이의 위치에 촬상부(22)가 마련되어 있다. 즉, 촬상부(22)는, 유저의 시점 근방에 배치되어 있다. 촬상부(22)는, 거리 측정 기능 부착의 카메라로 이루어지고, 화상을 촬상함과 함께, 표시 장치(11)를 장착하고 있는 유저의 전방에 있는 피사체까지의 거리를 측정한다.

이와 같은 시스루형 헤드 마운트 디스플레이인 표시 장치(11)는, 도 2에 도시하는 바와 같이 유저(U11)의 두부에 장착되어 사용된다. 이 예에서는, 유저는, 표시 장치(11)의 화상 표시부(21)를 통하여 현실의 피사체(H11)를 본다.

또한, 표시 장치(11)에 마련된 촬상부(22)는, 유저(U11)의 전방에 있는 각 피사체까지의 거리를 측정한다. 그리고, 표시 장치(11)는, 소정의 가상 화상(V11)에서의, 가상 화상(V11)보다도 유저(U11)측에 있는 피사체의 영역의 부분을 투과 처리하여 출력 화상으로 하고, 얻어진 출력 화상을 화상 표시부(21)에 표시시킨다. 따라서 출력 화상에서는, 유저의 손의 부분 등이 투과 처리되어, 유저의 손의 부분에는 화상이 표시되어 있지 않는 상태가 된다. 즉, 화상이 유저의 손과 겹쳐져 버리는 것 같은 일이 없어지기 때문에, 보다 리얼한 확장 현실이 실현된다.

여기서, 가상 화상(V11)은, 예를 들면 유저에 의한 조작 대상이 되는 가상적인 단말 장치의 표시 화면 등, 표시 장치(11)에 대해 각종의 처리의 실행을 지시할 때에 조작되는 3D 유저 인터페이스의 화상이 된다. 가상 화상(V11)은 가상적인 공간상, 즉 확장 현실 공간상에 배치된다.

유저(U11)는, 화상 표시부(21)에 표시된 출력 화상을 보면서, 마치 현실의 공간에 존재하는 것처럼 표시되어 있는 가상 화상(V11)에 손을 뻗어, 가상 화상(V11)에 대한 터치 조작을 행한다. 즉, 가상 화상(V11)에 표시되어 있는 버튼을 누르는 등의 조작이 행하여진다.

그리고, 유저(U11)에 의한 가상 화상(V11)에의 조작이 행하여지면, 표시 장치(11)는 그 조작에 응한 처리를 실행한다.

표시 장치(11)에서는, 화상 표시부(21L)와 화상 표시부(21R)에 표시되는 출력 화상상의 가상 화상(V11)은 시차(視差)를 갖고 있고, 유저(U11)의 좌우의 눈에 제시되는 출력 화상은 서로 시차를 갖는 입체 화상이 된다.

이와 같이 표시 장치(11)에서는, 출력 화상으로서 입체 화상을, 시스루로 실제로 보고 있는 것에 겹쳐서 표시시킴으로써, 거리감을 잡기 쉽고, 유저에게 스트레스를 느끼게 하지 않는 유저 인터페이스를 실현할 수 있다. 이 유저 인터페이스는, 리얼한 3D의 확장 현실을 사용한 공간 터치 인터페이스이다.

<표시 장치의 구성례>

다음에, 도 1에 도시한 표시 장치(11)의 구체적인 구성에 관해 설명한다. 도 3은, 표시 장치(11)의 구성례를 도시하는 도면이다. 또한, 도 3에서 도 1에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

표시 장치(11)는, 거리 측정 기능 부착의 촬상부(22), 카메라 입력부(51), 카메라 처리부(52), CPU(53), ROM(Read Only Memory)(54), RAM(Random Access Memory)(55), 화상 표시 처리부(56), 화상 출력부(57), 버스(58), 화상 표시부(21L), 및 화상 표시부(21R)로 구성된다. 이 예에서는, 카메라 입력부(51) 내지 화상 표시 처리부(56)가 버스(58)에 의해 상호 접속되어 있고, 버스(58)를 통하여 정보나 화상의 수수(授受)가 가능하게 되어 있다.

거리 측정 기능 부착의 촬상부(22)는, 입력 화상을 촬상하고 카메라 입력부(51)에 공급함과 함께, 피사체까지의 거리를 얻기 위한 정보도 취득하여 카메라 입력부(51)에 공급한다. 예를 들면 촬상부(22)에는, 입력 화상을 얻기 위한 R, G, B의 각 색의 화소와, 거리 측정용의 근적외선을 수광하는 화소가 마련되어 있다. 촬상부(22)는, R, G, B의 각 화소에서 얻어진 화소 데이터를 입력 화상의 화상 데이터로서 출력하고, 대응 화소마다의 거리 측정 데이터를 출력한다.

카메라 입력부(51)는, 촬상부(22)로부터 입력 화상의 화상 데이터를 취득하고, 필요에 응하여 입력 화상의 데이터 포맷 변환 등을 행하여, 카메라 처리부(52)에 공급한다. 또한, 카메라 입력부(51)는, 촬상부(22)로부터 공급된 피사체까지의 거리 정보를, 직접, 버스(58)를 통하여 RAM(55)에 공급한다.

카메라 처리부(52)는, 카메라 입력부(51)로부터 공급된 입력 화상에 대해 왜곡 등의 보정 처리나 현상 처리를 시행하여, RAM(55)에 공급한다.

CPU(53)는, 표시 장치(11)의 전체의 동작을 제어한다. 예를 들면 CPU(53)는, RAM(55)으로부터 공급된, 피사체까지의 거리 정보에 의거하여, 출력 화상을 생성하여 화상 표시 처리부(56)에 공급하거나 한다. 또한, 거리 정보는 어떻게 하여 얻도록 하여도 좋지만, 예를 들면 TOF(Time Of Flight) 등에 의해 거리 정보를 산출할 수 있다.

ROM(54)은, 가상 화상 등의 각종의 화상이나 데이터, 프로그램 등을 기록한다. RAM(55)은, 화상이나 거리 정보나 각종의 데이터, 프로그램 등을 일시적으로 기록한다.

화상 표시 처리부(56)는, CPU(53)로부터 공급된, 화상 표시부(21)에 표시하는 출력 화상 등의 화상에 관해, 버퍼 처리 등의 화상 처리를 행한다. 화상 출력부(57)는, 화상 표시 처리부(56)에서 화상 처리된 출력 화상 등의 화상을 화상 표시부(21)에 출력하고, 표시시킨다.

<조정 처리의 개요>

다음에, 표시 장치(11)의 처리에 관해 설명한다.

예를 들면 시스루형의 표시 장치(11)에서는, 유저에 의해 행하여지는 가상 화상에의 조작을 인식하려면, 조작 지시를 행하는 유저의 수 등의 조작 지시부의 검출이 필요해진다. 그러나, 조작 지시부의 검출을 행하는 촬상부(22)의 시점 위치와, 실제의 유저의 시점 위치에는 반드시 어긋남이 생긴다. 이것은, 시스루형의 표시 장치(11)에서는, 유저는 반투명한 화상 표시부(21)를 통하여 현실의 공간을 보고 있기 때문에, 유저의 시선상에 촬상부(22)를 배치할 수기 없기 때문이다.

이와 같이, 촬상부(22)와 유저의 시점 위치에 어긋남이 있으면, 표시 장치(11)에서 인식하고 있는 확장 현실 공간상의 위치와, 유저가 보고 있는 확장 현실 공간상의 위치에 미소한 어긋남이 생겨서, 조작성이 저하되어 버리는 일이 있다. 마찬가지로, 표시 장치(11)에서 인식하고 있는 확장 현실 공간상의 물체의 크기와, 유저가 보고 있는 확장 현실 공간상의 물체의 크기에도 미소한 어긋남이 생긴다. 즉, 표시 장치(11)와 유저에서 좌표계의 어긋남이 생긴다.

그 때문에, 예를 들면 유저가 확장 현실 공간상의 소정의 위치를 지정하여도, 표시 장치(11)에서는, 유저가 지정한 위치와는 다른 위치가 지정된 것으로 인식되어 버릴 가능성도 있고, 이와 같은 오인식은 유저에게 있어서 스트레스가 되어 버린다. 또한, 실제로 보이고 있는 것과 가상 화상과의 합성에도 어긋남이 발생할 가능성이 있다.

그래서 표시 장치(11)에서는, 우선 조정 처리를 행하여, 이와 같은 표시 장치(11)와 유저 사이의 표시의 어긋남, 즉 위치나 크기의 인식의 어긋남을 조정한다.

구체적으로는, 표시 장치(11)에서는, 출력 화상상에서의 위치의 어긋남과, 출력 화상상에서의 물체의 크기의 어긋남을 보정하는 처리를 조정 처리로서 행한다. 이하, 출력 화상상의 미리 정하여진 서로에게 수직한 방향을 X방향 및 Y방향이라고 칭함과 함께, 이들의 X방향 및 Y방향을 축방향으로 하는 XY 좌표계에서의 표시 위치의 어긋남을 XY방향의 위치 어긋남이라고도 칭하기로 한다. 또한, 이하, 출력 화상상의 물체의 크기(표시 사이즈)의 어긋남을 스케일의 어긋남이라고도 칭하기로 한다.

예를 들면, XY방향의 위치 어긋남의 조정시에는, 화상 표시부(21)에는 도 4의 좌측에 도시하는 바와 같이, 표시 장치(11)에 의해 촬상된 유저의 손의 화상인 조정용 화상(VHD11)이, 출력 화상으로서 표시된다. 이 경우, 유저의 손이 조작 지시부가 된다.

예를 들면 조정용 화상(VHD11)은, 현재 시각보다도 조금 전의 시각에서의 입력 화상상의 유저의 손의 영역을 반투명 또는 윤곽만으로 표시한 화상이다.

그 때문에, 화상 표시부(21)를 보고 있는 유저에게는, 화상 표시부(21)를 통하여 보고 있는, 유저의 실제의 손(HD11)과, 그 손(HD11)의 조금 전의 시각의 화상인 조정용 화상(VHD11)이 보이고 있는 것으로 된다.

여기서, 유저가 손(HD11)을 움직이지 않은 상태에서, 유저에 의해 보이는 조정용 화상(VHD11)의 위치와, 실제의 손(HD11)의 위치에 어긋남이 있는 경우, 그 어긋남량이 XY방향의 위치 어긋남의 양으로 된다.

XY방향의 위치 어긋남의 조정시에는, 도면 중, 우측에 도시하는 바와 같이 유저는, 자신의 손(HD11)이 조정용 화상(VHD11)과 겹쳐지도록, 상하 방향이나 좌우 방향으로 손(HD11)을 움직여 간다. 그리고, 유저는, 손(HD11)과 조정용 화상(VHD11)이 겹쳐졌다고 판단한 때에, 일정 시간만큼 손(HD11)을 정지시키거나, 확정 지시를 음성이나 다른 인터페이스로 주거나 함으로써, XY방향의 위치 어긋남의 조정 완료를 표시 장치(11)에 통지한다. 즉, 유저는 조정 완료를 확정시킨다. 또한, 여기서, 다른 인터페이스로의 확정 지시로서, 예를 들면 유저가 표시 장치(11)에 대해 물리적인 터치 조작을 행하는 것 등이 생각된다.

XY방향의 위치 어긋남의 조정시에, 유저가 이와 같은 동작을 행하는 경우, 표시 장치(11)는, 조정용 화상(VHD11)에 의해 나타나는 유저의 손의 위치의 이동량에 의거하여, XY방향의 위치 어긋남의 보정량을 산출한다.

즉, 조정용 화상(VHD11)에서의, 유저에 의한 조정 확정시에 표시시킨 조정용 화상(VHD11)상의 유저의 손의 위치로부터, 조정 처리 시작시에 표시시킨 조정용 화상(VHD11)상의 유저의 손의 위치까지의 손의 이동량에 의거하여, XY방향의 위치 어긋남의 보정량을 산출한다. 또한, 이 때, 유저의 실제의 손의 이동 방향과 반대 방향으로 XY방향의 위치가 보정(조정)되게 된다.

또한, 여기서는, XY방향의 위치 어긋남의 조정을 행할 때에, 유저가 손을 상하 좌우의 방향으로 움직이는 예에 관해 설명했지만, 다른 어떤 방법으로 보정량을 표시 장치(11)에 입력하도록 하여도 좋다.

또한, 출력 화상의 스케일(사이즈)의 어긋남의 조정시에는, 화상 표시부(21)에는 도 5의 좌측에 도시하는 바와 같이, 표시 장치(11)에 의해 촬상된 유저의 손의 화상인 조정용 화상(VHD21)이, 출력 화상으로서 표시된다. 이 경우, 유저의 손이 조작 지시부가 된다. 예를 들면 조정용 화상(VHD21)은, 현재 시각보다도 조금 전의 시각에서의 입력 화상상의 유저의 손의 영역을 반투명 또는 윤곽만으로 표시한 화상이다.

또한, 도 5에서 도 4에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

이 예에서도, 유저에게는, 실제의 자신의 손(HD11)과, 그 손(HD11)의 조금 전의 시각의 화상인 조정용 화상(VHD21)이 보이고 있다.

여기서, 유저가 손(HD11)을 움직이지 않은 상태에서, 유저에 의해 보이는 조정용 화상(VHD21)의 크기와, 실제의 손(HD11)의 크기에 어긋남이 있는 경우, 그 크기의 차, 즉 표시 배율의 차가 스케일의 어긋남의 양으로 된다.

스케일 어긋남의 조정시에는, 도면 중, 우측에 도시하는 바와 같이 유저는, 자신의 손(HD11)이 조정용 화상(VHD21)과 겹쳐지도록 손(HD11)을 전후로, 즉 깊이(奧行) 방향으로 움직여 간다. 그리고, 유저는, 손(HD11)과 조정용 화상(VHD21)이 겹쳐졌다고 판단한 때에, 일정 시간만큼 손(HD11)을 정지시키거나, 확정 지시를 음성이나 다른 인터페이스로 주거나 함으로써, 스케일 어긋남의 조정 완료를 표시 장치(11)에 통지한다. 즉, 유저는 조정 완료를 확정시킨다.

스케일 어긋남의 조정시에, 유저가 이와 같은 동작을 행하는 경우, 표시 장치(11)는, 조정용 화상(VHD21)에 의해 나타나는 유저의 손의 크기의 변화량, 즉 표시 배율의 변화량에 의거하여, 스케일 어긋남의 보정량을 산출한다.

즉, 조정용 화상(VHD21)에서의, 유저에 의한 조정 확정시에 표시시킨 조정용 화상(VHD21)상의 유저의 손의 크기로부터, 조정 처리 시작시에 표시시킨 조정용 화상(VHD21)상의 유저의 손의 크기로의 변화량에 의거하여, 스케일 어긋남의 보정량이 산출된다. 또한, 이 때, 유저가 손을 자기쪽(手前側)으로 이동시켜서 조정을 행할 때에는, 출력 화상상의 물체가 축소 표시되고, 유저가 손을 자기반대쪽(奧側)으로 이동시켜서 조정을 행할 때에는, 출력 화상상의 물체가 확대 표시되어 표시 스케일이 보정(조정)되게 된다.

또한, 여기서는, 스케일 어긋남의 조정을 행할 때에, 유저가 손을 전후 방향으로 움직이는 예에 관해 설명하였지만, 다른 어떤 방법으로 보정량을 표시 장치(11)에 입력하도록 하여도 좋다. 예를 들면, 도 6에 도시하는 바와 같이, 유저가 손으로 핀치-인이나 핀치-아웃이라는 동작을 행함으로써 스케일 어긋남의 조정이 행하여져도 좋다. 또한, 도 6에서, 도 5에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

이 예에서는 도면 중, 좌측에 도시하는 바와 같이, 유저에게는 자신의 손(HD11)보다도 조정용 화상(VHD31)의 쪽이 크게 표시되고 보이기 때문에, 핀치-인 동작을 행함으로써 출력 화상상의 물체가 축소 표시되도록 스케일 어긋남을 조정한다. 그러면, 도면 중, 우측에 도시하는 바와 같이 조정용 화상(VHD31)이 유저의 실제의 손(HD11)과 같은 크기로 축소 표시된다.

이 경우에도, 유저가 일정 시간만큼 손(HD11)을 정지시키거나, 확정 지시를 음성이나 다른 인터페이스(표시 장치(11)에의 물리적인 터치 조작)로 주거나 함으로써, 스케일 어긋남의 조정 완료가 확정된다. 또한, 이 예에서는, 유저의 손의 특정부 위, 예를 들면 엄지손가락과 집게손가락의 이동량에 의거하여, 보정량이 산출된다. 또한, 출력 화상상의 물체를 확대 표시시킬 때에는, 핀치-아웃 동작이 행하여진다.

이상의 동작에 의해 표시 장치(11)에서, XY방향의 위치 어긋남이나 스케일 어긋남이라는, 출력 화상상의 표시의 어긋남의 조정이 행하여진다. 이에 의해, 표시 장치(11)로 인식하고 있는 물체의 위치 및 크기와, 유저가 보고 있는 확장 현실 공간상의 물체의 위치 및 크기와의 어긋남이 보정되고, 유저가 스트레스 없게 표시 장치(11)의 조작을 행할 수가 있도록 된다. 즉, 표시 장치(11)의 조작성을 향상시킬 수 있다.

계속되고, 도 7을 참조하여, 이상에서 설명한 조정 처리의 흐름에 관해 설명한다. 또한, 도 7에서, 도 3에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 7의 예에서는, 결정부(81), 화상 절출부(82), 절출부(83), 근거리 화상 분리부(84), 윤곽 추출부(85), 조정 동작 판정부(87), XY 산출부(88), 스케일 산출부(89), 보정부(90L), 보정부(90R), 표시 화상 생성부(91L), 및 표시 화상 생성부(91R)는, 예를 들면 CPU(53)가 ROM(54)에 기록하고 있는 프로그램을 실행함에 의해 실현된다. 또한, 예를 들면 기준 화상 유지부(86)는, RAM(55)에 의해 실현된다.

또한, 이하, 보정부(90L) 및 보정부(90R)를 특히 구별할 필요가 없는 경우, 단지 보정부(90)라고도 칭하고, 표시 화상 생성부(91L) 및 표시 화상 생성부(91R)를 특히 구별할 필요가 없는 경우, 단지 표시 화상 생성부(91)라고도 칭한다.

표시 장치(11)에서는, 우선 촬상부(22)에 의해 입력 화상(IP11)이 촬상됨과 함께, 촬상부(22)에서 얻어진 정보로부터 거리 정보가 산출된다. 그리고, 입력 화상(IP11)이 화상 절출부(82)에 공급되고, 거리 정보가 절출부(83)에 공급된다.

또한, 결정부(81)에 의해, 조정 처리시에 유저의 손의 검출 대상이 되는 영역의 크기 및 위치를 나타내는 조정 사이즈 및 위치와, 조정 처리시에 유저의 손의 검출 대상이 되는 깊이 방향의 범위를 나타내는 거리가 결정된다. 그리고, 결정부(81)는, 조정 사이즈 및 위치를 화상 절출부(82) 및 절출부(83)에 공급하고, 거리를 근거리 화상 분리부(84)에 공급한다.

여기서, 조정 사이즈 및 위치란, 입력 화상(IP11)상에서, 유저의 손이 검출되어야 할 영역을 포함하는 영역의 크기 및 위치이다. 예를 들면, 입력 화상(IP11)의 중앙 근방에서 유저의 손이 검출되는 것으로 된다. 또한, 유저의 손의 검출 대상이 되는 거리란, 실 공간상, 보다 상세하게는 3차원의 확장 현실 공간에서의 촬상부(22)로부터, 유저의 손이 검출되어야 할 가장 먼 위치까지의 거리이다.

화상 절출부(82)는, 결정부(81)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 입력 화상(IP11)상의 영역을 절출하여 절출 화상(CP11)으로 하고, 근거리 화상 분리부(84)에 공급한다. 조정 사이즈 및 위치에 의거하여 입력 화상(IP11)으로부터 절출되는 영역은, 표시 어긋남의 조정을 위해 동작을 하는 유저의 손이 포함되는 영역으로 된다. 따라서 입력 화상(IP11)상의 어느 정도 큰 영역이 절출되다.

또한, 절출부(83)는, 거리 정보에서의, 결정부(81)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 영역을 절출하여 거리 화상(DP11)으로 하고, 근거리 화상 분리부(84)에 공급한다. 여기서, 화상 절출부(82) 및 절출부(83)에 의해 절출되는 영역이 같은 영역이라고 한다. 그와 같은 경우, 거리 정보는, 입력 화상(IP11)상의 각 영역에 있는 피사체까지의 거리를 나타내는 정보이기 때문에, 거리 화상(DP11)은, 절출 화상(CP11)상의 각 영역에 있는 피사체까지의 거리를 나타내는 정보가 된다.

근거리 화상 분리부(84)는, 결정부(81)로부터 공급된 거리와, 절출부(83)로부터 공급된 거리 화상(DP11)에 의거하여, 절출 화상(CP11)상의 유저의 손의 영역을 추출하여 근거리 화상으로 하고, 윤곽 추출부(85)에 공급한다.

예를 들면, 거리 화상(DP11)에 의해 나타나는 거리가, 결정부(81)로부터 공급된 거리보다도 가까운 거리인 절출 화상(CP11)상의 영역이, 유저의 손의 영역으로서 추출된다. 보다 상세하게는, 실 공간상에서, 결정부(81)로부터 공급된 거리에 의해 정하여지는 위치보다도 촬상부(22)측에 있는 근거리 피사체의 영역이 절출 화상(CP11)으로부터 추출되게 된다.

윤곽 추출부(85)는, 근거리 화상 분리부(84)로부터 공급된 근거리 화상에 의거하여, 그 근거리 화상에서의 근거리 피사체의 윤곽을 추출하고, 그 윤곽의 화상을 조정용 화상(VHD41)으로 한다. 이에 의해, 유저의 손의 영역의 윤곽이 추출된다. 윤곽 추출부(85)는, 입력 화상(IP11)의 프레임마다, 이와 같이 하여 얻어진 조정용 화상(VHD41)을 조정 동작 판정부(87) 내지 보정부(90)에 공급한다.

또한, 윤곽 추출부(85)는, 조정 처리 시작시에 얻어진 조정용 화상(VHD41)을, XY방향의 위치 어긋남이나 스케일 어긋남의 보정량을 산출할 때의 기준이 되는 조정용 화상으로서 기준 화상 유지부(86)에 공급하고, 유지시킨다. 또한, 이하, 기준 화상 유지부(86)에 유지되는 조정용 화상(VHD41)을, 기준 화상이라고도 칭하기로 한다. 이 예에서는, 조정 처리 시작시에 얻어진 조정용 화상(VHD41)이, 기준 화상(BHD41)으로서 기준 화상 유지부(86)에 유지되어 있다.

조정 동작 판정부(87)는, 윤곽 추출부(85)로부터 공급된 조정용 화상(VHD41)상의 유저의 손의 영역의 변화에 의거하여, 유저가 스케일 조정을 위한 동작을 행하였는지의 여부를 판정하고, 그 판정 결과를 XY 산출부(88) 및 스케일 산출부(89)에 공급한다.

XY 산출부(88)는, 조정 동작 판정부(87)로부터 공급된 판정 결과에 응하여, 윤곽 추출부(85)로부터 공급된, 현(現) 프레임의 조정용 화상(VHD41)과, 기준 화상 유지부(86)에 유지되어 있는 기준 화상(BHD41)에 의거하여, XY방향의 위치 어긋남의 보정량을 산출하고, 보정부(90L) 또는 보정부(90R)에 공급한다.

스케일 산출부(89)는, 조정 동작 판정부(87)로부터 공급된 판정 결과에 응하여, 윤곽 추출부(85)로부터 공급된, 현 프레임의 조정용 화상(VHD41)과, 기준 화상 유지부(86)에 유지되어 있는 기준 화상(BHD41)에 의거하여, 스케일 어긋남의 보정량을 산출하고, 보정부(90L) 또는 보정부(90R)에 공급한다. 또한, 스케일 산출부(89)에서는, 현 프레임과 최근,의 프레임의 조정용 화상(VHD41)이 사용되어 보정량이 산출되어도 좋다.

보정부(90L)는, XY 산출부(88)로부터 공급된 XY방향의 위치 어긋남의 보정량, 및 스케일 산출부(89)로부터 공급된 스케일 어긋남의 보정량에 의거하여, 윤곽 추출부(85)로부터 공급된 조정용 화상(VHD41)상의 유저의 손의 영역의 위치 및 크기(스케일)를 보정하고, 그 결과 얻어진 조정용 화상(VHD41L)을 표시 화상 생성부(91L)에 공급한다.

보정부(90R)는, XY 산출부(88)로부터 공급된 XY방향의 위치 어긋남의 보정량, 및 스케일 산출부(89)로부터 공급된 스케일 어긋남의 보정량에 의거하여, 윤곽 추출부(85)로부터 공급된 조정용 화상(VHD41)상의 유저의 손의 영역의 위치 및 크기를 보정하고, 그 결과 얻어진 조정용 화상(VHD41R)을 표시 화상 생성부(91R)에 공급한다.

표시 화상 생성부(91L)는, 보정부(90L)로부터 공급된 조정용 화상(VHD41L)이 적절한 위치에 표시되는 출력 화상(OP11L)을 생성함과 함께, 얻어진 출력 화상(OP11L)을 화상 표시부(21L)에 공급하고, 표시시킨다.

표시 화상 생성부(91R)는, 보정부(90R)로부터 공급된 조정용 화상(VHD41R)이 적절한 위치에 표시되는 출력 화상(OP11R)을 생성함과 함께, 얻어진 출력 화상(OP11R)을 화상 표시부(21R)에 공급하고, 표시시킨다.

이상의 처리를 반복하여 감으로써, 표시 장치(11)는 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량을 산출한다.

<조정 처리의 설명>

다음에, 이상에서 설명한 조정 처리에 관해 보다 상세히 설명한다. 이하, 도 8의 플로 차트를 참조하여, 표시 장치(11)에 의한 조정 처리에 관해 설명한다.

또한, 이 조정 처리는, 예를 들면 유저가 표시 장치(11)의 소정의 조작부를 조작하거나, 화상 표시부(21)에 표시되어 있는 가상 화상의 조작부를 조작하거나, 유저가 손으로 소정의 동작을 행하거나 한 때에 시작된다.

스텝 S11에서, 표시 장치(11)는, 보정량 산출 처리를 행하여, 우안(右目)에 관한 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량, 즉 화상 표시부(21R)에 표시시키는 출력 화상에 관한 보정량을 산출한다.

여기서, 도 9의 플로 차트를 참조하여, 보정량 산출 처리에 관해 설명한다.

스텝 S41에서, 표시 장치(11)는 기준 화상을 얻기 위한 근거리 화상을 취득한다.

즉, 촬상부(22)는 입력 화상을 촬상함과 함께, 피사체까지의 거리 정보를 출력한다.

도 7의 화상 절출부(82)는, 촬상부(22)로부터 입력 화상을 취득하고, 결정부(81)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 입력 화상상의 영역을 절출하여, 얻어진 절출 화상을 근거리 화상 분리부(84)에 공급한다.

또한, 절출부(83)는, 결정부(81)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 거리 정보의 영역을 절출하여 거리 화상으로 하고, 근거리 화상 분리부(84)에 공급한다.

근거리 화상 분리부(84)는, 결정부(81)로부터 공급된 거리를 임계치로 하고, 화상 절출부(82)로부터 공급된 절출 화상과, 절출부(83)로부터 공급된 거리 화상에 의거하여, 절출 화상상의 유저의 손의 영역을 추출하여 근거리 화상으로 하고, 윤곽 추출부(85)에 공급한다.

스텝 S42에서, 윤곽 추출부(85)는, 근거리 화상 분리부(84)로부터 공급된 근거리 화상으로부터 유저의 손의 영역의 윤곽을 추출하고, 그 윤곽의 화상을 기준 화상으로서 기준 화상 유지부(86)에 공급하여 유지시킨다.

또한, 윤곽 추출부(85)는, 얻어진 기준 화상을 보정부(90)를 통하여 표시 화상 생성부(91)에 공급한다. 표시 화상 생성부(91)는, 윤곽 추출부(85)로부터 공급된 기준 화상에 의거하여 출력 화상을 생성하여 화상 표시부(21)에 공급하고, 출력 화상을 표시시킨다. 이와 같이 하여 화상 표시부(21)에 표시되는 출력 화상은, 초기 보정치로 보정되어 있을 뿐의 화상이다.

출력 화상이 표시되면, 유저는, 화상 표시부(21)를 보면서 실제의 자기 자신의 손이, 출력 화상상에 표시되어 있는 손의 윤곽(조정용 화상)에 겹쳐지도록, 상하 좌우 방향 또는 깊이 방향으로 손을 이동시킨다. 또한, 스텝 S11에 대응하는 보정량 산출 처리에서는, 우안에 관한 보정량이 산출되기 때문에, 유저는 화상 표시부(21R)를 보면서 자신의 손을 이동시킨다.

스텝 S43에서, 표시 장치(11)는 현 프레임의 근거리 화상을 취득한다. 즉, 스텝 S41의 처리와 같은 처리가 행하여져서, 현 프레임에서의 입력 화상상의 유저의 손의 영역의 화상이, 근거리 화상으로서 취득된다.

스텝 S44에서, 윤곽 추출부(85)는, 근거리 화상 분리부(84)로부터 공급된 근거리 화상으로부터 유저의 손의 영역의 윤곽을 추출하고, 그 윤곽의 화상을 조정용 화상으로서 조정 동작 판정부(87) 내지 보정부(90)에 공급한다.

스텝 S45에서, 조정 동작 판정부(87)는, 윤곽 추출부(85)로부터 공급된 최근, 수 프레임분의 조정용 화상에 의거하여, 유저에 의해 스케일 조정을 위한 동작이 행하여졌는지의 여부를 판정하고, 그 판정 결과를 XY 산출부(88) 및 스케일 산출부(89)에 공급한다.

예를 들면 도 5에 도시한 예에서는, 조정용 화상상의 유저의 손의 영역의 크기가 시간과 함께 변화한 경우, 스케일 조정의 동작이 행하여졌다고 판정된다. 또한, 예를 들면 도 6에 도시한 예에서는, 조정 동작 판정부(87)는, 조정용 화상상의 유저의 손의 손가락 등의 특정 부위의 영역의 변화에 의거하여, 핀치-인 동작과 핀치-아웃 동작을 검출하고, 그들의 동작 중의 어느 일방의 동작이 검출된 경우에, 스케일 조정의 동작이 행하여졌다고 판정한다.

스텝 S45에서, 스케일 조정의 동작이 행하여졌다고 판정된 경우, 처리는 스텝 S46으로 진행한다.

스텝 S46에서, 스케일 산출부(89)는, 윤곽 추출부(85)로부터 공급된 현 프레임의 조정용 화상과, 기준 화상 유지부(86)에 유지되어 있는 기준 화상에 의거하여, 스케일 어긋남의 보정량을 산출하고, 보정부(90)에 공급한다.

구체적으로는, 예를 들면 도 5에 도시한 예에서는, 스케일 산출부(89)는 기준 화상상의 유저의 손의 영역의 크기와, 현 프레임의 조정용 화상상의 유저의 손의 영역의 크기와의 비에 의거하여, 스케일 어긋남의 보정량을 산출한다. 즉, 기준 화상상의 유저의 손의 영역이, 조정용 화상상의 유저의 손의 영역과 같은 크기가 되도록 하기 위해, 기준 화상상의 유저의 손의 영역을 확대 또는 축소시킬 때의 확대 축소 배율이, 스케일 어긋남의 보정량이 된다. 또한, 현 프레임의 조정용 화상과, 기준 화상의 프레임보다도 후의 프레임으로서, 현 프레임보다도 수 프레임 전의 조정용 화상과의 사이에서, 유저의 손의 영역의 크기의 비를 구하고, 얻어진 비에 의거하여 스케일 어긋남의 보정량을 갱신하도록 하여도 좋다.

또한, 예를 들면 도 6에 도시한 예에서는, 현시점에서의 스케일 어긋남의 보정량에 대해, 또한 소정 프레임 사이에서의 조정용 화상상에서의 유저의 손의 손가락 등의 특정 부위의 이동량에 응한 보정량이 가산되어 얻어지는 값이, 새롭게 구하여진 스케일 어긋남의 보정량이 된다. 즉, 지금까지의 보정량이, 핀치-인 또는 핀치-아웃 동작에서의 손가락의 이동량에 의해 정하여지는 양만큼 변경된다.

이와 같이 스케일 산출부(89)에서는, 서로 다른 시각의 조정용 화상에 의거하여, 스케일 어긋남의 보정량이 산출된다. 또한, 스텝 S11에 대응하는 보정량 산출 처리에서는, 우안에 관한 보정량이 산출되기 때문에, 스텝 S46에서 얻어진 스케일 어긋남의 보정량은 보정부(90R)에 공급된다.

스텝 S47에서, 보정부(90)는, 스케일 산출부(89)로부터 공급된 스케일 어긋남의 보정량에 의거하여, 표시 스케일(표시 사이즈)을 보정한다.

예를 들면, 스텝 S11에 대응하는 보정량 산출 처리에서는, 보정부(90R)는, 스케일 산출부(89)로부터 공급된 스케일 어긋남의 보정량에 의거하여, 윤곽 추출부(85)로부터 공급된 조정용 화상을 확대 또는 축소시킴으로써, 조정용 화상의 표시 스케일을 보정하고, 표시 화상 생성부(91R)에 공급한다. 그리고, 그 후, 처리는 스텝 S50으로 진행한다.

또한, 스텝 S45에서, 스케일 조정을 위한 동작이 행하여지지 않았다고 판정된 경우, 유저에 의해 XY방향의 위치 어긋남의 보정을 하기 위한 동작이 행하여졌기 때문에, 처리는 스텝 S48로 진행한다.

스텝 S48에서, XY 산출부(88)는, 윤곽 추출부(85)로부터 공급된 현 프레임의 조정용 화상과, 기준 화상 유지부(86)에 유지되어 있는 기준 화상에 의거하여, XY방향의 위치 어긋남의 보정량을 산출하고, 보정부(90)에 공급한다.

예를 들면 도 4에 도시한 예에서는, XY 산출부(88)는, 기준 화상상의 유저의 손의 영역의 위치와, 현 프레임의 조정용 화상상의 유저의 손의 영역의 위치와의 XY방향의 거리에 의거하여, XY방향의 위치 어긋남의 보정량을 산출한다. 즉, 조정용 화상상의 유저의 손의 영역을, 기준 화상상의 유저의 손의 영역까지 이동시킬 때의 이동 방향 및 이동 거리가, XY방향의 위치 어긋남의 보정량이 된다. 또한, 현 프레임의 조정용 화상과, 기준 화상의 프레임보다도 후의 프레임이고, 현 프레임보다도 수 프레임 전의 조정용 화상과의 사이에서, 유저의 손의 영역의 이동 방향 및 이동량을 구하고, 얻어진 이동 방향 및 이동량에 의거하여 XY방향의 위치 어긋남의 보정량을 갱신하도록 하여도 좋다.

이와 같이 XY 산출부(88)에서는, 서로 다른 시각의 조정용 화상에 의거하여, XY방향의 위치 어긋남의 보정량이 산출된다. 또한, 스텝 S11에 대응하는 보정량 산출 처리에서는, 우안에 관한 보정량이 산출되기 때문에, 스텝 S48에서 얻어진 XY방향의 위치 어긋남의 보정량은 보정부(90R)에 공급된다.

스텝 S49에서, 보정부(90)는, XY 산출부(88)로부터 공급된 XY방향의 위치 어긋남의 보정량에 의거하여, XY방향의 표시 위치를 보정한다.

예를 들면, 스텝 S11에 대응하는 보정량 산출 처리에서는, 보정부(90R)는, XY 산출부(88)로부터 공급된 XY방향의 위치 어긋남의 보정량에 의거하여, 윤곽 추출부(85)로부터 공급된 조정용 화상을 XY방향으로 이동시킴으로써, 조정용 화상의 표시 위치를 보정하고, 표시 화상 생성부(91R)에 공급한다. 그리고, 그 후, 처리는 스텝 S50으로 진행한다.

스텝 S47에서 표시 스케일이 보정되었거나, 또는 스텝 S49에서 표시 위치가 보정되면, 스텝 S50에서, 표시 화상 생성부(91)는, 보정부(90)로부터 공급된 조정용 화상에 의거하여 출력 화상을 생성하고, 표시시킨다. 즉, 표시 화상 생성부(91)는, 생성된 출력 화상을, 버스(58), 화상 표시 처리부(56), 및 화상 출력부(57)를 통하여 화상 표시부(21)에 공급하고, 출력 화상을 표시시킨다.

이에 의해, 출력 화상으로서, 조금 전의 시각에서의 유저의 손을 반투명으로 표시한 화상, 보다 상세하게는 유저의 손의 윤곽의 화상이 표시되게 된다. 따라서 유저는, 표시 어긋남 보정 후의 손의 윤곽과, 실제의 자신의 손이 겹쳐져 있는지, 즉 표시 어긋남이 완전하게 보정되었는지를 알 수 있다. 예를 들면 유저는, 표시 어긋남이 보정되었다고 판단하면, 자신의 손을 잠시 정지(靜止)(정지(停止))시켜서, 조정 동작 완료를 확정시킨다.

스텝 S51에서, 조정 동작 판정부(87)는, 윤곽 추출부(85)로부터 공급된 최근, 수 프레임분의 조정용 화상에 의거하여, 처리를 종료하는지의 여부를 판정한다. 예를 들면, 유저의 손의 영역이 소정 시간 움직이지 않은 경우, 표시 어긋남이 보정되었다고 되고, 처리를 종료한다고 판정된다.

스텝 S51에서, 처리를 종료하지 않은, 즉 아직 표시 어긋남이 보정되지 않았다고 판정된 경우, 처리는 스텝 S43으로 되돌아와, 상술한 처리가 반복해서 행하여진다.

이에 대해, 스텝 S51에서 처리를 종료한다고 판정된 경우, 보정량 산출 처리는 종료하고, 그 후, 처리는 도 8의 스텝 S12로 진행한다.

도 8의 플로 차트의 설명으로 되돌아와, 스텝 S11의 처리가 행하여지면, 그 후, 스텝 S12의 처리가 행하여진다.

즉, 스텝 S12에서, CPU(53)는, 스텝 S11의 처리에서 산출된 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량을, 우안용의 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량으로 한다. 즉, 화상 표시부(21R)에 표시되고, 유저의 우안에 제시되는 화상의 표시 어긋남을 보정하기 위한 보정량이 된다.

스텝 S13에서, CPU(53)는, 우안의 보정량을 구하는 처리를 종료하는지의 여부를 판정한다.

예를 들면, 유저가 우안의 스케일 어긋남을 보정하기 위한 동작을 행한 후, 계속해서 스텝 S13의 판정 타이밍에서, 우안의 XY방향의 위치 어긋남을 보정하기 위한 동작을 행하는 경우, 우안의 보정량을 구하는 처리를 종료하지 않는다고 판정된다.

또한, 예를 들면 유저가 우안의 스케일 어긋남이나 XY방향의 어긋남을 보정하기 위한 동작을 행한 후, 계속해서 좌안의 표시 어긋남의 보정을 시작하기 위한 동작을 행하는 경우, 우안의 보정량을 구하는 처리를 종료한다고 판정된다.

스텝 S13에서, 우안의 보정량을 구하는 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝 S11로 되돌아와, 상술한 처리가 반복해서 행하여진다.

이에 대해, 스텝 S13에서, 우안의 보정량을 구하는 처리를 종료한다고 판정된 경우, 처리는 스텝 S14로 진행한다.

스텝 S14에서, 표시 장치(11)는, 보정량 산출 처리를 행하여, 좌안에 관한 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량, 즉 화상 표시부(21L)에 표시시키는 출력 화상에 관한 보정량을 산출한다.

또한, 스텝 S14어서 행하여지는 보정량 산출 처리는, 도 9를 참조하여 설명한 보정량 산출 처리와 마찬가지이기 때문에, 그 설명은 생략한다. 단, 스텝 S14어서 행하여지는 보정량 산출 처리에서는, 화상 표시부(21R)가 아니고, 화상 표시부(21L)에서 표시되는 출력 화상의 표시 어긋남의 보정량이 산출되고, 보정부(90L)에 의해 보정이 행하여진다.

스텝 S15에서, CPU(53)는, 스텝 S14의 처리에서 산출된 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량을, 좌안용의 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량으로 한다. 즉, 화상 표시부(21L)에 표시되고, 유저의 좌안에 제시되는 화상의 표시 어긋남을 보정하기 위한 보정량이 된다.

스텝 S16에서, CPU(53)는, 처리를 종료하는지의 여부를 판정한다.

예를 들면, 유저가 좌안의 스케일 어긋남을 보정하기 위한 동작을 행한 후, 계속해서 스텝 S16의 판정 타이밍에서, 종료 확인 메시지에 대해 부정적인 결정 동작이나 음성 응답을 행하는 경우, 처리를 종료하지 않는다고 판정된다.

또한, 예를 들면 유저가 좌안의 스케일 어긋남이나 XY방향의 어긋남을 보정하기 위한 동작을 행한 후, 일정 시간 특별히 동작을 행하지 않은 경우, 처리를 종료한다고 판정된다.

스텝 S16에서, 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝 S14로 되돌아와, 상술한 처리가 반복해서 행하여진다.

이에 대해, 스텝 S16에서, 처리를 종료한다고 판정된 경우, 처리는 스텝 S17로 진행한다.

스텝 S17에서, CPU(53)는, 이상의 처리에서 구하여진 좌우의 눈의 표시 어긋남의 보정량에 의거하여, 좌우의 안구(眼球) 보정량을 산출한다.

구체적으로는, CPU(53)는, 미리 정하여진 기준이 되는 좌우의 눈의 시차량에 대해 정하여지는 기준이 되는 표시 위치 및 사이즈에 대해, 각각 이상의 처리로 구한 좌우가 눈에 관해서 XY방향의 어긋남의 보정량 및 스케일 어긋남의 보정량의 분만큼 보정하고, 좌우의 각 눈에 관한 안구 보정량으로 한다. 즉, 기준이 되는 표시 위치에 XY방향의 어긋남의 보정량이 가산되고, 기준이 되는 사이즈가 스케일 어긋남의 보정량의 분만큼 확대 또는 축소된다.

안구 보정량은, 촬상부(22)의 부착 위치 및 초점 거리와, 실제의 유저의 시점 위치 및 초점 거리와의 어긋남을 보정하기 위해 사용된다.

안구 보정량이 산출되면, 그 후, 조정 처리는 종료한다.

이상과 같이 하여, 표시 장치(11)는, 입력 화상으로부터 유저의 손의 영역을 추출하여 조정용 화상을 생성하고, 각 시각의 조정용 화상으로부터 유저의 동작에 응하여 표시 어긋남의 보정량을 산출한다. 이에 의해, 표시 장치(11)에서 인식하고 있는 물체의 위치 및 크기와, 유저가 보고 있는 확장 현실 공간상의 물체의 위치 및 크기와의 어긋남을 올바르게 보정하고, 표시 장치(11)의 조작성을 향상시킬 수 있다.

또한, 여기서는, 우안에 관한 보정량의 산출과, 좌안에 관한 보정량의 산출을 순번대로 행하는 예에 관해 설명하였지만, 이들의 처리를 동시에 병행하여 행하도록 하여도 좋고, 독립하여 개별적으로 행하도록 하여도 좋다.

<터치 인식 처리의 개요>

이상과 같이 하여 표시 어긋남의 보정량이 산출되면, 표시 장치(11)에서는, 표시 어긋남이 올바르게 보정된 가상 화상을 표시시켜서, 유저의 조작에 응한 처리를 실행할 수 있도록 된다. 이하, 도 10을 참조하여, 유저가 가상 화상에 대한 조작을 행하는 경우에, 표시 장치(11)에 의해 행하여지는 처리의 흐름에 관해 설명한다.

또한, 도 10에서 도 7에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 10의 예에서는, 결정부(81), 화상 절출부(82), 절출부(83), 근거리 화상 분리부(84), 터치 좌표 계산부(111), 터치 보정부(112), 터치 처리부(113), 마스크 생성부(114), 마스크 보정부(115L), 마스크 처리부(116L), 표시 위치 보정부(117L), 마스크 보정부(115R), 마스크 처리부(116R), 및 표시 위치 보정부(117R)는, 예를 들면 CPU(53)가 ROM(54)에 기록되어 있는 프로그램을 실행함에 의해 실현된다.

또한, 이하, 마스크 보정부(115L) 및 마스크 보정부(115R)를 특히 구별할 필요가 없는 경우, 단지 마스크 보정부(115)라고도 칭하기로 한다. 또한, 이하, 표시 위치 보정부(117L) 및 표시 위치 보정부(117R)를 특히 구별할 필요가 없는 경우, 단지 표시 위치 보정부(117)라고도 칭하기로 한다.

도 10의 예에서는, 결정부(81)는, 화상 표시부(21L)에 표시함으로써 유저의 좌안에 대해 제시되는 가상 화상(V21L)과, 화상 표시부(21R)에 표시함으로써 유저의 우안에 대해 제시되는 가상 화상(V21R)을 결정한다. 또한, 이하, 가상 화상(V21L)과 가상 화상(V21R)을 특히 구별할 필요가 없는 경우, 단지 가상 화상(V21)이라고도 칭하기로 한다.

결정부(81)는, 가상 화상(V21)의 표시 위치와 사이즈, 및 거리를 결정한다.

여기서, 가상 화상(V21)의 표시 위치와 사이즈는, 출력 화상상에서의 위치와 사이즈이다. 또한, 표시되는 가상 화상(V21)의 거리란, 실 공간상, 보다 상세하게는 3차원의 확장 현실 공간에서의 촬상부(22)로부터 가상 화상(V21)까지의 거리이다.

결정부(81)는, 결정한 가상 화상(V21)의 표시 위치 및 사이즈를, 화상 절출부(82) 및 절출부(83)에 공급함과 함께, 결정한 가상 화상(V21)의 거리를 근거리 화상 분리부(84)에 공급한다.

또한, 결정부(81)는, 결정한 가상 화상(V21L)을 마스크 처리부(116L)에 공급함과 함께, 결정한 가상 화상(V21R)을 마스크 처리부(116R)에 공급한다.

화상 절출부(82)는, 결정부(81)로부터 공급된 가상 화상(V21)의 표시 위치 및 사이즈에 의해 정하여지는 입력 화상(IP21)상의 영역을 절출하여 절출 화상(CP21)으로 하고, 근거리 화상 분리부(84)에 공급한다.

화상 절출부(82)에서는, 가상 화상(V21) 근방의 영역이 절출되어 절출 화상(CP21)으로 되기 때문에, 유저가 가상 화상(V21)에 대한 조작을 행하고 있는 경우 등에는, 절출 화상(CP21)은, 유저의 손이 포함된 화상이 된다.

또한, 절출부(83)는, 거리 정보에서의, 결정부(81)로부터 공급된 가상 화상(V21)의 표시 위치 및 사이즈에 의해 정하여지는 영역을 절출하여 거리 화상(DP21)으로 하고, 근거리 화상 분리부(84)에 공급한다. 여기서는, 거리 화상(DP21)이, 절출 화상(CP21)의 각 영역에서의 피사체까지의 거리를 나타내는 정보가 되도록, 거리 화상(DP21)의 절출이 행하여진다.

근거리 화상 분리부(84)는, 결정부(81)로부터 공급된 거리와 절출부(83)로부터 공급된 거리 화상(DP21)에 의거하여, 절출 화상(CP21)상의 가상 화상(V21)보다도 촬상부(22)측에 있는 피사체의 영역을 추출하여 근거리 화상으로 한다. 이에 의해, 가상 화상(V21)을 조작하는 유저의 손의 영역이 근거리 화상으로서 추출된다.

또한, 근거리 화상 분리부(84)는, 근거리 화상을 마스크 생성부(114)에 공급함과 함께, 거리 화상(DP21)을 터치 좌표 계산부(111)에 공급한다.

터치 좌표 계산부(111)는, 근거리 화상 분리부(84)로부터 공급된 거리 화상(DP21)에 의거하여, 가상 화상(V21)에 대한 유저의 터치 위치의 좌표를 계산하고, 터치 보정부(112)에 공급한다.

터치 보정부(112)는, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진, 좌우의 각 눈에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 터치 좌표 계산부(111)로부터 공급된 터치 좌표의 위치와 사이즈를 보정하고, 터치 처리부(113)에 공급한다.

터치 처리부(113)는, 터치 보정부(112)로부터 공급된 터치 위치의 좌표에 응한 처리를, 표시 장치(11)의 각 부분에 실행시킨다.

마스크 생성부(114)는, 근거리 화상 분리부(84)로부터 공급된 근거리 화상을 마스크화하여 마스크 화상(MK11)으로 하고, 마스크 보정부(115L) 및 마스크 보정부(115R)에 공급한다. 여기서, 마스크 화상(MK11)은, 근거리 화상에서의 유저의 손의 영역, 즉 가상 화상(V21)보다도 촬상부(22)측에 있는 근거리 피사체의 영역을 나타내는 화상이다.

이하에서는, 마스크 화상(MK11)에서의 유저의 손의 영역, 보다 상세하게는 마스크되지 않은 영역인, 가상 화상(V21)보다도 촬상부(22)측에 있는 피사체의 영역을 비(非)마스크 영역이라고 칭하기로 한다.

마스크 보정부(115L)는, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진, 좌안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 마스크 생성부(114)로부터 공급된 마스크 화상(MK11)상의 비마스크 영역의 위치와 사이즈를 보정한다. 즉, 비마스크 영역이 위치 어긋남의 보정량만큼 이동됨과 함께, 스케일 어긋남의 보정량만큼 비마스크 영역이 확대 또는 축소된다.

마스크 보정부(115L)는, 마스크 화상(MK11)의 보정에 의해 얻어진 마스크 화상(MK21L)을 마스크 처리부(116L)에 공급한다.

마스크 처리부(116L)는, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진, 좌안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 결정부(81)로부터 공급된 가상 화상(V21L)의 위치 및 사이즈를 보정한다.

또한, 마스크 처리부(116L)는, 위치 및 사이즈가 보정된 가상 화상(V21L)으로부터, 마스크 보정부(115L)로부터 공급된 마스크 화상(MK21L)의 비마스크 영역의 부분을 제거하고, 그 결과 얻어진 가상 화상(V31L)을 표시 위치 보정부(117L)에 공급한다.

이와 같이 하여 얻어진 가상 화상(V31L)은, 가상 화상(V21L)으로부터 유저의 손의 영역이 제거된 화상이 된다. 환언하면, 가상 화상(V31L)은 가상 화상(V21L)에서의 유저의 손의 부분의 영역을 투과 처리하여 얻어지는 화상이다.

표시 위치 보정부(117L)는, 마스크 처리부(116L)로부터 공급된 가상 화상(V31L)과, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진 좌안의 안구 보정량에 의거하여, 출력 화상(OP21L)을 생성한다. 출력 화상(OP21L)은, 화상상의 좌안의 안구 보정량으로서의 표시 위치에, 좌안의 안구 보정량으로서의 사이즈로 가상 화상(V31L)이 표시된 화상이 된다.

표시 위치 보정부(117L)는, 이와 같이 하여 얻어진 출력 화상(OP21L)을 화상 표시부(21L)에 공급하고, 표시시킨다.

마스크 보정부(115R)는, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진, 우안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 마스크 생성부(114)로부터 공급된 마스크 화상(MK11)상의 비마스크 영역의 위치와 사이즈를 보정한다.

마스크 보정부(115R)는, 마스크 화상(MK11)의 보정에 의해 얻어진 마스크 화상(MK21R)을 마스크 처리부(116R)에 공급한다.

마스크 처리부(116R)는, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진, 우안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 결정부(81)로부터 공급된 가상 화상(V21R)의 위치 및 사이즈를 보정한다.

또한, 마스크 처리부(116R)는, 위치 및 사이즈가 보정된 가상 화상(V21R)으로부터, 마스크 보정부(115R)로부터 공급된 마스크 화상(MK21R)의 비마스크 영역의 부분을 제거하고, 그 결과 얻어진 가상 화상(V31R)을 표시 위치 보정부(117R)에 공급한다.

표시 위치 보정부(117R)는, 마스크 처리부(116R)로부터 공급된 가상 화상(V31R)과, 도 8을 참조하여 설명한 조정 처리에 의해 얻어진 우안의 안구 보정량에 의거하여, 출력 화상(OP21R)을 생성한다. 표시 위치 보정부(117R)는, 이와 같이 하여 얻어진 출력 화상(OP21R)을 화상 표시부(21R)에 공급하고, 표시시킨다.

<터치 인식 처리의 설명>

다음에, 도 11의 플로 차트를 참조하여, 표시 장치(11)이 출력 화상을 표시함과 함께, 유저에 의한 가상 화상에의 조작을 인식하고, 그 조작에 응한 처리를 실행하는 처리인 터치 인식 처리에 관해 설명한다.

스텝 S81에서, 결정부(81)는, 가상 화상과, 가상 화상의 사이즈, 표시 위치, 및 거리를 결정한다.

결정부(81)는, 결정한 가상 화상의 표시 위치 및 사이즈를, 화상 절출부(82) 및 절출부(83)에 공급하고, 결정한 가상 화상의 거리를 근거리 화상 분리부(84)에 공급한다. 또한, 결정부(81)는, 결정한 좌안용의 가상 화상을 마스크 처리부(116L)에 공급함과 함께, 결정한 우안용의 가상 화상을 마스크 처리부(116R)에 공급한다.

스텝 S82에서, 화상 절출부(82)는, 카메라 입력부(51) 및 카메라 처리부(52)를 통하여 촬상부(22)로부터 공급된 입력 화상에 대해, 결정부(81)로부터 공급된 가상 화상의 표시 위치 및 사이즈에 의해 정하여지는 영역의 절출을 행한다. 화상 절출부(82)는, 입력 화상으로부터 절출한 영역의 화상을 절출 화상으로 하고, 근거리 화상 분리부(84)에 공급한다.

스텝 S83에서, 표시 장치(11)는, 절출된 화상 영역에 대응하는 거리 정보를 취득한다.

즉, CPU(53)는, 촬상부(22)에서 얻어진 화상과 거리 정보로부터, 결정부(81)로부터 공급된 가상 화상 표시 위치, 및 사이즈에 의해 정하여지는 영역에 의거하여, 화상 절출부(82) 및 절출부(83)에서 절출 화상과 거리 정보를, 근거리 화상 분리부(84)에 공급한다.

스텝 S83의 처리가 행하여지면, 그 후, 스텝 S84 내지 스텝 S86의 처리와, 스텝 S87 및 스텝 S88의 처리가 병행하여 행하여진다.

스텝 S84에서, 근거리 화상 분리부(84)는, 결정부(81)로부터 공급된 거리에 의거하여, 화상 절출부(82)로부터 공급된 절출 화상으로부터 근거리의 피사체를 추출함으로써 근거리 화상을 생성하고, 마스크 생성부(114)에 공급한다. 또한, 근거리 화상 분리부(84)는, 거리 화상을 터치 좌표 계산부(111)에 공급한다.

예를 들면, 근거리 화상 분리부(84)는, 거리 화상에서, 피사체의 거리를 나타내는 화소치가, 결정부(81)로부터 공급된 거리를 나타내는 값보다 큰 화소를 검출하고, 검출된 화소와 같은 위치 관계에 있는 절출 화상의 화소의 화소치를 0으로 함에 의해, 근거리 화상을 생성한다. 이와 같이 하여 얻어진 근거리 화상은, 가상 화상보다도 촬상부(22)측에 있는 피사체, 즉 근거리의 피사체의 영역만으로 이루어지는 화상이 된다.

스텝 S85에서, 마스크 생성부(114)는, 근거리 화상 분리부(84)로부터 공급된 근거리 화상에 대한 마스크화 처리를 행하고, 그 결과 얻어진 마스크 화상을, 마스크 보정부(115L) 및 마스크 보정부(115R)에 공급한다.

예를 들면, 마스크 생성부(114)는, 근거리 화상에서 화소치가 0인 화소의 새로운 화소치를 1로 하고, 근거리 화상에서 화소치가 0이 아닌 화소의 새로운 화소치를 0으로 함으로써, 근거리의 피사체, 즉 유저의 손의 영역을 비마스크 영역으로 하는 마스크 화상을 생성한다. 마스크 화상에서는, 화소치가 0인 영역이 비마스크 영역이 된다.

스텝 S86에서, 마스크 보정부(115)는, 조정 처리에서 얻어진 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 마스크 생성부(114)로부터 공급된 마스크 화상을 보정하고, 마스크 처리부(116)에 공급한다.

예를 들면, 마스크 보정부(115L)는 좌안의 XY방향의 위치 어긋남의 보정량만큼, 마스크 화상에서의 비마스크 영역의 위치를 이동시킴과 함께, 좌안의 스케일 어긋남의 보정량의 분만큼, 마스크 화상상의 비마스크 영역을 확대 또는 축소시킨다.

마스크 보정부(115R)도 마스크 보정부(115L)와 마찬가지로, 우안의 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 마스크 화상을 보정한다.

또한, 스텝 S87에서, 터치 좌표 계산부(111)는, 근거리 화상 분리부(84)로부터 공급된 거리 화상에 의거하여, 가상 화상에 대한 유저의 터치 좌표를 산출하고, 터치 보정부(112)에 공급한다.

예를 들면 터치 좌표 계산부(111)는, 거리 화상의 각 영역 중, 거리 화상에 의해 나타나는 피사체까지의 거리가, 결정부(81)에서 결정된 가상 화상까지의 거리와 일치하는 영역을 추출한다. 그리고, 터치 좌표 계산부(111)는, 추출된 각 영역으로 이루어지는 하나의 영역의 선단 부분의 영역을 터치 위치의 영역으로 하고, 그 터치 위치의 영역 내의 각 위치의 좌표의 중앙치를 터치 좌표로 한다. 환언하면, 이 처리에서는 절출 화상의 각 영역 중, 3차원의 확장 현실 공간에서의 가상 화상의 위치에 있는 피사체의 영역이 추출되고, 추출된 영역의 위치가 유저의 터치 위치가 된다.

또한, 보다 상세하게는, 터치 좌표를 포함하는 소정의 영역을 나타내는 정보도, 터치 위치의 정보로서 터치 보정부(112)에 공급된다. 또한, 터치 좌표 계산부(111)에 의해 산출(검출)된 터치 좌표의 수는, 유저의 터치 조작에 의해, 하나인 것도 있고, 복수 있는 것도 있다.

스텝 S88에서, 터치 보정부(112)는, 좌우의 눈마다, 그 눈에 관한 조정 처리에서 얻어진 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 터치 좌표 계산부(111)로부터 공급된 터치 좌표를 보정한다.

즉, 터치 보정부(112)는, 좌안에 관한 XY방향의 위치 어긋남의 보정량만큼 터치 좌표를 이동시킴과 함께, 좌안에 관한 터치 위치의 영역(터치 좌표)의 사이즈를 확대 또는 축소시킴에 의해, 좌안에 관한 터치 위치의 영역 및 터치 좌표를 얻는다. 또한, 터치 보정부(112)는 좌안과 같은 처리를 행하여, 우안에 관한 터치 위치의 영역 및 터치 좌표도 얻는다.

터치 보정부(112)는, 이와 같이 하여 얻어진 좌우의 눈의 터치 좌표나 터치 위치의 영역을 터치 처리부(113)에 공급한다.

스텝 S86 및 스텝 S88의 처리가 행하여지면, 스텝 S89에서, 터치 처리부(113)는, 터치 보정부(112)로부터 공급된 터치 좌표 등에 의거하여, 유저의 터치 조작에 응한 처리를 표시 장치(11)의 각 부분에 실행시킨다.

즉, 터치 처리부(113)는, 터치 좌표 등에 의거하여, 가상 화상상의 버튼 등의 조작 대상의 영역이 유저에 의해 터치되었는지의 여부를 판정한다. 예를 들면 터치 처리부(113)는, 좌우의 각 눈의 터치 좌표의 중앙치를, 유저에 의해 터치 조작된 위치로 하거나, 좌우의 각 눈의 터치 위치의 영역이 겹쳐지는 부분을 유저에 의해 터치 조작된 영역으로 하거나 하여, 어느 하나의 조작 대상에 대한 조작이 행하여졌는지를 판정한다.

또한, 좌우의 눈의 터치 좌표에 무게를 붙여서 합성하고, 최종적인 터치 위치를 구하거나, 좌우의 어느 하나의 눈의 터치 좌표만을 이용하여, 최종적인 터치 위치를 구하거나, 좌우의 눈마다 터치 조작의 판정 처리를 행하고, 그들의 판정 결과로부터 최종적인 판정 결과를 구하거나 하여도 좋다.

터치 처리부(113)는, 이와 같이 하여 행하는 터치 조작이 행하여졌는지의 판정 처리의 결과에 응하여, 표시 장치(11)의 각 부분에 터치 조작에 응한 처리를 실행시킨다.

예를 들면 터치 조작에 응한 처리는, 화상의 표시나 음성의 재생 등이 된다. 구체적으로는 터치 처리부(113)는, 가상 화상상의 유저에 의해 터치된 영역을 빛나게 하는 등, 표시색을 변경시키거나, 터치 조작으로 지정된 음성을 재생시키거나 한다. 또한, 출력 화상을 플래시 표시시키거나, 가상 화상의 색을 변경시키거나 하여도 좋다.

스텝 S90에서, 마스크 처리부(116)는, 마스크 보정부(115)로부터 공급된 마스크 화상을 이용하여, 결정부(81)로부터 공급된 가상 화상에 대한 마스크 처리를 행하여, 마스크 처리된 가상 화상을 표시 위치 보정부(117)에 공급한다.

구체적으로는, 예를 들면 마스크 처리부(116L)는, 조정 처리에서 얻어진 좌안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여 좌안의 가상 화상의 위치 및 사이즈를 보정한다. 그리고, 마스크 처리부(116L)는, 보정된 가상 화상의 각 화소의 화소치에 대해, 그들의 화소와 같은 위치 관계에 있는 마스크 화상의 화소의 화소치를 승산하고, 그 결과 얻어진 화상을, 마스크 처리된 가상 화상으로 한다.

이에 의해, 원래의 가상 화상으로부터 마스크 화상에 의해 나타나는 비마스크 영역, 즉 유저의 손의 영역의 부분이 제거된 화상이, 마스크 처리된 가상 화상으로서 얻어진다.

마스크 처리부(116R)도 마스크 처리부(116L)과 같은 처리를 행하여, 마스크 처리된 우안의 가상 화상을 생성한다.

스텝 S91에서, 표시 위치 보정부(117)는, 마스크 처리부(116)로부터 공급된 가상 화상과, 조정 처리에서 얻어진 안구 보정량에 의거하여 출력 화상을 생성한다.

예를 들면 표시 위치 보정부(117L)는, 좌안의 안구 보정량에 의해 정하여지는 표시 위치에, 좌안의 안구 보정량에 의해 정하여지는 사이즈로 가상 화상이 표시되는 출력 화상을 생성하고, 화상 표시부(21L)에 공급한다. 또한, 표시 위치 보정부(117R)도 표시 위치 보정부(117L)와 같은 처리를 행하여 출력 화상을 생성하고, 화상 표시부(21R)에 공급한다.

화상 표시부(21L) 및 화상 표시부(21R)는, 표시 위치 보정부(117L) 및 표시 위치 보정부(117R)로부터 공급된 출력 화상을 표시한다.

이에 의해, 화상 표시부(21)에는, 가상 화상이 표시되게 된다. 또한, 이 가상 화상에서는, 유저의 실제의 손과 겹쳐지는 부분에는 아무것도 표시되지 않는다. 즉, 유저가 보아, 유저의 손과 가상 화상이 겹쳐져 보이는 것이 없기 때문에, 유저에 대해 보다 보기 쉽게 가상 화상을 제시할 수 있다.

스텝 S92에서, CPU(53)는, 처리를 종료하는지의 여부를 판정한다. 예를 들면, 유저에 의해 가상 화상에 대한 조작의 종료가 지시된 경우, 처리를 종료한다고 판정된다.

스텝 S92에서, 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝 S81로 되돌아와, 상술한 처리가 반복해서 행하여진다.

이에 대해, 스텝 S92에서 처리를 종료한다고 판정된 경우, 터치 처리는 종료한다.

이상과 같이 하여, 표시 장치(11)는, 조정 처리의 결과로서 얻어진 보정량에 의거하여, 가상 화상 등의 표시 위치나 사이즈를 보정함과 함께, 유저에 의한 터치 조작을 검출하고, 터치 조작에 응한 처리를 실행한다.

이와 같이 임의의 위치에 가상 화상을 표시시키고, 그 가상 화상에의 터치 조작을, 절출 화상의 각 영역의 피사체까지의 거리에 의거하여 인식함으로써, 표시 장치(11)의 조작성을 향상시킬 수 있다.

즉, 표시 장치(11)에 의하면, 가상 화상의 배치 위치가 한정되지 않기 때문에, 보다 자유도가 높은 유저 인터페이스를 실현할 수 있다. 또한, 가상 화상까지의 거리와 같은 거리의 피사체 영역을 추출하여 터치 조작을 인식함으로써, 손이나 다리로 한하지 않고 임의의 것으로 가상 화상에 대한 조작을 행할 수가 있어서, 조작성을 향상시킬 수 있다.

게다가, 표시 장치(11)에서는, 가상 화상의 표시 위치나 사이즈, 터치 좌표 등을 미리 구하여 둔 보정량으로 보정하기 때문에, 표시 장치(11)에서 인식하고 있는 물체의 위치 및 크기와, 유저가 보고 있는 확장 현실 공간상의 물체의 위치 및 크기와의 어긋남이 올바르게 보정된다. 이에 의해, 표시 장치(11)의 조작성을 향상시킬 수 있다.

특히, 표시 장치(11)에서는, 좌우의 눈에 관해, 즉 2안용으로 처리를 행하기 때문에, 유저는 확장 현실의 공간에 표시되는 가상 화상까지의 거리감을 잡기 쉽고, 가상 화상에 대한 조작에 스트레스를 느끼지 않고 끝난다.

<제1의 실시의 형태의 변형례 1>

<표시 장치의 구성례>

또한, 이상에서는, 표시 장치(11)이 도 3에 도시하는 구성이 되는 예에 관해 설명하였지만, 표시 장치(11)는, 그 밖에, 예를 들면 도 12에 도시하는 구성이 되도록 하여도 좋다. 또한, 도 12에서, 도 3 또는 도 10에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 12에 도시하는 표시 장치(11)는, 촬상부(22), 화상 처리부(141), 및 화상 표시 처리부(142)로 구성된다.

이 예에서는, 화상 처리부(141)와 화상 표시 처리부(142)가 상호 접속되고, 표시 장치(11)가 처리 장치와 프로그램에 의해 실현되어 있다.

화상 처리부(141)는, CPU(151), ROM(152), RAM(153), 통신 IF(Interface)(154), 카메라 입력부(51), 카메라 처리부(52), 화상 절출부(82), 거리 계산부(155), 근거리 화상 분리부(84), 마스크 생성부(114), 터치 좌표 계산부(111), 및 화상 출력부(156)를 갖고 있다.

CPU(151)는, 화상 처리부(141) 전체의 처리를 제어한다.

예를 들면 CPU(151)는, ROM(152)에 기록되어 있는 프로그램을 실행함으로써 결정부(81)를 실현하거나, 통신 IF(154)를 통하여 각종의 제어 정보 등을 화상 표시 처리부(142)와 수수하거나 한다. 또한, CPU(151)는, 조정 처리시에는, 예를 들면 윤곽 추출부(85), 및 조정 동작 판정부(87) 내지 스케일 산출부(89)를 실현한다.

ROM(152)은, 가상 화상 등의 각종의 화상이나 데이터, 프로그램 등을 기록한다. RAM(153)은, 화상이나 각종의 데이터, 프로그램 등을 일시적으로 기록한다. 또한, RAM(153)은, 조정 처리의 실행시에 기준 화상 유지부(86)로서 기능한다.

통신 IF(154)는, CPU(151)의 제어에 따라, 화상 표시 처리부(142)와의 통신을 행하고, 각종의 제어 정보 등을 송수신한다.

화상 절출부(82)는, 카메라 입력부(51) 및 카메라 처리부(52)를 통하여 촬상부(22)로부터 공급된 입력 화상으로부터 절출 화상을 생성하고, 근거리 화상 분리부(84)에 공급한다. 거리 계산부(155)는, 절출부(83)에 상당하고, 촬상부(22)로부터 공급된, 피사체까지의 거리를 얻기 위한 정보에 의거하여 거리 정보를 산출함과 함께, 거리 정보로부터 거리 화상을 생성하여 근거리 화상 분리부(84)에 공급한다.

근거리 화상 분리부(84)는, 화상 절출부(82)로부터의 절출 화상과, 거리 계산부(155)로부터의 거리 화상에 의거하여 근거리 화상을 생성하고, 마스크 생성부(114)에 공급함과 함께, 거리 화상을 터치 좌표 계산부(111)에 공급한다.

마스크 생성부(114)는, 근거리 화상 분리부(84)로부터의 근거리 화상으로부터 마스크 화상을 생성하고, 화상 출력부(156)를 통하여 화상 표시 처리부(142)에 공급한다. 터치 좌표 계산부(111)는, 근거리 화상 분리부(84)로부터의 거리 화상으로부터 터치 좌표를 산출하고, 통신 IF(154)를 통하여 화상 표시 처리부(142)에 공급한다. 또한, 터치 좌표는, 마스크 화상과 대응되고, 화상 출력부(156)에 의해 화상 표시 처리부(142)에 공급되어도 좋다.

화상 출력부(156)는, 화상 표시 처리부(142)와 통신을 행하여, 마스크 생성부(114)로부터의 마스크 화상을 화상 표시 처리부(142)에 공급한다. 또한, 조정 처리의 실행시에는, 화상 출력부(156)는, 윤곽 추출부(85)에서 얻어진 조정용 화상을 화상 표시 처리부(142)에 송신한다.

또한, 화상 표시 처리부(142)는, 통신 IF(161), 화상 입력부(162), CPU(163), ROM(164), RAM(165), 화상 표시 처리부(56), 화상 출력부(57), 버스(166), 화상 표시부(21L), 및 화상 표시부(21R)를 갖고 있다.

화상 표시 처리부(142)에서는, 통신 IF(161), 화상 입력부(162), CPU(163), ROM(164), RAM(165), 화상 표시 처리부(56), 및 화상 출력부(57)가 버스(166)에 의해 상호 접속되어 있다.

통신 IF(161)는, 통신 IF(154)와 통신을 행하고 각종의 제어 정보 등을 송수신한다. 화상 입력부(162)는, 화상 출력부(156)로부터 마스크 화상 등의 각종의 화상을 수신하여 CPU(163)에 공급한다.

CPU(163)는, 화상 표시 처리부(142) 전체의 처리를 제어한다.

예를 들면 CPU(163)는, ROM(164)에 기록되어 있는 프로그램을 실행함으로써 터치 보정부(112), 터치 처리부(113), 마스크 보정부(115), 마스크 처리부(116), 및 표시 위치 보정부(117)를 실현한다. 또한, 예를 들면 CPU(163)는, 조정 처리의 실행시에는, 프로그램을 실행함으로써 보정부(90) 및 표시 화상 생성부(91)를 실현한다.

ROM(164)은, 각종의 화상이나 데이터, 프로그램 등을 기록한다. RAM(165)은, 화상이나 각종의 데이터, 프로그램 등을 일시적으로 기록한다.

<제1의 실시의 형태의 변형례 2>

<표시 장치의 구성례>

또한, 표시 장치(11)는, 예를 들면 도 13에 도시하는 구성이 되도록 하여도 좋다. 또한, 도 13에서, 도 12 또는 도 10에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 13에 도시하는 표시 장치(11)는, 촬상부(22), CPU(191), ROM(192), RAM(193), 카메라 입력부(51), 카메라 처리부(52), 화상 절출부(82), 거리 계산부(155), 근거리 화상 분리부(84), 마스크 생성부(114), 터치 좌표 계산부(111), 마스크 보정부(194), 터치 보정부(112), 터치 처리부(113), 가상 화상 마스크 처리부(195), 가상 화상 표시 위치 보정부(196), 화상 표시 처리부(56), 화상 출력부(57), 화상 표시부(21L), 및 화상 표시부(21R)를 갖고 있다.

CPU(191)는, 표시 장치(11) 전체의 처리를 제어한다. 예를 들면 CPU(191)는, 조정 처리의 실행시에 윤곽 추출부(85), 및 조정 동작 판정부(87) 내지 표시 화상 생성부(91)를 실현한다.

ROM(192)은, 가상 화상 등의 각종의 화상이나 데이터, 프로그램 등을 기록한다. RAM(193)은, 화상이나 각종의 데이터, 프로그램 등을 일시적으로 기록한다. 또한, RAM(193)은, 예를 들면 조정 처리의 실행시에 기준 화상 유지부(86)로서 기능한다.

마스크 보정부(194)는, 도 10에 도시한 마스크 보정부(115L) 및 마스크 보정부(115R)로서 기능하고, 마스크 생성부(114)로부터 공급된 마스크 화상을 보정하여 가상 화상 마스크 처리부(195)에 공급한다.

터치 보정부(112)는, 터치 좌표 계산부(111)로부터 공급된 터치 좌표를 보정하여, 터치 처리부(113)에 공급하고, 터치 처리부(113)는, 터치 보정부(112)로부터 공급된 터치 좌표에 의거하여, 터치 처리를 행한다.

가상 화상 마스크 처리부(195)는, 도 10에 도시한 마스크 처리부(116L) 및 마스크 처리부(116R)로서 기능하고, 마스크 보정부(194)로부터 공급된 마스크 화상에 의거하여, 가상 화상에 대한 마스크 처리를 행하여, 가상 화상 표시 위치 보정부(196)에 공급한다.

가상 화상 표시 위치 보정부(196)는, 도 10의 표시 위치 보정부(117L) 및 표시 위치 보정부(117R)로서 기능하고, 가상 화상 마스크 처리부(195)로부터 공급된 가상 화상에 의거하여 좌우의 눈의 출력 화상을 생성하고, 화상 표시 처리부(56)에 공급한다.

또한, 조정 처리시에는, 도 7에 도시한 보정부(90)이 마스크 보정부(194)에 의해 실현되고, 도 7에 도시한 표시 화상 생성부(91)이 가상 화상 표시 위치 보정부(196)에 의해 실현되도록 하여도 좋다.

<제2의 실시의 형태>

<표시 장치의 외관 구성례>

또한, 이상에서는, 표시 장치(11)에 하나의 촬상부(22)가 마련되는 예에 관해 설명하였지만, 표시 장치에 좌우 각각의 촬상부를 마련하도록 하여도 좋다.

그와 같은 경우, 표시 장치의 외관은 예를 들면 도 14에 도시하는 바와 같이 구성된다. 또한, 도 14어서 도 1에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

예를 들면 도 14의 상측에 도시하는 바와 같이 표시 장치(231)의 이면의 면에는, 화상 표시부(21L)와 화상 표시부(21R)가 마련되어 있다.

또한, 도면 중, 하측에 도시하는 바와 같이 표시 장치(231)의 표측에는, 화상 표시부(21L)와 화상 표시부(21R)의 부근에, 각각 촬상부(241L)과 촬상부(241R)가 마련되어 있다.

즉, 촬상부(241L)는 화상 표시부(21L)의 도면 중, 상측에 위치하고 있고, 유저의 좌안으로 본(見た) 시야에 대응하는 입력 화상을 촬상한다. 또한, 촬상부(241R)는 화상 표시부(21R)의 도면 중, 상측에 위치하고 있고, 유저의 우안으로 본 시야에 대응하는 입력 화상을 촬상한다. 또한, 이하, 촬상부(241L) 및 촬상부(241R)를 특히 구별할 필요가 없는 경우, 단지 촬상부(241)라고도 칭한다.

또한, 촬상부(241L) 및 촬상부(241R)가 마련되는 위치는, 화상 표시부(21L)와 화상 표시부(21R)의 근방, 즉 유저의 시점 근방의 위치라면, 어떤 위치라도 좋다.

예를 들면, 도 15의 하측에 도시하는 바와 같이, 화상 표시부(21L)의 도면 중, 우측에 촬상부(241L)가 위치하고, 화상 표시부(21R)의 도면 중, 좌측에 촬상부(241R)가 위치하도록 하여도 좋다.

또한, 도 15에서, 도 14에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다. 또한, 도 15에서는, 도면 중, 상측에 표시 장치(231)를 이면측에서 본 도면이 도시되어 있고, 도면 중, 하측에 표시 장치(231)를 표면측에서 본 도면이 도시되어 있다.

<표시 장치의 구성례>

다음에, 도 14 또는 도 15에 도시한 표시 장치(231)의 구체적인 구성에 관해 설명한다. 도 16은, 표시 장치(231)의 구성례를 도시하는 도면이다. 또한, 도 16에서 도 3 또는 도 14에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

표시 장치(231)는, 촬상부(241L), 촬상부(241R), 카메라 입력부(51), 카메라 처리부(52), CPU(53), ROM(54), RAM(55), 화상 표시 처리부(56), 화상 출력부(57), 버스(58), 화상 표시부(21L), 및 화상 표시부(21R)로 구성된다.

표시 장치(231)의 구성은, 표시 장치(11)의 촬상부(22)에 대신하여, 촬상부(241L) 및 촬상부(241R)가 마련되어 있는 점에서 표시 장치(11)의 구성과 다르고, 그 밖의 점에서는 표시 장치(11)의 구성과 같은 구성으로 되어 있다.

표시 장치(231)에서는, CPU(53)가, 촬상부(241L)에서 얻어진 입력 화상, 및 촬상부(241R)에서 얻어진 입력 화상을 이용하여 처리를 행한다.

<조정 처리의 개요>

다음에, 표시 장치(231)의 처리에 관해 설명한다.

우선, 도 17을 참조하여, 표시 장치(231)에 의해 행하여지는 조정 처리의 흐름에 관해 설명한다. 또한, 도 17에서, 도 7에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 17의 예에서는, 결정부(271L), 결정부(271R), 화상 절출부(272L), 화상 절출부(272R), 거리 계산부(273), 근거리 화상 분리부(274), 윤곽 추출부(85), 조정 동작 판정부(87), XY 산출부(88), 스케일 산출부(89), 보정부(90L), 보정부(90R), 표시 화상 생성부(91L), 및 표시 화상 생성부(91R)는, 예를 들면 CPU(53)가 ROM(54)에 기록하고 있는 프로그램을 실행함에 의해 실현된다. 또한, 예를 들면 기준 화상 유지부(86)는, RAM(55)에 의해 실현된다.

또한, 이하, 결정부(271L) 및 결정부(271R)를 특히 구별할 필요가 없는 경우, 단지 결정부(271)라고도 칭한다. 또한, 이하, 화상 절출부(272L) 및 화상 절출부(272R)를 특히 구별할 필요가 없는 경우, 단지 화상 절출부(272)라고도 칭한다.

표시 장치(231)에서는, 우선 촬상부(241L)에 의해 좌안용의 입력 화상(IP31L)이 촬상되고 화상 절출부(272L)에 공급됨과 함께, 촬상부(241R)에 의해 우안용의 입력 화상(IP31R)이 촬상되고 화상 절출부(272R)에 공급된다.

또한, 결정부(271L)는, 조정 처리시에 유저의 손의 검출 대상이 되는 좌안용의 영역의 크기 및 위치를 나타내는 조정 사이즈 및 위치와, 조정 처리시에 유저의 손의 검출 대상이 되는 좌안용의 깊이 방향의 범위를 나타내는 거리를 결정한다. 그리고, 결정부(271L)는, 조정 사이즈 및 위치를 화상 절출부(272L)에 공급하고, 거리를 근거리 화상 분리부(274)에 공급한다.

마찬가지로, 결정부(271R)는, 조정 처리시에 유저의 손의 검출 대상이 되는 우안용의 영역의 크기 및 위치를 나타내는 조정 사이즈 및 위치와, 조정 처리시에 유저의 손의 검출 대상이 되는 우안용의 깊이 방향의 범위를 나타내는 거리를 결정한다. 그리고, 결정부(271R)는, 조정 사이즈 및 위치를 화상 절출부(272R)에 공급하고, 거리를 근거리 화상 분리부(274)에 공급한다.

화상 절출부(272L)는, 결정부(271L)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 입력 화상(IP31L)상의 영역을 절출하여 절출 화상(CP31L)으로 하고, 거리 계산부(273) 및 근거리 화상 분리부(274)에 공급한다.

마찬가지로, 화상 절출부(272R)는, 결정부(271R)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 입력 화상(IP31R)상의 영역을 절출하여 절출 화상(CP31R)으로 하고, 거리 계산부(273) 및 근거리 화상 분리부(274)에 공급한다.

거리 계산부(273)는, 화상 절출부(272L)로부터의 절출 화상(CP31L)과, 화상 절출부(272R)로부터의 절출 화상(CP31R)과의 스테레오 매칭 등을 행함으로써, 절출 화상의 각 영역에 관해 시차를 구한다. 그리고, 거리 계산부(273)는, 각 영역에 관해 구하여진 시차에 대해 정하여지는 거리를, 절출 화상상의 각 영역에 있는 피사체까지의 거리로 하고, 그들의 거리를 나타내는 거리 화상을 피사체까지의 거리 계산의 결과로서 근거리 화상 분리부(274)에 공급한다.

근거리 화상 분리부(274)는, 결정부(271)로부터 공급된 거리와, 거리 계산부(273)로부터 공급된 거리 화상에 의거하여, 화상 절출부(272)로부터 공급된 절출 화상상의 근거리 피사체의 영역을, 유저의 손의 영역으로서 추출함으로써 근거리 화상을 생성하고, 윤곽 추출부(85)에 공급한다.

예를 들면 근거리 화상 분리부(274)에서는, 유저의 좌우의 어느 눈에 관한 표시 어긋남의 조정을 행할 때라도, 결정부(271L) 또는 결정부(271R)의 어느 일방에서 결정된 거리가 사용됨과 함께, 절출 화상(CP31L) 또는 절출 화상(CP31R)의 어느 일방이 사용된다.

이와 같이 하여 근거리 화상이 얻어지면, 그 후는, 윤곽 추출부(85) 내지 표시 화상 생성부(91)에 의해, 도 7을 참조하여 설명한 경우와 같은 처리가 행하여진다.

즉, 윤곽 추출부(85)는, 근거리 화상 분리부(274)로부터 공급된 근거리 화상에 의거하여 윤곽 추출을 행함으로써 조정용 화상(VHD51)을 생성하고, 조정 동작 판정부(87) 내지 보정부(90)에 공급한다. 또한, 조정 처리 시작시에 얻어진 조정용 화상(VHD51)은, 기준 화상으로서 기준 화상 유지부(86)에 유지된다. 이 예에서는, 조정 처리 시작시에 얻어진 조정용 화상(VHD51)이, 기준 화상(BHD51)으로서 기준 화상 유지부(86)에 유지되어 있다.

또한 조정 동작 판정부(87)에서, 스케일 조정을 위한 동작이 행하여졌는지의 여부가 판정되고, 그 판정 결과에 응하여 XY 산출부(88) 또는 스케일 산출부(89)에서의 보정량이 산출된다.

또한, 보정부(90L) 및 보정부(90R)에서, 각각 조정용 화상(VHD51)이 보정되어 조정용 화상(VHD51L) 및 조정용 화상(VHD51R)이 된다. 또한, 표시 화상 생성부(91L) 및 표시 화상 생성부(91R)에서, 그들의 조정용 화상(VHD51L) 및 조정용 화상(VHD51R)으로부터, 출력 화상(OP31L) 및 출력 화상(OP31R)이 생성되고 화상 표시부(21)에 표시된다.

<조정 처리의 설명>

다음에, 도 17을 참조하여 설명한 조정 처리에 관해 보다 상세히 설명한다. 이하, 도 18의 플로 차트를 참조하여, 표시 장치(231)에 의한 조정 처리에 관해 설명한다.

스텝 S121에서, 표시 장치(231)는, 보정량 산출 처리를 행하여, 우안에 관한 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량, 즉 화상 표시부(21R)에 표시시키는 출력 화상에 관한 보정량을 산출한다.

여기서, 도 19의 플로 차트를 참조하여, 보정량 산출 처리에 관해 설명한다.

스텝 S151에서, 표시 장치(231)는 기준 화상을 얻기 위한 근거리 화상을 취득한다.

즉, 촬상부(241)는 입력 화상을 촬상하여 화상 절출부(272)에 공급한다. 화상 절출부(272)는, 결정부(271)로부터 공급된 조정 사이즈 및 위치에 의해 정하여지는 입력 화상상의 영역을 절출하여 절출 화상으로 하고, 거리 계산부(273) 및 근거리 화상 분리부(274)에 공급한다.

거리 계산부(273)는, 좌우의 각 화상 절출부(272)로부터 공급된 절출 화상에 의거하여 스테레오 매칭 등을 행함으로써, 절출 화상의 각 영역에 관해 시차를 구하고, 얻어진 시차로부터 거리 화상을 생성하여 근거리 화상 분리부(274)에 공급한다.

근거리 화상 분리부(274)는, 결정부(271)로부터 공급된 거리와, 거리 계산부(273)로부터 공급된 거리 화상에 의거하여, 화상 절출부(272)로부터 공급된 절출 화상상의 유저의 손의 영역을 추출하여 근거리 화상으로 하고, 윤곽 추출부(85)에 공급한다. 구체적으로는, 근거리 화상 분리부(274)는, 거리 화상에 의해 나타나는 거리가, 결정부(271)로부터 공급된 거리보다도 가까운 거리인 절출 화상상의 영역을, 유저의 손의 영역으로서 추출한다.

이와 같이 하여 근거리 화상이 얻어지면, 그 후, 스텝 S152 내지 스텝 S161의 처리가 행하여져서 보정량 산출 처리는 종료하는데, 이들의 처리는 도 9의 스텝 S42 내지 스텝 S51의 처리와 마찬가지이기 때문에, 그 설명은 생략한다. 단, 스텝 S153에서는, 스텝 S151에서 경우와 마찬가지로, 화상 절출부(272)에서 얻어진 절출 화상으로부터 근거리 화상이 생성된다. 즉, 스텝 S153에서는, 스텝 S151과 같은 처리가 행하여진다.

보정량 산출 처리가 종료되면, 그 후, 처리는 도 18의 스텝 S122로 진행한다.

도 18의 플로 차트의 설명으로 되돌아와, 스텝 S122에서, CPU(53)는, 스텝 S121의 처리에서 산출된 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량을, 우안용의 XY방향의 위치 어긋남의 보정량, 또는 스케일 어긋남의 보정량으로 한다.

그리고, 그 후, 스텝 S123 내지 스텝 S127의 처리가 행하여져서 조정 처리는 종료하는데 이들의 처리는 도 8의 스텝 S13 내지 스텝 S17의 처리와 마찬가지이기 때문에, 그 설명은 생략한다. 단, 스텝 S124에서는, 도 19를 참조하여 설명한 보정량 산출 처리와 같은 처리가 행하여진다.

이상과 같이 하여, 표시 장치(231)는, 입력 화상으로부터 유저의 손의 영역을 추출하여 조정용 화상을 생성하고, 각 시각의 조정용 화상으로부터 유저의 동작에 응하여 표시 어긋남의 보정량을 산출한다. 이에 의해, 표시 장치(231)에서 인식하고 있는 물체의 위치 및 크기와, 유저가 보고 있는 확장 현실 공간상의 물체의 위치 및 크기와의 어긋남을 올바르게 보정하고, 표시 장치(231)의 조작성을 향상시킬 수 있다.

또한, 여기서는, 우안에 관한 보정량의 산출과, 좌안에 관한 보정량의 산출을 순번대로 행하는 예에 관해 설명하였지만, 이들의 처리를 동시에 병행하여 행하도록 하여도 좋다.

<터치 인식 처리의 개요>

계속되고, 도 20을 참조하여, 표시 장치(231)에 의해 행하여지는 터치 인식 처리의 흐름에 관해 설명한다.

또한, 도 20에서 도 10 또는 도 17에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 20의 예에서는, 결정부(271L), 결정부(271R), 화상 절출부(272L), 화상 절출부(272R), 거리 계산부(273), 근거리 화상 분리부(274), 터치 좌표 계산부(111), 터치 보정부(112), 터치 처리부(113), 마스크 생성부(114), 마스크 보정부(115L), 마스크 처리부(116L), 표시 위치 보정부(117L), 마스크 보정부(115R), 마스크 처리부(116R), 및 표시 위치 보정부(117R)는, 예를 들면 CPU(53)가 ROM(54)에 기록되어 있는 프로그램을 실행함에 의해 실현된다.

표시 장치(231)에서는, 우선, 결정부(271L) 및 결정부(271R)가, 화상 표시부(21L)에 표시하는 가상 화상(V41L), 및 화상 표시부(21R)에 표시하는 가상 화상(V41R)을 결정하고, 마스크 처리부(116L) 및 마스크 처리부(116R)에 공급한다. 또한, 이하, 가상 화상(V41L)과 가상 화상(V41R)을 특히 구별할 필요가 없는 경우, 단지 가상 화상(V41)이라고도 칭하기로 한다.

또한, 결정부(271L)는, 가상 화상(V41L)의 표시 위치와 사이즈, 및 거리를 결정하고, 결정한 표시 위치 및 사이즈를 화상 절출부(272L)에 공급함과 함께, 결정한 거리를 근거리 화상 분리부(274)에 공급한다.

마찬가지로, 결정부(271R)는, 가상 화상(V41R)의 표시 위치와 사이즈, 및 거리를 결정하고, 결정한 표시 위치 및 사이즈를 화상 절출부(272R)에 공급함과 함께, 결정한 거리를 근거리 화상 분리부(274)에 공급한다.

화상 절출부(272L)는, 결정부(271L)로부터 공급된 표시 위치 및 사이즈에 의해 정하여지는 입력 화상(IP41L)상의 영역을 절출하여 절출 화상(CP41L)으로 하고, 거리 계산부(273) 및 근거리 화상 분리부(274)에 공급한다. 마찬가지로, 화상 절출부(272R)는, 결정부(271R)로부터 공급된 표시 위치 및 사이즈에 의해 정하여지는 입력 화상(IP41R)상의 영역을 절출하여 절출 화상(CP41R)으로 하고, 거리 계산부(273) 및 근거리 화상 분리부(274)에 공급한다.

거리 계산부(273)는, 절출 화상(CP41L)과 절출 화상(CP41R)에 의거하여 스테레오 매칭 등을 행함으로써 거리 화상을 생성하고, 근거리 화상 분리부(274)에 공급한다.

근거리 화상 분리부(274)는, 결정부(271)로부터 공급된 거리와, 거리 계산부(273)로부터 공급된 거리 화상에 의거하여, 화상 절출부(272)로부터 공급된 절출 화상으로부터 근거리 화상을 생성하고, 마스크 생성부(114)에 공급함과 함께 거리 화상을 터치 좌표 계산부(111)에 공급한다.

또한, 터치 좌표 계산부(111)는, 근거리 화상 분리부(274)로부터 공급된 거리 화상에 의거하여, 가상 화상(V41)에 대한 유저의 터치 위치의 좌표를 계산하고, 터치 보정부(112)에 공급한다. 터치 보정부(112)는, 도 18을 참조하여 설명한 조정 처리에서 얻어진, 좌우의 각 눈에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 터치 좌표 계산부(111)로부터의 터치 좌표의 위치와 사이즈를 보정하고, 터치 처리부(113)에 공급한다.

터치 처리부(113)는, 터치 보정부(112)로부터 공급된 터치 위치의 좌표에 응한 처리를, 표시 장치(231)의 각 부분에 실행시킨다.

마스크 생성부(114)는, 근거리 화상 분리부(274)로부터 공급된 근거리 화상을 마스크화하여 마스크 화상(MK41)으로 하고, 마스크 보정부(115L) 및 마스크 보정부(115R)에 공급한다.

또한, 좌우의 눈마다 마스크 화상을 생성하여도 좋지만, 마스크 화상은 후단의 마스크 보정부(115)에서 보정되기 때문에, 좌우의 눈에 관해 같은 마스크 화상을 이용하여도 좌우의 각 출력 화상에서, 유저의 손을 제거하는 영역에 거의 어긋남은 생기지 않는다. 또한, 좌우의 눈에 관해 같은 마스크 화상을 이용하도록 하면, 처리량을 절감시킬 수 있다.

마스크 보정부(115L)는, 도 18을 참조하여 설명한 조정 처리에서 얻어진, 좌안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 마스크 화상(MK41)을 보정하고, 얻어진 마스크 화상(MK51L)을 마스크 처리부(116L)에 공급한다.

마스크 처리부(116L)는, 도 18을 참조하여 설명한 조정 처리에서 얻어진, 좌안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 가상 화상(V41L)의 위치 및 사이즈를 보정한다.

또한, 마스크 처리부(116L)는, 위치 및 사이즈가 보정된 가상 화상(V41L)으로부터, 마스크 화상(MK51L)의 비마스크 영역의 부분을 제거하고, 그 결과 얻어진 가상 화상(V51L)을 표시 위치 보정부(117L)에 공급한다.

표시 위치 보정부(117L)는, 가상 화상(V51L)과, 도 18을 참조하여 설명한 조정 처리에서 얻어진 좌안의 안구 보정량에 의거하여, 출력 화상(OP41L)을 생성하고, 화상 표시부(21L)에 공급한다.

마스크 보정부(115R)는, 도 18을 참조하여 설명한 조정 처리에서 얻어진, 우안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 마스크 화상(MK41)을 보정하고, 얻어진 마스크 화상(MK51R)을 마스크 처리부(116R)에 공급한다.

마스크 처리부(116R)는, 도 18을 참조하여 설명한 조정 처리에서 얻어진, 우안에 관한 XY방향의 위치 어긋남의 보정량, 및 스케일 어긋남의 보정량에 의거하여, 가상 화상(V41R)의 위치 및 사이즈를 보정한다.

또한, 마스크 처리부(116R)는, 위치 및 사이즈가 보정된 가상 화상(V41R)으로부터, 마스크 화상(MK51R)의 비마스크 영역의 부분을 제거하고, 그 결과 얻어진 가상 화상(V51R)을 표시 위치 보정부(117R)에 공급한다.

표시 위치 보정부(117R)는, 가상 화상(V51R)과, 도 18을 참조하여 설명한 조정 처리에서 얻어진 우안의 안구 보정량에 의거하여, 출력 화상(OP41R)을 생성하고, 화상 표시부(21R)에 공급한다.

<터치 인식 처리의 설명>

다음에, 도 21의 플로 차트를 참조하여, 표시 장치(231)에 의해 행하여지는 터치 인식 처리에 관해 설명한다.

스텝 S191에서, 결정부(271)는, 가상 화상과, 가상 화상의 사이즈, 표시 위치, 및 거리를 결정한다.

즉, 결정부(271)는 가상 화상을 결정하고, 마스크 처리부(116)에 공급한다. 또한, 결정부(271)는, 그 가상 화상의 표시 위치, 사이즈, 및 거리를 결정하고, 결정한 표시 위치 및 사이즈를 화상 절출부(272)에 공급하고, 결정한 거리를 근거리 화상 분리부(274)에 공급한다.

스텝 S192에서, 화상 절출부(272)는, 촬상부(241)로부터 공급된 입력 화상에서의, 결정부(271)로부터 공급된 표시 위치 및 사이즈에 의해 정하여지는 영역의 절출을 행하여 절출 화상으로 하고, 거리 계산부(273) 및 근거리 화상 분리부(274)에 공급한다.

스텝 S193에서, 거리 계산부(273)는, 화상 절출부(272)로부터 공급된 좌우의 눈의 절출 화상에 의거하여 스테레오 매칭 등을 행함으로써 거리 화상을 생성하고, 근거리 화상 분리부(274)에 공급한다.

스텝 S193의 처리가 행하여지면, 그 후, 스텝 S194 내지 스텝 S196의 처리와, 스텝 S197 및 스텝 S198의 처리가 병행하여 행하여진다.

스텝 S194에서, 근거리 화상 분리부(274)는, 결정부(271)로부터 공급된 거리와, 거리 계산부(273)로부터 공급된 거리 화상에 의거하여, 화상 절출부(272)로부터 공급된 절출 화상으로부터 근거리의 피사체를 추출함으로써 근거리 화상을 생성한다.

근거리 화상이 얻어지면, 그 후, 스텝 S195 내지 스텝 S202의 처리가 행하여지고 터치 처리는 종료하는데만, 이들의 처리는 도 11의 스텝 S85 내지 스텝 S92의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.

이상과 같이 하여, 표시 장치(231)는, 조정 처리의 결과로서 얻어진 보정량에 의거하여, 가상 화상 등의 표시 위치나 사이즈를 보정함과 함께, 유저에 의한 터치 조작을 검출하고, 터치 조작에 응한 처리를 실행한다.

이와 같이 임의의 위치에 가상 화상을 표시시키고, 그 가상 화상에의 터치 조작을, 절출 화상의 각 영역의 피사체까지의 거리에 의거하여 인식함으로써, 표시 장치(231)의 조작성을 향상시킬 수 있다. 또한, 표시의 어긋남을 보정함으로써 더욱 조작성을 향상시킬 수 있다.

<제2의 실시의 형태의 변형례 1>

<표시 장치의 구성례>

또한, 이상에서는, 표시 장치(231)이 도 16에 도시하는 구성이 되는 예에 관해 설명하였지만, 표시 장치(231)는, 그 밖에, 예를 들면 도 22에 도시하는 구성이 되도록 하여도 좋다. 또한, 도 22에서, 도 12, 도 16, 또는 도 20에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 22에 도시하는 표시 장치(231)는, 촬상부(241L), 촬상부(241R), 화상 처리부(301), 및 화상 표시 처리부(302)로 구성된다.

이 예에서는, 화상 처리부(301)와 화상 표시 처리부(302)가 상호 접속되고, 표시 장치(231)가 처리 장치와 프로그램에 의해 실현되어 있다.

화상 처리부(301)는, CPU(151), ROM(152), RAM(153), 통신 IF(154), 카메라 입력부(51), 카메라 처리부(52), 절출부(311), 거리 계산부(273), 근거리 화상 분리부(274), 마스크 생성부(114), 터치 좌표 계산부(111), 및 화상 출력부(156)를 갖고 있다.

카메라 입력부(51)에는, 2개의 촬상부(241)로부터 입력 화상이 공급된다. 또한, CPU(151)는, ROM(152)에 기록되어 있는 프로그램을 실행함으로써 결정부(271)를 실현하거나, 조정 처리시에 윤곽 추출부(85), 및 조정 동작 판정부(87) 내지 스케일 산출부(89)를 실현하거나 한다. 또한, 절출부(311)는, 화상 절출부(272L) 및 화상 절출부(272R)로서 기능한다.

화상 표시 처리부(302)는, 통신 IF(161), 화상 입력부(162), CPU(163), ROM(164), RAM(165), 화상 표시 처리부(56), 화상 출력부(57), 버스(166), 화상 표시부(21L), 및 화상 표시부(21R)를 갖고 있다.

이 예에서는, CPU(163)는, ROM(164)에 기록되어 있는 프로그램을 실행함으로써 터치 보정부(112), 터치 처리부(113), 마스크 보정부(115), 마스크 처리부(116), 및 표시 위치 보정부(117)를 실현한다. 또한, 예를 들면 CPU(163)는, 조정 처리의 실행시에는, 프로그램을 실행함으로써 보정부(90) 및 표시 화상 생성부(91)를 실현한다.

<제2의 실시의 형태의 변형례 2>

<표시 장치의 구성례>

또한, 표시 장치(231)는, 예를 들면 도 23에 도시하는 구성이 되도록 하여도 좋다. 또한, 도 23에서, 도 13, 도 20, 또는 도 22에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.

도 23에 도시하는 표시 장치(231)는, 촬상부(241L), 촬상부(241R), CPU(191), ROM(192), RAM(193), 카메라 입력부(51), 카메라 처리부(52), 절출부(311), 거리 계산부(273), 근거리 화상 분리부(274), 마스크 생성부(114), 터치 좌표 계산부(111), 마스크 보정부(194), 터치 보정부(112), 터치 처리부(113), 가상 화상 마스크 처리부(195), 가상 화상 표시 위치 보정부(196), 화상 표시 처리부(56), 화상 출력부(57), 화상 표시부(21L), 및 화상 표시부(21R)를 갖고 있다.

이 예에서는, CPU(191)는, ROM(192)에 기록되어 있는 프로그램을 실행함으로써, 조정 처리의 실행시에 윤곽 추출부(85), 및 조정 동작 판정부(87) 내지 표시 화상 생성부(91)를 실현한다. 또한, RAM(193)은, 예를 들면 조정 처리의 실행시에 기준 화상 유지부(86)로서 기능한다.

또한, 마스크 보정부(194)는, 도 20에 도시한 마스크 보정부(115L) 및 마스크 보정부(115R)로서 기능한다. 가상 화상 마스크 처리부(195)는, 도 20에 도시한 마스크 처리부(116L) 및 마스크 처리부(116R)로서 기능하고, 가상 화상 표시 위치 보정부(196)는, 도 20의 표시 위치 보정부(117L) 및 표시 위치 보정부(117R)로서 기능한다.

그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 조립되어 있는 컴퓨터나, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 컴퓨터 등이 포함된다.

도 24는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성례를 도시하는 블록도다.

컴퓨터에서, CPU(501), ROM(502), RAM(503)은, 버스(504)에 의해 상호 접속되어 있다.

버스(504)에는, 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509), 및 드라이브(510)이 접속되어 있다.

입력부(506)는, 키보드, 마우스, 마이크로폰, 촬상 소자 등으로 이루어진다. 출력부(507)는, 디스플레이, 스피커 등으로 이루어진다. 기록부(508)는, 하드 디스크나 불휘발성의 메모리 등으로 이루어진다. 통신부(509)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(510)는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(511)를 구동한다.

이상과 같이 구성된 컴퓨터에서는, CPU(501)이, 예를 들면, 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드하여 실행함에 의해, 상술한 일련의 처리가 행하여진다.

컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 리무버블 미디어(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬에어리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함에 의해, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에, 미리 인스톨하여 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이라도 좋고, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타미밍에서 처리가 행하여지는 프로그램이라도 좋다.

또한, 본 기술의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.

예를 들면, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술의 플로 차트에서 설명하는 각 스텝은, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 명세서 중에 기재된 효과는 어디까지나 예시이고 한정되는 것이 아니고, 다른 효과가 있어도 좋다.

또한, 본 기술은, 이하가 구성으로 하는 것도 가능하다.

(1)

유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하는 생성부와,

표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능하고, 상기 화상을 표시하는 화상 표시부와,

서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 보정량 산출부를 구비하는 화상 처리 장치.

(2)

상기 보정량 산출부는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 상기 화상상에서의 이동량에 의거하여, 상기 표시 위치를 보정하기 위한 상기 보정량을 산출하는 (1)에 기재된 화상 처리 장치.

(3)

상기 보정량 산출부는, 기준이 되는 상기 화상, 또는 상기 보정량에 의해 보정된, 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상이 상기 화상 표시부에 표시되어 있는 상태에서, 상기 근거리 피사체로서의 조작 지시부가, 표시되어 있는 상기 화상상의 상기 조작 지시부와 겹쳐지도록 상기 유저가 상기 조작 지시부를 움직인 때에 촬상된 상기 화상과, 상기 기준이 되는 상기 화상, 또는 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상과의 사이에서의 상기 조작 지시부의 상기 이동량에 의거하여, 상기 보정량을 산출하는 (2)에 기재된 화상 처리 장치.

(4)

상기 보정량 산출부는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 상기 화상상에서의 크기의 변화에 의거하여, 상기 표시 사이즈를 보정하기 위한 상기 보정량을 산출하는 (1)에 기재된 화상 처리 장치.

(5)

상기 보정량 산출부는, 기준이 되는 상기 화상, 또는 상기 보정량에 의해 보정된, 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상이 상기 화상 표시부에 표시되어 있는 상태에서, 상기 근거리 피사체로서의 조작 지시부가, 표시되어 있는 상기 화상상의 상기 조작 지시부와 같은 크기가 되도록 상기 유저가 상기 조작 지시부를 움직인 때에 촬상된 상기 화상과, 상기 기준이 되는 상기 화상과의 사이에서의 상기 조작 지시부의 상기 크기의 변화에 의거하여, 상기 보정량을 산출하는 (4)에 기재된 화상 처리 장치.

(6)

상기 보정량 산출부는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 특정 부위의 상기 화상상에서의 이동량에 의거하여, 상기 표시 사이즈를 보정하기 위한 상기 보정량을 산출하는 (1)에 기재된 화상 처리 장치.

(7)

상기 화상 표시부는, 상기 유저에 의한 조작 대상이 되는 가상 화상을 또한 표시하고,

상기 보정량에 의거하여, 상기 가상 화상의 상기 표시 위치 또는 상기 표시 사이즈를 보정하는 보정부를 또한 구비하는 (1) 내지 (6)의 어느 한 항에 기재된 화상 처리 장치.

(8)

공간상에서의 상기 가상 화상의 거리보다도 상기 촬상부측에 있는 상기 피사체의 영역을 비마스크 영역으로 하여, 상기 비마스크 영역을 나타내는 마스크 화상을 생성하는 마스크 생성부와,

상기 보정량에 의거하여, 상기 마스크 화상에서의 상기 비마스크 영역의 위치 또는 사이즈를 보정하는 마스크 보정부와,

상기 마스크 보정부에 의해 보정된 상기 마스크 화상, 및 상기 보정량에 의거하여 상기 가상 화상에 대한 투과 처리를 행하여, 상기 가상 화상으로부터 상기 비마스크 영역을 제거하는 마스크 처리부를 또한 구비하고,

상기 화상 표시부는, 상기 투과 처리된 상기 가상 화상을 표시하는 (7)에 기재된 화상 처리 장치.

(9)

상기 보정량에 의거하여, 상기 유저에 의해 조작된 상기 가상 화상상의 위치를 보정하는 조작 보정부를 또한 구비하는 (7) 또는 (8)에 기재된 화상 처리 장치.

(10)

상기 유저의 좌우의 눈마다 상기 화상 표시부가 마련되어 있고,

상기 보정량 산출부는, 상기 유저의 좌우의 눈마다 상기 보정량을 산출하는 (1) 내지 (9)의 어느 한 항에 기재된 화상 처리 장치.

(11)

유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하고,

표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능한 화상 표시부에 상기 화상을 표시시켜서,

서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 스텝을 포함하는 화상 처리 방법.

(12)

유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하고,

표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능한 화상 표시부에 상기 화상을 표시시켜서,

서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.

11 : 표시 장치
21L, 21R, 21 : 화상 표시부
22 : 촬상부
53 : CPU
82 : 화상 절출부
83 : 절출부
84 : 근거리 화상 분리부
85 : 윤곽 추출부
87 : 조정 동작 판정부
88 : XY 산출부
89 : 스케일 산출부
90L, 90R, 90 : 보정부
111 : 터치 좌표 계산부
112 : 터치 보정부
115L, 115R, 115 : 마스크 보정부
116L, 116R, 116 : 마스크 처리부
117L, 117R, 117 : 표시 위치 보정부
272L, 272R, 272 : 화상 절출부
273 : 거리 계산부
274 : 근거리 화상 분리부

Claims (12)

1. 유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하는 생성부와,
   표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능하고, 상기 화상을 표시하는 화상 표시부와,
   서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 보정량 산출부를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 보정량 산출부는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 상기 화상상에서의 이동량에 의거하여, 상기 표시 위치를 보정하기 위한 상기 보정량을 산출하는 것을 특징으로 하는 화상 처리 장치.
3. 제2항에 있어서,
   상기 보정량 산출부는, 기준이 되는 상기 화상, 또는 상기 보정량에 의해 보정된, 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상이 상기 화상 표시부에 표시되어 있는 상태에서, 상기 근거리 피사체로서의 조작 지시부가, 표시되어 있는 상기 화상상의 상기 조작 지시부와 겹쳐지도록 상기 유저가 상기 조작 지시부를 움직인 때에 촬상된 상기 화상과, 상기 기준이 되는 상기 화상, 또는 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상과의 사이에서의 상기 조작 지시부의 상기 이동량에 의거하여, 상기 보정량을 산출하는 것을 특징으로 하는 화상 처리 장치.
4. 제1항에 있어서,
   상기 보정량 산출부는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 상기 화상상에서의 크기의 변화에 의거하여, 상기 표시 사이즈를 보정하기 위한 상기 보정량을 산출하는 것을 특징으로 하는 화상 처리 장치.
5. 제4항에 있어서,
   상기 보정량 산출부는, 기준이 되는 상기 화상, 또는 상기 보정량에 의해 보정된, 상기 기준이 되는 상기 화상보다도 뒤의 상기 화상이 상기 화상 표시부에 표시되어 있는 상태에서, 상기 근거리 피사체로서의 조작 지시부가, 표시되어 있는 상기 화상상의 상기 조작 지시부와 같은 크기가 되도록 상기 유저가 상기 조작 지시부를 움직인 때에 촬상된 상기 화상과, 상기 기준이 되는 상기 화상과의 사이에서의 상기 조작 지시부의 상기 크기의 변화에 의거하여, 상기 보정량을 산출하는 것을 특징으로 하는 화상 처리 장치.
6. 제1항에 있어서,
   상기 보정량 산출부는, 상기 소정 거리보다도 상기 촬상부측에 있는 상기 피사체인 근거리 피사체의 특정 부위의 상기 화상상에서의 이동량에 의거하여, 상기 표시 사이즈를 보정하기 위한 상기 보정량을 산출하는 것을 특징으로 하는 화상 처리 장치.
7. 제1항에 있어서,
   상기 화상 표시부는, 상기 유저에 의한 조작 대상이 되는 가상 화상을 또한 표시하고,
   상기 보정량에 의거하여, 상기 가상 화상의 상기 표시 위치 또는 상기 표시 사이즈를 보정하는 보정부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
8. 제7항에 있어서,
   공간상에서의 상기 가상 화상의 거리보다도 상기 촬상부측에 있는 상기 피사체의 영역을 비마스크 영역으로 하여, 상기 비마스크 영역을 나타내는 마스크 화상을 생성하는 마스크 생성부와,
   상기 보정량에 의거하여, 상기 마스크 화상에서의 상기 비마스크 영역의 위치 또는 사이즈를 보정하는 마스크 보정부와,
   상기 마스크 보정부에 의해 보정된 상기 마스크 화상, 및 상기 보정량에 의거하여 상기 가상 화상에 대한 투과 처리를 행하여, 상기 가상 화상으로부터 상기 비마스크 영역을 제거하는 마스크 처리부를 또한 구비하고,
   상기 화상 표시부는, 상기 투과 처리된 상기 가상 화상을 표시하는 것을 특징으로 하는 화상 처리 장치.
9. 제7항에 있어서,
   상기 보정량에 의거하여, 상기 유저에 의해 조작된 상기 가상 화상상의 위치를 보정하는 조작 보정부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
10. 제1항에 있어서,
    상기 유저의 좌우의 눈마다 상기 화상 표시부가 마련되어 있고,
    상기 보정량 산출부는, 상기 유저의 좌우의 눈마다 상기 보정량을 산출하는 것을 특징으로 하는 화상 처리 장치.
11. 유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하고,
    표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능한 화상 표시부에 상기 화상을 표시시켜서,
    서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
12. 유저의 시점 근방에 배치된 촬상부에 의해 촬상된 입력 화상과, 상기 입력 화상의 각 영역에서의 피사체까지의 거리를 나타내는 거리 정보에 의거하여, 실 공간에서 소정 거리보다도 상기 촬상부측에 있는 상기 입력 화상상의 상기 피사체를 나타내는 화상을 생성하고,
    표시 화면을 통하여 상기 유저가 상기 피사체를 시인 가능한 화상 표시부에 상기 화상을 표시시켜서,
    서로 다른 시각의 상기 화상에 의거하여, 상기 화상 표시부에 표시시키는 화상의 표시 위치 또는 표시 사이즈를 보정하기 위한 보정량을 산출하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.

Images