KR20150135234A - 화상 처리 장치 및 방법, 및 프로그램 - Google Patents

화상 처리 장치 및 방법, 및 프로그램 Download PDF

Info

Publication number
KR20150135234A
KR20150135234A KR1020157022553A KR20157022553A KR20150135234A KR 20150135234 A KR20150135234 A KR 20150135234A KR 1020157022553 A KR1020157022553 A KR 1020157022553A KR 20157022553 A KR20157022553 A KR 20157022553A KR 20150135234 A KR20150135234 A KR 20150135234A
Authority
KR
South Korea
Prior art keywords
image
distance
virtual image
unit
virtual
Prior art date
Application number
KR1020157022553A
Other languages
English (en)
Inventor
류이치 시모다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150135234A publication Critical patent/KR20150135234A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H04N13/004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/0239—
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 기술은, 조작성을 향상시킬 수 있도록 하는 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다. 화상 절출부는, 유저에 의해 터치 조작되는 가상 화상이 표시되는 입력 화상상의 영역을 절출하여 절출 화상으로 하고, 거리 계산부는 좌우의 절출 화상에 관해 스테레오 매칭을 행함으로써, 절출 화상상의 각 피사체까지의 거리를 구한다. 터치 좌표 계산부는, 각 피사체까지의 거리의 정보로부터 유저의 터치 위치를 구하고, 터치 처리부는, 그 터치 위치에 응한 처리를 실행한다. 또한, 근거리 화상 분리부는, 각 피사체까지의 거리의 정보를 이용하여, 가상 화상보다도 유저측에 있는 피사체를 절출 화상으로부터 분리시켜, 근거리 화상으로 한다. 이 근거리 화상은 가상 화상에 합성되고, 또한 합성 후의 가상 화상이 입력 화상에 합성되어 표시된다. 본 기술은, 표시 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 프로그램{IMAGE PROCESSING DEVICE AND METHOD, AND PROGRAM}
본 기술은 화상 처리 장치 및 방법, 및 프로그램에 관한 것으로, 특히, 조작성을 향상시킬 수 있도록 한 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다.
요즘, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등의 진화에 의해, CG(Computer Graphics) 화상을 이용한 가상 현실이 실현되고, 또한 그것을 응용하여 실제의 촬영 화상과 가상 화상을 합성한 확장 현실(AR(Augmented Reality))도 실현되고 있다.
예를 들면, 이와 같은 확장 현실에 관한 기술로서, 실(實) 환경상에 존재하는 물체의 위치에 화상을 중첩 표시하고, 그 화상에의 조작에 응한 처리를 실행하는 기술이 제안되어 있다(예를 들면, 특허 문헌 1 참조).
특허 문헌 1 : 일본국 특개2011-203823호 공보
그렇지만, 상술한 기술에서는, 유저의 손이나 발 등 미리 정하여진 것으로 조작을 행하지 않으면 안되기 때문에, 조작시에는 손이나 발 등의 인식 처리가 필요할 뿐만 아니라, 경우에 따라서는 조작하는데 불편하고, 조작성이 높다고는 말할 수가 없었다. 또한, 실 환경상에 존재하는 물체의 위치에 조작용의 화상을 중첩 표시시키기 때문에, 자유도가 낮고 조작에 불편하였다.
본 기술은, 이와 같은 상황을 감안하여 이루어진 것이고, 조작성을 향상시킬 수 있도록 하는 것이다.
본 기술의 한 측면의 화상 처리 장치는, 서로 시차(視差)를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역을 절출(切出)하여 절출 화상을 생성하는 화상 절출부와, 2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보를 계산하는 거리 계산부와, 상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치를 계산하는 터치 위치 계산부와, 상기 터치 위치에 응한 처리를 실행시키는 터치 처리부와, 상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역을 분리시켜서 근거리 화상을 생성하는 근거리 화상 분리부와, 상기 근거리 화상마다, 상기 근거리 화상을 상기 가상 화상에 합성하여 합성 화상을 생성하는 가상 화상 합성부와, 상기 합성 화상마다, 상기 합성 화상을 상기 입력 화상에 합성하여 서로 시차를 갖는 2개의 출력 화상을 생성하는 표시 화상 합성부를 구비한다.
상기 터치 위치 계산부에는, 복수의 상기 터치 위치를 계산시키고, 상기 터치 처리부에는, 복수의 상기 터치 위치에 의해 특정되는 처리를 실행시킬 수 있다.
상기 가상 화상은 3차원 공간에서 비평면(非平面)상에 표시되는 것으로 하고, 상기 터치 위치 계산부에는, 상기 가상 화상의 영역마다 다른 거리를 이용하여, 상기 거리 정보에 의해 나타나는 거리가 상기 가상 화상까지의 거리와 같은 상기 절출 화상의 위치에 의거하여 상기 터치 위치를 계산시킬 수 있다.
상기 터치 위치 계산부에는, 상기 거리 정보에 의해 나타나는 거리가 상기 가상 화상까지의 거리와 같은 상기 절출 화상상의 복수의 위치에 의거하여, 상기 터치 위치를 계산시킬 수 있다.
상기 입력 화상에는 복수의 상기 가상 화상을 합성하여 상기 출력 화상으로 하고, 상기 터치 위치 계산부에는, 상기 가상 화상마다 상기 터치 위치를 계산시킬 수 있다.
화상 처리 장치에는, 상기 화상 처리 장치의 위치 또는 방향의 변화에 의거하여, 상기 가상 화상의 표시 위치, 표시 사이즈, 형상, 또는 상기 가상 화상까지의 거리를 보정하는 보정부를 또한 마련할 수 있다.
화상 처리 장치에는, 상기 입력 화상으로부터 미리 정하여진 인식 대상물을 검출하는 인식부와, 상기 인식 대상물의 검출 결과에 의거하여 상기 인식 대상물까지의 거리를 계산하는 인식 대상물 거리 계산부와, 상기 인식 대상물의 위치, 및 상기 인식 대상물까지의 거리에 의거하여, 상기 가상 화상의 표시 위치와 상기 가상 화상까지의 거리를 결정하는 결정부를 또한 마련할 수 있다.
상기 인식 대상물을 상기 유저의 손바닥으로 할 수 있다.
화상 처리 장치에는, 상기 근거리 화상으로부터 미리 정하여진 조작물을 검출함으로써, 상기 가상 화상과 상기 화상 처리 장치의 사이에 장애물이 있는지의 여부를 판정하는 장애물 판정부를 또한 마련할 수 있다.
상기 거리 계산부에는, 상기 절출 화상에 의거하여 매칭 처리를 행함에 의해, 상기 거리 정보를 계산시킬 수 있다.
상기 거리 정보를, 상기 절출 화상의 각 영역의 시차로 할 수 있다.
상기 터치 처리부에는, 상기 터치 위치에 응하여 화상의 표시 또는 음성의 재생을 실행시킬 수 있다.
화상 처리 장치에는, 상기 입력 화상을 촬상하는 촬상부를 또한 마련할 수 있다.
본 기술의 한 측면의 화상 처리 방법 또는 프로그램은, 서로 시차를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역을 절출하여 절출 화상을 생성하고, 2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보를 계산하고, 상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치를 계산하고, 상기 터치 위치에 응한 처리를 실행시키고, 상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역을 분리시켜서 근거리 화상을 생성하고, 상기 근거리 화상마다, 상기 근거리 화상을 상기 가상 화상에 합성하여 합성 화상을 생성하고, 상기 합성 화상마다, 상기 합성 화상을 상기 입력 화상에 합성하여 서로 시차를 갖는 2개의 출력 화상을 생성하는 스텝을 포함한다.
본 기술의 한 측면에서는, 서로 시차를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역이 절출되어 절출 화상이 생성되고, 2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보가 계산되고, 상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치가 계산되고, 상기 터치 위치에 응한 처리가 실행되고, 상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역이 분리되어 근거리 화상이 생성되고, 상기 근거리 화상마다, 상기 근거리 화상이 상기 가상 화상에 합성되어 합성 화상이 생성되고, 상기 합성 화상마다, 상기 합성 화상이 상기 입력 화상에 합성되어 서로 시차를 갖는 2개의 출력 화상이 생성된다.
본 기술의 한 측면에 의하면, 조작성을 향상시킬 수 있다.
도 1은 표시 장치의 외관의 구성례를 도시하는 도면.
도 2는 가상 화상에의 조작에 관해 설명하는 도면.
도 3은 표시 장치의 구성례를 도시하는 도면.
도 4는 표시 장치에 의한 처리의 흐름에 관해 설명하는 도면.
도 5는 거리 계산부에서의 처리에 관해 설명하는 도면.
도 6은 터치 위치의 산출에 관해 설명하는 도면.
도 7은 터치 인식 처리를 설명하는 플로 차트.
도 8은 거리 측정 처리를 설명하는 플로 차트.
도 9는 가상 화상에 대한 멀티 터치 조작에 관해 설명하는 도면.
도 10은 가상 화상의 비평면에의 표시에 관해 설명하는 도면.
도 11은 복수의 가상 화상의 표시에 관해 설명하는 도면.
도 12는 표시 장치의 다른 구성례를 도시하는 도면.
도 13은 표시 장치를 장착한 유저의 움직임에 관해 설명하는 도면.
도 14는 표시 좌표계와 가상 화상의 표시 위치의 보정에 관해 설명하는 도면.
도 15는 표시 장치의 구성례를 도시하는 도면.
도 16은 표시 위치 보정 처리를 설명하는 플로 차트.
도 17은 가상 화상의 표시 위치의 조정이나 초기 위치 결정에 관해 설명하는 도면.
도 18은 가상 화상의 표시 위치 조정이나 초기 위치 결정시의 처리의 흐름에 관해 설명하는 도면.
도 19는 장애물의 검출에 관해 설명하는 도면.
도 20은 장애물 검출시의 처리의 흐름에 관해 설명하는 도면.
도 21은 표시 위치 조정 처리를 설명하는 플로 차트.
도 22는 컴퓨터의 구성례를 도시하는 도면.
이하, 도면을 참조하여, 본 기술을 적용한 실시의 형태에 관해 설명한다.
<제1의 실시의 형태>
<본 기술의 개요에 관해>
본 기술은, 헤드 마운트 디스플레이나 화상 표시 기능이 있는 안경 등의 표시 장치를 장착한 유저에 대해, 2안(眼) 카메라를 입력으로 한 확장 현실의 가상 화상에 현실에 터치하여 조작하고 있는 것과 같이 느끼게 하는 3D 유저 인터페이스를 실현하는 것이다.
예를 들면, 본 기술은, 오디오 기기, 다기능형 휴대 전화기, 전자 서적의 리더 등의 각종 전자 기기의 조작이나, 의료 분야, 게임기기의 조작, 콘서트, 영화, 어트랙션 등에 적용할 수 있다.
이하에서는, 본 기술을 글라스형의 표시 장치에 적용한 경우를 예로 하여, 본 기술에 관해 설명한다. 그와 같은 경우, 예를 들면 도 1의 상측에 도시하는 바와 같이 표시 장치(11)의 이측(裏側), 즉 유저가 표시 장치(11)를 장착한 때에 유저의 좌우의 눈과 대향하는 측의 면에는, 화상 표시부(21L)와 화상 표시부(21R)가 마련되어 있다. 이들의 화상 표시부(21L)와 화상 표시부(21R)는, 각각 유저의 좌안과 우안에 화상을 제시하는 표시 디바이스이다.
또한, 이하, 화상 표시부(21L)와 화상 표시부(21R)를 특히 구별할 필요가 없는 경우, 단지 화상 표시부(21)라고도 칭하기로 한다.
또한, 표시 장치(11)의 표측(表側)쪽, 즉 유저가 표시 장치(11)를 장착한 때에 유저의 눈의 측과는 반대측에 위치하는 면에는, 촬상부(22L)와 촬상부(22R)가 마련되어 있다. 이들의 촬상부(22L)와 촬상부(22R)는, 유저의 좌우의 눈과 거의 같은 위치를 시점(視點)으로 하여 서로 시차를 갖는 화상을 촬상하다. 또한, 이하, 촬상부(22L)와 촬상부(22R)를 특히 구별할 필요가 없는 경우, 단지 촬상부(22)라고도 칭하기로 한다.
이와 같은 표시 장치(11)는, 도 2에 도시하는 바와 같이 유저(U11)의 두부에 장착되어 사용된다. 이 예에서는, 표시 장치(11)에 마련된 촬상부(22)는, 유저(U11)의 전방에 있는 피사체(H11) 등을 피사체로 하여 화상을 촬상한다. 그리고, 표시 장치(11)는, 촬상부(22)에 의해 촬상된 입력 화상에, 소정의 가상 화상(V11)을 합성하고, 그 결과 얻어진 출력 화상을 화상 표시부(21)에 표시시킨다.
여기서, 가상 화상(V11)은, 예를 들면 유저에 의한 조작 대상이 되는 가상적인 버튼이나 터치 패널 등, 표시 장치(11)에 대해 각종의 처리의 실행을 지시할 때에 조작되는 3D 유저 인터페이스의 화상이 된다.
유저(U11)는, 화상 표시부(21)에 표시된 출력 화상을 보면서, 마치 현실의 공간에 존재하는 것처럼 표시되어 있는 가상 화상(V11)에 손을 뻗어서, 가상 화상(V11)에 대한 터치 조작을 행한다. 즉, 가상 화상(V11)에 표시되어 있는 버튼을 누르는 등의 조작이 행하여진다.
그리고, 유저(U11)에 의한 가상 화상(V11)에의 조작이 행하여지면, 표시 장치(11)는 그 조작에 응한 처리를 실행한다.
표시 장치(11)에서는, 촬상부(22L)와 촬상부(22R)에 의해 촬상된 입력 화상은 서로 시차를 갖는 화상이고, 또한 화상 표시부(21L)와 화상 표시부(21R)에 각각 표시되는 출력 화상상의 가상 화상(V11)도 시차를 갖고 있다. 따라서 유저(U11)의 좌우의 눈에 제시되는 출력 화상은 서로 시차를 갖는 입체 화상이 된다.
이와 같이 표시 장치(11)에서는, 출력 화상으로서 입체 화상을 표시시킴으로써, 거리감을 잡기 쉽고, 유저에게 스트레스를 느끼게 하지 않는 유저 인터페이스를 실현할 수 있다. 이 유저 인터페이스는, 리얼한 3D의 확장 현실을 사용한 공간 터치 인터페이스이다.
또한, 이하에서는, 촬상부(22L)에서 촬상된 입력 화상 등, 유저의 좌안용의 화상을 단지 좌화상이라고도 칭하기로 하고, 마찬가지로 촬상부(22R)에서 촬상된 입력 화상 등, 유저의 우안용의 화상을 단지 우화상이라고도 칭하기로 한다.
<표시 장치의 구성례>
다음에, 도 1에 도시한 표시 장치(11)의 구체적인 구성에 관해 설명한다. 도 3은, 표시 장치(11)의 구성례를 도시하는 도면이다. 또한, 도 3에서 도 1에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
표시 장치(11)는, 촬상부(22L), 촬상부(22R), 화상 처리 장치(51), 화상 표시 처리 장치(52), 화상 표시부(21L), 및 화상 표시부(21R)로 구성된다. 이 예에서는, 화상 처리 장치(51)와 화상 표시 처리 장치(52)가 통신으로 접속되고, 표시 장치(11)가 처리 장치와 프로그램에 의해 실현되어 있다.
촬상부(22L) 및 촬상부(22R)는 서로 다른 시점의 카메라로 이루어지고, 입력 화상을 촬상하여 화상 처리 장치(51)에 공급한다. 예를 들면 촬상된 입력 화상은 프레임마다 순서대로, 화상 처리 장치(51)에 공급된다.
화상 처리 장치(51)는 CPU(61), ROM(Read Only Memory)(62), RAM(Random Access Memory)(63), 카메라 입력부(64), 카메라 처리부(65), 화상 절출부(66), 거리 계산부(67), 터치 좌표 계산부(68), 근거리 화상 분리부(69), 화상 출력부(70), 통신 IF(Interface)(71), 및 버스(72)로 구성된다. 화상 처리 장치(51)에서는, CPU(61) 내지 통신 IF(71)가 버스(72)를 통하여 상호 접속되어 있다.
CPU(61)는, ROM(62)이나 RAM(63)에 기록되어 있는 프로그램이나 데이터를 이용하여, 화상 처리 장치(51) 전체의 동작을 제어한다. ROM(62)은, 화상이나 각종의 데이터, 프로그램 등을 기록한다. RAM(63)은, 화상이나 각종의 데이터, 프로그램 등을 일시적으로 기록하고, RAM(63)에 기록되어 있는 데이터 등은 필요에 응하여 판독된다.
카메라 입력부(64)는, 촬상부(22)로부터 입력 화상의 화상 데이터를 취득하고, 필요에 응하여 입력 화상의 데이터 포맷 변환 등을 행하여, 카메라 처리부(65)에 공급한다. 카메라 처리부(65)는, 입력 화상에 대해 왜곡 등의 보정 처리나 현상 처리를 시행한다.
화상 절출부(66)는, 카메라 처리부(65)로부터 출력된 입력 화상의 일부의 영역을 절출하여 절출 화상으로 한다. 거리 계산부(67)는, 절출 화상상의 각 영역의 피사체까지의 거리를 계산한다. 여기서, 피사체까지의 거리란, 실공간상에서의 촬상부(22)로부터 피사체까지의 거리이다.
터치 좌표 계산부(68)는, 거리 계산부(67)에서의 계산 결과에 의거하여, 가상 화상상에서의 유저의 터치 위치의 좌표를 계산하고, 그 계산 결과를 버스(72), 통신 IF(71)를 통하여 화상 표시 처리 장치(52)에 공급한다.
근거리 화상 분리부(69)는, 거리 계산부(67)에서의 계산 결과와 절출 화상에 의거하여, 3차원 공간상에 배치된 가상 화상보다도 근거리에 있는 피사체, 즉 유저측에 위치하는 피사체만이 표시되는 근거리 화상을 생성하고, 화상 출력부(70)에 공급한다. 구체적으로는, 근거리 화상 분리부(69)에서는, 3차원 공간상에서의 가상 화상과 표시 장치(11)와의 거리에 의거하여, 절출 화상에 대한 화상 분리가 행하여지고, 근거리 화상이 생성된다.
화상 출력부(70)는, 근거리 화상 분리부(69)로부터의 근거리 화상이나, 카메라 처리부(65)로부터의 입력 화상을 화상 표시 처리 장치(52)에 출력한다. 통신 IF(71)는, 화상 표시 처리 장치(52)와의 정보의 송수신을 행한다. 예를 들면 통신 IF(71)는, 화상 처리 장치(51)의 각 부분으로부터의 제어 정보나 각종의 정보를 화상 표시 처리 장치(52)에 송신한다.
또한, 화상 표시 처리 장치(52)는, 통신 IF(81), 화상 입력부(82), CPU(83), ROM(84), RAM(85), 화상 표시 처리부(86), 화상 출력부(87), 및 버스(88)로 구성된다. 화상 표시 처리 장치(52)에서는, 통신 IF(81) 내지 화상 출력부(87)가 버스(88)를 통하여 상호 접속되어 있다.
통신 IF(81)는, 통신 IF(71)와 정보의 송수신을 행한다. 화상 입력부(82)는, 화상 출력부(70)와 접속되어 있고, 화상 출력부(70)로부터 화상의 공급을 받아, 버스(88)를 통하여 화상 표시 처리 장치(52)의 각 부분에 화상을 출력한다. 예를 들면, 화상 입력부(82)는 화상 출력부(70)로부터 근거리 화상이나 입력 화상의 공급을 받는다.
CPU(83)는, ROM(84)나 RAM(85)에 기록되어 있는 프로그램이나 데이터, 화상 처리 장치(51)로부터 공급된 정보나 화상을 이용하여, 각종의 제어나 화상 처리를 행한다. 예를 들면 CPU(83)는, ROM(84)에 기록되어 있는 가상 화상에 근거리 화상을 합성하거나, 근거리 화상이 합성된 가상 화상을 다시 입력 화상에 합성하여 출력 화상을 생성하거나 한다.
ROM(84)은, 가상 화상 등의 각종의 화상이나 데이터, 프로그램 등을 기록한다. RAM(85)은, 화상이나 각종의 데이터, 프로그램 등을 일시적으로 기록한다.
화상 표시 처리부(86)는, 화상 표시부(21)에 표시하는 출력 화상 등의 화상에 관해, 버퍼 처리 등의 화상 처리를 행한다. 화상 출력부(87)는, 화상 표시 처리부(86)에서 화상 처리된 출력 화상 등의 화상을 화상 표시부(21)에 출력하고, 표시시킨다.
<터치 조작과 화상 표시에 관해>
계속해서, 도 4를 참조하여, 도 3의 표시 장치(11)에 의해 행하여지는 처리의 흐름에 관해 설명한다. 또한, 도 4에서 도 3에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 3에서는, 결정부(121L) 및 결정부(121R)는, CPU(61) 및 CPU(83)에 의해 실현되고, 화상 절출부(66L) 및 화상 절출부(66R)는 화상 절출부(66)에 의해 실현된다. 또한, 터치 좌표 계산부(68L) 및 터치 좌표 계산부(68R)는, 터치 좌표 계산부(68)에 의해 실현되고, 근거리 화상 분리부(69L) 및 근거리 화상 분리부(69R)는 근거리 화상 분리부(69)에 의해 실현된다. 또한, 터치 처리부(122), 가상 화상 합성부(123L), 가상 화상 합성부(123R), 표시 화상 합성부(124L), 및 표시 화상 합성부(124R)는 CPU(83)에 의해 실현된다.
또한, 이하, 결정부(121L) 및 결정부(121R)를 특히 구별할 필요가 없는 경우, 단지 결정부(121)라고도 칭하고, 화상 절출부(66L) 및 화상 절출부(66R)를 특히 구별할 필요가 없는 경우, 단지 화상 절출부(66)라고도 칭한다.
또한, 이하, 터치 좌표 계산부(68L) 및 터치 좌표 계산부(68R)를 특히 구별할 필요가 없는 경우, 단지 터치 좌표 계산부(68)라고도 칭하고, 근거리 화상 분리부(69L) 및 근거리 화상 분리부(69R)를 특히 구별할 필요가 없는 경우, 단지 근거리 화상 분리부(69)라고도 칭한다. 또한, 가상 화상 합성부(123L) 및 가상 화상 합성부(123R)를 특히 구별할 필요가 없는 경우, 단지 가상 화상 합성부(123)라고도 칭하고, 표시 화상 합성부(124L) 및 표시 화상 합성부(124R)를 특히 구별할 필요가 없는 경우, 단지 표시 화상 합성부(124)라고도 칭한다.
표시 장치(11)에서는, 우선 촬상부(22L) 및 촬상부(22R)에 의해, 좌안용 및 우안용의 입력 화상인 좌입력 화상(IPL) 및 우입력 화상(IPR)이 촬상된다. 그리고, 좌입력 화상(IPL)은 화상 절출부(66L) 및 표시 화상 합성부(124L)에 공급되고, 우입력 화상(IPR)은 화상 절출부(66R) 및 표시 화상 합성부(124R)에 공급된다.
이들의 좌입력 화상(IPL) 및 우입력 화상(IPR)은 서로 시차를 갖는 화상이다.
또한, 결정부(121L)에 의해, 좌입력 화상(IPL)에 합성되는 가상 화상(V21L)과, 그 가상 화상(V21L)의 표시 위치와 사이즈, 및 거리가 결정된다. 여기서, 가상 화상(V21L)의 표시 위치와 사이즈는, 출력 화상상에서의 위치와 사이즈이다. 또한, 표시되는 가상 화상(V21L)의 거리란, 실공간상, 보다 상세하게는 3차원의 확장 현실 공간에서의 촬상부(22)로부터 가상 화상(V21L)까지의 거리이다.
결정부(121L)는, 결정한 가상 화상(V21L)의 표시 위치, 사이즈, 및 거리를 화상 절출부(66L) 및 표시 화상 합성부(124L)에 공급함과 함께, 가상 화상(V21L)을 가상 화상 합성부(123L)에 공급한다.
또한, 실제로는, 좌입력 화상(IPL)의 표시 위치, 사이즈, 및 거리가, CPU(61)로부터 화상 절출부(66)나 CPU(83)에 공급되고, 가상 화상(V21L)이 CPU(83)에 의래 ROM(84)으로부터 판독되게 된다.
마찬가지로, 결정부(121R)에 의해, 우입력 화상(IPR)에 합성되는 가상 화상(V21R)과, 그 가상 화상(V21R)의 표시 위치와 사이즈, 및 거리가 결정된다.
결정부(121R)는, 결정한 가상 화상(V21R)의 표시 위치, 사이즈, 및 거리를 화상 절출부(66R) 및 표시 화상 합성부(124R)에 공급함과 함께, 가상 화상(V21R)을 가상 화상 합성부(123R)에 공급한다.
화상 절출부(66L)는, 가상 화상(V21L)의 표시 위치 및 사이즈와, 시차 마진에 의해 정하여지는 좌입력 화상(IPL)상의 영역을 절출하여 절출 화상(CPL)으로 하여, 거리 계산부(67)에 공급한다. 마찬가지로, 화상 절출부(66R)는, 가상 화상(V21R)의 표시 위치 및 사이즈와, 시차 마진에 의해 정하여지는 우입력 화상(IPR)상의 영역을 절출하여 절출 화상(CPR)으로 하여, 거리 계산부(67)에 공급한다.
절출 화상(CPL)과 절출 화상(CPR)은, 입력 화상상에서의 가상 화상이 표시되는 영역 근방의 화상이기 때문에, 절출 화상은, 가상 화상에 대해 조작을 행하려고 하는 유저의 손 등이 포함되어 있는 화상으로 된다. 또한, 가상 화상에 대한 조작은, 유저의 손으로 한하지 않고, 펜 등과 같은 것으로 행하여져도 좋지만, 이하에서는 유저가 손으로 가상 화상에 대한 터치 조작을 행하는 것으로 하여 설명을 계속한다.
거리 계산부(67)는, 절출 화상(CPL)과 절출 화상(CPR)에 의거하여, 절출 화상상의 각 영역에 있는 피사체의 거리를 계산하고, 터치 좌표 계산부(68L), 터치 좌표 계산부(68R), 근거리 화상 분리부(69L), 및 근거리 화상 분리부(69R)에 공급한다. 또한, 거리 계산부(67)는, 절출 화상(CPL)을 근거리 화상 분리부(69L)에 공급함과 함께, 절출 화상(CPR)을 근거리 화상 분리부(69R)에 공급한다.
터치 좌표 계산부(68L)는, 거리 계산부(67)의 계산 결과에 의거하여, 가상 화상(V21L)에 대한 유저의 터치 위치의 좌표를 계산하고, 터치 처리부(122)에 공급한다. 마찬가지로 터치 좌표 계산부(68R)는, 거리 계산부(67)의 계산 결과에 의거하여, 가상 화상(V21R)에 대한 유저의 터치 위치의 좌표를 계산하고, 터치 처리부(122)에 공급한다.
터치 처리부(122)는, 터치 좌표 계산부(68L)와 터치 좌표 계산부(68R)로부터의 터치 위치의 좌표의 계산 결과에 응한 처리를, 표시 장치(11)의 각 부분에 실행시킨다.
근거리 화상 분리부(69L)는, 거리 계산부(67)의 계산 결과에 의거하여, 절출 화상(CPL)으로부터 근거리 화상(NPL)을 생성하고, 가상 화상 합성부(123L)에 공급한다. 마찬가지로, 근거리 화상 분리부(69R)는, 거리 계산부(67)의 계산 결과에 의거하여, 절출 화상(CPR)으로부터 근거리 화상(NPR)을 생성하고, 가상 화상 합성부(123R)에 공급한다.
가상 화상 합성부(123L)는, 결정부(121L)로부터 공급된 가상 화상(V21L)상에, 근거리 화상 분리부(69L)로부터의 근거리 화상(NPL)을 합성하여 합성 화상(MPL)으로 하여, 표시 화상 합성부(124L)에 공급한다. 가상 화상 합성부(123R)는, 결정부(121R)로부터 공급된 가상 화상(V21R)상에, 근거리 화상 분리부(69R)로부터의 근거리 화상(NPR)을 합성하여 합성 화상(MPR)으로 하여, 표시 화상 합성부(124R)에 공급한다. 가상 화상 합성부(123)에서는, 가상 화상의 앞측(手前側)에 근거리 화상이 표시되도록 화상 합성이 행하여진다.
표시 화상 합성부(124L)는, 결정부(121L)로부터 공급된 표시 위치와 사이즈에 의해 정하여지는 좌입력 화상(IPL)상의 영역에, 가상 화상 합성부(123L)로부터의 합성 화상(MPL)을 합성하여 좌출력 화상(OPL)으로 한다. 표시 화상 합성부(124R)는, 결정부(121R)로부터 공급된 표시 위치와 사이즈에 의해 정하여지는 우입력 화상(IPR)상의 영역에, 가상 화상 합성부(123R)로부터의 합성 화상(MPR)을 합성하고 우출력 화상(OPR)으로 한다. 표시 화상 합성부(124)에서는, 입력 화상의 앞측에 합성 화상이 표시되도록 화상 합성이 행하여진다.
이와 같이 하여 얻어진, 서로 시차를 갖는 좌출력 화상(OPL)과 우출력 화상(OPR)이, 출력 화상으로서 유저에게 제시된다.
<피사체의 거리 계산에 관해>
또한, 도 5를 참조하여, 거리 계산부(67)에 의해 행하여지는, 절출 화상상의 각 영역의 피사체까지의 거리의 계산에 관해, 보다 상세히 설명한다. 또한, 도 5에서, 도 4에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
이 예에서는, 레벨 조정부(151L) 및 레벨 조정부(151R)는, 화상 절출부(66L) 및 화상 절출부(66R)로부터의 절출 화상(CPL) 및 절출 화상(CPR)의 레벨 조정을 행하고, 축소부(152L)와 선단 근방 추출부(155L), 및 축소부(152R)와 선단 근방 추출부(155R)에 공급한다. 레벨 조정에서는, 절출 화상(CPL)과 절출 화상(CPR)의 밝기, 즉 휘도 레벨이 거의 같게 되도록 레벨 보정이 행하여진다.
축소부(152L) 및 축소부(152R)는, 레벨 조정부(151L) 및 레벨 조정부(151R)로부터의 절출 화상(CPL) 및 절출 화상(CPR)을 1/n의 크기로 축소시키고, 스테레오 매칭부(153)에 공급한다.
또한, 이하, 레벨 조정부(151L)와 레벨 조정부(151R)를 특히 구별할 필요가 없는 경우, 단지 레벨 조정부(151)라고도 칭하고, 축소부(152L)와 축소부(152R)를 특히 구별할 필요가 없는 경우, 단지 축소부(152)라고도 칭한다.
스테레오 매칭부(153)는, 예를 들면 SAD(Sum of Absolute Differences), SSD(Sum of Squared Differences), CC(Cross Correlation) 등을 행함으로써, 축소부(152)로부터 공급된, 축소 후의 절출 화상(CPL) 및 절출 화상(CPR)의 스테레오 매칭을 행한다.
이 스테레오 매칭에 의해, 절출 화상의 각 영역에서의 시차를 나타내는 정보를 얻을 수 있다. 각 영역에서의 절출 화상(CPL)과 절출 화상(CPR)의 시차, 이미 알고 있는 촬상부(22L) 및 촬상부(22R) 사이의 거리, 및 각 촬상부(22)의 초점 거리를 이용하면, 3차원 공간에서의 표시 장치(11)로부터 피사체까지의 거리를 구할 수 있다. 따라서 스테레오 매칭의 계산 결과로서 얻어지는, 절출 화상의 각 영역의 시차는, 3차원 공간에서의 표시 장치(11)(촬상부(22))로부터, 절출 화상의 각 영역의 피사체까지의 거리를 나타내는 거리 정보라고 할 수 있다.
선단 좌표 계산부(154L) 및 선단 좌표 계산부(154R)는, 스테레오 매칭부(153)로부터 공급된 스테레오 매칭의 계산 결과에 의거하여, 터치 조작을 행하는 유저의 손의 선단 위치의 좌표를 계산한다.
예를 들면, 절출 화상상의 각 영역 중, 스테레오 매칭으로 얻어진 시차(d)가, 촬상부(22)로부터 가상 화상까지의 거리를 나타내는 시차(D)와 일치하는 영역의 각 좌표가 추출된다. 그리고, 추출된 좌표의 점이 d>D가 되는 점(영역)의 주변에 있는 경우, d=D가 되는 각 점의 선단의 중앙치가, 터치 조작을 행하는 유저의 손의 선단 위치의 좌표, 즉 유저의 터치 위치가 된다.
환언하면, 이 처리에서는 절출 화상의 각 영역 중, 3차원 공간에서의 가상 화상의 위치에 있는 피사체의 영역이 추출되고, 추출된 영역의 위치가 유저의 터치 위치가 된다.
선단 근방 추출부(155L)는, 레벨 조정부(151L)로부터 공급된 절출 화상에서의, 선단 좌표 계산부(154L)로부터 공급된 좌표에 의해 나타나는 선단 위치의 근방의 영역을 절출하여 근방 화상으로 하여, 보정 스테레오 매칭부(156)에 공급한다. 마찬가지로, 선단 근방 추출부(155R)는, 레벨 조정부(151R)로부터 공급된 절출 화상에서의, 선단 좌표 계산부(154R)로부터 공급된 좌표에 의해 나타나는 선단 위치의 근방의 영역을 절출하여 근방 화상으로 하여, 보정 스테레오 매칭부(156)에 공급한다.
또한, 이하, 선단 좌표 계산부(154L)와 선단 좌표 계산부(154R)를 특히 구별할 필요가 없는 경우, 단지 선단 좌표 계산부(154)라고도 칭하고, 선단 근방 추출부(155L)와 선단 근방 추출부(155R)를 특히 구별할 필요가 없는 경우, 단지 선단 근방 추출부(155)라고도 칭한다.
보정 스테레오 매칭부(156)는, 선단 근방 추출부(155L)로부터의 근방 화상과, 선단 근방 추출부(155R)로부터의 근방 화상을 이용하여 스테레오 매칭을 행하고, 그 결과를 터치 좌표 계산부(68L) 및 터치 좌표 계산부(68R)에 공급한다.
터치 좌표 계산부(68)는, 보정 스테레오 매칭부(156)로부터 공급된 스테레오 매칭의 결과에 의거하여, 유저의 터치 위치의 좌표를 계산한다.
예를 들면, 도 6에 도시하는 바와 같이 절출 화상(CP21)이 1/n배로 축소되어, 화상(SP21)이 얻어졌다고 한다. 스테레오 매칭부(153)에서는, 좌우의 각 화상(SP21)에 대한 스테레오 매칭이 행하여지고, 또한 그 계산 결과를 이용하여 선단 좌표 계산부(154)에서 계산이 행하여져서, 유저의 손의 선단 위치(PO11)의 좌표(X, Y)가 얻어진다. 여기서, 좌표(X, Y)는, 절출 화상상의 좌표라도 좋고, 입력 화상상의 좌표라도 좋다.
이와 같이 하여 절출 화상(CP21)을 축소하여 스테레오 매칭을 행하면, 적은 처리량으로 신속하게 처리 결과를 얻을 수 있지만, 원래의 절출 화상(CP21)을 축소하고 있기 때문에, 그 만큼 오차가 생긴다.
그래서, 원래의 절출 화상(CP21)으로부터, 선단 위치(PO11)에 대응하는 선단 위치(PO11') 근방의 화상이 근방 화상(EP21)으로서 절출되고, 보정 스테레오 매칭부(156)에서, 좌우의 각 근방 화상(EP21)에 관해 스테레오 매칭이 행하여진다.
여기서, 근방 화상(EP21)이 되는 영역은, 예를 들면 좌표가 (nX, nY)인 선단 위치(PO11')를 포함하고, 도면 중, 종방향으로 (n+α)화소, 횡방향으로 (n+α)화소로 이루어지는 영역으로 된다. 또한, α는 미리 정하여진 임의의 값으로 된다.
근방 화상(EP21)의 스테레오 매칭에 의해 근방 화상(EP21)의 각 영역에서의 시차(d)를 나타내는 정보가 얻어지기 때문에, 터치 좌표 계산부(68)에서는, 선단 좌표 계산부(154)에서의 처리와 마찬가지의 처리가 행하여져서, 최종적인 터치 위치(PO12)의 좌표가 산출된다. 즉, 근방 화상(EP21)에서의 시차(d)=D가 되는 위치가 터치 위치(PO12)가 된다. 이와 같이 축소한 화상으로부터 선단 위치의 좌표를 구하고 두고, 재차, 원래의 화상으로부터 선단 위치(터치 위치)를 구함으로써, 적은 연산량으로 정확한 터치 위치를 얻을 수 있다.
도 5의 설명으로 되돌아와, 근거리 마스크 생성부(157L)는, 스테레오 매칭부(153)로부터 공급된 스테레오 매칭의 계산 결과에 의거하여, 절출 화상에서 가상 화상보다도 유저측에 있는 피사체의 영역을 나타내는 마스크 화상을 생성하여, 확대부(158L)에 공급한다.
예를 들면, 근거리 마스크 생성부(157L)는, 축소 후의 절출 화상상의 각 영역 중, 스테레오 매칭에 의해 얻어진 시차(d)가 가상 화상까지의 거리를 나타내는 시차(D) 이상인 영역을 추출하고, 그 영역을 나타내는 화상을 마스크 화상으로서 생성한다. 예를 들면 마스크 화상의 각 영역의 값(화소치)은, d≥D인 영역의 값이 1로 되고, d<D인 영역의 값이 0으로 된다. 시차(d)가 d≥D인 영역은, 3차원 공간에서 가상 화상보다도 근거리(유저측)에 위치하는 피사체의 영역이다.
확대부(158L)는, 근거리 마스크 생성부(157L)로부터 공급된 마스크 화상을 절출 화상(CPL)과 같은 크기로 확대하여, 근거리 화상 분리부(69L)에 공급한다. 즉, 확대부(158L)에서는, 마스크 화상이 n배의 크기로 확대된다.
또한, 근거리 마스크 생성부(157R)는, 스테레오 매칭부(153)로부터 공급된 스테레오 매칭의 계산 결과에 의거하여 마스크 화상을 생성하고, 확대부(158R)에 공급한다. 확대부(158R)는, 근거리 마스크 생성부(157R)로부터 공급된 마스크 화상을 절출 화상(CPR)과 같은 크기로 확대하여, 근거리 화상 분리부(69R)에 공급한다.
또한, 이하, 근거리 마스크 생성부(157L)와 근거리 마스크 생성부(157R)를 특히 구별할 필요가 없는 경우, 단지 근거리 마스크 생성부(157)라고도 칭하고, 확대부(158L)와 확대부(158R)를 특히 구별할 필요가 없는 경우, 단지 확대부(158)라고도 칭한다.
근거리 화상 분리부(69)는, 화상 절출부(66)로부터 공급된 절출 화상과, 확대부(158)로부터 공급된 마스크 화상에 의거하여 근거리 화상을 생성한다.
이상과 같이, 거리 계산부(67)에 의해 실현되는 레벨 조정부(151) 내지 확대부(158)에 의해, 절출 화상상의 각 피사체까지의 거리를 나타내는 거리 정보가 얻어지고, 또한 거리 정보로부터 터치 좌표 정보와 근거리 화상 정보가 얻어진다.
<터치 인식 처리의 설명>
다음에, 도 7의 플로 차트를 참조하여, 표시 장치(11)가 출력 화상을 표시함과 함께, 유저에 의한 가상 화상에의 조작을 인식하고, 그 조작에 응한 처리를 실행하는 처리인 터치 인식 처리에 관해 설명한다.
스텝 S11에서, 결정부(121)는, 가상 화상과, 가상 화상의 사이즈, 표시 위치, 및 거리를 결정하고, 결정한 사이즈 등의 정보 및 가상 화상을 필요에 응하여 화상 절출부(66), 가상 화상 합성부(123), 및 표시 화상 합성부(124)에 공급한다. 또한, 상술한 바와 같이, 가상 화상의 표시 위치와 사이즈는, 출력 화상상에서의 표시 위치 및 사이즈이고, 가상 화상의 거리는, 3차원 공간에서 촬상부(22)로부터 가상 화상까지의 거리이다.
예를 들면 가상 화상의 사이즈, 표시 위치, 및 가상 화상까지의 거리가 미리 초기치로서 정하여져 있는 경우, 결정부(121)는 그들의 정보를, 버스(72)를 통하여 ROM(62)으로부터 판독함으로써, 사이즈, 표시 위치, 및 거리를 결정한다.
또한, 가상 화상의 사이즈나 표시 위치 등은, 유저에 의해 지정되어도 좋고, 좌우의 입력 화상의 시차에 맞추어서 보정되도록 하여도 좋다. 또한, 유저의 좌우의 눈의 어느 쪽을 기준으로 하여 가상 화상의 터치 인식을 행하든지 등에 의해 가상 화상의 사이즈 등이 정하여지도록 하여도 좋다. 또한, 좌안용 및 우안용의 각 절출 화상으로부터 구한 터치 위치 중, 일방의 터치 위치에서는 가상 화상상의 버튼 등을 터치하고 있지 않는 경우에는, 타방의 터치 위치에 응하여 가상 화상의 표시 위치 등이 정하여져도 좋다.
스텝 S12에서, 화상 절출부(66)는, 카메라 처리부(65)로부터의 입력 화상으로부터, 결정부(121)로부터 공급된 가상 화상의 표시 위치와 사이즈에 의해 정하여지는 영역의 절출을 행하고, 그 결과 얻어진 절출 화상을 레벨 조정부(151) 및 근거리 화상 분리부(69)에 공급한다.
스텝 S13에서, 거리 계산부(67)는, 거리 측정 처리를 행하여 절출 화상상의 각 피사체까지의 거리를 측정한다. 또한, 거리 측정 처리의 상세는 후술하지만, 거리 측정 처리에서는, 절출 화상상의 각 영역의 시차가 구하여져서 터치 좌표 계산부(68)에 공급됨과 함께, 마스크 화상이 생성되어 근거리 화상 분리부(69)에 공급된다.
스텝 S14에서, 근거리 화상 분리부(69)는, 거리 계산부(67)의 확대부(158)로부터 공급된 마스크 화상을 이용하여, 거리 계산부(67)를 통하여 화상 절출부(66)로부터 공급된 절출 화상으로부터 근거리 화상을 분리한다.
즉, 절출 화상의 영역 중, 마스크 화상에 의해 나타나는, 3차원 공간에서의 가상 화상의 배치 위치보다도 유저측에 있는 피사체의 영역이 추출되어 근거리 화상이 된다. 예를 들면, 근거리 화상은, 절출 화상과 마스크 화상의 곱을 구함으로써 생성된다. 이와 같이 하여 얻어진 근거리 화상은, 근거리 화상 분리부(69)로부터 가상 화상 합성부(123)에 공급된다.
스텝 S14의 처리가 행하여지면, 그 후, 처리는 스텝 S18으로 진행한다.
또한, 스텝 S15에서, 터치 좌표 계산부(68)는, 거리 계산부(67)의 보정 스테레오 매칭부(156)로부터 공급된 스테레오 매칭의 결과에 의거하여, 유저의 가상 화상에의 터치 위치의 좌표를 산출하고, 터치 처리부(122)에 공급한다.
스텝 S16에서, 터치 처리부(122)는, 터치 좌표 계산부(68)로부터 공급된 터치 위치의 좌표에 의거하여, 가상 화상상의 버튼 등이 터치되었는지의 여부, 즉 유저가 버튼 등의 표시 위치에 접촉하여 처리의 실행을 지시하였는지의 여부를 판정한다.
또한, 유저의 터치 위치는, 터치 좌표 계산부(68L)로부터 공급된 좌표와, 터치 좌표 계산부(68R)로부터 공급된 좌표와의 중앙치 등으로 되어도 좋다. 또한, 좌안용의 절출 화상으로부터 구한 터치 위치에서는 버튼 등을 터치하고 있지 않고, 우안용의 절출 화상으로부터 구한 터치 위치에서는 버튼 등을 터치하고 있는 경우, 우안용의 절출 화상으로부터 구한 터치 위치의 무게를 보다 크게 하여 최종적인 터치 위치를 구하여도 좋다.
스텝 S16에서, 터치 되었다고 판정된 경우, 스텝 S17에서, 터치 처리부(122)는, 유저의 터치 조작에 응한 처리를 표시 장치(11)의 각 부분에 실행시킨다.
예를 들면 터치 조작에 응한 처리는, 화상의 표시나 음성의 재생 등으로 된다. 구체적으로는 터치 처리부(122)는, 가상 화상상의 유저에 의해 터치된 영역을 빛나게 하는 등, 표시색을 변경시키거나, 터치 조작으로 지정된 음성을 재생시키거나 한다. 또한, 출력 화상을 플래시 표시시키거나, 가상 화상의 색을 변경함과 함께 가상 화상의 표시 위치를 전후 방향으로 이동시키거나 하도록으로 하여도 좋다.
터치 조작에 응한 처리를 실행시키면, 그 후, 처리는 스텝 S18으로 진행한다. 또한, 스텝 S16에서, 터치 되지 않았다고 판정된 경우, 스텝 S17의 처리는 행하여지지 않고, 처리는 스텝 S18로 진행한다.
이와 같이, 표시 장치(11)에서는, 스텝 S14의 처리와, 스텝 S15 내지 스텝 S17의 처리가 병렬로 행하여진다.
스텝 S14의 처리가 행하여지고, 또한 스텝 S17의 처리가 행하여졌는지, 또는 스텝 S16에서 터치 되어 있지 않다고 판정되면, 스텝 S18의 처리가 행하여진다. 스텝 S18에서, 가상 화상 합성부(123)는, 결정부(121)로부터의 가상 화상상에, 근거리 화상 분리부(69)로부터의 근거리 화상을 합성하고, 표시 화상 합성부(124)에 공급한다.
근거리 화상은, 가상 화상이 표시되는 영역 근방을 절출하여 얻어지는 절출 화상에서의, 3차원 공간상에서 가상 화상보다도 유저측에 있는 피사체의 화상이다. 따라서 근거리 화상은, 입력 화상상에 가상 화상을 중첩 표시한 경우에, 가상 화상보다도 앞측에 있는데도 불구하고, 가상 화상에 은폐되어 보이지 않게 되어 버리는 입력 화상상의 피사체의 화상이라고 할 수 있다.
이와 같은 근거리 화상을 가상 화상의 위에 겹쳐서 합성함으로써, 입력 화상에 가상 화상을 중첩시키는 경우에도, 본래라면 보여야 할 피사체가 보이지 않게 되어 버리는 것을 방지하여, 보다 리얼한 확장 현실의 화상을 얻을 수 있게 된다.
스텝 S19에서, 표시 화상 합성부(124)는, 결정부(121)로부터 공급된 가상 화상의 표시 위치와 사이즈에 의해 정하여지는 입력 화상상의 영역에, 가상 화상 합성부(123)로부터 공급된 합성 화상을 합성하여 출력 화상으로 한다.
표시 화상 합성부(124)는, 이와 같이 하여 얻어진 출력 화상을 버스(88), 화상 표시 처리부(86), 및 화상 출력부(87)를 통하여 화상 표시부(21)에 공급하여, 표시시킨다. 이에 의해, 유저에게는, 현실에 존재하는 피사체뿐만 아니라, 가상 화상도 표시되는 출력 화상이 입체적으로 보이게 된다.
예를 들면 출력 화상상에 가상 화상으로서 전자 서적을 표시시키고, 유저가 가상 화상에 대한 조작을 행하여 전자 서적을 읽을 수 있도록 하여도 좋다. 또한, 가상 화상으로서 다기능형 전화기의 표시 화면을 표시시키고, 유저가 마치 다기능형 전화기를 조작하고 있는 것과 같은 유저 인터페이스를 실현하도록 하여도 좋다.
스텝 S20에서, CPU(83)는 처리를 종료하는지의 여부를 판정한다. 스텝 S20에서, 아직 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝 S11로 되돌아와, 상술한 처리가 반복된다.
이에 대해, 스텝 S20에서, 처리를 종료한다고 판정된 경우, 터치 인식 처리는 종료한다.
이상과 같이 하여, 표시 장치(11)는, 절출 화상에 관해 거리 계산을 행하여 가상 화상에의 유저의 터치 조작을 인식하고, 그 인식 결과에 응한 처리를 행함과 함께, 출력 화상을 생성하고, 표시시킨다.
이와 같이 임의의 위치에 가상 화상을 표시시키고, 그 가상 화상에의 터치 조작을, 절출 화상의 각 영역의 피사체까지의 거리에 의거하여 인식함으로써, 표시 장치(11)의 조작성을 향상시킬 수 있다.
즉, 표시 장치(11)에 의하면, 가상 화상의 배치 위치가 한정되지 않기 때문에, 보다 자유도가 높은 유저 인터페이스를 실현할 수 있다. 또한, 가상 화상까지의 거리와 같은 거리의 피사체 영역을 추출하여 터치 조작을 인식함으로써, 손이나 발로 한하지 않고 임의의 것으로 가상 화상에 대한 조작을 행할 수 있어서, 조작성을 향상시킬 수 있다. 게다가, 이 경우, 손 등의 화상 인식 처리가 불필요하여, 미리 손 등을 등록하여 둘 필요가 없고, 자유도가 높은 유저 인터페이스를 실현할 수 있다.
또한, 표시 장치(11)에서는, 좌우의 화상을 이용하여, 즉 2안으로 처리를 행하기 때문에, 유저는 확장 현실의 공간에 표시되는 가상 화상까지의 거리감을 잡기 쉽고, 가상 화상에 대한 조작에 스트레스를 느끼지 않고 끝낸다.
<거리 측정 처리의 설명>
계속해서, 도 8의 플로 차트를 참조하여, 도 7의 스텝 S13의 처리에 대응하는 거리 측정 처리에 관해 설명한다.
스텝 S51에서, 레벨 조정부(151)는 화상 절출부(66)로부터 공급된 절출 화상의 레벨 조정을 행하여 축소부(152) 및 선단 근방 추출부(155)에 공급한다.
스텝 S52에서, 축소부(152)는, 레벨 조정부(151)로부터 공급된 절출 화상을 축소시켜, 스테레오 매칭부(153)에 공급한다.
스텝 S53에서, 스테레오 매칭부(153)는, 축소부(152)로부터 공급된 절출 화상에 의거하여 스테레오 매칭을 행하고, 그 결과 얻어진 절출 화상의 각 영역의 시차를 선단 좌표 계산부(154) 및 근거리 마스크 생성부(157)에 공급한다.
스텝 S54에서, 근거리 마스크 생성부(157)는, 스테레오 매칭부(153)로부터 공급된 절출 화상의 각 영역의 시차에 의거하여 마스크 화상을 생성하고, 확대부(158)에 공급한다.
그리고, 스텝 S55에서, 확대부(158)는, 근거리 마스크 생성부(157)로부터 공급된 마스크 화상을 확대시켜, 근거리 화상 분리부(69)에 공급한다.
또한, 스텝 S53의 처리가 행하여지면, 스텝 S56에서 선단 좌표 계산부(154)는, 스테레오 매칭부(153)로부터 공급된 스테레오 매칭의 계산 결과에 의거하여, 터치 조작을 행하는 유저의 손의 선단 위치의 좌표를 계산하고, 선단 근방 추출부(155)에 공급한다.
스텝 S57에서 선단 근방 추출부(155)는, 레벨 조정부(151)로부터 공급된 절출 화상에서의, 선단 좌표 계산부(154)로부터 공급된 좌표에 의해 나타나는 선단 위치의 근방의 영역을 절출하여 근방 화상으로 하여, 보정 스테레오 매칭부(156)에 공급한다.
스텝 S58에서, 보정 스테레오 매칭부(156)는, 선단 근방 추출부(155)로부터의 근방 화상을 이용하여 스테레오 매칭을 행하고, 그 결과를 터치 좌표 계산부(68)에 공급한다.
이와 같이 하여 스텝 S55 및 스텝 S58의 처리가 행하여지면, 거리 측정 처리는 종료하고, 그 후, 처리는 도 7의 스텝 S14 및 스텝 S15로 진행한다. 또한, 거리 측정 처리에서는, 스텝 S54 및 스텝 S55의 처리와, 스텝 S56 내지 스텝 S58의 처리는 병렬로 행하여진다.
이상과 같이 하여, 표시 장치(11)는, 좌우의 절출 화상을 이용하여 스테레오 매칭을 행하고, 그 계산 결과에 의거하여 마스크 화상을 생성함과 함께, 유저의 터치 위치를 인식하기 위한 거리 정보(시차 정보)를 구한다.
이와 같이 거리 계산부(67)에서는, 근거리 화상을 얻기 위한 마스크 화상 생성 등의 화상 처리와, 원래의 크기의 절출 화상의 스테레오 매칭 처리 등의 터치 인식을 위한 처리가 동시에 행하여지기 때문에, 터치 조작의 판정 등의 응답성을 향상시킬 수 있다. 즉, 자유도가 높고 응답성이 좋은 유저 인터페이스를 실현할 수 있다.
또한, 축소한 절출 화상에 대한 스테레오 매칭 등의 매칭 처리는, 근거리 화상을 얻기 위한 처리와, 터치 인식을 위한 처리에서 공통의 처리이기 때문에, 표시 장치(11) 전체에서의 처리량이 적어도 해결되어, 더욱 높은 응답 특성을 실현할 수 있다.
게다가 표시 장치(11)에서는, 매칭 처리를 이용하여 유저의 터치 위치를 구하고 있기 때문에, 유저의 손 등의 사전 등록이 불필요할뿐만 아니라, 유저의 수 등을 검출하는 센서 등도 필요로 하지 않는다. 그 때문에, 간단한 구성으로 표시 장치(11)를 실현할 수 있다.
<제1의 실시의 형태의 변형례 1>
<멀티 터치 인식에 관해>
또한, 이상에서는, 유저가 가상 화상상의 1점을 터치 조작하는 예에 관해 설명하였지만, 예를 들면 도 9에 도시하는 바와 같이 가상 화상상의 복수의 점을 동시에 터치 조작하도록 하여도 좋다. 또한, 도 9에서 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 9의 예에서는, 유저(U11)는, 오른손의 집게손가락과 엄지손가락의 2개의 손가락으로, 각각 가상 화상(V11)의 다른 위치를 터치하고 있고, 표시 장치(11)는 이들의 2개의 터치 위치를 인식하고, 그 터치 조작에 응한 처리를 실행한다.
이 경우, 도 7을 참조하여 설명한 터치 인식 처리와 같은 처리가 행하여진다. 단, 도 8의 스텝 S56에서, 유저의 터치 조작에 응하여 하나 또는 복수의 터치 위치가 검출되고, 스텝 S57에서는 터치 위치마다 근방 화상이 생성되고, 스텝 S58에서는 그들의 근방 화상마다 스테레오 매칭이 행하여진다.
그리고 도 7의 스텝 S15에서는, 각 터치 위치의 좌표가 산출되고, 스텝 S17에서, 하나 또는 복수의 터치 위치에 의해 특정되는 처리의 실행 제어가 터치 처리부(122)에 의해 행하여진다. 즉, 복수의 터치 위치의 위치 관계나, 터치 위치의 변화로부터 유저의 터치 조작이 인식되고, 그 조작에 응한 처리가 실행된다. 또한, 터치 좌표 계산부(68)에서는, 각 터치 위치를 구별할 수 있도록, 필요에 응하여 각 터치 위치에 ID가 부가된다.
이와 같이 멀티 터치 조작을 인식하도록 하면, 보다 자유도가 높은 유저 인터페이스를 실현할 수 있도록 된다.
<제1의 실시의 형태의 변형례 2>
<가상 화상의 표시에 관해>
또한, 이상에서는, 평면상에 가상 화상이 표시되는 경우를 예로서 설명하였지만, 예를 들면 도 10에 도시하는 바와 같이 가상 화상이 평면이 아닌 비평면, 즉 곡면이나, 요철이나 경사 등이 있는 면인 비평면상에 표시되도록 하여도 좋다. 또한, 도 10에서 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 10의 예에서는, 확장 현실의 3차원 공간상에서 가상 화상(V11)이 구면(SU11)상에 표시되어 있고, 유저(U11)는 구면상의 가상 화상(V11)에 대해 터치 조작을 행한다.
이 경우에서도, 도 7을 참조하여 설명한 터치 인식 처리와 같은 처리가 행하여진다. 단, 스텝 S11에서 결정되는 가상 화상의 각 영역에 관한 유저(표시 장치(11))로부터의 거리는, 가상 화상의 영역마다 다르다. 즉, 가상 화상까지의 거리는 일정한 거리가 아니라, 영역마다 다른 거리가 된다.
그 때문에, 도 8의 스텝 S54에서는, 가상 화상에 대응하는 절출 화상상의 영역마다, 가상 화상의 거리를 나타내는 시차(D)로서 다른 값이 사용되어, 마스크 화상이 생성된다. 즉, 가상 화상이 표시되는 비평면보다도 유저측에 있는 피사체가 근거리 화상으로서 분리된다.
또한, 도 8의 스텝 S56에서는, 가상 화상에 대응하는 절출 화상상의 영역마다, 시차(D)로서 다른 값이 사용되어 터치 위치의 좌표가 구하여진다. 즉, 시차(D)에 의해 정하여지는 가상 화상까지의 거리와 같은 거리(시차(d))인 절출 화상의 위치에 의거하여 터치 위치의 좌표가 구하여진다.
마찬가지로, 도 7의 스텝 S15에서도, 절출 화상상의 영역마다 다른 시차(D)가 사용되어, 터치 위치의 좌표가 구하여진다.
또한, 3차원 공간에서의 촬상부(22)로부터 가상 화상까지의 거리를 나타내는 시차(D)는, 가상 화상의 영역마다 미리 기록되어 있어도 좋고, 일부의 영역의 시차(D)만이 미리 기록되어 있고, 나머지 영역의 시차(D)는 보간 처리에 의해 구하여지도록 하여도 좋다.
이와 같이 가상 화상을 비평면상에 표시시킴으로써, 보다 자유도가 높은 유저 인터페이스를 실현할 수 있도록 된다. 예를 들면 구면상에 가상 화상을 표시시키면, 유저가 터치 조작으로 구면을 회전시켜서 지금까지 보이지 않았던 가상 화상의 버튼 등을 표시시키는 등, 보다 다양한 유저 인터페이스를 실현할 수 있도록 된다.
<제1의 실시의 형태의 변형례 3>
<가상 화상의 표시에 관해>
또한, 이상에서는, 하나의 가상 화상을 표시시키는 경우에 관해 설명하였지만, 예를 들면 도 11에 도시하는 바와 같이 복수의 가상 화상을 표시하도록 하여도 좋다. 또한, 도 11에서 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 11의 예에서는, 확장 현실 공간, 즉 출력 화상상에는 3개의 가상 화상(V41) 내지 가상 화상(V43)이 표시되어 있고, 유저(U11)는, 그 중의 하나의 가상 화상(V41)에 대해 터치 조작을 행하여 있다.
표시 장치(11)는, 이들의 가상 화상(V41) 내지 가상 화상(V43)에 대한 유저의 터치 조작을 인식하고, 터치 조작에 응한 처리를 실행한다.
이 경우, 도 7을 참조하여 설명한 터치 인식 처리와 같은 처리가 행하여진다. 단, 이 경우에는, 각 가상 화상이 개별의 ID를 가짐으로써, 스텝 S11 내지 스텝 S18의 각 처리가, 표시되는 가상 화상마다 독립하여 행하여지고, 각 가상 화상에 관해 얻어진 합성 화상이 스텝 S19에서 입력 화상에 합성되어, 출력 화상이 된다.
따라서 이 경우에는, 유저(U11)는, 각 가상 화상에 대해 개별적으로 터치 조작을 행하는 것이 가능하다.
이와 같이 복수의 가상 화상을 표시시키도록 하면, 보다 자유도가 높은 유저 인터페이스를 실현할 수 있도록 된다.
<표시 장치의 다른 구성례>
또한, 이상에서는, 표시 장치(11)가 도 3에 도시한 바와 같이 화상 처리 장치(51)와 화상 표시 처리 장치(52)를 포함하는 구성이 되는 경우에 관해 설명하였지만, 그 밖에, 어떠한 구성으로 되어도 좋다. 예를 들면 표시 장치(11)는, 도 12에 도시하는 바와 같이 구성되어도 좋다. 또한, 도 12에서, 도 3에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 12에 도시하는 표시 장치(11)는, 촬상부(22L), 촬상부(22R), 화상 처리 장치(191), 화상 표시부(21L), 및 화상 표시부(21R)로 구성된다.
이 예에서는, 화상 처리 장치(191)는, CPU(61), ROM(62), RAM(63), 카메라 입력부(64), 카메라 처리부(65), 화상 표시 처리부(86), 화상 출력부(87), 및 버스(72)로 구성되어 있다. 그리고, 이들의 CPU(61) 내지 화상 출력부(87)가 버스(72)를 통하여 상호 접속되어 있다.
화상 처리 장치(191)에서는, CPU(61)가 ROM(62)에 기록되어 있는 프로그램을 실행함으로써, 도 3에 도시한 화상 절출부(66) 내지 근거리 화상 분리부(69)나, 도 4에 도시한 터치 처리부(122) 내지 표시 화상 합성부(124) 등이 실현된다. 또한, 카메라 처리부(65)에서, 화상의 절출 등의 처리가 행하여져도 좋다.
<제2의 실시의 형태>
<가상 화상의 표시 위치의 보정에 관해>
그런데, 도 13에 도시하는 바와 같이 확장 현실 공간상에서, 가상 화상(V11)의 표시 위치가 고정되어 있고, 유저(U11)가 표시 장치(11)를 장착한 상태에서 두부(頭部)를 움직였다고 한다. 또한, 도 13에서, 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
이와 같이 가상 화상(V11)의 표시 위치가 고정되어 있는 경우에, 유저(U11)가 두부를 움직이면, 출력 화상상의 가상 화상(V11)의 합성 위치와, 실제의 확장 현실 공간상의 가상 화상(V11)의 위치에 어긋남이 생겨 버리게 된다.
구체적으로는, 예를 들면 도 14의 좌측에 도시하는 바와 같이, 표시 장치(11)의 촬상부(22L)와 촬상부(22R)의 각각을 기준으로 한 표시 좌표계가 정하여진다고 한다. 즉, 도면 중, 좌측에서, 우경사(右斜め) 상방향을 XL축방향, XR축방향으로 하고, 도면 중, 상방향을 Y축방향으로 하고, 도면 중, 좌경사 상방향을 Z축방향으로 한다.
촬상부(22L)를 기준으로 하는 표시 좌표계(이하, L표시 좌표계라고도 칭한다)는, 촬상부(22L)와 미리 정한 위치 관계의 점을 원점으로 하는 좌표계이고, 이 L표시 좌표계는 XL축, Y축, Z축을 각 축으로 하는 3차원의 좌표계이다.
또한, 촬상부(22R)를 기준으로 하는 표시 좌표계(이하, R표시 좌표계라고도 칭한다)는, 촬상부(22R)와 미리 정한 위치 관계의 점을 원점으로 하여, XR축, Y축, Z축을 각 축으로 하는 3차원의 좌표계이다.
지금, 예를 들면 표시 좌표계에서 가상 화상(V11)의 표시 위치나 사이즈, 거리가 지정되면, 그들의 표시 위치, 사이즈, 거리에 응하여 출력 화상상에 가상 화상(V11)이 표시되게 된다. 그러나, 도면 중, 우측에 도시하는 바와 같이 유저(U11)의 두부가 움직인 경우에는, 그 두부, 즉 표시 장치(11)의 위치나 방향, 경사의 변화에 응하여, 3차원의 실공간에 대한 표시 좌표계도 변화하게 된다.
이 예에서는, 두부 이동 후의 L표시 좌표계의 각 축을 XL'축, Y'축, Z'축으로 하면, XL축이 각도(θ)만큼 회전하여 XL"축이 되고, Y축이 각도(φ)만큼 회전하여 Y"축이 되고, Z축이 각도(ψ)만큼 회전하여 Z"축으로 되어 있다. R표시 좌표계에 대해서도 마찬가지로, XR축, Y축, Z축이 각각 각도(θ), 각도(φ), 각도(ψ)만큼 회전하여 XR"축, Y"축, Z"축으로 되어 있다.
그리고, 또한 XL"축, Y"축, Z"축이 평행 이동되어 두부 이동 후의 L표시 좌표계의 각 축인 XL'축, Y'축, Z'축으로 되어 있다. 또한, XR"축, Y"축, Z"축이 평행 이동되어 두부 이동 후의 R표시 좌표계의 각 축인 XR'축, Y'축, Z'축으로 되어 있다.
이와 같이 3차원의 실공간에서 표시 좌표계가 변화하면, 예를 들면 도면 중, 좌하에 도시하는 바와 같이 출력 화상의 거의 중앙에 위치하고 있던 가상 화상(V11)의 표시 위치를, 도면 중, 우하에 도시하는 바와 같이 유저(U11)의 두부의 이동에 응하여 이동시킬 필요가 있다. 도면 중, 우하의 예에서는, 가상 화상(V11)이 출력 화상상의 우상 방향으로 이동되어 있다.
따라서 유저(U11), 즉 표시 장치(11)의 방향(방향과 경사), 및 위치의 변화를 검출하고, 그 검출 결과에 응하여 출력 화상에서의 가상 화상(V11)의 표시 위치나 사이즈를 보정하는 기능을 표시 장치(11)에 마련하면, 가상 화상을 공간에 고정하는 것 같은 리얼한 확장 현실을 실현할 수 있다.
<표시 장치의 구성례>
이와 같이 가상 화상의 표시 위치 등의 보정 기능을 마련한 경우, 표시 장치(11)는, 예를 들면 도 15에 도시하는 바와 같이 구성된다. 또한, 도 15에서, 도 3에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 15에 도시하는 표시 장치(11)는, 센서(231) 및 센서 IF(232)가 새롭게 마련되어 있는 점에서 도 3에 도시하는 표시 장치(11)와 다르고, 그 밖의 구성은 도 3의 표시 장치(11)와 같게 되어 있다.
도 15에서는, 화상 표시 처리 장치(52)에 센서 IF(232)가 마련되어 있고, 센서(232)는 버스(88)에 접속되어 있다. 또한, 센서(231)는, 예를 들면 6축의 센서 등으로 이루어지고, 표시 장치(11)의 위치의 변화, 및 방향(방향과 경사)의 변화를 검출하고, 그 검출 결과를 센서 IF(232)에 출력한다.
<표시 위치 보정 처리의 설명>
다음에 도 16의 플로 차트를 참조하여, 도 15에 도시한 표시 장치(11)가 유저의 움직임을 검출하여 가상 화상의 표시 위치 등을 보정하는 처리인 표시 위치 보정 처리에 관해 설명한다.
스텝 S81에서, 결정부(121)는, 3차원 공간상의 가상 화상에 대해, 표시 장치(11)의 표시 좌표계에서의 가상 화상의 표시 위치, 사이즈, 및 거리와, 가상 화상을 결정한다. 또한, 이 처리는 도 7의 스텝 S11의 처리에 상당하고, 표시 좌표계에서의 가상 화상의 표시 위치 및 사이즈는, 출력 화상상에서의 가상 화상의 표시 위치 및 사이즈이다. 또한, 표시 좌표계에서의 가상 화상의 거리란, 가상 화상으로부터 촬상부(22)까지의 거리이다.
스텝 S82에서, 센서(231)는, 표시 장치(11)의 위치의 변화 및 방향의 변화를 검출하고, 그 검출 결과를 센서 IF(232)에 공급한다.
스텝 S83에서, CPU(83)는, 버스(88)를 통하여센서 IF(232)로부터 공급된 표시 장치(11)의 위치 및 방향의 변화에 의거하여, 표시 좌표계의 변화를 계산한다.
스텝 S84에서, CPU(83)는, 표시 좌표계의 변화의 계산 결과와, 스텝 S81에서 결정한 가상 화상의 표시 위치, 사이즈, 및 거리에 의거하여, 새로운 표시 좌표계에서의 가상 화상의 표시 위치, 사이즈, 및 거리를 산출한다.
즉, 3차원 공간상에서의 가상 화상의 위치 등은 고정된 채로 되고, 표시 좌표계의 변화에 응하여, 새로운 표시 좌표계에서 본 가상 화상의 표시 위치, 사이즈, 및 거리가 산출되고, 이에 의해 가상 화상의 표시 위치, 사이즈, 및 거리가 보정된다.
CPU(83)는, 새로운 표시 좌표계에서의 가상 화상의 표시 위치, 사이즈, 및 거리를 산출하면, 그 산출 결과를, 통신 IF(81) 및 통신 IF(71)를 통하여 CPU(61)에 공급하고, 표시 위치 보정 처리는 종료한다.
CPU(61)에 의해 실현되는 결정부(121)에서는, CPU(83)로부터 공급된 산출 결과를, 새로운 가상 화상의 표시 위치, 사이즈, 및 거리로서 이용한다. 이와 같이 하여, 유저의 움직임에 응하여 가상 화상의 표시 위치 등이 보정되면, 그 보정후의 표시 위치 등이 사용되어 도 7에 도시한 터치 인식 처리가 행하여지다. 또한, 센서(231)의 출력에 의거한 가상 화상의 새로운 표시 위치 등의 산출은, CPU(83)에 의해 행하여져도 좋고, CPU(61)에 의해 행하여져도 좋다.
이상과 같이 하여, 표시 장치(11)는, 표시 장치(11)의 위치 및 방향의 변화를 검출하고, 그 검출 결과에 의거하여, 가상 화상의 표시 위치 등을 보정한다. 이와 같이 표시 장치(11)의 움직임에 응하여 가상 화상의 표시 위치 등을 보정함에 의해, 마치 확장 현실 공간의 특정한 위치에 가상 화상이 고정 표시되어 있는 것과 같게 할 수가 있어서, 보다 리얼한 확장 현실을 실현할 수 있다.
또한, 이 예에서는, 가상 화상의 표시 위치, 사이즈, 및 거리를 보정(재계산)하는 예에 관해 설명하였지만, 표시 좌표계의 변화의 계산 결과에 의거하여, 출력 화상상에 표시되는 가상 화상의 형상도 CPU(83) 등에 의해 새롭게 구하여지고, 보정되도록 하여도 좋다.
<제3의 실시의 형태>
<가상 화상의 표시 위치의 조정에 관해>
또한, 이상에서는, 가상 화상의 표시 위치 등을 표시 장치(11)측에서 결정하는 경우를 예로서 설명하였지만, 가상 화상의 표시 위치 등을 유저가 임의로 조정할 수 있도록 하여도 좋다.
그와 같은 경우, 예를 들면 도 17에 도시하는 바와 같이 유저는 손바닥으로 가상 화상의 표시 위치나 거리 등을 조정한다. 또한, 도 17에서, 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 17의 예에서는, 유저(U11)의 왼손의 손바닥의 위치에 가상 화상(V11)이 표시되어 있다. 유저(U11)는, 왼쪽의 손바닥을 전후 좌우로 이동시킴으로써, 가상 화상(V11)의 표시 위치 등의 조정을 행한다.
이와 같이 손바닥으로 가상 화상의 표시 위치를 조정하는 경우, 도 3에 도시한 표시 장치(11)는, 도 18에 도시하는 처리를 행하여, 가상 화상의 표시 위치, 사이즈, 및 거리를 결정한다. 또한, 도 18에서, 도 4에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 18에 도시하는 예에서는, 우선 인식부(271L) 및 인식부(271R)가 좌입력 화상(IPL) 및 우입력 화상(IPR)으로부터 손바닥을 검출한다. 예를 들면, 인식부(271L) 및 인식부(271R)는, CPU(83)에 의해 실현되고, 인식부(271L) 및 인식부(271R)는, 버스(88), 화상 입력부(82), 화상 출력부(70), 버스(72)를 통하여 카메라 처리부(65)로부터 입력 화상을 취득한다.
인식부(271L) 및 인식부(271R)는, 입력 화상으로부터 유저의 손바닥을 검출하면, 손바닥의 위치와, 그 손바닥의 영역을 포함하는 근방 영역의 사이즈(크기)를 화상 절출부(66L) 및 화상 절출부(66R)에 공급한다. 또한, 이하, 인식부(271L) 및 인식부(271R)를 특히 구별할 필요가 없는 경우, 단지 인식부(271)라고도 칭한다.
화상 절출부(66L) 및 화상 절출부(66R)는, 인식부(271)로부터의 손바닥의 위치 및 근방 영역의 사이즈에 의거하여, 좌입력 화상(IPL) 및 우입력 화상(IPR)으로부터, 손바닥의 영역을 절출하여 절출 화상(HPL) 및 절출 화상(HPR)으로 하여, 거리 계산부(67)에 공급한다.
거리 계산부(67)는, 화상 절출부(66)로부터 공급된 좌우의 절출 화상에 의거하여 스테레오 매칭을 행하고, 그 계산 결과를 손바닥 거리 계산부(272)에 공급한다. 손바닥 거리 계산부(272)는, 거리 계산부(67)로부터 공급된 스테레오 매칭의 계산 결과에 의거하여, 손바닥의 위치, 및 촬상부(22)(표시 장치(11))로부터 손바닥까지의 거리를 구한다. 이와 같이 하여 구하여진 손바닥의 위치와 거리에 의거하여, 결정부(121)에 의해 가상 화상의 표시 위치, 사이즈, 및 거리가 결정된다.
또한, 손바닥 거리 계산부(272)는, 예를 들면 CPU(61)에 의해 실현된다. 또한, 표시 화상 합성부(124)에서는, 좌입력 화상(IPL) 및 우입력 화상(IPR)이 그대로 출력 화상이 되어 화상 표시부(21)에 표시된다.
또한, 여기서는 유저가 손바닥으로 가상 화상의 표시 위치 등을 조정하는 예에 관해 설명하였지만, 가상 화상의 표시 위치 등의 조정을 행하기 위한 인식 대상물은 손바닥으로 한하지 않고, 유저의 몸의 임의의 부위 등, 어떤 것을 이용하도록 하여도 좋다.
<장애물의 검출에 관해>
또한, 유저가 가상 화상에 대해 터치 조작을 행하는 경우, 예를 들면 도 19에 도시하는 바와 같이 가상 화상(V11)과 유저(U11)의 사이에 장애물(OB11)이 있으면, 유저(U11)의 손이 장애물(OB11)에 닿아 버리는 일도 있다. 또한, 도 19에서, 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
이 예에서는, 표시 장치(11)에 의해 장애물(OB11)도 촬상되기 때문에, 유저(U11)는 출력 화상상에서 장애물(OB11)을 확인할 수 있고, 장애물(OB11)을 피하여 터치 조작을 행할 수 있다. 그러나, 안전상(安全上)으로는, 가상 화상(V11)과 유저(U11)와의 사이에는, 장애물(OB11)이 존재하지 않는 편이 바람직하다.
그래서, 가상 화상(V11)과 표시 장치(11)와의 사이에 장애물(OB11)이 있는지의 여부를 검출하고, 그 검출 결과에 응하여 가상 화상(V11)의 표시를 제어하는 기능을 표시 장치(11)에 마련하도록 하여도 좋다. 도 19의 예에서는, 가상 화상(V11)상에 주의를 촉구하는 화상으로서 ×표시의 화상이 중첩 표시되어 있다.
이와 같이, 장애물을 검출하는 기능을 마련한 경우, 도 3에 도시한 표시 장치(11)는, 도 20에 도시하는 처리를 행하여, 유저와 표시 장치(11)와의 사이에 장애물이 있는지의 여부의 판정을 행한다. 또한, 도 20에서, 도 4에서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있고, 그 설명은 적절히 생략한다.
도 20에 도시하는 예에서는, 근거리 화상 분리부(69L)와 가상 화상 합성부(123L)와의 사이에 장애물 판정부(301L)가 마련되어 있고, 근거리 화상 분리부(69R)와 가상 화상 합성부(123R)와의 사이에 장애물 판정부(301R)가 마련되어 있다. 예를 들면, 장애물 판정부(301L) 및 장애물 판정부(301R)는, CPU(83)에 의해 실현된다.
예를 들면, 표시 장치(11)의 ROM(84) 등에는, 유저의 손이나 발, 펜 등, 미리 등록된 조작물의 특징을 나타내는 특징량 등의 데이터가 특징 데이터로서 미리 기록되어 있다. 여기서, 조작물이란 터치 조작 등의 가상 화상에 대한 조작을 행하는데 사용되는 것이고, 유저가 손으로 가상 화상에 대한 조작을 행하는 경우에는, 일반적인 손의 특징을 나타내는 데이터가 특징 데이터가 된다. 표시 장치(11)에는, 하나 또는 복수의 조작물에 관해, 특징 데이터가 기록되어 있다.
장애물 판정부(301L) 및 장애물 판정부(301R)는, 미리 기록되어 있는 특징 데이터를 이용하여, 근거리 화상 분리부(69L) 및 근거리 화상 분리부(69R)로부터 공급된 근거리 화상(NPL) 및 근거리 화상(NPR)으로부터 장애물을 검출한다.
구체적으로는, 예를 들면 근거리 화상상의 각 피사체의 영역에서 특징량이 추출되어, 미리 등록된 조작물의 특징량과 비교되어, 근거리 화상상의 피사체가 등록되어 있는 조작 물건인지의 여부가 판정된다. 그리고, 예를 들면 근거리 화상상에 등록된 조작물이 아닌 피사체가 있는 경우에는, 그 피사체가 장애물인 것으로 된다.
장애물 판정부(301L) 및 장애물 판정부(301R)는, 근거리 화상상에 장애물이 없다고 판정한 경우에는, 근거리 화상을 가상 화상 합성부(123L) 및 가상 화상 합성부(123R)에 그대로 공급한다.
또한, 장애물 판정부(301L) 및 장애물 판정부(301R)는, 근거리 화상상에 장애물이 있다고 판정한 때에는, 장애물이 있다는 취지의 문자 메시지나 화상을 출력 화상에 표시시키거나, 장애물이 있다는 취지의 음성 메시지를 재생시키거나 한다. 이 경우, 예를 들면 장애물이 있다는 취지의 화상이 근거리 화상에 합성되어 가상 화상 합성부(123)에 공급된다.
또한, 이하, 장애물 판정부(301L) 및 장애물 판정부(301R)를 특히 구별할 필요가 없는 경우, 단지 장애물 판정부(301)라고 칭하기로 한다.
<표시 위치 조정 처리의 설명>
다음에 도 21의 플로 차트를 참조하여, 도 3에 도시한 표시 장치(11)가 유저의 손바닥의 위치에 응하여 가상 화상의 표시 위치를 조정함과 함께, 장애물의 검출을 행하는 처리인 표시 위치 조정 처리에 관해 설명한다.
스텝 S121에서, CPU(83)는 처리를 시작하고 나서의 경과 시간이, 미리 설정한 시간 이내인지의 여부를 판정한다. 스텝 S121에서, 미리 설정한 시간 이내가 아니라고 판정된 경우, 표시 위치 조정 처리는 종료한다.
이에 대해 스텝 S121에서, 미리 설정한 시간 이내라고 판정된 경우, 스텝 S122에서, CPU(83)는, 리얼타임 화상을 출력 화상으로서 화상 표시부(21)에 표시시킨다. 즉, CPU(83)는 화상 입력부(82), 및 화상 출력부(70)를 통하여 카메라 처리부(65)로부터 입력 화상을 취득하여, 화상 표시 처리부(86) 및 화상 출력부(87)를 통하여 화상 표시부(21)에 공급함으로써, 입력 화상을 그대로 출력 화상으로서 표시시킨다.
스텝 S123에서, 인식부(271)는, 카메라 처리부(65)로부터 공급된 입력 화상으로부터 유저의 손바닥을 검출한다. 예를 들면 손바닥의 검출은, 특징량 등을 이용한 손 모양 인식 등에 의해 행하여진다.
스텝 S124에서, 인식부(271)는 손바닥이 검출되었는지의 여부를 판정한다. 스텝 S124에서, 손바닥이 검출되지 않았다고 판정된 경우, 처리는 스텝 S121로 되돌아와, 상술한 처리가 반복된다.
이에 대해, 스텝 S124에서, 손바닥이 검출되었다고 판정된 경우, 인식부(271)는, 검출의 결과 얻어진 손바닥의 위치와, 그 손바닥의 근방 영역의 사이즈를 화상 절출부(66)에 공급하고, 처리는 스텝 S125로 진행한다.
스텝 S125에서, 화상 절출부(66)는, 인식부(271)로부터의 손바닥의 위치 및 근방 영역의 사이즈에 의거하여, 입력 화상으로부터, 손바닥의 영역을 절출하여 절출 화상으로 하여, 거리 계산부(67)에 공급한다.
스텝 S126에서, 거리 계산부(67)는, 화상 절출부(66)로부터 공급된 좌우의 2장의 절출 화상에 의거하여 스테레오 매칭을 행하여, 그 계산 결과를 손바닥 거리 계산부(272)에 공급한다. 예를 들면 스테레오 매칭에 의해, 절출 화상의 각 영역에서의 시차가 얻어진다. 이 시차는, 표시 장치(11)로부터 각 영역에 있는 피사체까지의 거리를 나타내는 정보이라고 말할 수 있다.
[스텝 S127에서, 손바닥 거리 계산부(272)는, 거리 계산부(67)로부터 공급된 스테레오 매칭의 계산 결과에 의거하여, 절출 화상상에 있는 손바닥의 위치와, 3차원 공간상의 촬상부(22)(표시 장치(11))로부터 손바닥까지의 거리를 산출한다.
이와 같이 하여 손바닥의 위치와 거리가 산출되면, 결정부(121)에서는, 그 손바닥의 위치와 거리가, 일시적으로 가상 화상의 가상(假)의 위치 및 거리, 즉 3차원 공간상의 가상 화상의 위치로서 정하여진다. 이에 의해, 손바닥의 위치와 거리로부터, 가상 화상의 가상(假)의 표시 위치, 사이즈, 및 거리가 정하여진다.
이와 같이 하여 가상 화상의 표시 위치, 사이즈, 및 거리가 정하여지면, 도 7의 스텝 S12 내지 스텝 S14와 같은 처리가 행하여져서, 근거리 화상이 생성된다.
그러면, 스텝 S128에서, 장애물 판정부(301)는, 근거리에 장애물이 없는지의 여부를 판정한다.
예를 들면, 장애물 판정부(301)는, 미리 기록되어 있는 특징 데이터와, 근거리 화상 분리부(69)로부터 공급된 근거리 화상으로부터 추출된 데이터를 비교함으로써, 근거리 화상, 즉 유저의 근거리에서 장애물을 검출한다.
스텝 S128에서, 장애물이 있다고 판정된 경우, 스텝 S129에서, 장애물 판정부(301)는 장애물 처리를 행하고, 처리는 스텝 S131으로 진행한다. 즉, 장애물 판정부(301)는, 장애물이 있다는 취지의 문자 메시지나 화상을 출력 화상에 표시시키거나, 장애물이 있다는 취지의 음성 메시지를 재생시키거나 한다.
한편, 스텝 S128에서, 장애물이 없다고 판정된 경우, 장애물 판정부(301)는, 근거리 화상 분리부(69)로부터의 근거리 화상을 그대로 가상 화상 합성부(123)에 공급하고, 처리는 스텝 S130로 진행한다.
스텝 S130에서, 표시 화상 합성부(124)는, 가상 화상을 스텝 S127에서 일시적으로 정하여진 표시 위치에 표시시킨다.
즉, 가상 화상 합성부(123)는, 장애물 판정부(301)로부터 공급된 근거리 화상에 결정부(121)로부터의 가상 화상을 합성하고, 그 결과 얻어진 합성 화상을 표시 화상 합성부(124)에 공급한다. 또한, 표시 화상 합성부(124)는, 손바닥의 위치와 거리에 의해 정하여진 가상 화상의 표시 위치와 사이즈에 의거하여, 카메라 처리부(65)로부터의 입력 화상에 가상 화상 합성부(123)로부터의 합성 화상을 합성하여 출력 화상으로 하여, 화상 표시부(21)에 공급한다.
이에 의해, 화상 표시부(21)에는, 유저의 손바닥의 위치에 가상 화상이 표시된 출력 화상이 표시되게 된다.
스텝 S129 또는 스텝 S130의 처리가 행하여지면, 스텝 S131에서, CPU(83)는, 가상 화상의 표시 위치의 조정을 종료하였는지의 여부를 판정한다. 스텝 S131에서, 아직 조정을 종료하지 않는다고 판정된 경우, 처리는 스텝 S121로 되돌아와, 상술한 처리가 반복된다.
이에 대해, 스텝 S131에서, 조정을 종료한다고 판정된 경우, 표시 위치 조정 처리는 종료한다. 표시 위치 조정 처리가 종료되면, 그 후, 이 처리로 정하여진 가상 화상의 표시 위치, 사이즈, 및 거리가 결정부(121)에 의해 결정된 표시 위치, 사이즈, 및 거리인 것으로 하여, 도 7의 터치 인식 처리가 행하여진다.
또한, 표시 위치 조정 처리에서는, 유저가 손을 받쳐서 가리고, 손바닥으로 가상 화상의 표시 위치를 지정하고 나서, 그 지정 위치에 가상 화상이 표시되도록 하여도 좋고, 처음에 가상 화상을 표시시키고 나서, 유저가 손바닥에 의해 표시 위치를 지정하도록 하여도 좋다. 어느 경우로 하여도, 표시 장치(11)에서는 도 21에 도시한 표시 위치 조정 처리가 행하여진다.
이상과 같이 하여, 표시 장치(11)는, 입력 화상으로부터 손바닥을 검출하여 가상 화상의 표시 위치 등을 조정함과 함께, 가상 화상과 유저와의 사이에 장애물이 있는가를 검출하고, 필요에 응하여 장애물 처리를 행한다.
이와 같이, 손바닥 등에 의해 가상 화상의 표시 위치를 조정함에 의해, 조작성을 향상시킬 수 있다. 또한, 장애물을 검출하고, 장애물 처리를 행함으로써 표시 장치(11) 사용시의 안전성을 더욱 높일 수 있다.
또한, 이상에서는, 좌우의 2개의 입력 화상에 의거하여 좌우의 2개의 출력 화상을 생성하는 예에 관해 설명하였지만, 거리 계산부(67)에서 거리 정보를 얻기 위해(때문에) 3 이상의 입력 화상이 이용되도록 하여도 좋다.
그와 같은 경우, 예를 들면 좌안용의 2개의 입력 화상과, 우안용의 2개의 입력 화상이 이용되어, 특정한 조합의 2개의 입력 화상에 대한 스테레오 매칭 등이 행하여지고, 절출 화상의 각 영역의 피사체까지의 거리가 산출된다. 또한, 예를 들면 좌우의 입력 화상 외에, 중앙의 입력 화상이 이용되어 절출 화상의 각 영역의 피사체까지의 거리가 산출되도록 하여도 좋다. 이와 같이, 3 이상의 입력 화상을 이용하면, 보다 고정밀도로 거리 정보를 산출할 수 있도록 된다.
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 조립되어 있는 컴퓨터나, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 컴퓨터 등이 포함된다.
도 22는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성례를 도시하는 블록도이다.
컴퓨터에서, CPU(501), ROM(502), RAM(503)은, 버스(504)에 의해 상호 접속되어 있다.
버스(504)에는, 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509), 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 키보드, 마우스, 마이크로폰, 촬상 소자 등으로 이루어진다. 출력부(507)는, 디스플레이, 스피커 등으로 이루어진다. 기록부(508)는, 하드 디스크나 불휘발성의 메모리 등으로 이루어진다. 통신부(509)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(510)는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들면, 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드하여 실행함에 의해, 상술한 일련의 처리가 행하여진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 리무버블 미디어(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함에 의해, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)나 기록부(508)에, 미리 인스톨하여 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이라도 좋고, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이라도 좋다.
또한, 본 기술의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.
예를 들면, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술의 플로 차트로 설명하는 각 스텝은, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.
[1]
서로 시차를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역을 절출하여 절출 화상을 생성하는 화상 절출부와,
2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보를 계산하는 거리 계산부와,
상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치를 계산하는 터치 위치 계산부와,
상기 터치 위치에 응한 처리를 실행시키는 터치 처리부와,
상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역을 분리시켜서 근거리 화상을 생성하는 근거리 화상 분리부와,
상기 근거리 화상마다, 상기 근거리 화상을 상기 가상 화상에 합성하여 합성 화상을 생성하는 가상 화상 합성부와,
상기 합성 화상마다, 상기 합성 화상을 상기 입력 화상에 합성하여 서로 시차를 갖는 2개의 출력 화상을 생성하는 표시 화상 합성부를 구비하는 화상 처리 장치.
[2]
상기 터치 위치 계산부는, 복수의 상기 터치 위치를 계산하고,
상기 터치 처리부는, 복수의 상기 터치 위치에 의해 특정되는 처리를 실행시키는 [1]에 기재된 화상 처리 장치.
[3]
상기 가상 화상은 3차원 공간에서 비평면상에 표시되는 것으로 되고,
상기 터치 위치 계산부는, 상기 가상 화상의 영역마다 다른 거리를 이용하여, 상기 거리 정보에 의해 나타나는 거리가 상기 가상 화상까지의 거리와 같은 상기 절출 화상의 위치에 의거하여 상기 터치 위치를 계산하는 [1] 또는 [2]에 기재된 화상 처리 장치.
[4]
상기 터치 위치 계산부는, 상기 거리 정보에 의해 나타나는 거리가 상기 가상 화상까지의 거리와 같은 상기 절출 화상상의 복수의 위치에 의거하여, 상기 터치 위치를 계산하는 [1] 내지 [3]의 어느 하나에 기재된 화상 처리 장치.
[5]
상기 입력 화상에는 복수의 상기 가상 화상이 합성되어 상기 출력 화상이 되고,
상기 터치 위치 계산부는, 상기 가상 화상마다 상기 터치 위치를 계산하는 [1] 내지 [4]의 어느 하나에 기재된 화상 처리 장치.
[6]
상기 화상 처리 장치의 위치 또는 방향의 변화에 의거하여, 상기 가상 화상의 표시 위치, 표시 사이즈, 형상, 또는 상기 가상 화상까지의 거리를 보정하는 보정부를 또한 구비하는 [1] 내지 [5]의 어느 하나에 기재된 화상 처리 장치.
[7]
상기 입력 화상으로부터 미리 정하여진 인식 대상물을 검출하는 인식부와,
상기 인식 대상물의 검출 결과에 의거하여 상기 인식 대상물까지의 거리를 계산하는 인식 대상물 거리 계산부와,
상기 인식 대상물의 위치, 및 상기 인식 대상물까지의 거리에 의거하여, 상기 가상 화상의 표시 위치와 상기 가상 화상까지의 거리를 결정하는 결정부를 또한 구비하는 [1] 내지 [6]의 어느 하나에 기재된 화상 처리 장치.
[8]
상기 인식 대상물은 상기 유저의 손바닥인 [7]에 기재된 화상 처리 장치.
[9]
상기 근거리 화상으로부터 미리 정하여진 조작물을 검출함으로써, 상기 가상 화상과 상기 화상 처리 장치의 사이에 장애물이 있는지의 여부를 판정하는 장애물 판정부를 또한 구비하는 [1] 내지 [8]의 어느 하나에 기재된 화상 처리 장치.
[10]
상기 거리 계산부는, 상기 절출 화상에 의거하여 매칭 처리를 행함에 의해, 상기 거리 정보를 계산하는 [1] 내지 [9]의 어느 하나에 기재된 화상 처리 장치.
[11]
상기 거리 정보는, 상기 절출 화상의 각 영역의 시차인 [10]에 기재된 화상 처리 장치.
[12]
상기 터치 처리부는, 상기 터치 위치에 응하여 화상의 표시 또는 음성의 재생을 실행시키는 [1] 내지 [11]의 어느 하나에 기재된 화상 처리 장치.
[13]
상기 입력 화상을 촬상하는 촬상부를 또한 구비하는 [1] 내지 [12]의 어느 하나에 기재된 화상 처리 장치.
11 : 표시 장치
21L, 21R, 21 : 화상 표시부
22L, 22R, 22 : 촬상부
61 : CPU
66 : 화상 절출부
67 : 거리 계산부
68 : 터치 좌표 계산부
69 : 근거리 화상 분리부
83 : CPU
122 : 터치 처리부--
123L, 123R, 123 : 가상 화상 합성부
124L, 124R, 124 : 표시 화상 합성부
231 : 센서
271L, 271R, 271 : 인식부
272 : 손바닥 거리 계산부
301L, 301R, 301 : 장애물 판정부

Claims (15)

  1. 서로 시차를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역을 절출하여 절출 화상을 생성하는 화상 절출부와,
    2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보를 계산하는 거리 계산부와,
    상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치를 계산하는 터치 위치 계산부와,
    상기 터치 위치에 응한 처리를 실행시키는 터치 처리부와,
    상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역을 분리시켜서 근거리 화상을 생성하는 근거리 화상 분리부와,
    상기 근거리 화상마다, 상기 근거리 화상을 상기 가상 화상에 합성하여 합성 화상을 생성하는 가상 화상 합성부와,
    상기 합성 화상마다, 상기 합성 화상을 상기 입력 화상에 합성하여 서로 시차를 갖는 2개의 출력 화상을 생성하는 표시 화상 합성부를 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 터치 위치 계산부는, 복수의 상기 터치 위치를 계산하고,
    상기 터치 처리부는, 복수의 상기 터치 위치에 의해 특정되는 처리를 실행시키는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 가상 화상은 3차원 공간에서 비평면상에 표시되는 것으로 되고,
    상기 터치 위치 계산부는, 상기 가상 화상의 영역마다 다른 거리를 이용하여, 상기 거리 정보에 의해 나타나는 거리가 상기 가상 화상까지의 거리와 같은 상기 절출 화상의 위치에 의거하여 상기 터치 위치를 계산하는 것을 특징으로 하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 터치 위치 계산부는, 상기 거리 정보에 의해 나타나는 거리가 상기 가상 화상까지의 거리와 같은 상기 절출 화상상의 복수의 위치에 의거하여, 상기 터치 위치를 계산하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 입력 화상에는 복수의 상기 가상 화상이 합성되어 상기 출력 화상이 되고,
    상기 터치 위치 계산부는, 상기 가상 화상마다 상기 터치 위치를 계산하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 화상 처리 장치의 위치 또는 방향의 변화에 의거하여, 상기 가상 화상의 표시 위치, 표시 사이즈, 형상, 또는 상기 가상 화상까지의 거리를 보정하는 보정부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 입력 화상으로부터 미리 정하여진 인식 대상물을 검출하는 인식부와,
    상기 인식 대상물의 검출 결과에 의거하여 상기 인식 대상물까지의 거리를 계산하는 인식 대상물 거리 계산부와,
    상기 인식 대상물의 위치, 및 상기 인식 대상물까지의 거리에 의거하여, 상기 가상 화상의 표시 위치와 상기 가상 화상까지의 거리를 결정하는 결정부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  8. 제7항에 있어서,
    상기 인식 대상물은 상기 유저의 손바닥인 것을 특징으로 하는 화상 처리 장치.
  9. 제1항에 있어서,
    상기 근거리 화상으로부터 미리 정하여진 조작물을 검출함으로써, 상기 가상 화상과 상기 화상 처리 장치의 사이에 장애물이 있는지의 여부를 판정하는 장애물 판정부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  10. 제1항에 있어서,
    상기 거리 계산부는, 상기 절출 화상에 의거하여 매칭 처리를 행함에 의해, 상기 거리 정보를 계산하는 것을 특징으로 하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 거리 정보는, 상기 절출 화상의 각 영역의 시차인 것을 특징으로 하는 화상 처리 장치.
  12. 제1항에 있어서,
    상기 터치 처리부는, 상기 터치 위치에 응하여 화상의 표시 또는 음성의 재생을 실행시키는 것을 특징으로 하는 화상 처리 장치.
  13. 제1항에 있어서,
    상기 입력 화상을 촬상하는 촬상부를 또한 구비하는 것을 특징으로 하는 화상 처리 장치.
  14. 서로 시차를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역을 절출하여 절출 화상을 생성하고,
    2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보를 계산하고,
    상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치를 계산하고,
    상기 터치 위치에 응한 처리를 실행시키고,
    상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역을 분리시켜서 근거리 화상을 생성하고,
    상기 근거리 화상마다, 상기 근거리 화상을 상기 가상 화상에 합성하여 합성 화상을 생성하고,
    상기 합성 화상마다, 상기 합성 화상을 상기 입력 화상에 합성하여 서로 시차를 갖는 2개의 출력 화상을 생성하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
  15. 서로 시차를 갖는 2 이상의 입력 화상으로부터, 조작 대상이 되는 가상 화상이 표시되는 영역 근방의 소정 영역을 절출하여 절출 화상을 생성하고,
    2 이상의 상기 절출 화상에 의거하여, 상기 절출 화상의 각 영역의 피사체의 거리 정보를 계산하고,
    상기 거리 정보에 의거하여 상기 가상 화상상의 유저의 터치 위치를 계산하고,
    상기 터치 위치에 응한 처리를 실행시키고,
    상기 절출 화상마다, 상기 거리 정보에 의거하여 상기 절출 화상으로부터, 상기 가상 화상보다도 근거리에 있는 피사체의 영역을 분리시켜서 근거리 화상을 생성하고,
    상기 근거리 화상마다, 상기 근거리 화상을 상기 가상 화상에 합성하여 합성 화상을 생성하고,
    상기 합성 화상마다, 상기 합성 화상을 상기 입력 화상에 합성하여 서로 시차를 갖는 2개의 출력 화상을 생성하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
KR1020157022553A 2013-03-28 2014-03-14 화상 처리 장치 및 방법, 및 프로그램 KR20150135234A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013070439 2013-03-28
JPJP-P-2013-070439 2013-03-28
PCT/JP2014/056829 WO2014156706A1 (ja) 2013-03-28 2014-03-14 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20150135234A true KR20150135234A (ko) 2015-12-02

Family

ID=51623688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157022553A KR20150135234A (ko) 2013-03-28 2014-03-14 화상 처리 장치 및 방법, 및 프로그램

Country Status (7)

Country Link
US (1) US10365767B2 (ko)
EP (1) EP2981079A4 (ko)
JP (1) JP6344380B2 (ko)
KR (1) KR20150135234A (ko)
CN (1) CN105075254B (ko)
TW (1) TWI649675B (ko)
WO (1) WO2014156706A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP2013090194A (ja) 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
CN105068649A (zh) * 2015-08-12 2015-11-18 深圳市埃微信息技术有限公司 基于虚拟现实头盔的双目手势识别装置及方法
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
TWI587176B (zh) * 2015-12-03 2017-06-11 財團法人工業技術研究院 行動虛擬實境操作方法、系統與其儲存媒體
CN105867626A (zh) * 2016-04-12 2016-08-17 京东方科技集团股份有限公司 头戴式虚拟现实设备及其控制方法、虚拟现实系统
CN105955456B (zh) 2016-04-15 2018-09-04 深圳超多维科技有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106201213A (zh) * 2016-07-19 2016-12-07 深圳市金立通信设备有限公司 一种虚拟现实焦点的控制方法及终端
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN106873778B (zh) * 2017-01-23 2020-04-28 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备
JP6862210B2 (ja) * 2017-02-16 2021-04-21 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN108230383B (zh) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
CN109542209A (zh) * 2017-08-04 2019-03-29 北京灵境世界科技有限公司 一种适应人眼汇聚的方法
WO2019032014A1 (en) * 2017-08-07 2019-02-14 Flatfrog Laboratories Ab TACTILE INTERACTION SYSTEM IN VIRTUAL REALITY
KR102022980B1 (ko) 2017-12-01 2019-09-19 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
US10979699B2 (en) * 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
WO2020166581A1 (ja) * 2019-02-15 2020-08-20 株式会社Ｊｖｃケンウッド 画像調整システム、画像調整装置、及び画像調整方法
JP7345128B2 (ja) 2019-05-20 2023-09-15 パナソニックＩｐマネジメント株式会社 歩行者装置および交通安全支援方法
US11137607B2 (en) * 2019-06-28 2021-10-05 Canon Kabushiki Kaisha Image capturing and display apparatus and wearable device
PL4047434T3 (pl) * 2021-02-19 2024-04-15 Anarky Labs Oy Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar
WO2023091355A1 (en) * 2021-11-19 2023-05-25 Apple Inc. Scene information access for electronic device applications

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP3999088B2 (ja) * 2002-09-18 2007-10-31 本田技研工業株式会社 障害物検出装置
JP4298407B2 (ja) 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
US7295204B2 (en) * 2004-12-14 2007-11-13 Adrian Sfarti Rapid zippering for real time tesselation of bicubic surfaces
JP4228320B2 (ja) 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4225339B2 (ja) 2006-09-11 2009-02-18 ソニー株式会社 画像データ処理装置および方法、プログラム、並びに記録媒体
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP2009087161A (ja) * 2007-10-01 2009-04-23 Canon Inc 画像処理装置、画像処理方法
JP5156571B2 (ja) * 2008-10-10 2013-03-06 キヤノン株式会社 画像処理装置、画像処理方法
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5531710B2 (ja) 2010-03-29 2014-06-25 ソニー株式会社 記録装置および記録方法
JP5099182B2 (ja) * 2010-06-24 2012-12-12 日本電気株式会社 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
JP5540942B2 (ja) * 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
US20120223968A1 (en) * 2010-10-12 2012-09-06 Kazutoshi Kashimoto Display processing device, display method, and program
TWI501130B (zh) * 2010-10-18 2015-09-21 Ind Tech Res Inst 虛擬觸控輸入系統
JP2012181809A (ja) 2011-03-03 2012-09-20 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
JP2013090194A (ja) 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method

Also Published As

Publication number Publication date
TWI649675B (zh) 2019-02-01
WO2014156706A1 (ja) 2014-10-02
US10365767B2 (en) 2019-07-30
TW201443699A (zh) 2014-11-16
JP6344380B2 (ja) 2018-06-20
CN105075254B (zh) 2017-09-12
US20160048230A1 (en) 2016-02-18
EP2981079A1 (en) 2016-02-03
CN105075254A (zh) 2015-11-18
JPWO2014156706A1 (ja) 2017-02-16
EP2981079A4 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
JP6344380B2 (ja) 画像処理装置および方法、並びにプログラム
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107683497B (zh) 信息处理设备、信息处理方法及程序
KR102271516B1 (ko) 화상 처리 장치 및 방법, 및 프로그램
JP6465672B2 (ja) 情報処理装置および情報処理方法
JP2011258160A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2017182274A (ja) 情報処理装置およびコンピュータープログラム
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2011258161A (ja) プログラム、情報記憶媒体及び画像生成システム
JP7317024B2 (ja) 画像生成装置および画像生成方法
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
JP2012090904A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2011258158A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2019023767A (ja) 情報処理装置
US9600938B1 (en) 3D augmented reality with comfortable 3D viewing
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019053603A (ja) 表示制御プログラム、装置、及び方法
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
JP2012223357A (ja) ビデオゲーム装置およびビデオゲーム制御方法
JP5739670B2 (ja) 画像表示プログラム、装置、システムおよび方法
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
JP5739673B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP5213913B2 (ja) プログラム及び画像生成システム
CN112578983A (zh) 手指取向触摸检测

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application