KR20140097226A - 표시장치, 표시 제어 프로그램 - Google Patents

표시장치, 표시 제어 프로그램 Download PDF

Info

Publication number
KR20140097226A
KR20140097226A KR1020147014205A KR20147014205A KR20140097226A KR 20140097226 A KR20140097226 A KR 20140097226A KR 1020147014205 A KR1020147014205 A KR 1020147014205A KR 20147014205 A KR20147014205 A KR 20147014205A KR 20140097226 A KR20140097226 A KR 20140097226A
Authority
KR
South Korea
Prior art keywords
image
display
shielded
displayed
shield
Prior art date
Application number
KR1020147014205A
Other languages
English (en)
Inventor
히데노리 구리바야시
마사키 오츠키
겐조 치아키
Original Assignee
가부시키가이샤 니콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 니콘 filed Critical 가부시키가이샤 니콘
Publication of KR20140097226A publication Critical patent/KR20140097226A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Position Input By Displaying (AREA)

Abstract

표시장치는 양쪽 눈의 시차에 기초하는 입체상이 포함되는 화상을 표시하는 표시부와, 입체상을 차폐하는 차폐물을 검출하는 검출부와, 검출부에 의한 검출 결과에 기초하여 상기 차폐물에 의한 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 상기 판정 결과에 기초하여 입체상에 관련된 관련상의 표시를 제어하는 제어부를 구비한다.

Description

표시장치, 표시 제어 프로그램{DISPLAY DEVICE, AND DISPLAY CONTROL PROGRAM}
본 발명은 표시장치, 표시 제어 프로그램에 관한 것이다.
좌우의 눈에 다른 화상을 보이게 함으로써 사용자에게 입체상을 보이게 하는 3차원 디스플레이가 존재한다. 특허문헌 1에는 셔터식 안경을 사용하여 영상을 시청할 때, 손에 의해 영상이 차폐되면 셔터식 안경의 한쪽 셔터를 닫고, 한쪽눈에만 영상이 도달하도록 하여 2중상의 발생을 방지하는 것이 기재되어 있다.
일본 공개특허공보 제2011-90611호
그러나, 3차원 디스플레이가 예를 들어 사용자의 조작 제스추어에 의한 입력을 접수하는 조작자를 입체상으로 하여 표시하는 경우, 손가락 등에 의해 조작자를 누르려고 하면, 손가락 등에 의해 조작자가 차폐되어 시인할 수 없게 된다.
본 발명의 형태는 차폐물에 의해 차폐되는 입체상을 확인할 수 있도록 표시하는 표시장치, 표시 제어 프로그램을 제공한다.
본 발명의 형태는 양쪽 눈의 시차(兩眼視差)에 기초하는 입체상이 포함되는 화상을 표시하는 표시부와, 입체상을 차폐하는 차폐물을 검출하는 검출부와, 검출부에 의한 검출 결과에 기초하여 차폐물에 의한 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 상기 판정 결과에 기초하여 입체상에 관련된 관련상의 표시를 제어하는 제어부를 구비하는 것을 특징으로 하는 표시장치이다.
또한, 본 발명의 형태는 표시장치의 컴퓨터에 양쪽 눈의 시차에 기초하는 입체상이 포함되는 화상을 표시하는 단계와, 입체상을 차폐하는 차폐물을 검출하는 단계와, 검출 결과에 기초하여 차폐물에 의한 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 상기 판정 결과에 기초하여 입체상에 관련된 관련상의 표시를 제어하는 단계를 실행시키는 표시 제어 프로그램이다.
본 발명의 형태에 따르면 차폐물에 의해 차폐되는 입체상을 확인할 수 있도록 표시할 수 있다.
도 1은 본 발명의 일 실시형태에 의한 표시장치의 구성예를 도시한 블럭도이다.
도 2는 본 발명의 일 실시형태에 의한 표시장치의 외관을 도시한 도면이다.
도 3은 본 발명의 일 실시형태에 의한 표시장치와 사용자의 위치관계를 도시한 도면이다.
도 4는 본 발명의 일 실시형태에 의한 표시장치와 사용자의 위치관계를 도시한 도면이다.
도 5는 본 발명의 일 실시형태에 의한 표시부가 표시하는 입체상의 개요를 도시한 도면이다.
도 6은 본 발명의 일 실시형태에 의한 표시부가 표시하는 화면의 예를 도시한 도면이다.
도 7은 본 발명의 일 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 8은 본 발명의 일 실시형태에 의한 입체상과, 차폐물과, 보조 표시하는 관련상의 관계를 도시한 도면이다.
도 9는 본 발명의 일 실시형태에 의한 입체상과, 차폐물과, 보조 표시하는 관련상의 관계를 도시한 도면이다.
도 10은 본 발명의 일 실시형태에 의한 입체상과, 차폐물과, 보조 표시하는 관련상의 관계를 도시한 도면이다.
도 11은 본 발명의 일 실시형태에 의한 입체상과, 차폐물과, 보조 표시하는 관련상의 관계를 도시한 도면이다.
도 12는 본 발명의 일 실시형태에 의한 표시장치의 동작예를 도시한 플로우차트이다.
도 13은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 14는 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 15는 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 16은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 17은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 18은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 19는 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 20은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 21은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 22는 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 23은 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
도 24는 본 발명의 다른 실시형태에 의한 표시부가 관련상을 보조 표시하는 화면의 예를 도시한 도면이다.
이하, 본 발명의 일 실시형태에 대해서 도면을 참조하여 설명한다.
도 1은 본 실시형태에 의한 표시장치(100)의 구성을 도시한 블럭도이다. 표시장치(100)는 촬영부(101), 검출부(102), 조작 판정부(103), 표시부(104), 표시 화상 기억부(105), 및 제어부(106)를 구비하고 있다.
도 2는 표시장치(100)의 외관을 도시한 도면이다. 표시장치(100)는 표시부(104)의 표시면에 시차 화상을 표시하고, 사용자(A)의 좌우의 눈에 시차가 있는 화상을 보임으로써, 사용자(A)에게 입체상(B)를 보이는 3차원 디스플레이이다. 표시장치(100)는 나안식(裸眼式)과 안경식 중 어느 방식에 의해 3차원 표시를 실시하는 것이어도 좋지만, 본 실시형태에서는 나안식에 의한 예를 설명한다. 또한, 표시장치(100)는 LCD(Liquid Crystal Display), 플라즈마, 유기 EL(Electro Luminescence) 등 중 어느 디스플레이 표시원리를 적용하는 것이어도 좋다. 또한, 표시장치(100)는 전면(前面) 상부에 사용자(A)를 촬영하는 촬영부(101)를 구비하고 있다. 단, 촬영부(101)는 전면 상부가 아니어도 화면의 표시 방향을 촬상할 수 있는 위치에 구비되어 있으면 좋다. 본 실시형태에서는 표시장치(100)의 표시부(104)에 대하여 평행(수평)방향을 X축 방향, 수직방향을 Y축 방향, 안길이 방향을 Z축 방향으로서 설명한다.
도 1로 돌아가, 촬영부(101)는 표시부(104)에 의한 표시 방향에서의 소정 영역을 촬영하여 촬영화상을 생성하는 카메라이다. 여기에서, 소정 영역이라는 것은 표시부(104)에 의해 표시되는 입체상을 사용자가 시인할 때, 물체가 존재하면 입체상을 차폐하게 되는 공간 영역을 포함하는 영역이다. 촬영부(101)는 동화(動畵)를 촬영해도 좋고, 일정 시간마다 정지화(靜止畵)를 촬영해도 좋다. 또한, 촬영부(101)는 하나의 카메라이어도 좋고 복수의 카메라이어도 좋다. 또한, 촬영부(101)는 틸트식 카메라이어도 좋고, 어안(魚眼)식 카메라이어도 좋다.
검출부(102)는 표시부(104)에 의해 표시되는 입체상을 차폐하는 차폐물을 검출한다. 예를 들어, 검출부(102)는 촬영부(101)가 촬영한 촬영 화상에 기초하여, 표시부(104)의 표시 방향에서의 소정 영역의 차폐물의 위치와 사용자의 시선 위치를 검출한다. 예를 들어, 검출부(102)는 촬영부(101)가 촬영한 촬영 화상을 해석하고, 촬영 화상에 포함되는 동체(動體)를 검출한다. 검출부(102)는 촬영부(101)가 촬영한 동화의 프레임마다의 차분 영역을 추출하고, 차분이 발생하고 있는 영역에 동체가 존재하는 것으로 판정할 수 있다. 예를 들어, 검출부(102)는 도 3의 (a)에 도시한 바와 같이 촬영부(101)에 의한 촬영 화상으로부터 표시장치(100)의 표시 방향에 존재하는 사용자(A)를 검출한다. 이 때, 표시장치(100)의 촬영부(101)에는 예를 들어 도 3의 (b)에 도시한 바와 같은 촬영화상이 촬영된다.
또한, 검출부(102)는 표시부(104)에 대하여 안쪽으로 들어가는 방향(Z축 방향)에서의 차폐물의 위치, 표시부(104)의 표시면에 대한 평행방향(X축 방향)에서의 차폐물의 위치, 차폐물의 크기, 차폐물의 형상 중 적어도 하나의 특징량을 검출한다. 검출부(102)는 얼굴 검출 알고리즘이나 손 영역 검출 알고리즘 등을 사용하여 촬영 화상에 포함되는 사용자(A)의 얼굴 영역이나 차폐물인 손의 영역을 검출하고, 3차원 공간에서의, 얼굴의 위치나 손의 위치, 얼굴이나 손의 크기, 얼굴이나 손의 형상을 검출한다. 여기에서, 검출부(102)는 촬영 화상으로부터 사용자(A)의 얼굴 영역을 검출할 수 없는 경우, 사용자(A)의 동체(胴體) 또는 팔의 위치를 검출하고 사용자(A) 얼굴의 추정위치를 산출할 수도 있다. 또한, 검출부(102)는 이와 같이 검출된 사용자(A) 얼굴의 위치로부터 사용자(A)의 시선 위치를 검출할 수도 있다.
여기에서, 입체상을 나안식에 의해 표시하는 경우, 도 4에 도시한 바와 같이 입체상이 관찰 가능한 사용자(A)의 시선 위치의 영역은 한정된다. 즉, 이와 같은 관찰 가능 영역(R)의 위치는 이미 알려져 있고, 사용자(A)의 시선 위치는 미리 정해진다. 그래서, 이와 같은 관찰 가능 영역의 위치를, 사용자(A)의 시선 위치로서 미리 표시장치(100)의 기억영역에 기억해 두도록 해도 좋다.
조작 판정부(103)는 검출부(102)가 검출한 동체의 움직임에 따라서, 표시장치(100)에 대한 조작을 판정한다. 즉, 조작 판정부(103)는 사용자(A)의 동작에 의한 조작 제스추어의 입력을 접수한다. 예를 들어, 조작 판정부(103)는 검출부(102)가 검출한 차폐물의 위치에 조작자의 입체상이 표시되어 있으면, 그 조작자가 눌러졌다고 판정한다.
표시부(104)는 표시하는 화상의 시차량을 변화시켜 양쪽 눈의 시차에 기초하는 입체상을 표시한다. 도 5는 표시부(104)가 표시하는 입체상의 개요를 도시한 도면이다. 사용자(A)의 위치로부터 표시장치(100)의 표시부(104)를 시인할 때, 사용자(A)의 오른쪽 눈에 주어지는 우안상을 P1의 위치에, 사용자(A)의 왼쪽 눈에 주어지는 좌안상을 P2의 위치에 표시하게 함으로써, 안길이 방향에서의 P3의 표시 위치에 양쪽 눈의 시차에 기초하는 입체상을 튀어나오게 표시할 수 있다.
도 6은 표시부(104)가 표시하는 화면의 예를 도시한 도면이다. 도 6의 (a)는 복수의 아이콘(예를 들어, G 등)이 표시되어 있는 예이다. 표시부(104)는 각각의 아이콘(G)을 입체상으로서 표시할 수 있다. 도 6의 (b)는 복수의 조작자(예를 들어, H 등)이 표시되어 있는 예이다. 표시부(104)는 각각의 조작자(H)를 입체상으로서 표시할 수 있다.
도 1로 돌아가, 표시 화상 기억부(105)에는 표시부(104)에 표시시키는 표시 화상이 기억된다. 표시 화상은 표시 화상 기억부(105)에 미리 기억되어 있어도 좋고, 무선 또는 유선의 네트워크를 통하여 외부로부터 수신하여 기억되도록 해도 좋다.
제어부(106)는 표시 화상 기억부(105)에 기억되어 있는 표시 화상을 읽고 우안상과 좌안상의 시차 화상을 생성하여 표시부(104)에 표시한다. 제어부(106)는 검출부(102)에 의한 검출 결과에 기초하여 차폐물에 의한 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 상기 판정 결과에 기초하여 입체상에 관련된 관련상의 표시를 제어한다.
예를 들어, 검출부(102)에 의해 검출된 차폐물(예를 들어, 손 등)의 위치와, 사용자의 시선 위치와, 미리 정해진 표시부(104)의 위치에 기초하여 제어부(106)는 사용자의 시선 위치로부터 표시부(104)에 대응한 시인(視認) 방향에서의 차폐물에 의해 차폐되는 화상의 차폐 영역을 판정한다. 사용자의 시선 위치는 상술한 바와 같이, 사용자의 동체 또는 팔의 위치에 기초하여 산출된 사용자의 얼굴의 추정 위치이어도 좋고, 미리 정해진 관찰 가능 영역이어도 좋다. 예를 들어, 사용자의 시선 위치와, 표시부(104)에서의 표시 화면을 직선상으로 연결하고, 그 직선상에 존재하는 차폐물의 위치, 크기, 형상 등에 기초하여 차폐물을 표시 화면상에 사영(射影)함으로써 화상의 차폐 영역을 판정할 수 있다.
또한, 제어부(106)는 차폐물에 의해 입체상이 차폐되어 있는지의 여부를 판정하고, 차폐되어 있다고 판정한 경우, 관련상이 차폐물에 의해 차폐되지 않도록 표시하게 한다. 여기에서, 제어부(106)는 차폐된 입체상의 표시 위치에 기초하여 차폐물에 의해 차폐되지 않는 영역에서 관련상의 표시 위치를 제어한다. 즉, 제어부(106)는 차폐물에 의해 차폐된 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 관련상의 표시를 제어한다.
예를 들어, 도 7에 도시한 바와 같이 제어부(106)는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 차폐물에 의해 차폐되지 않고 입체상에 인접하는 영역에 관련상을 보조적으로 표시하게 한다. 도 7의 (a) 및 (b)는 도 6의 (a) 및 (b)에 도시한 입체상에 손가락이 근접한 경우의 표시예를 도시하고 있다.
도 7의 (a)에서 입체상(G1)(이하, 간단히 아이콘(G1)이라 부름)이 손가락(차폐물)으로 차폐되어 있다. 그 때문에, 차폐물(본 실시형태에서는 손가락)에 의해 차폐되지 않고 아이콘(G1)에 인접하는 영역인 아이콘(G1)의 상부에, 차폐된 아이콘(G1)의 관련상(G2)(이하, 간단히 아이콘(G2)이라 부름)을 제어부(106)가 보조 표시하게 한다. 이 때, 보조 표시되는 아이콘(G2)은 예를 들어, 도 7의 (a)에 도시한 바와 같이 차폐된 아이콘(G1)과 동일한 아이콘을 말풍선 형상(팝업 표시)으로 하여 아이콘(G1)의 상부에 표시하게 한 것이다. 즉, 제어부(106)는 도 7의 (a)의 아이콘(G2)이나 하여 안쪽으로 들어가는의 아이콘(H2)과 같이, 차폐물에 의해 차폐되지 않고 입체상에 인접하는 영역에 관련상을 팝업시켜 표시한다. 이와 같이 제어부(106)가 차폐물(본 실시형태에서는 손가락)에 의해 차폐되는 화상(아이콘(G1))의 차폐 영역을 판정하고, 화상의 영역 중, 차폐 영역과는 다른 영역에 관련상(아이콘(G2))을 표시하게 함으로써, 사용자는 차폐된 입체상(아이콘(G1))이 어떠한 것인지를, 보조 표시된 관련상(아이콘(G2))을 시인하여 확인할 수 있다.
표시하는 관련상에는 차폐된 입체상과 동일한 상이 포함되도록 해도 좋다. 예를 들어, 차폐된 입체상에 관련하여, 차폐된 입체상을 상기시키는 것이면 좋다. 예를 들어, 표시하는 관련상은 차폐된 입체상을 문자에 의해 나타내는 상이어도 좋다.
또한, 도 7의 (a)에서는 차폐된 입체상(아이콘(G1))에 Y축 방향(수직방향)으로 인접하는 영역에 관련상을 표시하는 예를 도시했지만, X축 방향(평행방향)에서 인접하는 영역에 관련상을 표시해도 좋다. 즉, 차폐물로 차폐되지 않는 영역에 표시되는 관련상은 XY축 평면상에서의 임의의 위치에 표시할 수 있다.
동일하게, 하여 안쪽으로 들어가는에서는 입체상(H1)(이하, 간단히 조작자(H1)라고 부름)이 손가락으로 차폐되어 있으므로, 차폐물(본 실시형태에서는 손가락)에 의해 차폐되지 않고, 아이콘(H1)에 인접하는 영역인 아이콘(H1)의 상부에, 차폐된 아이콘(H1)의 관련상(H2)(이하, 간단히 아이콘(H2)이라고 부름)을 제어부(106)가 보조 표시하게 한다.
보조 표시되는 관련상은 입체상과 동일하게 표시해도 좋고, 표시부(104)의 표시면상에 2차원 표시시켜도 좋다. 또한, 제어부(106)는 검출부(102)가 검출한 차폐물이 입체상을 차폐하지 않다고 판정하면, 관련상의 보조 표시를 비표시로 한다.
도 8은 입체상(J)을 표시하는 표시장치(100)와, 차폐물인 손(K)과, 보조 표시하는 관련상(L)의 안길이 거리(D)의 관계를 도시한 도면이다. 안길이 거리(D)라는 것은 Z축 방향에서의 안길이 방향의 거리이다. 도 8에 도시한 바와 같이 보조 표시하는 관련상(L)의 안길이 거리는 입체상(J)과 동일하게 할 수 있다. 이와 같이 안길이 거리의 급격한 변화를 적게 함으로써, 눈의 피로감을 경감시킬 수 있다.
또한, 도 9에 도시한 바와 같이, 제어부(106)는 표시부(104)에 대하여 안쪽으로 들어가는 방향에서 보조 표시하는 관련상(L)을, 입체상(J)(입체상의 표시 위치)보다도 표시부(104)로부터 먼 위치에 표시하게 할 수 있다.
또한, 도 10에 도시한 바와 같이 제어부(106)는 표시부(104)에 대하여 안쪽으로 들어가는 방향에서, 보조 표시하는 관련상(L)을, 입체상(J)보다도 표시부(104)에 가까운 위치에 표시할 수 있다. 또한, 제어부(106)는 표시부(104)에 대하여 안쪽으로 들어가는 방향에서 보조 표시하는 관련상(L)을, 표시부(104)상의 위치에 표시하게 할 수도 있다.
이와 같이, 표시부(104)에 대하여 안쪽으로 들어가는 방향에서 입체상(J)의 표시 위치와는 다른 표시 위치에 관련상(L)을 입체 표시함으로써, 보조 표시하게 하는 관련상(L)을 강조할 수 있다. 또한, 사용자의 양쪽 눈 시야 투쟁을 억제할 수 있다.
또한, 도 11에 도시한 바와 같이 제어부(106)는 표시부(104)에 대하여 안쪽으로 들어가는 방향에서 보조 표시하는 관련상(L)을, 입체상(J)보다도 표시부(104)로부터 먼 위치와, 입체상(J)보다도 표시부(104)에 가까운 위치를 시간과 함께(프레임마다) 동적으로 변화시키도록 표시하게 할 수 있다. 이와 같이, 입체상(J)과 보조 표시하는 입체상(L)의 안길이 거리를 변화시킴으로써 보조 표시하는 입체상(L)을 강조할 수 있다.
또한, 제어부(106)는 입체상이 차폐 영역에 포함된다고 판정하면, 입체상을, 차폐물로 차폐되지 않도록 확대한 상을 관련상으로서 표시하게 할 수도 있다.
또한, 제어부(106)는 조작 판정부(103)가 판정한 조작에 따른 동작을 실시한다. 예를 들어, 입력된 조작 제스추어에 따라서 표시부(104)에 표시하는 화상을 제어한다.
다음에, 도면을 참조하여 본 실시형태에 의한 표시장치(100)의 동작예를 설명한다. 도 12는 표시장치(100)가 관련상을 보조 표시하는 동작예를 도시한 플로우차트이다.
제어부(106)는 표시 화상 기억부(105)에 기억되어 있는 표시 화상을 판독하여 시차 화상을 생성하고 표시부(104)에 표시하게 한다. 촬영부(101)는 표시부(104)가 표시되어 있는 표시 방향(예를 들어, 표시부(104)로부터 사용자가 서 있는 방향)을 촬영하여 촬영 화상을 생성한다. 검출부(102)가 촬영부(101)에 의해 생성된 촬영 화상으로부터 차폐물을 검출하면(단계(S1)), 제어부(106)는 차폐물에 의한 입체상의 차폐 영역을 판정한다(단계(S2)). 제어부(106)는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 차폐물에 의해 차폐되어 있지 않은 표시부(104)의 영역에 관련상을 보조 표시하게 한다(단계(S3)). 또한, 검출부(102)가 차폐물을 검출하지 않는다고 판정하면, 제어부(106)는 관련상의 보조 표시를 비표시로 한다.
이상 설명한 바와 같이, 본 실시형태에 따르면 표시장치(100)가 표시하는 입체상이 손가락 등에 의해 차폐된 경우, 표시부(104)가 표시하는 화상에서의 차폐되어 있지 않은 영역에 관련상을 보조 표시한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써, 차폐된 입체상이 어떠한 것인지를 확인할 수 있다. 여기에서 보조 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 두 눈으로부터 시인할 수 있고, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 본 실시형태에서의 표시장치(100)인 3차원 디스플레이에는 예를 들어 디지털 포토프레임, 디지털 사이니지, 가정용 TV 등을 적용할 수 있다. 또는 3차원 표시 가능한 스마트폰을 적용해도 좋다. 이 경우, 예를 들어 터치패널에 의해 접촉되고 있는 부분을 차폐 영역으로서 판정할 수 있다. 또는, 비접촉의 공간감도를 갖는 터치패널을 적용하면, 비접촉의 상태에서도 동일하게 차폐 영역을 판정할 수 있다. 이 경우, 예를 들어 조작 판정부(103)는 손가락이 조작자인 입체상에 접촉된(터치된) 경우에 입체상을 표시하게 하고, 누른 경우에 그 조작자가 선택된 바와 같이 제어할 수 있다. 또는, 예를 들어 손가락 등의 차폐물을 소정 영역에 검출한 경우, 손가락의 위치에 입체상을 근접시키도록 제어하고, 입체상이 손가락으로 차폐되면 관련상의 보조 표시를 실시하여, 눌러지면 조작자가 선택된 바와 같이 제어할 수 있다.
또한, 제어부(106)는 보조 표시하는 관련상의 표시 위치를, XY축 평면상에서 동적으로 변화시킬 수도 있다.
또한, 본 실시형태에서는 입체상이 차폐되는 경우에, 관련상이 입체상에 대하여 X축 방향 또는 Y축 방향에 인접하는 영역에 표시하게 하는 예를 나타냈다. 그러나, 사용자의 시선 위치와, 차폐물과, 표시부의 각도에 의해 Z축 방향으로 변화시킴으로써 사용자가 시인 가능하게 표시할 수 있는 경우에는, 표시 위치를 Z축 방향으로 변경해도 좋다.
또한, 제어부(106)는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고 차폐물에 의해 차폐되는 입체상의 차폐 영역을 판정하며, 입체상에 대한 차폐 영역의 비율에 기초하여 보조 표시하는 관련상을 표시해도 좋다. 예를 들어, 입체상에 대한 차폐 영역의 비율이 커지면 관련상을 보다 크게 표시하고, 입체상에 대한 차폐 영역의 비율이 작으면, 관련상이 차폐되지 않을 정도에서 관련상을 작게 표시하도록 해도 좋다.
관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 입체상이 차폐물에 의해 차폐된 경우에, 제어부(106)가 차폐된 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 차폐되기 전에 입체상이 표시되어 있던 위치로부터, 차폐물에 의해 차폐되지 않는 영역으로, 입체상이 이동하는 것과 같은 관련상을, 시프트 표시로서 표시하게 하는 예가 생각된다.
도 13의 (a)에서 아이콘(M1)은 차폐되기 전에 표시되어 있던 입체상을 표시하고, 아이콘(M2)는 아이콘(M1)을 시프트 표시시켜 표시한 관련상을 나타내며, 시프트량(SF)은 아이콘(M1)의 위치로부터 아이콘(M2)의 위치까지 아이콘(M1)이 시프트 표시되어 시프트한 거리를 표시하고 있다. 예를 들어, 손가락 등의 차폐물에 의해 아이콘(M1)이 차폐된 경우에, 제어부(106)는 차폐된 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고 차폐되기 전에 아이콘(M1)(입체상)이 표시되어 있던 위치로부터 아이콘(M1)(입체상)을 시프트량(SF)만큼 이동한 아이콘(M2)(관련상)의 위치에, 시프트 표시로서 아이콘(M2)(관련상)을 표시한다.
도 13의 (a)에서는 아이콘(M1)이 수직 방향으로 시프트한 바와 같은, 아이콘(M2)을 시프트 표시하게 하는 예를 나타냈다. 그러나, 아이콘(M2)을 시프트 표시하게 하는 방향은 수직방향에 한정되지 않고, 도 13의 (b) 및 (c)에 도시한 바와 같이 아이콘(M1)에 대하여 평행방향을 포함하는 임의의 방향이어도 좋다.
또한, 도 13에서는 아이콘(M1)의 표시를 없애고, 관련상인 아이콘(M2)을 시프트 표시하게 하는 예를 도시했다. 그러나, 아이콘(M1)의 표시를 남긴 채로, 관련상인 아이콘(M2)을 시프트 표시해도 좋다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 차폐되기 전에 입체상이 표시되어 있던 위치로부터, 차폐물에 의해 차폐되지 않는 영역으로, 입체상이 이동하는 것과 같은 관련상을 시프트 표시로서 표시한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써, 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 시프트 표시함으로써, 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 시프트 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예를 생각할 수 있다. 예를 들어, 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 차폐물에 의해 차폐되어 있는 입체상의 영역이 상대적으로 적어지도록, 차폐되어 있는 입체상을 확대시킨 관련상을, 확대 표시로서 표시하는 예가 생각된다.
도 14에서 아이콘(N1)은 차폐되기 전에 표시되어 있던 입체상을 나타내고, 아이콘(N2)은 아이콘(N1)을 확대 표시하여 표시한 관련상을 나타내고, 확대량(EL)은 아이콘(N2)까지 아이콘(N1)을 확대시킨 확대량을 나타내고 있다. 예를 들어, 손가락 등의 차폐물에 의해 아이콘(N1)이 차폐된 경우에, 제어부(106)는 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 차폐되기 전의 아이콘(N1)(입체상)을 확대 표시한 아이콘(N2)을 관련상으로서 표시한다.
또한, 도 14에서는 아이콘(N1)의 표시를 없애고, 관련상인 아이콘(N2)을 확대 표시하는 예를 도시했다. 그러나, 아이콘(N1)의 표시를 남긴 채로 관련상인 아이콘(N2)을 확대 표시해도 좋다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 차폐물에 의해 차폐되어 있는 입체상의 영역이 상대적으로 적어지도록, 차폐되어 있는 입체상을 확대시킨 관련상을 확대 표시로서 표시한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써 차폐된 입체상이 어떤 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 확대 표시함으로써 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 확대 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있고, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않아 눈의 피로감을 경감시킬 수 있다.
또한, 양쪽 눈 시야 투쟁은 사용자가 응시하는 대상물이 차폐물에 의해 차폐되는 영역이 적을수록 발생하기 어려워진다. 그 때문에, 도 14에서 도시한 예와 같이, 차폐되어 있는 입체상을 확대 표시한 관련상을 표시함으로써 입체상 전체의 영역에서 차지하는 차폐물에 의해 차폐된 영역이 상대적으로 적어지고, 양쪽 눈 시야 투쟁의 발생을 억제할 수 있다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 도 15에 도시한 바와 같이 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 포인팅되는 대상물인 입체상 주위의 텍스처의 밀도나 분포가 클수록, 보조 표시하는 관련상을, 입체상으로부터 떨어진 위치에 표시하게 하는 예가 생각된다. 보다 구체적으로는 예를 들어 차폐물에 의해 차폐된 입체상의 주위가 텍스처의 밀도나 분포가 큰 문서 등인 경우에는, 차폐된 입체상을 응시하는 사용자의 시야 투쟁이 발생하기 쉬워진다. 그 때문에, 차폐되는 입체상 주위의 텍스처 밀도나 분포의 크기에 따라서, 제어부(106)가 보조 표시하는 관련상의 표시방법을 선택 또는 변경하여 관련상을 표시하는 예가 생각된다.
도 15에서 아이콘(Q1)은 차폐된 입체상을 나타내고 아이콘(Q2)은 아이콘(Q1)을 팝업 표시 및 확대 표시를 조합하여 표시한 관련상을 나타내고 있다. 또한, 아이콘(Q1)의 주위에는 텍스처의 밀도나 분포가 큰, 예를 들어 문서 등이 표시되어 있다. 예를 들어, 이와 같이 차폐된 입체상 주위의 텍스처의 밀도나 분포가 큰 경우에는 손가락 등의 차폐물에 의해 아이콘(Q1)이 차폐되었을 때, 제어부(106)는 차폐된 아이콘(Q1)(입체상)을 팝업 표시 및 확대 표시하고 아이콘(Q2)을 관련상으로서 표시한다.
도 15에서는 포인팅되는 대상물인 입체상 주위의 텍스처의 밀도나 분포가 클수록, 보조 표시하는 관련상을 입체상으로부터 떨어진 위치에 표시하게 하는 예로서 팝업 표시와 확대 표시를 조합시킨 표시방법을 나타내고 있다.
이와 같이 본 실시형태에 따르면, 입체상이 차폐물에 의해 차폐된 경우에 포인팅되는 대상물인 입체상 주위의 텍스터의 밀도나 분포가 클수록, 입체상으로부터 떨어진 위치에 관련상을 표시하게 한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써, 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 팝업 표시 및 확대 표시함으로써 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 두 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 텍스처의 밀도나 분포가 높은 영역에서는 한층 더 시야 투쟁이 발생하기 쉬워진다. 도 15에 도시한 표시방법의 예에서는, 팝업 표시 및 확대 표시를 조합시킨 보조 표시를 이용함으로써, 양쪽 눈 시야 투쟁이 발생하기 쉬운 영역으로부터 떨어진 위치에 확대된 관련상이 표시되어 있다. 그 때문에, 보다 효과적으로 시야 투쟁을 억제할 수 있다.
한편, 포인팅되는 대상물인 입체상의 텍스처의 밀도나 분포가 작은 경우에는 보조 표시하는 관련상을 입체상에 가까운 위치에 표시하게 해도 시야 투쟁이 발생하기 어렵다. 그 때문에, 관련상을 팝업 표시만이나 시프트 표시만을 사용하여 표시해도 좋다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 도 16에 도시한 바와 같이 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 포인팅되는 대상물인 입체상과 차폐물(예를 들어, 손가락 등)의 상대적인 크기 차이에 따라서 관련상을 보조 표시하게 하는 예가 생각된다. 보다 구체적으로는 예를 들어 동일한 입체상에 대하여 차폐하는 차폐물이 아동의 손가락인 경우와, 차폐물이 어른의 손가락인 경우에는 손가락에 의해 가려지는 입체상의 영역이 다르다. 이와 같이, 차폐되는 입체상과 차폐물의 상대적인 크기 차이에 따라서, 제어부(106)가 보조 표시하는 관련상의 표시방법을 선택 또는 변경하여 관련상을 표시하는 예가 생각된다.
도 16에서 아이콘(Q1)은 차폐되기 전에 표시되어 있던 입체상을 나타내고, 아이콘(Q2)은 아이콘(Q1)을 시프트 표시시켜 표시한 관련상을 나타내고 있다. 또한, 아이콘(Q1)의 주위에는 텍스처의 밀도나 분포가 큰, 예를 들어 문서 등이 표시되어 있다. 예를 들어, 이와 같이 차폐된 입체상 주위의 텍스처의 밀도나 분포가 큰 경우에는 손가락 등의 차폐물에 의해 아이콘(Q1)이 차폐되었을 때, 제어부(106)는 차폐되기 전의 아이콘(Q1)(입체상)을 시프트 표시 및 확대 표시하여 아이콘(Q2)을 관련상으로서 표시한다.
도 16에서는 포인팅되는 대상물인 입체상과 차폐물(예를 들어, 손가락 등)과의 상대적인 크기 차이가 작을수록, 보조 표시하는 관련상을 입체상으로부터 떨어진 위치에 표시하게 하는 예로서, 시프트 표시와 확대 표시를 조합시킨 표시방법을 도시하고 있다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 포인팅되는 대상물인 입체상과 차폐물의 상대적인 크기 차이에 따라서, 차폐물로부터 떨어진 위치에 관련상을 표시한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써, 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 시프트 표시 및 확대 표시함으로써, 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 두 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 입체상과 차폐물(예를 들어, 손가락 등)의 상대적인 크기 차이가 작고 입체상의 대부분이 차폐물에 의해 가려지는 경우에는, 한층 더 양쪽 눈 시야 투쟁이 발생하기 쉬워진다. 도 16에 도시한 표시방법의 예에서는 시프트 표시 및 확대 표시를 조합시킨 보조 표시를 이용함으로써 양쪽 눈 시야 투쟁이 발생하기 쉬운 영역으로부터 떨어진 위치에 확대된 관련상이 표시되어 있다. 그 때문에, 보다 효과적으로 양쪽 눈 시야 투쟁을 억제할 수 있다.
한편, 포인팅되는 대상물인 입체상과 차폐물(예를 들어, 손가락 등)과의 상대적인 크기 차이가 크고, 입체상의 대부분이 차폐물에 의해 가려지지 않는 경우에는, 보조 표시하는 관련상을 입체상에 가까운 위치에 표시해도 양쪽 눈 시야 투쟁이 잘 발생하지 않는다. 그 때문에, 관련상을 팝업 표시만이나 시프트 표시만을 사용하여 표시해도 좋다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예를 들 수 있다. 예를 들어, 도 17에 도시한 바와 같이, 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 포인팅되는 대상물인 입체상과 차폐물(예를 들어, 손가락 등)의 상대적인 위치관계에 따라서, 제어부(106)가 관련상을 보조 표시하게 하는 예가 생각된다. 보다 구체적으로는 예를 들어 차폐물에 의해 차폐된 입체상의 부위에 따라서, 제어부(106)가 보조 표시하는 관련상의 표시 위치나 표시방법을 선택 또는 변경하여 관련상을 표시하는 예가 생각된다.
도 17의 (a)에서 아이콘(M1)은 차폐되기 전에 표시되어 있던 입체상을 도시한 것이고, 아이콘(M2)은 아이콘(M1)을 시프트 표시시켜 표시한 관련상을 나타내며, 시프트량(SF)은 아이콘(M1)의 위치로부터 아이콘(M2)의 위치까지 아이콘(M1)이 시프트 표시되어 시프트한 거리를 나타내고 있다.
도 17의 (a)에서는 포인팅되는 대상물인 입체상과 차폐물(예를 들어, 손가락 등)의 상대적인 위치관계에 따라서 관련상이 표시되는 하나의 예로서, 입체상의 우측 하부가 차폐물에 의해 차폐된 경우에는 제어부(106)가, 차폐된 입체상의 좌측 상방향으로 입체상을 시프트 표시시켜 표시하는 표시방법을 도시하고 있다.
도 17의 (b)에서 아이콘(M1)은 차폐된 입체상을 나타내고, 아이콘(M2)은 아이콘(M1)을 팝업 표시하여 표시한 관련상을 나타내고 있다.
도 17의 (b)에서는 포인팅되는 대상물인 입체상이 차폐물(예를 들어, 손가락 등)과의 상대적인 위치 관계에 따라서 관련상을 표시하게 하는 다른 예로서, 입체상의 우측 하부가 차페물에 의해 차폐된 경우에는 제어부(106)가, 차폐된 입체상의 우측 상방향으로 입체상을 팝업 표시하여 표시하는 표시방법을 도시하고 있다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 차폐되는 입체상과 차폐물의 상대적인 위치관계에 따라서 관련상을 표시한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 보조 표시함으로써 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있고, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 도 17에 도시한 차폐되는 입체상과 차폐물의 상대적인 위치관계에 따른 관련상이 표시되는 방향은 상기의 예에 한정되지 않고, 표시하는 관련상이 차폐되지 않는 임의의 방향이어도 좋다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 도 18에 도시한 바와 같이, 포인팅되는 대상물인 입체상이 차폐물(예를 들어, 손가락 등)에 의해 차폐된 경우에, 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 최초에 입체상을 시프트 표시하여, 그대로 차폐물이 입체상을 차폐한 상태를 일정 시간 이상 유지한 경우에는, 표시방법을 변경하여 관련상을 보조 표시하는 예가 생각된다. 즉, 입체상이 차폐물에 의해 계속 차폐된 경과시간의 길이에 따라서, 제어부(106)가 보조 표시하는 관련상의 표시방법을 변경하여 관련상을 표시하는 예가 생각된다.
도 18의 (a)에서 아이콘(M1)은 차폐된 입체상을 나타내고, 아이콘(M2)은 아이콘(M1)을 시프트시켜 표시한 관련상을 나타내며, 시프트량(SF)은 아이콘(M1)의 위치로부터 아이콘(M2)의 위치까지 아이콘(M1)이 시프트 표시되어 시프트한 거리를 나타내고 있다.
도 18의 (a)에서는 포인팅되는 대상물인 입체상이, 차폐물(예를 들어, 손가락 등)에 의해 차폐 개시 시점부터 소정 시간(T1)보다 짧은 시간동안만큼 계속 차폐되고 있는 경우에, 제어부(106)가 차폐된 입체상을 시프트 표시시켜 표시하는 표시방법을 도시하고 있다.
도 18의 (b)에서 아이콘(M1)은 도 18의 (a)의 상황으로부터 그대로 차폐물에 의해 계속 차폐되고 있는 입체상을 나타내고, 아이콘(M2)은 아이콘(M1)을 팝업 표시하여 표시한 관련상을 나타내고 있다.
도 18의 (b)에서는 포인팅되는 대상물인 입체상이, 차폐물(예를 들어, 손가락 등)에 의해 차폐 개시 시점부터 소정 시간(T1)보다 긴 시간에 걸쳐 계속 차폐되고 있는 경우에, 제어부(106)가 계속 차폐되고 있는 입체상의 관련상을 도 18의 (a)로 도시되는 시프트 표시로부터 팝업 표시로 이행하는 표시방법을 도시하고 있다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 입체상이 차폐물에 의해 계속 차폐된 경과 시간의 길이에 따라서, 보조 표시하는 관련상의 표시방법을 변경시킨다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써, 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 보조 표시함으로써, 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 두 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 도 18에서는 입체상이 차폐되어 있는 시간이 소정 시간(T1)보다 긴 시간에 걸쳐 계속 차폐된 경우에, 관련상이 시프트 표시로부터 팝업 표시로 이행하는 예를 나타냈다. 그러나, 관련상의 표시방법은 상기에 한정되지 않고, 예를 들어 관련상이 팝업 표시로부터 시프트 표시로 이행하는 등, 다른 표시방법을 사용하여 표시해도 좋다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 도 19에 도시한 바와 같이, 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 포인팅되는 대상물인 입체상이, 사용자에게 차폐물(예를 들어, 손가락 등)로 지시된 지시 개시로부터 실제의 입체상의 포인팅까지의 시간에 따라서, 관련상을 보조 표시하게 하는 예가 생각된다. 즉, 입체상이 차폐물로 지시되기 시작하고 나서 실제로 입체상이 포인팅될 때까지의 경과시간의 길이에 따라서, 제어부(106)가 보조 표시하는 관련상의 표시방법을 변경하여 관련상을 표시하는 예가 생각된다. 일례로서 도 19를 참조하여, 입체상이 차폐물로 지시되기 시작하고 나서 실제로 입체상이 포인팅될 때까지의 경과시간이 소정 시간보다 긴 경우에, 제어부(106)가 입체상을 팝업 표시하는 관련상의 표시방법을 설명한다.
도 19는 입체상(J1)을 표시하는 표시장치(100)와, 차폐물인 손(K1)과, 보조 표시하는 관련상(L1)의 안길이 거리(D1)의 관계를 도시한 도면이다. 안길이 거리(D1)라는 것은 Z축 방향에서의 안길이 방향의 거리이다. 또한, 안길이 거리(D1)는 검출부(102)가 차폐물(K1)이 지시를 개시했는지의 여부를 판정하기 위한 지시 개시 위치이다. 검출부(102)는 도 19의 (a)와 같이, 안길이 거리(D1)보다 표시장치(100)에 가까운 위치에 차폐물(K1)이 존재한 경우에, 사용자가 입체상(J1)의 지시를 개시했다고 판정한다. 차폐물(K1)의 위치가 표시장치(100)에 관하여 지시 개시 장치(안길이 거리(D1))보다 가까이에 있는지 멀리 있는지에 따라서, 검출부(102)는 차폐물(K1)에 의한 지시 개시를 판정한다. 그리고, 제어부(106)는 도 19의 (b)와 같이 사용자가 입체상(J1)의 지시를 개시했다고 검출부(102)에 의해 판정된 시간부터, 실제로 사용자가 차폐물(K1)로 입체상(J1)을 안길이 거리(D’1)의 위치에서 포인팅할 때까지 걸린 경과시간(T2)을 계측한다. 제어부(106)는 경과시간(T2)이 소정 시간보다 길었던 경우에는, 관련상(L1)을 팝업 표시로서 보조 표시한다.
한편, 예를 들어 입체상(J1)이 차폐물(K1)로 지시되기 시작하고 나서 실제로 입체상(J1)이 포인팅될 때까지의 경과시간(T2)이 소정 시간보다 짧은 경우에, 제어부(106)는 관련상(L1)을 시프트 표시로서 보조 표시한다(도시하지 않음).
이와 같이 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 입체상이 차폐물로 지시되기 시작하고 나서 실제로 입체상이 포인팅될 때까지의 경과시간의 길이에 따라서, 보조 표시하는 관련상의 표시방법을 변경하여 관련상을 표시하게 한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐되어 있는 입체상의 관련상을 보조 표시함으로써 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있고, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 도 20에 도시한 바와 같이 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 포인팅되는 대상물인 입체상과, 입체상의 주위에 표시되어 있는 입체상과는 다른 표시물의 위치관계에 따라서, 보조 표시하는 관련상의 표시 위치를 선택하여 표시하는 예가 생각된다.
보다 구체적으로는 예를 들어, 제어부(106)가 차폐물에 의해 차폐된 입체상을 보조 표시할 때, 입체상의 주위에 다른 아이콘이 화면에 표시되어 있는 경우에는, 다른 아이콘과 떨어진 위치에 관련상을 보조 표시함으로써 다른 아이콘과의 간섭을 방지하고 보다 시인성을 높일 수 있다. 일례로서 도 20을 참조하여 차폐되는 입체상의 주위에 다른 표시물(아이콘)이 표시되어 있는 경우에, 제어부(106)가 관련상을 팝업 표시하게 하는 표시방법을 설명한다.
도 20에서 아이콘(M1)은 차폐된 입체상을 나타내고, 아이콘(M2)은 아이콘(M1)을 팝업 표시하여 표시한 관련상을 나타내고 있다. 또한, 아이콘(M1)의 주위에는 예를 들어 아이콘(M3)과 같은, 차폐되는 아이콘(M1)과는 다른 아이콘이 표시되어 있다.
예를 들어, 이와 같은 경우에는 손가락 등의 차폐물에 의해 아이콘(M1)이 차폐되었을 때, 제어부(106)는 차폐된 아이콘(M1)(입체상)을 팝업 표시한 아이콘(M2)을 관련상으로서 표시한다. 그 때, 제어부(106)는 아이콘(M3)이 표시되어 있는 위치를 고려하여 아이콘(M3)과 간섭하지 않는 위치에 아이콘(M2)을 팝업시킨다.
도 20의 예에서는 포인팅되는 대상물인 입체상(M1)의 우측에 다른 아이콘(M3)이 표시되어 있으므로, 보조 표시하는 관련상(M2)을, 다른 아이콘(M3)이 표시되어 있는 위치의 역방향의 위치에 표시하게 하는 예로서, 팝업 표시를 사용한 표시방법을 도시하고 있다. 보조 표시하는 관련상의 표시방법은 팝업 표시에 한정되지 않고, 제어부(106)는 차폐되는 입체상의 주위의 화면 표시 상황에 따라서 보조 표시하는 관련상이 주위의 표시물과 간섭하지 않도록 적절한 표시방법을 판단하여 관련상을 표시할 수 있다.
이와 같이 본 실시형태에 따르면, 입체상이 차폐물에 의해 차폐된 경우에 포인팅되는 대상물인 입체상과, 입체상의 주위에 표시되어 있는 입체상과는 별도의 표시물과의 위치관계에 따라서, 보조 표시하는 관련상의 표시방법을 변경하여 관련상을 표시하게 한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써, 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 보조 표시함으로써, 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다.
특히, 차폐되는 입체상 주위의 화면 표시 상황에 따라서 보조 표시하는 관련상이 주위의 표시물과 간섭하지 않도록 적절한 표시방법을 판단하여 관련상을 표시하게 할 수 있으므로, 사용자가 인식하기 쉽도록 보다 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 예를 들어, 도 21에 도시한 바와 같이 포인팅되는 대상물인 입체상이 사용자에게 차폐물(예를 들어, 손가락 등)으로 차폐된 경우에, 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 입체상과 동일한 시차량으로 보조 표시를 표시하게 한 후에 계속해서, 소정의 표시시차까지 시차량을 연속적으로 변화시키면서 관련상을 표시하는 예가 생각된다. 일례로서, 도 21을 참조하여 제어부(106)가 입체상과 동일한 시차량으로 팝업 표시를 표시하게 한 후에 계속하여, 상기 팝업 표시를 소정의 표시시차까지 시차량을 연속적으로 변화시키면서 팝업 표시를 표시하는 관련상의 표시방법을 설명한다.
도 21은 입체상(J2)을 표시하는 표시장치(100)와, 차폐물인 손(K2)과, 보조 표시하는 관련상(L2)의 안길이 거리(D2)의 관계를 도시한 도면이다. 안길이 거리(D2)는 Z축 방향에서의 표시장치(100)로부터 입체상(J2)이 표시되는 위치까지의 안길이 방향의 거리이다. 또한, 관련상(L2)으로부터 소정의 표시시차까지 시차량을 연속적으로 변화시켜 표시된 관련상(L3)은 안길이 거리(D3)의 위치에 표시된다.
입체상(J2)이 차폐물인 손(K2)에 의해 차폐되면, 제어부(106)가 안길이 거리(D2)의 위치에, 입체상(J2)과 동일한 시차량으로 관련상(L2)을 팝업 표시한다. 계속해서, 제어부(106)는 안길이 거리(D2)의 위치에서 팝업 표시되어 있는 관련상(L2)의 시차량을 소정의 표시시차까지 시차량을 연속적으로 변화시키면서, 안길이 거리(D3)의 위치에 관련상(L3)을 팝업 표시로서 표시한다. 즉, 제어부(106)는 차폐물에 의해 차폐된 입체상의 관련상을, 입체상과 동일한 시차량으로부터, 사용자에 있어 부상해 오는 것처럼 보이도록 소정의 표시시차까지 시차량을 연속적으로 변화시키면서 관련상을 표시한다.
또한, 예를 들어 안길이 거리(D2)의 위치에서 팝업 표시되어 있는 관련상(L2)의 시차량을 연속적으로 변화시키는 방향은 안길이 거리(D3)의 위치와 같이, 표시장치(100)로부터 멀어지는 방향에 한정되지 않고, 표시장치(100)에 기초하는 방향으로 관련상(L2)의 시차량을 연속적으로 변화시켜 관련상을 표시하는 표시방법으로 해도 좋다.
또한, 도 21에서는 관련상이 팝업 표시되는 예를 도시했지만, 예를 들어 연속적으로 시차를 변화시키면서 표시하는 관련상은, 시프트 표시 등의 다른 표시방법을 사용하여 표시해도 좋다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 입체상과 동일한 시차량으로 보조 표시를 표시하게 한 후에 계속하여, 소정의 표시시차까지 시차량을 연속적으로 변화시키면서 관련상을 표시하게 한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐된 입체상의 관련상을 보조 표시함으로써 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다.
차폐되는 입체상과 다른 시차량으로 관련상을 보조 표시하는 경우 입체상의 주위에, 입체상과 시차량이 다른 관련상을 순식간에 표시하게 하면, 입체상으로부터 관련상으로의 사용자의 시차시를 추종할 수 없고, 보조 표시되는 관련상을 사용자가 시인하기 어려울 우려가 있다. 그 때문에, 상기의 표시방법과 같이 입체상의 시차량으로부터 소정의 관련상의 시차량까지를 시간적으로 연속하여 변화시킴으로써 보조 표시되는 관련상을 사용자가 보다 시인하기 쉽게 할 수 있다.
또한, 관련상을 표시하는 다른 방법으로서는 이하과 같은 예가 생각된다. 예를 들어, 도 22에 도시한 바와 같이 포인팅되는 대상물인 입체상이 차폐물(예를 들어, 손가락 등)에 의해 차폐된 경우에, 제어부(106)가 차폐되어 있는 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 보조 표시된 관련상 주위의 표시물을 흐리게 표시하는 예가 생각된다. 보다 구체적으로는 예를 들어 3차원 표시로 두드러지게 하고 싶은 부분(관련상) 이외의 주위의 표시물의 표시를 연하게 함으로써 관련상이 두드러지도록 표시하는 예가 생각된다. 또한, 관련상 주위의 표시물을 흐리게 하는 방법의 일례로서는, 예를 들어 주위 표시물의 표시를 연하게 하거나, 주위 표시물의 표시의 콘트라스트값을 변경하거나, 주위 표시물의 표시의 α값(투명도)을 변경하는 표시방법이 생각된다.
도 22는 상술한 도 15와 동일하게 입체상(Q1)의 주위의 텍스처 밀도나 분포가 클수록, 제어부(106)가 보조 표시하는 관련상(Q2)을 입체상(Q1)으로부터 떨어진 위치에 표시하게 하는 표시방법으로 표시하는 예를 나타내고 있다. 또한, 도 22에서는 제어부(106)가 차폐된 입체상(Q1) 주위의 표시물의 표시를 연하게 함(흐리게 함)으로써 보조 표시된 관련상(Q2)이 두드러지도록 표시하고 있다.
이와 같이, 본 실시형태에 따르면 입체상이 차폐물에 의해 차폐된 경우에, 입체상을 확대하고 차폐물로부터 떨어진 위치에 관련상을 팝업시켜 표시하며, 또한 관련상의 주위에 표시되어 있는 표시물을 연하게 하여(흐리게 하여) 표시한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐되어 있는 입체상의 관련상을 보조 표시함으로써 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로, 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있고, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고, 눈의 피로감을 경감시킬 수 있다. 또한, 차폐된 입체상 주위의 표시물이 연하게(흐리게) 표시되므로, 차폐물과 주위 표시물의 경계에서 발생하는 사용자의 양쪽 눈 시야 투쟁을 보다 효과적으로 억제할 수 있다.
또한, 차폐된 입체상 주위의 표시물을 흐리게 하여 표시하는 방법은 도 22에 도시한 주위 표시물의 표시를 연하게 하는 표시방법에 한정되지 않고, 주위 표시물의 콘트라스트값이나 α값을 변경하여 보조 표시된 관련상이 두드러지도록 표시해도 좋다. 또한, 보조 표시된 관련상과 주위 표시물의 콘트라스트값의 비나 α값의 비를 변경하여, 보조 표시된 관련상이 두드러지도록 표시해도 좋다.
또한, 관련상을 표시하는 다른 방법으로서는 이하와 같은 예가 생각된다. 사용자의 양쪽 눈 시야 투쟁은 사용자의 오른쪽 눈에 주어지는 우안상과 왼쪽 눈에 주어지는 좌안상의 차이가 클수록 일반적으로 발생하기 쉬워진다. 예를 들어, 사용자의 우안상과 좌안상의 매칭도(일치도)가 높으면, 양쪽 눈 시야 투쟁은 발생하기 어려워진다. 한편, 사용자의 우안상과 좌안상의 매칭도(일치도)가 낮으면 양쪽 눈 시야 투쟁이 발생하기 쉬워진다. 즉, 사용자의 우안상과 좌안상의 차이가 클수록 양쪽 눈 시야 투쟁이 발생하기 쉬워진다.
그 때문에, 예를 들어 포인팅되는 대상물인 입체상이 차폐물(예를 들어, 손가락 등)에 의해 차폐된 경우에, 제어부(106)가 사용자의 오른쪽 눈에 주어지는 우안상과 왼쪽 눈에 주어지는 좌안상의 차이를 판정하고, 이 차이의 대소에 따라서 보조 표시되는 관련상의 표시방법을 선택하거나 변경하는 예가 생각된다. 즉, 차폐물에 의해 차폐되어 있는 입체상을 응시하는 사용자의 우안상과 좌안상의 매칭도(일치도)에 따라서 보조 표시되는 관련상의 표시방법을 변경하는 예가 생각된다.
이와 같이, 본 실시형태에 따르면 차폐물에 의해 차폐되어 있는 입체상을 응시하는 사용자의 우안상과 좌안상의 매칭도(일치도)에 따라서 사용자의 양쪽 눈 시야 투쟁이 잘 발생하지 않는 표시방법을 선택하거나 변경하여 관련상을 표시하게 한다. 이에 의해, 사용자는 보조 표시된 관련상을 시인함으로써 차폐된 입체상이 어떠한 것인지를 보다 명확하게 확인할 수 있다. 또한, 차폐되어 있는 입체상의 관련상을 보조 표시함으로써 입체상의 내용을 사용자가 인식하기 쉽도록 두드러지게 할 수 있다. 또한, 표시된 관련상은 차폐물에 의해 차폐되지 않으므로 사용자는 양쪽 눈으로부터 관련상을 시인할 수 있어, 양쪽 눈 시야 투쟁 등의 위화감을 발생시키지 않고 눈의 피로감을 경감시킬 수 있다. 또한, 사용자의 양쪽 눈 시야 투쟁의 발생 용이성에 따라서 표시방법을 선택하거나 변경할 수 있으므로, 보다 적절한 표시방법으로 관련상을 표시할 수 있다.
도 23은 차폐물에 의해 입체상이 차폐되었을 때 입체상인 아이콘(M1)을 팝업 표시하여 표시한 관련상인 아이콘(M2)의 예이다. 예를 들어, 아이콘(M1)이 표시되어 있는 영역을 사용자가 차폐하고 있는 동안에는 제어부(106)가 도 23의 (a)와 같이 아이콘(M2)의 중앙부에 마커(V1)를 표시하도록 해도 좋다. 도 23의 (a)에서는 마커(V1)의 일례로서 아이콘(M2)의 중앙부에 ×표가 표시되는 예가 도시되어 있다.
또한, 도 23의 (b)는 차폐물에 의해 입체상이 차폐되었을 때 입체상인 아이콘(M1)을 시프트 표시시켜 표시한 관련상인 아이콘(M2)의 예이다. 이 때, 아이콘(M1)이 표시되어 있던 영역을 사용자가 차폐하고 있는 동안에는 제어부(106)가 도 23의 (b)와 같이 아이콘(M2)의 중앙부에 마커(V2)를 표시하도록 해도 좋다. 도 23의 (b)에서는 마커(V2)의 일례로서, 아이콘(M2)상에 차폐물(손가락 등)의 윤곽이 반투명하게 표시되는 예가 도시되어 있다.
또한, 도 24와 같이, 예를 들어 포인팅되는 대상물인 입체상으로서 키보드(KB1)를 표시하고, 이 키보드(KB1) 상에서 키를 누르는 동작을 실시하는 사용자의 손가락을 차폐물로 하고, 사용자의 손가락에 의해 차폐된 키보드에 대응한 관련상인 키보드(KB2)를 표시할 수도 있다. 이 때, 제어부(106)가 도 24와 같이 보조 표시한 키보드(KB2) 상에 마커(W)를 표시하도록 해도 좋다. 도 24에서는 마커(W)의 일례로서 관련상(KB2) 위에 차폐물(손가락 등)의 윤곽이 반투명하게 표시되는 예가 표시되어 있다.
도 23~도 24에 도시한 바와 같은 마커를 표시된 관련상 위에 표시함으로써, 사용자는 자신이 차폐물에 의해 차폐되어 있는 입체상을 보다 파악하기 쉬워진다. 즉, 사용자는 자신이 차폐물에 의해 선택 또는 지시하고 있는 입체상을 보다 파악하기 쉬워진다. 그 때문에, 차폐된 입체상의 주위에 팝업 표시나 시프트 표시에 의해 관련상이 표시되었을 때, 사용자는 자신이 지시한 입체상과 표시된 관련상을 관련지어 인식하기 쉬워진다. 따라서, 사용자는 자신이 지시한 입체상이 관련상으로서 표시되어 있는 상황이 이해되기 쉬우므로, 팝업 표시나 시프트 표시 등의 관련상이 표시되었을 때의 사용자의 혼란이나 어리둥절함을 방지할 수 있다.
또한, 상기 중 어느 실시예에서도 입체상이 차폐물에 의해 차폐되어 있는 경우에, 입체상에 인접하는 영역에 보조 표시되는 관련상의 일부는 차폐되어 있는 입체상과 겹친 상태로 표시되어도 좋다. 또한, 입체상에 인접하는 영역에 보조 표시되는 관련상의 일부는, 입체상을 차폐하고 있는 차폐물과 겹친 상태에서 표시되어도 좋다. 즉, 보조 표시되는 관련 화상 모두가, 차폐되어 있는 입체상에 겹치지 않는 영역에 표시되지 않아도 좋다. 또한, 보조 표시되는 관련 화상 모두가, 차폐물에 의해 차폐되지 않는 영역에 표시되지 않아도 좋다.
또한, 상기 중 어느 실시예에서의 관련상의 표시방법은 어디까지나 표시방법의 일례이다. 상기에서 설명한 관련상의 표시방법은 모두 적절하게 조합하여 관련상의 표시에 사용할 수 있다.
또한, 본 발명에서의 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 상기 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들여 실행함으로써 표시제어를 실시해도 좋다. 또한, 여기에서 말하는 「컴퓨터 시스템」이라는 것은 OS나 주변 기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공환경(또는 표시환경)을 구비한 WWW 시스템도 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록매체」라는 것은 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 가반(可搬)매체, 컴퓨터 시스템에 내장되는 하드디스크 등의 기억장치를 말한다. 또한, 「컴퓨터 판독 가능한 기록매체」라는 것은 인터넷 등의 네트워크나 전화회선 등의 통신회선을 통하여 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이, 일정 시간 프로그램을 유지하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송매체를 통하여, 또는 전송매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송되어도 좋다. 여기에서, 프로그램을 전송하는 「전송매체」는 인터넷 등의 네트워크(통신망)나 전화회선 등의 통신회선(통신선)과 같이 정보를 전송하는 기능을 갖는 매체를 말한다. 또한, 상기 프로그램은 상술한 기능의 일부를 실현하기 위한 것이어도 좋다. 또한, 상술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 소위 차분 파일(차분 프로그램)이어도 좋다.
100: 표시장치 101: 촬영부
102: 검출부 103: 조작 판정부
104: 표시부 105: 표시 화상 기억부
106: 제어부

Claims (20)

  1. 양쪽 눈의 시차에 기초하는 입체상이 포함되는 화상을 표시하는 표시부,
    상기 입체상을 차폐하는 차폐물을 검출하는 검출부, 및
    상기 검출부에 의한 검출 결과에 기초하여, 상기 차폐물에 의한 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 상기 판정 결과에 기초하여 상기 입체상에 관련된 관련상의 표시를 제어하는 제어부를 구비하는 표시장치.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 입체상의 표시 위치에 기초하여 상기 관련상의 표시 위치를 제어하는 표시장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제어부는 상기 화상의 영역 중, 상기 차폐물에 의해 차폐되지 않는 영역에서 상기 관련상의 표시를 제어하는 표시장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 검출 결과에 기초하여 상기 차폐물에 의해 상기 입체상이 차폐되어 있는지의 여부를 판정하고, 차폐되어 있다고 판정된 경우, 상기 관련상이 상기 차폐물에 의해 차폐되지 않도록 상기 관련상을 표시하게 하는 표시장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 차폐물에 의해 차폐되는 상기 화상의 차폐 영역을 판정하고, 상기 화상의 영역 중, 상기 차폐 영역과는 다른 영역에 상기 관련상을 표시하게 하는 표시장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 입체상에 인접하는 영역에 상기 관련상을 표시하게 하는 표시장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 표시부에 대하여 안쪽으로 들어가는 방향에서, 상기 입체상의 표시 위치와는 다른 표시 위치에 상기 관련상을 입체 표시하게 하는 표시장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 표시부에 대하여 안쪽으로 들어가는 방향에서, 상기 입체상의 표시 위치보다 상기 표시부로부터 먼 표시 위치에, 상기 관련상을 입체 표시하게 하는 표시장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 표시부에 대하여 안쪽으로 들어가는 방향에서, 상기 입체상의 표시 위치보다 상기 표시부에 가까운 표시 위치에, 상기 관련상을 입체 표시하게 하는 표시장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 표시부에 대하여 안쪽으로 들어가는 방향에서의 상기 관련상의 표시 위치를 시간과 함께 변화시켜 입체 표시하게 하는 표시장치.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 관련상에는 상기 입체상과 동일한 상이 포함되는 표시장치.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 입체상을 확대한 상을 상기 관련상으로서 표시하게 하는 표시장치.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 제어부는 상기 차폐물에 의해 차폐되는 상기 입체상의 차폐 영역을 판정하고, 상기 입체상에 대한 상기 차폐 영역의 비율에 기초하여 상기 관련상을 표시하게 하는 표시장치.
  14. 표시장치의 컴퓨터에,
    양쪽 눈의 시차에 기초하는 입체상이 포함되는 화상을 표시하는 단계,
    상기 입체상을 차폐하는 차폐물을 검출하는 단계, 및
    검출 결과에 기초하여 상기 차폐물에 의한 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽을 판정하고, 상기 판정 결과에 기초하여 상기 입체상에 관련된 관련상의 표시를 제어하는 단계를 실행시키는 표시 제어 프로그램.
  15. 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽은, 상기 입체상 주위의 텍스처의 밀도 및 분포를 포함하는 표시장치.
  16. 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽은 상기 입체상과 상기 차폐물의 상대적인 크기 차이를 포함하는 표시장치.
  17. 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽은 상기 입체상과 상기 차폐물의 상대적인 위치관계를 포함하는 표시장치.
  18. 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽은, 상기 입체상이 상기 차폐물에 의해 계속하여 차폐된 시간의 길이를 포함하는 표시장치.
  19. 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽은 상기 입체상과, 상기 표시부에 표시되는 주위의 표시물의 상대적인 위치관계를 포함하는 표시장치.
  20. 상기 입체상의 표시 상태 및 차폐 상태 중 적어도 한쪽은 상기 입체상을 응시하는 사용자의 우안상과 좌안상의 일치도를 포함하는 표시장치.
KR1020147014205A 2011-11-21 2012-11-20 표시장치, 표시 제어 프로그램 KR20140097226A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011253805 2011-11-21
JPJP-P-2011-253805 2011-11-21
PCT/JP2012/080107 WO2013077338A1 (ja) 2011-11-21 2012-11-20 表示装置、表示制御プログラム

Publications (1)

Publication Number Publication Date
KR20140097226A true KR20140097226A (ko) 2014-08-06

Family

ID=48469780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147014205A KR20140097226A (ko) 2011-11-21 2012-11-20 표시장치, 표시 제어 프로그램

Country Status (8)

Country Link
US (1) US10477191B2 (ko)
EP (1) EP2784640A4 (ko)
JP (3) JPWO2013077338A1 (ko)
KR (1) KR20140097226A (ko)
CN (3) CN110119203A (ko)
BR (1) BR112014011974A2 (ko)
RU (2) RU2658790C2 (ko)
WO (1) WO2013077338A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
KR102297148B1 (ko) * 2014-10-31 2021-09-03 삼성메디슨 주식회사 3차원 영상을 표시하는 초음파 시스템 및 그 방법
CN104991649B (zh) * 2015-07-21 2019-01-11 小米科技有限责任公司 屏幕排版方法及装置
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
CN106228110B (zh) * 2016-07-07 2019-09-20 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
JP2019105777A (ja) * 2017-12-14 2019-06-27 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP7135324B2 (ja) * 2018-01-23 2022-09-13 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
CN110248147B (zh) 2018-09-25 2022-08-23 浙江大华技术股份有限公司 一种图像显示方法及装置
CN109550247B (zh) * 2019-01-09 2022-04-08 网易（杭州）网络有限公司 游戏中虚拟场景调整方法、装置、电子设备及存储介质
CN113077510B (zh) * 2021-04-12 2022-09-20 广州市诺以德医疗科技发展有限公司 遮蔽下的立体视功能检查系统

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JPH09190278A (ja) 1996-01-09 1997-07-22 Mitsubishi Motors Corp 機器の操作系選択装置
JP3577577B2 (ja) * 1996-02-23 2004-10-13 株式会社タイテック 空中立体視装置
JP4031120B2 (ja) 1998-09-10 2008-01-09 株式会社東芝 オブジェクト強調表示方法及びその装置並びに記憶媒体
JP2003005912A (ja) 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
CN100353293C (zh) * 2001-10-24 2007-12-05 索尼公司 图像信息显示装置
CN101673181A (zh) * 2002-11-29 2010-03-17 皇家飞利浦电子股份有限公司 具有触摸区域的移动表示的用户界面
CN1266653C (zh) 2002-12-26 2006-07-26 联想(北京)有限公司 一种显示三维图像的方法
JP3874737B2 (ja) * 2003-03-31 2007-01-31 株式会社東芝 表示装置
JP3939709B2 (ja) 2004-04-30 2007-07-04 日本電信電話株式会社 情報入力方法および情報入出力装置
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
RU2411690C2 (ru) * 2005-12-02 2011-02-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения
JP4764305B2 (ja) * 2006-10-02 2011-08-31 株式会社東芝 立体画像生成装置、方法およびプログラム
US7692629B2 (en) 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
EP2118673A1 (en) 2007-01-09 2009-11-18 Selex Sensors and Airborne Systems Limited Emitter location
US8985774B2 (en) 2007-03-30 2015-03-24 National Institute Of Information And Communication Technology Floating image interaction device and its program
CN101072366B (zh) 2007-05-24 2010-08-11 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
WO2009025034A1 (ja) 2007-08-22 2009-02-26 Pioneer Corporation 画像表示装置
US8416268B2 (en) 2007-10-01 2013-04-09 Pioneer Corporation Image display device
US9092134B2 (en) 2008-02-04 2015-07-28 Nokia Technologies Oy User touch display interface providing an expanded selection area for a user selectable object
CN101266530B (zh) * 2008-04-04 2012-12-12 中国海洋大学 大屏幕三维测量触摸屏
JP4657331B2 (ja) * 2008-08-27 2011-03-23 富士フイルム株式会社 ３次元表示時における指示位置設定装置および方法並びにプログラム
WO2010035326A1 (ja) 2008-09-26 2010-04-01 パイオニア株式会社 画像表示装置及び画像表示システム
JP4650549B2 (ja) * 2008-10-06 2011-03-16 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2010092272A (ja) * 2008-10-08 2010-04-22 Sharp Corp 画像表示／像検知装置、補助画像表示方法、およびプログラム
US8228435B2 (en) 2008-12-18 2012-07-24 Sony Corporation Enhanced metadata presented in a pop-up window on cross-media bar user interface when a user hovers a screen cursor over a TV channel icon
JP5328539B2 (ja) * 2009-07-21 2013-10-30 京セラ株式会社 入力装置
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
CN102640502B (zh) * 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
JP2011090611A (ja) 2009-10-26 2011-05-06 Canon Inc 映像装置及びその制御方法
US20110102556A1 (en) * 2009-11-03 2011-05-05 Kim Sungdo Method for displaying 3d image by using the binocular disparity in mobile terminal and mobile terminal using the same
JP5446769B2 (ja) 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 ３次元入力表示装置
KR20110076771A (ko) 2009-12-29 2011-07-06 한국전자통신연구원 터치 기반의 멀티미디어 기기의 자판 표시 방법 및 장치
KR101114750B1 (ko) 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
JP4900741B2 (ja) 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US9164621B2 (en) * 2010-03-18 2015-10-20 Fujifilm Corporation Stereoscopic display apparatus and stereoscopic shooting apparatus, dominant eye judging method and dominant eye judging program for use therein, and recording medium
CN101808251B (zh) * 2010-04-06 2011-07-20 浙江大学 立体图像对中遮挡信息的提取方法
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
JP5573379B2 (ja) 2010-06-07 2014-08-20 ソニー株式会社 情報表示装置および表示画像制御方法
JP5593972B2 (ja) 2010-08-30 2014-09-24 ソニー株式会社 情報処理装置、立体視表示方法、及びプログラム
US20120056989A1 (en) 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
US20120069055A1 (en) 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
CN103140879B (zh) 2010-09-30 2017-06-16 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
CN102005062A (zh) 2010-11-09 2011-04-06 福州瑞芯微电子有限公司 用于三维立体显示的三维图像的产生方法及装置

Also Published As

Publication number Publication date
RU2014124192A (ru) 2015-12-27
EP2784640A1 (en) 2014-10-01
BR112014011974A2 (pt) 2017-05-30
CN110119203A (zh) 2019-08-13
JP2018061251A (ja) 2018-04-12
JP6508280B2 (ja) 2019-05-08
RU2018119502A (ru) 2018-11-15
CN110275607A (zh) 2019-09-24
US20140320615A1 (en) 2014-10-30
CN104054044A (zh) 2014-09-17
JPWO2013077338A1 (ja) 2015-04-27
JP2019145133A (ja) 2019-08-29
RU2658790C2 (ru) 2018-06-22
WO2013077338A1 (ja) 2013-05-30
RU2018119502A3 (ko) 2019-02-27
EP2784640A4 (en) 2015-10-21
US10477191B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
KR20140097226A (ko) 표시장치, 표시 제어 프로그램
KR102417968B1 (ko) 시선-기반 사용자 상호작용
US20170264881A1 (en) Information processing apparatus, information processing method, and program
US20160041619A1 (en) Information processing apparatus, information processing method, and program
US20140253542A1 (en) Image processing apparatus and method for three-dimensional image zoom
JP2012256110A (ja) 情報処理装置、情報処理方法およびプログラム
WO2012073336A1 (ja) 立体映像表示装置及び方法
JP5857082B2 (ja) 表示装置及び電子機器
JP6428020B2 (ja) Ｇｕｉ装置
JP2010107685A (ja) ３次元表示装置および方法並びにプログラム
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
JP6081839B2 (ja) 表示装置および同装置における画面制御方法
CN103270760B (zh) 在立体变焦过程中用于视差调节的方法和系统
JP2012103980A5 (ko)
US8817081B2 (en) Image processing apparatus, image processing method, and program
JP2013168781A (ja) 表示装置
JP4268415B2 (ja) 立体視方法およびヘッドマウントディスプレイ装置
JP6269692B2 (ja) 表示装置、電子機器、およびプログラム
JP6424947B2 (ja) 表示装置、およびプログラム
JP5879856B2 (ja) 表示装置、表示方法及びプログラム
JP2019050583A (ja) 表示装置、およびプログラム
JP2014116843A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application