KR20140102663A - 헤드-장착형 디스플레이 및 정보 표시 장치 - Google Patents

헤드-장착형 디스플레이 및 정보 표시 장치 Download PDF

Info

Publication number
KR20140102663A
KR20140102663A KR1020147014870A KR20147014870A KR20140102663A KR 20140102663 A KR20140102663 A KR 20140102663A KR 1020147014870 A KR1020147014870 A KR 1020147014870A KR 20147014870 A KR20147014870 A KR 20147014870A KR 20140102663 A KR20140102663 A KR 20140102663A
Authority
KR
South Korea
Prior art keywords
image
input
input device
target object
display
Prior art date
Application number
KR1020147014870A
Other languages
English (en)
Inventor
데츠로 고토
마사토시 우에노
겐이치 가바사와
도시유키 나카가와
다이스케 가와카미
시노부 구리야
츠바사 츠카하라
히사코 스가노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140102663A publication Critical patent/KR20140102663A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Position Input By Displaying (AREA)

Abstract

입력 디바이스(2)와 통신 가능하고, 조작 화상, 및 상기 조작 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스(11)를 포함하는 헤드-장착가능 표시 장치(1)가 제공된다. 보조 화상은 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 나타낸다.

Description

헤드-장착형 디스플레이 및 정보 표시 장치{HEAD-MOUNTED DISPLAY AND INFORMATION DISPLAY APPARATUS}
본 기술은 헤드-장착형 디스플레이 및 정보 표시 장치에 관한 것이다.
유저의 헤드에 장착되어, 눈앞에 배치된 디스플레이 등을 통해 유저에게 화상을 제시할 수 있는 헤드-장착형 디스플레이(head-mounted display: HMD)가 알려져 있다. HMD들은 외광을 투과시키지 않고 유저에게 소정의 화상만을 표시하는 비투과형(non-see-through) HMD와, 유저에 외계를 시인시키며 예를 들어, 소정의 화상을 유저의 시야에 중첩하도록 표시하는 투과형 HMD로 분류된다. 예를 들어, 일본 특허 출원 공개 제2008-070817호 공보에는 HMD 본체에 버튼 등의 조작 입력부를 포함한 비투과형 HMD가 기재되어 있다.
한편, 최근, 정보 처리 장치 등에의 입력 방법으로서, 점유 면적이 크고 다양화에 한계가 있는 버튼 등 대신, 지시 항목들(그래픽 유저 인터페이스(Graphical User Interfaces)(GUIs))을 전환할 수 있음으로써, 유저에게 복수의 GUI를 제시하는 터치 패널 방식이 주류로 되고 있다. 이러한 맥락에서, 일본 특허 출원 공개 제2010-145861호 공보(이하, 특허 문헌 2라고 지칭함)에는 유저의 시야 내에 터치 패널의 입력 조작면을 배치해서 입력 조작을 행하는 투과형 HMD가 기재되어 있다.
[선행기술문헌]
[특허문헌]
[특허문헌 1] 일본 특허 출원 공개 제2008-070817호 공보
[특허문헌 2] 일본 특허 출원 공개 제2010-145861호 공보
그러나, 특허문헌 2에 기재된 투과형 HMD에서는, 터치 패널의 입력 조작면을 HMD를 통해 시야 내에 배치해서 사용할 필요가 있기 때문에, 입력 조작과 화면상의 표시 간의 모순이 발생하기 쉬워서 조작성에 문제를 야기한다.
전술한 사정을 감안하여, 유저의 직감에 입각하고 우수한 조작성을 갖는 헤드-장착형 디스플레이 및 정보 표시 장치를 제공할 필요가 있다.
실시 형태에 따르면, 입력 디바이스와 통신 가능하고, 조작 화상과 상기 조작 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하는 헤드-장착가능 디스플레이 장치가 제공된다. 본 실시 형태에 있어서, 상기 보조 화상은 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 나타낸다.
다른 실시 형태에 따르면, 헤드-장착가능 디스플레이 장치에 화상을 표시하는 방법이 제공된다. 이 방법은, 상기 헤드-장착가능 디스플레이 장치의 화상 표시 디바이스에 의해 입력 디바이스에 대한 타겟 오브젝트의 3차원 위치 정보를 수신하는 단계, 및 상기 화상 표시 디바이스에 조작 화상, 및 상기 조작 화상에 중첩된 보조 화상을 표시하는 단계를 포함한다. 본 실시 형태에 있어서, 상기 보조 화상은 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 나타낸다.
다른 실시 형태에 있어서, 주 화상, 및 상기 주 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하는 헤드-장착가능 디스플레이 장치를 포함하는 정보 표시 시스템이 제공된다. 또한, 정보 표시 시스템은 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 측정하도록 구성된 그 입력 디바이스를 포함한다. 본 실시 형태에 있어서, 상기 보조 화상은 상기 타겟 오브젝트의 3차원 위치 정보를 나타낸다.
상기 헤드-장착형 디스플레이(HMD)를 착용함으로써, 유저는 입력 조작면에 근접하는 손가락 등의 검출 대상의 상대 위치에 관한 정보를, HMD에 의해 제시되는 조작 화상에 있어서 보조 화상을 이용하여 시인할 수 있다. 이에 따라, 유저는 입력 조작면을 확인하지 않고, HMD에 의해 표시된 조작 화상을 보면서 직감에 입각한 조작을 행하는 것이 가능하게 된다.
헤드-장착형 디스플레이에 있어서, 수신기는 상기 입력 디바이스로부터 출력되는 화상 신호를 또한 수신하고, 상기 표시 프로세서는 상기 화상 신호에 기초하여, 상기 화상을 상기 화상 표시 소자에 표시시키도록 구성될 수 있다.
이러한 구성을 갖는 HMD에서는, 전용의 입력 디바이스뿐만 아니라, 예를 들어, 터치 패널이 구비된 휴대 단말기도 입력 디바이스로서 사용될 수 있다. 이에 따라, 상기 HMD가 휴대 단말기 등의 다양한 어플리케이션 등을 사용하는 것이 가능하게 된다.
상기 표시 프로세서는 상기 조작 신호에 기초하여, 상기 화상의 표시 영역에 있어서 상기 보조 화상을 이동시키도록 구성된다.
이에 따라, 유저는 상기 조작 화상을 이용하여, 입력 조작면에 접촉하는 검출 대상의 경시적인 상대 위치를 확인할 수 있다. 조작성을 더 향상시키는 것이 가능하게 된다.
또한, 상기 조작 신호는 상기 입력 조작면에 대한 상기 검출 대상의 근접 거리에 관한 정보를 포함할 수 있고, 상기 표시 프로세서는 상기 입력 조작면에 대한 상기 검출 대상의 근접 거리에 따라 상기 보조 화상의 표시 모드를 변화시키도록 구성될 수 있다.
이에 따라, 예를 들어, 상기 HMD는 유저의 입력 조작면으로부터의 높이 위치의 변화를 조작 화상에 반영할 수 있다. 이에 따라, 조작 화상을 보면서 입력 조작면에 대한 조작 위치를 알 수 있기 때문에, 절대 위치에의 터치 입력 조작성이 향상되고, 유저-프렌들리(user-friendly)하고 직감적인 입력 조작이 달성된다.
상기 헤드-장착형 디스플레이는 상기 조작 신호에 기초하여, 상기 입력 조작면상의 상기 검출 대상의 좌표 위치를 산출하도록 구성된 연산 유닛을 더 포함할 수 있다. 상기 표시 프로세서는 상기 연산 유닛에 의해 산출된 상기 검출 대상의 좌표 위치에 기초하여, 상기 조작 화상을 상기 화상 표시 소자에 표시시키도록 구성될 수 있다.
상기 헤드-장착형 디스플레이는 입력 디바이스에 의해 검출된 신호를 처리하도록 허용되고, 단순한 장치 구성을 갖는 입력 디바이스에도 적용 가능하도록 허용된다.
본 기술의 다른 실시 형태에 따르면, 정보 표시 장치가 제공되고, 정보 표시 장치는 입력 디바이스와 헤드-장착형 디스플레이를 포함한다.
상기 입력 디바이스는 입력 조작면과, 상기 입력 조작면에 대한 검출 대상의 근접을 검출하고 상기 입력 조작면상의 상기 검출 대상의 좌표 위치에 관한 정보를 출력하도록 구성된 센서 유닛을 포함한다.
상기 헤드-장착형 디스플레이는 유저에 제시될 화상을 형성하도록 구성된 화상 표시 소자와, 상기 센서 유닛의 출력에 기초하여, 상기 화상에 상기 검출 대상의 위치를 나타내는 보조 화상이 중첩된 조작 화상을, 상기 화상 표시 소자에 형성시키도록 구성된 표시 프로세서를 포함한다.
상기 정보 표시 장치에 있어서, 헤드-장착형 디스플레이는 입력 디바이스에의 입력 조작에 기초한 화상을 유저에 제시할 수 있다. 따라서, 유저는 입력 조작면을 확인하지 않고 직감에 입각한 조작을 행하는 것이 가능하게 된다.
본 기술의 또 다른 실시 형태에 따르면, 정보 표시 장치는 입력 디바이스와, 헤드-장착형 디스플레이를 포함한 정보 표시 장치가 제공된다.
상기 입력 디바이스는 입력 조작면과, 상기 입력 조작면에 대한 검출 대상의 근접을 검출하도록 구성된 센서 유닛을 포함한다.
상기 헤드-장착형 디스플레이는 유저에 제시될 화상을 형성하도록 구성된 화상 표시 소자, 상기 센서 유닛의 출력에 기초하여 상기 입력 조작면상의 상기 검출 대상의 좌표 위치를 산출하도록 구성된 연산 유닛, 및 상기 연산 유닛에 의해 산출된 상기 검출 대상의 좌표 위치에 기초하여, 상기 화상에 검출 대상의 위치를 나타내는 보조 화상이 중첩된 조작 화상을 상기 화상 표시 소자에 형성시키도록 구성된 표시 프로세서를 포함한다.
상기 정보 표시 장치에 의하면, 입력 디바이스의 구성을 단순화할 수 있다. 이에 따라, 입력 디바이스의 경량화를 실현할 수 있고, 장시간의 조작 동안에도 피로감을 감소시키는 정보 표시 장치를 제공할 수 있다.
전술한 바와 같이, 본 기술에 따르면, 유저의 직감에 입각하고, 우수한 조작성을 갖는 헤드-장착형 디스플레이 및 정보 표시 장치를 제공하는 것이 가능하게 된다.
도 1은 본 기술의 제1 실시 형태에 따른 정보 처리 장치를 도시하는 모식적인 사시도이다.
도 2는 본 기술의 제1 실시 형태에 따른 입력 디바이스의 내부 구성을 도시하는 블록도이다.
도 3은 입력 디바이스를 조작하는 검출 대상의 좌표 위치를 설명하는 도면이다.
도 4는 본 기술의 제1 실시 형태에 따른 헤드-장착형 디스플레이(HMD)의 내부 구성을 도시하는 블록도이다.
도 5는 본 기술의 제1 실시 형태에 따른 정보 표시 장치의 동작 예의 흐름도이다.
도 6은 본 기술의 제1 실시 형태에 따른 정보 표시 장치의 전형적인 동작 예를 각각 설명하는 도면이며, 도 6의 (A)는 유저가 입력 조작을 행하는 입력 디바이스의 입력 조작면을 나타내고, 도 6의 (B)는 HMD를 통해 유저에 제시되는 조작 화면을 나타낸다.
도 7은 본 기술의 제2 실시 형태에 따른 입력 디바이스의 내부 구성을 도시하는 블록도이다.
도 8은 본 기술의 제2 실시 형태에 따른 HMD의 내부 구성을 도시하는 블록도이다.
도 9는 본 기술의 제2 실시 형태에 따른 정보 표시 장치의 전형적인 동작 예를 각각 설명하는 도면이며, 도 9의 (A)는 유저가 입력 조작을 행하는 입력 디바이스의 입력 조작면을 나타내고, 도 9의 (B)는 HMD를 통해 유저에 제시되는 조작 화면을 나타낸다.
도 10은 본 기술의 제3 실시 형태에 따른 입력 디바이스의 내부 구성을 도시하는 블록도이다.
도 11은 본 기술의 제4 실시 형태에 있어서, 손가락과 입력 조작면 간의 거리에 따라 보조 화상의 표시 모드가 변화하는 예를 각각 설명하는 모식도이다.
도 12는 본 기술의 제4 실시 형태에 있어서, 손가락과 입력 조작면 간의 거리에 따라 보조 화상의 표시 모드가 변화하는 예를 각각 설명하는 모식도이다.
도 13은 본 기술의 제4 실시 형태에 있어서, 손가락과 입력 조작면 간의 거리에 따라 보조 화상의 표시 모드가 변화하는 예를 각각 설명하는 모식도이다.
도 14는 본 기술의 제5 실시 형태에 있어서, 손가락과 입력 조작면 간의 거리에 따라 보조 화상의 표시 모드가 변화하는 예를 각각 설명하는 모식도이다.
도 15는 본 기술의 제5 실시 형태를 각각 설명하는 도면이다.
도 16은 본 기술의 제6 실시 형태를 각각 설명하는 도면이다.
도 17은 본 기술의 실시 형태들에 적용되는 입력 디바이스의 구성의 변형 예를 도시하는 사시도이다.
도 18은 본 기술의 실시 형태들에 적용되는 입력 디바이스의 구성의 변형 예를 도시하는 사시도이다.
이하, 본 기술에 따른 실시 형태들에 대해 도면을 참조하면서 설명할 것이다.
<제1 실시 형태>
[정보 표시 장치]
도 1은 본 기술의 실시 형태에 따른 정보 표시 장치를 나타내는 모식적인 사시도이다. 본 실시 형태에 따른 정보 표시 장치(100)는 헤드-장착형 디스플레이(HMD)(1)와 입력 디바이스(2)를 포함한다.
HMD(1)는 본 실시 형태에 있어서 투과형 HMD로서 구성된다. HMD(1)는 전체로서 안경형의 형상을 갖는다. HMD(1)는, 유저가 HMD(1)를 그의 헤드에 장착해서 외계를 시인하게 해주며, 입력 디바이스(2)로부터 출력된 정보에 기초하여 화상을 유저에 제시할 수 있도록 구성된다.
입력 디바이스(2)는 무선 방식으로 HMD(1)와 통신 가능하게 접속된다. 대안적으로, 입력 디바이스(2)는 예를 들어, 케이블 등에 의해 유선 방식으로 HMD(1)와 통신 가능하게 구성될 수 있다. 본 실시 형태에서, 입력 디바이스(2)는 예를 들어, 터치 패널을 구비한 휴대 단말기로 구성되고, 인터넷 등에도 접속 가능하게 구성된다. 대안적으로, 입력 디바이스(2)는 HMD(1)의 소위 리모트 컨트롤러로서 기능할 수 있고, HMD(1)의 각종 설정 등에 관한 입력 조작을 행할 수 있도록 구성될 수 있다.
이하, 입력 디바이스(2) 및 HMD(1)에 대해서 설명할 것이다.
[입력 디바이스]
입력 디바이스(2)는 예를 들어, 유저가 파지할 수 있는 크기를 갖는 케이스(2A)를 포함한다. 케이스(2A)는 X축 방향에 길이 방향, Y축 방향에 폭 방향, 및 Z축 방향에 두께 방향을 갖는 대략 직육면체이다. 케이스(2A)의 한쪽의 표면에는 입력 조작면(21)이 형성되어 있다. 입력 조작면(21)은 X축, 및 X축에 직교하는 Y축에 좌표축들을 갖는 2차원적인 좌표계에 속한다. 입력 조작면(21)은 X축 방향에 평행한 긴 변과, Y축 방향에 평행한 짧은 변을 갖고, Z축에 수직인 직사각 형상을 갖는다.
입력 디바이스(2)는 예를 들어, 유저의 손가락을 검출 대상으로서 간주하고, 입력 조작면(21)을 터치하는 손가락의 xy 좌표 위치 및 xy 좌표 위치의 변화를 검출하는 기능을 갖는다. 입력 디바이스(2)는 또한, 입력 조작면(21)에 대한 손가락의 근접을 검출하는 기능을 갖고, 입력 조작면(21)으로부터의 손가락의 높이 위치에 관한 정보를 출력한다. 이에 따라, 입력 조작면(21)상에 있어서의 손가락의 이동 방향, 이동 속도, 및 이동량 등과 함께, 입력 조작면(21)으로부터의 손가락의 이격 거리가 취득된다. 검출 대상은 유저의 손가락에 한정되지 않고, 검출 대상은 스타일러스 등일 수 있다는 것을 유의한다.
본 실시 형태에 있어서, 입력 조작면(21)은 광투과성의 표시 커버 등에 의해 구성된다. 검출 대상에 의한 입력 조작이 입력 조작면(21)에 행해지고, 입력 조작면(21)은 화상을 표시하는 화면으로서의 기능도 갖는다. 입력 조작면(21)은 예를 들어, 케이스(2A)의 표면에 형성된 개구부(21A)를 덮도록 제공된다. 입력 조작면(21)의 주연은 케이스(2A)에 고정된다. 또한, 입력 조작면(21)은 소정 이상의 접촉압에 기인하여 휘어져서 변형될 수 있도록, 입력 조작면(21)의 재료, 두께, 및 크기 등이 설정된다. 입력 조작면(21)을 구성하는 재료의 예로서는, 아크릴 수지, 폴리카르보네이트 수지, 및 폴리에틸렌 테레프탈레이트(PET) 등으로 형성된 투명 플라스틱판, 유리판, 및 세라믹판을 포함한다.
도 2는 입력 디바이스(2)의 내부 구성을 도시하는 블록도이다. 입력 디바이스(2)는 케이스(2A), 입력 조작면(21), 터치 센서(22), 표시 소자(24), 콘트롤러(25), 저장 유닛(26), 송수신기(27), 통신 유닛(28), 및 배터리 BT를 포함한다. 터치 센서(22)는 본 실시 형태에 있어서 "센서 유닛"을 구성한다.
터치 센서(22)는 입력 조작면(21)과 거의 동일한 형상 및 크기를 갖는 패널 형상을 갖는다. 터치 센서(22)는 입력 조작면(21)의 바로 아래에 제공되어, 입력 조작면(21)에 접촉하는 검출 대상(손가락)을 검출한다. 터치 센서(22)는 입력 조작면(21)상의 검출 대상의 xy 평면에서의 움직임에 대응하는 좌표 위치를 검출하고, 그 좌표 위치에 대응하는 검출 신호를 출력한다.
본 실시 형태에 있어서, 터치 센서(22)는, 입력 조작면(21)에 접촉하는 검출 대상을 정전기적으로 검출할 수 있는 정전용량 타입의 터치 패널이 사용된다. 정전용량 방식의 터치 패널은 투영 정전용량 타입 터치 패널일 수 있거나, 또는 표면 정전용량 타입 터치 패널일 수 있다. 이러한 종류의 터치 센서(22)는 전형적으로 y축 방향에 평행한 복수의 제1 배선이 x축 방향에 배열된 x 위치 검출용의 제1 센서 전극(22x)과, x축 방향에 평행한 복수의 제2 배선이 y 축 방향에 배열된 Y 위치 검출용의 제2 센서 전극(22y)을 포함한다. 제1 및 제2 센서 전극(22x, 22y)은 z축 방향에서 서로 대향하도록 제공된다. 터치 센서(22)에 있어서, 예를 들어, 후술하는 콘트롤러(25)의 구동 회로에 의해, 제1 및 제2 배선에 신호 전류가 순차 공급된다.
터치 센서(22)는 검출 대상의 좌표 위치를 검출할 수 있는 센서인 한, 특별히 한정되지 않는다. 전술한 것들 이외에도, 저항막 센서, 적외선 센서, 초음파 센서, 표면 탄성파 센서, 음향 펄스 인식 센서, 및 적외선 이미지 센서 등의 다양한 타입의 센서들이 적용될 수 있다.
표시 소자(24)는 입력 조작면(21) 및 터치 센서(22)의 바로 아래에 제공된다. 본 실시 형태에 있어서의 표시 소자(24)는 특별히 한정되지 않고, 액정 디스플레이 또는 유기 EL 디스플레이 등이 사용될 수 있다. 이에 따라, 입력 조작면(21)에 문자 또는 무늬 등의 화상을 표시시키는 것이 가능하게 된다.
콘트롤러(25)는 전형적으로 중앙 처리 유닛(central processing unit: CPU) 또는 마이크로-프로세싱 유닛(micro-processing unit: MPU)에 의해 구성된다. 본 실시 형태에 있어서, 콘트롤러(25)는 연산 유닛(251)과 신호 생성기(252)를 포함하고, 저장 유닛(26)에 저장된 프로그램에 따라 각종 기능을 실행한다. 연산 유닛(251)은 터치 센서(22)로부터 출력되는 전기적인 신호에 대하여 소정의 연산 처리를 실행하여, 입력 조작면(21)에 근접하는 검출 대상의 상대 위치에 관한 정보를 포함하는 조작 신호를 생성한다. 신호 생성기(252)는 이 연산 결과에 기초하여, 표시 소자(24)에 화상을 표시시키기 위한 화상 신호를 생성한다. 콘트롤러(25)는 터치 센서(22)를 구동하기 위한 구동 회로를 포함한다. 본 실시 형태에 있어서 구동 회로는 연산 유닛(251)에 내장된다.
구체적으로, 연산 유닛(251)은 터치 센서(22)로부터 출력되는 신호에 기초하여, 입력 조작면(21)에 있어서의 손가락의 xy 좌표 위치 및 입력 조작면(21)으로부터의 손가락의 높이 위치(근접 거리)를 산출한다. 또한, 연산 유닛(251)은 산출 결과에 기초하여, 예를 들어, 검출 대상이 소정의 xy 좌표 위치에 있다는 것을 검출한다. 또한, 연산 유닛(251)은 좌표 위치에 있어서 입력 조작면(21)에의 손가락의 터치(입력 조작면(21)에 대한 손가락의 최근접 거리)를 검출할 때, 그 좌표 위치에 대응하여 GUI에 할당된 소정의 처리를 실행한다. 연산 유닛(251)에 의한 처리 결과는 신호 생성기(252)에 송신된다.
본 실시 형태에서는, 예를 들어, 셀프 커패시턴스 방식이라고 불리는 검출 방식에 의해, 센서 전극(22x, 22y)의 정전용량이 개별적으로 검출된다. 셀프 커패시턴스 방식은 단일 전극 방식이라고도 불리고, 이 경우 단일 전극이 센싱에 사용된다. 센싱용의 전극은 접지 전위에 대하여 부유 용량을 갖는다. 인체(손가락) 등의 접지된 검출 대상물이 이 전극에 가까워질 때, 전극의 부유 용량이 증가한다. 연산 유닛(251)은 용량 증가를 검출함으로써, 입력 조작면(21)에 대한 손가락의 근접 거리, 및 입력 조작면(21)상의 손가락의 위치 좌표를 산출한다. 연산 유닛(251)은 용량의 증가량이 소정의 임계값 이상으로 될 때, 입력 조작면(21)에 대한 손가락의 접촉(터치)을 판정한다.
여기서, 입력 조작면(21)에 대향하는 손가락의 위치는 조작을 행하는 손가락과 입력 조작면(21) 간의 거리가 최소로 되는 점으로서 정의된다. 도 3은 비접촉 방식으로 검지 가능한 입력 조작면(터치 패널면)(21)을 XY 평면이라고, 그리고 XY 평면으로부터 수직 방향 유저 측을 +Z라고 가정할 때의 XYZ 공간을 나타낸다. 본 실시 형태에서, 터치 패널의 손가락 위치 검출 가능 영역(Z≥0일 때만 성립)에 있어서, 조작을 행하는 손(한 손 조작 및 양손 조작 둘 다를 포함함)과 터치 패널 간의 거리가 최소로 되는 점이, 손가락 위치(x, y, z)로서 정의된다. z 좌표는 입력 조작면(21)에 대한 손가락의 근접 거리에 상당하다. 연산 유닛(251)은 터치 센서(22)의 용량의 증가량이 용량의 증가량의 소정의 임계값 이상으로 될 때, z=0이 설정된다고 판정한다.
신호 생성기(252)는 연산 유닛(251)으로부터 송신된 처리 결과에 기초하여, 표시 소자(24)에 의해 표시될 표시 화상을 형성하기 위한 화상 신호를 생성한다. 이때, 신호 생성기(252)는 또한 입력 조작면(21)상의 화상의 검출 대상의 xy 좌표 위치에 대응하는 위치에 포인터 등의 보조 화상을 표시하는 신호를 생성할 수 있다. 또한, 신호 생성기(252)는 검출 대상의 접촉압에 따라 보조 화상의 표시 모드를 변화시키기 위한 신호를 생성할 수도 있다.
콘트롤러(25)의 연산 유닛(251)에 의해 산출된 손가락의 xy 좌표 위치 및 근접 거리에 관한 조작 신호와, 신호 생성기(252)에 의해 생성된 화상 신호는 송수신기(27)를 통해 HMD(1)에 송신된다. 또한, 도시되지 않았지만, 입력 디바이스(2)는 터치 센서(22)로부터 출력되는 검출 신호(아날로그 신호)를 디지털 신호로 변환하는 A/D 컨버터, 및 디지털 신호를 아날로그 신호로 변환하는 D/A 컨버터를 포함한다.
저장 유닛(26)은 랜덤 액세스 메모리(random access memory: RAM), 판독 전용 메모리(read only memory: ROM), 및 다른 반도체 메모리 등에 의해 구성되고, 콘트롤러(25)에 의한 다양한 연산 동작에 사용될 프로그램 등을 저장한다. 예를 들어, ROM은 불휘발성 메모리에 의해 구성되고, 콘트롤러(25)에 검출 대상의 xy 좌표 위치 및 근접 거리의 산출 등의 연산 처리를 실행시키기 위한 프로그램 및 설정값을 저장한다. 또한, 저장 유닛(26)은 예를 들어, 불휘발성 반도체 메모리에 의해, 검출 대상의 xy 좌표 위치 및 근접 거리와, 이 xy 좌표 위치 및 근접 거리에 대응하여 각각의 기능을 실행하기 위한 프로그램 등을 저장하는 것이 가능하게 된다. 또한, 반도체 메모리 등에 미리 저장된 프로그램 등은 RAM에 로드되어, 콘트롤러(25)의 연산 유닛(251)에 의해 실행되도록 설정될 수 있다.
송수신기(27)는 콘트롤러(25)에 의해 생성된 각종 제어 신호를, 예를 들어, 무선 방식으로 HMD(1)에 송신할 수 있도록 구성된다. 또한, 송수신기(27)는 HMD(1)로부터 송신되는 소정의 신호를 수신할 수 있도록 구성된다. 한편, 통신 유닛(28)은 인터넷 등의 통신 네트워크에 접속된다. 통신 유닛(28)은 예를 들어, 어플리케이션 등의 소정의 프로그램을 입력 디바이스(2)에 다운로드하기 위해 사용된다. 통신 유닛(28)에 있어서의 정보의 송신 및 수신은 LAN 케이블 등을 이용한 유선 방식으로 행해질 수 있거나, 또는 예를 들어, 고속 데이터 통신 등의 무선 방식으로 행해질 수 있다.
배터리 BT는 입력 디바이스(2)의 전원을 구성하고, 케이스(2A) 내의 각 섹션에 필요한 전력을 공급한다. 배터리 BT는 일차 전지 또는 이차 전지이다. 또한, 배터리 BT는 태양 전지로 구성될 수 있다. 또한, 입력 디바이스(2)는 가압에 기인한 입력 디바이스(2)의 기동 등을 제어하는 외부 스위치(도시되지 않음)를 더 포함할 수 있다.
입력 디바이스(2)는 정보 표시 장치(100)에 전용인 장치로서 구성될 수 있다. 대안적으로, 입력 디바이스(2)는 휴대 장치 등과 같은 독립형 전자 장치로서 구성될 수 있다. 이에 따라, 입력 디바이스(2)가 HMD(1)에 접속되지 않을 때에도, 입력 디바이스(2)는 터치 디스플레이가 구비된 정보 표시 단말기로서 HMD(1)와는 독립적으로 사용될 수 있다.
[HMD]
HMD(1)는 투과형 HMD이며, 유저에 외계를 시인시키면서, 유저의 시야에 소정의 화상을 제시하도록 구성된다. 본 실시 형태에 따른 HMD(1)는 화상 표시 장치(11)와 지지부(16)를 포함하고, 전체로서 안경형의 형상을 갖는다. 예를 들어, HMD(1)로서 투과형의 HMD를 채택함으로써, 유저는, 그가 입력 디바이스(2)를 조작 중일 때에도, 외계를 시인하는 것이 가능하게 되어, 조작 동안의 안전성을 향상시킬 수 있다.
지지부(16)는 유저의 헤드에 장착될 수 있다. 장착 동안에, 후술할 화상 표시 소자(14)가 유저의 눈앞에 지지되도록 구성된다. 지지부(16)의 형상은 특별히 한정되지 않지만, 본 실시 형태에 있어서, 지지부(16)의 형상은 전체로서 안경형의 형상일 수 있다. 지지부(16)는 예를 들어, 유저의 좌우 귀에 장착될 수 있는 템플 형상 구조를 갖는다. 지지부(16)의 콧대 부근에는 예를 들어, 코 패드(161)가 부착될 수 있다. 또한, 이어폰(162)이 지지부(16)에 제공될 수 있다. 지지부(16)를 구성하는 재료의 예로서는, 금속, 합금, 및 플라스틱을 포함하지만, 이들에 특별히 제한되지 않는다.
화상 표시 장치(11)는 케이스(11A)를 포함하고, 예를 들어, 지지부(16)의 소정 위치에 제공된다. 화상 표시 장치(11)의 배치는 특별히 제한되지 않는다. 예를 들어, 화상 표시 장치(11)는 케이스(11A)가 유저의 시야 영역에 포함되지 않도록, 유저의 좌우 눈 외측에 제공된다.
도 4는 화상 표시 장치(11)의 내부 구성을 도시하는 블록도이다. 화상 표시 장치(11)는 본 실시 형태에 있어서, 케이스(11A), 송수신기(수신기)(12), 콘트롤러(13), 화상 표시 소자(14), 및 저장 유닛(15)을 포함한다. 본 실시 형태에 있어서, 콘트롤러(13)는 "표시 프로세서"를 구성한다.
송수신기(12)는 입력 디바이스(2)의 송수신기(27)로부터, 입력 조작면(21)에 근접하는 검출 대상의 상대 위치(xy 좌표 위치 및 근접 거리)에 관한 정보를 포함하는 조작 신호를 수신한다. 또한, 송수신기(12)는 입력 디바이스(2)의 입력 조작면(21)에 표시될 표시 화상의 화상 신호를 수신할 수도 있다. 그 신호의 전송 방법은 특별히 한정되지 않는다. 예를 들어, 무선 통신으로서, "Wi Fi"(등록 상표), "ZigBee"(등록 상표), 및 "Bluetooth(등록 상표)" 등의 장치들 간의 통신, 또는 인터넷을 경유한 통신이 사용될 수 있다. 대안적으로, 예를 들어, 유니버설 시리얼 버스(universal serial bus: USB), 고해상도 멀티미디어 인터페이스(high-definition multimedia interface: HDMI) 등을 통해 유선 통신이 사용될 수 있다.
콘트롤러(13)는 전형적으로 CPU 또는 MPU로 구성되고, 저장 유닛(15)에 저장된 프로그램에 따라 각종 기능을 실행한다. 본 실시 형태에 있어서, 콘트롤러(13)는 송수신기(12)에 의해 수신되는 조작 신호 및 화상 신호에 기초하여, 유저에 제시될 화상을 화상 표시 소자(14)에 형성시키기 위한 제어 신호를 생성한다. 이에 따라, 예를 들어, 입력 조작면(21)에 표시된 표시 화상과 마찬가지의 화상에, 검출 대상의 위치를 나타내는 보조 화상이 중첩되는 조작 화상을, 화상 표시 소자(14)에 표시시키는 것이 가능하게 된다. 보조 화상의 형상은 특별히 한정되지 않고, 예를 들어, 환상(링 형상)의 포인터, 또는 휘도 또는 채도가 변화한 영역 등으로 구성된다.
조작 화상으로부터 보조 화상을 제거하여 얻은 화상은 전형적으로는 입력 조작면(21)상의 표시 화상과 등가이다. 따라서, HMD(1) 및 입력 디바이스(2) 둘 다에 의한 입력 조작의 일관성 및 통일감이 향상된다. 여기서, "등가"란, 실질적으로 동일하다는 의미이다. 조작 화상으로부터 보조 화상을 제거하여 얻은 화상은 입력 조작면(21)상의 표시 화상과 표시 휘도, 표시 크기, 및 종횡비 등에 있어서 엄밀하게 동일할 필요는 없다. 따라서, 그러한 화상은 입력 조작면(21)의 표시 화상과 동일한 화상 외에도, 예를 들어, 표시 화상과 유사한 화상(표시 화상을 확대 또는 축소한 화상), 및 표시 화상에 비해 왜곡된 화상 등을 포함한다. 또한, HMD(1)에 의해 표시될 화상으로서는, 입력 디바이스(2)의 표시 화상 및 보조 화상 외에, 다른 화상도 동시에 또는 선택적으로 표시될 수 있다.
본 실시 형태에 있어서, 화상 소자(14)는 액정 소자(liquid-crystal element)(LCD)(141) 및 광학계(142)를 포함하고, LCD(141)에 의해 형성된 화상을 광학계(142)를 통해 유저에 제시하도록 구성된다. 화상 표시 소자(14)는 입력 디바이스(2)에 의한 입력 조작 또는 HMD(1)에 제공된 적절한 입력 장치에 의한 입력 조작에 의해, 유저에 제시될 화상의 크기를 임의의 크기로 되도록 확대 또는 축소할 수 있도록 구성된다.
LCD(141)에 있어서, 복수의 화소가 매트릭스 형상으로 배치된다. LCD(141)는 발광 다이오드(light-emitting diodes: LED) 등에 의해 구성되는 광원(도시되지 않음)으로부터 입사되는 광을, 콘트롤러(13)에 의해 생성된 제어 신호에 따라 화소마다 변조하고, 유저에 제시될 화상을 형성하기 위한 광을 출력한다. LCD(141)는 예를 들어, R(적색), G(녹색), 및 B(청색)의 컬러들에 대응하는 화상 광 빔들을 동시에 출력하는 단일판 시스템을 이용할 수 있거나, 또는 그 컬러들에 대응하는 화상 광 빔들의 각각을 출력하는 3개의 판 시스템을 이용할 수 있다.
광학계(142)는 LCD(141)로부터 출사된 광을 편향시킬 수 있고, 그것을 유저의 눈에 유도할 수 있도록 구성된다. 광학계(142)는 예를 들어, 전반사에 의한 도광이 가능한 투명 기판에 의해 구성되는 도광판과, 회절 반사가 가능한 반사형 체적 홀로그램 회절격자(holographic grating)에 의해 구성될 수 있다. 도광판은 예를 들어, 직사각형 또는 원형의 평판 형상 등으로 형성되고, 안경의 렌즈 같이 유저의 눈앞에 제공된다. 반사형 체적 홀로그램 회절격자 등은 도광판 내에 적절히 제공되고, LCD(141)로부터 출력되는 광을 반사시켜 유저의 눈에 유도할 수 있도록 제작된다. 또한, 홀로그램 회절격자(grating) 이외에도, 예를 들어, 반사판 등이 채택될 수 있다.
이와 같이 구성된 광학계(142)는 LCD(141)로부터 출력된 광을 소정 위치에서 반사함으로써, 유저의 시야에 조작 화상을 제시하는 것이 가능하게 된다. 또한, 도광판이 투명 기판에 의해 형성될 때, 유저에 외계를 시인시키면서, 조작 화상을 시야 내에 중첩적으로 제시하는 것이 가능하게 된다.
저장 유닛(15)은 RAM, ROM, 및 기타 반도체 메모리 등에 의해 구성되고, 콘트롤러(13)에 의한 각종 연산 동작에 사용되는 프로그램 등을 저장한다.
스피커(17)는 입력 디바이스(2)로부터 송신되거나, 또는 콘트롤러(13) 등에 의해 생성된 전기적 오디오 신호를 물리적인 진동으로 변환하여, 이어폰(162)을 통해 유저에 오디오를 제공한다. 스피커(17)의 구성은 특별히 한정되지 않는다는 것을 유의한다.
본 기술은, 2개의 화상 표시 장치(11)가 두 눈에 대응해서 제공되는 구성에 한정되지 않는다는 것을 유의한다. 예를 들어, 좌우 눈 중 한쪽에만 대응하여 1개의 화상 표시 장치(11)가 제공될 수 있는 구성도 가능하다.
[정보 표시 장치의 동작 예]
다음에, 정보 표시 장치(100)의 기본적인 동작 예에 대해 설명할 것이다.
도 5는 HMD(1)(콘트롤러(13)) 및 입력 디바이스(2)(콘트롤러(25))의 동작 예의 흐름도이다. 도 6은 정보 표시 장치(100)의 전형적인 동작 예를 각각 설명하는 도면이며, 도 6의 (A)는 유저가 입력 조작을 행하는 입력 디바이스(2)의 입력 조작면(21)을 나타내고, 도 6의 (B)는 HMD(1)를 통해 유저에 제시되는 조작 화면을 나타낸다. 도면 중의 X축 방향 및 Y축 방향은 입력 조작면(21)의 X축 방향 및 Y축 방향에 각각 대응한다. 도면 중의 Z축 방향은 입력 조작면(21)의 Z축 방향에 대응한다.
기동된 입력 디바이스(2)의 입력 조작면(21)상에는 예를 들어, 복수의 GUI가 표시된 화상 v1(표시 화상)이 표시된다(도 6의 (A)). 화상 v1은 예를 들어, 각종 어플리케이션을 선택하기 위한 화면이며, 각 GUI는 어플리케이션마다 할당된 아이콘이다.
이때, 입력 디바이스(2)에 접속되고 기동되는 HMD(1)를 장착한 유저에도, HMD(1)를 통해 시야 내에 화상 v1과 마찬가지의 화상 V1이 제시된다.
입력 디바이스(2)는 터치 센서(22)를 이용하여 입력 조작면(21)상에서의 유저의 손가락(검출 대상)의 근접이 검출되는지 여부를 판정한다(단계 ST101). 근접이 검출되었을 때(단계 ST101에서 예), 터치 센서(22)는 손가락이 근접한 입력 조작면(21)상의 xy 좌표 위치 및 손가락의 근접 거리에 관한 검출 신호를 콘트롤러(25)에 출력한다.
콘트롤러(25)의 연산 유닛(251)은 검출 신호에 기초하여, 입력 조작면(21)에 근접하는 손가락의 xy 좌표 위치 및 그의 근접 거리를 산출한다(단계 ST102). 연산 유닛(251)에 의해 산출된 xy 좌표 위치에 관한 신호는 송수신기(27)에 출력된다.
송수신기(27)는 HMD(1)의 송수신기(12)에 xy 좌표 위치 및 근접 거리에 관한 조작 신호를 송신한다.
HMD(1)의 콘트롤러(13)는 송수신기(12)에 의해 수신되는 조작 신호 및 화상 신호에 기초하여, 화상 V1에 검출 대상의 위치를 나타내는 보조 화상(포인터 P)이 중첩된 조작 화상 V10을 제어하기 위한 신호를 생성한다. 이 제어 신호가 출력된 화상 표시 소자(14)는 유저에 조작 화상 V10을 제시한다(단계 ST103, 도 6의 (B)). 이에 따라, 유저는 유저의 손에 파지된 입력 조작면(21)을 보지 않고, HMD(1)에 의해 제시되는 조작 화상 V10에서의 포인터 P의 움직임을 확인함으로써, 원하는 조작을 행하는 것이 가능하게 된다. 유저의 직감에 입각한 조작을 행하는 것이 가능하게 된다. 이때, 입력 조작면(21)에 표시될 화상은 화상 v1만일 수 있거나, 또는 화상 v1에 포인터 등이 중첩된 화상일 수 있다는 것을 유의한다.
또한, 유저의 손가락이 입력 조작면(21)상에서 이동할 때(도 6의 (A) 및 도 6의 (B)에 있어서의 화살표를 참조), 경시적으로 변화하는 xy 좌표 위치의 정보가 터치 센서(22)에 의해 획득된다. 이 정보는 입력 디바이스(2)의 콘트롤러(25)에 의해 조작 신호로서 처리되고, 송수신기(27, 12)를 통해 HMD(1)의 콘트롤러(13)에 출력된다. 이에 따라, 콘트롤러(13)는 조작 신호에 기초하여, 포인터 P를 이동시키기 위한 제어 신호를 LCD(141)에 출력할 수 있다. 유저의 손가락의 이동에 기초하여, 화상 V1의 표시 영역에서 포인터 P를 이동시키는 것이 가능하게 된다.
입력 디바이스(2)의 콘트롤러(25)는 산출된 xy 좌표 위치에 가장 가까운 GUI(이하, 선택 GUI라고 지칭함)를 선택 후보로서 선택한다(단계 ST104). 이것에 대응하여, 입력 조작면(21) 및 HMD(1)에 표시될 화상 v1과 V10의 선택 후보들인 GUI는 예를 들어, 프레임 컬러 등의 표시 모드에 있어서 변화될 수 있다. 또한, 유저는 HMD(1)에 의해 표시된 화상 V10을 시인함으로써, 선택 후보로서의 GUI를 확인하는 것이 가능하게 된다.
콘트롤러(25)는 경시적으로 손가락과 입력 조작면(21) 간의 근접 또는 접촉 상태를 판정한다(단계 ST101 내지 ST105). 여기서, 유저가 입력 조작면(21)으로부터 손가락을 소정 거리 이상 이격시킬 때, 터치 센서(22)는 손가락의 비-근접에 연관된 신호를 출력한다. 콘트롤러(25)는 터치 센서(22)의 출력에 기초하여, 입력 조작면(21)과 손가락 간의 비-접촉을 판정한다(단계 ST105에서 아니오).
한편, 유저가 입력 조작면(21)을 터치할 때, 터치 센서(22)는 손가락의 접촉에 연관된 신호를 출력한다. 콘트롤러(25)는 터치 센서(22)의 출력에 기초하여, 유저의 손가락이 입력 조작면(21)에 접촉한 것을 판정한다(단계 ST105에서 예).
선택 후보 GUI는 입력 조작면(21)상의 선택 후보 GUI의 표시 위치에 대한 유저의 터치 조작에 의해 선택(결정)된다. 콘트롤러(25)는 터치 센서(22)의 출력에 기초하여, 연산 유닛(251)에 있어서, 터치 조작이 행해졌는지의 여부를 판정한다. 여기서, 터치 조작이 행해졌는지의 여부는 터치 센서(22)로부터 출력되는 용량의 변화량이 소정의 임계값 이상인지의 여부에 기초하여 판정된다. 입력 조작면(21)에 손가락이 접촉할 때(단계 ST105에서 예), 콘트롤러(25)는 선택 후보로서의 GUI를 선택 GUI라고 판정하고, 저장 유닛(26)에 저장된 이 선택 GUI에 대응하는 프로그램을 실행한다(단계 ST106). 기동된 어플리케이션 화상과 웹 화상(동화상 및 정지 화상)은 입력 조작면(21)에 뿐만 아니라 HMD(1)의 시야에도 표시된다.
한편, 콘트롤러(25)는 산출된 근접 거리가 소정의 임계값 미만일 때(단계 ST105에서 아니오), 선택 후보의 GUI가 선택되지 않았다고 판정한다. 이 경우에, 콘트롤러(25)는 단계 ST101로 복귀하고, 전술한 처리를 반복한다.
최근, 터치 디스플레이상에 표시된 오브젝트(메뉴 및 조작 아이콘 등)를 직접 손가락으로 접촉함으로써 정보를 각각 입력하는 소위 절대 위치 터치 입력 조작타입 휴대 장치들이 널리 이용되고 있다. 이러한 휴대 장치에 의하면 그 성질상, 유저는 입력 조작 동안 휴대 장치의 화면 및 손가락의 위치를 계속해서 볼 필요가 있다. 이로 인해, 보행중에 조작을 행하는 유저들은 그들의 전방에 있는 것들에 부주의하게 되는 경향이 있고, 장시간의 사용시에 목과 팔이 결리기 쉽다는 문제가 있다. 또한, 영상 표시 영역의 크기 즉, 휴대 장치의 크기의 제한으로 인해, 표시가 작기 때문에 잘 보이지 않을 수 있다. 또한, 입력 조작 동안에 손가락이 표시를 가리는 문제도 있다.
한편, 종래의 헤드-장착형 디스플레이(HMD)에 있어서의 입력 조작은 예를 들어, 십자 키, 트랙볼, 또는 터치 패드 등의 구형 입력 장치에 의해 종종 행해지기 때문에，절대 위치 입력 조작에 비해 직감성 및 조작성이 떨어진다. 또한, 종래의 HMD는 그 입력 조작성의 문제에 기인해서도, 종래의 HMD용의 상호작용적 어플리케이션이 적고, 종래의 HMD의 사용은 일방적으로 영상 또는 화상을 계속해서 표시하는 것(텔레비전 푸티지(footage), 비디오 푸티지, 슬라이드 쇼 등)에 한정되어 있다.
여기서, 터치 디스플레이를 구비한 휴대 장치의 화면을 HMD의 시야에 표시할 때 전술한 바와 같은 절대 위치 터치 입력 조작을 실현할 수 있는 한, 터치 디스플레이가 구비된 장치에 있어서의 풍부한 종래 어플리케이션을, 손 등을 볼일 없이 대형 화면에서 편리하게 사용하는 것이 가능하게 된다. 그러나, 단순히 터치 디스플레이를 구비한 휴대 장치의 화면을 HMD의 시야에 표시하는 것만으로는, 화면으로부터 손가락을 이격할 때 손가락과 화면 간의 상대 위치를 유저가 모르기 때문에, 조작이 곤란해진다. 한편, 화면을 보지 않고 조작할 수 있도록 구형 입력 장치를 비롯한 전용의 입력 장치를 사용하는 경우에는, 이미 절대 위치 터치 입력 조작에 최적화되어 있는 종래의 어플리케이션을 수정하거나, 또는 새로운 어플리케이션을 만들 필요가 있다.
이와 대조적으로, 본 실시 형태에 따른 HMD(1) 또는 정보 표시 장치(100)에 있어서는, 입력 조작면(21)에 표시되는 화상 v1에 손가락의 위치를 나타내는 보조 화상(포인터 P)이 중첩된 조작 화상 V10이 HMD(1)의 시야에 표시되도록 구성된다. 이에 따라, 유저는 손에 파지된 입력 조작면(21)을 보지 않고, HMD(1)에 의해 제시되는 조작 화상 V10에 있어서의 포인터 P의 움직임을 확인함으로써 소정의 조작을 행하는 것이 가능하게 된다. 또한, 입력 조작면(21)으로부터 손가락이 이격될 때에도, 손가락의 좌표 위치가 조작 화상 V10 상에 표시되기 때문에, 직감적이고 조작성이 양호한 절대 위치 터치 입력 조작이 가능하게 된다.
또한, 본 실시 형태에 따르면, HMD(1)가 조작 화상 V10을 임의의 크기로 표시할 수 있으므로, 유저가 원하는 대로 대형 화면을 이용하여 유저-프렌들리한 사용 환경을 제공하는 것이 가능하다. 또한, HMD(1)에 의해 표시되는 화면을 손가락이 가리지 않기 때문에, 오조작 및 시인성의 저하를 방지하는 것이 가능하게 된다.
또한, 본 실시 형태에 따르면, HMD(1)로서 투과식 헤드-장착형 디스플레이를 채택하기 때문에, 유저의 전방의 시야를 확보하면서 입력 디바이스(2)를 조작하는 것이 가능하다.
<제2 실시 형태>
도 7 내지 도 9는 본 기술의 제2 실시 형태를 각각 설명하는 도면이다. 도 7은 본 실시 형태에 따른 입력 디바이스의 내부 구성을 도시하는 블록도이다. 도 8은 본 실시 형태의 헤드-장착형 디스플레이에 따른 화상 표시 장치의 내부 구성을 도시하는 블록도이다. 도 9는 정보 표시 장치의 전형적인 동작 예를 각각 설명하는 도면이고, 도 9의 (A)는 유저가 입력 조작을 행하는 입력 디바이스의 입력 조작면을 나타내고, 도 9의 (B)는 HMD를 통해 유저에 제시되는 조작 화면을 나타낸다. 본 실시 형태에서는, 제1 실시 형태의 구성 및 작용과 마찬가지인 부분에 대해서는 그 설명을 생략 또는 간략화할 것이고, 제1 실시 형태와 상이한 부분을 주로 설명할 것이다.
제2 실시 형태는, 본 실시 형태에 따른 입력 디바이스(20)가 표시 소자를 포함하지 않고, 입력 조작면(210)에는 화상이 표시되지 않는다는 점에서, 제1 실시 형태와 상이하다. 즉, 이 구성에서는, 터치 센서(220)에 의해 검출된 xy 좌표 위치의 검출 신호가, 조작 신호로서, 송수신기(270)를 통해 HMD(10)에 송신되도록 설정된다. 이에 따라, 도 9의 (A)에 도시된 바와 같이, 입력 조작면(210)에는 화상이 표시되지 않고, 입력 디바이스(20)는 소위 터치 패널(터치 패드)만을 포함한다. 즉, 본 실시 형태에 따른 입력 디바이스(20)는 HMD(10)에 전용의 리모트 컨트롤러로서 설정된다.
입력 디바이스(20)는 터치 센서(220)를 구동하는 구동 회로를 포함하는 콘트롤러(250) 및 저장 유닛(260)을 포함하고, 저장 유닛(260)은 송수신기(270), 및 필요에 따라 탑재되는 통신 유닛(280)의 동작들을 제어하기 위한 프로그램 등을 저장한다. 본 실시 형태에 있어서, 입력 디바이스(20)의 입력 조작면(210)에는 검출 대상에 의한 입력 조작만이 행해진다. 따라서, 입력 조작면(210)은 비-광투과성 재료로 구성될 수 있다. 터치 센서(220)는 제1 실시 형태에 있어서 전술한 터치 센서(22)와 마찬가지의 구성을 갖기 때문에, 그 설명을 생략한다.
본 실시 형태에 있어서, HMD(10)의 화상 표시 장치(110)에 따른 콘트롤러(130)는 연산 유닛(131)과 표시 프로세서(132)를 포함한다. 연산 유닛(131)은, 입력 디바이스(20)의 터치 센서(220)로부터 출력되는 조작 신호에 기초하여, 손가락의 xy 좌표 위치를 산출한다. 표시 프로세서(132)는 연산 유닛(131)으로부터 입력된 처리 결과에 기초하여, 화상 표시 소자(140)에 의해 표시될 화상을 생성한다. 이때, 표시 프로세서(132)는 입력 조작면(210) 상의 화상의 검출 대상의 xy 좌표 위치에 대응하는 위치에 포인터 등의 보조 화상을 표시하기 위한 신호를 생성한다. 이에 따라, 도 9의 (B)에 도시된 바와 같이, HMD(10)는 제1 실시 형태에 따른 조작 화상 V10과 마찬가지의 조작 화상 V30을 유저에 표시하는 것이 가능하게 된다.
또한, HMD(10)에 의해 유저에 제시되는 화상은 인터넷 등을 경유하여 입력 디바이스(20)의 통신 유닛(280)을 통해 획득될 수 있다. 대안적으로, HMD(10)에 의해 직접 획득된 정보에 기초하여 화상을 생성하기 위해 HMD(10)에는 통신 유닛(170)이 제공될 수 있다. 또한, 조작 화면의 표시에 필요한 프로그램(오퍼레이팅 시스템 및 어플리케이션 소프트웨어)이 HMD(10)의 콘트롤러(130)에 의해 실행 가능하도록 HMD(10)의 저장 유닛(150)에 저장될 수 있다.
본 실시 형태에 있어서는, 입력 디바이스(20)의 구성을 간략화할 수 있다. 이에 따라, 입력 디바이스(20)를 소형화하고 경량화하는 것이 가능하게 된다. 따라서, 장시간의 터치 조작 동안에도 유저가 덜 지치게 하고, 운반하기에 용이한 입력 디바이스(20)를 제공하는 것이 가능하게 된다.
<제3 실시 형태>
도 10은 본 기술의 제3 실시 형태에 따른 입력 디바이스의 내부 구성을 도시하는 블록도이다. 본 실시 형태에서는, 제1 실시 형태의 구성 및 작용과 마찬가지인 부분에 대해서는 그 설명을 생략 또는 간략화할 것이고, 제1 실시 형태와 상이한 부분을 주로 설명할 것이다.
제3 실시 형태는, 본 실시 형태에 따른 입력 디바이스(30)가 HMD(1)와 통신 가능한 휴대 단말기(31)와, 휴대 단말기(31)에 무선 또는 유선 방식으로 전기적으로 접속 가능한 센서 패널(32)을 포함하고, 휴대 단말기(31)와 센서 패널(32)은 별개의 부재들로서 구성된다는 점에서, 제1 실시 형태와 상이하다.
휴대 단말기(31)는 제1 실시 형태에 따른 입력 디바이스(2)와 마찬가지의 기능을 갖는다. 그러나, 휴대 단말기(31)는 유저의 조작 위치(손가락)를 검출하는 터치 센서를 포함하지 않고, 센서 패널(32)로부터 출력되는 조작 위치의 좌표 신호에 기초하여, 콘트롤러(25)에 의해 좌표 위치 및 근접 거리를 산출하도록 구성된다. 휴대 단말기(31)의 송수신기(27)는 센서 패널(32)로부터 송신되는 터치 센서(322)의 출력을 수신하는 기능과, 콘트롤러(25)에서 생성된 조작 신호를 HMD(1)에 송신하는 기능을 갖는다.
센서 패널(32)은 입력 조작면(321), 터치 센서(322), 터치 센서(322)를 구동하는 구동 유닛(323), 및 송신기(324)를 포함한다. 터치 센서(322)는 입력 조작면(321)에 대한 검출 대상의 좌표 위치 및 근접 거리에 관한 정보를 출력할 수 있다. 송신기(324)는 터치 센서(322)의 출력을 휴대 단말기(31)에 송신한다. 터치 센서(322)는 제1 실시 형태에 있어서 전술한 터치 센서(22)와 마찬가지의 구성을 갖기 때문에, 그 설명을 생략한다.
본 실시 형태에 따른 정보 표시 장치에 있어서, 센서 패널(32)에 입력된 입력 신호는 휴대 단말기(31)를 통해 HMD(1)에 송신된다. 이로 인해, 휴대 단말기(31)가 유저의 손가락에 대해 비접촉 검출 기능을 갖지 않을 때에도, 제1 실시 형태의 것들과 마찬가지의 작용 및 효과를 얻을 수 있다.
<제4 실시 형태>
도 11 내지 도 13은 각각 본 기술의 제4 실시 형태를 설명하는 도면이다. 본 실시 형태에서는, 제1 실시 형태의 구성 및 작용과 마찬가지인 부분은 동일한 참조 부호에 의해 나타낼 것이고, 그 설명을 생략 또는 간략화할 것이고, 제1 실시 형태와 상이한 부분을 주로 설명할 것이다.
제4 실시 형태는, 본 실시 형태에 있어서 입력 조작면(21)에 대한 검출 대상(손가락)의 근접 거리에 따라 보조 화상(포인터) P4의 표시 모드를 변화시킨다는 점에서, 제1 실시 형태와 상이하다.
도 11 및 도 12는 입력 조작면(21)과 손가락 F 간의 거리 z가 커질수록 화상 V4상의 환상의 포인터 P4가 더 큰 크기로 표시되는 예를 각각 도시한다. 도 11의 (A) 및 도 11의 (B)는 각각 입력 조작면(21)으로부터 손가락 F가 거리 z만큼 이격되어 있을 때의 상태(제1 상태)를 나타낸다. 도 12의 (A) 및 도 12의 (B)는 입력 조작면(21)에 손가락 F가 거리 z보다 작은 거리로 근접할 때의 상태(제2 상태)를 각각 나타낸다.
이러한 방식으로 손가락 F와 입력 조작면(21) 간의 상대 거리에 따라 포인터 P4의 크기를 변화시킴으로써, 유저는 입력 조작면(21)에 대한 손가락 F의 이격 거리 및 근접 거리를 판단하기가 용이하게 된다. 이에 따라, 절대 위치 터치 입력 조작성을 향상시킬 수 있다.
한편, 도 13의 (A)는 제1 상태에 있어서의 화상 V4상의 포인터 P4의 표시 모드를 나타내고, 도 13의 (B)는 제2 상태에 있어서의 화상 V4상의 포인터 P4의 표시 모드를 나타낸다. 본 예에서는, 입력 조작면(21)에 대해 손가락 F가 근접하게 될수록 포인터 P4의 표시 농도가 증가하도록 설정된다. 이러한 방식으로 손가락 F와 입력 조작면(21) 간의 상대 거리에 따라 포인터 P4의 표시 농도를 변화시킴으로써도, 전술한 것들과 마찬가지의 작용 및 효과를 얻을 수 있다.
전술한 것들 이외에도, 포인터의 표시 컬러, 포인터의 투과도, 또는 포인터의 밝기(콘트라스트) 등의 표시 모드를 변화시킴으로써, 입력 조작면에 대한 손가락의 근접 거리에 따라 포인터의 표시 모드를 변화시킬 수 있다는 것을 유의한다.
<제5 실시 형태>
다음에, 도 14 및 도 15를 참조하여 본 기술의 제5 실시 형태에 대해 설명할 것이다. 도 14의 (A) 및 도 15의 (A)는 각각 유저가 입력 조작을 행하는 입력 디바이스의 입력 조작면을 나타낸다. 도 14의 (B) 및 도 15의 (B)는 각각 HMD를 통해 유저에 제시되는 조작 화면을 나타낸다. 본 실시 형태에서는 제1 실시 형태의 구성 및 작용과 마찬가지인 부분에 대해서는 동일한 참조 부호에 의해 나타낼 것이고, 그 설명을 생략 또는 간략화할 것이고, 제1 실시 형태와 상이한 부분을 주로 설명할 것이다.
제5 실시 형태는, 본 실시 형태에 있어서 입력 디바이스(2)의 표시 화상 v1을 포함하는 다른 화상이 HMD(1)의 시야에 표시된다는 점에서, 전술한 제1 실시 형태와 상이하다. 예를 들어, 도 14의 (A) 및 도 14의 (B)에 도시된 예들에서, HMD(1)의 시야에 표시되는 조작 화상 V51에는 표시 화상 v1에 대응하는 화상 V1 상에 포인터 P뿐만 아니라, 입력 디바이스(2)의 외관을 나타내는 화상 V2도 중첩되어 표시된다. 이에 따라, HMD(1)를 장착한 유저에 실제로 입력 디바이스(2)를 보면서 조작을 행하는 것 같은 감각을 제공하는 것이 가능하다.
다음에, 도 15의 (A)에 도시된 입력 디바이스(2)의 표시 화상 v1은, 화면의 하부로부터 상부로 향한 손가락의 이동 조작에 의해 복수의 지시 항목 S1, S2, S3, 및 S4가 화면의 하부로부터 상부로 향해 순서대로 표시되는 상태를 나타낸다. 한편, 도 15의 (B)에 도시된 바와 같이, HMD(1)의 시야에는, 지시 항목들 중 다음 후보인 지시 항목 S5가 지시 항목 S4에 후속되는 조작 화상 V52가 표시된다. 이러한 조작 화상 V52는 입력 디바이스(2)로부터 송신되는 조작 신호의 화상 신호에 기초하여 HMD(1)에 형성된다. 표시 화상 v1에 표시되지 않는 지시 항목 S5에 대해 실제로는 선택 조작이 행해질 수 없기 때문에, 유저가 지시 항목 S5를 식별할 수 있도록, 다른 지시 항목 S1 내지 S4와는 다른 형태로 지시 항목 S5를 표시할 수 있다는 것을 유의한다.
전술한 예에 따르면, 유저에 대해 입력 조작의 보조 기능을 실현할 수 있다. 따라서, 보다 유저-프렌들리한 조작 환경을 제공하는 것이 가능하게 된다. 또한, 이러한 기능은 선택 후보의 리스트의 표시뿐만 아니라, 내비게이션 맵 화상 등에도 적용할 수 있다.
<제6 실시 형태>
다음에, 도 16의 (A) 및 도 16의 (B)를 참조하여, 본 기술의 제6 실시 형태에 대해 설명할 것이다. 본 실시 형태에서는, 제1 실시 형태의 구성 및 작용과 마찬가지인 부분에 대해서는 동일한 참조 부호에 의해 나타낼 것이고, 그 설명을 생략 또는 간략화할 것이고, 제1 실시 형태와 상이한 부분을 주로 설명할 것이다.
본 실시 형태에 따른 HMD는 HMD의 시야에 표시되는 조작 화상 V10을 임의의 조작에 의해 다른 표시 영역에 다른 모드로 표시할 수 있도록 구성된다.
예를 들어, 본 실시 형태에 따른 HMD는 도 16의 (A)에 도시된 바와 같이 조작 화상 V10을 시야 FV의 중앙 부근에 표시하도록 설정될 수 있다. 투과형 HMD에 있어서는, 유저의 전방의 시야에 조작 화상 V10이 중첩되어 표시되기 때문에, 예를 들어, 혼잡한 보도를 유저가 보행할 때에는 조작 화상 V10이 종종 방해물이 된다. 이러한 관점에서, 본 실시 형태에 따른 HMD에 있어서는, 소정의 조작을 행하여 조작 화상 V10을 시야 FV의 에지에 이동시키거나, 또는 조작 화상 V10의 표시 크기를 줄임으로써, 도 16의 (B)에 도시된 바와 같이, 예를 들어, 유저의 전방에서 유저에 대향하는 보행자 W가 시인될 수 있다. 이에 따라, 조작 화상 V10의 표시가 안전 보행을 방해하는 것을 방지할 수 있다.
소정의 조작으로서는, HMD에 별도로 제공된 소정의 스위치에의 입력 조작이 이용될 수 있거나, 또는 입력 디바이스(2)의 입력 조작면(21)에 있어서의 소정의 제스처 입력 등이 이용될 수 있다. 대안적으로, HMD에 각속도 센서 또는 가속도 센서 등의 모션 센서를 제공할 수 있어서, 예를 들어, HMD를 장착한 헤드를 소정의 방향으로 흔드는 등의 유저의 소정의 움직임을 검출하여, 조작 화상 V10의 표시 영역 및 표시 크기 등을 변경할 수 있다.
본 기술의 실시 형태들에 대해 설명했지만, 본 기술은 그것들에 한정되지 않고, 본 기술의 기술적 사상에 기초하여 다양한 변형이 이루어질 수 있다.
예를 들어, 상기의 실시 형태들 각각에 있어서, 입력 디바이스는 유저가 파지해서 사용하는 휴대 단말기 등으로서 설명했지만, 입력 디바이스는 이것에 한정되지 않는다. 예를 들어, 입력 디바이스는 유저가 손목에 착용하는 손목 시계형일 수 있거나, 또는 유저가 팔에 착용하는 손목밴드(wristband)형일 수 있다. 대안적으로, 의복에 장착 또는 부착되는 형태일 수 있다. 따라서, 본 기술에 있어서는, 입력 조작면에 대해 검출 대상이 접촉할 수 있는 장치들인 한, 다양한 형태의 입력 디바이스를 이용할 수 있다.
또한, 상기의 실시 형태들 각각에서는 투과형 HMD를 설명했지만, 본 기술은 이것에 한정되지 않고, 비투과형 HMD를 채택할 수 있다. 또한, 이 경우에도, 유저는 HMD에 의해 제시되는 화상을 시인하면서 조작을 행함으로써, 입력 디바이스의 입력 조작면을 보지 않더라도 직감에 입각한 조작을 행하는 것이 가능하게 된다.
또한, HMD에는 외부를 촬영하도록 촬상 소자가 제공될 수 있다. 이에 따라, 예를 들어, 촬영된 화상을 HMD 및 입력 디바이스에 표시시키는 것도 가능하게 된다.
상기의 실시 형태들 각각에 있어서는, 보조 화상으로서의 포인터가 환상의 형상을 갖는 예에 대해 설명했지만, 물론 보조 화상의 형상은 이것에 한정되지 않는다. 예를 들어, 화살표 형상, 삼각형 형상, 사각형 형상, 및 원형 형상 등을 포함한 임의의 형상을 채택할 수 있다.
또한, 상기의 실시 형태들 각각에서는, 입력 조작면에 대한 손가락의 근접의 검출을 위해 정전용량식 체적 터치 센서가 이용되지만, 본 기술은 이것에 한정되지 않는다. 예를 들어, 도 17에 도시된 바와 같이 직사각형의 입력 조작면(510)의 네 개의 코너에 제공된 거리 센서(501)를 포함한 입력 디바이스(500), 및 도 18에 도시된 바와 같이 입력 조작면(610)의 근방의 카메라(601)를 포함한 입력 디바이스(600)도 본 기술에 적용될 수 있다. 도 17에 도시된 입력 디바이스(500)에 있어서는, 각 거리 센서(501)의 출력에 기초하여, 예를 들어, 삼각 측량법을 응용하여, 입력 조작면(510)의 손가락 F의 좌표 위치 및 근접 거리가 검출된다. 한편, 도 18에 도시된 입력 디바이스(600)에 있어서는, 카메라(601)에 의해 획득되는 손가락 F의 화상을 처리함으로써, 입력 조작면(610)상의 손가락 F의 좌표 위치 및 근접 거리가 검출된다.
본 기술은 하기의 구성을 채택할 수 있다는 것을 유의한다.
(1) 헤드-장착가능 디스플레이 장치로서,
입력 디바이스와 통신 가능하고, 조작 화상과 상기 조작 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하고,
상기 보조 화상은 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 나타내는, 헤드-장착가능 디스플레이.
(2) 항목 (1)에 있어서,
상기 화상 표시 디바이스는 적어도 부분적으로 투과형인, 헤드-장착가능 디스플레이.
(3) 항목 (1)에 있어서,
상기 보조 화상은 보조 화상의 위치, 보조 화상의 크기, 및 보조 화상의 형상 중 적어도 하나를 통해 타겟 오브젝트의 3차원 위치 정보를 나타내는, 헤드-장착가능 디스플레이.
(4) 항목 (1)에 있어서,
상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리는 표시된 상기 보조 화상의 적어도 상대적 크기에 의해 표현되는, 헤드-장착가능 디스플레이.
(5) 항목 (4)에 있어서,
상기 화상 표시 디바이스는 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 거리의 검출된 변화에 응답하여 상기 보조 화상의 크기를 변화시키도록 구성된, 헤드-장착가능 디스플레이.
(6) 항목 (4)에 있어서,
상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 XY 좌표 위치 정보를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 거리는 타겟 오브젝트의 Z 좌표 위치 정보인, 헤드-장착가능 디스플레이.
(7) 항목 (1)에 있어서,
상기 화상 표시 디바이스는 케이스, 송수신기, 콘트롤러, 화상 표시 소자, 및 저장 유닛을 포함하고, 상기 송수신기는 상기 입력 디바이스로부터의 조작 신호를 수신하도록 구성되고, 상기 조작 신호는 타겟 오브젝트의 3차원 위치 정보를 포함하는, 헤드-장착가능 디스플레이.
(8) 항목 (1)에 있어서,
상기 조작 화상은 상기 입력 디바이스의 상기 입력 조작면에 표시된 화상을 나타내는, 헤드-장착가능 디스플레이.
(9) 항목 (8)에 있어서,
상기 화상 표시 디바이스는 상기 입력 디바이스로부터 화상 신호를 수신하도록 구성되고, 상기 화상 신호는 상기 화상 표시 디바이스에 조작 화상을 생성하기 위한 정보를 포함하는, 헤드-장착가능 디스플레이.
(10) 항목 (1)에 있어서,
상기 화상 표시 디바이스는 주 화상을 표시하도록 구성되고, 상기 조작 화상은 상기 주 화상에 중첩되고, 상기 보조 화상은 상기 조작 화상에 중첩되는, 헤드-장착가능 디스플레이.
(11) 항목 (1)에 있어서,
상기 화상 표시 디바이스는 타겟 오브젝트의 상기 입력 디바이스와의 접촉 또는 비접촉의 지시를 표시하도록 구성된, 헤드-장착가능 디스플레이.
(12) 항목 (11)에 있어서,
타겟 오브젝트의 상기 입력 디바이스와의 접촉 콘디션으로부터 비접촉 콘디션으로의 변화시에, 이전의 접촉 콘디션에 대응하는 타겟 오브젝트의 좌표 위치가 상기 조작 화상에 표시됨으로써, 상기 화상 표시 디바이스의 절대 위치 터치 입력 조작을 가능하게 하는, 헤드-장착가능 디스플레이.
(13) 헤드-장착가능 디스플레이 장치에 화상을 표시하는 방법으로서,
상기 헤드-장착가능 디스플레이 장치의 화상 표시 디바이스에 의해 입력 디바이스에 대한 타겟 오브젝트의 3차원 위치 정보를 수신하는 단계, 및
상기 화상 표시 디바이스에 조작 화상, 및 상기 조작 화상에 중첩된 보조 화상을 표시하는 단계를 포함하고,
상기 보조 화상은 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 나타내는, 화상 표시 방법.
(14) 항목 (13)에 있어서,
상기 화상 표시 디바이스는 적어도 부분적으로 투과형인, 화상 표시 방법.
(15) 항목 (13)에 있어서,
상기 보조 화상은 보조 화상의 위치, 보조 화상의 크기, 및 보조 화상의 형상 중 적어도 하나를 통해 타겟 오브젝트의 3차원 위치 정보를 나타내는, 화상 표시 방법.
(16) 항목 (13)에 있어서,
상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리는 표시된 상기 보조 화상의 적어도 상대적 크기에 의해 표현되는, 화상 표시 방법.
(17) 항목 (16)에 있어서,
상기 입력 디바이스의 상기 입력 조작면에 대한 타겟 오브젝트의 거리의 변화를 검출하는 단계, 및
상기 타겟 오브젝트의 거리의 검출된 변화에 응답하여 상기 보조 화상의 크기를 변화시키는 단계를 포함하는, 화상 표시 방법.
(18) 항목 (16)에 있어서,
상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 XY 좌표 위치 정보를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 거리는 타겟 오브젝트의 Z 좌표 위치 정보인, 화상 표시 방법.
(19) 항목 (13)에 있어서,
상기 화상 표시 디바이스는 케이스, 송수신기, 콘트롤러, 화상 표시 소자, 및 저장 유닛을 포함하고, 상기 방법은,
상기 송수신기에 의해 상기 입력 디바이스로부터의 조작 신호를 수신하는 단계를 더 포함하고,
상기 조작 신호는 타겟 오브젝트의 3차원 위치 정보를 포함하는, 화상 표시 방법.
(20) 항목 (13)에 있어서,
상기 조작 화상은 상기 입력 디바이스의 상기 입력 조작면상에 표시된 화상을 나타내는, 화상 표시 방법.
(21) 항목 (20)에 있어서,
상기 화상 표시 디바이스에 의해 상기 입력 디바이스로부터 화상 신호를 수신하는 단계를 더 포함하고, 상기 화상 신호는 상기 화상 표시 디바이스에 조작 화상을 생성하기 위한 정보를 포함하는, 화상 표시 방법.
(22) 항목 (13)에 있어서,
상기 화상 표시 디바이스에 주 화상을 표시하는 단계를 더 포함하고,
상기 조작 화상은 상기 주 화상에 중첩되고, 상기 보조 화상은 상기 조작 화상에 중첩되는, 화상 표시 방법.
(23) 항목 (13)에 있어서,
상기 타겟 오브젝트의 상기 입력 디바이스와의 접촉 또는 비접촉의 지시를 상기 화상 표시 디바이스에 표시하는 단계를 더 포함하는, 화상 표시 방법.
(24) 항목 (23)에 있어서,
타겟 오브젝트의 상기 입력 디바이스와의 접촉 콘디션으로부터 비접촉 콘디션으로의 변화시에, 이전의 접촉 콘디션에 대응하는 타겟 오브젝트의 좌표 위치를 상기 조작 화상에 표시하는 단계를 더 포함함으로써, 상기 화상 표시 디바이스의 절대 위치 터치 입력 조작을 가능하게 하는, 화상 표시 방법.
(25) 정보 표시 시스템으로서,
주 화상, 및 상기 주 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하는 헤드-장착가능 디스플레이 장치, 및
입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 측정하도록 구성된 그 입력 디바이스를 포함하고,
상기 보조 화상은 상기 타겟 오브젝트의 3차원 위치 정보를 나타내는, 정보 표시 시스템.
(26) 항목 (25)에 있어서,
상기 입력 디바이스는 저항막 센서, 적외선 센서, 초음파 센서, 표면 탄성파 센서, 음향 펄스 인식 센서, 및 적외선 이미지 센서로 이루어진 그룹으로부터 선택된 터치 센서를 포함하는, 정보 표시 시스템.
(27) 항목 (25)에 있어서,
상기 입력 디바이스는 X축 및 Y축 방향으로 연장되고 Z축 방향에 수직인 입력 조작 표면을 포함하고, 상기 입력 디바이스는 X축 및 Y축 방향의 입력 조작면에 대한 오브젝트의 XY 좌표 위치를 검출하도록 구성되고, Z축 방향에서 오브젝트의 입력 조작면으로부터의 거리를 검출하도록 구성된, 정보 표시 시스템.
(28) 항목 (25)에 있어서,
상기 입력 디바이스는 접지 전위에 대해 부유 정전용량을 갖는 센싱 전극을 포함하는, 정보 표시 시스템.
본 기술은 하기의 구성을 채택할 수도 있다는 것을 유의한다.
(1) 헤드-장착형 디스플레이로서,
입력 디바이스로부터 송신되는 입력 조작면에 근접하는 검출 대상의 상대 위치에 관한 정보를 포함하는 조작 신호를 수신하도록 구성된 수신기,
유저에 제시될 화상을 형성하도록 구성된 화상 표시 소자, 및
상기 조작 신호에 기초하여, 상기 화상에 상기 검출 대상의 위치를 나타내는 보조 화상이 중첩된 조작 화상을 상기 화상 표시 소자에 표시시키도록 구성된 표시 프로세서를 포함하는, 헤드-장착형 디스플레이.
(2) 항목 (1)에 있어서,
상기 수신기는 상기 입력 디바이스로부터 출력되는 화상 신호를 또한 수신하도록 구성되고,
상기 표시 프로세서는 상기 화상 신호에 기초하여, 상기 화상을 상기 화상 표시 소자에 표시시키도록 구성된, 헤드-장착형 디스플레이.
(3) 항목 (1) 또는 (2)에 있어서,
상기 표시 프로세서는 상기 조작 신호에 기초하여, 상기 화상의 표시 영역에서 상기 보조 화상을 이동시키도록 구성된, 헤드-장착형 디스플레이.
(4) 항목 (1) 내지 (3) 중 어느 한 항목에 있어서,
상기 조작 신호는 상기 입력 조작면에 대한 상기 검출 대상의 근접 거리에 관한 정보를 포함하고,
상기 표시 프로세서는 상기 입력 조작면에 대한 상기 검출 대상의 근접 거리에 따라 상기 보조 화상의 표시 모드를 변화시키도록 구성된, 헤드-장착형 디스플레이.
(5) 항목 (1) 내지 (4) 중 어느 한 항목에 있어서,
상기 조작 신호에 기초하여, 상기 입력 조작면상의 상기 검출 대상의 좌표 위치를 산출하도록 구성된 연산 유닛을 더 포함하고,
상기 표시 프로세서는 상기 연산 유닛에 의해 산출된 상기 검출 대상의 좌표 위치에 기초하여 상기 조작 화상을 상기 화상 표시 소자에 표시시키도록 구성된, 헤드-장착형 디스플레이.
(6) 정보 표시 장치로서,
입력 디바이스, 및
헤드-장착형 디스플레이를 포함하고,
상기 입력 디바이스는,
입력 조작면, 및
상기 입력 조작면에 대한 검출 대상의 근접을 검출하고, 상기 입력 조작면상의 상기 검출 대상의 좌표 위치에 관한 정보를 출력하도록 구성된 센서 유닛을 포함하고,
상기 헤드-장착형 디스플레이는,
유저에 제시될 화상을 형성하도록 구성된 화상 표시 소자, 및
상기 센서 유닛의 출력에 기초하여, 상기 화상에 상기 검출 대상의 위치를 나타내는 보조 화상이 중첩된 조작 화상을, 상기 화상 표시 소자에 형성시키도록 구성된 표시 프로세서를 포함하는, 정보 표시 장치.
(7) 항목 (6)에 있어서,
상기 입력 디바이스는,
상기 입력 조작면에 화상을 표시하도록 구성된 표시 소자를 더 포함하고,
상기 헤드-장착형 디스플레이는 상기 입력 조작면에 표시되는 표시 화상에 상기 보조 화상이 중첩된 화상을 상기 조작 화상으로서 표시하도록 구성된, 정보 표시 장치.
(8) 항목 (6) 또는 (7)에 있어서,
상기 센서 유닛은 상기 입력 조작면과 상기 검출 대상 간의 정전용량의 변화를 검출하도록 구성된 정전용량 센서를 포함하는, 정보 표시 장치.
(9) 항목 (6) 내지 (8) 중 어느 한 항목에 있어서,
상기 센서 유닛은 상기 입력 조작면상에 있어서의 상기 검출 대상의 움직임을 검출하도록 구성되고,
상기 헤드-장착형 디스플레이는 검출된 상기 검출 대상의 움직임에 따라 이동하는 상기 보조 화상을 표시하도록 구성된, 정보 표시 장치.
(10) 항목 (6) 내지 (9) 중 어느 한 항목에 있어서,
상기 헤드-장착형 디스플레이는 상기 입력 조작면에 대한 상기 검출 대상의 근접 거리에 따라, 상기 보조 화상의 표시 모드를 변화시키도록 구성된, 정보 표시 장치.
(11) 항목 (7)에 있어서,
상기 헤드-장착형 디스플레이는 상기 표시 화상의 주위에 상기 입력 디바이스의 외관을 나타내는 화상을 또한 표시하도록 구성된, 정보 표시 장치.
(12) 정보 표시 장치로서,
입력 디바이스, 및
헤드-장착형 디스플레이를 포함하고,
상기 입력 디바이스는,
입력 조작면, 및
상기 입력 조작면에 대한 검출 대상의 근접을 검출하도록 구성된 센서 유닛을 포함하고,
상기 헤드-장착형 디스플레이는,
유저에 제시될 화상을 형성하도록 구성된 화상 표시 소자,
상기 센서 유닛의 출력에 기초하여 상기 입력 조작면상의 상기 검출 대상의 좌표 위치를 산출하도록 구성된 연산 유닛, 및
상기 연산 유닛에 의해 산출된 상기 검출 대상의 좌표 위치에 기초하여, 상기 화상에 검출 대상의 위치를 나타내는 보조 화상이 중첩된 조작 화상을 상기 화상 표시 소자에 형성시키도록 구성된 표시 프로세서를 포함하는, 정보 표시 장치.
본 출원은 2011년 12월 16일자로 일본 특허청에 출원된 일본 우선권 특허 출원 JP 2011-275573호에 개시된 것과 관련된 요지를 포함하고, 그 전체 내용이 본 명세서에 인용되어 포함된다.
1: 헤드-장착형 디스플레이(HMD)
2, 20, 30: 입력 디바이스
13, 130: 콘트롤러(표시 프로세서)
131: 연산 유닛
132: 표시 프로세서
14, 140: 화상 표시 소자
21, 210: 입력 조작면
22, 220: 터치 센서(센서 유닛)
24: 표시 소자
100: 정보 표시 장치
P: 포인터(보조 화상)
V10: 조작 화상

Claims (21)

  1. 헤드-장착가능 디스플레이 장치로서,
    입력 디바이스와 통신 가능하고, 조작 화상, 및 상기 조작 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하고,
    상기 보조 화상은 상기 입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 나타내는, 헤드-장착가능 디스플레이 장치.
  2. 제1항에 있어서,
    상기 화상 표시 디바이스는 적어도 부분적으로 투과형(see-through)인, 헤드-장착가능 디스플레이 장치.
  3. 제1항에 있어서,
    상기 보조 화상은 보조 화상의 위치, 보조 화상의 크기, 및 보조 화상의 형상 중 적어도 하나를 통해 상기 타겟 오브젝트의 3차원 위치 정보를 나타내는, 헤드-장착가능 디스플레이 장치.
  4. 제1항에 있어서,
    상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리는 표시된 상기 보조 화상의 적어도 상대적 크기에 의해 표현되는, 헤드-장착가능 디스플레이 장치.
  5. 제4항에 있어서,
    상기 화상 표시 디바이스는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리의 검출된 변화에 응답하여 상기 보조 화상의 크기를 변화시키도록 구성된, 헤드-장착가능 디스플레이 장치.
  6. 제4항에 있어서,
    상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 XY 좌표 위치 정보를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리는 상기 타겟 오브젝트의 Z 좌표 위치 정보인, 헤드-장착가능 디스플레이 장치.
  7. 제1항에 있어서,
    상기 화상 표시 디바이스는 케이스, 송수신기, 콘트롤러, 화상 표시 소자, 및 저장 유닛을 포함하고,
    상기 송수신기는 상기 입력 디바이스로부터의 조작 신호를 수신하도록 구성되고,
    상기 조작 신호는 상기 타겟 오브젝트의 3차원 위치 정보를 포함하는, 헤드-장착가능 디스플레이 장치.
  8. 제1항에 있어서,
    상기 조작 화상은 상기 입력 디바이스의 상기 입력 조작면상에 표시된 화상을 나타내는, 헤드-장착가능 디스플레이 장치.
  9. 제1항에 있어서,
    상기 화상 표시 디바이스는 주 화상을 표시하도록 구성되고, 상기 조작 화상은 상기 주 화상에 중첩되고, 상기 보조 화상은 상기 조작 화상에 중첩되는, 헤드-장착가능 디스플레이 장치.
  10. 제1항에 있어서,
    상기 화상 표시 디바이스는 상기 타겟 오브젝트의 상기 입력 디바이스와의 접촉 또는 비접촉의 지시를 표시하도록 구성된, 헤드-장착가능 디스플레이 장치.
  11. 헤드-장착가능 디스플레이 장치에 화상을 표시하는 방법으로서,
    상기 헤드-장착가능 디스플레이 장치의 화상 표시 디바이스에 의해 입력 디바이스에 대한 타겟 오브젝트의 3차원 위치 정보를 수신하는 단계, 및
    상기 화상 표시 디바이스에 조작 화상, 및 상기 조작 화상에 중첩된 보조 화상을 표시하는 단계를 포함하고,
    상기 보조 화상은 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 3차원 위치 정보를 나타내는, 화상 표시 방법.
  12. 제11항에 있어서,
    상기 화상 표시 디바이스는 적어도 부분적으로 투과형인, 화상 표시 방법.
  13. 제11항에 있어서,
    상기 보조 화상은 보조 화상의 위치, 보조 화상의 크기, 및 보조 화상의 형상 중 적어도 하나를 통해 상기 타겟 오브젝트의 3차원 위치 정보를 나타내는, 화상 표시 방법.
  14. 제11항에 있어서,
    상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리는 표시된 상기 보조 화상의 적어도 상대적 크기에 의해 표현되는, 화상 표시 방법.
  15. 제14항에 있어서,
    상기 입력 디바이스의 상기 입력 조작면에 대한 상기 타겟 오브젝트의 거리의 변화를 검출하는 단계, 및
    상기 타겟 오브젝트의 거리의 검출된 변화에 응답하여 상기 보조 화상의 크기를 변화시키는 단계를 더 포함하는, 화상 표시 방법.
  16. 제14항에 있어서,
    상기 타겟 오브젝트의 3차원 위치 정보는 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 XY 좌표 위치 정보를 포함하고, 상기 입력 디바이스의 입력 조작면에 대한 상기 타겟 오브젝트의 거리는 상기 타겟 오브젝트의 Z 좌표 위치 정보인, 화상 표시 방법.
  17. 제11항에 있어서,
    상기 화상 표시 디바이스는 케이스, 송수신기, 콘트롤러, 화상 표시 소자, 및 저장 유닛을 포함하고, 상기 방법은,
    상기 송수신기에 의해 상기 입력 디바이스로부터의 조작 신호를 수신하는 단계를 더 포함하고,
    상기 조작 신호는 상기 타겟 오브젝트의 3차원 위치 정보를 포함하는, 화상 표시 방법.
  18. 제11항에 있어서,
    상기 조작 화상은 상기 입력 디바이스의 상기 입력 조작면상에 표시된 화상을 나타내는, 화상 표시 방법.
  19. 제11항에 있어서,
    상기 화상 표시 디바이스에 주 화상을 표시하는 단계를 더 포함하고,
    상기 조작 화상은 상기 주 화상에 중첩되고, 상기 보조 화상은 상기 조작 화상에 중첩되는, 화상 표시 방법.
  20. 제11항에 있어서,
    상기 타겟 오브젝트의 상기 입력 디바이스와의 접촉 또는 비접촉의 지시를 상기 화상 표시 디바이스에 표시하는 단계를 더 포함하는, 화상 표시 방법.
  21. 정보 표시 시스템으로서,
    주 화상, 및 상기 주 화상에 중첩된 보조 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하는 헤드-장착가능 디스플레이 장치, 및
    입력 디바이스의 입력 조작면에 대한 타겟 오브젝트의 3차원 위치 정보를 측정하도록 구성된 상기 입력 디바이스를 포함하고,
    상기 보조 화상은 상기 타겟 오브젝트의 3차원 위치 정보를 나타내는, 정보 표시 시스템.
KR1020147014870A 2011-12-16 2012-12-13 헤드-장착형 디스플레이 및 정보 표시 장치 KR20140102663A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-275573 2011-12-16
JP2011275573A JP2013125247A (ja) 2011-12-16 2011-12-16 ヘッドマウントディスプレイ及び情報表示装置
PCT/JP2012/007974 WO2013088725A1 (en) 2011-12-16 2012-12-13 Head-mounted display and information display apparatus

Publications (1)

Publication Number Publication Date
KR20140102663A true KR20140102663A (ko) 2014-08-22

Family

ID=47436152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147014870A KR20140102663A (ko) 2011-12-16 2012-12-13 헤드-장착형 디스플레이 및 정보 표시 장치

Country Status (6)

Country Link
US (1) US10191281B2 (ko)
EP (1) EP2791725A1 (ko)
JP (1) JP2013125247A (ko)
KR (1) KR20140102663A (ko)
CN (1) CN103998970A (ko)
WO (1) WO2013088725A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160059264A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
KR20160086500A (ko) * 2015-01-09 2016-07-20 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
WO2018105955A3 (ko) * 2016-12-08 2018-08-02 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5920343B2 (ja) * 2011-06-10 2016-05-18 日本電気株式会社 入力装置およびタッチパネルの制御方法
US9417660B2 (en) * 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
KR102043200B1 (ko) * 2013-05-07 2019-11-11 엘지전자 주식회사 스마트 워치 및 제어 방법
WO2015029222A1 (ja) * 2013-08-30 2015-03-05 富士通株式会社 情報処理装置，表示制御プログラム及び表示制御方法
JP6209906B2 (ja) 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US9223451B1 (en) 2013-10-25 2015-12-29 Google Inc. Active capacitive sensing on an HMD
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
JP6307627B2 (ja) * 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
CN104063092B (zh) * 2014-06-16 2016-12-07 青岛歌尔声学科技有限公司 一种触摸屏控制方法及装置
US9965030B2 (en) 2014-07-31 2018-05-08 Samsung Electronics Co., Ltd. Wearable glasses and method of displaying image via the wearable glasses
KR102361025B1 (ko) * 2014-07-31 2022-02-08 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
CN105578167A (zh) * 2014-10-17 2016-05-11 深圳智航无人机有限公司 一种实时3d影像系统
JP5996605B2 (ja) * 2014-10-21 2016-09-21 株式会社コロプラ ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法
JP6340301B2 (ja) 2014-10-22 2018-06-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
CN104750414A (zh) * 2015-03-09 2015-07-01 北京云豆科技有限公司 一种终端以及一种头戴式可视设备及其控制方法
EP3264203A4 (en) * 2015-03-20 2018-07-18 Huawei Technologies Co. Ltd. Intelligent interaction method, equipment and system
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20170017323A1 (en) * 2015-07-17 2017-01-19 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
CN105093533A (zh) * 2015-08-20 2015-11-25 余剑锋 一种虚拟现实头盔装置
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
JP6174646B2 (ja) * 2015-09-24 2017-08-02 株式会社コロプラ 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラム
JP2017068797A (ja) * 2015-10-02 2017-04-06 富士通株式会社 入力支援システム、及び、電子機器
KR20170062876A (ko) 2015-11-30 2017-06-08 삼성전자주식회사 헤드 마운트 장치 및 이에 탈부착 가능한 장치
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
US20180239417A1 (en) * 2015-12-30 2018-08-23 Shenzhen Royole Technologies Co. Ltd. Head-mounted display device, head-mounted display system, and input method
KR102610120B1 (ko) * 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10095266B2 (en) 2016-01-28 2018-10-09 Colopl, Inc. System and method for interfacing between a display and a controller
US10824253B2 (en) * 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
JP6439744B2 (ja) * 2016-04-28 2018-12-19 カシオ計算機株式会社 表示システム、情報装置、表示方法及びプログラム
CN108885501A (zh) * 2016-05-12 2018-11-23 西奎公司 使用电容感测的控制器感应
JP6931883B2 (ja) * 2017-02-06 2021-09-08 株式会社大林組 教育支援システム、教育支援方法及び教育支援プログラム
WO2018199983A1 (en) * 2017-04-28 2018-11-01 Hewlett-Packard Development Company, L.P. Tablet computing device with display dock
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
JP6886024B2 (ja) * 2017-08-24 2021-06-16 マクセル株式会社 ヘッドマウントディスプレイ
CN108566480A (zh) * 2018-01-02 2018-09-21 京东方科技集团股份有限公司 可穿戴设备的控制方法、装置及系统
US10592013B2 (en) * 2018-04-25 2020-03-17 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
JP2018160249A (ja) * 2018-05-14 2018-10-11 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法
JP7286357B2 (ja) * 2019-03-15 2023-06-05 Ｄｙｎａｂｏｏｋ株式会社 電子装置および表示制御方法
JP6854869B2 (ja) * 2019-11-25 2021-04-07 株式会社コロプラ ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法
US11262853B2 (en) 2020-03-10 2022-03-01 Cirque Corporation Measuring capacitance
JP2022126548A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
JP2023017534A (ja) * 2021-07-26 2023-02-07 株式会社東海理化電機製作所 操作検出装置
WO2023047228A1 (ja) * 2021-09-22 2023-03-30 株式会社半導体エネルギー研究所 電子装置および表示システム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929841A (en) * 1996-02-05 1999-07-27 Sharp Kabushiki Kaisha Data input unit
US6037937A (en) * 1997-12-04 2000-03-14 Nortel Networks Corporation Navigation tool for graphical user interface
US20010043266A1 (en) * 2000-02-02 2001-11-22 Kerry Robinson Method and apparatus for viewing stereoscopic three- dimensional images
JP2003279881A (ja) * 2002-03-27 2003-10-02 Hitachi Ltd 携帯情報装置
DE10349673B4 (de) * 2003-10-24 2024-06-13 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Dateneingabe in einem Kraftfahrzeug
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
CN101308441B (zh) * 2004-10-12 2010-09-22 日本电信电话株式会社 三维显示控制方法和三维显示控制装置
US7728825B2 (en) * 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
CN101449265A (zh) * 2006-03-15 2009-06-03 杰里·M·惠特克 具有浏览并与万维网交互的头戴式显示器的移动全球虚拟浏览器
JP5023632B2 (ja) 2006-09-15 2012-09-12 ブラザー工業株式会社 ヘッドマウントディスプレイ
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
JP2010145861A (ja) 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
DE102009006082A1 (de) * 2009-01-26 2010-07-29 Alexander Gruber Verfahren zur Steuerung eines auf einem Bildschirm dargestellten Auswahlobjekts
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
KR101613555B1 (ko) * 2009-10-26 2016-04-19 엘지전자 주식회사 이동 단말기
US8754931B2 (en) * 2010-01-08 2014-06-17 Kopin Corporation Video eyewear for smart phone games
JP2011180843A (ja) * 2010-03-01 2011-09-15 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5716009B2 (ja) * 2010-03-05 2015-05-13 レノボ・イノベーションズ・リミテッド（香港） 携帯端末装置
US8508347B2 (en) * 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8957856B2 (en) * 2010-10-21 2015-02-17 Verizon Patent And Licensing Inc. Systems, methods, and apparatuses for spatial input associated with a display
US9110564B2 (en) * 2010-11-05 2015-08-18 Lg Electronics Inc. Mobile terminal, method for controlling mobile terminal, and method for displaying image of mobile terminal
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8217856B1 (en) * 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
US20130106898A1 (en) * 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US10182141B2 (en) * 2011-12-22 2019-01-15 Nokia Technologies Oy Apparatus and method for providing transitions between screens
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160059264A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
KR20160086500A (ko) * 2015-01-09 2016-07-20 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
WO2018105955A3 (ko) * 2016-12-08 2018-08-02 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치
US10860117B2 (en) 2016-12-08 2020-12-08 Samsung Electronics Co., Ltd Method for displaying object and electronic device thereof

Also Published As

Publication number Publication date
CN103998970A (zh) 2014-08-20
US10191281B2 (en) 2019-01-29
EP2791725A1 (en) 2014-10-22
US20140320383A1 (en) 2014-10-30
JP2013125247A (ja) 2013-06-24
WO2013088725A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
KR20140102663A (ko) 헤드-장착형 디스플레이 및 정보 표시 장치
JP5957875B2 (ja) ヘッドマウントディスプレイ
US20200374508A1 (en) Display apparatus and method for controlling display apparatus
US9632318B2 (en) Head-mounted display including an operating element having a longitudinal direction in a direction of a first axis, display apparatus, and input apparatus
JP6206099B2 (ja) 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
RU2488860C2 (ru) Дисплейное приспособление и устройство
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
CN106168848B (zh) 显示装置以及显示装置的控制方法
US9864198B2 (en) Head-mounted display
JP2019133723A (ja) 情報処理装置の駆動方法
US20140285520A1 (en) Wearable display device using augmented reality
JP6264871B2 (ja) 情報処理装置および情報処理装置の制御方法
US20130181888A1 (en) Head-mounted display
KR20140008467A (ko) 통합형 손가락 추적 입력 센서를 갖는 착용식 헤드업 디스플레이
JP2018151851A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP6476781B2 (ja) 情報処理装置、情報処理装置を制御する方法、コンピュータープログラム
JP2009104429A (ja) ヘッドマウントディスプレイ装置及び携帯装置
JP2018022426A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP6740613B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
US20170285765A1 (en) Input apparatus, input method, and computer program
JP6754329B2 (ja) 画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム
JP6176368B2 (ja) ヘッドマウントディスプレイ及び情報表示装置
JP2018151852A (ja) 入力装置、入力制御方法、およびコンピュータープログラム
KR20210121933A (ko) 디스플레이를 포함하는 전자 장치 및 그 디스플레이의 시야각을 제어하는 방법
KR101891837B1 (ko) 증강현실 인터페이스를 이용하는 착용형 디스플레이 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination