KR20170005406A - 정보 처리 시스템 및 정보 처리 방법 - Google Patents
정보 처리 시스템 및 정보 처리 방법 Download PDFInfo
- Publication number
- KR20170005406A KR20170005406A KR1020167028996A KR20167028996A KR20170005406A KR 20170005406 A KR20170005406 A KR 20170005406A KR 1020167028996 A KR1020167028996 A KR 1020167028996A KR 20167028996 A KR20167028996 A KR 20167028996A KR 20170005406 A KR20170005406 A KR 20170005406A
- Authority
- KR
- South Korea
- Prior art keywords
- head
- display
- user
- information processing
- movement
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 67
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000033001 locomotion Effects 0.000 claims abstract description 85
- 238000001514 detection method Methods 0.000 claims description 18
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 100
- 238000012545 processing Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 210000001508 eye Anatomy 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
본 발명은 헤드부 장착 단말기에서의 시선에 의한 조작성을 높이는 것이 가능한 정보 처리 시스템을 제공한다. 또한, 유저의 시선을 검출하는 시선 검출부와, 유저가 장착하는 장치의 움직임을 검출하는 움직임 검출부와, 표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 표시 제어부를 구비하는, 정보 처리 시스템이 제공된다.
Description
본 개시는, 정보 처리 시스템 및 정보 처리 방법에 관한 것이다.
최근 들어, 유저가 장착하여 사용하는 웨어러블 단말기의 개발이 활발히 행해지고 있다. 웨어러블 단말기의 하나로서, 유저가 헤드부에 장착하여 사용하는 헤드부 장착형 단말기가 있다. 헤드부 장착형 단말기는, 이것을 장착한 유저의 눈앞에 표시부가 위치하도록 구성되어 있다. 따라서, 유저는 헤드부 장착형 단말기를 장착함으로써, 예를 들어 표시 단말기를 가방이나 포켓 등으로부터 취출하는 동작을 하지 않고, 정보의 확인이나 조작을 행하는 것이 가능하게 된다.
이러한 헤드부 장착 단말기는, 예를 들어 단말기에 설치된 터치 센서에의 입력이나 음성에 의해 조작할 수도 있지만, 표시부가 유저의 눈앞에 설치되는 점에서, 시선에 의한 조작도 많이 시도되고 있다. 예를 들어 특허문헌 1에는, 헤드부 장착 단말기를 장착한 유저의 시선 움직임을 사용하여, 아이콘을 스크롤시키는 기술이 개시되어 있다. 또한, 예를 들어 특허문헌 2에는, 시선으로 패스 코드 해제를 행하는 기술이 개시되어 있다.
그러나, 시선에 의한 조작에서는, 표시부에 표시된 아이콘의 선택 결정에 있어서, 시선을 움직이게 하여 화면의 단 부근의 아이콘을 선택하여, 결정하는 것은 눈의 부담이 된다. 이로 인해, 유저가 시선을 움직여서 조작할 수 있는 범위는 한정된다. 또한, 개인차는 있지만, 유저의 시선 움직임에 대하여 화상에서의 픽셀 이동은 작고, 시선의 미세한 움직임으로 인접하는 아이콘을 선택하는 것은 자유롭지 못하다.
따라서, 본 개시에서는, 헤드부 장착 단말기에서의 시선에 의한 조작성을 높이는 것이 가능한, 신규이면서도 개량된 정보 처리 시스템 및 정보 처리 방법을 제안한다.
본 개시에 의하면, 유저의 시선을 검출하는 시선 검출부와, 유저가 장착하는 장치의 움직임을 검출하는 움직임 검출부와, 표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 표시 제어부를 구비하는, 정보 처리 시스템이 제공된다.
또한, 본 개시에 의하면, 유저가 장착하는 장치의 움직임을 검출하는 것, 표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 것을 포함하는, 정보 처리 방법이 제공된다.
본 개시에 의하면, 장치를 장착한 유저의 움직임을 움직여 검출부에 의해 검출하고, 시선에 의해 선택 가능한 오브젝트의 표시 위치를 유저의 움직임에 따라서 변경한다. 이에 의해, 유저가 시선을 움직이기 쉬운 위치에 오브젝트를 표시시켜, 시선에 의한 오브젝트의 선택을 행하기 쉽게 한다.
이상 설명한 바와 같이 본 개시에 의하면, 헤드부 장착 단말기에서의 시선에 의한 조작성을 높이는 것이 가능하게 된다. 또한, 상기의 효과는 반드시 한정적인 것은 아니고, 상기의 효과와 함께 또는 상기의 효과 대신에, 본 명세서에 나타난 어느 하나의 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 헤드부 장착형 단말기의 일례를 나타내는 설명도이다.
도 2는, 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 오브젝트의 표시 위치 변경 처리의 일례를 나타내는 설명도이다.
도 3은, 동 실시 형태에 따른 정보 처리 장치의 기능 구성을 나타내는 블록도이다.
도 4는, 동 실시 형태에 따른 유저의 고개의 움직임에 따른 표시 변경 처리를 나타내는 흐름도이다.
도 5는, 표시부가 오프 상태가 되는 상황을 설명하는 설명도이다.
도 6은, 유저의 고개의 움직임에 의한 표시 변경을 불가로 하기 위한 조작 입력의 일례를 나타내는 설명도이다.
도 7은, 유저의 고개의 움직임에 의한 표시 변경을 불가로 하기 위한 조작 입력의 다른 일례를 나타내는 설명도이다.
도 8은, 유저의 고개의 움직임에 따라서 오브젝트의 표시 위치를 변경하고, 오브젝트를 선택하는 조작의 일례를 나타내는 설명도이다.
도 9는, 선택된 오브젝트를 캔슬하는 조작 입력의 일례를 나타내는 설명도이다.
도 10은, 선택된 오브젝트를 캔슬하는 캔슬 아이콘이 표시된 예를 나타내는 설명도이다.
도 11은, 표시 영역에 표시되고 있는 오브젝트 수가 많은 경우의 오브젝트의 표시 위치 변경 처리를 설명하는 설명도이다.
도 12는, 표시 영역에 표시되고 있는 오브젝트 수가 적은 경우의 오브젝트의 표시 위치 변경 처리를 설명하는 설명도이다.
도 13은, 본 개시의 제2 실시 형태에 따른 표시 변경 처리의 설명도이며, 비표시의 오브젝트를 표시 영역에 표시시키는 동작을 나타낸다.
도 14는, 동 실시 형태에 따른 표시 변경 처리의 설명도이며, 스크롤 후에 표시된 오브젝트의 표시 상태를 소정 시간 유지하는 상태를 나타낸다.
도 15는, 동 실시 형태에 따른 표시 변경 처리의 설명도이며, 오브젝트의 표시 상태가 소정 시간 경과 후에 통상 상태로 복귀되는 상태를 나타낸다.
도 16은, 오브젝트 간격의 확장 방법의 일례를 나타내는 설명도이다.
도 17은, 오브젝트 간격의 확장 방법의 다른 일례를 나타내는 설명도이다.
도 18은, 헤드부 장착형 단말기의 하드웨어 구성의 일례를 나타내는 하드웨어 구성도이다.
도 2는, 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 오브젝트의 표시 위치 변경 처리의 일례를 나타내는 설명도이다.
도 3은, 동 실시 형태에 따른 정보 처리 장치의 기능 구성을 나타내는 블록도이다.
도 4는, 동 실시 형태에 따른 유저의 고개의 움직임에 따른 표시 변경 처리를 나타내는 흐름도이다.
도 5는, 표시부가 오프 상태가 되는 상황을 설명하는 설명도이다.
도 6은, 유저의 고개의 움직임에 의한 표시 변경을 불가로 하기 위한 조작 입력의 일례를 나타내는 설명도이다.
도 7은, 유저의 고개의 움직임에 의한 표시 변경을 불가로 하기 위한 조작 입력의 다른 일례를 나타내는 설명도이다.
도 8은, 유저의 고개의 움직임에 따라서 오브젝트의 표시 위치를 변경하고, 오브젝트를 선택하는 조작의 일례를 나타내는 설명도이다.
도 9는, 선택된 오브젝트를 캔슬하는 조작 입력의 일례를 나타내는 설명도이다.
도 10은, 선택된 오브젝트를 캔슬하는 캔슬 아이콘이 표시된 예를 나타내는 설명도이다.
도 11은, 표시 영역에 표시되고 있는 오브젝트 수가 많은 경우의 오브젝트의 표시 위치 변경 처리를 설명하는 설명도이다.
도 12는, 표시 영역에 표시되고 있는 오브젝트 수가 적은 경우의 오브젝트의 표시 위치 변경 처리를 설명하는 설명도이다.
도 13은, 본 개시의 제2 실시 형태에 따른 표시 변경 처리의 설명도이며, 비표시의 오브젝트를 표시 영역에 표시시키는 동작을 나타낸다.
도 14는, 동 실시 형태에 따른 표시 변경 처리의 설명도이며, 스크롤 후에 표시된 오브젝트의 표시 상태를 소정 시간 유지하는 상태를 나타낸다.
도 15는, 동 실시 형태에 따른 표시 변경 처리의 설명도이며, 오브젝트의 표시 상태가 소정 시간 경과 후에 통상 상태로 복귀되는 상태를 나타낸다.
도 16은, 오브젝트 간격의 확장 방법의 일례를 나타내는 설명도이다.
도 17은, 오브젝트 간격의 확장 방법의 다른 일례를 나타내는 설명도이다.
도 18은, 헤드부 장착형 단말기의 하드웨어 구성의 일례를 나타내는 하드웨어 구성도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 제1 실시 형태(고개의 움직임에 따라서 오브젝트의 간격을 벌린다)
1.1. 개요
1.2. 기능 구성
1.3. 유저의 고개의 움직임에 따른 표시 변경 처리
2. 제2 실시 형태(고개의 움직임에 따라서 비표시의 오브젝트를 표시시킴)
3. 변형예
4. 하드웨어 구성예
<1. 제1 실시 형태>
[1.1. 개요]
먼저, 도 1 및 도 2를 참조하여, 본 개시의 제1 실시 형태에 따른 정보 처리 장치에 의한 처리의 개요에 대하여 설명한다. 또한, 도 1은, 헤드부 장착형 단말기(10)의 일례를 나타내는 설명도이다. 도 2는, 본 실시 형태에 따른 정보 처리 장치에 의한 오브젝트의 표시 위치 변경 처리의 일례를 나타내는 설명도이다.
본 실시 형태에 있어서 사용되는 헤드부 장착형 단말기(10)는, 유저가 헤드부에 장착하여 사용되는 장치이다. 헤드부 장착형 단말기(10)로서는, 예를 들어 도 1에 나타내는 바와 같은 안경형 단말기가 있다. 도 1에 나타내는 헤드부 장착형 단말기(10)에서는, 장착시에 유저의 눈앞에 위치하는 표시부(12)를 구비하는 프론트부와, 프론트부의 좌우에 각각 설치되는 지지부(14R, 14L)를 포함한다. 지지부(14R, 14L)를 헤드부 측부에 위치시켜, 프론트부를 코에 고정함으로써, 헤드부 장착형 단말기(10)를 장착할 수 있다.
표시부(12)는 우안용 표시부(12R)와, 좌안용 표시부(12L)를 포함한다. 표시부(12)에는, 영상을 투영하는 표시 유닛(도시하지 않음)에 의해 각종 정보가 표시된다. 본 실시 형태에 따른 표시부(12)는, 예를 들어 광학 투과형의 표시 패널이며, 외계의 시계를 가리지 않기 때문에, 유저는 외계와 표시부(12)에 표시되는 내용을 자연스럽게 볼 수 있다.
본 실시 형태에 따른 헤드부 장착형 단말기(10)는, 당해 단말기를 장착한 유저의 고개의 움직임을 검출하기 위한 센서로서, 예를 들어 각 속도를 검출하는 자이로 센서(16)를 구비하고 있다. 자이로 센서(16)는, 예를 들어 지지부(14L)에 설치해도 되고, 단말기의 다른 장소에 설치해도 된다. 헤드부 장착형 단말기(10)를 장착한 유저가 고개를 돌리면, 고개의 회전과 함께 회전하는 헤드부 장착형 단말기(10)의 각 속도가 자이로 센서(16)에 의해 검출된다. 이 자이로 센서(16)에 의해 검출된 각 속도가 유저의 고개의 회전 움직임을 나타내는 값으로서 이용된다.
또한, 헤드부 장착형 단말기(10)는, 당해 단말기를 장착한 유저의 시선을 검출하는 시선 센서(도 3의 부호(18))를 구비한다. 시선 센서로서는, 예를 들어 유저의 눈을 촬상하는 가시 카메라나 적외선 카메라 등을 사용해도 된다. 시선 센서에 의해 취득된 화상을 해석함으로써, 유저의 시선을 특정할 수 있다. 이 기능에 의해, 본 실시 형태에 따른 헤드부 장착형 단말기(10)에서는, 유저는 시선을 움직임으로써 표시부(12)의 표시 영역에 표시된 정보를 조작할 수 있다.
또한, 헤드부 장착형 단말기(10)의 형태는, 도 1에 나타내는 것에 한정되지 않는다. 예를 들어 헤드부 장착형 단말기(10)의 형상은, 고글형 단말기 등이어도 되고, 표시부는 도 1에 나타내는 바와 같이 양안에 설치되어 있어도 되고, 어느 한쪽의 눈에 대응하여 설치되어 있어도 된다. 또한, 표시 방식은, 광학 투과형에 한정되지 않고, 외계의 시계를 가리는 비투과형이나, 외계의 모습을 촬영하여 표시부에 비추는 비디오 투과형 등이어도 된다. 또한, 헤드부 장착형 단말기(10)는 표시부(12), 표시 유닛, 자이로 센서(16) 이외에도, 예를 들어 터치 센서나 마이크, 스피커, GPS 등을 구비하고 있어도 된다.
이러한 헤드부 장착형 단말기(10)는, 각종 기능을 제어하기 위하여 정보 처리 장치(도 3의 부호(100))를 구비하고 있다. 정보 처리 장치는, 예를 들어 표시부(12)에 정보를 표시시키는 표시 유닛을 제어하거나, 유저의 조작에 기초하여 애플리케이션을 기능시키거나 하는 처리를 행한다.
여기서, 본 실시 형태에 따른 헤드부 장착형 단말기(10)는 당해 단말기의 조작을 시선에 의해 행할 수 있다. 예를 들어 도 2 좌측에 나타내는 바와 같이, 헤드부 장착형 단말기(10)를 장착하고 있는 유저는, 표시부(12)의 표시 영역(200)을 보고 있다고 하자. 표시 영역(200)에는, 예를 들어 메일러를 기동하는 메일 아이콘(212)이나, 애플리케이션을 기능하는 애플리케이션 아이콘(214), 마이크 아이콘(216) 등의 오브젝트가 표시되어 있다. 유저는 시선을 움직여, 오브젝트에 시선을 맞춤으로써, 임의의 오브젝트를 선택할 수 있다.
이러한 시선에 의한 조작에 있어서는, 표시 영역(200) 중 유저가 시선을 움직이게 하는 것이 가능한 범위에서 조작을 행할 수 있지만, 예를 들어 메일 아이콘(212)과 같이 표시 영역(200)의 끝 부근에 있는 오브젝트에 시선을 향하는 것은 눈의 부담이 커진다. 일반적으로, 사람이 얼굴을 움직이지 않고 자연스럽게 시선을 움직이게 할 수 있는 범위는, 수평 방향 약 30°이다. 이로 인해, 표시 영역(200)의 화각이 30°를 초과하여 넓어지면, 유저가 자연스럽게 시선을 향할 수 있는 범위를 초과해버려, 표시 영역(200)의 양단에 있는 오브젝트의 선택이 어려워진다.
또한, 사람의 시선의 움직임에 대하여 표시 영역(200)에서의 시선의 이동량은 작고, 유저가 시선을 움직여도 생각한 만큼 표시 영역(200)에서는 시선은 이동하지 않는다. 예를 들어, 시선을 수평 방향으로 10° 움직였을 때, 표시 영역(200)에서는 30 내지 40 픽셀 정도밖에 움직이지 않는다. 이로 인해, 시선의 미세한 움직임으로, 예를 들어 메일 아이콘(212)과 애플리케이션 아이콘(214)과 같이 인접하는 오브젝트를 선택하는 것은 부자유스럽다.
따라서, 본 실시 형태에 따른 헤드부 장착형 단말기(10)에서는, 유저의 고개의 움직임에 따라서 표시 영역(200)에 표시되고 있는, 오브젝트의 표시 위치를 변화시켜, 시선에 의한 조작을 행하기 쉬워지도록 한다. 예를 들어, 도 2 우측에 나타내는 바와 같이, 유저가 왼쪽을 향하면, 표시 영역(200)의 좌측에 인접하여 표시되어 있었던 메일 아이콘(212) 및 애플리케이션 아이콘(214)을 각각 우측으로 이동시켜, 이 간격 L이 넓어지도록 표시 위치를 변화시킨다. 이에 의해, 유저가 자연스럽게 시선을 움직일 수 있는 범위에 오브젝트가 표시되고, 또한, 인접하는 오브젝트의 간격 L이 벌어짐으로써, 각각의 오브젝트를 선택하기 쉬워진다.
이와 같이, 정보 처리 장치는, 유저가 조작하고 싶은 오브젝트가 존재하는 방향으로 고개를 움직였을 때, 그 움직임에 따라, 시선으로 선택하기 쉬워지도록 오브젝트를 이동시킨다. 이하, 정보 처리 장치에 의한 고개의 움직임에 따른 오브젝트의 표시 위치를 변경하는 처리에 대해서, 상세하게 설명해 간다.
[1.2. 기능 구성]
도 3에, 본 실시 형태에 따른 헤드부 장착형 단말기(10)의 정보 처리 장치(100)의 기능 구성을 나타낸다. 또한, 도 3에는, 고개의 움직임에 따른 오브젝트의 표시 위치를 변경하는 처리에 관계하는 기능부를 나타내고 있지만, 정보 처리 장치(100)는 이것 이외의 다른 기능부를 구비하고 있어도 된다. 본 실시 형태에 따른 정보 처리 장치(100)와, 자이로 센서(16) 및 시선 센서(18)에 의해, 유저의 고개의 움직임에 따라서 오브젝트의 표시 위치를 변경시키는 정보 처리 시스템이 구성된다.
본 실시 형태에 따른 정보 처리 장치(100)은 도 3에 나타내는 바와 같이, 표시부 상태 확인부(110)와, 입력 정보 처리부(120)와, 표시 제어부(130)와, 표시 처리부(140)와, 실행 처리부(150)를 구비한다.
표시부 상태 확인부(110)는 표시부(12)의 온/오프 상태를 확인하는 기능부이다. 표시부 상태 확인부(110)는, 표시부(12)의 온/오프 상태를 입력 정보 처리부(120)에 출력한다.
입력 정보 처리부(120)는, 헤드부 장착형 단말기(10)의 자이로 센서(16)나 시선 센서(18)의 검출 결과나, 헤드부 장착형 단말기(10)의 각종 입력부로부터의 입력에 기초하여, 유저로부터의 입력 정보를 취득한다. 예를 들어, 입력 정보 처리부(120)는 자이로 센서(16)의 검출 결과로부터 유저의 고개의 움직임을 해석하여, 유저가 행한 입력을 특정한다. 또한, 예를 들어 입력 정보 처리부(120)는, 시선 센서(18)의 검출 결과로부터, 표시부(12)의 표시 영역(200)에 표시되고 있는, 오브젝트 중, 유저가 보고 있는 오브젝트를 특정한다. 또한, 입력 정보 처리부(120)는 표시부 상태 확인부(110)로부터 입력된 표시부(12)의 온/오프 상태와, 각종 입력부를 사용하여 행해진 유저의 조작에 기초하여, 표시부(12)의 온/오프 상태가 전환하는 입력 정보를 특정한다.
이와 같이, 입력 정보 처리부(120)는 자이로 센서(16)나 시선 센서(18)의 검출 결과나, 헤드부 장착형 단말기(10)의 각종 입력부로부터의 입력에 기초하여, 유저로부터 입력된 조작 또는 동작의 내용을 입력 정보로서 취득한다. 입력 정보는, 표시 제어부(130)나 실행 처리부(150)에 출력된다.
표시 제어부(130)는, 입력 정보 처리부(120)에 의해 취득된 입력 정보에 기초하여, 표시부(12)에 표시되고 있는 오브젝트의 표시 위치를 변경한다. 표시 제어부(130)는 입력 정보에 기초하여, 유저의 고개의 움직임에 따라서 표시부(12)에 표시된 오브젝트의 표시 위치를, 유저가 조작하기 쉽도록 변경한다. 또한, 표시 제어부(130)는 시선의 움직임에 따라서 선택된 오브젝트를 시각적으로 알 만한 표시를 행해도 된다. 또한, 이 표시 제어부(130)에 의한 처리의 상세에 대해서는 후술한다. 표시 제어부(130)는 표시부(12)의 표시를 변화시키는 표시 제어 정보를 표시 처리부(140)에 출력한다.
표시 처리부(140)는, 표시 제어 정보에 기초하여 표시부(12)에 표시하기 위한 각종 표시 처리를 행한다. 오브젝트 등의 표시 영역(200)에 표시되는 표시 정보는, 표시 처리부(140)에 의해 표시 처리된 후, 표시부(12)에 표시된다.
실행 처리부(150)는, 입력 정보 처리부(120)에 의해 취득된 입력 정보에 기초하여, 각종 처리를 실행한다. 실행 처리부(150)는, 예를 들어 표시부(12)에 표시된 오브젝트가 선택되어, 결정되었을 때, 당해 오브젝트에 관련지어져 있는 애플리케이션을 실행한다.
또한, 본 실시 형태에서는, 정보 처리 시스템을 구성하는 자이로 센서(16), 시선 센서(18) 및 정보 처리 장치(100)를 헤드부 장착형 단말기(10)에 모두 구비하는 구성을 나타냈지만, 본 개시는 이러한 예에 한정되지 않는다. 예를 들어, 헤드부 장착형 단말기(10)에는 자이로 센서(16) 및 시선 센서(18)만을 설치하여, 정보 처리 장치(100)를 별도의 정보 처리 단말기에 설치해도 된다. 정보 처리 단말기로서는, 예를 들어 스마트폰이나 서버 등을 생각할 수 있다. 이 경우, 각 센서의 검출 결과는 정보 처리 단말기에 송신되어, 정보 처리 단말기의 정보 처리 장치(100)에 의해 표시 제어 처리된다. 정보 처리 단말기는, 처리 결과에 따라서 헤드부 장착형 단말기(10)의 표시부(12)에 표시시키는 표시 정보를 헤드부 장착형 단말기(10)에 송신한다.
[1.3. 유저의 고개의 움직임에 따른 표시 변경 처리]
이어서, 도 4 내지 도 10에 기초하여, 본 실시 형태에 따른 유저의 고개의 움직임에 따른 표시 변경 처리에 대하여 설명한다. 또한, 도 4는, 본 실시 형태에 따른 유저의 고개의 움직임에 따른 표시 변경 처리를 나타내는 흐름도이다. 도 5는, 표시부(12)가 오프 상태가 되는 상황을 설명하는 설명도이다. 도 6은, 유저의 고개의 움직임에 의한 표시 변경을 불가로 하기 위한 조작 입력의 일례를 나타내는 설명도이다. 도 7은, 유저의 고개의 움직임에 의한 표시 변경을 불가로 하기 위한 조작 입력의 다른 일례를 나타내는 설명도이다. 도 8은, 유저의 고개의 움직임에 따라서 오브젝트의 표시 위치를 변경하고, 오브젝트를 선택하는 조작의 일례를 나타내는 설명도이다. 도 9는, 선택된 오브젝트를 캔슬하는 조작 입력의 일례를 나타내는 설명도이다. 도 10은, 선택된 오브젝트를 캔슬하는 캔슬 아이콘이 표시된 예를 나타내는 설명도이다.
상술한 바와 같이, 헤드부 장착형 단말기(10)에 있어서, 시선 입력을 사용하여 표시부(12)에 표시된 오브젝트를 선택할 때, 표시 영역(200)의 단부에 표시되고 있는, 오브젝트의 선택은 눈의 부담이 된다. 그래서, 본 실시 형태에서는, 유저의 고개의 움직임에 따라서 표시부(12)에 표시된 오브젝트의 표시 위치를 변경함으로써, 시선 입력을 사용하여 오브젝트를 선택할 때의 부하를 경감한다.
먼저, 입력에 관해서, 일반적으로 헤드부 장착형 단말기(10)에서는, 유저로부터의 입력이 소정 시간 이상 없는 경우, 전력 소비 억제를 위해, 자동으로 표시부(12)를 오프 상태로 하는 경우가 있다. 예를 들어, 도 5 좌측에 나타내는 바와 같이, 표시 영역(200)에 2개의 오브젝트(4A, 4B)가 표시되고 있다고 하자. 이때, 유저로부터의 입력이 소정 시간 이상 없는 경우, 도 5 우측에 나타내는 바와 같이 표시부(12)는 오프 상태가 되고, 오브젝트(4A, 4B)는 비표시가 된다. 표시부(12)가 오프 상태일 때에는, 유저가 고개를 좌우로 돌려도 아무것도 일어나지 않는다. 이것은, 예를 들어 유저가 사람과 이야기하고 있을 때의 고개의 움직임 등에 의해 잘못하여 무언가 처리를 실행해 버리지 않도록 하기 위해서이다.
따라서, 본 실시 형태에 따른 표시 변경 처리에서는, 도 4에 나타내는 바와 같이, 먼저, 표시부(12)가 온 상태인지의 여부가 확인된다(S100). 표시부(12)의 온/오프 상태는, 표시부 상태 확인부(110)에 의해 행해져, 확인 결과는 입력 정보 처리부(120)에 출력된다. 입력 정보 처리부(120)는, 확인 결과로부터 표시부(12)가 온 상태이면, 스텝 S120의 처리로 진행한다. 한편, 표시부(12)가 오프 상태이면, 입력 정보 처리부(120)는 표시부(12)를 온 상태로 하는 유저의 조작 입력이 있었는지 여부를 판정한다(S110).
표시부(12)를 온 상태로 하는 조작 입력으로서는, 예를 들어 헤드부 장착형 단말기(10)에 설치된 입력부로부터 소정의 조작을 행하거나, 고개를 상하로 움직여서 수긍하는 제스처를 행하거나 하는 등이 생각된다. 입력 정보 처리부(120)는 스텝 S110에서, 표시부(12)를 온 상태로 하는 조작 입력의 유무를 판정하고, 당해 조작 입력이 검출될 때까지 스텝 S100으로부터의 처리를 반복한다. 그리고, 입력 정보 처리부(120)는 표시부(12)를 온 상태로 하는 조작 입력을 검출하면, 계속해서, 유저의 고개의 움직임에 따라서 오브젝트의 표시 위치를 변경하는 고개의 입력 모드가 온 상태인지를 확인한다(S120).
표시부(12)는 온 상태이지만, 고개의 움직임에 따라서는 오브젝트의 표시 위치를 변경시키고 싶지 않은 경우도 있다. 이러한 경우, 예를 들어 유저는, 고개 입력 모드를 오프 상태로 할 수도 있다. 고개 입력 모드를 오프 상태로 하는 조작 입력으로서는, 예를 들어 도 6에 나타내는 바와 같이, 유저가 고개를 좌우로 가볍게 흔드는 등의 간이한 고개의 제스처여도 된다. 또는, 예를 들어 도 7에 나타내는 바와 같이, 표시 영역(200)에 표시된 고개 입력 모드를 오프 상태로 하기 위한 홀드(hold) 버튼(220)으로 시선을 이동시켜서 선택, 결정하는 조작이어도 된다.
스텝 S120에서 고개 입력 모드가 오프 상태라고 판정한 경우에는, 스텝 S100으로부터의 처리로 복귀되어, 처리를 반복한다. 한편, 고개 입력 모드가 온 상태인 경우, 유저의 고개의 움직임을 검출하는 자이로 센서(16)의 검출 결과에 기초하여, 표시 제어부(130)에 의해 유저의 고개의 움직임에 따라서 표시부(12)의 표시 영역(200)에 표시된 오브젝트의 표시 위치가 변경된다(S130).
예를 들어, 도 8 좌측 상단에 나타내는 바와 같이, 통상 상태로서 표시 영역(200)의 단부 부근에 2개의 오브젝트(4A, 4B)를 포함하는 오브젝트 군이 표시되어 있고, 유저가 오브젝트(4A)를 선택하는 경우를 생각한다. 통상 상태에 있어서, 유저는 정면을 향하고 있고, 이 정면 방향을 기준 위치로 한다. 이때, 유저가 선택하려는 오브젝트가 표시되고 있는 방향(도 8에서는 좌측)으로 고개를 돌린다. 이 고개의 움직임에 의해, 도 8 우측 상단에 나타내는 바와 같이, 고개를 돌린 방향에 표시되고 있는 오브젝트군만, 오브젝트(4A, 4B)의 간격 L이 통상 상태보다도 커지도록 오브젝트(4A, 4B)의 표시 위치가 변경된다.
오브젝트(4A, 4B)의 간격 L은, 유저의 시선에 의해 선택되는 오브젝트를 오인식하지 않을 정도로 벌리면 된다. 예를 들어, 40 픽셀 정도로 간격 L을 설정하도록 해도 된다. 또한, 이 간격 L은, 유저의 개인차나 시스템의 구성에 따라 변화되기 때문에, 예를 들어 헤드부 장착형 단말기(10)의 기동시에 안구의 서케이드 운동의 정도를 검출하고, 유저의 시선 움직임에 따른 간격 L을 설정함으로써, 보다 확실하게 시선 입력의 오검출을 방지할 수 있다.
이와 같이, 오브젝트(4A, 4B)의 간격 L을 크게 함으로써, 각 오브젝트(4A, 4B)에 시선을 향하기 쉬워지고, 시선 입력을 사용하여, 보다 로버스트에 오브젝트를 선택할 수 있게 된다. 또한, 고개를 좌우로 돌림으로써, 표시 영역(200)의 사이즈에 구애되지 않고, 유저가 자연스럽게 시선을 움직일 수 있는 범위에 오브젝트를 배치시키는 것이 가능하게 된다.
또한, 유저의 고개의 움직임에 의해 오브젝트(4A, 4B)의 간격 L을 벌릴 때, 이 오브젝트 군에 있어서 고개의 회전 방향과 반대측에 있는 오브젝트(4B)의 표시 위치만을 변경시켜도 되지만, 오브젝트(4A)도 표시 영역 중앙측으로 이동시켜도 된다. 이에 의해, 유저가 자연스럽게 시선을 향하기 어려운 범위로부터 자연스럽게 시선을 움직일 수 있는 범위에 오브젝트가 표시되므로, 오브젝트의 선택이 용이해진다.
유저는, 고개를 좌우로 돌려서 표시 영역(200)에 표시되고 있는 오브젝트(4A, 4B)의 표시 위치를 변경시키거나 하면서, 원하는 오브젝트를 시선에 의해 선택한다. 예를 들어 도 8 우측 하단에 나타내는 바와 같이, 시선을 오브젝트(4A)를 향함으로써, 당해 오브젝트(4A)가 선택된 상태로 된다. 이때, 유저가 선택된 오브젝트를 알기 쉬워지도록, 예를 들어 오브젝트가 선택되어 있는 상태를 나타내는 선택 오브젝트(230)를 표시시켜도 된다.
그리고, 입력 정보 처리부(120)는, 오브젝트가 선택된 상태에서 당해 오브젝트를 결정하는 조작 입력이 행해졌는지 여부를 판정한다(S140). 오브젝트를 결정하는 조작 입력으로서는, 예를 들어 선택된 오브젝트를 소정 시간 계속하여 보거나, 헤드부 장착형 단말기(10)의 입력부로부터 소정의 조작을 행하거나, 고개를 상하로 끄덕여 수긍하는 제스처를 행하거나 하는 것 등이 생각된다.
스텝 S140에서 오브젝트를 결정하는 조작 입력이 행해지지 않는 동안에는, 스텝 S130으로 복귀하여, 처리를 반복한다. 즉, 유저의 고개의 움직임에 따라, 표시 영역(200)에 표시된 오브젝트의 표시 위치가 변경된다. 이때, 고개의 움직임이나 유저의 시선에 의해, 선택된 오브젝트의 캔슬을 행하도록 해도 된다. 예를 들어 도 9 좌측에 나타내는 바와 같이, 유저가 고개를 왼쪽으로 돌려, 오브젝트(4A)를 선택한 상태로부터, 도 9 우측에 나타내는 바와 같이 정면을 향함으로써, 표시 영역(200)의 오브젝트(4A, 4B)의 표시 위치를 통상 상태로 되돌려, 오브젝트 4A의 선택을 캔슬해도 된다.
또는, 도 10에 나타내는 바와 같이, 유저가 고개를 돌린 방향과 반대측으로 오브젝트의 표시를 통상 상태로 되돌리기 위한 캔슬 오브젝트(240)를 설치해도 된다. 캔슬 오브젝트(240)가 유저의 시선에 의해 선택, 결정됨으로써, 오브젝트의 표시는 통상 상태가 된다. 표시부(12)의 오브젝트 표시가 통상 상태가 되면, 유저가 정면을 향한 것을 검출한 후, 스텝 S130의 처리가 행해진다.
스텝 S140에서 오브젝트를 결정하는 조작 입력이 행해진 것이 검출되면, 실행 처리부(150)는 결정된 오브젝트에 관련지어진 처리를 실행한다(S150).
이상, 본 실시 형태에 따른 유저의 고개의 움직임에 따른 오브젝트의 표시 위치 변경 처리에 대하여 설명하였다. 본 실시 형태와 같이, 유저가 고개를 돌리면, 오브젝트의 표시 위치를 오브젝트의 간격이 벌어지도록 변경한다. 이에 의해, 유저가 시선을 움직이기 쉬운 위치에 오브젝트가 표시되므로, 시선에 의한 오브젝트의 선택을 행하기 쉬워진다.
또한, 상기 설명에서는, 예를 들어 도 8에 나타내는 바와 같이, 오브젝트(4A, 4B)가 표시 영역(200)의 좌측 단부 부근에 표시되고 있는, 경우에 대하여 설명했지만, 통상 상태에 있어서의 오브젝트의 표시 위치는 상술한 예에 제한하지 않는다. 예를 들어, 도 11에 나타내는 바와 같이, 표시 영역(200)의 폭 방향에 걸쳐 복수의 오브젝트(4A 내지 4G)가 근접하여 배열되어 있는 경우도 있다. 이러한 경우에도, 상술한 바와 동일하게, 유저가 고개를 회전시킨 방향에 있는 오브젝트에 대하여 오브젝트의 간격을 벌림으로써, 오브젝트를 선택하기 쉬워진다.
구체적으로는, 표시 영역(200)에 배열되어 있는 오브젝트(4A 내지 4G)의 수가 많을 때에는, 예를 들어 유저가 고개를 회전시킨 방향의 오브젝트의 간격을 벌리는 동시에, 고개의 회전 각도에 따라서 표시 영역(200)에 표시하는 오브젝트를 변화시켜도 된다. 예를 들어, 유저가 정면을 향하고 있을 때의 표시 상태인 도 11 좌측 상단의 통상 상태로부터, 유저가 조금(예를 들어 15° 정도) 고개를 왼쪽으로 회전시키면, 도 11 우측 상단에 나타내는 바와 같이, 통상 상태에 있어서 중앙으로부터 좌측에 있는 오브젝트(4B 내지 4D)만이 표시된다. 이때 오브젝트(4B 내지 4D)는, 통상 상태보다도 넓은 간격으로, 등간격으로 표시된다.
그리고, 더욱 유저가 고개를 왼쪽으로 회전시키면, 도 11 우측 하단에 나타내는 바와 같이, 통상 상태에 있어서 좌측 단부 부근에 표시되어 있던 오브젝트(4A 내지 4C)가, 통상 상태보다도 넓은 간격으로, 등간격으로 표시된다. 이와 같이, 유저의 고개의 회전에 따라서 오브젝트의 간격을 벌려 표시할 때, 고개의 회전 각도에 따라서 표시하는 오브젝트를 변화시킴으로써, 유저가 시선에 따라 선택하기 쉬운 오브젝트의 간격을 유지할 수 있다.
일반적으로, 사람이 고개를 자연스럽게 회전시키는 것이 가능한 범위는 좌우 각각 70° 정도라고 알려져 있다. 이로써, 예를 들어 고개가 오른쪽으로 70° 회전되었을 때 우측 단부의 오브젝트가 표시되고, 고개가 왼쪽으로 70° 회전되었을 때 좌측 단부의 오브젝트가 표시되도록 하여, 고개가 소정 각도 회전할 때마다 표시 영역(200)에 표시되는 오브젝트를 변화시키도록 해도 된다. 이에 의해, 유저는 무리 없는 고개의 움직임으로, 선택하기 쉬운 상태에서 원하는 오브젝트를 표시시키는 것이 가능하게 된다.
한편, 도 12에 나타내는 바와 같이, 표시 영역(200)에 표시되고 있는, 오브젝트(4A 내지 4C)의 수가 적은 경우도 있다. 도 12에 나타내는 예에서는, 도 8과는 달리, 인접하는 오브젝트의 간격은 충분히 있다. 이때, 보다 유저가 오브젝트를 선택하기 쉽도록, 도 11의 경우와 동일하게, 고개의 회전과 반대측으로 오브젝트를 이동시켜, 유저가 시선으로 조작하기 쉬운 중앙 부근에 표시시키도록 해도 된다.
또한, 유저가 고개를 회전시킨 양, 즉 고개의 회전 각도가 커질수록, 인접하는 오브젝트의 간격을 벌리도록 해도 된다. 오브젝트의 간격이 커짐으로써, 인접하는 오브젝트를 잘못하여 선택할 가능성이 낮아져, 오조작을 방지할 수 있다. 이러한 처리는, 오브젝트의 수가 적은 경우에 특히 유효하다.
<2. 제2 실시 형태>
이어서, 도 13 내지 도 15에 기초하여, 본 개시의 제2 실시 형태에 따른 유저의 고개의 움직임에 따른 오브젝트의 표시 위치 변경 처리에 대하여 설명한다. 본 실시 형태에서는, 표시부(12)에 표시 가능한 오브젝트(4A 내지 4Z) 중, 일부만이 표시 영역(200)에 배열되어 있는 경우의 처리에 대하여 설명한다. 본 실시 형태에 있어서도, 유저의 고개의 움직임에 따라, 오브젝트의 간격이 커지도록 오브젝트의 표시 위치가 변경되지만, 선택하고 싶은 오브젝트가 비표시인 경우도 있다. 따라서, 유저의 고개의 움직임에 의해, 원하는 오브젝트를 표시 영역(200)에 표시시킨 후, 오브젝트의 간격을 벌리는 처리를 행하도록 해도 된다.
예를 들어, 도 13의 상측에 나타내는 바와 같이, 유저가 정면을 향하고 있는 통상 상태에 있어서, 표시 영역(200) 내에 오브젝트(4A 내지 4E)가 표시되고 있고, 오브젝트(4F 내지 4Z)가 비표시로 되어 있다고 하자. 이때, 유저가 고개를 소정의 각 속도 이상으로 왼쪽으로 회전시키면, 표시 영역(200)에 표시되고 있는 오브젝트(4A 내지 4E)가 우측으로 이동한다. 그리고, 도 13 하측에 나타내는 바와 같이, 통상 상태에 있어서 표시 영역(200)의 좌측 단부에 표시되고 있던 오브젝트가 표시 영역(200)의 중앙 부근에 표시됨과 함께, 비표시였던 오브젝트(4Y, 4Z)가 표시되고, 오브젝트(4D, 4E)가 비표시가 된다
이와 같이, 유저가 고개를 소정의 각 속도 이상으로 움직임으로써, 오브젝트를 스크롤할 수 있고, 비표시의 오브젝트를 표시시키는 것이 가능하게 된다. 유저는 이러한 동작을 행하여, 원하는 오브젝트를 표시 영역(200)에 표시시킨다. 그 후, 유저는 시선에 의해 원하는 오브젝트를 선택하지만, 제1 실시 형태에서 설명한 바와 같이, 표시 영역(200)의 단부 부근에 표시되고 있는, 오브젝트에는 시선을 향하기 어렵다. 따라서, 제1 실시 형태에 따른 처리를 적용하여, 유저의 고개의 움직임에 의해 오브젝트의 간격을 벌림으로써, 단부에 있던 오브젝트도 시선에 따라 용이하게 조작할 수 있게 된다.
여기서, 오브젝트의 간격을 벌리기 위한 고개의 동작은, 유저가 정면을 향한 상태에서 행하면 행하기 쉽다. 따라서, 유저가 고개를 소정의 각 속도 이상으로 움직여 오브젝트를 스크롤시킨 후, 소정 시간은 유저가 소정의 각 속도보다 늦게 고개를 회전시켜도, 그 표시를 변화시키지 않도록 해도 된다.
예를 들어, 도 14의 상측에 나타내는 바와 같이, 유저가 소정의 각 속도 이상으로 왼쪽으로 고개를 회전시켜, 표시 영역(200)에 오브젝트(4Y 내지 4C)가 표시되고 있는, 것으로 한다. 그 후, 소정 시간 내에 유저가 소정의 각 속도보다 늦게 고개를 회전시켜서 정면을 향해도, 도 14 하측에 나타내는 바와 같이, 표시 영역(200)에는 오브젝트(4Y 내지 4C)가 표시되고 있는, 상태를 유지한다. 이에 의해, 유저는 오브젝트(4Y 내지 4C)로부터 원하는 오브젝트를 선택할 때에 오브젝트의 간격을 벌리기 위한 고개의 동작을 행하기 쉬워진다.
또한, 유저가 고개를 소정의 각 속도 이상으로 움직여 오브젝트를 스크롤시킨 후, 소정 시간 내에 고개를 회전시켜서 정면을 향한 후, 고개를 회전시키는 동작이 소정 시간 이상 행해지지 않은 경우에는, 도 15에 나타내는 바와 같이, 표시 영역(200)에 표시되는 오브젝트를 스크롤 전의 상태로 복귀되도록 해도 된다.
이상, 제2 실시 형태에 따른 유저의 고개의 움직임에 따른 오브젝트의 표시 위치 변경 처리에 대하여 설명하였다. 본 실시 형태에 따르면, 표시 영역(200)에 표시되지 않는 오브젝트가 존재하는 경우에, 고개를 소정의 각 속도 이상으로 회전시킴으로써 오브젝트를 스크롤하는 것이 가능하게 된다. 그리고, 표시 영역(200)에 원하는 오브젝트가 표시된 상태에서, 소정의 각 속도보다 늦게 고개를 회전시킴으로써, 회전 방향에 표시되고 있는 오브젝트의 간격을 벌릴 수 있다. 이에 의해, 오브젝트를 선택하기 쉬운 상태로 표시시킬 수 있다.
<3. 변형예>
상기 실시 형태에서는, 유저의 고개의 움직임에 따라서 오브젝트의 간격을 벌릴 때, 표시 영역의 폭 방향(수평 방향)의 간격이 벌어지도록 오브젝트의 표시 위치를 변경시켰지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어, 도 16에 나타내는 바와 같이, 유저가 정면을 향하고 있는 통상 상태에 있어서, 표시 영역(200)의 좌측 단부에 오브젝트(4A, 4B)가 인접하여 표시되고 있다고 하자. 이때, 유저가 좌측으로 고개를 회전하면, 오브젝트(4A, 4B)를 수평 방향 및 수직 방향으로 이동시킴으로써, 이들의 간격을 벌리도록 해도 된다.
또는, 도 17에 나타내는 바와 같이, 유저가 정면을 향하고 있는 통상 상태에 있어서, 표시 영역(200)의 좌측 단부에 오브젝트(4A 내지 4C)가 적층하여 표시되고 있다고 하자. 이때, 유저가 좌측으로 고개를 회전하면, 오브젝트(4A 내지 4C)를 수평 방향 및 수직 방향으로 흐트러지게 이동시켜, 이들의 간격을 벌리도록 해도 된다.
이와 같이, 유저의 고개의 움직임에 따라서 변경되는 오브젝트의 표시 위치는, 수평 방향만 변경하도록 해도 되고, 수평 방향 및 수직 방향 모두 변경하도록 해도 된다. 또한, 유저의 고개의 움직임은 좌우(즉, 수평 방향)의 움직임 이외에도, 상하의 움직임이어도 된다.
<4. 하드웨어 구성예>
본 실시 형태에 따른 헤드부 장착형 단말기(10)는, 예를 들어 도 18에 나타내는 바와 같이 구성할 수도 있다. 이하, 도 18에 기초하여, 본 실시 형태에 따른 헤드부 장착형 단말기(10)의 하드웨어 구성예에 대하여 설명한다.
본 실시 형태에 따른 헤드부 장착형 단말기(10)는 상술한 바와 같이, 컴퓨터 등의 처리 장치에 의해 실현할 수 있다. 헤드부 장착형 단말기(10)는 도 18에 나타내는 바와 같이, CPU(Central Processing Unit)(901)과, ROM(Read Only Memory)(902)과, RAM(Random Access Memory)(903)과, 호스트 버스(904a)를 구비한다. 또한, 헤드부 장착형 단말기(10)는 브리지(904)와, 외부 버스(904b)와, 인터페이스(905)와, 입력 장치(906)와, 출력 장치(907)와, 스토리지 장치(908)와, 드라이브(909)와, 접속 포트(911)와, 통신 장치(913)를 구비한다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 헤드부 장착형 단말기(10) 내의 동작 전반을 제어한다. 또한, CPU(901)는, 마이크로 프로세서여도 된다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화하는 파라미터 등을 일시 기억한다. 이들은 CPU 버스 등으로 구성되는 호스트 버스(904a)에 의해 서로 접속되어 있다.
호스트 버스(904a)는 브리지(904)를 통하여, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한, 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없고, 하나의 버스에 이들 기능을 실장해도 된다.
입력 장치(906)는 마우스, 키보드, 터치 패널, 버튼, 마이크, 스위치 및 레버 등 유저가 정보를 입력하기 위한 입력 수단과, 유저에 의한 입력에 기초하여 입력 신호를 생성하고, CPU(901)에 출력하는 입력 제어 회로 등으로 구성되어 있다. 출력 장치(907)는 예를 들어 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 및 램프 등의 표시 장치나, 스피커 등의 음성 출력 장치를 포함한다.
스토리지 장치(908)는 헤드부 장착형 단말기(10)의 기억부의 일례이고, 데이터 저장용의 장치이다. 스토리지 장치(908)는 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 이 스토리지 장치(908)는 하드 디스크를 구동하여, CPU(901)가 실행하는 프로그램이나 각종 데이터를 저장한다.
드라이브(909)는 기억 매체용 리더 라이터이고, 헤드부 장착형 단말기(10)에 내장, 또는 외장된다. 드라이브(909)는 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 기록 매체에 기록되어 있는 정보를 판독하여, RAM(903)에 출력한다.
접속 포트(911)는 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의해 데이터 전송 가능한 외부 기기와의 접속구이다. 또한, 통신 장치(913)는, 예를 들어 통신망(5)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(913)는 무선 LAN(Local Area Network) 대응 통신 장치이거나, 와이어리스 USB 대응 통신 장치이거나, 유선에 의한 통신을 행하는 와이어 통신 장치여도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
예를 들어, 상기 실시 형태에서는, 유저의 고개의 움직임을 검출하기 위한 센서로서, 자이로 센서(16)를 사용했지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어, 헤드부 장착형 단말기(10)에 외부를 촬영하는 카메라를 설치하여, 당해 카메라에 의해 촬영된 화상에 포함되는 특징점의 이동량을 화상 처리에 의해 취득함으로써, 유저의 고개의 움직임이나 각 속도를 구해도 된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적인 것은 아니다. 즉, 본 개시에 관한 기술은, 상기의 효과와 함께 또는 상기의 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 유저의 시선을 검출하는 시선 검출부와,
유저가 장착하는 장치의 움직임을 검출하는 움직임 검출부와,
표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 표시 제어부
를 구비하는, 정보 처리 시스템.
(2) 상기 표시 제어부는, 상기 오브젝트를 상기 장치가 움직인 방향과 다른 방향으로 이동시키는, 상기 (1)에 기재된 정보 처리 시스템.
(3) 상기 표시 제어부는, 인접하는 상기 오브젝트의 간격이 벌어지도록 이동시키는, 상기 (1) 또는 (2)에 기재된 정보 처리 시스템.
(4) 상기 장치의 움직임에 따라서 상기 오브젝트가 이동되었을 때, 상기 표시 제어부는, 이동 전의 상기 오브젝트의 표시 상태로 되돌리기 위한 캔슬 오브젝트를, 상기 표시 영역에서의 상기 장치가 움직인 방향과 반대측의 위치에 표시시키는, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 시스템.
(5) 상기 장치가 상기 오브젝트를 이동시키기 전의 위치로 복귀했을 때, 상기 표시 제어부는 상기 오브젝트를 이동 전의 표시 상태로 되돌리는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 시스템.
(6) 상기 움직임 검출부는, 기준 위치로부터의 상기 장치의 회전 각도를 검출하는, 상기 (1) 내지 (5) 중 어느 한 항에 기재된 정보 처리 시스템.
(7) 상기 움직임 검출부는, 상기 장치의 각 속도를 검출하는 상기 (1) 내지 (6) 중 어느 한 항에 기재된 정보 처리 시스템.
(8) 상기 표시 제어부는, 상기 장치의 각 속도가 소정의 속도 이상일 때, 상기 오브젝트를 상기 장치가 움직인 방향과 상이한 방향으로 스크롤시키는, 상기 (7)에 기재된 정보 처리 시스템.
(9) 상기 표시 제어부는 상기 오브젝트가 스크롤된 후, 소정 시간이 경과할 때까지, 상기 스크롤 후의 오브젝트의 표시 상태를 유지하는, 상기 (8)에 기재된 정보 처리 시스템.
(10) 상기 장치는 헤드부 장착형 표시 장치이고,
상기 움직임 검출부는, 상기 헤드부 장착형 표시 장치를 장착한 유저의 고개의 움직임에 의한 장치의 움직임을 검출하는, 상기 (1) 내지 (9) 중 어느 한 항에 기재된 정보 처리 시스템.
(11) 유저가 장착하는 장치의 움직임을 검출하는 것,
표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 것
을 포함하는, 정보 처리 방법.
10: 헤드부 장착형 단말기
12: 표시부
16: 자이로 센서
18: 시선 센서
100: 정보 처리 장치
110: 표시부 상태 확인부
120: 입력 정보 처리부
130: 표시 처리부
140: 표시 처리부
150: 실행 처리부
200: 표시 영역
12: 표시부
16: 자이로 센서
18: 시선 센서
100: 정보 처리 장치
110: 표시부 상태 확인부
120: 입력 정보 처리부
130: 표시 처리부
140: 표시 처리부
150: 실행 처리부
200: 표시 영역
Claims (11)
- 유저의 시선을 검출하는 시선 검출부와,
유저가 장착하는 장치의 움직임을 검출하는 움직임 검출부와,
표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 표시 제어부
를 구비하는, 정보 처리 시스템. - 제1항에 있어서, 상기 표시 제어부는, 상기 오브젝트를 상기 장치가 움직인 방향과 다른 방향으로 이동시키는, 정보 처리 시스템.
- 제1항에 있어서, 상기 표시 제어부는, 인접하는 상기 오브젝트의 간격이 벌어지도록 이동시키는, 정보 처리 시스템.
- 제1항에 있어서, 상기 장치의 움직임에 따라서 상기 오브젝트가 이동되었을 때, 상기 표시 제어부는, 이동 전의 상기 오브젝트의 표시 상태로 되돌리기 위한 캔슬 오브젝트를, 상기 표시 영역에서의 상기 장치가 움직인 방향과 반대측의 위치에 표시시키는, 정보 처리 시스템.
- 제1항에 있어서, 상기 장치가 상기 오브젝트를 이동시키기 전의 위치로 복귀했을 때, 상기 표시 제어부는 상기 오브젝트를 이동 전의 표시 상태로 되돌리는, 정보 처리 시스템.
- 제1항에 있어서, 상기 움직임 검출부는, 기준 위치로부터의 상기 장치의 회전 각도를 검출하는, 정보 처리 시스템.
- 제1항에 있어서, 상기 움직임 검출부는, 상기 장치의 각 속도를 검출하는 정보 처리 시스템.
- 제7항에 있어서, 상기 표시 제어부는, 상기 장치의 각 속도가 소정 속도 이상일 때, 상기 오브젝트를 상기 장치가 움직인 방향과 상이한 방향으로 스크롤시키는, 정보 처리 시스템.
- 제8항에 있어서, 상기 표시 제어부는, 상기 오브젝트가 스크롤된 후, 소정 시간이 경과할 때까지, 상기 스크롤 후의 오브젝트의 표시 상태를 유지하는 정보 처리 시스템.
- 제1항에 있어서, 상기 장치는 헤드부 장착형 표시 장치이고,
상기 움직임 검출부는, 상기 헤드부 장착형 표시 장치를 장착한 유저의 고개의 움직임에 의한 장치의 움직임을 검출하는, 정보 처리 시스템. - 유저가 장착하는 장치의 움직임을 검출하는 것,
표시 영역에 표시되고 있는, 시선에 의해 선택 가능한 오브젝트를 상기 장치의 움직임에 따라서 이동시키는 것
을 포함하는, 정보 처리 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2014-098043 | 2014-05-09 | ||
| JP2014098043 | 2014-05-09 | ||
| PCT/JP2015/058782 WO2015170520A1 (ja) | 2014-05-09 | 2015-03-23 | 情報処理システムおよび情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170005406A true KR20170005406A (ko) | 2017-01-13 |
| KR102391860B1 KR102391860B1 (ko) | 2022-04-29 |
Family
ID=54392374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167028996A KR102391860B1 (ko) | 2014-05-09 | 2015-03-23 | 정보 처리 시스템 및 정보 처리 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20170038838A1 (ko) |
| EP (1) | EP3144775B1 (ko) |
| JP (1) | JP6547741B2 (ko) |
| KR (1) | KR102391860B1 (ko) |
| CN (1) | CN106255940B (ko) |
| WO (1) | WO2015170520A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200098509A (ko) * | 2017-12-20 | 2020-08-20 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
| US11170580B2 (en) | 2017-02-16 | 2021-11-09 | Sony Corporation | Information processing device, information processing method, and recording medium |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6507252B2 (ja) * | 2015-09-04 | 2019-04-24 | 富士フイルム株式会社 | 機器操作装置、機器操作方法、及び電子機器システム |
| JP2017130190A (ja) * | 2015-12-04 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 電子機器、表示システム |
| WO2017169909A1 (ja) * | 2016-03-29 | 2017-10-05 | 日本電気株式会社 | 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体 |
| US9990524B2 (en) * | 2016-06-16 | 2018-06-05 | Hand Held Products, Inc. | Eye gaze detection controlled indicia scanning system and method |
| JP6298130B2 (ja) | 2016-09-14 | 2018-03-20 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| JP6373920B2 (ja) * | 2016-09-14 | 2018-08-15 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| CN107320957B (zh) * | 2017-08-21 | 2021-01-26 | 网易（杭州）网络有限公司 | 游戏界面显示方法及装置 |
| CN113196377B (zh) * | 2018-12-20 | 2024-04-12 | Ns西日本株式会社 | 显示光射出装置、平视显示装置、图像显示系统及头盔 |
| JP7491300B2 (ja) | 2019-03-15 | 2024-05-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体 |
| JP7277306B2 (ja) | 2019-07-31 | 2023-05-18 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、記憶媒体 |
| JP7039672B1 (ja) | 2020-10-29 | 2022-03-22 | ソフトバンク株式会社 | 制御装置、プログラム、及び制御方法 |
| CN112704876B (zh) * | 2020-12-30 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 虚拟对象互动模式的选择方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259226A (ja) * | 1998-03-13 | 1999-09-24 | Canon Inc | 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体 |
| JP2003525769A (ja) * | 1999-11-13 | 2003-09-02 | ベルシュトルフ ゲゼルシャフト ミット ベシュレンクテル ハフツング | ゴム混合物を処理するための押出機 |
| JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
| US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| US20130106674A1 (en) | 2011-11-02 | 2013-05-02 | Google Inc. | Eye Gaze Detection to Determine Speed of Image Movement |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6184847B1 (en) * | 1998-09-22 | 2001-02-06 | Vega Vista, Inc. | Intuitive control of portable data displays |
| US7928926B2 (en) * | 2006-06-27 | 2011-04-19 | Panasonic Corporation | Display apparatus and method for hands free operation that selects a function when window is within field of view |
| JP2008178075A (ja) * | 2006-12-18 | 2008-07-31 | Sony Corp | 表示制御装置、表示制御方法、及びプログラム |
| JP5211019B2 (ja) * | 2009-11-26 | 2013-06-12 | 京セラドキュメントソリューションズ株式会社 | 表示装置及びこれを搭載した画像形成装置、電子機器 |
| CN103064579A (zh) * | 2011-10-21 | 2013-04-24 | 艾迪讯科技股份有限公司 | 智能机互动系统服务平台 |
| US8866852B2 (en) * | 2011-11-28 | 2014-10-21 | Google Inc. | Method and system for input detection |
| CN103020983B (zh) * | 2012-09-12 | 2017-04-05 | 深圳先进技术研究院 | 一种用于目标跟踪的人机交互装置及方法 |
| JP2014092941A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
| GB2514603B (en) * | 2013-05-30 | 2020-09-23 | Tobii Ab | Gaze-controlled user interface with multimodal input |
| KR20150037254A (ko) * | 2013-09-30 | 2015-04-08 | 엘지전자 주식회사 | 착용형 디스플레이 디바이스 및 레이어 제어 방법 |
| US9442631B1 (en) * | 2014-01-27 | 2016-09-13 | Google Inc. | Methods and systems for hands-free browsing in a wearable computing device |
-
2015
- 2015-03-23 US US15/303,650 patent/US20170038838A1/en not_active Abandoned
- 2015-03-23 WO PCT/JP2015/058782 patent/WO2015170520A1/ja active Application Filing
- 2015-03-23 KR KR1020167028996A patent/KR102391860B1/ko active IP Right Grant
- 2015-03-23 CN CN201580022253.1A patent/CN106255940B/zh active Active
- 2015-03-23 EP EP15788737.3A patent/EP3144775B1/en active Active
- 2015-03-23 JP JP2016517837A patent/JP6547741B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259226A (ja) * | 1998-03-13 | 1999-09-24 | Canon Inc | 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体 |
| JP2003525769A (ja) * | 1999-11-13 | 2003-09-02 | ベルシュトルフ ゲゼルシャフト ミット ベシュレンクテル ハフツング | ゴム混合物を処理するための押出機 |
| JP2008033891A (ja) * | 2006-06-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 表示装置及びその制御方法 |
| US20130106674A1 (en) | 2011-11-02 | 2013-05-02 | Google Inc. | Eye Gaze Detection to Determine Speed of Image Movement |
| US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11170580B2 (en) | 2017-02-16 | 2021-11-09 | Sony Corporation | Information processing device, information processing method, and recording medium |
| KR20200098509A (ko) * | 2017-12-20 | 2020-08-20 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
| US11468868B2 (en) | 2017-12-20 | 2022-10-11 | Sony Corporation | Information processing apparatus and information processing method to perform transition display control |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015170520A1 (ja) | 2015-11-12 |
| CN106255940B (zh) | 2019-06-25 |
| EP3144775A4 (en) | 2018-03-21 |
| US20170038838A1 (en) | 2017-02-09 |
| JPWO2015170520A1 (ja) | 2017-04-20 |
| CN106255940A (zh) | 2016-12-21 |
| JP6547741B2 (ja) | 2019-07-24 |
| KR102391860B1 (ko) | 2022-04-29 |
| EP3144775A1 (en) | 2017-03-22 |
| EP3144775B1 (en) | 2020-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170005406A (ko) | 정보 처리 시스템 및 정보 처리 방법 | |
| CN105319718B (zh) | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 | |
| CN109739361B (zh) | 基于眼睛跟踪的可见度提高方法和电子装置 | |
| US20180210544A1 (en) | Head Tracking Based Gesture Control Techniques For Head Mounted Displays | |
| US9589325B2 (en) | Method for determining display mode of screen, and terminal device | |
| CN106066537B (zh) | 头戴式显示器和头戴式显示器的控制方法 | |
| US10477090B2 (en) | Wearable device, control method and non-transitory storage medium | |
| US11302037B2 (en) | Electronic device for adaptively altering information display area and operation method thereof | |
| EP3279771A1 (en) | Detection of external objects in front of a virtual reality user | |
| TWI671552B (zh) | 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體 | |
| KR102197964B1 (ko) | 포터블 디바이스 및 그 제어 방법 | |
| JP7495459B2 (ja) | 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法 | |
| CN110446995B (zh) | 信息处理装置、信息处理方法及程序 | |
| JP2017083916A (ja) | ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末 | |
| JP2021056371A (ja) | 表示システム、表示方法及び表示プログラム | |
| JP6686319B2 (ja) | 画像投影装置及び画像表示システム | |
| JP2018180050A (ja) | 電子機器及びその制御方法 | |
| US11842119B2 (en) | Display system that displays virtual object, display device and method of controlling same, and storage medium | |
| WO2018150757A1 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
| JP7139395B2 (ja) | 制御装置、プログラム、及びシステム | |
| KR20150074757A (ko) | 전자 디바이스 및 그 제어방법 | |
| JP2022072285A (ja) | 制御装置、プログラム、及び制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |