KR20170109077A

KR20170109077A - 정보 처리 장치 및 기록 매체

Info

Publication number: KR20170109077A
Application number: KR1020177026234A
Authority: KR
Inventors: 아끼노리 다구치
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2013-06-25
Filing date: 2013-06-25
Publication date: 2017-09-27
Also published as: EP3015963A4; JP6004103B2; EP3015963A1; CN105324733A; KR101795204B1; US20160077586A1; KR20160010540A; WO2014207828A1; JPWO2014207828A1

Abstract

시선 검출부는, 사용자의 시선을 검출한다. 제1 영역 결정부는, 검출된 시선의 표시 화면 상의 시선 위치에 기초하여, 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는, 표시 화면 상의 제1 영역을 결정한다. 제1 표시 제어부는, 제1 영역에 제1 정보를 표시한다. 입력 검출부는, 사용자에 의한 입력을 검출한다. 제2 영역 결정부는, 제1 영역 외이며, 제1 영역보다도 시선 위치로부터 먼 점을 포함하고, 검출된 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정한다. 제2 표시 제어부는, 제2 영역에, 제2 정보를 표시한다. 이에 의해, 사용자는, 시선을 움직이게 하지 않고, 입력 가이드 및 입력 경과를 참조하면서 입력을 행할 수 있다.

Description

정보 처리 장치 및 기록 매체{INFORMATION PROCESSING DEVICE AND RECORDING MEDIUM}

본 발명은, 정보 처리 장치 및 프로그램에 관한 것이다.

휴대 단말기 등의 정보 처리 장치의 고성능·기능화에 의해, 예를 들어 휴대 단말기를 다양한 장면이나 용도로 이용하는 기회가 증가하고 있다. 이에 의해, 터치 패널을 탑재한 휴대 단말기를 들고 있는 손으로, 그대로 입력도 행하고 싶다는 요구가 증가해 오고 있다. 이와 같은 요구는, 예를 들어 전철에서 손잡이를 잡고 있을 때, 가방이나 우산을 들고 있을 때, 옆으로 누우면서 등의 장면에서 존재하는 것이 상정된다. 그로 인해, 휴대 단말기를 가진 채로 입력을 가능하게 하는 인터페이스가 요구되고 있다.

예를 들어, 사용자의 주시 개소를 검출해서 주시 정보로서 생성하고, 주시 정보에 기초하여, 사용자의 입력을 보조하기 위한 가이드 정보를 제시하는 위치를 구하고, 구해진 위치에 가이드 정보를 제시 제어하는 기술이 알려져 있다. 이 기술에 의해, 사용자의 주시 개소 근방에 가이드 정보가 제시된다(예를 들어, 특허문헌 1 참조).

일본 특허 공개 제2000-250677호 공보

그런데, 예를 들어 터치 패널에서의 손가락의 움직임에 의한 입력 등, 시간 변화가 있는 입력 방법을 이용할 경우, 어떤 입력을 행하고 있는지를 사용자가 인식할 수 있도록, 화면에 손가락의 움직임 등의 표시를 하는 경우가 있다. 그러나, 예를 들어 입력 가능한 선택지가 복수 있고, 선택지를 선택하기 위한 입력 방법을 나타내는 입력 가이드가 표시되는 경우, 입력 가이드 상에 입력된 움직임에 관한 표시를 행해버리면, 입력 가이드가 잘 보이지 않게 되어버린다. 입력 조작을 기억하고 있지 않을 경우에는, 도중에 입력 가이드를 보는 것이 곤란해져, 행하고 싶은 입력을 위한 손가락의 움직임 등을 알 수 없게 되는 경우도 생각할 수 있다. 반대로, 입력 가이드와 입력된 움직임에 관한 표시가 너무 이격되어 있는 경우에는, 사용자는 시선을 움직이게 해서 각각을 확인할 필요가 발생한다. 이와 같이, 입력 가이드와 입력에 있어서의 움직임에 관한 정보를 동시에 확인할 수 있도록 표시를 레이아웃 할 수 없다는 문제가 있다.

하나의 측면에 따르면, 본 발명의 목적은, 시선 위치에 기초하는 위치에 표시한 입력 가이드와 움직임에 의한 입력 경과를 시선을 움직이게 하지 않고 동시에 인식할 수 있도록 하는 것이다.

하나의 형태인 정보 처리 장치는, 시선 검출부, 제1 영역 결정부, 제1 표시 제어부, 입력 검출부, 제2 영역 결정부 및 제2 표시 제어부를 갖고 있다. 시선 검출부는, 사용자의 시선을 검출한다. 제1 영역 결정부는, 검출된 시선의 표시 화면 상의 시선 위치에 기초하여, 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는, 표시 화면 상의 제1 영역을 결정한다. 제1 표시 제어부는, 제1 영역에 제1 정보를 표시한다. 입력 검출부는, 사용자에 의한 입력을 검출한다. 제2 영역 결정부는, 제1 영역 외이며, 제1 영역보다도 시선 위치로부터 먼 점을 포함하고, 검출된 입력에서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정한다. 제2 표시 제어부는, 제2 영역에, 제2 정보를 표시한다.

실시 형태의 정보 처리 장치에 의하면, 시선 위치에 기초하는 위치에 표시한 입력 가이드와 움직임에 의한 입력 경과를 시선을 움직이게 하지 않고 동시에 인식하는 것이 가능해진다.

도 1은, 휴대 단말 장치의 하드웨어 구성의 일례를 도시하는 블록도이다.
도 2는, 휴대 단말 장치의 기능의 일례를 도시하는 블록도이다.
도 3은, 본 실시 형태에 의한 입력 방법의 일례를 개념적으로 설명하는 도면이다.
도 4는, 본 실시 형태에 의한 입력 방법의 일례를 개념적으로 설명하는 도면이다.
도 5는, 표시 영역의 일례를 도시하는 도면이다.
도 6은, 표시 위치 결정 정보의 일례를 나타내는 도면이다.
도 7은, 휴대 단말 장치에서의 입력 처리를 나타내는 흐름도이다.
도 8은, 변형예 1에 의한 입력 표시예를 도시하는 도면이다.
도 9는, 가이드 표시 영역과 입력 표시 영역의 변형예를 도시하는 도면이다.
도 10은, 가이드 표시 영역과 입력 표시 영역의 변형예를 도시하는 도면이다.
도 11은, 가이드 표시 영역과 입력 표시 영역의 변형예를 도시하는 도면이다.
도 12는, 표준적인 컴퓨터의 하드웨어 구성의 일례를 도시하는 블록도이다.

이하, 도면을 참조하면서, 일 실시 형태에 의한 휴대 단말 장치(1)에 대해서 설명한다. 도 1은, 휴대 단말 장치(1)의 하드웨어 구성의 일례를 도시한 블록도, 도 2는, 휴대 단말 장치(1)의 기능의 일례를 도시한 블록도이다.

휴대 단말 장치(1)는, 연산 처리 장치(3), 기억부(5), 통신부(11), 안테나(13), 음성 입출력부(15), 스피커(17), 마이크(19), 시선 검출 장치(21), 터치 패널(23), 표시부(25) 등을 갖고 있다. 휴대 단말 장치(1)는, 예를 들어 다기능 휴대 전화기, 태블릿형 컴퓨터 등이다.

연산 처리 장치(3)는, 휴대 단말 장치(1)에서의 동작에 수반하는 데이터의 처리를 행하는 연산 처리 장치이다. 기억부(5)는, 정보를 기억하는 기억 장치이며, Read Only Memory(ROM)(7), Random Access Memory(RAM)(9)를 갖고 있다. ROM(7)은, 수시 판독 가능한 기억 장치이며, 휴대 단말 장치(1)에 소정의 처리를 실행시키기 위한 프로그램을 기억하도록 해도 된다. RAM(9)은, 수시 판독 및 기입 가능한 기억 장치이며, 연산 결과 등의 정보를 기억하도록 해도 된다.

무선부(11)는, 외부에 통신하는 정보를 변환하여, 안테나(13)를 통해서 무선 통신에 의해 송신하기 위한 신호를 생성하거나, 안테나(13)에 의해 수신된 신호를 변환해서 연산 처리 장치(3)에 출력하거나 하는 장치이다. 안테나(13)는, 전파를 송신 및 수신하는 장치이다. 무선 통신은, 예를 들어 3rd Generation(3G) 회선, WiFi(상표) 통신이다.

음성 입출력부(15)는, 음성에 의해 출력하는 정보를 변환해서 스피커(17)에 출력함과 함께, 마이크(19)로부터의 입력 신호를 변환해서 연산 처리 장치(3)에 출력하는 장치이다. 스피커(17)는, 전기 신호를 변환해서 음성을 출력하는 장치이다. 마이크(19)는, 음성을 수음하여, 전기 신호로 변환하는 장치이다.

시선 검출 장치(21)는, 예를 들어 카메라와 광원 등을 가질 수 있다. 시선 검출 장치(21)는, 예를 들어 사용자의 눈을 촬영함으로써 시선을 검출한다. 터치 패널(23)은, 접촉에 의해 정보의 입력을 행하는 장치이다. 표시부(25)는, 정보를 표시하는 예를 들어 액정 표시 장치이다.

도 2에 도시한 바와 같이, 휴대 단말 장치(1)는, 시선 검출부(31), 조작 대상 검출부(33), 가이드 작성부(35), 표시 위치 결정부(37), 가이드 표시부(39), 입력 검출부(41), 입력 표시 영역 결정부(43), 입력 표시부(45), 표시 위치 결정 정보(47)를 갖고 있다. 이들 기능은, 예를 들어 RAM(9)에 기억된 프로그램을 연산 처리 장치(3)가 판독하여 실행함으로써 실현된다.

시선 검출부(31)는, 시선 검출 장치(21)에 의해 취득된, 예를 들어 사용자의 눈의 화상을 해석함으로써, 시선을 검출한다. 시선의 검출은, 예를 들어 터치 패널(23) 등을 통해서 시선 검출의 개시가 입력되면, 개시된다. 조작 대상 검출부(33)는, 시선 검출부(31)에 의해 검출된 시선에 기초하여, 표시부(25) 상의 시선 위치를 검출하고, 시선의 위치에 표시된 대상을 조작 대상으로서 검출한다.

가이드 작성부(35)는, 검출된 조작 대상에 대하여 가능한 처리에 따른 선택지와, 그 선택지에 대응하는 입력 방법을 나타내는 입력 가이드를 작성한다. 표시 위치 결정부(37)는, 작성된 입력 가이드를 표시하는 위치를 결정한다. 표시 위치 결정부(37)는, 예를 들어 시선 검출부(31)가 검출한 시선 위치에, 가이드 작성부(35)가 작성한 입력 가이드의 중심이 오도록 표시 위치를 결정해도 된다. 표시 위치 결정부(37)는, 시선 검출부(31)가 검출한 시선 위치에 기초하여 표시를 행하는 어떤 범위를 설정하는 것이 바람직하다.

가이드 표시부(39)는, 표시 위치 결정부(37)가 결정한 위치에, 작성된 입력 가이드를 표시한다. 이 때 가이드 표시부(39)는, 표시 위치 결정부(37)에 의해 설정된 범위에 들어가도록, 입력 가이드를 표시해도 된다. 입력 가이드는, 선택지를 선택하기 위한 예를 들어, 터치 패널(23) 상의 손가락의 움직임 등, 입력을 위한 움직임에 따른 궤적을 포함하는 것이 바람직하다.

입력 검출부(41)는, 입력 가이드에 표시된 선택지 중 어느 하나를 선택하기 위한 입력을 검출한다. 입력 표시 영역 결정부(43)는, 검출된 입력에 따른 궤적의 표시를 행하는 영역을 결정한다. 입력 표시 영역 결정부(43)는, 표시 위치 결정부(37)에 의해 결정된 위치 또는 범위에 표시되는 입력 가이드와 겹치지 않도록, 표시 영역을 결정하는 것이 바람직하다. 또한, 움직임을 표시하는 경우에는, 문자를 인식할 필요가 있는 정보보다도 시선으로부터 이격된 위치에서도 인식할 수 있는 것이 알려져 있다. 따라서, 입력 가이드를 표시하는 위치는 보다 시선 위치에 가깝게, 움직임에 따른 표시를 행하는 위치는, 입력 가이드를 표시하는 위치보다 시선 위치로부터 이격된 위치로 할 수 있다. 입력 표시부(45)는, 표시 위치 결정부(37)에 의해 결정된 위치에, 입력에 따른 표시를 행한다.

표시 위치 결정 정보(47)는, 가이드 표시 영역과, 입력 표시 영역의 형상을 결정하기 위한 정보이다. 표시 위치 결정 정보(47)는, 예를 들어 표시 룰마다, 가이드 표시 영역의 반경(r1), 입력 표시 영역의 반경(r2) 또는, 각각의 긴 직경(r3), 짧은 직경(r4), 긴 직경(r5), 짧은 직경(r6) 등을 갖도록 해도 된다. 예를 들어, 표시 위치 결정 정보(47)의 예에서는, 영역은, 원 또는 타원으로 표현된다. 룰은 복수 설치하고, 선택된 조작 대상에 따라서 변경하도록 해도 된다. 표시 위치 결정 정보(47)는, 표시 위치 결정부(37), 입력 표시 영역 결정부(43)에 의해 참조된다.

도 3, 도 4는, 본 실시 형태에 의한 입력 방법의 일례를 개념적으로 설명한 도면이다. 도 3에 도시한 바와 같이, 입력예(71)는, 사용자의 손(53)이 휴대 단말 장치(1)를 들고 입력하고 있는 경우의 표시예를 나타내고 있다. 화면 상에는, 입력의 일례가 표시되어 있다.

입력 가이드(57)는, 선택지와 선택을 위한 입력 방법을 포함하는 정보이다. 입력 가이드(57)에는, 선택 가능한 처리와, 시간적인 변화가 있는, 예를 들어 입력 장치나 이용 환경에 대응한 사용자의 신체 움직임에 의한 입력 방법이 대응지어지는 것이 바람직하다. 입력 가이드(57)에는, 예를 들어 조작 대상을 상하 이동시키는 처리에 대응해서 하향의 움직임의 입력이 지정되도록 해도 된다. 도 3, 도 4의 입력 가이드(57)에 있어서는, 입력에 필요한 움직임이 화살표로 표시되어 있지만, 각각의 움직임과 대응하는, 조작 대상에 대한 특정한 처리와 대응지어서 표시되도록 해도 된다.

가이드 표시 영역(59)은, 미리 검출된 시선의 위치(55)에 따라서 결정되는 영역이며, 입력 가이드(57)가 표시되는 영역이다. 가이드 표시 영역(59)은, 예를 들어 색이나 물체의 모양이 인식 가능한, 예를 들어 중심시(視)가 가능한 영역으로 해도 된다. 이 때, 입력 가이드(57)에 의해 제시되는 입력은, 예를 들어 상하의 움직임이나, 좌우의 움직임 등, 움직임을 수반하는 것이 바람직하다.

입력 표시 영역(61)은, 입력 가이드(57)에 기초하여 선택된 선택 방법에 있어서 입력되는, 예를 들어 터치 조작 등에 의해 검출되는 움직임, 또는 움직임의 경과에 따른 표시가 행하여지는 영역이다. 입력 표시 영역(61)은, 예를 들어 물체의 움직임의 인식이 가능한 주변시(視)가 가능한 영역으로 해도 된다.

입력(63)은, 사용자가, 휴대 단말 장치(1)를 손(53)으로 든 상태에서, 입력 가이드(57)를 보면서, 선택하고 싶은 선택지에 따른 움직임의 입력을 손(53)에 의해 행하고 있는 상태를 나타낸다. 예를 들어 입력(63)과 같이, 원을 그리는 것 같은 움직임이 입력된다. 입력 표시(65)는, 검출된 입력(63)과 동일한 움직임의 궤적을 화살표에 의해 표시한 것이며, 입력 표시 영역(61)에 표시된다. 입력 표시(65)는, 예를 들어 입력(63)을 검출하면 순차 표시되는 것이 바람직하다. 입력 표시(65)는, 입력중에 계속해서 순차 표시되는 것이 바람직하다.

도 4에 도시한 바와 같이, 입력예(73)는, 사용자의 손(75)이 휴대 단말 장치(1)를 든 상태에서 입력을 행하고 있는 경우의 다른 예를 나타내고 있다. 입력 예(73)는, 사용자가, 입력 가이드(57)를 보면서, 손(75)에 의해, 입력(77)과 같이 직선적인 움직임을 입력하는 예이다. 입력(77)은, 손(75)에 의해 행하여지는 입력을 위한 움직임을 나타내고 있다. 입력 표시(79)는, 입력(77)의 움직임을 표시한 것이며, 입력 표시 영역(61)에 표시된다.

도 5는, 표시 영역의 일례를 도시한 도면이다. 도 5에 도시한 바와 같이, 이 예에서는, 가이드 표시 영역(83), 입력 표시 영역(85)이 나타나 있다. 가이드 표시 영역(83)은, 선택지와 선택을 위한 입력 방법을 포함하는 입력 가이드를 표시하는 영역이다. 입력 표시 영역(85)은, 입력 가이드에 따른 선택을 행할 때의 움직임을 표시하는 영역이다. 가이드 표시 영역(83)은, 시선 위치(81)를 중심으로 하는 반경이 거리(87)의 원이다. 입력 표시 영역(85)은, 시선 위치(81)를 중심으로 하는 반경이 거리(89)의 원이며, 가이드 표시 영역(83) 이외의 부분이다. 입력 표시 영역(85)은, 이 예에서는, 가이드 표시 영역(83)의 외측에 접하는 영역이며, 시선 위치(81)로부터의 거리가, 가이드 표시 영역(83)보다도 먼 점을 포함한다.

도 7은, 본 실시 형태에 의한 휴대 단말 장치(1)에서의 입력 처리를 나타내는 흐름도이다. 도 7에 나타낸 각 처리는, 예를 들어 연산 처리 장치(3)가, 소정의 프로그램을 판독 실행함으로써 행하여지지만, 여기에서는, 도 2의 각 기능에 의해 실행되는 것으로서 설명한다.

도 7에 도시한 바와 같이, 시선 검출부(31)는, 사용자의 시선 검출을 개시한다(S101). 시선의 검출은, 상기한 바와 같이, 화상 해석에 의해 검출하는 방법, 그 밖에, 종래의 어떤 방법에 의해 행하여져도 된다. 조작 대상 검출부(33)는, 예를 들어 터치 패널(23)의 소정의 위치 등, 조작 대상 검출의 개시의 트리거가 되는 터치가 검출될 때까지 검출을 반복한다(S102: "아니오"). 이 때, 일정 시간 입력이 검출되지 않을 경우에는, 처리를 종료하도록 해도 된다.

조작 대상 검출부(33)는, 터치가 검출되면(S102: "예"), 예를 들어 도 3, 도 4에 도시한 바와 같이, 터치가 검출된 시점에서의 시선의 표시부(25) 상의 시선 위치(55)를 검출하고, 검출된 시선 위치(55)에 기초하여, 조작 대상을 검출한다(S103). 예를 들어, 조작 대상 검출부(33)는, 시선 위치(55)에 표시되어 있는 화상을 조작 대상으로서 검출한다.

표시 위치 결정부(37)는, 표시 위치 결정 정보(47)의 가이드 표시 영역의 항목을 참조하여, 예를 들어 도 5에 도시한 바와 같이, 가이드 표시 영역(83)을 결정함과 함께, 가이드 표시 영역(83) 내의, 예를 들어 도 3, 도 4에 도시한 입력 가이드(57)의 표시 위치를 결정한다(S104).

입력 표시 영역 결정부(43)는, 표시 위치 결정 정보(47)의 입력 표시 영역의 항목을 참조하여, 예를 들어 도 5에 도시한 입력 표시 영역(85)을 결정함과 함께, 입력 표시 영역(85) 내의 입력을 표시하는 위치를 결정한다(S105).

가이드 작성부(35)는, 검출된 조작 대상에 따른 입력 가이드를 생성한다. 가이드 표시부(39)는, 결정된 위치에 생성된 입력 가이드를 표시한다(S106). 이 때, 예를 들어 가이드 표시부(39)는, 결정된 가이드 표시 영역(83)의 소정의 위치에 입력 가이드의 중심을 배치한다. 또한, 가이드 표시부(39)는, 가이드 표시 영역(83) 내에 입력 가이드가 들어가도록, 표시 배율을 조정하도록 해도 된다.

입력 검출부(41)는, 터치 패널(23) 등에의 움직임을 수반하는 입력이 검출되는지 여부를 판별한다(S107). 예를 들어, 도 3, 도 4에서 설명한 바와 같이, 입력 검출부(41)가 입력(63), 입력(77) 등을 검출하면(S107: "예"), 입력 표시부(45)는, 입력 표시 영역 결정부(43)에 의해 결정된 예를 들어 입력 표시 영역(85)의 소정 위치에 입력을 순차 표시하고(S108), 처리를 S107로 되돌린다. 또한, 예를 들어 입력 가이드(57)가 표시되고나서, 입력의 표시가 종료될 때까지의 동안에, 시선 검출은 행하지 않도록 해도 된다.

S107에서는, 터치가 검출될 때까지 처리를 반복한다(S107: "아니오"). S107에서는, 입력 검출부(41)는, 예를 들어 일정 시간 경과할 때까지, S107의 처리를 반복하고, 일정 시간 경과 후에는 처리를 종료하도록 해도 된다. 또한, S107, S108의 처리를 반복함으로써, 순서대로 입력의 상황을 육안으로 확인하면서, 입력이 행하여지게 된다. 이 때, 입력 검출부(41)에 의해 검출된 입력에 따른 처리가 행하여진다.

이상 상세하게 설명한 바와 같이, 본 실시 형태에 의한 휴대 단말 장치(1)에 의하면, 트리거가 되는 입력이 검출되면, 시선 검출부(31)는, 예를 들어 시선의 표시부(25) 상의 시선 위치(55)를 검출한다. 검출된 시선 위치(55)에 기초하여, 조작 대상 검출부(33)는, 조작 대상을 검출한다. 가이드 작성부(35)는, 예를 들어 조작 대상에 대응하는 입력 가이드(57)를 생성한다. 또한, 예를 들어 시선 위치(55)에 기초하여, 표시 위치 결정부(37)는, 표시 위치 결정 정보(47)를 참조하여 가이드 표시 영역(83)을 결정한다. 입력 검출부(41)가, 입력 가이드에 기초하는, 움직임을 수반하는 입력을 검출하면, 입력 표시 영역 결정부(43)가, 예를 들어 입력 표시 영역(85)을 결정한다. 입력 표시부(45)는, 입력에 의한 움직임을 표시한다. 이 때, 입력 표시 영역(85)은, 가이드 표시 영역(83) 이외의 영역이며, 가이드 표시 영역(83)의 어느 점보다도 시선 위치(55)로부터 먼 점을 포함하도록 결정된다.

이상과 같이, 본 실시 형태에 의한 휴대 단말 장치(1)에 의하면, 시선 위치에 따라 조작 대상을 검출할 수 있다. 조작 대상에 대한 처리를 선택하기 위한 입력은, 예를 들어 터치 패널(23) 상의 손가락의 움직임을 시각으로 확인하면서 실현할 수 있다. 이에 의해, 사용자가 보고 있는 모든 것을 항상 조작 대상으로 하지 않고, 사용자가 입력하고 싶어서 시선을 향했을 때에만, 조작 대상을 결정하는 것이 가능해진다. 그로 인해, 필요한 경우 이외에는 시선 위치 주변에 입력 가이드가 표시되지 않아, 표시를 보는 행위의 방해가 되는 것을 방지하는 것이 가능해진다.

본 실시 형태에 있어서는, 시선 검출을 먼저, 또는 항상 기동해 두고, 트리거가 되는 터치 등을 검출하면, 터치 검출 시의 시선 정보로부터 화면 상의 시선 위치를 검출한다. 이에 의해, 과거의 시선 정보를 이용해서 시선 위치를 추정하는 것도 가능하고, 트리거 검출 시에 깜박거림 등의 요인으로, 시선을 검출할 수 없었던 경우에도 대응이 가능해진다.

예를 들어 입력 가이드(57)는, 시선 위치(55)에 기초하여 가이드 표시 영역(83)에 표시되므로, 시선을 움직이게 하지 않고, 입력을 설명하는 입력 가이드(57)를 참조하는 것이 가능해진다. 입력 표시 영역(85)은, 가이드 표시 영역(83) 이외의 영역이며, 가이드 표시 영역(83)의 모든 점보다도 시선 위치(55)로부터 먼 점을 포함한다. 이와 같이, 입력 가이드(57)는, 예를 들어 색이나 형태의 인식이 가능한 시야 내에 표시되므로, 입력 가이드(57)를 참조하면서, 시선을 움직이게 하지 않고 동시에, 예를 들어 손가락의 움직임도 확인할 수 있는 상태에서 입력을 행할 수 있다.

입력된 움직임을 나타내는 입력 표시는, 움직임의 인식이 가능한 시야 내에 표시되므로, 입력된 움직임을 시각적으로 확인하는 것이 가능해진다. 이 때, 입력 가이드(57)와, 입력 표시(65), 입력 표시(79) 등은 겹치지 않으므로, 입력에 의해 입력 가이드(57)의 참조를 방해할 수 있는 것을 방지할 수 있다. 가이드 표시 영역(83), 입력 표시 영역(85)의 설정 방법은, 표시 위치 결정 정보(47) 등에 의해 미리 정의해 둘 수 있다. 따라서, 조작 대상에 맞춘 입력 가이드(57), 입력 표시(65), 입력 표시(79) 등을 표시시키는 것이 가능해진다.

이와 같이, 본 실시 형태에 의한 입력 방법은, 시야의 특성상, 문자 등을 인식할 수 있는 시야보다도 움직임을 인식할 수 있는 시야가 넓다는, 예를 들어 중심 시야와 주변 시야의 관계를 이용한 입력 방법으로 할 수 있다. 즉, 어떤 위치에 시선이 있었을 경우, 문자가 인식 불가능하여도, 움직임을 인식 가능한 영역이 있다는 관계이다. 따라서, 입력 가이드(57)가 표시되어 있는 영역의 외측 영역에, 움직임에 의한 입력 상태를 표시하도록 가이드 표시 영역과 입력 상태의 표시 영역을 나눔으로써, 시선을 움직이게 하지 않고, 입력 가이드도 입력 경과도 동시에 인식이 가능해진다.

따라서, 입력 조작을 기억하고 있지 않은 경우에도, 도중에 입력을 볼 수 있어, 행하고 싶은 입력을 위한 손가락의 움직임 등을 알 수 없게 되어버리는 것이 방지된다. 반대로, 입력 가이드와 입력된 움직임에 관한 표시가 너무 이격되어 있는 경우와 같이, 사용자가 시선을 움직이게 해서 각각을 확인할 필요가 발생하는 경우도 없다.

이와 같이, 검출된 시선 위치에 따른 위치에 입력 가이드를 표시했을 때, 입력 가이드의 시인성을 낮추지 않고, 시선을 움직이게 하지 않고, 움직임에 의한 입력 경과의 표시를 인식 가능한 위치에 자동으로 레이아웃 하는 것이 가능해진다.

(변형예 1)

이하, 도 8을 참조하면서, 입력 표시의 변형예를 설명한다. 도 8은, 변형예 1에 의한 입력 표시예를 도시한 도면이다. 도 8에 도시한 바와 같이, 시선 위치(81)에 대하여 가이드 표시 영역(83), 입력 표시 영역(85)이 설정되어 있다. 보조선(91)은, 입력 표시 영역(85)에 표시되어 있다. 입력 표시(93)는, 보조선(91)을 넘어서 표시되어 있다. 도 8의 예에서는, 예를 들어 입력 표시(93)가 보조선(91)을 넘었을 때, 입력된 입력이 위에서 아래로의 입력을 나타내고 있다고 판단하도록 한다. 또한, 사용자는, 보조선(91)을 넘는 입력을 행하도록, 시각으로 확인하는 것이 용이해진다.

본 변형예에 의하면, 사용자가 터치 패널(23)에 의해 움직임을 입력할 때의 기준을 나타낼 수 있어, 의도하는 입력을 행하는 것이 용이해진다. 또한, 휴대 단말 장치(1)에 있어서 검출된 입력의 종별의 판단이 보다 용이해진다.

(변형예 2)

이하, 도 9 내지 도 11을 참조하면서, 가이드 표시 영역과 입력 표시 영역의 변형예를 설명한다. 도 9 내지 도 11은, 가이드 표시 영역과 입력 표시 영역의 변형예를 도시한 도면이다. 도 9에 도시한 예에서는, 가이드 표시 영역(95)을, 예를 들어 시선 위치(81)를 중심으로 한 소정의 제1 반경의 도면의 좌측 반원의 영역으로 한다. 입력 표시 영역(97)은, 제1 반경보다 큰 제2 반경의 도면의 우측 반원의 영역으로 할 수 있다.

도 10에 도시한 예에서는, 입력 표시 영역(99)은, 시선 위치(81)를 중심으로 하는 제1 반경보다 큰 제2 반경의 도면의 좌측 반원의 영역이며, 가이드 표시 영역(95) 이외의 영역으로 할 수 있다.

도 11에 도시한 예에서는, 입력 표시 영역(85)은, 시선 위치(81)를 중심으로 하는 제1 반경보다 큰 제2 반경의 원 영역이며, 가이드 표시 영역(95) 이외의 영역으로 할 수 있다.

도 9 내지 도 11의 모든 경우에도, 입력 표시 영역(85, 97, 99)은, 가이드 표시 영역(95)의 모든 점보다도 시선 위치(81)로부터 먼 점을 포함하고 있다. 휴대 단말 장치(1)는, 가이드 표시 영역(95)에 예를 들어 입력 가이드(57)를 표시하고, 입력 표시 영역(85, 97, 99) 중 어느 하나에 입력을 표시함으로써, 시선 위치(81)에 시선을 고정한 채, 입력 가이드(57)를 참조하면서 움직임을 확인하는 것이 가능한 입력 방법이 실현된다.

상기 실시 형태 및 변형예 1, 2에 있어서, 가이드 표시 영역(59, 83, 95)은, 제1 영역의 일례이며, 입력 표시 영역(61, 85, 97, 99)은, 제2 영역의 일례이다. 가이드(57)는, 제1 정보의 일례이며, 입력 표시(65, 79, 93)는, 제2 정보의 일례이다. 표시 위치 결정부(37)는, 제1 영역 결정부의 일례이며, 입력 표시 영역 결정부(43)는, 제2 영역 결정부의 일례이다.

또한, 본 발명은, 이상에서 설명한 실시 형태에 한정되지 않고, 본 발명의 요지를 일탈하지 않는 범위 내에서 다양한 구성 또는 실시 형태를 채용할 수 있다. 예를 들어 시선 검출 장치(21)는, 카메라를 포함하는 것에 한정되지 않고, 예를 들어 얼굴의 근육의 움직임을 검출해서 시선을 검출하는 등, 다른 장치에 의한 것이어도 된다.

시선 위치 검출의 트리거로서는, 주시나 깜박임과 같은 시선과 관련된 정보, 탭이나 스와이프와 같은 손가락의 움직임에 관련된 정보, 음성, 데이타 글로브 등과 같이, 기타의 정보를 입력하는 입력 수단을 사용할 수 있다. 또한, 시선 검출을, 트리거가 되는 입력이 행하여지면 개시되도록 설정함으로써, 시선 검출을 항상 기동하는만큼의 소비 전력을 삭감하는 것이 가능해진다.

선택지를 선택하기 위한 입력 방법은, 터치 패널(23)에 한정되지 않고, 다른 움직임을 검출할 수 있는 장치, 예를 들어 데이타 글로브 등, 움직임을 검출 가능한 다른 장치에 의한 방법이어도 된다. 선택지를 선택하기 위한 입력을, 시간적인 변화에 따라 행하도록 해도 된다. 이 때 사용되는 장치로서는, 시간적 변화를 검출 가능한 장치가 된다. 예를 들어, 버튼의 누름의 강약, 예를 들어 단말기와의 깊이 방향의 거리 변화 등에 따라 입력을 행하는 것도 가능하다. 이 때, 색의 변화 등은 주변시 쪽이 지각하기 쉬운 것을 이용하여, 제2 영역 전체의 색을 변화시켜서 입력 상태를 통지하도록 해도 된다.

표시 위치 결정 정보(47)는 일례이며, 다른 파라미터에 의한 정보 등, 다른 형태이어도 된다. 예를 들어, 시야각에 의한 지정 등이어도 된다. 일례로서, 가이드 표시 영역을 시야각 2도의 영역, 입력 표시 영역을, 시야각 5도의 영역 등으로 해도 된다.

상기한 실시 형태에 있어서는, 입력 가이드(57)를 표시하고, 입력의 입력을 접수하는 상태가 되어 일정 시간 이상 입력이 없으면, 입력 가이드를 지우도록 했지만, 조작 대상을 주시하고 있다고 판단한 경우에는, 입력 가이드를 고정하는 것도 가능하다. 이에 의하면, 입력 가이드를 인식하기 쉬워진다. 또한, 예를 들어 시선이, 조작 대상을 포함하는 일정한 범위 내에 머물고 있는 시간이 소정 시간보다도 긴 경우에, 조작 대상을 주시하고 있다고 판단되도록 해도 된다.

조작 대상의 검출에 있어서는, 시선 위치 근방의 커서 위치로부터 조작 대상을 검출하도록 해도 된다. 이 때, 그 커서를 시선 위치로 간주하는 처리를 행한다. 이에 의해, 시선 위치보다도 정밀도가 높은 조작 대상 검출이 가능해진다.

입력 가이드는, 적어도 일부를 투과 표시하도록 해도 된다. 이에 의하면, 입력 표시 영역과 입력 가이드(57)의 적어도 일부가 겹쳤을 경우에, 겹친 부분의 인식을 방해하는 것을 방지할 수 있어, 양쪽을 동시에 인식 가능하게 할 수 있다.

입력 가이드를 표시한 경우에, 소정 시간 이상 조작이 없을 경우에는, 사용자에게 조작의 의사가 없다고 판단하여, 입력 가이드의 표시를 소거하도록 해도 된다. 또한, 시선 위치가, 검출된 조작 대상과 일정 거리 이상 이격된 경우에, 조작할 의사가 없다고 판단되도록 해도 된다. 이에 의하면, 다음 조작이 하기 쉬워짐과 함께, 전력 소비를 억제할 수도 있다. 입력 가이드에 나타나는 입력 방법은, 하나의 입력 수단에 의한 입력 방법에 한정되지 않는다. 복수의 입력 수단으로, 동일한 조작을 가능하게 하도록 하는 것이 바람직하다.

입력 가이드(57)는 다양한 예가 가능하다. 예를 들어, 계층형의 메뉴 등, 복수의 움직임의 조합에 의한 입력 방법이라면, 움직임마다 나누어서 표시하는 것도 가능하다. 도 9의 변형예로서, 터치 패널(23)에 의해 입력이 검출된 위치에 보다 가까운 측에 입력 표시 영역(97)을 표시함으로써, 움직임을 확인하기 쉽게 할 수 있다. 가이드 표시 영역, 입력 표시 영역의 형상은 상기에 한정되지 않고, 다양한 형상, 위치 관계를 채용할 수 있다.

여기서, 상기 실시 형태 및 변형예 1, 2에 의한 입력 방법의 동작을 컴퓨터에 행하게 하기 위해서 공통으로 적용되는 컴퓨터의 예에 대해서 설명한다. 도 12는, 표준적인 컴퓨터의 하드웨어 구성의 일례를 나타낸 블록도이다. 도 12에 도시한 바와 같이, 컴퓨터(300)는, Central Processing Unit(CPU)(302), 메모리(304), 입력 장치(306), 출력 장치(308), 외부 기억 장치(312), 매체 구동 장치(314), 네트워크 접속 장치 등이 버스(310)를 통하여 접속되어 있다.

CPU(302)는, 컴퓨터(300) 전체의 동작을 제어하는 연산 처리 장치이다. 메모리(304)는, 컴퓨터(300)의 동작을 제어하는 프로그램을 미리 기억하거나, 프로그램을 실행할 때에 필요에 따라 작업 영역으로서 사용하거나 하기 위한 기억부이다. 메모리(304)는, 예를 들어 Random Access Memory(RAM), Read Only Memory(ROM) 등이다. 입력 장치(306)는, 컴퓨터의 사용자에 의해 입력되면, 그 입력 내용에 대응지어져 있는 사용자로부터의 각종 정보의 입력을 취득하고, 취득한 입력 정보를 CPU(302)에 송부하는 장치이며, 예를 들어 키보드 장치, 마우스 장치 등이다. 출력 장치(308)는, 컴퓨터(300)에 의한 처리 결과를 출력하는 장치이며, 표시 장치 등이 포함된다. 예를 들어 표시 장치는, CPU(302)에 의해 송부되는 표시 데이터에 따라 텍스트나 화상을 표시한다.

외부 기억 장치(312)는, 예를 들어 하드 디스크 등의 기억 장치이며, CPU(302)에 의해 실행되는 각종 제어 프로그램이나, 취득한 데이터 등을 기억해 두는 장치이다. 매체 구동 장치(314)는, 가반 기록 매체(316)에 기입 및 판독을 행하기 위한 장치이다. CPU(302)는, 가반 기록 매체(316)에 기록되어 있는 소정의 제어 프로그램을, 기록 매체 구동 장치(314)를 통하여 판독해서 실행함으로써, 각종 제어 처리를 행하도록 할 수도 있다. 가반 기록 매체(316)는, 예를 들어 Compact Disc(CD)-ROM, Digital Versatile Disc(DVD), Universal Serial Bus(USB) 메모리 등이다. 네트워크 접속 장치(318)는, 유선 또는 무선에 의해 외부와의 사이에서 행하여지는 각종 데이터의 교환 관리를 행하는 인터페이스 장치이다. 버스(310)는, 상기 각 장치 등을 서로 접속하여, 데이터의 교환을 행하는 통신 경로이다.

상기 실시 형태 및 변형예 1, 2에 의한 입력 방법을 컴퓨터에 실행시키는 프로그램은, 예를 들어 외부 기억 장치(312)에 기억시킨다. CPU(302)는, 외부 기억 장치(312)로부터 프로그램을 판독하고, 컴퓨터(300)에 입력의 동작을 행하게 한다. 이 때, 먼저, 입력의 처리를 CPU(302)에 행하게 하기 위한 제어 프로그램을 작성해서 외부 기억 장치(312)에 기억시켜 둔다. 그리고, 입력 장치(306)로부터 소정의 지시를 CPU(302)에 부여하여, 이 제어 프로그램을 외부 기억 장치(312)로부터 판독시켜서 실행시키도록 한다. 또한, 이 프로그램은, 가반 기록 매체(316)에 기억하도록 해도 된다.

1 : 휴대 단말 장치
3 : 연산 처리 장치
5 : 기억부
7 : ROM
9 : RAM
11 : 통신부
13 : 안테나
15 : 음성 입출력부
17 : 스피커
19 : 마이크
21 : 시선 검출 장치
23 : 터치 패널
25 : 표시부
31 : 시선 검출부
33 : 조작 대상 검출부
35 : 가이드 작성부
37 : 표시 위치 결정부
39 : 가이드 표시부
41 : 입력 검출부
43 : 입력 표시 영역 결정부
45 : 입력 표시부
47 : 표시 위치 결정 정보
51 : 표시예
53 : 손
55 : 시선 위치
57 : 입력 가이드
59 : 가이드 표시 영역
61 : 입력 표시 영역

Claims

사용자의 시선을 검출하는 시선 검출부와,
검출된 시선의 표시 화면 상의 시선 위치에 기초하여 조작 대상을 검출한 경우에, 상기 시선 위치를 중심으로 하는 중심 시야와 대응한 시야각 영역 내의 점을 포함하고, 상기 조작 대상과 대응지어진 상기 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는 상기 표시 화면 상의 제1 영역을 결정하는 제1 영역 결정부와,
상기 제1 영역에 상기 제1 정보를 표시하는 제1 표시 제어부와,
상기 사용자에 의한 입력을 검출하는 입력 검출부와,
상기 제1 영역 외이며, 상기 제1 영역보다도 상기 시선 위치로부터 먼 점을 포함하고, 검출된 상기 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정하는 제2 영역 결정부와,
상기 제2 영역에 상기 제2 정보를 표시하는 제2 표시 제어부
를 갖는 정보 처리 장치.
제1항에 있어서,
상기 제2 영역은, 상기 제1 영역의 외측에 접하는 영역인 것을 특징으로 하는, 정보 처리 장치.
제1항에 있어서,
상기 입력 검출부는, 상기 표시 화면 상에서의 입력을 검출하고,
상기 제2 영역은, 상기 입력이 검출된 상기 표시 화면 상의 위치와 상기 제1 영역의 사이의 영역을 포함하는 것을 특징으로 하는, 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제2 영역에는, 상기 입력의 기준이 되는 보조선이 표시되고, 상기 입력 검출부는, 상기 보조선에 대한 상대적인 움직임을 검출하는 것을 특징으로 하는, 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 영역은, 중심시(中心視)가 가능한 영역에 대응하고, 상기 제2 영역은, 주변시(周邊視)가 가능한 영역에 대응하는 것을 특징으로 하는, 정보 처리 장치.
사용자의 시선을 검출하는 시선 검출부와,
검출된 시선의 표시 화면 상의 시선 위치에 기초하여 정해지는 상기 표시 화면 상의 소정의 시야각 영역의 일부 또는 전부를 포함하고, 상기 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는 상기 표시 화면 상의 제1 영역을 결정하는 제1 영역 결정부와,
상기 제1 영역에 상기 제1 정보를 표시하는 제1 표시 제어부와,
상기 사용자에 의한 입력을 검출하는 입력 검출부와,
상기 제1 영역 외이며, 상기 제1 영역보다도 상기 시선 위치로부터 먼 점을 포함하고, 또한 상기 제1 영역과 접하는, 검출된 상기 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정하는 제2 영역 결정부와,
상기 제2 영역에 상기 제2 정보를 표시하는 제2 표시 제어부
를 갖는 정보 처리 장치.
사용자의 시선을 검출하는 시선 검출부와,
검출된 시선의 표시 화면 상의 시선 위치에 기초하여 정해지는 상기 표시 화면 상의 소정의 시야각 영역의 일부 또는 전부를 포함하고, 중심시(中心視)가 가능한 영역에 대응하는, 상기 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는 상기 표시 화면 상의 제1 영역을 결정하는 제1 영역 결정부와,
상기 제1 영역에 상기 제1 정보를 표시하는 제1 표시 제어부와,
상기 사용자에 의한 입력을 검출하는 입력 검출부와,
상기 제1 영역 외이며, 상기 제1 영역보다도 상기 시선 위치로부터 먼 점을 포함하고, 주변시(周邊視)가 가능한 영역에 대응하는, 검출된 상기 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정하는 제2 영역 결정부와,
상기 제2 영역에 상기 제2 정보를 표시하는 제2 표시 제어부
를 갖는 정보 처리 장치.
사용자의 시선을 검출하고,
검출된 시선의 표시 화면 상의 시선 위치에 기초하여 조작 대상을 검출하고,
상기 시선 위치를 중심으로 하는 중심 시야와 대응한 시야각 영역 내의 점을 포함하고, 상기 조작 대상과 대응지어진 상기 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는 상기 표시 화면 상의 제1 영역을 결정하고,
상기 제1 영역 외이며, 상기 제1 영역보다도 상기 시선 위치로부터 먼 점을 포함하고, 상기 사용자에 의한 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정하고,
상기 제1 영역에 상기 제1 정보를 표시하고,
상기 사용자에 의한 입력을 검출하고,
상기 제2 영역에, 상기 제2 정보를 표시하는 처리를 컴퓨터에 실행시키는 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
제8항에 있어서,
상기 제2 영역은, 상기 제1 영역의 외측에 접하는 영역인 것을 특징으로 하는, 컴퓨터로 판독가능한 기록 매체.
제8항에 있어서,
상기 입력을 검출하는 처리에 있어서는, 상기 표시 화면 상에서의 입력을 검출하고,
상기 제2 영역은, 상기 입력이 검출된 상기 표시 화면 상의 위치와 상기 제1 영역의 사이의 영역을 포함하는 것을 특징으로 하는, 컴퓨터로 판독가능한 기록 매체.
제8항 내지 제10항 중 어느 한 항에 있어서,
상기 제2 영역에는, 상기 입력의 기준이 되는 보조선이 표시되고, 상기 보조선에 대한 상대적인 움직임이 검출되는 것을 특징으로 하는, 컴퓨터로 판독가능한 기록 매체.
제8항 내지 제10항 중 어느 한 항에 있어서,
상기 제1 영역은, 중심시가 가능한 영역에 대응하고, 상기 제2 영역은, 주변시가 가능한 영역에 대응하는 것을 특징으로 하는, 컴퓨터로 판독가능한 기록 매체.
사용자의 시선을 검출하고,
검출된 시선의 표시 화면 상의 시선 위치에 기초하여 정해지는 상기 표시 화면 상의 소정의 시야각 영역의 일부 또는 전부를 포함하고, 상기 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는 상기 표시 화면 상의 제1 영역을 결정하고,
상기 제1 영역 외이며, 상기 제1 영역보다도 상기 시선 위치로부터 먼 점을 포함하고, 또한 상기 제1 영역과 접하는, 상기 사용자에 의한 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정하고,
상기 제1 영역에 상기 제1 정보를 표시하고,
상기 사용자에 의한 입력을 검출하고,
상기 제2 영역에, 상기 제2 정보를 표시하는 처리를 컴퓨터에 실행시키는 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
사용자의 시선을 검출하고,
검출된 시선의 표시 화면 상의 시선 위치에 기초하여 정해지는 상기 표시 화면 상의 소정의 시야각 영역의 일부 또는 전부를 포함하고, 중심시가 가능한 영역에 대응하는, 상기 사용자의 움직임에 의한 입력 방법을 나타내는 제1 정보가 표시되는 상기 표시 화면 상의 제1 영역을 결정하고,
상기 제1 영역 외이며, 상기 제1 영역보다도 상기 시선 위치로부터 먼 점을 포함하고, 주변시가 가능한 영역에 대응하는, 상기 사용자에 의한 입력에 있어서의 상기 사용자의 움직임에 따른 궤적을 나타내는 제2 정보가 표시되는 제2 영역을 결정하고,
상기 제1 영역에 상기 제1 정보를 표시하고,
상기 사용자에 의한 입력을 검출하고,
상기 제2 영역에, 상기 제2 정보를 표시하는 처리를 컴퓨터에 실행시키는 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.