KR20140114283A

KR20140114283A - 정보 처리 장치

Info

Publication number: KR20140114283A
Application number: KR1020140006072A
Authority: KR
Inventors: 아끼히로 미나가와; 유따까 가쯔야마; 히로아끼 다께베; 요시노부 홋따
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2013-03-18
Filing date: 2014-01-17
Publication date: 2014-09-26
Also published as: EP2793102A3; JP2014182452A; US20140282235A1; EP2793102A2

Abstract

정보 처리 장치가 절차를 실행하는 프로세서를 포함한다. 상기 절차는, (a) 이용자의 장치에의 집중 정도에 관한 집중도 정보를 취득하고, (b) 그 이용자의 동작을 직접 또는 간접적으로 나타내는 동작 정보를 취득하고, (c) (a)에 의해 취득한 집중도 정보에 따라서, (b)에 의해 취득한 동작 정보가 조작 지시인지 아닌지를 판단하기 위한 제1 임계값을 결정하고, (d) (c)에 의해 결정된 그 제1 임계값을 사용하여, (a)에 의해 취득된 그 동작 정보가 나타내는 그 이용자의 동작이, 그 이용자가 의도한 조작 지시인지 아닌지를 판단하는 것을 포함한다.

Description

정보 처리 장치{INFORMATION PROCESSING DEVICE}

본 발명은, 정보 처리 장치에 관한 것이다.

PC(Personal Computer)나 태블릿 단말기 등의 정보 처리 장치에 있어서, 이용자가 행한 제스쳐나 발성 등의 동작을 정보 처리 장치에의 조작 지시로서 접수하는 기술이 제안되어 있다. 예를 들어, 이용자가 카메라를 주시한 상태에서 행한 제스쳐를, 이용자가 의도한 제스쳐로서 수리하는 한편, 이용자가 카메라와 다른 방향을 향한 상태에서 행한 제스쳐를, 이용자가 의도한 제스쳐가 아니라고 판단하는 기술이 제안되어 있다.

일본 특허 출원 공개 평11-249773호 공보

사람의 미세한 움직임 등을 조작 지시로 오인식하지 않도록, 일정한 임계값을 초과하지 않는 움직임은, 조작 지시로서 판단을 하지 않도록 하고 있다. 조작 지시를 의도한 움직임이, 그 임계값의 범위에 들어가지 않고, 조작 지시로서 인식되지 않는 경우가 있다고 하는 과제가 있었다.

개시된 기술은, 하나의 측면으로서, 이용자가 집중하고 있는 경우에도, 이용자가 조작 지시로서 의도한 동작을 조작 지시라고 판단하는 것이 목적이다.

본 발명의 양태에 따르면,

이용자의 장치에의 집중 정도에 관한 집중도 정보를 취득하는 집중도 정보 취득부와,

상기 이용자의 동작을 직접 또는 간접적으로 나타내는 동작 정보를 취득하는 동작 정보 취득부와,

상기 집중도 정보 취득부가 취득한 집중도 정보에 따라서, 상기 동작 정보 취득부가 취득한 동작 정보가 조작 지시인지 아닌지를 판단하기 위한 제1 임계값을 결정하는 임계값 결정 지시부와,

상기 임계값 결정 지시부에 의해서 결정된 상기 제1 임계값을 사용하여, 상기 동작 정보 취득부에 의해 취득된 상기 동작 정보가 나타내는 상기 이용자의 동작이, 상기 이용자가 의도한 조작 지시인지 아닌지를 판단하는 조작 지시 판단부

를 포함하는 정보 처리 장치를 제공한다.

도 1은 제1 실시 형태에 따른 정보 처리 장치의 기능 블록도이다.
도 2는 정보 처리 장치로서 기능하는 컴퓨터의 개략 블록도이다.
도 3은 제1 실시 형태에 따른 지시 인식 처리를 도시하는 흐름도이다.
도 4는 시선 위치 정보로부터의 임계값의 연산을 설명하기 위한 설명도이다.
도 5a는 시선 위치의 추이의 일례를 나타내는 선도이다.
도 5b는 이용자의 제스쳐(이동량의 미분값) 및 연속적으로 변경되는 임계값의 추이의 일례를 나타내는 선도이다.
도 6은 이용자의 제스쳐(이동량의 미분값) 및 단계적으로 변경되는 임계값의 추이의 일례를 각각 나타내는 선도이다.
도 7은 제2 실시 형태에 따른 지시 인식 처리를 도시하는 흐름도이다.
도 8은 이용자의 제스쳐(이동량의 미분값), 연속적으로 변경되는 임계값의 추이 및 동작 검출 구간의 일례를 나타내는 선도이다.
도 9는 제3 실시 형태에 따른 지시 인식 처리를 도시하는 흐름도이다.
도 10a는 시선 위치의 궤적이 액티브 윈도우 내에 포함되어 있는 경우를 도시하는 이미지도이다.
도 10b는 시선 위치의 궤적이 액티브 윈도우 내에 포함되어 있는 경우를 도시하는 이미지도이다.
도 11은 제4 실시 형태에 따른 정보 처리 장치의 기능 블록도이다.
도 12는 제4 실시 형태에 따른 지시 인식 처리를 도시하는 흐름도이다.
도 13a는 손이 먼 경우에서의, 이용자의 제스쳐(이동량의 미분값) 및 임계값의 추이의 일례를 나타내는 선도이다.
도 13b는 손이 가까운 경우에서의, 이용자의 제스쳐(이동량의 미분값) 및 임계값의 추이의 일례를 나타내는 선도이다.

발명자는, 조작 지시로서 행하는 동작의 크기(예를 들어 제스쳐의 크기나, 발성한 음성의 음량)가, 사람이 집중을 하고 있는 경우에는, 집중을 하지 않을 때에 비해, 작아지는 경향이 있는 것을 발견하였다. 사람이 집중하는 정도에 따라서, 조작 지시를 나타내는 동작의 크기인지 아닌지를 판단하는 임계값을 변경함으로써, 조작 지시인지 아닌지의 판단의 오류를 줄인다. 이하, 도면을 참조하여 개시된 기술의 실시 형태의 일례를 상세하게 설명한다.

〔제1 실시 형태〕

도 1에는, 본 제1 실시 형태에 따른 정보 처리 장치(10)가 도시되어 있다. 정보 처리 장치(10)는, 이용자가 소정의 동작(예를 들어 손에 의해 소정의 제스쳐를 행하는 동작이나 소정의 음성을 발하는 발성 동작 등)을 행함으로써 이루어진 조작 지시를 인식하고, 인식한 조작 지시에 따른 처리를 행하는 장치이다. 정보 처리 장치(10)는 집중도 정보 취득부(12), 동작 정보 취득부(14), 집중도 판단부(16), 임계값 변경 지시부(18) 및 조작 지시 판단부(20)를 구비하고 있다.

집중도 정보 취득부(12)는, 이용자가 집중하고 있는지 여부에 관련되는 물리량을 나타내는 집중도 정보를 취득한다. 이용자가 집중하고 있는지 여부에 관련되는 물리량의 일례로서는, 이용자의 시선 위치를 들 수 있다. 이 경우, 집중도 정보 취득부(12)는, 집중도 정보로서 이용자의 시선 위치를 나타내는 시선 위치 정보를 취득한다. 또한, 이용자가 집중하고 있는지 여부에 관련되는 물리량의 다른 예로서는, 이용자의 신체 동작(예를 들어 이용자의 헤드부의 움직임)을 들 수 있다. 이 경우, 집중도 정보 취득부(12)는, 집중도 정보로서 이용자의 신체 동작을 나타내는 신체 동작 정보를 취득한다. 시선 위치 정보나 신체 동작 정보는, 동화상을 촬영하는 기능을 구비한 촬영부에 의해 이용자가 촬영됨으로써 얻어진 동화상을 취득하고, 취득한 동화상을 해석함으로써 얻을 수 있다. 또한, 이하에서는, 집중도 정보로서 시선 위치 정보를 취득하는 형태를 주로 설명한다.

동작 정보 취득부(14)는, 조작 지시를 위해 행해진 이용자의 동작을 직접 또는 간접적으로 나타내는 동작 정보를 취득한다. 예를 들어, 이용자가 손을 움직여서 소정의 제스쳐를 행함으로써 조작 지시가 행해지는 경우, 동작 정보 취득부(14)는, 이용자의 동작을 직접적으로 나타내는 동작 정보로서, 촬영부에 의해 이용자가 촬영됨으로써 얻어진 동화상을 취득한다. 또한, 동작 정보 취득부(14)는, 상기 동화상 대신에, 상기 동화상에 대하여 이용자의 손을 화상 인식에 의해 추출한 결과를 취득하도록 해도 좋다. 또한, 예를 들어 이용자가 소정의 음성을 발하는 발성 동작을 행함으로써 조작 지시가 행해지는 경우, 동작 정보 취득부(14)는, 이용자의 동작을 간접적으로 나타내는 동작 정보로서, 음성 검출부에 의해 음성이 검출됨으로써 얻어진 음성 정보를 취득한다. 또한, 동작 정보 취득부(14)는, 상기 음성 정보 대신에, 상기 음성 정보에 대하여 음성 인식을 행한 결과를 취득하도록 해도 좋다. 이하에서는, 이용자가 손을 움직여서 소정의 제스쳐를 행함으로써 조작 지시가 행해지는 형태를 주로 설명한다.

집중도 판단부(16)는, 집중도 정보 취득부(12)에 의해 취득된 집중도 정보에 기초하여, 이용자가 집중하고 있는지 여부를 판단한다.

상술한 바와 같이, 사람은, 정보 처리 장치에 조작 지시를 부여하는 것에 집중하고 있는 경우, 조작 지시로서 행하는 동작의 크기(예를 들어 제스쳐의 크기나, 발성한 음성의 음량)가 작아지는 경향이 있다. 이로 인해, 임계값 변경 지시부(18)는 집중도 판단부(16)에 의한 판단 결과를 취득하고, 집중도 판단부(16)에 의해 이용자가 집중하고 있는 상태로 판단되었는지 여부에 따라서, 이용자가 행한 동작이 조작 지시를 의도하고 있는지 여부를 판단하기 위한 제1 임계값을 변경한다. 그리고 조작 지시 판단부(20)는 임계값 변경 지시부(18)에 의해 변경된 제1 임계값을 사용하여, 동작 정보 취득부(14)에 의해 취득된 동작 정보가 나타내는 이용자의 동작이, 이용자가 의도한 조작 지시인지 아닌지를 판단한다.

정보 처리 장치(10)는, 예를 들어 도 2에 도시하는 컴퓨터(30)로 실현할 수 있다. 컴퓨터(30)는 CPU(32), 메모리(34), 입력부(38), 표시부(40), 인터페이스(I/F)부(42)를 구비하고 있다. CPU(32), 메모리(34), 기억부(36), 입력부(38), 표시부(40), I/F부(42)는 버스(44)를 통하여 서로 접속되어 있다. I/F부(42)에는, 이용자를 촬영하는 촬영부(46) 및 이용자가 발한 음성을 검출하는 음성 검출부(48)가 접속되어 있다.

또한, 기억부(36)는 HDD(Hard Disk Drive)나 플래시 메모리 등에 의해 실현할 수 있다. 기록 매체로서의 기억부(36)에는, 컴퓨터(30)를 정보 처리 장치(10)로서 기능시키기 위한 지시 인식 프로그램(50)이 기억되어 있다. CPU(32)는, 지시 인식 프로그램(50)을 기억부(36)로부터 판독하여 메모리(34)에 전개하고, 지시 인식 프로그램(50)이 갖는 프로세스를 차례로 실행한다.

지시 인식 프로그램(50)은, 집중도 정보 취득 프로세스(52), 집중도 판단 프로세스(54), 동작 정보 취득 프로세스(56), 임계값 변경 지시 프로세스(58) 및 조작 지시 판단 프로세스(60)를 갖는다. CPU(32)는, 집중도 정보 취득 프로세스(52)를 실행함으로써, 도 1에 도시하는 집중도 정보 취득부(12)로서 동작한다. 또한 CPU(32)는, 집중도 판단 프로세스(54)를 실행함으로써, 도 1에 도시하는 집중도 판단부(16)로서 동작한다. 또한 CPU(32)는, 동작 정보 취득 프로세스(56)를 실행함으로써, 도 1에 도시하는 동작 정보 취득부(14)로서 동작한다. 또한 CPU(32)는, 임계값 변경 지시 프로세스(58)를 실행함으로써, 도 1에 도시하는 임계값 변경 지시부(18)로서 동작한다. 또한 CPU(32)는, 조작 지시 판단 프로세스(60)를 실행함으로써, 도 1에 도시하는 조작 지시 판단부(20)로서 동작한다.

이에 의해, 지시 인식 프로그램(50)을 실행한 컴퓨터(30)가, 정보 처리 장치(10)로서 기능하게 된다. 또한, 지시 인식 프로그램(50)은 개시된 기술에 있어서의 정보 처리 프로그램의 일례이다. 또한, 컴퓨터(30)는 퍼스널 컴퓨터(PC:Personal Computer)나, 휴대 정보 단말기(PDA:Personal Digital Assistants)의 기능을 탑재한 휴대형의 정보 처리 장치인 스마트 단말기이어도 좋다.

또한, 정보 처리 장치(10)는, 예를 들어 반도체 집적 회로, 보다 상세하게는 ASIC(Application Specific Integrated Circuit) 등으로 실현하는 것도 가능하다.

이용자가 손으로 소정의 제스쳐를 행하거나 소정의 음성을 발성함으로써 조작 지시를 행할 때에는, 조작 지시를 의도하지 않는, 무의식의 손 움직임이나 음성이 발생하는 경우가 있다. 이로 인해, 무의식의 손 움직임이나 음성을 실수로 조작 지시로 인식하는 일이 없도록, 미리 정해진 범위 외의 큰 움직임이나 미세한 움직임, 또는, 소정값 이하의 음량의 음성은, 조작 지시로서 인식하지 않는 것이 일반적이다.

그러나, 상술한 바와 같이, 사람은, 정보 처리 장치에 조작 지시를 부여하는 것에 집중하고 있는 경우, 조작 지시로서 행하는 제스쳐의 크기나, 발성한 음성의 음량이 작아지는 경향이 생각된다. 이로 인해, 이용자가 정보 처리 장치에의 조작 지시의 입력에 집중하고 있는 경우, 이용자가 행한 제스쳐를 이용자가 의도한 제스쳐가 아니라고 판단되는 경우가 있었다.

상기를 고려하여, 본 제1 실시 형태에 따른 정보 처리 장치(10)는, 도 3에 도시하는 지시 인식 처리를 행한다. 지시 인식 처리의 스텝 100에서, 집중도 정보 취득부(12)는 집중도 정보로서 시선 위치 정보를 취득한다. 즉, 집중도 정보 취득부(12)는 촬영부(46)가 이용자를 촬영함으로써 얻어진 동화상을 취득하고, 취득한 동화상을 해석함으로써 이용자의 시선 위치를 인식하고, 시선 위치 정보를 취득한다. 또한, 시선 위치의 인식에는, 예를 들어 일본 특허 출원 공개 제2004-21870호 공보에 기재된 기술을 적용할 수 있다.

다음의 스텝 102에서, 집중도 판단부(16)는 집중도 정보 취득부(12)에 의해 취득된 집중도 정보에 기초하여, 이용자가 집중하고 있는 정도를 나타내는 집중도 F를 판단한다. 집중도 F는, 이용자의 시선 위치가 도 4에 도시하는 바와 같이 추이하고, 현시점을 m, 동화상의 1프레임 전의 타이밍을 n으로 하면, 타이밍 n으로부터 타이밍 m에 이르는 기간에서의 시선 위치의 최대값 A와 최소값 B의 차를 함수 f에 대입해서 구할 수 있다(수학식 1 참조).

또한, 함수 f는, 이하의 수학식 2에 나타내는 바와 같이 입력값의 역수를 출력하는 함수이어도 좋고, 이하의 수학식 3에 나타내는 바와 같이 지수 함수이어도 좋다. 또한, 함수 f는, 입력값이 증가함에 따라서 출력값이 감소하는 것이면 좋고, 테이블을 사용하여, 입력값(A-B)의 증가에 대하여 출력값이 이산적으로 감소하도록 변화시켜도 좋다.

다음의 스텝 104에서, 임계값 변경 지시부(18)는 집중도 판단부(16)에 의해 판단된 집중도 F에 따라서, 이용자의 동작을 직접 또는 간접적으로 나타내는 동작 정보에 대한 임계값 TH를 변경 설정한다. 임계값 TH는 개시된 기술에 있어서의 제1 임계값의 일례이다. 임계값 TH는, 예를 들어 다음의 수학식 4에 나타내는 바와 같이, 집중도 F의 역수로 할 수 있다.

이에 의해, 이용자의 시선 위치가 예를 들어 도 5a에 도시하는 바와 같이 추이한 경우, 도 5b에 파선으로 나타내는 바와 같이, 임계값 TH는, 이용자의 시선 위치의 변화가 작아짐에 따라서 값이 작아지는 변화를 나타낸다. 또한, 도 5b에 파선으로 나타내는 임계값 TH는, 임의의 시간 내의 시선 위치의 변화로부터 구해지는 조작 지시 판정의 임계값을 나타내고 있다.

또한, 도 5b는, 함수 f로서 연속 함수를 적용한 경우이지만, 입력값(A-B)의 증가에 대하여 출력값이 이산적으로 감소하는 함수 f를 이용한 경우는, 도 5a에 도시하는 바와 같은 이용자의 시선 위치의 추이에 대해, 임계값 TH가 도 6에 도시하는 바와 같이 이산적으로 변화한다. 또한, 도 6의 경우에도, 임계값 TH는, 이용자의 시선 위치의 변화가 작아짐에 따라서 값이 작아지는 변화를 나타낸다.

다음의 스텝 106에서, 동작 정보 취득부(14)는, 이용자의 동작을 직접적으로 나타내는 동작 정보로서, 촬영부(46)에 의해 이용자가 촬영됨으로써 얻어진 동화상을 취득한다. 그리고, 취득한 동화상을 해석함으로써, 이용자가 손을 움직여서 행한 제스쳐를 인식한다. 또한, 제스쳐의 인식에는, 예를 들어 일본 특허 출원 공개 제2011-76255호 공보에 기재된 기술을 적용할 수 있다.

다음의 스텝 108에서, 조작 지시 판단부(20)는, 동작 정보 취득부(14)에 의해 취득된 동작 정보가 나타내는 이용자의 동작(제스쳐)의 크기를, 임계값 변경 지시부(18)에 의해 변경 설정된 임계값 TH와 비교한다. 그리고 다음의 스텝 110에서, 조작 지시 판단부(20)는, 이용자의 동작(제스쳐)의 크기를 임계값 TH와 비교한 결과에 기초하여, 이용자에 의해 조작 지시가 행해졌는지 여부를 판단한다.

예를 들어 이용자의 시선 위치의 변화가 비교적 큰 기간에는, 임계값 TH가 비교적 큰 값이 된다. 이로 인해, 도 5b 및 도 6에 부호 82로 나타내는 바와 같이, 「움직임은 크지만, 시선 위치로부터 구해지는 임계값 미만」이 되고, 이용자에게 무의식의 손 움직임이 발생하였다고 해도, 그 움직임을 조작 지시가 행해졌다고 오인식하는 것이 방지된다. 또한, 예를 들어 이용자의 시선 위치의 변화가 비교적 작은 기간에는, 임계값 TH가 비교적 작은 값이 된다. 이로 인해, 도 5b 및 도 6에 부호 80으로 나타내는 바와 같이, 「움직임은 작지만, 시선 위치로부터 구해지는 임계값 초과」가 되고, 조작 지시로서 의도한 비교적 작은 손의 움직임이라도, 조작 지시가 행해졌다고 인식할 수 있다.

스텝 110의 판정이 부정된 경우는 지시 인식 처리를 종료한다. 한편, 스텝 110의 판정이 긍정된 경우는 스텝 112로 이행한다. 스텝 112에서, 조작 지시 판단부(20)는, 이용자에 의한 조작 지시에 따른 처리를 실행한다. 이용자의 조작 지시에 따른 처리로서는, 예를 들어 임의의 파일이나 링크를 개방하는 처리, 개방된 임의의 파일이나 링크를 폐쇄하는 처리, 커서의 위치를 이동시키는 처리 등을 들 수 있다.

이에 의해, 이용자가 손을 움직여서 행한 제스쳐를 행함으로써, 정보 처리 장치(10)에 조작 지시를 부여하는 것이 가능하게 된다. 또한, 이용자가 집중하고 있음으로써 이용자의 동작(제스쳐)의 크기가 작아진 경우에도, 이용자가 조작 지시로서 의도한 동작(제스쳐)을, 조작 지시로서 인식할 수 있다.

〔제2 실시 형태〕

다음에 개시된 기술의 제2 실시 형태에 대해서 설명한다. 또한, 제2 실시 형태는 제1 실시 형태와 동일한 구성이므로, 각 부분에 동일한 번호를 부여해서 구성의 설명을 생략하고, 이하, 도 7을 참조하여 본 제2 실시 형태의 작용을 설명한다.

본 제2 실시 형태에 따른 지시 인식 처리는, 스텝 102에서 집중도 판단부(16)가 집중도 F를 판단한 후, 스텝 114로 이행한다. 스텝 114에서, 집중도 판단부(16)는 집중도 F를 미리 정해진 집중도에 관한 임계값 THF와 비교하고, 집중도 F가 임계값 THF 이상인지 여부를 판정한다. 임계값 THF는 개시된 기술에 있어서의 제2 임계값의 일례이다. 집중도 F가 임계값 THF 이상인 경우는 스텝 114의 판정이 긍정되고, 스텝 104 이후의 처리[임계값 변경 지시부(18)에 의한 임계값 TH의 변경 설정, 동작 정보 취득부(14)에 의한 동작 정보의 취득 및 조작 지시 판단부(20)에 의한 조작 지시의 판단]가 행해진다.

한편, 집중도 F가 임계값 THF 미만인 경우는 스텝 114의 판정이 부정되어 지시 인식 처리를 종료한다. 이 경우, 스텝 104 이후의 처리[임계값 변경 지시부(18)에 의한 임계값 TH의 변경 설정, 동작 정보 취득부(14)에 의한 동작 정보의 취득 및 조작 지시 판단부(20)에 의한 조작 지시의 판단]가 생략된다. 따라서, 도 8에 도시하는 동작 검출 구간보다도 이전의 기간에는, 집중도 F가 임계값 THF 미만임으로써 동작 정보의 취득 등의 처리가 정지되고, 도 8에 도시하는 동작 검출 구간에는, 집중도 F가 임계값 THF 이상이 됨으로써 동작 정보의 취득 등의 처리가 개시되게 된다. 또한, 도 8에 도시하는 파선은 연속적으로 변화하는 조작 지시 판정의 임계값을 나타내고, 부호 82는 「움직임은 크지만, 시선 위치로부터 구해지는 임계값 미만」이 되는 것을 나타내고, 부호 80은 「움직임은 작지만, 시선 위치로부터 구해지는 임계값 초과」가 되는 것을 나타내고 있다.

이와 같이, 본 제2 실시 형태는, 제1 실시 형태와 마찬가지로, 이용자가 집중하고 있음으로써 이용자의 동작(제스쳐)의 크기가 작아진 경우에, 이용자가 조작 지시로서 의도한 동작(제스쳐)을 조작 지시로서 인식할 수 있다. 또한, 본 제2 실시 형태에서는, 집중도 F가 임계값 THF 미만인 기간에는 동작 정보가 취득되지 않고, 조작 지시의 판단이 행해지지 않는다. 이로 인해, 집중하지 않는 상태의 이용자가 무의식적으로 손을 크게 움직였다고 해도, 그 동작이 조작 지시로서 오인식되는 것을 방지할 수 있다. 또한, 집중을 하지 않고, 조작 지시를 제시하지 않은 상황일 때에, 동작 정보의 취득을 정지함으로써, 컴퓨터의 처리의 부하를 경감할 수 있다.

〔제3 실시 형태〕

다음에 개시된 기술의 제3 실시 형태에 대해서 설명한다. 또한, 제3 실시 형태도 제1 실시 형태와 동일한 구성이므로, 각 부분에 동일한 번호를 부여해서 구성의 설명을 생략하고, 이하, 도 9를 참조하여 본 제3 실시 형태의 작용을 설명한다.

본 제3 실시 형태에 따른 지시 인식 처리는, 제2 실시 형태와 마찬가지로, 스텝 102에서 집중도 판단부(16)에 의해 집중도 F가 판단되고, 다음의 스텝 114에서 집중도 판단부(16)에 의해 집중도 F가 임계값 THF 이상인지 여부가 판정된다. 또한, 집중도 F가 임계값 THF 이상인 경우는 스텝 114의 판정이 긍정되어 스텝 116으로 이행한다.

스텝 116에서, 집중도 판단부(16)는, 집중도 정보 취득부(12)에 의해 취득된 시선 위치 정보가 나타내는 시선 위치가, 표시부(40)에 표시되어 있는 윈도우 중, 액티브한 윈도우 내에 위치하고 있는지 여부를 판정한다. 스텝 116의 판정은, 표시부(40)에 표시되어 있는 액티브한 윈도우의 표시 범위를 취득하고, 시선 위치가 액티브한 윈도우의 표시 범위 내에 포함되는지 여부를 판정함으로써 행할 수 있다.

예로서 도 10a에 도시하는 바와 같이, 이용자의 시선 위치의 궤적이 액티브한 윈도우 내에 포함되어 있는 경우, 이용자는 액티브한 윈도우 내를 주시하고 있으므로, 이용자가 집중하고 있다고 판단할 수 있다. 이 경우는 스텝 116의 판정이 긍정되어 스텝 104로 이행하고, 스텝 104 이후의 처리[임계값 변경 지시부(18)에 의한 임계값 TH의 변경 설정, 동작 정보 취득부(14)에 의한 동작 정보의 취득 및 조작 지시 판단부(20)에 의한 조작 지시의 판단]가 행해진다.

한편, 예로서 도 10b에 도시하는 바와 같이, 이용자의 시선 위치의 궤적이 액티브한 윈도우로부터 일탈하고 있는 경우, 이용자는 액티브한 윈도우 내를 주시 하지 않고, 이용자가 집중하지 않는다고 판단할 수 있다. 이 경우는 스텝 116의 판정이 부정되어 지시 인식 처리가 종료됨으로써, 스텝 104 이후의 처리가 생략된다.

이와 같이, 본 제3 실시 형태는, 이용자의 시선 위치가 액티브한 윈도우 내에 위치하고 있는지 여부를 판정함으로써, 이용자가 집중하고 있는지 여부를 판단하고 있으므로, 이용자가 집중하고 있는지 여부를 보다 고정밀도로 판단할 수 있다. 또한, 본 제3 실시 형태에 있어서도, 이용자가 집중하고 있을 때에 이용자가 조작 지시로서 의도한 동작(제스쳐)을, 조작 지시로서 인식할 수 있다. 또한, 본 제3 실시 형태에 있어서도, 집중하지 않는 상태의 이용자가 무의식적으로 손을 크게 움직인 경우에, 그 동작이 조작 지시로서 오인식되는 것을 방지할 수 있다.

〔제4 실시 형태〕

다음에 개시된 기술의 제4 실시 형태에 대해서 설명한다. 또한, 제1 실시 형태 내지 제3 실시 형태와 동일한 부분에는 동일한 부호를 붙이고, 설명을 생략한다.

도 11에는 본 제4 실시 형태에 따른 정보 처리 장치(22)가 도시되어 있다. 정보 처리 장치(22)는, 제1 실시 형태에서 설명한 정보 처리 장치(10)와 비교하여, 거리 추정부(24) 및 규격화부(26)가 설치되어 있는 점에서 상위하고 있다.

거리 추정부(24)는, 예를 들어 촬영부(46)에 의해 이용자가 촬영됨으로써 얻어진 화상 중의 이용자의 손에 상당하는 화상 영역의 크기에 기초하여 이용자와의 거리를 추정한다. 또한, 이용자와의 거리의 추정은, 이용자의 손에 상당하는 화상 영역의 크기 대신에, 이용자의 얼굴 등에 상당하는 화상 영역의 크기에 기초하여 행해도 좋다. 또한, 예를 들어 촬영부(46)가 복수의 촬상 소자를 구비한 구성의 경우에는, 화상 영역의 크기에 기초하여 이용자와의 거리를 추정하는 것 대신에, 복수의 촬상 소자에 의해 각각 촬영된 복수의 화상에 있어서의 화상 영역의 위치의 차에 기초하여 이용자와의 거리를 추정해도 좋다. 또한, 화상에 기초하여 이용자와의 거리를 추정하는 것 대신에, 예를 들어 적외선 등을 이용해서 이용자와의 거리를 측정해도 좋다.

규격화부(26)는 거리 추정부(24)에 의해 추정된 이용자와의 거리에 따라서, 동작 정보 취득부(14)에 의해 취득된 동작 정보가 나타내는 이용자의 동작 크기, 또는 임계값 변경 지시부(18)에 의해 변경된 임계값 TH를 규격화(보정)한다. 예를 들어, 이용자가 손을 움직여서 소정의 제스쳐를 행한 경우의 동화상 상에서의 이용자의 손에 상당하는 화상 영역의 위치 변화의 크기는, 이용자와의 거리가 커짐에 따라서 작아진다. 이로 인해, 규격화부(26)는, 이용자의 동작 크기를 규격화하는 경우, 이용자와의 거리가 커짐에 따라서 이용자의 동작 크기가 커지도록, 이용자의 동작 크기를 규격화(보정)한다. 또한, 규격화부(26)는, 임계값 TH를 규격화하는 경우, 이용자와의 거리가 커짐에 따라서 임계값 TH가 작아지도록, 임계값 TH를 규격화(보정)한다.

본 제4 실시 형태에 따른 지시 인식 프로그램(50)은, 도 2에 파선으로 나타내는 바와 같이, 거리 추정 프로세스(62) 및 규격화 프로세스(64)를 더 갖고 있다. 본 제4 실시 형태에 따른 컴퓨터(30)의 CPU(32)는 거리 추정 프로세스(62)를 실행함으로써, 도 1에 도시하는 거리 추정부(24)로서 동작한다. 또한, 본 제4 실시 형태에 따른 컴퓨터(30)의 CPU(32)는 규격화 프로세스(64)를 실행함으로써, 도 1에 도시하는 규격화부(26)로서 동작한다. 이에 의해, 지시 인식 프로그램(50)을 실행한 컴퓨터(30)가, 정보 처리 장치(22)로서 기능하게 된다.

다음에 본 제4 실시 형태의 작용으로서, 도 12를 참조하고, 본 제4 실시 형태에 따른 지시 인식 처리에 대해서, 제1 실시 형태에서 설명한 지시 인식 처리(도 3)와 다른 부분을 설명한다. 본 제4 실시 형태에 따른 지시 인식 처리는, 스텝 106에서 동작 정보 취득부(14)가 동작 정보를 취득한 후, 스텝 118로 이행한다. 스텝 118에서, 거리 추정부(24)는, 촬영부(46)에 의해 이용자가 촬영됨으로써 얻어진 화상 중의 이용자의 손에 상당하는 화상 영역의 크기에 기초하여 이용자와의 거리를 추정한다.

이용자의 손에 상당하는 화상 영역의 크기에 기초하는 이용자와의 거리의 추정으로서는 2개의 수법이 생각된다. 제1 수법은, 예를 들어 서로 크기가 다른 손의 화상의 복수의 템플릿을, 개개의 템플릿에 있어서의 손의 크기에 대응하는 이용자와의 거리와 대응지어 등록해 둔다. 다음에, 복수의 템플릿 중으로부터, 이용자의 손에 상당하는 화상 영역의 크기와 가장 가까운 템플릿을 템플릿 매칭에 의해 선택한다. 그리고, 선택한 템플릿과 대응지어진 이용자와의 거리를, 이용자와의 거리의 추정 결과로서 추출한다. 이에 의해, 이용자의 손에 상당하는 화상 영역의 크기로부터 이용자와의 거리를 추정할 수 있다.

또한 제2 수법은, 촬영부(46)에 의해 이용자가 촬영됨으로써 얻어진 화상 상에서의 이용자의 손에 상당하는 화상 영역의 면적을 평가함으로써, 이용자와의 거리를 추정한다. 구체적으로는, 이용자와의 거리가 서로 다른 복수의 값의 경우에 대해서, 이용자의 손에 상당하는 화상 영역의 면적(화소수)을 각각 계수하고, 각 경우마다 계수한 화상 영역의 면적(화소수)을 이용자와의 거리와 대응지어 등록해 둔다. 다음에, 화상 중에 존재하는 이용자의 피부색 영역을 추출함으로써, 이용자의 손에 상당하는 화상 영역을 추출하고, 추출한 화상 영역의 화소수를 계수한다. 다음에, 등록되어 있는 복수의 면적(화소수) 중으로부터, 계수한 화상 영역의 화소수에 가장 가까운 면적(화소수)을 선택하고, 선택한 면적(화소수)과 대응지어진 이용자와의 거리를, 이용자와의 거리의 추정 결과로서 추출한다. 이에 의해, 이용자의 손에 상당하는 화상 영역의 크기로부터 이용자와의 거리를 추정할 수 있다.

또한, 제2 수법에 있어서, 촬영부(46)의 광학계의 초점 거리를 f, 면적이 x㎠의 이용자의 손을 촬영하였을 때의 화상 영역의 화소수를 y로 하면, 이용자와의 거리 z는, 다음 수학식 5의 연산을 행함으로써 구하는 것도 가능하다.

다음의 스텝 120에서, 규격화부(26)는, 스텝 118에서 추정된 이용자와의 거리에 따라서, 임계값 변경 지시부(18)에 의해 변경된 임계값 TH를 규격화(보정)한다. 즉, 규격화부(26)는, 이용자와의 거리가 커짐에 따라서 임계값 TH가 작아지고, 이용자와의 거리가 작아짐에 따라서 임계값 TH가 커지도록, 임계값 변경 지시부(18)에 의해 변경된 후의 임계값 TH를 규격화(보정)한다. 이 규격화(보정)는, 예를 들어, 이용자와의 거리가 커짐에 따라서 값이 감소하는 계수를 임계값 TH에 곱함으로써 실현할 수 있다. 또한, 스텝 120의 처리를 행하면 스텝 108로 이행하고, 스텝 108 이후의 처리가 행해진다.

예로서 도 13a는 이용자와의 거리가 비교적 큰(수가 먼) 경우의 일례를 나타낸다. 도 13a에 도시하는 예는, 이용자가 집중하고 있음으로써 이용자의 동작(제스쳐)의 크기가 작아졌을 때에, 임계값 TH(도 13에서는 「조작 지시 판정의 임계값」이라고 표기)가 비교적 작아지도록 규격화되어 있다. 이에 의해, 도 13a에 도시하는 예에서는, 이용자에 의해 조작 지시를 의도한 제스쳐가 행해지면, 이용자와의 거리가 비교적 큼으로써 동작 정보가 나타내는 이용자의 동작 크기가 비교적 작아도, 조작 지시가 행해졌다고 인식할 수 있다. 또한, 도 13a에 도시하는 부호 82는 「움직임은 크지만, 시선 위치로부터 구해지는 임계값 미만」이 되는 것을 나타내고, 부호 80은 「움직임은 작지만, 시선 위치로부터 구해지는 임계값 초과」가 되는 것을 나타내고 있다.

한편, 도 13b는 이용자와의 거리가 비교적 작은(수가 가까운) 경우의 일례를 나타낸다. 도 13b에 도시하는 예는, 이용자가 집중하고 있음으로써 이용자의 동작(제스쳐)의 크기가 작아졌을 때에, 임계값 TH가 도 13a에 도시하는 예보다도 비교적 큰 값으로 규격화되어 있다. 도 13b에 도시하는 예는, 동작 정보가 나타내는 이용자의 동작 크기는 도 13a에 도시하는 예와 동일한 정도이지만, 이용자와의 거리가 비교적 작으므로, 이용자의 실제의 동작 크기는 도 13a에 도시하는 예보다도 작다. 이로 인해, 도 13b에 도시하는 예에서는, 이용자가 조작 지시를 의도하지 않고 손을 움직인 경우에, 조작 지시가 행해졌다고 오인식하는 것이 방지된다. 또한, 도 13b에 도시하는 부호 82는 「움직임은 크지만, 시선 위치로부터 구해지는 임계값 미만」이 되는 것을 나타내고, 부호 84는 「움직임은 작고, 시선 위치로부터 구해지는 임계값을 초과하지 않는다」는 것을 나타내고 있다.

이와 같이, 본 제4 실시 형태에서는, 이용자와의 거리가 커짐에 따라서 임계값 TH가 작아지고, 이용자와의 거리가 작아짐에 따라서 임계값 TH가 커지도록, 임계값 TH를 규격화(보정)하고 있다. 이에 의해, 이용자의 거리에 따라서 변동하는, 동작 정보가 나타내는 이용자의 동작 크기의 영향을 받지 않고, 이용자가 조작 지시로서 의도한 동작을 정확하게 조작 지시로 판단할 수 있다.

또한, 제4 실시 형태에서는, 이용자와의 거리에 따라서 임계값 TH를 규격화(보정)하는 형태를 설명하였지만, 개시된 기술은 이에 한정되는 것은 아니다. 규격화부(26)는, 이용자와의 거리에 따라서, 동작 정보 취득부(14)에 의해 취득된 동작 정보가 나타내는 이용자의 동작 크기를 규격화(보정)하도록 해도 좋다. 동작 정보가 나타내는 이용자의 동작 크기의 규격은, 이용자와의 거리가 커짐에 따라서 동작 정보가 나타내는 이용자의 동작 크기가 커지고, 이용자와의 거리가 작아짐에 따라서 동작 정보가 나타내는 이용자의 동작 크기가 작아지도록 행할 수 있다. 이것은, 예를 들어, 이용자와의 거리가 커짐에 따라서 값이 증가하는 계수를 동작 정보가 나타내는 이용자의 동작 크기로 곱함으로써 실현할 수 있다. 이 경우도, 이용자의 거리에 따라서 변동하는, 동작 정보가 나타내는 이용자의 동작 크기의 영향을 받지 않고, 이용자가 조작 지시로서 의도한 동작을 정확하게 조작 지시로 판단할 수 있다.

또한, 상기에서는 이용자의 집중도 F에 따라서 임계값 TH를 변경 설정하는 형태를 설명하였지만, 이에 한정되는 것이 아니라, 이용자의 시선 위치가 어느 하나의 위치에 위치하고 있을지도 고려해서 임계값 TH를 변경하도록 해도 좋다. 예를 들어, 표시부(40)에 아이콘이 표시되어 있는 상태에서, 이용자의 시선 위치가 표시되어 있는 아이콘 내에 체류하고 있는 경우는, 상기에서 설명한 임계값 TH를 그대로 이용한다. 한편, 이용자의 시선 위치가 표시되어 있는 아이콘으로부터 떨어져 있는 경우는, 집중도 판단부(16)에 의해 판단된 집중도 F에 계수 1/x를 곱하고, 계수 1/x를 곱한 집중도 F에 기초하여 임계값 TH를 구하도록 해도 좋다. 이 경우, 이용자가 아이콘을 주시하고 있으면 이용자의 집중도가 높고, 이용자가 아이콘을 주시하고 있지 않으면 이용자의 집중도가 낮다고 판단하여, 이용자가 조작 지시로서 행하는 제스쳐를 판단하게 된다. 따라서, 이용자의 집중 정도를 보다 반영한, 보다 정확한 조작 지시의 판단을 행할 수 있다.

또한, 상기의 이용자가 아이콘을 주시하고 있는지 여부를 판단하는 형태에 있어서, 이용자의 시선 위치가 아이콘 내에 체류하고 있는 경우에, 체류하고 있는 아이콘의 크기도 감안하여 임계값 TH를 결정하도록 해도 좋다. 구체적으로는, 이용자의 시선 위치가 체류하고 있는 아이콘의 크기를 m으로 하였을 때에, 집중도 F를 다음의 수학식 6에 의해 구한다.

그리고, 수학식 6에 의해 구한 집중도 F에 기초하여 임계값 TH를 결정한다. 이 형태에서는, 이용자가 주시하고 있는 아이콘의 크기가 작아짐에 따라서 집중도 F의 값이 높아지고, 집중도 F의 값이 높아짐에 따라서 임계값 TH의 값이 작아짐으로써 이용자의 동작이 조작 지시로 인식되기 쉬워진다. 따라서, 이 형태도, 이용자의 집중 정도를 보다 반영한, 보다 정확한 조작 지시의 판단을 행할 수 있다.

또한, 상기에서는 이용자의 동작의 일례로서 이용자가 조작 지시로서 행하는 제스쳐를 주로 설명하였지만, 개시된 기술은 이에 한정되는 것이 아니라, 이용자의 동작은, 예를 들어 소정의 음성을 발하는 발성 동작이어도 좋다. 이 경우, 동작 정보 취득부(14)는, 이용자의 동작을 간접적으로 나타내는 동작 정보로서 이용자가 발한 음성을 나타내는 음성 정보를 취득한다. 또한 조작 지시 판단부(20)는, 동작 정보 취득부(14)에 의해 취득된 음성 정보가 간접적으로 나타내는 이용자의 발성 동작에 의한 음성의 크기를 임계값 TH와 비교함으로써, 이용자의 발성 동작이 이용자의 의도한 조작 지시인지 아닌지를 판단한다.

또한, 상기에서는 이용자가 집중하고 있는지 여부에 관련되는 물리량의 일례로서 이용자의 시선 위치를 설명하였지만, 개시된 기술은 이에 한정되는 것이 아니라, 상기한 물리량은, 예를 들어 이용자의 신체 동작이어도 좋다. 신체 동작의 일례로서는 이용자의 헤드부의 움직임을 적용할 수 있다. 또한, 예를 들어 「P. Viola and M. Jones, "Robust real-time face detection", Int. J. of Computer Vision. Vol. 57, no. 2, pp. 137-154, 2004」에 기재된 기술을 적용할 수 있다. 이 경우, 집중도 정보 취득부(12)는 집중도 정보의 일례로서, 이용자의 헤드부의 움직임을 나타내는 신체 동작 정보를 취득한다. 또한, 집중도 판단부(16)는, 집중도 정보 취득부(12)에 의해 취득된 신체 동작 정보가 나타내는 신체 동작이 미리 정해진 임계값보다도 작은 경우에, 이용자가 집중하고 있다고 판단한다.

또한, 상기에서는 개시된 기술에 따른 정보 처리 프로그램의 일례인 지시 인식 프로그램(50)이 기억부(36)에 미리 기억(인스톨)되어 있는 형태를 설명하였지만, 이에 한정되는 것은 아니다. 개시된 기술에 따른 정보 처리 프로그램은, CD-ROM이나 DVD-ROM 등의 기록 매체에 기록되어 있는 형태로 제공하는 것도 가능하다.

본 명세서에 기재된 모든 문헌, 특허 출원 및 기술 규격은, 개개의 문헌, 특허 출원 및 기술 규격이 참조에 의해 도입되는 것이 구체적 또한 개별적으로 기재된 경우와 동일한 정도로, 본 명세서 중에 참조에 의해 도입된다.

개시된 기술은, 하나의 측면으로서, 이용자가 집중하고 있는 경우에도, 이용자가 조작 지시로서 의도한 동작을 조작 지시로 판단할 수 있다고 하는 효과를 갖는다.

Claims

이용자의 장치에의 집중 정도에 관한 집중도 정보를 취득하는 집중도 정보 취득부와,
상기 이용자의 동작을 직접 또는 간접적으로 나타내는 동작 정보를 취득하는 동작 정보 취득부와,
상기 집중도 정보 취득부가 취득한 집중도 정보에 따라서, 상기 동작 정보 취득부가 취득한 동작 정보가 조작 지시인지 아닌지를 판단하기 위한 제1 임계값을 결정하는 임계값 결정 지시부와,
상기 임계값 결정 지시부에 의해서 결정된 상기 제1 임계값을 사용하여, 상기 동작 정보 취득부에 의해 취득된 상기 동작 정보가 나타내는 상기 이용자의 동작이, 상기 이용자가 의도한 조작 지시인지 아닌지를 판단하는 조작 지시 판단부
를 포함하는 정보 처리 장치.
제1항에 있어서,
상기 집중도 정보 취득부는, 상기 집중도 정보로서 상기 이용자의 시선 위치를 나타내는 시선 위치 정보를 취득하는 정보 처리 장치.
제2항에 있어서,
상기 집중도 정보 취득부는, 상기 시선 위치 정보가 나타내는 시선 위치가 특정한 범위 내에 위치하고 있는 경우에, 상기 집중도 정보가 나타내는 이용자의 장치에의 집중 정도를 보다 높게 하는 정보 처리 장치.
제3항에 있어서,
상기 집중도 정보 취득부는, 표시부에 표시되어 있는 액티브 윈도우를 나타내는 정보를 취득하고, 상기 특정한 범위가 액티브 윈도우인 경우에, 상기 집중도 정보가 나타내는 이용자의 장치에의 집중 정도를 보다 높게 하는 정보 처리 장치.
제1항에 있어서,
상기 집중도 정보 취득부는, 상기 집중도 정보로서 상기 이용자의 신체 동작을 나타내는 신체 동작 정보를 취득하는 정보 처리 장치.
제5항에 있어서,
상기 집중도 정보 취득부는, 상기 이용자의 신체 동작으로서 상기 이용자의 헤드부의 움직임을 나타내는 신체 동작 정보를 취득하는 정보 처리 장치.
제1항에 있어서,
상기 동작 정보 취득부는, 상기 집중도 정보가 상기 이용자가 집중하지 않는 상태를 나타내는 경우에, 상기 동작 정보의 취득을 중단하는 정보 처리 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 임계값 결정 지시부는, 상기 이용자가 집중하고 있는 정도에 따라서, 상기 제1 임계값을 연속적 또는 단계적으로 변경하는 정보 처리 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 이용자와의 거리를 추정하는 거리 추정부와,
상기 거리 추정부에 의해 추정된 상기 이용자와의 거리에 따라서, 상기 동작 정보가 나타내는 상기 이용자의 동작 크기 또는 상기 제1 임계값을 규격화하는 규격화부를 더 포함하는 정보 처리 장치.
컴퓨터에,
이용자의 장치에의 집중 정도에 관한 집중도 정보를 취득하고,
상기 이용자의 동작을 직접 또는 간접적으로 나타내는 동작 정보를 취득하고,
취득한 상기 집중도 정보에 따라서, 취득한 상기 동작 정보가 조작 지시인지 아닌지를 판단하기 위한 제1 임계값을 결정하고,
결정한 상기 제1 임계값을 사용하여, 취득한 상기 동작 정보가 나타내는 상기 이용자의 동작이, 상기 이용자가 의도한 조작 지시인지 아닌지를 판단하는
것을 포함하는 처리를 행하게 하기 위한 정보 처리 프로그램을 기억한 기억 매체.