KR20160022403A - 요소 선택 장치, 요소 선택 방법 및 프로그램 - Google Patents

요소 선택 장치, 요소 선택 방법 및 프로그램 Download PDF

Info

Publication number
KR20160022403A
KR20160022403A KR1020167004281A KR20167004281A KR20160022403A KR 20160022403 A KR20160022403 A KR 20160022403A KR 1020167004281 A KR1020167004281 A KR 1020167004281A KR 20167004281 A KR20167004281 A KR 20167004281A KR 20160022403 A KR20160022403 A KR 20160022403A
Authority
KR
South Korea
Prior art keywords
image
display
selection
person
screen
Prior art date
Application number
KR1020167004281A
Other languages
English (en)
Inventor
다로 이사야마
Original Assignee
가부시키가이샤 주스 디자인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 주스 디자인 filed Critical 가부시키가이샤 주스 디자인
Publication of KR20160022403A publication Critical patent/KR20160022403A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

본 발명은, 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 검출부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를, 상기 화면 상에 표시시키고, 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키고, 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 결정하는 것을 특징으로 한다.

Description

요소 선택 장치, 요소 선택 방법 및 프로그램{ELEMENT SELECTION DEVICE, ELEMENT SELECTION METHOD, AND PROGRAM}
본 발명은, 요소(要素; element) 선택 장치, 요소 선택 방법 및 프로그램에 관한 것이다.
종래, 비접촉 상태로 기기(機器)를 조작하는 경우에, 리모트 컨트롤러를 사용하지 않고, 손 또는 손가락에 의해 표시 화면 상의 요소를 선택하는 방법이 개발되어 있다.
예를 들면, 특허 문헌 1에 기재된 입력 장치에서는, 기기에 접촉하지 않고 손 또는 손가락의 동작에 의해 정보 입력을 행하기 위해, 디스플레이에 대하여 지시된 입력자의 손 또는 손가락을 촬상(撮像)하고, 촬상된 상에 기초하여, 디스플레이에 대하여 손 또는 손가락이 가리켜 나타내는 방향을 산출하고, 산출된 방향에 대응하는 디스플레이 상의 위치를 커서에 의해 디스플레이 상에 표시하고, 손 또는 손가락의 클릭 동작이 검출된 경우에, 커서가 위치하는 부분의 정보를 입력자가 지시한 정보로서 선택하는 것이 개시되어 있다.
- 선행기술문헌 -
(특허문헌 1) 일본 공개특허 평5―324181호 공보
그러나, 종래의 입력 장치에서는, 손이나 손가락이 가리켜 나타내는 방향의 연산이나 클릭 동작의 판정을 위해 복잡한 조작이 필요하며, 이용자가 위치 결정을 행하고 나서, 결정을 위해 클릭 동작 등의 결정 조작을 실시하려고 하는 경우에, 위치가 어긋나기 때문에 오조작이 생기기 쉬운 등의 각종 문제점을 가지고 있었다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위해 이루어진 것이며, 비접촉 상태로 표시 상의 요소를 선택하는 경우에, 조작성을 향상시킬 수 있는, 요소 선택 장치, 요소 선택 방법 및 프로그램을 제공하는 것을 목적으로 한다.
이와 같은 목적을 달성하기 위해, 본 발명의 요소 선택 장치는, 손 또는 손가락의 동작을 인식하는 수단과, 인식된 손 또는 손가락의 동작에 연동하는 제1 화상을 표시시키는 수단과, 선택 가능한 요소에 대응하는 제2 화상을 표시시키고, 이동하여 온 제1 화상이 제2 화상과 접촉된 경우에 상호작용시켜, 제2 화상이 제1 화상으로부터 벗어나도록 이동 제어하는 수단과, 제1 화상과 제2 화상의 상호작용 관계가 소정의 상태로 된 경우에, 상기 제2 화상에 대응하는 선택 가능한 요소의 선택을 결정하는 수단을 구비한 것을 특징으로 한다.
또한, 본 발명의 요소 선택 장치는, 적어도 표시부와 검출부와 제어부를 구비한 요소 선택 장치로서, 상기 제어부는, 상기 검출부를 통하여 촬상한 인물의 상(像), 또는 상기 인물의 동작에 연동하는 표시체를, 상기 화면 상에 표시시키는 상 표시 제어 수단과, 상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 상기 상 표시 제어 수단에 의해 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 요소 표시 제어 수단과, 상기 요소 표시 제어 수단에 의해 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 수단을 구비한 것을 특징으로 한다.
또한, 본 발명의 요소 선택 장치는, 상기 요소 선택 장치에 있어서, 상기 요소 표시 제어 수단은, 상기 상 또는 상기 표시체로부터 배제되도록 이동시키는 제어를 우선적으로 행하는 동시에, 상기 요소 또는 상기 요소 화상을, 소정의 위치 또는 방향을 향해 이동시키는 것을 특징으로 한다.
또한, 본 발명의 요소 선택 장치는, 상기 요소 선택 장치에 있어서, 상기 상 표시 제어 수단은, 상기 검출부를 통하여 촬상한 인물의 팔, 손 또는 손가락의 상, 또는 상기 인물의 팔, 손 또는 손가락의 동작에 연동하는 표시체를, 화면 상에 표시시키는 것을 특징으로 한다.
또한, 본 발명의 요소 선택 장치는, 상기 요소 선택 장치에 있어서, 상기 요소 표시 제어 수단은, 상기 상 또는 상기 표시체의, 윤곽 또는 중심선으로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 것을 특징으로 한다.
또한, 본 발명의 요소 선택 장치는, 상기 요소 선택 장치에 있어서, 상기 이동도는, 이동한 거리, 또는 원래의 위치를 벗어나고부터의 경과 시간인 것을 특징으로 한다.
또한, 본 발명의 요소 선택 방법은, 손 또는 손가락의 동작을 인식하는 단계와, 인식된 손 또는 손가락의 동작에 연동하는 제1 화상을 표시시키는 단계와, 선택 가능한 요소에 대응하는 제2 화상을 표시시키고, 이동하여 온 제1 화상이 제2 화상과 접촉된 경우에 상호작용시켜, 제2 화상이 제1 화상으로부터 벗어나도록 이동 제어하는 단계와, 제1 화상과 제2 화상의 상호작용 관계가 소정의 상태로 된 경우에, 상기 제2 화상에 대응하는 선택 가능한 요소의 선택을 결정하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 요소 선택 방법은, 적어도 표시부와 검출부와 제어부를 구비한 컴퓨터에 실행되는 요소 선택 방법으로서, 상기 제어부에서 실행되는 것으로, 상기 검출부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를 상기 화면 상에 표시시키는 상 표시 제어 단계와, 상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 상기 상 표시 제어 단계에서 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 요소 표시 제어 단계와, 상기 요소 표시 제어 단계에서 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 프로그램은, 손 또는 손가락의 동작을 인식하는 단계와, 인식된 손 또는 손가락의 동작에 연동하는 제1 화상을 표시시키는 단계와, 선택 가능한 요소에 대응하는 제2 화상을 표시시키고, 이동하여 온 제1 화상이 제2 화상과 접촉된 경우에 상호작용시켜, 제2 화상이 제1 화상으로부터 벗어나도록 이동 제어하는 단계와, 제1 화상과 제2 화상의 상호작용 관계가 소정의 상태로 된 경우에, 상기 제2 화상에 대응하는 선택 가능한 요소의 선택을 결정하는 단계를 컴퓨터로 하여금 실행하게 하는 것을 특징으로 한다.
또한, 본 발명의 프로그램은, 적어도 표시부와 검출부와 제어부를 구비한 컴퓨터로 하여금 실행하도록 하기 위한 프로그램으로서, 상기 제어부에서 실행되는 것으로, 상기 검출부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를, 상기 화면 상에 표시시키는 상 표시 제어 단계와, 상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 상기 상 표시 제어 단계에서 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 요소 표시 제어 단계와, 상기 요소 표시 제어 단계에서 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 단계를 실행시키는 것을 특징으로 한다.
또한, 본 발명의 컴퓨터 판독 가능한 기록 매체는, 상기한 프로그램을 컴퓨터에 판독 가능하게 기록한 것을 특징으로 한다.
본 발명에 의하면, 비접촉 상태로 표시 상의 요소를 선택하는 경우에, 조작성을 향상시킬 수 있는 요소 선택 장치, 요소 선택 방법 및 프로그램, 및 기록 매체를 제공할 수 있다.
도 1은, 본 실시형태가 적용되는 요소 선택 장치(100)의 구성의 일례를 나타낸 블록도이다.
도 2는, 본 실시형태에 있어서의 요소 선택 장치(100)의 표시 정보 처리의 일례를 나타낸 플로우차트이다.
도 3은, 요소 표시 제어부(102a)의 제어에 의한 표시된 표시 화면을 포함하는 표시 장치(114)의 외관의 일례를 나타낸 도면이다.
도 4는, 도 3의 초기 화면에 있어서, 이용자의 상이 중첩 표시된 표시 화면의 일례를 나타낸 도면이다.
도 5는, 표시 위치 변경부(102b)에 의해 표시 위치가 이동된 포인터(P2)의 일례를 나타낸 표시 화면예이다.
도 6은, 표시 요소(E1) 및 표시 요소(E2)와 캡틴 훅의 손을 모방한 표시체가 표시된 표시 화면의 일례를 나타낸 도면이다.
도 7은, 도 6의 표시 화면으로부터의 천이(遷移) 화면예를 나타낸 도면이다.
이하에, 본 발명의 본 실시형태에 관한 요소 선택 장치, 요소 선택 방법, 프로그램, 및 기록 매체의 실시형태를 도면을 참조하여 상세하게 설명한다. 그리고, 이 실시형태에 의해 본 발명이 한정되는 것은 아니다.
[본 실시형태의 개요]
이하, 본 발명에 관한 본 실시형태의 개요에 대하여 설명하고, 그 후, 본 실시형태의 구성 및 처리 등에 대하여 상세하게 설명한다. 그리고, 본 개요의 설명에 의해, 이후에 설명하는 본 실시형태의 구성 및 처리가 한정되는 것은 아니다.
현재, 스마트 TV 등에 관한 개발이 진행되고 있다. 예를 들면, 특허 문헌 1에 기재된 입력 장치에서는, 리모트 컨트롤러를 이용하지 않고, 디스플레이에 대하여 지시된 입력자의 손 또는 손가락을 촬상하고, 디스플레이에 대하여 손 또는 손가락이 가리켜 나타내는 방향으로부터, 대응하는 디스플레이 상의 위치를 커서에 의해 디스플레이 상에 표시하고, 손 또는 손가락의 클릭 동작이 검출된 경우에, 커서가 위치하는 부분의 정보를 입력자가 지시한 정보로서 선택하는 것이 개시되어 있다.
여기서, 리모트 컨트롤러를 이용하지 않고, 종래(특허 문헌 1 등)와 같이 화면 상의 요소를 선택하는 경우에는, 마우스나 터치 패드를 사용하는 방법과는 다음의 점에서 결정적으로 성질이 상이하다.
즉, 종래, 화면 상에 실현한 그래픽 사용자 인터페이스(GUI)를 사용하여 마우스나 터치 패드로 조작하는 경우에는, (1) 먼저, 이용자는, 화면 상의 요소에 커서를 맞추는 위치 결정을 행하고, (2) 이어서, 위치의 확인 후에 클릭 등의 결정 조작을 행하여, 화면 상의 요소를 선택하고 있다.
마우스나 터치 패드 등으로 조작하는 경우에는, 동(動) 마찰력이나 정지 마찰력이 작용하므로,
상기 (1)의 위치 결정을 행하고 나서 상기 (2)의 결정 조작을 행할 때까지, 위치가 어긋나 오조작을 행하는 경우가 적다.
상기 (1) 및 (2)의 조작 방법을, 그대로 리모콘이 없는 TV 등에 응용했다고 하면, 특허 문헌 1에 기재된 바와 같이, (1) 이용자는, 공중에 띄운 손가락이나 손으로 화면 상의 커서를 움직이는 위치 결정 조작을 행하고, (2) 소정의 액션으로 손가락이나 손을 움직임으로써 결정 조작을 행하지 않으면 안된다.
공중에 띄운 손가락이나 손은 마찰이 일어나지 않기 때문에, (1)의 위치 결정 조작으로부터 (2)의 결정 조작까지의 동안에 부유(浮遊)하여 위치가 어긋나기 때문에 오조작을 초래하기 쉽고, 특히, (2)의 결정 조작을 위한 액션을 행하려고 하는 경우에 위치가 어긋날 가능성이 높다는 문제점을 생각할 수 있다.
그러므로, 본원의 발명자는 상기 문제점을 해결하기 위해, 연구를 거듭 행한 결과, 본 발명을 완성시키기에 이르렀다. 본 발명의 실시형태는, 다음의 특징을 가진다.
즉, 본 실시형태는, 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시킨다. 요소 화상은 일례이며, 선택 가능한 요소를 대표하는 대표점인 포인트 등으로서 표시해도 된다.
그리고, 본 실시형태는, 검출부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를 상기 화면 상에 표시시키고, 표시된 상기 상 또는 상기 표시체로부터 상기 요소 또는 상기 요소 화상이 배제되도록 상기 요소 또는 상기 요소 화상을 이동시킨다.
그리고, 본 실시형태는, 상기 요소 또는 상기 요소 화상이 소정의 상태[예를 들면, 소정의 이동 상태(소정의 이동도, 소정의 이동 위치 등)]로 된 경우에, 상기 요소의 선택을 결정한다. 여기서, 본 실시형태는, 이동 상태에 기초하여 요소의 선택을 판정하는 것에 한정되지 않고, 액션에 기초하여 요소의 선택을 판정해도 된다. 일례로서, 본 실시형태는, 펴진 손이 접혀진 경우 등과 같이 소정의 액션이 있었을 경우에, 소정의 상태로 되는 것으로 판정하여, 요소의 선택을 결정해도 된다.
이로써, 본 실시형태는, 종래의 (1)의 마우스 포인터나 커서 등에 의한 위치 결정을 행하지 않고, (1)과 (2)와 마찬가지의 요소의 선택으로 결정을 행할 수 있다. 즉, 이용자는, 화면 상에 비추어진 자기의 상 또는 표시체를 사용하여, 화상 상의 요소 또는 요소 화상을 감각적으로, 움켜쥐는(grabbing)/파지(把持)하는(holding)/캐치하는(catching)/누르는(pressing)/집는(nipping)/갖다대는(hitting) 등의 조작을 행함으로써, (1)과 마찬가지로 요소를 선택한 것을 확인할 수 있다. 그리고, 이용자는, 확인 후, 감각적으로, 움켜쥐고 잡아당기는(grabbing-&-pulling)/파지한 채 일정 시간 두는(holding for a certain time)/캐치하여 밀어내리는(catching-&-pulling down)/밀어올리는(pushing up)/집어서 당기는(nipping-&-pulling)/갖다대고 튀게하는(throwing by hitting) 등의 조작을 행함으로써 상태(이동도나 이동 위치 등)를 제어하여, (2)와 마찬가지로 요소의 선택을 결정할 수 있다. 여기서, 이동 상태에 따르지 않고 액션에 의해 요소의 선택을 결정하게 하는 경우에는, 이용자는 확인 후, 감각적으로, 잡아 움켜쥐고 꽉쥐는(grabbing-&-squeezing)/파지한 채 잡는(gripping while holding)/캐치하고 나서 가속도를 가하고 손을 치는(catching-and-then-removing the hand with acceleration)/밀어올려 던지는(pushing up-&-throwing away)/집고나서 2개의 손가락을 붙이는(nipping-and-then-making the two fingers come together)/터치하고 튕기는(touching-and-then-snapping) 등의 액션 조작을 행함으로써 상태를 제어하여, (2)와 마찬가지로 요소의 선택을 결정할 수 있다.
따라서, 종래와 같이 공중에 떠 있는 손이나 손가락 등의 동작으로 조작하는 것에 따른 위치 결정의 불확실성을 억제할 수 있어, 대폭적인 조작성의 향상에 기여한다.
이상에서, 본 발명의 본 실시형태의 개요의 설명을 종료한다.
[요소 선택 장치(100)의 구성]
먼저, 본 실시형태에 관한 컴퓨터의 일례인 요소 선택 장치(100)의 구성에 대하여 설명한다. 도 1은, 본 실시형태가 적용되는 요소 선택 장치(100)의 구성의 일례를 나타낸 블록도이며, 상기 구성 중 본 실시형태에 관한 부분만을 개념적으로 나타내고 있다.
도 1에 있어서 요소 선택 장치(100)는, 개략적으로, 요소 선택 장치(100)의 전체를 통괄적으로 제어하는 CPU 등의 제어부(102), 통신 회선 등에 접속되는 라우터(router) 등의 통신 장치(도시하지 않음)에 접속되는 통신 제어 인터페이스부(104), 촬상 장치(112)나 표시 장치(114) 등에 접속되는 입출력 제어 인터페이스부(108), 및 각종 데이터베이스나 테이블 등을 저장하는 기억부(106)를 구비하여 구성되어 있고, 이들 각 부는 임의의 통신로를 통하여 통신 가능하게 접속되어 있다.
기억부(106)에 저장되는 각종 데이터베이스나 테이블[요소 파일(106a) 등]은, 고정 디스크 장치 등의 스토리지 수단이며, 각종 처리에 사용하는 각종 프로그램이나 테이블이나 파일이나 데이터베이스나 웹 페이지 등을 저장한다.
이들 기억부(106)의 각각의 구성 요소 중, 요소 파일(106a)은, 표시 화면의 표시 요소로서 표시 가능한 데이터를 기억하는 요소 데이터 기억 수단이다. 예를 들면, 요소 파일(106a)은, 아이콘이나 문자, 기호, 도형, 입체 오브젝트 등의 오브젝트로 되는 데이터를 기억해도 된다. 또한, 요소 파일(106a)은, 클릭 등의 선택 조작이 행해진 경우에, 소정의 동작(링크처를 표시, 메뉴 표시, 전원 온/오프, 채널 전환, 뮤트, 녹화 예약 등)이 행해지도록 프로그램 등에 관련되어도 된다. 그리고, 이들 표시 요소로 되는 데이터의 데이터 형식은, 화상 데이터나 문자 데이터 등에 한정되지 않고, 임의의 데이터 형식이라도 된다. 또한, 후술하는 제어부(102)의 처리에 의해 이동(회전이나 확대·축소를 포함함)된 결과는 요소 파일(106a)에 반영되어도 된다. 예를 들면, 요소 파일(106a)의 오브젝트 A(또는, 그 요소 화상)가, 표시 제어에 의해 소정의 이동 상태로 이동된 경우, 요소 파일(106a)은, 제어부(102)의 제어에 의해, 오브젝트 A의 관련 데이터를 0(예를 들면, 기능 오프 모드)에서 1(예를 들면, 기능 온 모드)로 변경시켜 보존한다. 일례로서, 요소 파일(106a)은, html 언어 등의 웹 페이지를 표시하게 하기 위한 데이터를 기억해도 되고, 이 데이터 중, 선택 가능한 요소란, 예를 들면, 웹 페이지에서의 링크 표시 부분이다. 통상, html 언어의 데이터 상에서는, 개시 태그와 종료 태그의 사이에 삽입된 텍스트 부분이나 화상 부분 등으로서, 이 부분은, 표시 화면 상에 있어서 선택 가능(클릭 가능)한 영역으로서 강조 표시(예를 들면, 밑줄 부여)된다. 본 실시형태의 일례에서는, 통상의 GUI에 있어서 선택 가능한 영역 대신에, 1개씩 요소 화상(포인트 등)이 할당된다. 예를 들면, 통상의 GUI에 있어서 선택 가능한 영역이 표시 화면 상의 직사각형으로, 좌측 하부 좌표(X1, Y1)∼우측 상부 좌표(X2, Y2)의 영역인 경우에, 후술하는 요소 표시 제어부(102a)는, 포인트의 초기 위치를 상기 직사각형 영역의 중심점[(X1＋X2)/2, (Y1＋Y2)/2]으로 설정해도 되고, 상기 직사각형 영역의 우측 상부의 점(X2, Y2)으로 설정해도 된다.
또한, 도 1에 있어서, 입출력 제어 인터페이스부(108)는, 촬상 장치(112)나 표시 장치(114)의 제어를 행한다. 예를 들면, 표시 장치(114)는, 액정 패널이나 유기 EL 패널 등의 표시 수단이다. 여기서, 요소 선택 장치(100)는, 도시하지 않은 스피커 등의 음성 출력 수단을 구비해도 되고, 입출력 제어 인터페이스부(108)는, 상기 음성 출력 수단의 제어를 행해도 된다. 이하의 실시형태에 있어서는, 표시 장치(114)를 모니터(가정용 TV 등을 포함함)로서 설명하는 경우가 있지만, 본 발명은 이에 한정되는 것은 아니다.
또한, 촬상 장치(112)는, 카메라 등의 촬상 수단이다. 예를 들면, 촬상 장치(112)는, CMOS 센서나 CCD 센서 등의 검출 수단이라도 된다. 그리고, 촬상 장치(112)는, 소정의 주파수의 광(적외선)을 검출하는 광검출 수단이라도 된다. 촬상 장치(112)로서 적외선 카메라를 사용하면, 화상에 있어서 인물의 영역(발열 영역)을 판정하기 용이해져, 인물의 온도 분포 등에 의해 예를 들면, 손의 영역만을 판정하는 것도 가능하게 된다. 이 외에, 촬상 장치(112)로서는, 초음파나 전자파식의 거리 측정기(안쪽의 검출 수단 등)나 근접 센서 등을 사용할 수 있고, 예를 들면, 안쪽의 검출 수단과 촬상 수단을 조합시켜, 소정 거리(안길이)에 있는 물체의 화상(예를 들면, 인물의 상)만을 판정해도 된다. 또한, 촬상 장치(112)로서는, kinect(상표) 등의 공지의 센서나 영역 판정 기술이나 제어 수단을 이용해도 된다. 또한, 촬상 장치(112)는, 인물의 생체 정보(피부의 색이나, 열, 적외선 등)를 판독하는 것에 한정되지 않고, 촬상 수단 대신에 인물의 동작을 검출하는 위치 검출 수단으로서, 이용자가 손에 가지거나 팔 등에 장착하거나 한 광원 등의 위치를 검출해도 된다.
촬상 장치(112)에 한정되지 않고, 임의의 검출 수단에 의해, 인물의 동작, 특히, 인물의 손의 동작이나, 인물의 손가락의 동작을 인식해도 된다. 이 때, 공지의 비접촉 조작 기술이나, 공지의 화상 인식 기술을 이용하여 손의 동작을 검출해도 된다. 예를 들면, 가려진 손의 상하 좌우의 동작이나 제스처를 인식해도 된다. 제스처는, 물리 공간에서의 이용자의 위치 및 동작으로부터 얻을 수 있고, 손가락을 움직이거나, 또는 정지 자세라는 것과 같은, 동적(動的) 또는 정적(靜的)인 임의의 이용자의 동작을 포함할 수 있다. 일 실시형태에 의하면, 촬상 장치(112)의 카메라와 같은 캡쳐·디바이스가, 사용자 화상 데이터를 입수할 수 있고, 이 사용자 화상 데이터는, 이용자의 제스처(1개 또는 복수)를 나타내는 데이터를 포함한다. 이용자의 3차원 물리 공간에 있어서 이용자에 의해 행해진 제스처를 인식 및 분석하여, 이용자의 제스처를 해석하여 시스템 또는 어플리케이션 공간의 태양(態樣)을 제어하기 위해, 컴퓨터 환경을 사용할 수 있다. 이 컴퓨터 환경은, 이용자의 제스처(1개 또는 복수)를 화면 상의 아바타(Avatar) 등으로 매핑함으로써, 사용자·피드백을 표시할 수 있다(WO2011/084245 참조). 일례로서, 손이나 손가락의 동작을 인식하는 공지의 수단으로서, 리프·모션·컨트롤러(LEAP MOTION사 제조)나, 원격 조작 가능한 수단으로서, Kinect for Windows(등록상표)(마이크로소프트사 제조)와 Windows(등록상표) OS의 조합을 사용해도 된다. 그리고, 마이크로소프트사 제조 Xbox One의 Kinect 센서에 의하면, 손이나 손가락의 스켈톤(skeleton) 정보를 얻을 수 있고, 또한 Leap Motion 센서를 사용하면, 손가락 하나 하나의 움직임을 추적할 수 있다. 이 때, 각각의 센서에 내장된 제어 수단을 이용하여, 손이나 손가락의 동작이 해석되거나, 접속된 컴퓨터의 제어 수단을 이용하여, 손이나 손가락의 동작이 해석되지만, 이들 제어 수단은, 본 실시형태의 기능 개념적인 검출 수단이라고 생각해도 되고, 본 실시형태의 기능 개념적인 제어 수단[예를 들면, 선택 판정부(102d)]이라고 생각해도 되고, 어느 하나 또는 양쪽이라도 된다.
여기서, 검출 수단과 표시 수단의 위치 관계나 제1 화상(인물의 손이나 손가락의 상 등)의 표시와의 관계에 대하여 설명한다. 설명을 위해, 표시 화면의 평면의 가로축과 세로축을 X축 Y축이라고 하고, 표시 화면에 대한 안길이 방향을 Z축이라고 하기로 한다. 통상, 이용자는, 표시 화면에 대하여, Z축의 방향으로 이격되어 위치하고 있다. 검출 수단은, 표시 화면 측에 설치하여 인물의 방향을 향해도 되고, 인물의 배후에 설치하여 표시 화면 측을 향해도 되고, 또한 인물이 가리는 손의 아래쪽(지면측)에 설치하여 인물의 손의 방향(천정측)을 향하고 있어도 된다. 전술한 바와 같이, 검출 수단은, 2차원의 인물의 상을 판독하는 촬상 수단에 한정되지 않고, 3차원의 인물을 검출해도 된다. 즉, 검출 수단은, 인물의 3차원 형상을 판독하고, 후술하는 상 표시 제어부(102c)는, 검출 수단에 의해 판독된 3차원 형상을, 2차원 화상으로 치환하여 제1 화상으로서 표시 장치(114)에 표시해도 된다. 이 때, 상 표시 제어부(102c)는, XY 평면의 2차원 화상으로 치환해도 되지만, 엄밀하게, 이 XY 평면에서 잘라내지 않아도 된다. 예를 들면, 표시 화면 측으로부터 Z축 방향으로 인물의 손가락의 상을 본 경우에는, 2개의 손가락(엄지 손가락과 집게 손가락 등)이 딱 붙어있는 것처럼 보이는 경우라도, 3차원적으로 딱 붙어있지 않은 경우가 있다. 이와 같이, Z축 방향으로부터의 보이는 쪽(그림자가 생기는 쪽)과, 이용자에게 있어서의 손가락의 감각은, 어긋남이 생기고 있는 경우가 있으므로, 엄밀하게, 상 표시 제어부(102c)는, XY 평면에 투영하는 것에 한정되지 않는다. 예를 들면, 상 표시 제어부(102c)는, 인물의 손의 3차원 형상을, 2개의 손가락의 이격 방향으로 절단하여 2차원 화상을 취득해도 된다. 또는, 상 표시 제어부(102c)는, XY 평면에 투영하지만, 선택 판정부(102d)는, 검출 수단에 의해 판독된 3차원 형상으로부터, 2개의 손가락이 딱 붙어있는지 이격되어 있는지를 판정하여, 이용자의 감각과 일치하도록 제어해도 된다.
또한, 도 1에 있어서, 제어부(102)는, OS(Operating System) 등의 제어 프로그램, 각종 처리 수순 등을 규정한 프로그램, 및 소요 데이터를 저장하기 위한 내부 메모리를 가지고, 이들 프로그램 등에 의해, 각종 처리를 실행하기 위한 정보 처리를 행한다. 제어부(102)는, 기능 개념적으로, 요소 표시 제어부(102a), 표시 위치 변경부(102b), 상 표시 제어부(102c), 및 선택 판정부(102d)를 구비하여 구성되어 있다.
이 중, 요소 표시 제어부(102a)는, 요소 파일(102a)에 기억된 요소 데이터에 기초하여, 요소가 표시 요소로서 표시 장치(114)에 표시되도록[또는, 상기 요소에 대응한 요소 화상(이하, 「포인트」라고 하는 경우가 있음)이 표시되도록] 제어하는 요소 표시 제어 수단이다. 즉, 요소 표시 제어부(102a)는, 제2 화상(선택 가능한 요소 또는 요소 화상)을 표시한다. 그리고, 요소 표시 제어부(102a)는, 당초, 포인트를 비표시로 해두고, 소정의 경우(표시 화면 상에서, 상 또는 표시체가 표시 요소 상에 중첩된 경우 등)에 표시해도 된다. 여기서, 요소 표시 제어부(102a)는, 도 1에 나타낸 바와 같이, 본 실시형태에 있어서, 표시 위치 변경부(102b)를 구비한다. 그리고, 요소 데이터는, 요소 파일(106a)을 제어함으로써 읽어들이는 것에 한정되지 않고, 네트워크(300)를 통하여, 외부 시스템(200)의 기억부(요소 데이터베이스 등)로부터 다운로드함으로써 입수해도 되고, 또한 도시하지 않은 수신 장치를 통하여, 방송 전파 등을 수신함으로써 취득해도 된다. 그리고, 요소에 대응한 포인트의 초기 표시 위치는 임의의 위치라도 되지만, 요소와의 대응 관계를 알 수 있도록 표시한 요소의 중심(요소로서의 도형의 중심)이나 요소의 우측 상부(요소로서의 문자열의 우측 상부 코너) 등에, 적점(赤点) 등을 포인트로서 표시시켜도 된다.
또한, 표시 위치 변경부(102b)는, 상 표시 제어부(102c)에 의해 표시되는 제1 화상(상 또는 표시체)으로부터 배제되도록, 제2 화상(선택 가능한 표시 요소 또는 요소 화상)의 표시 위치를 변경시키는 이동 제어 수단이다. 예를 들면, 상 표시 제어부(102c)의 제어에 의해, 제1 화상(상 또는 표시체)이 가까워져 와서, 제2 화상(표시 요소나 포인트 등)과 윤곽끼리가 접촉하면, 제1 화상이 방향을 바꾸어 멀어지지 않는 한, 표시 위치 변경부(102b)의 제어에 의해, 제2 화상은 제1 화상의 윤곽에 접하면서 끌려 이동한다. 본 실시형태의 일례로서 표시 위치 변경부(102b)는, 상 표시 제어부(102c)에 의해 표시된 표시 화면 상의 상 또는 표시체가, 표시 요소 또는 포인트의 위치를 배타적으로 이동시키도록 제어한다. 그리고, 표시 위치 변경부(102b)는, 표시 요소 또는 포인트가 이동하는 방향이나 범위 등을 한정해도 된다. 또한, 표시 위치 변경부(102b)는, 상 또는 표시체로부터 표시 요소 또는 포인트가 배제되도록 이동시키는 제어를 우선적으로 행하는 동시에, 표시 요소 또는 포인트를, 소정의 위치 또는 방향을 향해 이동시켜도 된다. 즉, 표시 위치 변경부(102b)는, 우선 조건으로서, 상 또는 표시체로부터 표시 요소 또는 포인트를 배제하도록 제어하고, 하위 조건으로서, 표시 요소 또는 포인트를, 소정의 위치 또는 방향을 향해 이동시켜도 된다. 예를 들면, 표시 위치 변경부(102b)는, 표시 요소(또는 포인트)가 상(또는 표시체)에 접촉하고 있지 않은 경우, 상기 표시 요소(또는 포인트)를, 이동 전의 원래의 표시 위치로 되돌아오도록 이동시켜도 된다. 다른 예로서, 표시 요소(또는 포인트)에 중력이 작용하고 있는 것과 같은 감각을 이용자에게 일으키도록, 표시 위치 변경부(102b)는, 표시 요소(또는 포인트)가 상(또는 표시체)에 근접하고 있지 않은 경우, 화면 하(下)방향으로 이동시켜도 된다. 여기서, 이하의 설명의 편의 상, 표시 요소 및 포인트를 대표하여 표시 요소 또는 포인트에 대하여 설명하고, 상 및 표시체를 대표하여 상 또는 표시체에 대하여 설명하는 경우가 있지만, 표시 요소 및 포인트의 한쪽에 한정되지 않고, 또한 상 및 표시체의 한쪽에 한정되는 것은 아니다. 예를 들면, 표시 요소로 기재되어 있는 개소(箇所)를 포인트라고 바꾸어 읽어 적용해도 되고, 상으로 기재되어 있는 개소를 표시체라고 바꾸어 읽어 적용해도 되는 것이다. 반대로, 포인트라고 기재되어 있는 개소를 표시 요소라고 바꾸어 읽어 적용해도 되고, 표시체라고 기재되어 있는 개소를 상이라고 바꾸어 읽어 적용해도 되는 것이다.
여기서, 표시 요소가 상으로부터 배타적으로 운동하는 태양으로서는 각종 형태가 있다. 예를 들면, 표시 위치 변경부(102b)는, 표시 요소의 대표점[중심점, 중심(重心) 등]이, 상의 윤곽으로부터 배제되도록 이동시켜도 된다. 또한, 표시 위치 변경부(102b)는, 표시 요소의 윤곽이, 상의 윤곽으로부터 배제되도록 이동시켜도 된다. 또한, 표시 요소 변경부(102b)는, 표시 요소의 윤곽이, 상의 대표선(중심선 등)이나 상의 대표점(중심, 중심점 등)으로부터 배제되도록 이동시켜도 된다. 표시 요소와 상이 접촉 상태에 있어서 배제 운동을 제어하는 것에 한정되지 않고, 자석의 S극끼리가 반발하도록 비접촉 상태로, 표시 요소 변경부(102b)는, 표시 요소가, 상으로부터 멀어지도록 이동시켜도 된다.
또한, 표시 요소가 상으로부터 배타적으로 운동하는 예외로서, 표시 요소가 상을 횡단하도록 이동시켜도 된다. 예를 들면, 표시 위치 변경부(102b)는, 표시 요소의 대표점이, 상의 윤곽의 변곡점 부근에 없는 경우에는, 상을 횡단하여 빠져나가도록 이동시켜도 된다. 보다 구체적으로는, 표시 요소와 원래의 위치와의 사이에는, 장력이 작용하고 있는 것과 같은 이동 제어를 행하고 있는 경우에 있어서, 표시 요소가 손가락과 손가락의 사이나 손가락의 가랑이에 들어가 있지 않은 경우에는, 소정 이상의 장력으로 되면, 손의 상을 횡단하도록 표시 요소를 이동시켜, 원래의 위치로 되돌려도 된다. 또한, 표시 위치 변경부(102b)는, 표시 요소의 대표점이, 상의 윤곽선의 로컬 미니멈에 빠졌을 경우에는, 곡선의 접점이나 변곡점에 위치하는 경우를 제외하고, 상기 상(손의 영역 등)을 횡단 가능하게 제어해도 된다.
또한, 상 표시 제어부(102c)는, 촬상 장치(112)를 통하여 촬상한 인물의 상(또는, 상기 인물의 동작에 연동하는 표시체)을, 제1 화상으로서, 표시 장치(114)의 화면 상에 표시시키는 상 표시 제어 수단이다. 여기서, 상 표시 제어부(102c)는, 이용자가 볼 때 화면이 거울인것 처럼, 경상(鏡像)을 안면 상에 표시해도 된다. 예를 들면, 상 표시 제어부(102c)는, 표시 장치(114)의 표시 화면으로부터 인물을 향한 촬상 장치(112)를 통하여 촬상한 인물의 상을, 좌우 반전시켜 표시 화면에 표시시켜도 된다. 그리고, 촬상 장치(112)가 인물의 뒤로부터 표시 장치(114)의 표시 화면을 향해 설치하고 있는 경우에는, 상을 좌우 반전시킬 필요는 없다. 이와 같이, 상 표시 제어부(102c)가 거울과 같이 상을 표시시키는 것에 의해, 이용자(인물)는, 거울에 비추어진 자신의 상의 위치를 변경하도록, 자기의 상을 조작하기 용이해진다. 즉, 이용자는, 자기의 그림자를 움직이도록, 표시 화면 상의 상(또는 인물의 동작에 연동하는 표시체)을 제어할 수 있어, 조작성 향상에 기여한다. 그리고, 상 표시 제어부(102c)는, 인물의 상의 윤곽선만을 표시시켜도 되고, 표시체의 윤곽선만을 표시시켜도 된다. 즉, 인물의 상의 영역을 전부 채우지 않기 때문에, 윤곽의 내측을 투명하게 하여, 내측의 표시 요소도 표시시킬 수 있어, 육안관찰성이 우수하다는 효과를 얻을 수 있다. 이와 같이, 표시 장치(114)에 표시되는 상 또는 표시체는, 거울에 비치도록 표시되어도 된다.
여기서, 상 표시 제어부(102c)는, 촬상 장치(112)를 통하여 촬상한 인물의 팔, 손 또는 손가락의 상을, 표시 장치(112)의 표시 화면에 표시시켜도 된다. 여기서, 상 표시 제어부(102c)는, 촬상한 인물의 상 중, 팔이나 손이나 손가락 등의 영역을, 적외선 영역이나 피부의 색 등에 의해 판별하여, 상기 팔이나 손이나 손가락 등의 영역만을 잘라내어 표시시켜도 된다. 이 외에, 상 표시 제어부(102c)는, 팔이나 손이나 손가락 등의 영역을, 공지의 영역 판정 방법을 이용하여 판정해도 된다.
또한, 상 표시 제어부(102c)는, 인물의 팔, 손 또는 손가락의 동작에 연동하는 표시체(공구 등의 그림이나 다각형 등)를, 화면 상에 표시시켜도 된다. 여기서, 상 표시 제어부(102c)는, 상기와 같이 판정한 팔이나 손이나 손가락 등의 영역의 위치에 대응시켜, 표시체를 표시시켜도 되고, 다른 방법으로 팔이나 손이나 손가락의 위치를 검출하여, 상기 위치에 대응시켜 표시체를 표시시켜도 된다. 후자의 예로서, 상 표시 제어부(102c)는, 팔에 장착한 광원의 위치를, 촬상 장치(114)를 통하여 검출하여 상기 검출된 위치에 연동시켜 표시체를 표시시켜도 된다. 또한, 상 표시 제어부(102c)는, 이용자가 손에 가진 광원의 위치를 검출하고, 상기 검출된 위치에 연동시켜 표시체를 표시시켜도 된다. 여기서, 상 표시 제어부(102c)는, 표시체의 종류(표시체로서 표시하는 툴로서, 가위나 송곳이나 스테이플러나 해머 등의 공구를 모방한 그림이나 다각형 등의 종류)를, 이용자에 의해 도시하지 않은 입력부나 손의 상을 사용해 선택시켜도 된다. 이로써, 이용자는, 자기의 상을 사용해 조작하기 어려운 경우에도, 조작하기 쉬운 툴을 선택하여, 요소 선택에 사용할 수 있다.
또한, 선택 판정부(102d)는, 요소 표시 제어부(102a)의 표시 위치 변경부(102b)에 의해 이동된 제2 화상(요소 또는 포인트)의 상태(이동도 또는 이동 위치 등의 이동 상태나 액션 등)에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 수단이다. 예를 들면, 선택 판정부(102d)는, 표시 요소(또는 포인트)가 소정의 위치에 도달한 경우나, 소정의 위치에 머물렀을 경우에, 상기 표시 요소의 선택을 판정해도 된다. 또한, 일례로서, 이동도는, 이동한 거리, 또는 원래의 위치를 벗어나고부터의 경과 시간이라도 된다. 예를 들면, 선택 판정부(102d)는, 표시 요소(또는 포인트)가 소정 거리 이동한 경우에, 상기 요소의 선택을 판정해도 된다. 또한, 선택 판정부(102d)는, 표시 요소(또는 포인트)가 원래의 표시 위치로부터 이동하여 소정 시간 경과한 경우에, 상기 요소의 선택을 판정해도 된다. 보다 구체적으로는, 표시 위치 변경부(102b)에 의해 하위 조건으로서 원래의 위치로 돌아오도록 표시 요소(또는 포인트)가 이동 제어되는 경우에, 선택 판정부(102d)는, 표시 요소(또는 포인트)가 원래의 표시 위치로부터 이동하여 소정 시간 경과한 경우에, 상기 요소의 선택을 판정해도 된다. 그리고, 포인트가 이동의 대상인 경우에는, 선택 판정부(102d)는, 상기 포인트에 대응한 요소의 선택을 판정한다.
다른 예로서, 선택 판정부(102d)는, 제1 화상에 접촉하여 이동된 제2 화상(요소 또는 포인트)에 대하여, 제1 화상이 소정의 액션(예를 들면, 펴져 있었던 손을 접는 것이나, 비접촉 상태였던 2개의 손가락을 접촉시키는 등)을 행한 경우에, 상기 요소의 선택을 판정해도 된다. 예를 들면, 선택 판정부(102d)는, 검출 수단에 의해 판독된 인물의 손의 3차원 형상의 변화에 따라, 손바닥을 펴고 있는지 접고 있는지를 판정해도 되고, 엄지 손가락과 집게 손가락의 2개의 손가락이 떨어져 있는지 딱 붙어있는지를 판정해도 된다. 그리고, 선택 판정부(102d)는, 소정의 액션을 판정한 경우에, 제1 화상과 상호작용하고 있었던 제2 화상에 대응하는 선택 가능한 요소를, 선택하는 것으로 결정해도 된다.
여기서, 선택의 결정이란, 예를 들면, 마우스 조작에서의 클릭이나, 키보드 조작에서의 ENTER 키의 누름이나, 터치 패널 조작에서의 대상의 터치 조작 등에 상당한다. 일례로서, 제2 화상에 대응하는 선택 가능한 요소가 링크처였던 경우, 선택 판정부(102d)는, 요소의 선택을 결정하면, 상기 링크처에 표시가 천이하도록 제어한다. 이 외에, 선택 판정부(102d)는, 전술한 Kinect 센서나 Leap Motion 센서로부터 판독된 인물의 동작을 인식하기 위해 사용되고 있도록 한, 공지의 액션 인식 수단이나, 공지의 모션 인식 기능 등을 사용하여, 이용자의 액션을 판정해도 된다.
또한, 도 1에 있어서, 통신 제어 인터페이스부(104)는, 요소 선택 장치(100)와 네트워크(300)(또는 라우터 등의 통신 장치) 사이에서의 통신 제어나, 요소 선택 장치(100)와 도시하지 않은 수신 장치와의 사이에서의 통신 제어를 행하는 장치이다. 즉, 통신 제어 인터페이스부(104)는, 다른 단말기 또는 국(局)과 통신 회선(유선, 무선이 상관 없음)을 통하여 데이터를 통신하는 기능을 가진다. 또한, 여기서, 수신 장치는, 방송국 등으로부터 전파 등을 수신하는 수신 수단이며, 예를 들면, 안테나 등이다.
즉, 요소 선택 장치(100)는, 화상 데이터에 관한 외부 데이터베이스나 본 발명에 관한 프로그램 등의 외부 프로그램 등을 제공하는 외부 시스템(200)과, 네트워크(300)를 통하여 통신 가능하게 접속되어 구성되어 있어도 되고, 또한 요소 선택 장치(100)는, 화상 데이터 등을 발신하는 방송국 등과 수신 장치를 통하여 수신 가능하게 접속되어 구성되어 있어도 된다. 또한, 이 요소 선택 장치(100)는, 라우터 등의 통신 장치 및 전용선 등의 유선 또는 무선의 통신 회선을 통하여, 네트워크(300)에 통신 가능하게 접속되어 있어도 된다.
여기서, 도 1에 있어서, 네트워크(300)는, 요소 선택 장치(100)와 외부 시스템(200)을 서로 접속하는 기능을 가지고, 예를 들면, 인터넷 등이다.
또한, 도 1에 있어서, 외부 시스템(200)은, 네트워크(300)를 통하여, 요소 선택 장치(100)와 서로 접속되고, 이용자에 대하여 화상 데이터에 관한 외부 데이터베이스나 프로그램 등의 외부 프로그램 등을 실행하는 웹사이트를 제공하는 기능을 가진다.
여기서, 외부 시스템(200)은, WEB 서버나 ASP 서버 등으로서 구성하고 있어도 되고, 그 하드웨어 구성은, 일반적으로 시판되는 워크 스테이션, 퍼스널 컴퓨터 등의 정보 처리 장치 및 그 부속 장치에 의해 구성되어 있어도 된다. 또한, 외부 시스템(200)의 각 기능은, 외부 시스템(200)의 하드웨어 구성 중의 CPU, 디스크 장치, 메모리 장치, 입력 장치, 출력 장치, 통신 제어 장치 등 및 이들을 제어하는 프로그램 등에 의해 실현된다.
[표시 정보 처리]
다음에, 이와 같이 구성된 본 실시형태에 있어서의 요소 선택 장치(100)의 표시 정보 처리의 일례에 대하여, 이하에 도 2를 참조하여 상세하게 설명한다. 도 2는, 본 실시형태에 있어서의 요소 선택 장치(100)의 표시 정보 처리의 일례를 나타낸 플로우차트이다.
그리고, 이하의 처리를 시작하는데 있어서, 표시 장치(114)에는, 요소 표시 제어부(102a)의 제어에 의해, 어떠한 표시 요소가 표시되어 있는 것을 전제로 한다. 여기서, 도 3은, 요소 표시 제어부(102a)의 제어에 의한 표시된 표시 화면을 포함하는 표시 장치(114)의 외관의 일례를 나타낸 도면이다. 도 3에 나타낸 바와 같이, 요소 선택 장치(100)는, 직사각형으로 나타내는 영역의 표시 화면을 가지는 표시 장치(114)를 구비하고 있다. 그리고, 도 3에 나타낸 바와 같이, 이 예에서는, 요소 표시 제어부(102a)는, 표시 화면 상에, 링크 표시가 선택 가능한 요소에 대응시켜, 링크 가능한 문자열의 좌측 상부에, 검은 원의 포인트를 표시시키고 있다. 즉, 포인트(P1)는, URL1의 링크(www.aaa.bbb.ccc/)에 대응하고 있고, 포인트(P2)는, URL2의 링크(www.ddd.eee.fff/)에 대응하고 있고, 포인트(P3)는, URL3의 링크(www.ggg.hhh.iii/)에 대응하고 있다. 그리고, 일반적인 웹사이트와 마찬가지로, 이들 요소를 선택함으로써, 링크처가 표시되도록 프로그램되어 있다. 그리고, 포인트를 표시시키지 않고, 표시 요소(링크 문자열이나 아이콘 등) 자체를 이동 가능하게 제어해도 되지만, 본 처리의 설명에 있어서는, 포인트의 위치 제어를 행하는 예에 대하여 설명한다.
도 2에 나타낸 바와 같이, 먼저, 상 표시 제어부(102c)는, 촬상 장치(112)를 통하여 촬상한 인물의 상을, 표시 장치(114)의 화면 상에 표시시킨다(단계 SA―1). 여기서, 상 표시 제어부(102c)는, 이용자가 볼 때 거울에 자기의 상이 비치도록, 표시 장치(114)의 표시 화면에 상을 표시시켜도 된다. 여기서, 도 4는, 도 3의 초기 화면에 있어서, 이용자의 상이 중첩 표시되어 표시 화면의 일례를 나타낸 도면이다.
도 4에 나타낸 바와 같이, 상 표시 제어부(102c)는, 촬상 장치(112)를 통하여 촬상한 인물의 상으로부터, 팔, 손 또는 손가락의 상만을, 표시 장치(112)의 표시 화면에 표시시켜도 된다. 예를 들면, 상 표시 제어부(102c)는, 촬상한 인물의 상 중, 팔이나 손이나 손가락 등의 영역을, 적외선 영역이나 피부의 색 등의 공지의 영역 판정 방법에 의해 판별하여, 상기 팔이나 손이나 손가락 등의 영역만을 잘라내어 표시시켜도 된다. 또한, 상 표시 제어부(102c)는, 인물의 상의 윤곽선만을 표시시켜, 상의 윤곽선의 내측을 투명화해도 된다. 이로써, 인물의 상의 영역이 전부 채워지지 않아, 윤곽 내측의 표시 요소가 표시되므로, 조작성의 향상 및 육안관찰성의 향상에 기여한다.
다시 도 2로 복귀하고, 표시 위치 변경부(102b)는, 상 표시 제어부(102c)에 의해 표시된 상으로부터 배제되도록, 선택 가능한 요소에 대응한 포인트의 표시 위치를 변경시킨다(단계 SA―2). 도 5는, 표시 위치 변경부(102b)에 의해 표시 위치가 이동된 포인트(P2)의 일례를 나타낸 표시 화면예이다. 도면에 있어서, 파선(破線)의 환(丸)은, 포인트(P2)의 원래의 표시 위치를 나타내고 있고, 파선의 직선은, 원래의 표시 위치와 이동된 표시 위치 사이의 거리(d)를 나타내고 있다. 그리고, 파선은, 표시 화면에 표시되지 않아도 된다.
도 5에 나타낸 바와 같이, 포인트가 상으로부터 배타적으로 운동하도록, 표시 위치 변경부(102b)는, 포인트가, 상의 윤곽으로부터 배제되도록 이동시켜도 된다. 그리고, 도시한 예는, 포인트의 윤곽이 상의 윤곽으로부터 배제되도록 이동 제어되는 예이지만, 이에 한정되지 않고, 표시 요소 변경부(102b)는, 포인트의 윤곽이 상의 대표선(중심선 등)으로부터 배제되도록 이동 제어해도 되고, 표시 요소가 비접촉 상태로 상으로부터 멀어지도록 이동시켜도 된다.
그리고, 표시 위치 변경부(102b)는, 상 또는 표시체로부터 표시 요소 또는 포인트가 배제되도록 이동시키는 제어를 우선적으로 행하는 동시에, 표시 요소 또는 포인트를, 소정의 위치 또는 방향을 향해 이동시켜도 된다. 예를 들면, 표시 위치 변경부(102b)는, 포인트가 상에 접촉하고 있지 않은 경우, 상기 포인트를, 이동 전의 원래의 표시 위치로 되돌아오도록 이동시켜도 된다.
다시 도 2로 복귀하고, 선택 판정부(102d)는, 요소 표시 제어부(102a)의 표시 위치 변경부(102b)에 의해 이동된 포인트의 이동도에 기초하여, 상기 포인트에 대응하는 요소의 선택을 판정한다(단계 SA―3). 예를 들면, 선택 판정부(102d)는, 포인트(P2)가 소정의 위치에 도달한 경우나, 원래의 위치로부터의 이동 거리(d)가 소정 임계값 이상인 경우나, 원래의 위치로부터 이동을 개시하고 나서 일정 시간이 경과한 경우 등과 같이, 소정의 이동도로 된 경우(소정의 임계값 이상의 이동도로 된 경우 등)에, 상기 포인트(P2)에 대응하는 요소의 선택(URL2의 링크 표시 선택)을 판정해도 된다.
선택 판정부(102d)에 의해 소정의 이동도가 아닌 것으로 판정된 경우(단계 SA―3, No), 요소 선택 장치(100)는, 단계 SA―1로 처리를 되돌려, 전술한 처리가 반복되도록 제어한다. 즉, 상 표시 제어부(102c)에 의한 상의 표시의 갱신(단계 SA―1)과, 그에 계속되는 표시 위치 변경부(102b)에 의한 표시 위치의 이동 제어(단계 SA―2)를 행하고, 다시, 선택 판정부(102d)는, 이동도의 판정을 행한다(단계 SA―3).
선택 판정부(102d)는, 소정의 이동도로 된 것으로 판정한 경우(단계 SA―3, Yes), 상기 포인트에 대응하는 요소의 선택을 결정하고(단계 SA―4), 요소 선택 장치(100)의 제어부(102)는, 선택 처리를 실행한다. 예를 들면, 도 5의 예에서, 선택 판정부(102d)는, 포인트(P2)의 원래의 위치와 이동한 표시 위치와의 거리(d)가, 소정의 임계값 이상인 경우에, 상기 포인트(P2)에 대응한 요소(URL2의 링크)의 선택을 결정하고, 요소 선택 장치(100)는, URL2의 링크 표시를 행해도 된다.
이상이 본 실시형태에 있어서의 요소 선택 장치(100)의 처리의 일례이다. 그리고, 상기한 예에서는, 요소에 대응하는 포인트가 상에 의해 배타적으로 이동 제어되는 예에 대하여 설명하였으나, 이에 한정되지 않고, 예를 들면, 표시 요소가 표시체에 의해 배타적으로 이동 제어되어도 되는 것이다. 도 6은, 표시 요소(E1) 및 (E2)와, 캡틴 훅의 손을 모방한 표시체가 표시된 표시 화면의 일례를 나타낸 도면이다.
도 6에 나타낸 바와 같이, 상 표시 제어부(102c)는, 촬상 장치(112)를 통하여 검출한 인물의 팔의 동작에 연동하도록, 표시체를 표시 장치(112)의 표시 화면에 표시시켜도 된다. 그리고, 요소 표시 제어부(102a)의 표시 위치 변경부(102b)는, 표시 요소(E1) 및 표시 요소(E2)를, 표시체의 윤곽으로부터 배제되도록 이동시켜도 된다. 그리고, 이 예에서는, 표시 위치 변경부(102b)는, 표시 요소 또는 포인트가 이동하는 방향이나 범위 등을 한정하고 있다. 즉, 표시 위치 변경부(102b)는, 표시 요소(E1)는 도면의 상(上)방향으로 소정 범위(홈 표시 부분)까지 밖에 이동하지 못하고, 표시 요소(E2)는 도면의 하(下)방향으로 소정 범위(홈 표시 부분)까지 밖에 이동할 수 없도록 제어하고 있다. 도 7은, 도 6의 표시 화면으로부터의 천이 화면예를 나타낸 도면이다.
도 7에 나타낸 바와 같이, 상 표시 제어부(102c)는, 이용자가 움직이는 팔의 동작에 연동시켜 표시체를 이동시키고, 표시 위치 변경부(102b)는, 그에 따라, 표시 요소(E5)가 표시체의 윤곽으로부터 배제되도록 이동 제어해도 된다. 그리고, 도 7의 예에서는, 표시 요소(E2)가 하방향의 소정 범위 가득까지 압하(押下)된 경우, 선택 판정부(102d)는, 상기 표시 요소(E2)의 선택을 판정해도 된다. 이 예에서는, 표시 요소(E2)의 선택이 판정되면, 요소 선택 장치(100)의 제어부(102)는, TV의 채널을 ＋방향으로 1개 돌려(즉, 채널 번호를 1개 증가시킨 채널 번호의 방송을) 표시시킨다. 예를 들면, 채널 1이 표시 중인 경우에는 채널 2이 표시되게 한다.
이상에서, 본 실시형태에 있어서의, 요소 선택 장치(100)의 처리의 일례의 설명을 종료한다.
또한, 전술한 예에서는, 대응하는 표시 요소가 미리 표시되는 것을 전제로 설명을 행하였으나, 이에 한정되지 않고, 미리 표시 요소가 표시되어 있지 않아도, 상의 표시에 동반하여 표시 요소가 표시되어도 된다. 예를 들면, TV 화면에서는, 상의 표시에 따라, 채널 선택 화면을 표시하여, 각 채널 선택을 위한 표시 요소를 출현시키고, 이것을 임의의 지점(地点)까지 손의 상으로 드래그함으로써, 채널 선택을 가능하게 해도 된다.
이상과 같이, 본 실시형태에 의하면, 종래와 같이, 손을 검출하여, 손의 선단 검출이나 C/O 검출[영정학(映情學) 기보 VIS 2001―103, Vol.25, No.85, pp.47―52 2001)]에 의해, 손을 포인팅 디바이스(위치점 입력 수단)로 하는 것이 아니라, 손 그 자체로 조작 가능하도록 표시 요소를 포인터화한 인터페이스를 제공한다. 선행 기술에서는, 손가락 끝을 커서의 좌표 위치로 하여, 엄지를 굽혔을 때 클릭과 대응하는 기술도 있지만, 그와 같은 경우, 좌표 위치의 연산에 시간이 걸리거나 엄지를 굽힐 때, 손가락끝의 위치가 어긋나거나 하므로, 본 실시형태는, 종래의 문제점을 해소할 수 있다. 또한, 본 실시형태에 있어서는, 조작 포인트를 1점으로 하였으나, 1점이 아니고 2점으로 해도 된다. 이로써, 봉(棒)의 방향이나 입체의 방향을 좌우의 손으로 변화시키거나, 멀티 터치 조작에서의 확대 축소 등의 조작이 가능하게 된다.
[다른 실시형태]
그런데, 지금까지 본 발명의 실시형태에 대하여 설명하였으나, 본 발명은, 전술한 실시형태 이외에도, 특허청구의 범위에 기재된 기술적 사상의 범위 내에 있어서 각종 상이한 실시형태에 의해 실시되어도 바람직한 것이다.
예를 들면, 요소 선택 장치(100)가 스탠드 얼론(stand alone)의 형태로 처리를 행하는 경우를 일례에 설명하였으나, 요소 선택 장치(100)는, 클라이언트 단말기[요소 선택 장치(100)와는 별개의 하우징임]로부터의 요구에 따라 처리를 행하고, 그 처리 결과를 상기 클라이언트 단말기에 리턴(返却)하도록 해도 된다.
또한, 실시형태에 있어서 설명한 각각의 처리 중, 자동적으로 행해지는 것으로서 설명한 처리의 전부 또는 일부를 수동적으로 행할 수도 있고, 또는 수동적으로 행해지는 것으로서 설명한 처리의 전부 또는 일부를 공지의 방법으로 자동적으로 행할 수도 있다.
이 외에, 상기 문헌 중이나 도면 중에 나타낸 처리 수순, 제어 수순, 구체적 명칭, 각각의 처리의 등록 데이터나 검색 조건 등의 파라미터를 포함하는 정보, 화면예, 데이터베이스 구성에 대해서는, 특기하는 경우를 제외하고 임의로 변경할 수 있다.
또한, 요소 선택 장치(100)에 관하여, 도시한 각각의 구성 요소는 기능 개념적인 것이며, 반드시 물리적으로 도시한 바와 같이 구성되어 있는 것을 필요로 하지 않는다.
예를 들면, 요소 선택 장치(100)의 각각의 장치가 구비하는 처리 기능, 특히 제어부(102)에 의해 행해지는 각각의 처리 기능에 대해서는, 그 전부 또는 임의의 일부를, CPU(Central Processing Unit) 및 상기 CPU에 의해 해석 실행되는 프로그램에 의해 실현해도 되고, 또는 와이어드 로직(wired logic)에 의한 하드웨어로서 실현해도 된다. 그리고, 프로그램은, 후술하는, 컴퓨터에 본 발명에 관한 방법을 실행하도록 하기 위한 프로그램화된 명령을 포함하는, 일시적이 아닌 컴퓨터 판독 가능한 기록 매체에 기록되어 있고, 필요에 따라 요소 선택 장치(100)에 의해 기계적으로 판독된다. 즉, ROM 또는 HDD(Hard Disk Drive) 등의 기억부(106) 등에는, OS(Operating System)와 협동하여 CPU에 명령을 부여하고, 각종 처리를 행하기 위한 컴퓨터 프로그램이 기록되어 있다. 이 컴퓨터 프로그램은, RAM에 로드되는 것에 의해 실행되고, CPU와 협동하여 제어부를 구성한다.
또한, 이 컴퓨터 프로그램은, 요소 선택 장치(100)에 대하여 임의의 네트워크(300)를 통하여 접속된 어플리케이션 프로그램 서버에 기억되어 있어도 되고, 필요에 따라 그 전부 또는 일부를 다운로드할 수도 있다.
또한, 본 발명에 관한 프로그램을, 컴퓨터 판독 가능한 기록 매체에 저장해도 되고, 또한 프로그램 제품으로서 구성할 수도 있다. 여기서, 이 「기록 매체」는, 메모리 카드, USB 메모리, SD 카드, 플렉시블 디스크, 광자기 디스크, ROM, EPROM, EEPROM, CD―ROM, MO, DVD, 및 Blu―ray Disc(등록상표) 등의 임의의 「포터블의 물리 매체」를 포함하는 것으로 한다.
또한, 「프로그램」이란, 임의의 언어나 기술 방법에 의해 기술된 데이터 처리 방법이며, 소스 코드나 바이너리 코드 등의 형식에는 상관없다. 그리고, 「프로그램」은 반드시 단일적으로 구성되는 것에 한정되지 않고, 복수의 모듈이나 라이브러리로서 분산 구성되는 것이나, OS(Operating System)로 대표되는 별개의 프로그램과 협동하여 그 기능을 달성하는 것도 포함한다. 그리고, 실시형태에 나타낸 각각의 장치에 있어서 기록 매체를 판독하기 위한 구체적인 구성, 판독 수순, 또는 판독 후의 인스톨 수순 등에 대해서는, 주지의 구성이나 수순을 사용할 수 있다. 프로그램이, 일시적이 아닌 컴퓨터 판독 가능한 기록 매체에 기록된 프로그램 제품으로서 본 발명을 구성해도 된다.
기억부(106)에 저장되는 각종 데이터베이스 등[요소 파일(106a)]은, RAM, ROM 등의 메모리 장치, 하드디스크 등의 고정 디스크 장치, 플렉시블 디스크, 및 광디스크 등의 스토리지 수단이며, 각종 처리나 웹사이트 제공에 사용하는 각종 프로그램, 테이블, 데이터베이스, 및 웹 페이지용 파일 등을 저장한다.
또한, 요소 선택 장치(100)는, 기지(旣知)의 퍼스널 컴퓨터, 워크 스테이션 등의 정보 처리 장치로서 구성해도 되고, 또한 상기 정보 처리 장치에 임의의 주변 장치를 접속하여 구성해도 된다. 또한, 요소 선택 장치(100)는, 상기 정보 처리 장치에 본 발명의 방법을 실현시키는 소프트웨어(프로그램, 데이터 등을 포함함)를 실장(實裝)함으로써 실현해도 된다.
또한, 장치의 분산·통합의 구체적 형태는 도시한 것에 한정되지 않고, 그 전부 또는 일부를, 각종 부가(付加) 등에 따라, 또는 기능 부하에 따라, 임의의 단위로 기능적 또는 물리적으로 분산·통합하여 구성할 수 있다. 즉, 전술한 실시형태를 임의로 조합시켜 실시해도 되고, 실시형태를 선택적으로 실시해도 된다.
그리고, 이하에, 본 발명에 관한 특허청구의 범위의 다른 예를 열거한다.
[청구항 0]
적어도 표시부와 촬상부(撮像部)와 제어부를 구비한 요소 선택 장치로서,
상기 제어부는,
상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키는 요소 표시 제어 수단; 및
상기 촬상부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를, 상기 화면 상에 표시시키는 상 표시 제어 수단;
을 포함하고,
상기 요소 표시 제어 수단은,
상기 상 표시 제어 수단에 의해 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 이동 제어 수단을 구비하고,
상기 제어부는,
상기 이동 제어 수단에 의해 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 결정하는 선택 결정 수단을 더 포함하는,
요소 선택 장치.
[청구항 1]
적어도 표시 수단과 촬상 수단과 제어부를 구비한 요소 선택 장치에 있어서,
상기 제어부는,
촬상 수단에 의해 이용자를 촬상하여, 적어도 이용자의 손 또는 손가락의 영역인 사용자 영역을 판별할 수 있도록 상기 표시 수단에 표시하는 손 영역 표시 제어 수단;
상기 손 영역 표시 제어 수단에 의해 표시되는 상기 사용자 영역으로부터 배제되도록, 선택 가능한 표시 요소를 이동시켜 표시하는 표시 요소 이동 수단; 및
상기 표시 요소 이동 수단에 의해 이동된 상기 표시 요소의 이동도에 기초하여, 상기 표시 요소의 선택을 판정하는 선택 판정 수단;
을 포함하는, 요소 선택 장치.
[청구항 2(표시 요소의 이동 태양: 원래로 되돌아옴)]
청구항 1에 있어서,
상기 표시 요소 이동 수단은,
상기 표시 요소에 원래의 위치로 되돌아오는 것과 같은 힘이 작용하고 있는 것과 동일하게 상기 표시 요소의 이동을 제어하는, 요소 선택 장치.
[청구항 3(표시 요소의 이동 태양: 중력)]
청구항 1 또는 청구항 2에 에 있어서,
상기 표시 요소 이동 수단은,
상기 표시 요소에 화면의 하방향으로 중력이 작용하고 있는 것과 동일하게 상기 표시 요소의 이동을 제어하는, 요소 선택 장치.
[청구항 4(표시 요소의 이동 태양: 자석)]
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
*상기 표시 요소 이동 수단은,
상기 사용자 영역과 상기 표시 요소 사이에 인력이 작용하고 있는 것과 동일하게 상기 표시 요소의 이동을 제어하는, 요소 선택 장치.
[청구항 5(선택 판정 1: 거리)]
청구항 1 내지 청구항 4 중 어느 한 항에 있어서, ,
상기 이동도는, 상기 표시 요소가 이동된 거리이며,
상기 선택 판정 수단은,
상기 표시 요소가 소정 임계값 이상의 거리를 이동한 경우에, 상기 표시 요소의 선택을 판정하는, 요소 선택 장치.
[청구항 6(선택 판정 2: 시간)]
청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 이동도는, 상기 표시 요소의 이동이 계속된 시간이며,
상기 선택 판정 수단은,
상기 표시 요소가 이동을 개시하고 나서 소정 임계값 이상의 시간 경과한 경우에, 상기 표시 요소의 선택을 판정하는, 요소 선택 장치.
[청구항 7(배제: 표시 요소의 대표점)]
청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
상기 표시 요소 이동 수단은,
상기 표시 요소의 대표점이 상기 사용자 영역으로부터 배제되도록, 상기 표시 요소를 이동시켜 표시하는, 요소 선택 장치.
[청구항 8(표시 요소의 이동 태양: 장력)]
*청구항 2에 있어서,
상기 표시 요소 이동 수단은,
상기 표시 요소의 대표점의 원래의 위치와 이동한 위치 사이에, 상기 이동도에 따른 장력이 작용하고 있는 것과 동일하게 상기 표시 요소의 이동을 제어하고,
상기 표시 요소의 상기 대표점이, 상기 사용자 영역의 윤곽선의 로컬 미니멈에 빠졌을 경우에는, 곡선의 접점에 위치하는 경우를 제외하고, 상기 사용자 영역을 횡단 가능하게 제어하는, 요소 선택 장치.
[청구항 9]
적어도 표시 수단과 촬상 수단과 제어부를 구비한 정보 처리 장치에 실행하도록 하기 위한 프로그램으로서,
상기 제어부에서,
촬상 수단에 의해 이용자를 촬상하여, 적어도 이용자의 사용자 영역을 판별할 수 있도록 상기 표시 수단에 표시하는 손 영역 표시 제어 단계;
상기 손 영역 표시 제어 단계에서 표시되는 상기 사용자 영역으로부터 배제되도록, 선택 가능한 표시 요소를 이동시켜 표시하는 표시 요소 이동 단계; 및
상기 표시 요소 이동 단계에서 이동된 상기 표시 요소의 이동도에 기초하여, 상기 표시 요소의 선택을 판정하는 선택 판정 단계;
를 실행시키는, 프로그램.
[청구항 10]
적어도 표시부와 촬상부와 제어부를 구비한 컴퓨터에 있어서 실행되는 요소 선택 방법으로서,
상기 제어부에서 실행되는,
상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키는 요소 표시 제어 단계;
상기 촬상부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를, 상기 화면 상에 표시시키는 상 표시 제어 단계;
상기 상 표시 제어 단계에서 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 이동 제어 단계; 및
상기 이동 제어 단계에서 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 결정하는 선택 결정 단계;
를 포함하는, 요소 선택 방법.
[청구항 11]
적어도 표시부와 촬상부와 제어부를 구비한 컴퓨터로 하여금 실행하도록 하기 위한 프로그램으로서,
상기 제어부에서,
상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키는 요소 표시 제어 단계;
상기 촬상부를 통하여 촬상한 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를, 상기 화면 상에 표시시키는 상 표시 제어 단계;
상기 상 표시 제어 단계에서 표시된 상기 상 또는 상기 표시체로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는 이동 제어 단계; 및
상기 이동 제어 단계에서 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치에 기초하여, 상기 요소의 선택을 결정하는 선택 결정 단계;
를 실행시키는, 프로그램.
[산업 상의 이용 가능성]
이상 상세히 설명에 설명한 바와 같이, 본 발명에 의하면, 비접촉 상태로 표시 상의 요소를 선택하는 경우에, 조작성을 향상시킬 수 있는, 요소 선택 장치, 요소 선택 방법, 프로그램, 및 기록 매체를 제공할 수 있다.
100; 요소 선택 장치
102; 제어부
102a; 요소 표시 제어부
102b; 표시 위치 변경부
102c; 상 표시 제어부
102d; 선택 판정부
104; 통신 제어 인터페이스부
106; 기억부
106a; 요소 파일
108; 입출력 제어 인터페이스부
112; 촬상 장치
114; 표시 장치
200; 외부 시스템
300; 네트워크

Claims (10)

  1. 손 또는 손가락의 동작을 인식하는 수단;
    인식된 손 또는 손가락의 동작에 연동하는 제1 화상을 표시시키는 수단;
    선택 가능한 요소(要素; element)에 대응하는 제2 화상을 표시시키고, 이동하여 온 상기 제1 화상으로부터 상기 제2 화상이 벗어나도록 이동 제어하는 수단; 및
    상기 제1 화상과 상기 제2 화상의 상대적 위치 관계가 미리 정해진 위치 관계에 해당하는 경우, 상기 제1 화상에 의해 상기 제2 화상이 미리 정해진 이동 상태로 된 경우, 또는 상기 제2 화상에 대해 상기 제1 화상에 의한 미리 정해진 액션이 있는 경우에, 상기 제2 화상에 대응하는 선택 가능한 요소의 선택을 결정하는 수단;
    을 포함하는 요소 선택 장치.
  2. 적어도 표시부와 검출부와 제어부를 포함하는 요소 선택 장치로서,
    상기 제어부는,
    상기 검출부를 통하여 검출한, 인물의 상(像), 또는 상기 인물의 동작에 연동하는 표시체를 화면 상에 표시시키는 상 표시 제어 수단;
    상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 상기 상 표시 제어 수단에 의해 표시된 상기 상 또는 상기 표시체로부터 배타적으로, 상기 요소 또는 상기 요소 화상을 이동시키는 요소 표시 제어 수단; 및
    상기 요소 표시 제어 수단에 의해 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치 또는 상기 인물의 동작에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 수단;을 포함하는,
    요소 선택 장치.
  3. 제2항에 있어서,
    상기 요소 표시 제어 수단은,
    상기 상 또는 상기 표시체로부터 배제되도록 이동시키는 제어를 우선적으로 행하는 동시에, 상기 요소 또는 상기 요소 화상을, 소정의 위치 또는 방향을 향해 이동시키는, 요소 선택 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 상 표시 제어 수단은,
    상기 검출부를 통하여 촬상(撮像)한 인물의 팔, 손 또는 손가락의 상, 또는 상기 인물의 팔, 손 또는 손가락의 동작에 연동하는 표시체를, 화면 상에 표시시키는, 요소 선택 장치.
  5. 제2항에 있어서,
    상기 요소 표시 제어 수단은,
    상기 상 또는 상기 표시체의, 윤곽 또는 중심선으로부터 배제되도록, 상기 요소 또는 상기 요소 화상을 이동시키는, 요소 선택 장치.
  6. 제2항에 있어서,
    상기 이동도는, 이동한 거리, 또는 원래의 위치를 벗어나고부터의 경과 시간인, 요소 선택 장치.
  7. 손 또는 손가락의 동작을 인식하는 단계;
    인식된 손 또는 손가락의 동작에 연동하는 제1 화상을 표시시키는 단계;
    선택 가능한 요소에 대응하는 제2 화상을 표시시키고, 이동하여 온 상기 제1 화상으로부터 상기 제2 화상이 벗어나도록 이동 제어하는 단계; 및
    상기 제1 화상과 상기 제2 화상의 상대적 위치 관계가 미리 정해진 위치 관계에 해당하는 경우, 상기 제1 화상에 의해 상기 제2 화상이 미리 정해진 이동 상태로 된 경우, 또는 상기 제2 화상에 대해 상기 제1 화상에 의한 미리 정해진 액션이 있는 경우에, 상기 제2 화상에 대응하는 선택 가능한 요소의 선택을 결정하는 단계;
    를 포함하는 요소 선택 방법.
  8. 적어도 표시부와 검출부와 제어부를 포함하는 컴퓨터에 실행되는 요소 선택 방법으로서,
    상기 제어부에서 실행되는,
    상기 검출부를 통하여 검출한, 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를 화면 상에 표시시키는 상 표시 제어 단계;
    상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 상기 상 표시 제어 단계에서 표시된 상기 상 또는 상기 표시체로부터 배타적으로, 상기 요소 또는 상기 요소 화상을 이동시키는 요소 표시 제어 단계; 및
    상기 요소 표시 제어 단계에서 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치 또는 상기 인물의 동작에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 단계;
    를 포함하는, 요소 선택 방법.
  9. 손 또는 손가락의 동작을 인식하는 단계;
    인식된 손 또는 손가락의 동작에 연동하는 제1 화상을 표시시키는 단계;
    선택 가능한 요소에 대응하는 제2 화상을 표시시키고, 이동하여 온 상기 제1 화상으로부터 상기 제2 화상이 벗어나도록 이동 제어하는 단계; 및
    상기 제1 화상과 상기 제2 화상의 상대적 위치 관계가 미리 정해진 위치 관계에 해당하는 경우, 상기 제1 화상에 의해 상기 제2 화상이 미리 정해진 이동 상태로 된 경우, 또는 상기 제2 화상에 대해 상기 제1 화상에 의한 미리 정해진 액션이 있는 경우에, 상기 제2 화상에 대응하는 선택 가능한 요소의 선택을 결정하는 단계;
    를 컴퓨터로 하여금 실행하도록 하기 위한 프로그램이 기록된 기록 매체.
  10. 적어도 표시부와 검출부와 제어부를 포함하는 컴퓨터로 하여금 실행하도록 하기 위한 프로그램이 기록된 기록 매체로서,
    상기 제어부에서 실행되는,
    상기 검출부를 통하여 검출한, 인물의 상, 또는 상기 인물의 동작에 연동하는 표시체를 화면 상에 표시시키는 상 표시 제어 단계;
    상기 표시부의 화면 상에 선택 가능한 요소, 또는 상기 요소에 대응한 요소 화상을 표시시키고, 상기 상 표시 제어 단계에서 표시된 상기 상 또는 상기 표시체로부터 배타적으로, 상기 요소 또는 상기 요소 화상을 이동시키는 요소 표시 제어 단계; 및
    상기 요소 표시 제어 단계에서 이동된 상기 요소 또는 상기 요소 화상의 이동도 또는 이동 위치 또는 상기 인물의 동작에 기초하여, 상기 요소의 선택을 판정하는 선택 판정 단계;
    를 실행하도록 하기 위한 프로그램이 기록된 기록 매체.
KR1020167004281A 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램 KR20160022403A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-157236 2012-07-13
JP2012157236 2012-07-13
PCT/JP2013/068969 WO2014010670A1 (ja) 2012-07-13 2013-07-11 要素選択装置、要素選択方法、および、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157002920A Division KR101845046B1 (ko) 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR20160022403A true KR20160022403A (ko) 2016-02-29

Family

ID=49916111

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157002920A KR101845046B1 (ko) 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램
KR1020167004281A KR20160022403A (ko) 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157002920A KR101845046B1 (ko) 2012-07-13 2013-07-11 요소 선택 장치, 요소 선택 방법 및 프로그램

Country Status (6)

Country Link
US (1) US9575565B2 (ko)
EP (1) EP2874044A4 (ko)
JP (3) JP5507773B1 (ko)
KR (2) KR101845046B1 (ko)
CN (1) CN104508599A (ko)
WO (1) WO2014010670A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127124A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
CN104298340B (zh) * 2013-07-15 2017-12-26 联想(北京)有限公司 控制方法和电子设备
WO2015063782A1 (en) * 2013-10-31 2015-05-07 Hewlett-Packard Development Company, L.P. Communicating with unsupported input device
DE102014107211A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum Anzeigen einer virtuellen Realität sowie Messgerät
US10015402B2 (en) 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
JP6388203B2 (ja) * 2014-09-08 2018-09-12 任天堂株式会社 電子機器
JP6197801B2 (ja) * 2015-01-30 2017-09-20 コニカミノルタ株式会社 データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラム
CA3229530A1 (en) * 2021-08-30 2023-03-09 Katsuhide Agura Electronic apparatus and program

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2816456B2 (ja) 1991-07-05 1998-10-27 株式会社村田製作所 フォーカス測定装置
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
US5508717A (en) 1992-07-28 1996-04-16 Sony Corporation Computer pointing device with dynamic sensitivity
JP3766981B2 (ja) * 1994-04-05 2006-04-19 カシオ計算機株式会社 画像制御装置および画像制御方法
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0823683B1 (en) 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JP2000075991A (ja) * 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US6816176B2 (en) * 2001-07-05 2004-11-09 International Business Machines Corporation Temporarily moving adjacent or overlapping icons away from specific icons being approached by an on-screen pointer on user interactive display interfaces
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP2006268212A (ja) * 2005-03-23 2006-10-05 Hiroshi Mitsumata 命令入力装置
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
KR100793079B1 (ko) * 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
US8373655B2 (en) * 2007-01-05 2013-02-12 Apple Inc. Adaptive acceleration of mouse cursor
JP4220555B2 (ja) 2007-02-09 2009-02-04 株式会社日立製作所 テーブル型情報端末
US20090204622A1 (en) * 2008-02-11 2009-08-13 Novell, Inc. Visual and non-visual cues for conveying state of information cards, electronic wallets, and keyrings
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2010140300A (ja) * 2008-12-12 2010-06-24 Sharp Corp 表示装置、制御方法、制御プログラムおよび記録媒体
KR101650371B1 (ko) * 2008-12-30 2016-08-24 삼성전자주식회사 중력에 의해 이동되는 감각적 효과를 나타내는 포인터를 이용한 ｇｕｉ 제공방법 및 이를 적용한 전자장치
WO2011031492A1 (en) * 2009-08-25 2011-03-17 Google Inc. Direct manipulation gestures
WO2011035723A1 (zh) * 2009-09-23 2011-03-31 Han Dingnan 一套人机交互方法及界面
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same

Also Published As

Publication number Publication date
US9575565B2 (en) 2017-02-21
KR20150021132A (ko) 2015-02-27
JP5507773B1 (ja) 2014-05-28
JP2014149842A (ja) 2014-08-21
WO2014010670A1 (ja) 2014-01-16
JPWO2014010670A1 (ja) 2016-06-23
EP2874044A4 (en) 2016-04-13
KR101845046B1 (ko) 2018-04-03
CN104508599A (zh) 2015-04-08
US20150169073A1 (en) 2015-06-18
EP2874044A1 (en) 2015-05-20
JP2019135665A (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
KR101845046B1 (ko) 요소 선택 장치, 요소 선택 방법 및 프로그램
US20200225756A9 (en) System and method for close-range movement tracking
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2014181876A1 (ja) 入力支援装置、入力支援方法、および、プログラム
US20140282223A1 (en) Natural user interface scrolling and targeting
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
CN104346085A (zh) 一种对控件对象的操作方法、装置及终端设备
JP2007323618A (ja) 情報表示装置
US20190025921A1 (en) Method, Device, and System for Providing User Interface, and Non-Temporary Computer-Readable Recording Medium
JP2009140390A (ja) 指示デバイスおよび指紋認証半導体回路
WO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
KR20130030727A (ko) 힘을 이용한 인터페이스 제어 장치 및 방법
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
JP2015135572A (ja) 情報処理装置とその制御方法
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
KR101513343B1 (ko) 3차원 가상 환경에서 객체의 움직임을 제어하기 위한 방법
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
CN114168034A (zh) 应用于头戴式显示设备的菜单操作方法及头戴式显示设备
JP6256545B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP5449088B2 (ja) 情報入力装置
US20220129109A1 (en) Information processing apparatus, information processing method, and recording medium
JP5733056B2 (ja) 仮想マウスによるデータ入力方法
US20240160294A1 (en) Detection processing device, detection processing method, information processing system
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
JPWO2017217375A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid