KR20120026043A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20120026043A
KR20120026043A KR1020117025355A KR20117025355A KR20120026043A KR 20120026043 A KR20120026043 A KR 20120026043A KR 1020117025355 A KR1020117025355 A KR 1020117025355A KR 20117025355 A KR20117025355 A KR 20117025355A KR 20120026043 A KR20120026043 A KR 20120026043A
Authority
KR
South Korea
Prior art keywords
operating body
display panel
contact
detected
proximity
Prior art date
Application number
KR1020117025355A
Other languages
English (en)
Inventor
레이꼬 미야자끼
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120026043A publication Critical patent/KR20120026043A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

유저에 대한 표시 패널의 방향에 의존하지 않는 조작을 가능하게 하는 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공한다. 표시 패널(101)에 접촉하는 조작체(M)의 지시 방향을 검출하는 조작체 검출부(109)와, 검출된 조작체의 지시 방향에 기초하여 조작체에 의해 입력되는 조작의 방향을 특정하는 조작 특정부(107)를 구비한다. 이에 의해, 조작체의 지시 방향에 기초하여 조작의 방향이 특정되므로, 조작자에 대한 표시 패널의 방향에 의존하지 않는 조작이 가능하게 된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램 {INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}
본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
종래, 손가락, 손, 스타일러스 등의 조작체의 동작을 각종 센서에 의해 검출하여, 유저와 인터랙션을 행하는 정보 처리 장치가 알려져 있다. 정보 처리 장치는, 예를 들어 센서에 대한 조작체의 접촉ㆍ근접 상태, 센서에 받아들여지는 조작체의 원격 동작 등을 검출하여, 유저에 의해 입력되는 조작을 특정한다.
특히, 터치 패널식 인터페이스를 사용하는 정보 처리 장치는, 표시 패널에 대한 조작체의 접촉 상태에 기초하여 유저에 의해 입력되는 조작을 특정하고 있다. 여기서, 유저는 표시 패널 상에서 그래픽 유저 인터페이스(GUI)의 표시 방향을 인식한 후에, 그 방향에 대응하도록 조작을 행하고 있다.
예를 들어, GUI 표시의 상하 방향으로 슬라이더의 오브젝트가 표시되어 있는 경우, 유저는 슬라이더의 조절 버튼을 선택하여 GUI 표시의 방향을 인식한 후에, GUI 표시의 상하 방향에 대응하도록 드래그 조작한다.
여기서, 유저에 대한 표시 패널의 방향과 GUI 표시의 방향이 일치하지 않는 경우(예를 들어, 표시 패널의 상부가 유저에 대하여 좌측으로 되도록 배치되어 있는 경우), 유저는 GUI 표시의 방향에 대응하는 조작을 직감적으로 입력할 수 없는 경우가 있다.
이 경우, 유저는 GUI 표시의 상하 방향에 대응하도록 표시 패널에 대하여 좌우 방향으로 드래그 조작하게 된다. 또한, 유저는 표시 패널의 방향을 변경한 후, GUI 표시의 상하 방향에 대응하도록 표시 패널에 대하여 상하 방향으로 드래그 조작하게 된다.
어떻든, 유저는 GUI 표시의 방향, 바꾸어 말하면 유저에 대한 표시 패널의 방향에 의존한 조작을 강요당하므로, 반드시 양호한 조작 환경을 누릴 수 있다고는 할 수 없다.
최근에는 특히 오브젝트를 통하여 콘텐츠를 간접적으로 조작하는 대신에 콘텐츠 자체를 직접적으로 조작하는(표시 패널 상의 위치를 특정하지 않고 조작함) 것이 행해지고 있다. 이로 인해, 유저에 대한 표시 패널의 방향에 의존하지 않는 조작을 가능하게 하면, 직감적인 조작이 가능하게 되어 조작 환경의 향상을 도모할 수 있다.
따라서, 본 발명은 유저에 대한 표시 패널의 방향에 의존하지 않는 조작을 가능하게 하는 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하고자 하는 것이다.
본 발명의 제1 관점에 따르면, 표시 패널에 접촉하는 조작체의 지시 방향을 검출하는 조작체 검출부와, 검출된 조작체의 지시 방향에 기초하여 조작체에 의해 입력되는 조작의 방향을 특정하는 조작 특정부를 구비하는 정보 처리 장치가 제공된다. 여기서, 상기 조작체 검출부는 조작체의 선단부의 방향에 기초하여 조작체의 지시 방향을 결정하여도 된다. 이에 의해, 조작체의 지시 방향에 기초하여 조작의 방향이 특정되므로, 조작자에 대한 표시 패널의 방향에 의존하지 않는 조작이 가능하게 된다.
상기 조작체 검출부는 표시 패널에 접촉하여 이동하는 조작체의 지시 방향 및 이동 방향을 검출하고, 조작 특정부는 검출된 조작체의 지시 방향 및 이동 방향에 기초하여 조작체에 의해 입력되는 조작의 방향을 특정하여도 된다. 여기서, 상기 조작 특정부는 검출된 조작체의 지시 방향과 이동 방향에 의해 정의되는 각도에 기초하여 조작체에 의해 입력되는 조작의 방향을 특정하여도 된다. 이에 의해, 조작체의 지시 방향 및 이동 방향으로부터 특정된 조작의 방향에 기초하여 조작자에 대한 표시 패널의 방향에 의존하지 않는 드래그 조작이 가능하게 된다.
상기 정보 처리 장치는 표시 패널의 표시를 제어하는 표시 제어부를 더 구비하고, 상기 조작 특정부는 검출된 조작체의 지시 방향에 기초하여 표시 패널의 표시를 회전시키는 조작의 방향을 특정하고, 표시 제어부는 특정된 조작의 방향에 따라 표시 패널의 표시를 회전시켜도 된다. 이에 의해, 조작체의 지시 방향으로부터 특정된 조작의 방향에 기초하여 회전하는 표시 패널의 표시에 기초하여 조작자에 대한 표시 패널의 방향에 의존하지 않는 조작이 가능하게 된다.
상기 조작체 검출부는 조작체의 지시 방향을 연속해서 검출하고, 연속해서 검출된 조작체의 지시 방향이 소정의 임계값 내에 있는 경우에, 연속해서 검출된 조작체의 지시 방향에 기초하여 조작체의 지시 방향을 결정하여도 된다. 이에 의해, 조작체의 지시 방향의 검출 정밀도를 높일 수 있다.
또한, 본 발명의 제2 관점에 따르면, 표시 패널에 접촉하는 조작체의 지시 방향을 검출하는 스텝과, 검출된 조작체의 지시 방향에 기초하여 조작체에 의해 입력되는 조작의 방향을 특정하는 스텝을 포함하는 정보 처리 방법이 제공된다.
또한, 본 발명의 제3 관점에 따르면, 본 발명의 제2 관점에 의한 정보 처리 방법을 컴퓨터에 실행시키기 위한 프로그램이 제공된다.
본 발명에 따르면, 유저에 대한 표시 패널의 방향에 의존하지 않는 조작을 가능하게 하는 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시 형태에 관한 정보 처리 장치의 개요를 도시하는 도면.
도 2는 본 발명의 일 실시 형태에 관한 정보 처리 장치의 기능 구성예를 도시하는 블록도.
도 3a는 표시 패널 상의 조작체의 상태를 도시하는 도면.
도 3b는 도 3a에 도시하는 상태에 있어서 센서 화상 상에서 특정된 영역을 도시하는 도면.
도 4a는 표시 패널 상의 조작체의 상태를 도시하는 도면.
도 4b는 도 4a에 도시하는 상태에 있어서 센서 화상 상에서 특정된 영역을 도시하는 도면.
도 5a는 도 3a의 A-A선 상의 휘도값의 분포를 나타내는 도면.
도 5b는 도 3a의 B-B선 상의 휘도값의 분포를 나타내는 도면.
도 6은 조작 방향의 특정 처리를 나타내는 흐름도.
도 7a는 조작 방향의 특정 처리를 도시하는 모식도.
도 7b는 조작 방향의 특정 처리를 도시하는 모식도.
도 7c는 조작 방향의 특정 처리를 도시하는 모식도.
도 8a는 조작 방향의 특정 처리를 도시하는 모식도.
도 8b는 조작 방향의 특정 처리를 도시하는 모식도.
도 9는 표시 방향의 회전 처리를 나타내는 흐름도.
도 10a는 표시 방향의 회전 처리를 도시하는 모식도.
도 10b는 표시 방향의 회전 처리를 도시하는 모식도.
도 11은 근접 제스처에 기초하는 조작의 특정 처리를 나타내는 흐름도.
도 12a는 근접 제스처에 기초하는 조작의 특정 처리(정지 제스처)를 도시하는 모식도.
도 12b는 근접 제스처에 기초하는 조작의 특정 처리(반복 이동 제스처)를 도시하는 모식도.
도 12c는 근접 제스처에 기초하는 조작의 특정 처리(이동 제스처)를 도시하는 모식도.
도 13은 접촉 제스처에 기초하는 조작의 특정 처리를 나타내는 흐름도.
도 14a는 접촉 제스처에 기초하는 조작의 특정 처리(포인트 제스처)를 도시하는 모식도.
도 14b는 접촉 제스처에 기초하는 조작의 특정 처리(푸시 제스처)를 도시하는 모식도.
도 14c는 접촉 제스처에 기초하는 조작의 특정 처리(커버 제스처)를 도시하는 모식도.
도 15는 접촉ㆍ근접 상태에 기초하는 조작의 특정 처리를 나타내는 흐름도.
도 16은 근접 검출 모드의 제어 처리를 나타내는 흐름도.
도 17a는 근접 검출 모드의 제어 처리를 도시하는 모식도.
도 17b는 근접 검출 모드의 제어 처리를 도시하는 모식도.
도 18은 근접ㆍ원격 검출 모드의 제어 처리를 나타내는 흐름도.
도 19a는 근접ㆍ원격 검출 모드의 제어 처리를 도시하는 모식도.
도 19b는 근접ㆍ원격 검출 모드의 제어 처리를 도시하는 모식도.
도 20은 접촉 검출 모드의 제어 처리를 나타내는 흐름도.
도 21a는 접촉 검출 모드의 제어 처리를 도시하는 모식도.
도 21b는 접촉 검출 모드의 제어 처리를 도시하는 모식도.
도 22는 어플리케이션의 기동 제어 처리를 나타내는 흐름도.
도 23a는 어플리케이션의 기동 제어 처리를 도시하는 모식도.
도 23b는 어플리케이션의 기동 제어 처리를 도시하는 모식도.
도 23c는 어플리케이션의 기동 제어 처리를 도시하는 모식도.
도 24는 정보 처리 장치의 하드웨어 구성예를 도시하는 블록도.
이하에 첨부한 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 번호를 부여함으로써 중복 설명을 생략한다.
[1. 정보 처리 장치(100)의 개요]
도 1은 본 발명의 일 실시 형태에 관한 정보 처리 장치(100)의 개요를 도시하는 도면이다. 본 발명의 일 실시 형태에 관한 정보 처리 장치(100)는 손가락, 손, 스타일러스 등의 조작체(M)의 표시 패널(101)에 대한 접촉 상태를 적어도 검출한다. 또한, 이하에서는 정보 처리 장치(100)가 표시 패널(101)을 내장하는 경우에 대하여 설명하지만, 정보 처리 장치(100)는 통신 수단을 통하여 표시 패널(101)에 접속되어도 된다.
정보 처리 장치(100)는 표시 패널(101)에 접촉하는 조작체(M)의 지시 방향을 검출하고, 검출된 조작체(M)의 지시 방향에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정한다. 여기서, 정보 처리 장치(100)는, 예를 들어 손가락의 선단 등, 조작체(M)의 선단부의 방향에 기초하여 조작체(M)의 지시 방향을 검출한다. 이에 의해, 조작체(M)의 지시 방향에 기초하여 조작의 방향이 특정되므로, 유저에 대한 표시 패널(101)의 방향에 의존하지 않는 조작이 가능하게 된다.
특히, 정보 처리 장치(100)는 표시 패널(101)에 접촉하여 이동하는 조작체(M)의 지시 방향 및 이동 방향을 검출하고, 검출된 조작체(M)의 지시 방향 및 이동 방향에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정한다. 이에 의해, 표시 패널(101)의 방향이 가로 방향 또는 세로 방향에 상관없이, 조작체(M)의 지시 방향 및 이동 방향으로부터 특정된 조작의 방향에 기초하여 유저에 대한 표시 패널(101)의 방향에 의존하지 않는 드래그 조작이 가능하게 된다.
[2. 정보 처리 장치(100)의 기능 구성]
도 2는 본 발명의 일 실시 형태에 관한 정보 처리 장치(100)의 기능 구성예를 도시하는 블록도이다. 정보 처리 장치(100)는 표시 패널(101), 원격 센서(107), 조작체 검출부(109), 상태 검출부(111), 기억부(113), 표시 제어부(115), 제어부(117)를 포함하여 구성된다.
표시 패널(101)은 접촉 근접 센서(103) 및 표시부(105)로서 기능한다. 접촉 근접 센서(103)는 조작체(M)의 접촉ㆍ근접 상태를 받아들인다. 접촉 근접 센서(103)는 광학식, 정전 용량식 등의 센서인데, 이하에서는 표시 패널(101)의 수광 상태에 기초하여 조작체(M)의 접촉ㆍ근접 상태를 받아들이는 경우를 상정한다. 표시부(105)는 표시 제어부(115)의 제어 하에서 오브젝트, 콘텐츠, 어플리케이션의 처리 결과 등을 표시한다. 또한, 오브젝트란, 예를 들어 아이콘, 버튼, 썸네일 등 GUI를 구성하는 임의의 오브젝트이다.
원격 센서(107)는 스테레오 카메라 등으로 이루어지며, 소정의 제스처 등 조작체(M)의 원격 동작을 촬상하여 받아들인다.
조작체 검출부(109)는 접촉 근접 센서(103) 및 원격 센서(107)를 사용하여 조작체(M)의 상태를 검출한다. 조작체 검출부(109)는 조작체(M)의 접촉ㆍ근접ㆍ이동 상태, 원격 동작을 검출한다. 조작체 검출부(109)는 특히 조작체(M)의 지시 방향, 소정의 제스처 등을 검출한다. 조작체 검출부(109)는 표시 패널(101)에 대한 조작체(M)의 지시 방향을 검출하고, 특히 표시 패널(101)에 접촉하여 이동하는 조작체(M)의 지시 방향 및 이동 방향을 검출한다. 또한, 접촉 시와 함께 근접 시에도 조작체(M)의 지시 방향을 검출하여도 된다.
조작체 검출부(109)는 표시 패널(101)의 수광 상태에 기초하여 표시 패널(101)에 대한 조작체(M)의 접촉ㆍ근접의 유무, 조작체(M)의 접촉ㆍ근접 면적, 조작체(M)의 지시 방향, 접촉ㆍ근접 제스처를 검출한다. 또한, 접촉 근접 센서(103)에 의한 조작체(M)의 검출 방법의 상세에 대해서는 후술한다. 조작체 검출부(109)는 원격 센서(107)의 촬상 결과에 기초하여 원격 제스처를 검출한다. 조작체 검출부(109)는 조작체(M)의 접촉ㆍ근접ㆍ원격 동작을 미리 등록된 제스처 정보와 대조함으로써 소정의 제스처를 검출한다.
상태 검출부(111)는 가속도 센서, 자이로 센서 등을 포함하고, 자장치의 정지 상태, 방향을 검출한다. 표시 제어부(115)는 표시부(105)에 의한 오브젝트, 콘텐츠, 어플리케이션의 처리 결과 등의 표시를 제어한다.
기억부(113)는 정보 처리 프로그램, 어플리케이션 프로그램, 오브젝트의 데이터, 제스처 정보 등을 기억하고 있다. 제어부(117)는 정보 처리 프로그램의 실행에 의해 각 부를 제어하고, 정보 처리 장치(100) 전체의 동작을 제어한다.
제어부(117)는 조작체(M)의 지시 방향에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정하는 조작 특정부로서 기능한다. 여기서, 제어부(117)는, 특히 검출된 조작체(M)의 지시 방향 및 이동 방향에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정한다.
또한, 제어부(117)는 자장치의 정지 상태 또는 방향에 따라 조작체(M)에 의한 자장치에 대한 조작을 검출하는 모드를 제어하는 모드 제어부로서 기능한다.
[3. 조작체(M)의 검출 방법]
표시 패널(101)에는 RGB 화소 및 수광 센서가 매트릭스 형상으로 배치되어 있다. 수광 센서는 표시 패널(101)로부터 방사되어 조작체(M)에서 반사된 광을 수광하고, 수광 상태에 기초하여 조작체(M)의 접촉ㆍ근접 상태를 받아들임으로써 접촉 근접 센서(103)로서 기능한다. 그리고, 조작체 검출부(109)는 접촉 근접 센서(103)의 출력 결과를 디지털 처리함으로써 센서 화상(S)을 생성한다.
조작체 검출부(109)는 센서 화상(S)에 기초하여 각 화소에 대응하는 수광 상태를 나타내는 휘도값을 산출하고, 소정의 2개의 임계값 Th1, Th2를 사용하여 휘도값을 3치화 처리한다. 3치화 처리에서는 각 화소의 휘도값이 제1, 제2, 제3 카테고리로 분류되고, 센서 화상(S)의 영역이 각 카테고리에 대응하는 제1, 제2, 제3 영역(A1, A2, A3)으로 구분된다. 제1, 제2, 제3 영역(A1, A2, A3)은 휘도 대, 휘도 중, 휘도 소의 영역에 대응하고 있고, 조작체(M)의 접촉 영역, 근접 영역, 비접촉ㆍ비근접 영역으로서 각각 특정된다.
조작체 검출부(109)는 제1 영역(A1)의 존재에 기초하여 표시 패널(101)에 대한 조작체(M)의 접촉을 검출하고, 제2 영역(A2)의 존재에 기초하여 표시 패널(101)에 대한 조작체(M)의 근접을 검출한다. 또한, 조작체 검출부(109)는 제1 및 제2 영역(A1, A2)의 면적을 산출함으로써, 조작체(M)의 접촉 면적 및 근접 면적을 각각 검출한다.
특히, 조작체 검출부(109)는 제1 및 제2 영역(A1, A2)의 무게 중심 위치(G1, G2)를 산출하고, 산출된 무게 중심 위치(G1, G2)끼리를 연결하는 직선(무게 중심선)의 방향을 산출하고, 제1 영역(A1)의 무게 중심 위치(G1) 및 무게 중심선에 기초하여 조작체(M)의 지시 방향을 검출한다. 조작체(M)의 지시 방향은 제1 영역(A1)의 무게 중심 위치(G1)를 무게 중심선을 따라 지시하는 방향으로서 정의된다.
이하에서는 도 3 내지 도 5를 참조하면서 조작체(M)의 지시 방향의 검출 방법에 대하여 설명한다. 도 3 및 도 4는 표시 패널(101) 상의 조작체(M)의 상태(도 3a, 도 4a) 및 센서 화상(S1, S2) 상에서 특정된 제1 및 제2 영역(도 3b, 도 4b)을 도시하는 도면이다. 도 5는 도 3b의 센서 화상(S1) 상의 휘도값의 분포를 나타내는 도면이고, 도 5a 및 도 5b가 A-A선 상 및 B-B선 상의 휘도값의 분포를 각각 나타내고 있다.
도 3 및 도 4에는 표시 패널(101) 상에서 조작체(M)의 지시 방향을 변경하는 경우가 도시되어 있다. 이 경우, 통상, 조작체(M)의 선단부(손끝)가 표시 패널(101)에 접촉하고, 선단부 이외의 부분(손가락의 배)이 표시 패널(101)에 근접한다.
도 3에 도시하는 상태에서는, 조작체(M)는 GUI 표시의 상측 방향을 지시하고 있다(도 3a 참조). 이 경우, 조작체 검출부(109)는 센서 화상(S1) 상의 휘도값의 분포에 기초하여 GUI 표시의 상측 방향으로서 조작체(M)의 지시 방향을 검출한다(도 3b 참조). 예를 들어, 도 5에 도시하는 예에서는 A-A선 상에서 검출된 제1 및 제2 영역(A1, A2)에 의해 조작체(M)의 접촉 및 근접이 검출되고(도 5a 참조), B-B선 상에서 검출된 제2 영역(A2)에 의해 조작체(M)의 근접이 검출된다(도 5b 참조).
도 4에 도시하는 상태에서는 조작체(M)는 GUI 표시의 왼쪽 상측 방향을 지시하고 있다(도 4a 참조). 이 경우, 조작체 검출부(109)는 센서 화상(S2) 상의 휘도값의 분포에 기초하여 GUI 표시의 왼쪽 상측 방향으로서 조작체(M)의 지시 방향을 검출한다(도 4b 참조).
[4-1. 조작 방향의 특정 처리]
이하에서는 표시 패널(101)에 접촉하여 이동하는 조작체(M)의 지시 방향 및 이동 방향에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정하는 처리에 대하여 설명한다.
도 8은 조작 방향의 특정 처리를 나타내는 흐름도이고, 도 7 및 도 8은 조작 방향의 특정 처리를 도시하는 모식도이다.
조작체 검출부(109)는 조작체(M)의 접촉을 검지하면(스텝 S101), 전술한 조작체(M)의 검출 방법에 기초하여 조작체(M)의 지시 방향을 검출한다(S103). 여기서, 조작체(M)의 지시 방향은 조작체(M)가 이동하고 있는 상태, 이동하고 있지 않은 상태의 어느 것에서 검출되어도 된다.
조작체(M)의 지시 방향은, 도 7a에 도시한 바와 같이 예를 들어 표시 패널(101) 상에서 가상적으로 설정되는 좌표계에 기초하여 각도 θ1로서 정의된다. 좌표계는 표시 패널(101)의 방향에 의존하지 않고 설정 가능하지만, 이하에서는 표시 패널(101)의 상하 방향 및 좌우 방향에 대응하여 통상의 직교 좌표계가 설정되는 경우를 상정한다. 이 경우, 각도 θ는 직교 좌표계의 제1 사분면부터 제4 사분면에 이르는 반시계 방향으로 정의된다.
조작체 검출부(109)는 소정 프레임수에 걸쳐 각도 θ1을 연속해서 검출하였는지를 판정한다(S105). 각 검출값은, 예를 들어 도시하지 않은 버퍼 등에 보존된다. 그리고, 조작체 검출부(109)는 검출 결과의 변동이 소정의 임계값 θt 미만이면(S107), 검출 결과의 중간값 등으로서 각도 θ1을 결정한다(S109).
조작체 검출부(109)는 각도 θ1을 결정한 후에, 조작체(M)의 이동 개시점과 이동 종료점을 검출하고(S111), 조작체(M)의 이동 방향을 결정한다(S113). 조작체(M)의 이동 방향은, 도 7b에 도시한 바와 같이 조작체(M)의 이동 개시점과 이동 종료점을 연결하는 이동 벡터(V)에 기초하여 각도 θ1과 동일한 좌표계에 기초하여 각도 θ2로서 정의된다.
이하에서는 설명의 편의상 조작체(M)가 일직선 상에서 이동하는 경우를 상정한다. 이 경우, 이동 개시점은 조작체(M)의 접촉을 검출하지 않은 상태에서, 조작체(M)의 접촉이 최초로 검출된 점으로서 정의된다. 마찬가지로, 이동 종료점은 접촉을 수반하는 조작체(M)의 이동을 검출하고 있는 상태에서, 조작체(M)의 비접촉이 최초로 검출된 점으로서 정의된다. 또한, 조작체(M)가 굴곡 이동하는 경우, 이동 방향의 변화점에 기초하여 굴곡 이동마다 이동 개시점 및 이동 종료점을 정의할 수 있다.
제어부(117)는 조작체(M)의 지시 방향 및 이동 방향을 나타내는 각도 θ1, θ2의 차분 Δθ(=θ1-θ2)를 결정한다(S115). 제어부(117)는 차분 Δθ에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정한다(S117, S119, S121). 조작 방향은, 도 7c에 도시한 바와 같이 각도 θ1과 각도 θ2의 차분 Δθ에 기초하여 특정된다.
조작 방향은, 예를 들어 -45°≤Δθ <45°인 경우에 상측 방향으로서 특정되고(S123), 45°≤Δθ <135°인 경우에 좌측 방향으로서 특정된다(S125). 마찬가지로 조작 방향은 135°≤Δθ <180° 또는 -180°≤Δθ <-135°인 경우에 하측 방향으로서 특정되고(S127), -135°≤Δθ <-45°인 경우에 우측 방향으로서 특정된다(S129).
또한, 조작 방향의 특정 정밀도를 높이기 위하여, 각도 범위는 예를 들어 -30°≤Δθ <30°인 경우에 상측 방향의 조작 방향으로서 특정하도록 하여도 된다. 또한, 유저의 손잡이 방향에 따라 각도 범위를 조정하여도 된다.
도 8에는 조작 방향의 특정 처리의 일례로서, GUI 표시의 상하 방향에 표시되어 있는 슬라이더(O)의 조절 버튼(T)을 선택하여 상측 방향으로 조작하는 경우가 도시되어 있다.
도 8a에 도시한 바와 같이, 유저에 대한 표시 패널(101)의 방향과 GUI 표시의 방향이 일치하고 있는 경우(예를 들어, 표시 패널(101)의 상부가 유저에 대하여 상측으로 되도록 배치되어 있는 경우), 유저는 GUI 표시의 상측 방향에 대응하도록 표시 패널(101)에 대하여 상측 방향으로 조절 버튼(T)을 드래그 조작한다. 여기서, 드래그 조작은 조절 버튼(T)을 대상으로 하여 행해져도 되고, 조절 버튼(T)이 선택된 상태에서 오브젝트가 표시되어 있지 않은 영역 등에서 행해져도 된다.
예를 들어, 조작체(M)의 지시 방향 및 이동 방향이 각도 θ1=135°, 각도 θ2=120°로서 검출되면 차분 Δθ=15°로 되고, 도 7c에 도시한 바와 같이 상측 방향의 조작이 특정된다. 이에 의해, 유저는 슬라이더(O)를 상측 방향으로 조작할 수 있다.
한편, 도 8b에 도시한 바와 같이, 유저에 대한 표시 패널(101)의 방향과 GUI 표시의 방향이 일치하고 있지 않은 경우(예를 들어, 표시 패널(101)의 상부가 유저에 대하여 좌측으로 되도록 배치되어 있는 경우), 유저는 GUI 표시의 우측 방향에 대응하도록 표시 패널(101)에 대하여 상측 방향으로 드래그 조작한다.
예를 들어, 조작체(M)의 지시 방향 및 이동 방향이 각도 θ1=45°, 각도 θ2=20°로서 검출되면 차분 Δθ=25°로 되고, 도 7c에 도시한 바와 같이 상측 방향의 조작이 특정된다. 이에 의해, 유저는 유저에 대한 표시 패널(101)의 방향과 GUI 표시의 방향이 일치하고 있지 않은 경우(도 8b)에서도, 양쪽의 방향이 일치하고 있는 경우(도 8a)와 마찬가지로 표시 패널(101)에 대하여 상측 방향으로 드래그 조작함으로써, 슬라이더(O)를 상측 방향으로 조작할 수 있다.
따라서, 유저는 GUI 표시의 방향을 인식한 후에, GUI 표시의 방향에 대응하도록 드래그 조작하거나, 표시 패널(101)의 방향을 변경한 후에 드래그 조작하거나 하지 않아도 된다. 이로 인해, GUI 표시의 방향, 바꾸어 말하면 표시 패널(101)의 방향에 의존하지 않는 조작이 가능하게 되어 조작 환경의 향상을 도모할 수 있다.
예를 들어, 상/하 방향의 조작에 의해 음량을 크게/작게 조절하는 경우, 좌/우 방향의 조작에 의해 재생 시점을 전/후로 조절하는 경우, 상/하/좌/우 방향의 조작에 대응하여 표시 패널(101)의 표시를 스크롤시키는 경우에는, 표시 패널(101)의 방향에 의존하지 않는 직감적인 조작이 가능하게 된다. 특히, 오브젝트를 지정하지 않고 콘텐츠 자체를 직접적으로 조작하는 경우(표시 패널(101) 상에서 위치를 특정하지 않고 드래그 조작하는 경우)에 조작성을 향상시킬 수 있다.
[4-2. 표시 방향의 회전 처리]
이하에서는 조작체(M)의 지시 방향에 기초하여 표시 패널(101)의 GUI 표시를 회전시키는 조작의 방향을 특정하는 처리에 대하여 설명한다.
도 9 및 도 10은 표시 방향의 회전 처리를 나타내는 흐름도 및 모식도이다. 도 10에는 표시 방향을 하측 방향으로 회전하는 경우(도 10a) 및 좌측 방향으로 회전하는 경우(도 10b)가 도시되어 있다.
조작체 검출부(109)는 조작체(M)의 접촉을 검지하면(S201), 전술한 조작체(M)의 검출 방법에 기초하여 조작체(M)의 지시 방향을 검출한다(S203). 여기서, 조작체(M)의 지시 방향은 조작체(M)가 이동하고 있는 상태, 이동하고 있지 않은 상태의 어느 것에서 검출되어도 된다.
조작체(M)의 지시 방향은, 도 10a, 10b에 도시한 바와 같이 예를 들어 표시 패널(101) 상에서 가상적으로 설정되는 좌표계에 기초하여 각도 θ1로서 정의된다. 이하에서는 표시 패널(101)의 상하 방향 및 좌우 방향에 대응하여 통상의 직교 좌표계가 설정되는 경우를 상정한다. 이 경우, 각도 θ1은 직교 좌표계 상에서 제1 사분면부터 제4 사분면에 이르는 반시계 방향으로 정의된다.
조작체 검출부(109)는 소정 프레임수에 걸쳐 각도 θ1을 연속해서 검출하고 있는지를 판정한다(S205). 그리고, 조작체 검출부(109)는 검출 결과의 변동이 소정의 임계값 θt 미만이면(S207), 검출 결과의 중간값 등으로서 각도 θ1을 결정한다(S209).
제어부(117)는 조작체(M)의 지시 방향을 나타내는 각도 θ1에 기초하여 표시 패널(101)의 GUI 표시를 회전시키는 조작의 방향을 특정한다(S211, S213, S215). 표시 방향은, 예를 들어 45°≤θ1 <135°인 경우에 하측 방향으로서 특정되고(S217), 135°≤θ1 <225°인 경우에 우측 방향으로서 특정된다(S219). 마찬가지로 표시 방향은 225°≤θ1 <315°인 경우에 상측 방향으로서 특정되고(S221), 0°≤θ1 <45° 또는 315°≤θ1 <360°인 경우에 좌측 방향으로서 특정된다(S223).
또한, 조작 방향의 특정 정밀도를 높이기 위하여, 각도 범위는 예를 들어 30°≤Δθ <120°인 경우에 하측 방향으로서 특정하도록 하여도 된다. 또한, 유저의 손잡이 방향에 따라 각도 범위를 조정하여도 된다.
여기서, GUI 표시의 회전 후의 방향은, 통상 사용시(정위치)의 표시 패널(101)에 대하여 GUI 표시의 상측이 표시되는 방향으로서 정의된다. 즉, 표시 방향이 하측 방향이란 정위치의 표시 패널(101)의 하부에 GUI 표시의 상측이 표시되는 것을 의미하고, 표시 방향이 좌측 방향이란 정위치의 표시 패널(101)의 좌측부에 GUI 표시의 상측이 표시되는 것을 의미한다.
표시 제어부(115)는 표시 방향이 특정되면, 표시 방향의 변경이 필요한 경우(S225)에는 특정된 조작의 방향에 따라 표시 패널(101)의 GUI 표시를 회전하도록 표시부(105)를 제어한다(S227). 또한, 지시 방향이 다시 변화하면, 변경 후의 지시 방향에 따라 표시 방향이 변경된다.
이에 의해, 조작체(M)의 지시 방향에 기초하여 표시 패널(101)의 GUI 표시의 방향을 회전시킴으로써 GUI 표시의 방향, 바꾸어 말하면 표시 패널(101)의 방향에 의존하지 않는 조작이 가능하게 되어 조작 환경의 향상을 도모할 수 있다.
[4-3. 근접 제스처에 기초하는 조작의 특정 처리]
이하에서는 표시 패널(101) 상에서의 조작체(M)에 의한 근접 제스처에 기초하여 조작체(M)에 의해 입력되는 조작을 특정하는 처리에 대하여 설명한다.
도 11 및 도 12는 근접 제스처에 기초하는 조작의 특정 처리를 나타내는 흐름도 및 모식도이다. 도 12에는 근접 제스처의 일례로서 조작체(M)의 정지 제스처(도 12a), 조작체(M)의 반복 이동 제스처(도 12b), 조작체(M)의 이동 제스처(도 12c)가 도시되어 있다.
예를 들어, 조작체(M)의 정지 제스처는 표시 패널(101) 상에서 손을 정지시키는 동작으로서 검출된다. 조작체(M)의 반복 이동 제스처는 표시 패널(101) 상에서 손을 수평 방향(및/또는 수직 방향)에서 반복 이동시키는 동작으로서 검출된다. 조작체(M)의 이동 제스처는 표시 패널(101) 상에서 손을 수평 방향(및/또는 수직 방향)에서 이동시키는 동작으로서 검출된다.
이하에서는 조작체(M)의 정지 제스처, 반복 이동 제스처 및 이동 제스처에 대응하는 3가지 조작을 특정하는 경우에 대하여 설명하지만, 다른 근접 제스처에 기초하여 4 이상의 조작을 특정하여도 된다. 또한, 각 근접 제스처에는 미리 제스처 정보 및 특정한 조작이 대응지어져 있는 것으로 한다.
조작체 검출부(109)는, 조작체(M)의 근접을 검지하면(S301), 소정 기간(예를 들어 500ms)에 걸쳐 조작체(M)의 근접의 유무를 연속해서 검출하고 있는지를 판정한다(S303). 조작체 검출부(109)는, 조작체(M)의 근접을 연속해서 검출하고 있으면 이동 상태의 검출을 개시하고(S305), 검출하고 있지 않으면 조작체(M)의 근접을 계속해서 검지한다.
조작체(M)의 이동 상태는, 접촉 근접 센서(103)의 검출 범위 내에서 표시 패널(101)에 대한 조작체(M)의 수평 이동 및/또는 수직 이동으로서 검출된다. 조작체(M)의 이동 상태는, 예를 들어 조작체(M)의 이동량ㆍ속도ㆍ가속도 등으로서 검출되는데, 이하에서는 조작체(M)의 이동 속도 v를 검출하는 경우를 상정한다.
조작체 검출부(109)는 소정 프레임수에 걸쳐 조작체(M)의 이동 속도 v를 연속해서 검출하고 있는지를 판정한다(S307).
제어부(117)는 조작체(M)의 이동 속도 v의 절대값이 소정의 임계값 vt 미만인지를 판정한다(S313). 그리고, 제어부(117)는 판정 결과가 긍정적이면 정지 제스처에 대응하는 조작을 특정한다(S315). 한편, 제어부(117)는 이동 속도 v가 임계값 vt 이상이면서 이동 속도 v의 변화에 일정한 반복성이 확인되면(S317에서 "예"의 경우), 반복 이동 제스처에 대응하는 조작을 특정한다(S319). 또한, 제어부(117)는 이동 속도 v가 임계값 vt 이상이면서 이동 속도 v의 변화에 일정한 반복성이 확인되지 않으면(S317에서 "아니오"의 경우), 이동 제스처에 대응하는 조작을 특정한다(S321).
여기서, 조작체 검출부(109)는 조작체(M)의 이동 속도 v와 함께 근접 면적 Aa를 검출하여도 된다(S309). 그리고, 제어부(117)는 근접 면적 Aa가 소정의 임계값 Aat(예를 들어, 표시 패널(101)의 면적의 70%)를 만족하는 경우에만(S311), 이동 속도 v에 기초하여 조작을 특정함으로써 근접 제스처에 기초하는 조작을 정확하게 특정할 수 있다. 또한, 근접 면적 Aa는 이동 속도 v와 임계값 Vt의 비교 판정(S313, S317) 후에 판정되어도 된다.
이에 의해, 표시 패널(101) 상에서의 조작체(M)의 근접 제스처에 기초하여 여러가지 조작의 입력이 가능하게 된다. 따라서, 유저는 표시 패널(101) 상의 오브젝트(또는 정보 처리 장치(100)의 조작자)에 조작체(M)를 접촉시키지 않고, 조작체(M)에 의해 원하는 조작을 빠르게 입력할 수 있다. 또한, 정지 제스처를 소음 조작에 대응시키고, 반복 이동 제스처를 재생 순서의 셔플 조작에 대응시키고, 이동 제스처를 재생 순서의 재생 조작에 대응시키는 등, 각 근접 제스처에 임의의 의미 부여를 함으로써 유저는 직감적인 조작을 행할 수 있다.
[4-4. 접촉 제스처에 기초하는 조작의 특정 처리]
이하에서는 표시 패널(101) 상에서의 조작체(M)에 의한 접촉 제스처에 기초하여 조작체(M)에 의해 입력되는 조작을 특정하는 처리에 대하여 설명한다.
도 13 및 도 14는 접촉 제스처에 기초하는 조작의 특정 처리를 나타내는 흐름도 및 모식도이다. 도 14에는 접촉 제스처의 일례로서 오브젝트를 지정한 포인트 제스처(도 14a), 오브젝트를 지정한 푸시 제스처(도 14b), 오브젝트를 지정하지 않는 커버 제스처(도 14c)가 도시되어 있다.
예를 들어, 포인트 제스처는 오브젝트에 손끝을 접촉시키는 동작이며, 푸시 제스처는 오브젝트에 손가락의 배를 접촉시키는 동작이다. 또한, 커버 제스처는 예를 들어 표시 패널(101)을 복수의 손가락으로 덮는 동작이다. 여기서, 각 접촉 제스처는 표시 패널(101)에 대한 조작체(M)의 접촉 면적(및/또는 접촉 형상)에 기초하여 검출된다.
이하에서는 포인트 제스처, 푸시 제스처, 커버 제스처에 대응하는 3가지 조작을 특정하는 경우에 대하여 설명하지만, 다른 접촉 제스처에 기초하여 4 이상의 조작을 특정하여도 된다. 또한, 각 접촉 제스처에는 미리 제스처 정보 및 특정한 조작이 대응지어져 있는 것으로 한다.
조작체 검출부(109)는 조작체(M)의 접촉을 검출하면(S401), 조작체(M)의 접촉 위치 P 및 접촉 면적 At를 검출한다(S403).
제어부(117)는 조작체(M)의 접촉 위치 P가 특정한 오브젝트의 영역 내인지를 판정한다(S405). 접촉 위치 P와 오브젝트 영역의 관계는 기억부(113)에 기억되어 있는 오브젝트의 위치에 기초하여 판정된다. 또한, 접촉 위치 P가 복수의 오브젝트의 영역 내에 있는 경우, 오브젝트를 지정하지 않는 제스처가 검출된다.
그리고, 판정 결과가 긍정적인 경우에, 제어부(117)는 접촉 면적 At를 소정의 임계값 Att1과 비교한다(S407). 그리고, 제어부(117)는 접촉 면적 At가 임계값 Att1 미만이면 포인트 제스처에 대응하는 조작을 특정하고(S409), 임계값 Att1 이상이면 푸시 제스처에 대응하는 조작을 특정한다(S411).
한편, 스텝 S405의 판정 결과가 부정적인 경우에, 제어부(117)는 접촉 면적 At를 소정의 임계값 Att2(Att1<Att2)와 비교한다(S413). 그리고, 제어부(117)는 접촉 면적 A가 임계값 Att2 이상이면, 커버 제스처에 대응하는 조작을 특정한다(S415).
여기서, 접촉 면적 At는, 접촉 위치 P와 오브젝트 영역의 비교 판정(S405) 후에 판정되어도 된다. 또한, 조작체 검출부(109)는 접촉 면적 At와 함께 접촉 영역의 형상, 조작체(M)의 근접 상태 등을 검출하여도 된다. 그리고, 제어부(117)는 접촉 영역의 형상, 조작체(M)의 근접 상태에 기초하여 손끝, 손가락의 배 등의 접촉이 검지된 경우에만 접촉 면적 At에 기초하여 조작을 특정함으로써, 접촉 제스처에 기초하는 조작을 정확하게 특정할 수 있다.
이에 의해, 표시 패널(101) 상에서의 조작체(M)에 의한 접촉 제스처에 기초하여 여러가지 조작의 입력이 가능하게 된다. 특히, 손끝에 의한 제스처에 국소적인 조작을 대응시키고, 손바닥에 의한 제스처에 대국적인 조작을 대응시키는 등, 각 접촉 제스처에 임의의 의미 부여를 함으로써 유저는 직감적인 조작을 행할 수 있다.
[4-5. 접촉ㆍ근접 상태에 기초하는 조작의 특정 처리]
이하에서는 표시 패널(101) 상에서의 조작체(M)의 접촉ㆍ근접 상태에 기초하여 조작체(M)에 의해 입력되는 조작을 특정하는 처리에 대하여 설명한다.
도 15는 접촉ㆍ근접 상태에 기초하는 조작의 특정 처리를 나타내는 흐름도이다.
특정 처리의 개시 시에, 조작체 검출부(109)는 표시 패널(101)에 대한 조작체(M)의 접촉의 유무를 검지하여 접촉을 검지하면(S501), 조작체(M)의 접촉 위치 P 및 접촉 면적 At를 검출한다(S503).
제어부(117)는 접촉 면적 At가 임계값 Att 미만인지를 판정한다(S505). 판정 결과가 부정적인 경우에, 제어부(117)는 접촉 셰이드 조작(커버 제스처에 대응하는 조작)을 특정한다(S513). 한편, 판정 결과가 긍정적인 경우에, 제어부(117)는 입력 기점과 접촉 위치 P의 차가 임계값 Mt 이상인지를 판정하고(S507), 판정 결과가 긍정적인 경우에 드래그 조작을 특정한다(S509). 여기서, 드래그 조작이 특정되면, 전술한 조작 방향의 특정 처리가 행해진다(S511). 한편, 판정 결과가 부정적인 경우에 처리가 재개된다.
처리의 개시 시에, 조작체 검출부(109)는 표시 패널(101)에 대한 조작체(M)의 근접의 유무를 검지한다(S515). 근접을 검지하면, 조작체 검출부(109)는 소정 시간에 걸쳐 조작체(M)의 근접을 연속해서 검출하고 있으면(S517에서 "예"), 조작체(M)의 이동 속도 v 및 근접 면적 Aa의 검출을 개시하고(S519), 연속 검출하고 있지 않으면(S517에서 "아니오") 처리가 재개된다. 이어서, 제어부(117)는 근접 면적 Aa가 임계값 Aat 이상인지를 판정하고(S521), 판정 결과가 부정적인 경우에 처리가 재개된다.
한편, 스텝 S521의 판정 결과가 긍정적인 경우에, 제어부(117)는 소정 프레임수에 걸쳐 연속 검출되는 이동 속도 v의 절대값이 임계값 vt 미만인지를 판정한다(S523). 그리고, 제어부(117)는, 판정 결과가 긍정적인 경우에 근접 셰이드 조작(정지 제스처에 대응하는 조작)을 특정하고(S525), 판정 결과가 부정적인 경우에 근접 쉐이크 조작(반복 이동 제스처에 대응하는 조작)을 특정한다(S527).
처리의 개시 시에, 제어부(117)는 조작체(M)의 접촉을 계속적으로 검지하고있었는지를 판정한다(S529). 제어부(117)는 접촉 면적 At가 소정의 임계값 Att 미만이었는지를 판정한다(S531). 그리고, 제어부(117)는, 판정 결과가 긍정적인 경우에 입력 기점과 접촉 위치 P의 차가 임계값 Mt 미만인지를 판정하고(S533), 판정 결과가 긍정적인 경우에 탭 조작을 특정한다(S535). 한편, 스텝 S529, S531, S533에서 판정 결과가 부정적인 경우에 처리가 재개된다.
조작체(M)의 근접 상태를 검출하는 경우, 표시 패널(101)과 조작체(M)가 이격되어 있으므로, 접촉 상태의 검출에 비하여 오검출을 발생시킬 가능성이 높아진다. 그러나, 소정 임계값 Aat 이상의 근접 면적 Aa가 검출되는 경우에만 근접 제스처로서 받아들임으로써 오검출을 억제할 수 있다.
또한, 조작체(M)의 접촉ㆍ근접 상태를 동시에 검출하는 경우, 유저가 의도하는 접촉 제스처를 근접 제스처로서 받아들이게 됨으로써, 오검출을 발생시킬 가능성이 높아진다. 그러나, 소정의 계속 시간에 걸쳐 근접 상태가 검출되는 경우에만 근접 제스처로서 받아들임으로써 오검출을 억제할 수 있다.
[5. 검출 모드의 제어 방법]
이하에서는 정보 처리 장치(100)(이하에서는 자장치라고도 칭함)의 정지 상태 또는 방향에 따라, 조작체(M)에 의한 자장치에 대한 조작을 검출하는 모드를 제어하는 방법에 대하여 설명한다.
[5-1. 근접 검출 모드의 제어 방법]
우선, 자장치의 정지 상태에 따라 조작체(M)에 의한 표시 패널(101)에 대한 근접 조작을 검출하는 모드를 제어하는 실시예에 대하여 설명한다.
접촉 근접 센서(103)는 접촉 조작의 검출부와 근접 조작의 검출부로 이루어진다. 접촉 근접 센서(103)는 정보 처리 장치(100)가 기동 중에 접촉 센서로서 계속적으로 기능하고 있고, 근접 조작에 대응하는 어플리케이션의 기동 중에 근접 센서로서도 기능한다. 이하에서는 접촉 조작의 검출부와 근접 조작의 검출부에 대한 전원 계통이 다른 계통에서 설치되어 있는 경우를 상정한다. 상태 검출부(111)는 가속도 센서를 포함하며, 자장치의 정지 상태를 검출한다.
제어부(117)는 자장치의 정지 상태에 따라 조작체(M)에 의한 자장치에 대한 조작을 검출하는 모드를 제어하는 모드 제어부로서 기능한다. 특히, 제어부(117)는 조작체(M)에 의한 표시 패널(101)에 대한 근접 조작을 검출하는 근접 검출 모드를 제어한다.
도 16 및 도 17은 근접 검출 모드의 제어 처리를 나타내는 흐름도 및 모식도이다.
제어부(117)는 근접 조작에 대응하는 어플리케이션을 기동 중인지를 판정하고(S601), 판정 결과가 긍정적인 경우에, 상태 검출부(111)에 의한 검출 결과에 따라 자장치가 정지 상태에 있는지를 판정한다(S603). 한편, 제어부(117)는 판정 결과가 부정적인 경우에, 어플리케이션의 기동을 계속해서 판정한다.
자장치가 정지 상태에 있는 경우에, 제어부(117)는 정지 상태가 소정 시간에 걸쳐 계속되고 있는지를 판정하고(S605), 판정 결과가 긍정적인 경우에 근접 검출 모드를 유효로 한다(S607). 한편, 스텝 S603, S605의 판정 결과가 부정적인 경우에 제어부(117)는 근접 검출 모드를 무효로 한다(S609). 이 경우, 근접 조작에 대응하는 검출 처리, 전원 공급이 생략된다.
도 17a에는 근접 조작에 대응하는 어플리케이션을 기동 중에 자장치가 유저에 의해 유지되어 정지 상태에 있는 경우가 도시되어 있다. 이 경우, 근접 검출 모드가 유효로 되고, 유저는 표시 패널(101)에 대한 조작체(M)의 근접 상태를 변화시킴으로써 근접 조작을 행할 수 있다(이 상태에서 접촉 조작도 행할 수 있음).
도 17b에는 자장치가 잘못하여 이동된 경우가 도시되어 있다. 이 경우, 표시 패널(101) 상에 조작체(M)가 근접하면, 근접 검출 모드가 무효로 되지 않으면 유저가 의도하지 않는 근접 조작이 검출되게 된다. 그러나, 자장치가 이동 상태로 되면, 근접 검출 모드가 자동적으로 무효로 되어 근접 조작이 검출되지 않게 되므로, 유저가 의도하지 않는 근접 조작이 검출되지 않고 끝난다. 그리고, 자장치가 다시 정지 상태로 되면, 근접 검출 모드가 유효로 되므로, 유저는 근접 조작을 재개할 수 있다.
이에 의해, 자장치의 정지 상태에 따라 근접 검출 모드가 제어되므로, 근접 조작을 검출할 필요가 없는 경우에는, 근접 조작에 대응하는 검출 처리 및 전원 공급을 생략할 수 있다. 또한, 유저가 의도하지 않는 근접 조작을 검출하지 않아도 된다. 또한, 유저는 검출 모드를 수동으로 제어하지 않아도 접촉 조작과 근접 조작을 원활하게 행할 수 있다.
[5-2. 근접ㆍ원격 검출 모드의 제어 방법]
다음에, 자장치의 정지 상태에 따라 조작체(M)에 의한 표시 패널(101)에 대한 근접ㆍ원격 조작을 검출하는 모드를 제어하는 실시예에 대하여 설명한다.
접촉 근접 센서(103) 및 상태 검출부(111)에 대해서는, 전술한 실시예와 마찬가지이다. 원격 센서(107)는 소정의 제스처 등, 조작체(M)의 원격 동작을 촬상하여 받아들인다. 원격 센서(107)는 스테레오 카메라 등으로 이루어지며, 원격 조작에 대응하는 어플리케이션의 기동 중에 기능한다. 이하에서는 접촉 근접 센서(103)와 원격 센서(107)에 대한 전원 계통이 다른 계통에서 설치되어 있는 경우를 상정한다.
제어부(117)는 특히 조작체(M)에 의한 표시 패널(101)에 대한 근접 조작을 검출하는 근접 검출 모드, 및 조작체(M)에 의한 원격 센서(107)에 대한 원격 조작을 검출하는 원격 검출 모드를 제어한다.
도 18 및 도 19는 근접ㆍ원격 검출 모드의 제어 처리를 나타내는 흐름도 및 모식도이다.
제어부(117)는 근접ㆍ원격 조작에 대응하는 어플리케이션을 기동 중인지를 판정하고(S701), 판정 결과가 긍정적인 경우에 상태 검출부(111)에 의한 검출 결과에 따라 자장치가 정지 상태에 있는지를 판정한다(S703). 한편, 제어부(117)는 판정 결과가 부정적인 경우에 어플리케이션의 기동을 계속해서 판정한다.
자장치가 정지 상태에 있는 경우에, 제어부(117)는 정지 상태가 소정 시간에 걸쳐 계속되고 있는지를 판정하고(S705), 판정 결과가 긍정적인 경우에 근접 검출 모드를 무효로 하고, 원격 검출 모드를 유효로 한다(S707). 이 경우, 근접 조작에 대응하는 검출 처리, 전원 공급이 행해지지 않는다. 한편, 스텝 S703, S705의 판정 결과가 부정적인 경우에, 제어부(117)는 근접 검출 모드를 유효로 하고, 원격 검출 모드를 무효로 한다(S709). 이 경우, 원격 조작에 대응하는 검출 처리, 전원 공급이 생략된다.
도 19a에는 근접ㆍ원격 조작에 대응하는 어플리케이션을 기동 중에 자장치가 책상 위에 배치되어 정지 상태에 있는 경우가 도시되어 있다. 이 경우, 원격 검출 모드가 유효로 되고, 근접 검출 모드가 무효로 되므로, 유저는 자장치에 대한 조작체(M)의 원격 동작을 변화시킴으로써 원격 조작을 행할 수 있다(이 상태에서 접촉 조작도 행할 수 있음).
도 19b에는 차 안 등에서 자장치가 유저에 의해 유지되어 이동(진동) 상태에 있는 경우가 도시되어 있다. 이 경우, 자장치가 이동 상태에 있으므로, 원격 검출 모드가 무효로 되지 않으면, 유저가 의도하지 않는 원격 조작이 검출되어 버리는 경우가 있다. 그러나, 자장치가 이동 상태로 되면, 원격 검출 모드가 자동적으로 무효로 되고, 원격 조작이 검출되지 않게 되므로, 유저가 의도하지 않는 원격 조작이 검출되지 않고 끝난다. 그리고, 자장치가 다시 정지 상태로 되면, 원격 검출 모드가 유효로 되므로, 유저는 원격 조작을 재개할 수 있다.
이에 의해, 자장치의 정지 상태에 따라 근접 검출 모드 및 원격 검출 모드가 제어되므로, 근접 조작 또는 원격 조작을 검출할 필요가 없는 경우에는, 근접 조작 또는 원격 조작에 대응하는 검출 처리 및 전원 공급을 생략할 수 있다. 또한, 유저가 의도하지 않는 원격 조작이 검출되지 않고 끝난다. 또한, 유저는 검출 모드를 수동으로 제어하지 않아도 근접 조작과 원격 조작을 원활하게 행할 수 있다.
[5-3. 접촉 검출 모드의 제어 방법]
또한, 자장치의 방향에 따라 조작체(M)에 의한 자장치에 대한 접촉 조작을 검출하는 모드를 제어하는 방법에 대하여 설명한다.
본 실시예에서는 자장치의 표시 패널(101)에 주 센서(103)가 설치되고, 자장치의 장축 방향의 측면에 부 센서(104R, 104L) 및 단축 방향의 측면에 부 센서(104U, 104D)가 각각 설치된다. 주 센서(103)는 표시 패널(101)에 대한 조작체(M)의 접촉 조작을 검출하고, 부 센서(104R, 104L, 104U, 104D)는 예를 들어 표시 패널(101)의 GUI 표시를 스크롤시키기 위하여 조작체(M)의 접촉 조작을 검출한다. 이하에서는 부 센서(104R, 104L, 104U, 104D)에 대한 전원 계통이 다른 계통에서 설치되어 있는 경우를 상정한다.
상태 검출부(111)는 자이로 센서를 포함하고, 자장치의 방향을 검출한다. 이하에서는 자장치의 장축 방향 및 단축 방향이 유저에 대하여 상하 방향으로 되는 경우를 각각 세로 방향 및 가로 방향이라고 칭한다. 상태 검출부(111)는 자장치가 세로 방향에 있는지 가로 방향에 있는지를 검출한다.
제어부(117)는 특히 부 센서(104R, 104L, 104U, 104D)에 대한 접촉 조작을 검출하는 검출 모드를 제어한다. 제어부(117)는, 예를 들어 자장치가 세로 방향에 있는 경우에, 부 센서(104R, 104L)에 의한 검출을 유효로 함과 함께 부 센서(104U, 104D)에 의한 검출을 무효로 하고, 자장치가 가로 방향에 있는 경우에, 부 센서(104R, 104L)에 의한 검출을 무효로 함과 함께 부 센서(104U, 104D)에 의한 검출을 유효로 한다. 특히, 제어부(117)는 자장치의 방향에 따라 유저의 손잡이 방향측에 대응하는 부 센서(104L, 104R, 104U, 104D)를 유효로 한다. 이하에서는 유저가 오른손잡이인 경우를 상정한다.
도 20 및 도 21은 접촉 검출 모드의 제어 처리를 나타내는 흐름도 및 모식도이다.
제어부(117)는 상태 검출부(111)로부터의 센서 출력에 따라 자장치가 세로 방향에 있는지를 판정하고(S801), 판정 결과가 긍정적인 경우(도 21a)에 자장치가 소정 시간에 걸쳐 세로 방향인지를 판정한다(S803). 그리고, 판정 결과가 긍정적인 경우에, 제어부(117)는 유저에 대하여 우측에 있는 부 센서(104R)를 유효로 하고, 다른 부 센서(104L, 104U, 104D)를 무효로 한다(S805).
한편, 자장치가 가로 방향에 있는 경우(예를 들어, 표시 패널(101)의 상부가 유저에 대하여 좌측에 있는 경우)에, 자장치가 소정 시간에 걸쳐 가로 방향인지를 판정한다(S807). 판정 결과가 긍정적인 경우(도 21b)에, 제어부(117)는 유저에 대하여 우측에 있는 부 센서(104D)를 유효로 하고, 다른 부 센서(104R, 104L, 104U)를 무효로 한다(S809).
또한, 도 22 및 도 23은 어플리케이션의 기동 제어 처리를 나타내는 흐름도 및 모식도이다.
제어부(117)는 상태 검출부(111)에 의한 검출 결과에 따라 자장치가 세로 방향에 있는지를 판정하고(S901), 판정 결과가 긍정적인 경우(도 23a)에 조작체(M)가 부 센서(104R)에 접촉하고 있는지를 판정한다(S903). 이어서, 판정 결과가 긍정적인 경우에, 제어부(117)는 조작체(M)가 부 센서(104R)에 소정 시간에 걸쳐 접촉하고 있는지를 판정한다(S905). 그리고, 판정 결과가 긍정적인 경우에, 제어부(117)는 북 리더를 기동한다(S907).
한편, 자장치가 가로 방향에 있는 경우(예를 들어, 표시 패널(101)의 상부가 유저에 대하여 좌측에 있는 경우)에, 조작체(M)가 부 센서(104U 및 104D)에 접촉하고 있는지를 판정한다(S909). 이어서, 판정 결과가 긍정적인 경우에, 제어부(117)는 조작체(M)가 부 센서(104U 및 104D)에 소정 시간에 걸쳐 접촉하고 있는지를 판정한다(S911). 그리고, 판정 결과가 긍정적인 경우(도 23b)에, 제어부(117)는 게임을 기동한다(S913).
또한, 예를 들어 자장치가 가로 방향에 있고, 유저가 자장치를 들어 올리려고 하여, 조작체(M)가 부 센서(104R, 104L, 104U 또는 104D) 중 어느 하나에 접촉하고 있는 경우(도 23c)에, 제어부(117)는 북 리더를 기동하지 않아도 된다.
이에 의해, 자장치의 방향에 따라 접촉 검출 모드가 제어되므로, 접촉 조작의 대상으로 되지 않는 부 센서(104)에서는 접촉 조작에 대응하는 검출 처리 및 전원 공급을 생략할 수 있다. 또한, 유저가 의도하지 않는 접촉 조작을 검출하지 않아도 된다.
[6. 정보 처리 장치(100)의 하드웨어 구성]
도 24는 정보 처리 장치(100)의 하드웨어 구성예를 도시하는 블록도이다.
정보 처리 장치(100)는 주로 CPU(901), ROM(903), RAM(905), 호스트 버스(907), 브리지(909), 외부 버스(911), 인터페이스(913), 입력 장치(915), 출력 장치(917), 스토리지 장치(919), 드라이브(921), 접속 포트(923), 통신 장치(925)를 포함하여 구성된다.
CPU(901)는 연산 처리 장치 및 제어 장치로서 기능하고, ROM(903), RAM(905), 스토리지 장치(919) 또는 리무버블 기록 매체(927)에 기록된 각종 프로그램에 따라 정보 처리 장치(100)의 동작을 적어도 부분적으로 제어한다. ROM(903)은 CPU(901)가 사용하는 프로그램이나 파라미터 등을 기억한다. RAM(905)은 CPU(901)가 실행하는 프로그램, 프로그램 실행 시의 파라미터 등을 일시 기억한다. CPU(901), ROM(903), RAM(905)은 호스트 버스(907)에 의해 서로 접속된다. 호스트 버스(907)는 브리지(909)를 통하여 외부 버스(911)에 접속된다.
입력 장치(915)는, 예를 들어 마우스, 키보드, 표시 패널(101), 버튼, 스위치 등 유저가 조작 가능한 조작 수단이다. 또한, 입력 장치(915)는, 예를 들어 적외선 등의 전파를 사용한 원격 조작 수단이어도 되고, 정보 처리 장치(100)의 조작에 대응한 휴대 전화기, PDA 등의 외부 기기(929)이어도 된다. 입력 장치(915)는, 예를 들어 상기의 조작 수단을 사용하여 유저에 의해 입력된 조작 정보에 기초하여 입력 신호를 생성하고, CPU(901)에 출력하는 입력 제어 회로 등을 포함하여 구성된다. 정보 처리 장치(100)의 유저는, 입력 장치(915)의 조작을 통하여 정보 처리 장치(100)에 대하여 각종 데이터를 입력하고, 처리 동작을 지시한다.
출력 장치(917)는, 예를 들어 CRT 디스플레이, 액정 디스플레이, 표시 패널(101), 램프 등의 표시 장치, 스피커, 헤드폰 등의 음성 출력 장치, 프린터, 휴대 전화기, 팩시밀리 등, 취득된 정보를 유저에 대하여 시각적 또는 청각적으로 통지 가능한 장치를 포함하여 구성된다. 출력 장치(917)는 정보 처리 장치(100)의 처리 결과를 출력한다. 예를 들어, 표시 장치는 정보 처리 장치(100)에 의한 처리 결과를 텍스트 정보 또는 이미지 정보로서 표시하고, 음성 출력 장치는 재생된 음성 데이터, 음향 데이터 등의 오디오 신호를 아날로그 신호로 변환하여 출력한다.
스토리지 장치(919)는 데이터 저장용의 장치이며, 예를 들어 HDD 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광 자기 기억 디바이스 등을 포함한다. 스토리지 장치(919)는 CPU(901)가 실행하는 프로그램, 각종 데이터, 외부로부터 취득된 각종 데이터 등을 저장한다.
드라이브(921)는 기록 매체용 리더 라이터이며, 정보 처리 장치(100)에 내장 또는 외장된다. 드라이브(921)는 장착되는 자기 디스크, 광 디스크, 광 자기 디스크 또는 반도체 메모리 등의 리무버블 기록 매체(927)에 대하여, 기록 완료 데이터를 판독하여 RAM(905)에 출력하고, 기록 대상의 데이터를 기입한다.
접속 포트(923)는, 예를 들어 USB 포트, SCSI 포트, RS232C 포트 등, 외부 기기(929)를 정보 처리 장치(100)에 직접 접속하기 위한 포트이다. 정보 처리 장치(100)는, 접속 포트(923)에 접속된 외부 기기(929)에 대하여 접속 포트(923)를 통하여 데이터를 취득하고, 데이터를 제공한다.
통신 장치(925)는 통신망(N)에 접속하기 위한 통신 디바이스 등으로 구성되는 통신 인터페이스이다. 통신 장치(925)는, 예를 들어 유선 또는 무선 LAN, WUSB용의 통신 카드, ADSL용의 라우터, 통신용 모뎀 등이다. 통신 장치(925)는, 예를 들어 인터넷이나 다른 통신 기기와의 사이에서 소정의 프로토콜에 의거하여 신호 등을 송수신한다. 통신 장치(925)에 접속되는 통신망(N)은 유선 또는 무선에 의해 접속된 네트워크 등에 의해 구성되며, 예를 들어 인터넷, 가정 내 LAN, 적외선 통신, 라디오파 통신 또는 위성 통신 등이어도 된다.
이상, 본 발명의 실시 형태에 관한 정보 처리 장치(100)의 기능을 실현하기 위한 하드웨어 구성의 일례에 대하여 설명하였다. 또한, 상기 하드웨어의 각 구성 요소는 범용적인 디바이스를 사용하여 구성되어도 되며, 각 구성 요소의 기능이 특화된 디바이스를 사용하여 구성되어도 된다.
[7. 정리]
이상 설명한 바와 같이, 본 발명의 실시 형태에 관한 정보 처리 장치(100)는 표시 패널(101)에 접촉하는 조작체(M)의 지시 방향을 검출하고, 검출된 조작체(M)의 지시 방향에 기초하여 조작체(M)에 의해 입력되는 조작의 방향을 특정한다. 이에 의해, 조작체(M)의 지시 방향에 기초하여 조작의 방향이 특정되므로, 유저에 대한 표시 패널(101)의 방향에 의존하지 않는 조작이 가능하게 된다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 당업자라면 특허청구범위에 기재된 기술적 사상의 범주 내에 있어서 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 그것들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
100: 정보 처리 장치
101: 표시 패널
103: 접촉 근접 센서
105: 표시부
107: 원격 센서
109: 조작체 검출부
111: 상태 검출부
113: 기억부
115: 표시 제어부
117: 제어부(조작 특정부, 모드 제어부)

Claims (9)

  1. 정보 처리 장치로서,
    표시 패널에 접촉하는 조작체의 지시 방향을 검출하는 조작체 검출부와,
    상기 검출된 조작체의 지시 방향에 기초하여, 상기 조작체에 의해 입력되는 조작의 방향을 특정하는 조작 특정부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 조작체 검출부는, 상기 표시 패널에 접촉하여 이동하는 상기 조작체의 지시 방향 및 이동 방향을 검출하고,
    상기 조작 특정부는, 상기 검출된 조작체의 지시 방향 및 이동 방향에 기초하여, 상기 조작체에 의해 입력되는 조작의 방향을 특정하는, 정보 처리 장치.
  3. 제2항에 있어서, 상기 조작 특정부는, 상기 검출된 조작체의 지시 방향과 이동 방향에 의해 정의되는 각도에 기초하여, 상기 조작체에 의해 입력되는 조작의 방향을 특정하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 표시 패널의 표시를 제어하는 표시 제어부를 더 구비하고,
    상기 조작 특정부는, 상기 검출된 조작체의 지시 방향에 기초하여, 상기 표시 패널의 표시를 회전시키는 조작의 방향을 특정하고,
    상기 표시 제어부는, 상기 특정된 조작의 방향에 따라 상기 표시 패널의 표시를 회전시키는, 정보 처리 장치.
  5. 제1항에 있어서, 상기 조작 특정부는, 조작자에 대한 상기 표시 패널의 방향에 의존하지 않고, 상기 조작체에 의해 입력되는 조작의 방향을 특정하는, 정보 처리 장치.
  6. 제1항에 있어서, 상기 조작체 검출부는, 상기 조작체의 선단부의 방향에 기초하여 상기 조작체의 지시 방향을 결정하는, 정보 처리 장치.
  7. 제1항에 있어서, 상기 조작체 검출부는, 상기 조작체의 지시 방향을 연속해서 검출하고, 상기 연속해서 검출된 조작체의 지시 방향이 소정의 임계값 내에 있는 경우에, 상기 연속해서 검출된 조작체의 지시 방향에 기초하여 상기 조작체의 지시 방향을 결정하는, 정보 처리 장치.
  8. 정보 처리 방법으로서,
    표시 패널에 접촉하는 조작체의 지시 방향을 검출하는 스텝과,
    상기 검출된 조작체의 지시 방향에 기초하여, 상기 조작체에 의해 입력되는 조작의 방향을 특정하는 스텝을 포함하는, 정보 처리 방법.
  9. 표시 패널에 접촉하는 조작체의 지시 방향을 검출하는 스텝과,
    상기 검출된 조작체의 지시 방향에 기초하여, 상기 조작체에 의해 입력되는 조작의 방향을 특정하는 스텝을 포함하는 정보 처리 방법을 컴퓨터에 실행시키기 위한 프로그램.
KR1020117025355A 2009-05-26 2010-03-30 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20120026043A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009126949A JP2010277197A (ja) 2009-05-26 2009-05-26 情報処理装置、情報処理方法およびプログラム
JPJP-P-2009-126949 2009-05-26

Publications (1)

Publication Number Publication Date
KR20120026043A true KR20120026043A (ko) 2012-03-16

Family

ID=43222523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117025355A KR20120026043A (ko) 2009-05-26 2010-03-30 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (9)

Country Link
US (1) US9690475B2 (ko)
EP (1) EP2437147B1 (ko)
JP (1) JP2010277197A (ko)
KR (1) KR20120026043A (ko)
CN (1) CN102428437B (ko)
BR (1) BRPI1012863A2 (ko)
RU (1) RU2011147125A (ko)
TW (1) TW201101126A (ko)
WO (1) WO2010137400A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150045257A (ko) * 2013-10-18 2015-04-28 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423093B (zh) * 2010-12-03 2014-01-11 Au Optronics Corp 觸控面板判斷多點觸控之方法
KR101718893B1 (ko) * 2010-12-24 2017-04-05 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
JP5724422B2 (ja) * 2011-02-07 2015-05-27 富士通株式会社 操作制御装置，操作制御プログラムおよび操作制御方法
KR101991237B1 (ko) * 2011-10-10 2019-06-20 인비사지 테크놀로지스, 인크. 공간 및 시간 내의 이벤트들의 포착
AU2013205613B2 (en) * 2012-05-04 2017-12-21 Samsung Electronics Co., Ltd. Terminal and method for controlling the same based on spatial interaction
US9720456B1 (en) * 2012-07-23 2017-08-01 Amazon Technologies, Inc. Contact-based device interaction
US9176539B2 (en) * 2012-11-10 2015-11-03 Ebay Inc. Key input using an active pixel camera
CN105122271B (zh) 2012-12-10 2018-05-29 因维萨热技术公司 空间和时间中的场景和事件的捕捉
JP6119291B2 (ja) * 2013-02-14 2017-04-26 日本電気株式会社 表示装置、電子機器、表示方法及びプログラム
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
JP6282876B2 (ja) * 2014-02-04 2018-02-21 シャープ株式会社 情報処理装置
CN103870199B (zh) * 2014-03-31 2017-09-29 华为技术有限公司 手持设备上用户操作模式的识别方法及手持设备
JP2016021229A (ja) * 2014-06-20 2016-02-04 船井電機株式会社 入力装置
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
DE202015005999U1 (de) * 2014-08-26 2015-11-26 Apple Inc. Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
WO2017004262A1 (en) * 2015-07-01 2017-01-05 Qeexo, Co. Determining pitch for proximity sensitive interactions
WO2017151136A1 (en) 2016-03-03 2017-09-08 Hewlett-Packard Development Company, L.P. Input axis rotations
US10795450B2 (en) 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JPH11212726A (ja) * 1998-01-29 1999-08-06 Omron Corp 入力装置
JP4415227B2 (ja) * 2000-04-21 2010-02-17 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2002157079A (ja) * 2000-11-09 2002-05-31 Doko Kagi Kofun Yugenkoshi 意向識別方法
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
JP2004178547A (ja) * 2002-09-30 2004-06-24 Sanyo Electric Co Ltd 携帯型電子装置
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US7401300B2 (en) * 2004-01-09 2008-07-15 Nokia Corporation Adaptive user interface input device
JP4148187B2 (ja) * 2004-06-03 2008-09-10 ソニー株式会社 携帯型電子機器、入力操作制御方法及びそのプログラム
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
JP2006072872A (ja) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd 携帯型情報処理装置、情報処理装置の画面回転方法および合成データ回転方法
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP2006277588A (ja) * 2005-03-30 2006-10-12 Clarion Co Ltd タッチパネル及びタッチパネルを備えた電子機器
CN101506760A (zh) * 2005-05-27 2009-08-12 夏普株式会社 显示装置
US7714265B2 (en) * 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
JP4786292B2 (ja) * 2005-10-26 2011-10-05 シャープ株式会社 情報処理装置、階層情報出力方法及びプログラム
CN100485591C (zh) * 2006-03-10 2009-05-06 凌阳科技股份有限公司 可在屏幕上显示和接收输入的实体模拟装置及其旋转方法
GB2438449C (en) * 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US20070297028A1 (en) * 2006-06-21 2007-12-27 Thomas Wulff System and device for monitoring a computing device
JP2008003868A (ja) * 2006-06-22 2008-01-10 Sharp Corp タッチパネル式入力装置、及びこれを備えた表示入力システム
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US9304675B2 (en) * 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP2008158675A (ja) * 2006-12-21 2008-07-10 Toyota Motor Corp 車両用操作装置
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
JP2008192012A (ja) * 2007-02-06 2008-08-21 Sharp Corp 座標入力装置、座標入力方法、制御プログラム、およびコンピュータ読取可能な記録媒体
JP4727614B2 (ja) * 2007-03-30 2011-07-20 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP4935481B2 (ja) * 2007-04-19 2012-05-23 セイコーエプソン株式会社 検出装置、および、その制御方法
JP2009032028A (ja) * 2007-07-26 2009-02-12 Panasonic Corp タッチパネル装置
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US20090167719A1 (en) * 2007-11-02 2009-07-02 Woolley Richard D Gesture commands performed in proximity but without making physical contact with a touchpad
US7898428B2 (en) * 2008-03-06 2011-03-01 Research In Motion Limited Safety for mobile device users while driving

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150045257A (ko) * 2013-10-18 2015-04-28 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
CN102428437B (zh) 2014-05-28
EP2437147B1 (en) 2014-04-30
JP2010277197A (ja) 2010-12-09
WO2010137400A1 (ja) 2010-12-02
US9690475B2 (en) 2017-06-27
RU2011147125A (ru) 2013-05-27
CN102428437A (zh) 2012-04-25
EP2437147A4 (en) 2012-12-26
EP2437147A1 (en) 2012-04-04
US20120092283A1 (en) 2012-04-19
BRPI1012863A2 (pt) 2018-02-20
TW201101126A (en) 2011-01-01

Similar Documents

Publication Publication Date Title
JP5282661B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20120026043A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2018076523A1 (zh) 手势识别的方法、装置及车载系统
CN104049737B (zh) 用户设备的对象控制方法和装置
US9552075B2 (en) Cursor mode switching
US9448714B2 (en) Touch and non touch based interaction of a user with a device
JP5921835B2 (ja) 入力装置
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
EP2575007A1 (en) Scaling of gesture based input
KR20140047515A (ko) 데이터 입력을 위한 전자 장치 및 그 운용 방법
WO2016018518A1 (en) Optical tracking of a user-guided object for mobile platform user input
JP6034281B2 (ja) オブジェクト選択方法、装置及びコンピュータ・プログラム
KR101119896B1 (ko) 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
JP6033061B2 (ja) 入力装置およびプログラム
JP6220429B1 (ja) 情報処理装置、タッチパネル感度制御方法、及びプログラム
EP2645204A1 (en) Accessory cover for an electronic device and system
KR20140066378A (ko) 디스플레이장치와 그 제어방법
JP6204414B2 (ja) ゲーム装置及びプログラム
GB2611007A (en) Controlling display of images
JP2013255810A (ja) タッチパネル式ディスプレイを持った携帯型ゲーム装置