KR20190087423A - 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램 - Google Patents

표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20190087423A
KR20190087423A KR1020197013925A KR20197013925A KR20190087423A KR 20190087423 A KR20190087423 A KR 20190087423A KR 1020197013925 A KR1020197013925 A KR 1020197013925A KR 20197013925 A KR20197013925 A KR 20197013925A KR 20190087423 A KR20190087423 A KR 20190087423A
Authority
KR
South Korea
Prior art keywords
gesture
display
user
line
effect
Prior art date
Application number
KR1020197013925A
Other languages
English (en)
Other versions
KR102391752B1 (ko
Inventor
데츠오 이케다
도모히로 이시이
고스케 요시토미
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190087423A publication Critical patent/KR20190087423A/ko
Application granted granted Critical
Publication of KR102391752B1 publication Critical patent/KR102391752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

유저의 이용 상황이나 의도를 고려하여 제스처에 대응하는 동작을 실행하는 것이 가능한 표시 제어 장치를 제공한다. 표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 판정부와, 상기 판정부가 판정한 상기 제스처에 대응하는, 상기 표시면에서 표시되는 오브젝트의 표시에 관한 방향이 규정되어 있는 효과 및 해당 효과의 대상으로 되는 상기 오브젝트를 결정하는 효과 결정부를 구비하는, 표시 제어 장치가 제공된다.

Description

표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
본 개시는 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램에 관한 것이다.
유저의 조작이 미리 규정된 패턴(제스처)에 합치하면, 그 패턴에 대응하는 동작을 행하는 기술이 존재한다. 예를 들어 특허문헌 1에는, 유저가 손가락이나 펜 등으로 직사각형이나 동그라미를 그리는 제스처를 행하면, 그 제스처의 사이즈에 맞춰서 윈도우의 크기를 규정하는 기술이 개시되어 있다.
일본 특허공개 제2004-272835호 공보
기존의 제스처를 인식하여 그 제스처에 대응하는 동작을 행하는 기술에서는, 유저가 이용하는 방향이 디스플레이에 대한 정면이면서 또한 연직 방향의 아래쪽으로 한정되어 있다. 따라서, 다른 방향으로부터의 이용이 고려되어 있지 않다.
그래서, 본 개시에서는, 유저의 이용 상황이나 의도를 고려하여 제스처에 대응하는 동작을 실행하는 것이 가능한, 신규이면서도 개량된 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램을 제안한다.
본 개시에 의하면, 표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 판정부와, 상기 판정부가 판정한 상기 제스처에 대응하는, 상기 표시면에서 표시되는 오브젝트의 표시에 관한 방향이 규정되어 있는 효과 및 해당 효과의 대상으로 되는 상기 오브젝트를 결정하는 효과 결정부를 구비하는, 표시 제어 장치가 제공된다.
또한 본 개시에 의하면, 프로세서가, 표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 것과, 판정된 상기 제스처에 대응하는, 상기 표시면에서 표시되는 오브젝트의 표시에 관한 방향이 규정되어 있는 효과 및 해당 효과의 대상으로 되는 상기 오브젝트를 결정하는 것을 포함하는, 표시 제어 방법이 제공된다.
또한 본 개시에 의하면, 컴퓨터에, 표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 것과, 판정된 상기 제스처에 대응하는, 상기 표시면에서 표시되는 오브젝트의 표시에 관한 방향이 규정되어 있는 효과 및 해당 효과의 대상으로 되는 상기 오브젝트를 결정하는 것을 실행시키는, 컴퓨터 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 유저의 이용 상황이나 의도를 고려하여 제스처에 대응하는 동작을 실행하는 것이 가능한, 신규이면서도 개량된 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램을 제공할 수 있다.
또한, 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서에 개시된 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 일 구성예를 나타내는 설명도이다.
도 2는 상기 실시 형태에 따른 정보 처리 시스템의 다른 구성예를 나타내는 도면이다.
도 3은 상기 실시 형태에 따른 정보 처리 시스템의 다른 구성예를 나타내는 도면이다.
도 4는 상기 실시 형태에 따른 정보 처리 시스템의 다른 구성예를 나타내는 도면이다.
도 5는 상기 실시 형태에 따른 정보 처리 시스템(100)의 기능 구성예를 나타내는 설명도이다.
도 6은 제스처 정의 축적부(210)가 축적하는 정보의 예를 나타내는 설명도이다.
도 7a는 제스처 검출부(220)에 의한 제스처의 검출 방법의 예를 나타내는 설명도이다.
도 7b는 제스처 검출부(220)에 의한 제스처의 검출 방법의 예를 나타내는 설명도이다.
도 7c는 제스처 검출부(220)에 의한 제스처의 검출 방법의 예를 나타내는 설명도이다.
도 7d는 제스처 검출부(220)에 의한 제스처의 검출 방법의 예를 나타내는 설명도이다.
도 8a는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8b는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8c는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8d는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8e는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8f는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8g는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 8h는 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 9a는 표시면에 대해서 유저가 2개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 9b는 표시면에 대해서 유저가 2개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 10a는 표시면에 대해서 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 10b는 표시면에 대해서 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 11a는 표시면에 대해서 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 11b는 표시면에 대해서 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 12a는 패턴 매칭에 의해 제스처를 검출할 때의 예를 나타내는 설명도이다.
도 12b는 패턴 매칭에 의해 제스처를 검출할 때의 예를 나타내는 설명도이다.
도 13은 대상 할당부(240)에 의한 제스처의 할당 처리를 나타내는 설명도이다.
도 14는 출력부(130)가 출력하는 유저 인터페이스의 예를 나타내는 설명도이다.
도 15a는 2명의 유저 A, B가 모두 동일한 타이밍에 표시면상에 L자선을 그린 경우의 예를 나타내는 설명도이다.
도 15b는 2명의 유저 A, B가 모두 동일한 타이밍에 표시면상에 L자선을 그린 경우의 예를 나타내는 설명도이다.
도 15c는 2명의 유저 A, B가 모두 동일한 타이밍에 표시면상에 L자선을 그린 경우의 예를 나타내는 설명도이다.
도 16a는 유저 B가 윈도우를 터치하고 있는 모습을 나타내는 설명도이다.
도 16b는 2명의 유저 A, B가 모두 동일한 타이밍에 표시면상에 L자선을 그린 경우의 예를 나타내는 설명도이다.
도 16c는 제스처의 전에 윈도우를 터치하고 있던 유저 B 쪽의 제스처를 우선시키고 있는 예를 나타내는 설명도이다.
도 17a는 유저가 L자선을 그리는 제스처를 표시면상에 행한 모습을 나타내는 설명도이다.
도 17b는 표시면상에 메시지가 표시되어 있거나, 궤적이 표시면상에서 진동되고 있거나 하는 모습을 나타내는 설명도이다.
도 18a는 유저가 L자선을 그리는 제스처를 표시면상에 행한 모습을 나타내는 설명도이다.
도 18b는 메시지가 표시면에 표시되어 있는 예를 나타내는 설명도이다.
도 19a는 유저 B가 윈도우를 조작하고 있을 때, 유저 A가 L자선을 그리는 제스처를 행한 모습을 나타내는 설명도이다.
도 19b는 윈도우가 이동하는 모습을 나타내는 설명도이다.
도 19c는 표시면상에 메시지가 표시되어 있거나, 궤적이 표시면상에서 진동되고 있거나 하는 모습을 나타내는 설명도이다.
도 20a는 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다.
도 20b는 L자선을 그리는 제스처에 의한 효과가 윈도우에 부여된 모습을 나타내는 설명도이다.
도 21a는 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다.
도 21b는 L자선을 그리는 제스처에 의한 효과가 윈도우에 부여된 모습을 나타내는 설명도이다.
도 22a는 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다.
도 22b는 L자선을 그리는 제스처에 의한 효과가 윈도우에 부여된 모습을 나타내는 설명도이다.
도 23a는 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다.
도 23b는 L자선을 그리는 제스처에 의한 효과가 윈도우에 부여된 모습을 나타내는 설명도이다.
도 24a는 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다.
도 24b는 L자선을 그리는 제스처에 의한 효과가 윈도우에 부여된 모습을 나타내는 설명도이다.
도 25a는 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다.
도 25b는 L자선을 그리는 제스처에 의한 효과가 윈도우에 부여된 모습을 나타내는 설명도이다.
도 26a는 상기 실시 형태에 따른 정보 처리 시스템의 동작예를 나타내는 흐름도이다.
도 26b는 상기 실시 형태에 따른 정보 처리 시스템의 동작예를 나타내는 흐름도이다.
도 27은 하드웨어 구성예를 나타내는 설명도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 본 개시의 실시 형태
1.1. 시스템 구성예
1.2. 기능 구성예
1.3. 동작예
2. 하드웨어 구성예
3. 결론
<1. 본 개시의 실시 형태>
[1.1. 시스템 구성예]
우선, 본 개시의 실시 형태에 따른 정보 처리 시스템의 구성예를 설명한다.
도 1은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 일 구성예를 나타내는 설명도이다. 또한, 본 명세서에 있어서, 시스템이란, 소정의 처리를 실행하기 위한 구성을 의미하고 있어도 되고, 시스템 전체로서 하나의 장치로 간주할 수도 있으며, 복수의 장치에 의해 시스템이 구성되어 있다고 간주할 수도 있다. 도 1에 도시한 본 실시 형태에 따른 정보 처리 시스템도, 정보 처리 시스템 전체로서 소정의 처리를 실행 가능하게 구성되어 있으면 되며, 정보 처리 시스템 내의 어느 구성을 하나의 장치로 간주할지는 임의여도 된다.
도 1을 참조하면, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100a)은, 입력부(110a)와, 출력부(130a)를 구비한다.
출력부(130a)는, 각종 정보를 테이블(140a)에 표시함으로써, 당해 정보를 유저에 대해서 시각적으로 통지한다. 출력부(130a)로서는, 예를 들어 프로젝터가 사용된다. 도시한 바와 같이, 출력부(130a)는, 테이블(140a)의 상방에, 예를 들어 천장에 매단 상태에서 테이블(140a)과 소정의 거리 떨어져 배치되고, 테이블(140a)의 상면에 정보를 투영한다. 이와 같이 상방으로부터 테이블(140a)의 상면에 정보를 표시하는 방식을, 「프로젝션형」이라고도 호칭한다.
또한, 이하의 설명에서는, 출력부(130a)에 의해 정보가 표시되는 영역 전체를 표시 화면이라고도 호칭한다. 예를 들어, 출력부(130a)는, 표시 화면에, 정보 처리 시스템(100a)에 의한 애플리케이션의 실행에 수반하여 유저에 대해서 제시되는 정보를 표시한다. 표시되는 정보는, 예를 들어 각 애플리케이션의 동작 화면이다. 이하에서는, 표시 화면에 있어서, 이와 같은 애플리케이션의 동작 화면이 표시되는 각 표시 영역을, 윈도우라고도 호칭한다. 또한, 예를 들어 출력부(130a)는, 표시 화면에 버튼이나 슬라이더, 체크 박스, 텍스트 박스, 키보드 등의, 선택, 입력 등의 유저에 의한 각종 조작을 접수하는, 소위 GUI(Graphical User Interface) 부품(위젯)을 표시한다. 윈도우도 GUI 부품의 하나로 간주할 수 있지만, 본 명세서에서는, 윈도우와 기타 GUI 부품을 구별하기 위해서, 편의적으로, 윈도우를 GUI 부품에는 포함하지 않고, 윈도우 이외의 표시 요소를 GUI 부품이라고 칭하도록 한다.
여기서, 정보 처리 시스템(100a)이 프로젝션형인 경우에는, 출력부(130a)는 조명 기기를 포함해도 된다. 출력부(130a)에 조명 기기가 포함되는 경우, 정보 처리 시스템(100a)은, 입력부(110a)에 의해 입력된 정보의 내용 및/또는 출력부(130a)에 의해 표시되는 정보의 내용에 기초하여, 당해 조명 기기의 점등, 소등 등의 상태를 제어해도 된다.
또한, 출력부(130a)는, 스피커를 포함해도 되며, 각종 정보를 음성으로서 출력해도 된다. 출력부(130a)가 스피커로 구성되는 경우, 스피커의 수는 1개여도 되며, 복수여도 된다. 출력부(130a)가 복수의 스피커로 구성되는 경우, 정보 처리 시스템(100a)은, 음성을 출력하는 스피커를 한정하거나, 음성을 출력하는 방향을 조정하거나 해도 된다.
입력부(110a)는, 정보 처리 시스템(100a)을 사용하는 유저의 조작 내용을 입력하는 장치이다. 도 1에 도시한 예에서는, 입력부(110a)는, 센서 등을 포함해 구성되며, 테이블(140a)의 상방에, 예를 들어 천장에 매단 상태로 설치된다. 이와 같이, 입력부(110a)는, 정보가 표시되는 대상이 되는 테이블(140a)과 떨어져 설치된다. 입력부(110a)는, 테이블(140a)의 상면, 즉, 표시 화면을 촬영할 수 있는 촬상 장치에 의해 구성될 수 있다. 입력부(110a)로서는, 예를 들어 1개의 렌즈로 테이블(140a)을 촬상하는 카메라나, 2개의 렌즈로 테이블(140a)을 촬상하여 깊이 방향의 정보를 기록하는 것이 가능한 스테레오 카메라 등이 사용될 수 있다. 입력부(110a)가 스테레오 카메라인 경우에는, 예를 들어 가시광 카메라나 적외선 카메라 등이 사용될 수 있다.
입력부(110a)로서, 1개의 렌즈로 테이블(140a)을 촬상하는 카메라가 사용되는 경우, 정보 처리 시스템(100a)은, 그 카메라가 촬상한 화상(촬상 화상)을 해석함으로써, 테이블(140a) 위에 위치하는 물체, 예를 들어 유저의 손의 위치를 검출할 수 있다. 또한, 입력부(110a)로서 스테레오 카메라가 사용되는 경우에는, 정보 처리 시스템(100a)은, 당해 스테레오 카메라에 의한 촬상 화상을 해석함으로써, 테이블(140a) 위에 위치하는 물체의 위치 정보 외에도, 당해 물체의 심도 정보를 취득할 수 있다. 정보 처리 시스템(100a)은, 당해 심도 정보에 기초하여, 높이 방향에 있어서의 테이블(140a)로의 유저의 손의 접촉 혹은 근접, 및 테이블(140a)로부터의 손의 이탈을 검출하는 것이 가능해진다. 또한, 이하의 설명에서는, 유저가 표시 화면 상의 정보에 손 등의 조작체를 접촉 또는 근접시키는 것을, 총칭하여 단순히 「접촉」이라고도 한다.
본 실시 형태에서는, 입력부(110a)에 의한 촬상 화상에 기초하여, 표시 화면상(즉 테이블(140a)의 상면 위)에 있어서의 조작체, 예를 들어 유저의 손의 위치가 검출되고, 검출된 조작체의 위치에 기초하여 각종 정보가 입력된다. 즉, 유저는, 표시 화면상에서 조작체를 움직이게 함으로써, 각종 조작 입력을 행할 수 있다. 예를 들어, 윈도우 그 밖의 GUI 부품에 대한 유저의 손의 접촉이 검출됨으로써, 당해 윈도우 그 밖의 GUI 부품에 대한 조작 입력이 행해지게 된다. 또한, 이하의 설명에서는, 일례로서, 조작체로서 유저의 손이 사용되는 경우에 대하여 설명하지만, 본 실시 형태는 이러한 예로 한정되지 않고, 조작체로서는 스타일러스 등의 각종 조작 부재가 사용되어도 된다.
또한, 입력부(110a)가 촬상 장치에 의해 구성되는 경우에는, 입력부(110a)는, 테이블(140a)의 상면을 촬영할 뿐만 아니라, 테이블(140a)의 주위에 존재하는 유저를 촬영해도 된다. 예를 들어, 정보 처리 시스템(100a)은, 촬상 화상에 기초하여, 테이블(140a)의 주위에 있어서의 유저의 위치를 검출할 수 있다. 또한, 예를 들어 정보 처리 시스템(100a)은, 촬상 화상에 포함되는 유저의 얼굴이나 몸의 크기 등, 유저 개인을 특정할 수 있는 신체적인 특징을 추출함으로써, 유저의 개인 인식을 행해도 된다.
여기서, 본 실시 형태는 이러한 예로 한정되지 않고, 다른 방법에 의해 유저의 조작 입력이 실행되어도 된다. 예를 들어, 입력부(110a)가 테이블(140a)의 상면에 터치 패널로서 설치되어도 되며, 유저의 조작 입력은, 당해 터치 패널에 대한 유저의 손가락 등의 접촉에 의해 검출되어도 된다. 또한, 입력부(110a)를 구성하는 촬상 장치에 대한 제스처에 의해 유저의 조작 입력이 검출되어도 된다. 또는, 입력부(110a)는, 유저가 발하는 음성이나, 주위 환경의 환경 소리를 수집하는 마이크로폰 등의 음성 입력 장치를 포함해도 된다. 당해 음성 입력 장치로서는, 특정한 방향의 음성을 수집하기 위한 마이크 어레이가 적합하게 사용될 수 있다. 또한, 당해 마이크 어레이는, 그 수집 방향을 임의의 방향으로 조정 가능하게 구성될 수 있다. 입력부(110a)로서 음성 입력 장치가 사용되는 경우에는, 수집된 음성에 의해 조작 입력이 행해져도 된다. 또한, 정보 처리 시스템(100a)은, 수집된 음성을 해석함으로써, 당해 음성에 기초하여 개인 인식을 행해도 된다. 또는, 입력부(110a)는, 리모트 컨트롤 장치(소위 리모컨)에 의해 구성되어도 된다. 당해 리모컨은, 리모컨에 배치된 소정의 버튼을 조작함으로써, 소정의 지시가 입력되는 것이어도 되고, 리모컨에 탑재되는 가속도 센서나 자이로 센서 등의 센서에 의해 리모컨의 움직임이나 자세가 검출됨으로써, 유저가 당해 리모컨을 움직이게 하는 조작에 의해, 소정의 지시가 입력되는 것이어도 된다. 또한, 정보 처리 시스템(100a)은, 도시하지 않은 마우스, 키보드, 버튼, 스위치 및 레버 등, 다른 입력 장치를 입력부(110a)로서 구비해도 되며, 유저에 의한 조작은, 이들 입력 장치를 통해 입력되어도 된다.
이상, 도 1을 참조하여, 본 실시 형태에 따른 정보 처리 시스템(100a)의 구성에 대하여 설명하였다. 또한, 도 1에는 도시하지 않았지만, 정보 처리 시스템(100a)에는 다른 장치가 접속되어 있어도 된다. 예를 들어, 정보 처리 시스템(100a)에는, 테이블(140a)을 비추어 보기 위한 조명 기기가 접속되어 있어도 된다. 정보 처리 시스템(100a)은, 표시 화면의 상태에 따라서 당해 조명 기기의 점등 상태를 제어해도 된다.
여기서, 본 실시 형태에서는, 정보 처리 시스템의 구성은 도 1에 도시한 것으로 한정되지 않는다. 본 실시 형태에 따른 정보 처리 시스템은, 각종 정보를 표시 화면에 표시하는 출력부와, 표시된 정보에 대한 조작 입력을 적어도 접수하는 것이 가능한 입력부를 구비하면 되며, 그 구체적인 구성은 한정되지 않는다. 도 2 내지 도 4를 참조하여, 본 실시 형태에 따른 정보 처리 시스템의 다른 구성예에 대하여 설명한다. 도 2 내지 도 4는, 본 실시 형태에 따른 정보 처리 시스템의 다른 구성예를 나타내는 도면이다.
도 2에 도시한 정보 처리 시스템(100b)에서는, 테이블(140b)의 하방에 출력부(130a)가 설치된다. 출력부(130a)는, 예를 들어 프로젝터이며, 당해 테이블(140b)의 상판을 향해서 하측으로부터 정보를 투영한다. 테이블(140b)의 상판은, 예를 들어 유리판이나 투명 플라스틱판 등의 투명한 재질로 형성되어 있으며, 출력부(130a)에 의해 투영된 정보는, 테이블(140b)의 상면에 표시되게 된다. 이와 같이 테이블(140b)의 아래부터 정보를 출력부(130a)에 투영하여, 테이블(140b)의 상면에 정보를 표시하는 방식을, 「리어 프로젝션형」이라고도 칭한다.
도 2에 도시한 예에서는, 테이블(140b)의 상면(표면)에 입력부(110b)가 설치된다. 입력부(110b)는, 예를 들어 터치 패널에 의해 구성되고, 테이블(140b)의 상면의 표시 화면에 대한 조작체의 접촉이 당해 터치 패널에 의해 검출됨으로써, 유저에 의한 조작 입력이 행해진다. 또한, 입력부(110b)의 구성은 이러한 예로 한정되지 않고, 도 1에 도시한 정보 처리 시스템(100a)과 마찬가지로, 입력부(110b)는, 테이블(140b)의 하방에 테이블(140b)과 떨어져서 설치되어도 된다. 이 경우, 입력부(110b)는, 예를 들어 촬상 장치에 의해 구성되고, 투명한 재질에 의해 형성되는 상판 너머에, 테이블(140b)의 상면 상에서의 조작체의 위치를 검출할 수 있다.
도 3에 도시한 정보 처리 시스템(100c)에서는, 터치 패널식 디스플레이가, 그 표시면을 상방을 향한 상태에서 테이블 위에 설치된다. 정보 처리 시스템(100c)에서는, 입력부(110c) 및 출력부(130c)는, 당해 터치 패널식 디스플레이로서 일체적으로 구성될 수 있다. 즉, 디스플레이의 표시 화면에 각종 정보가 표시되고, 당해 디스플레이의 표시 화면에 대한 조작체의 접촉이 터치 패널에 의해 검출됨으로써, 유저에 의한 조작 입력이 행해진다. 또한, 정보 처리 시스템(100c)에 있어서도, 도 1에 도시한 정보 처리 시스템(100a)과 마찬가지로, 입력부(110c)로서, 터치 패널식 디스플레이의 상방에 촬상 장치가 설치되어도 된다. 당해 촬상 장치에 의해, 테이블의 주위의 유저의 위치 등이 검출될 수 있다.
도 4에 도시한 정보 처리 시스템(100d)은, 플랫 패널식 디스플레이를 구비한다. 정보 처리 시스템(100d)에서는, 출력부(130d)는, 플랫 패널식 디스플레이로서 구성되고, 당해 디스플레이의 표시 화면에 각종 정보가 표시된다. 입력부는, 도시하지 않은 마우스나 키보드, 터치 패드 등의 입력 장치에 의해 구성되며, 이들 입력 장치에 의해 표시 화면 내의 포인터가 조작됨으로써, 유저에 의한 조작 입력이 행해진다. 또한, 도 3에 도시한 정보 처리 시스템(100c)과 마찬가지로, 정보 처리 시스템(100d)의 입력부는, 플랫 패널식 디스플레이에 설치되는 터치 패널을 포함해도 되며, 당해 터치 패널을 통해 유저에 의한 조작 입력이 행해져도 된다. 또한, 당해 입력부는, 플랫 패널식 디스플레이의 표시면과 대향하는 영역을 촬상할 수 있는 촬상 장치를 포함해도 된다. 당해 촬상 장치에 의해, 플랫 패널식 디스플레이를 관찰하는 유저의 위치 등이 검출될 수 있다.
이상, 도 2 내지 도 4를 참조하여, 본 실시 형태에 따른 정보 처리 시스템의 다른 구성예에 대하여 설명하였다. 이상 설명한 바와 같이, 본 실시 형태에 따른 정보 처리 시스템은, 다양한 구성에 의해 실현될 수 있다. 여기서, 이하에서는, 도 1에 도시한, 테이블(140a)의 상방에 입력부(110a) 및 출력부(130a)가 설치되는 정보 처리 시스템(100a)의 구성을 예로 들어, 본 실시 형태에 따른 설명을 행한다. 단, 상술한 도 2 내지 도 4에 도시한 구성 등, 본 실시 형태에 따른 정보 처리 시스템을 실현할 수 있는 다른 구성이어도, 이하에 설명하는 기능과 마찬가지의 기능을 실현하는 것이 가능하다. 이하의 설명에서는, 간단화를 위하여, 정보 처리 시스템(100a), 입력부(110a), 출력부(130a)를, 단순히 정보 처리 시스템(100), 입력부(110), 출력부(130)라고도 호칭하기로 한다.
이상, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 구성예에 대하여 설명하였다. 계속해서, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 기능 구성예에 대하여 설명한다.
[1.2. 기능 구성예]
도 5는, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 기능 구성예를 나타내는 설명도이다. 이하, 도 5를 이용하여 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 기능 구성에 대하여 설명한다.
도 5에 도시한 바와 같이, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)은, 입력부(1110)와, 그래픽 표시 처리부(120)와, 출력부(130)와, 표시 제어부(200)를 포함하여 구성된다.
입력부(110)는, 정보 처리 시스템(100)에 대해서 각종 정보를 입력하기 위한 입력 인터페이스이다. 유저는, 입력부(110)를 통해 각종 정보를 정보 처리 시스템(100)에 입력할 수 있다. 본 실시 형태에서는, 입력부(110)는, 출력부(130)에 의해 생성되는 표시 화면에 대한 유저의 조작 입력을 적어도 접수할 수 있도록 구성된다. 예를 들어, 입력부(110)는, 이미지 센서를 포함하는 촬상 장치에 의해 구성되고, 표시 화면상에서의 유저의 손 등의 조작체를 포함하는 촬상 화상을 촬영한다. 입력부(110)를 통해 입력된 정보(예를 들어 당해 촬상 화상에 관한 정보 등)는, 후술하는 표시 제어부(200)에 제공되고, 표시 제어부(200)에 의해 유저의 조작 입력이 검출된다. 또한, 본 실시 형태는 이러한 예로 한정되지 않고, 입력부(110)는, 예를 들어 터치 패널, 마우스, 키보드, 마이크로폰, 버튼, 스위치 및 레버 등, 다른 입력 장치에 의해 구성되어도 된다.
그래픽 표시 처리부(120)는, 입력부(110)가 접수한 유저의 조작 입력에 기초하여, 출력부(130)에 표시하는 그래픽의 처리를 행한다. 그래픽 표시 처리부(120)는, 예를 들어 애플리케이션을 표시하는 윈도우 등의 다양한 콘텐츠의 묘화 제어나, 각각의 콘텐츠에 대해서 유저의 조작 입력 등의 이벤트의 제공을 행한다. 본 실시 형태에서는, 그래픽 표시 처리부(120)는, 입력부(110)로부터 접수한 유저의 조작 입력의 내용을 표시 제어부(200)에 제공한다. 그리고 그래픽 표시 처리부(120)는, 표시 제어부(200)에서 행해진 처리의 내용을 수취하고, 그 내용에 기초한 그래픽 처리를 실행한다. 그래픽 표시 처리부(120)는, 예를 들어 화상 처리 회로를 포함하여 구성된다.
출력부(130)는, 정보 처리 시스템(100)에 의해 처리되는 각종 정보를 유저에 대해서 통지하기 위한 출력 인터페이스이다. 출력부(130)는, 예를 들어 디스플레이나 프로젝터 등의 표시 장치에 의해 구성되고, 후술하는 표시 제어부(200)로부터의 제어에 의해, 표시 화면에 각종 정보를 표시한다. 출력부(130)는, 상술한 바와 같이, 표시 화면에 윈도우 및 GUI 부품을 표시한다. 출력부(130)에 표시되는 윈도우 및 GUI 부품 등을 「오브젝트」라고도 칭한다. 또한, 본 실시 형태는 이러한 예로 한정되지 않고, 출력부(130)는, 스피커 등의 음성 출력 장치를 더 포함해도 되며, 각종 정보를 음성으로서 출력해도 된다.
표시 제어부(200)는, 입력부(110)가 접수한 유저의 조작 입력에 기초한 처리를 실행한다. 본 실시 형태에서는, 표시 제어부(200)는, 입력부(110)가 접수한 유저의 조작 입력에 기초하여 제스처를 검출하고, 그 제스처에 기초한 효과를 오브젝트에 대해서 부여하는 처리를 실행한다. 표시 제어부(200)는, 예를 들어 CPU 등의 제어 회로와 제어 회로를 동작시키는 프로그램을 저장하는 메모리를 포함하여 구성된다.
표시 제어부(200)는, 제스처 정의 축적부(210)와, 제스처 검출부(220)와, 조작 대상 검출부(230)와, 대상 할당부(240)와, 효과 발동부(250)를 포함하여 구성된다.
제스처 정의 축적부(210)는, 입력부(110)가 접수한 유저의 조작 입력을 제스처로서 인식하기 위한 정의를, 소정의 형식으로 저장한다. 도 6은, 제스처 정의 축적부(210)가 축적하는 정보의 예를 나타내는 설명도이다. 도 6에서는, 3종류의 제스처에 대하여, 손가락의 개수, 후술하는 인식 패턴 마스크, 효과, 대상의 정의가 도시되어 있다. 효과에 대해서는, 위치, 크기, 회전의 3종류가 규정되어 있으며, 동그라미가 표시되어 있는 효과가 그 제스처에 의해 발휘되는 것을 의미하고 있다.
상단의 제스처는, 유저가 1개의 손가락으로 직선에 가까운 1개 선을 그리는 것이다. 이 제스처는, 후술하는 바와 같이, 출력부(130)에 의해 표시되어 있고, 그 선의 범위 내에 있어서 존재하는 오브젝트를, 그 선을 따라서 정렬시키는 것이다. 상단의 제스처에 의해, 오브젝트의 회전 및 이동은 행해질 수 있지만, 크기의 변경은 행해지지 않는다. 따라서, 도 6에 도시한 바와 같이, 상단의 제스처에서는, 「효과」의 열에 있어서 「위치」 및 「회전」에만 동그라미가 표시되어 있다.
중단의 제스처는, 유저가 2개의 손가락으로 직선에 가까운 1개 선을 그리는 것이다. 이 제스처는, 후술하는 바와 같이, 출력부(130)에 의해 표시되어 있는 모든 오브젝트를, 그 선을 따라서 정렬시키는 것이다. 중단의 제스처에 의해, 오브젝트의 회전 및 이동은 행해질 수 있지만, 크기의 변경은 행해지지 않는다. 따라서, 도 6에 도시한 바와 같이, 중단의 제스처에서는, 「효과」의 열에 있어서 「위치」 및 「회전」에만 동그라미가 표시되어 있다.
하단의 제스처는, 유저가 1개의 손가락인 방향으로 선을 그은 후, 그 방향에 수직 방향으로 다시 선을 그리는 것이다. 바꿔 말하면, 하단의 제스처는, 유저가 「L」자를 그리는 것이다. 이 제스처는, 후술하는 바와 같이, 출력부(130)에 의해 표시되어 있는 오브젝트 중, 예를 들어 유저의 조작 위치에 가장 가까운 오브젝트를, 그 선을 따라 배치시키는 것이다. 하단의 제스처에 의해, 오브젝트의 회전, 크기의 변경 및 이동이 행해질 수 있다. 따라서, 도 6에 도시한 바와 같이, 하단의 제스처에서는, 「효과」의 열에 있어서 「위치」, 「크기」 및 「회전」의 모두에 동그라미가 표시되어 있다.
또한, 도 6에서는 3종류의 제스처에 대한 정의가 도시되어 있지만, 정보 처리 시스템(100)이 해석 가능한 제스처는 이러한 예로 한정되는 것은 아니다.
제스처 검출부(220)는, 입력부(110)가 접수한 유저의 조작 입력을 사용해서 제스처의 성립 유무를 검출한다. 본 실시 형태에서는, 제스처 검출부(220)는, 제스처 정의 축적부(210)에 축적되어 있는 인식 패턴 마스크와의 매칭에 의해, 제스처의 성립 유무를 검출한다.
도 7a 내지 7d는, 제스처 검출부(220)에 의한 제스처의 검출 방법의 예를 나타내는 설명도이다. 도 7a는, 유저가 표시 화면에 대해서, 어떤 제스처에 대응하는 조작을 행한 예를 나타내는 설명도이다. 도 7a에서는, 유저가 역 「L」자가 되도록 1개 손가락을 표시 화면상에서 이동시킨 모습이 도시되어 있다.
도 7b 내지 7d는, 제스처 검출부(220)에 의한, 인식 패턴 마스크를 사용한 제스처의 검출 처리를 나타낸 것이다. 제스처 검출부(220)는, 우선, 도 7b에 도시한 바와 같이, 표시 화면의 좌측 상단으로부터 우측 방향으로 인식 패턴 마스크를 주사시켜, 우측 단부까지 조작하면, 다음의 행에서 좌측으로부터 우측 방향으로 인식 패턴 마스크를 주사시킨다. 그리고, 제스처 검출부(220)는, 최종적으로 도 7d에 도시한 바와 같이, 표시 화면의 우측 하단까지 인식 패턴 마스크를 주사시키면, 유저가 행한 조작이 인식 패턴 마스크와 소정의 비율 이상 합치하는 개소가 존재하는지 여부를 판단한다. 예를 들어, 도 7c에 도시한 바와 같이, 유저가 행한 조작이 인식 패턴 마스크와 소정의 비율 이상 합치하고 있으면, 제스처 검출부(220)는, 인식 패턴 마스크에 대응하는 제스처를 유저가 행하였다고 판단할 수 있다. 또한, 유저가 「L」자형의 선을 그릴 때에는, 「L」자를 구성하는 2개의 선이 이루는 각도가 완전히 90도가 되지 않아도 된다. 예를 들어, 「L」자를 구성하는 2개의 선이 이루는 각도가 85도 내지 95도 등의 소정의 각도 범위여도, 제스처 검출부(220)는, 인식 패턴 마스크를 사용함으로써 유저가 「L」자형의 선을 그렸다고 판단할 수 있다.
또한, 본 실시 형태에서는, 제스처 검출부(220)는 인식 패턴 마스크와의 매칭에 의해, 제스처의 성립 유무를 검출하고 있지만, 본 개시는 이러한 예로 한정되는 것은 아니다. 예를 들어, 제스처 검출부(220)는, 유저의 손가락의 움직임을 순차 추적함으로써, 제스처의 성립 유무를 검출해도 된다. 또한 예를 들어, 제스처 검출부(220)는, 기계 학습에 의해 습득한 유저마다의 제스처의 버릇 등으로부터, 제스처의 성립의 유무를 검출해도 된다.
조작 대상 검출부(230)는, 유저가 행한 제스처에 의한 효과를 접수하는 것이, 표시면상의 어느 오브젝트인지를 검출한다. 이하, 구체예를 들어 조작 대상 검출부(230)의 동작에 대하여 설명한다. 또한, 실제의 표시면에는, 유저가 그린 선은 묘화되지 않아도 되고, 묘화되어도 된다. 유저가 그린 선이 묘화되는 경우에는, 소정의 시간이 경과한 후에, 그 선이 사라져도 된다. 사라질 때에는, 순식간에 사라져도 되고, 서서히 사라져도 된다. 또한 서서히 사라질 때에는, 먼저 그린 부분부터 순차 사라져도 된다. 이하의 설명에서 사용하는 도면에는, 편의상, 유저가 손가락을 사용하여 그린 선의 궤적이 그려져 있는 것으로 한다.
(1) 유저가 1개의 손가락으로 1개 선을 그린다
본 실시 형태에서는, 유저가 1개의 손가락으로 1개 선을 그리는 제스처는, 출력부(130)에 의해 표시면에 표시되어 있으며, 그 선의 범위 내에 있어서 존재하는 오브젝트를, 그 선을 따라서 정렬시키는 것이다. 도 8a, 8b는, 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 유저가 이 제스처를 행하면, 도 8a와 같이 난잡하게 배열되어 있던 윈도우(301 내지 303) 중, 윈도우(302, 303)가, 도 8b에 도시한 바와 같이, 유저가 그린 선을 따라서 정렬한다. 또한, 윈도우의 묘화는 그래픽 표시 처리부(120)가 행할 수 있다. 정렬 시에는, 각각의 윈도우는, 선에 가까운 변이 아래가 되도록 정렬된다. 윈도우(302, 303)는, 필요에 따라서 회전된다. 유저가 이 제스처를 행하면, 조작 대상 검출부(230)는, 유저가 그린 선을 직선으로 간주하고, 그 직선의 수직선상에 무게 중심이 있는 윈도우를, 효과의 대상으로서 검출한다.
또한, 대상의 윈도우가 겹쳐서 표시되어 있는 경우에는, 유저가 1개의 손가락으로 1개 선을 그리는 제스처에 따른 정렬 시에 그들 윈도우가 겹치지 않도록 정렬되어도 된다. 도 8c, 8d는, 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 이 예에서는, 도 8c와 같이 겹쳐서 표시되어 있던 윈도우(302, 303)가, 도 8d와 같이 제스처에 의해 겹치지 않도록 정렬되는 모습이 도시되어 있다.
또한, 유저가 1개의 손가락으로 1개 선을 그리는 제스처에 따른 정렬 시에, 1개 선의 수직선상에 복수의 윈도우가 존재하고 있으면, 그들 윈도우가 겹치도록 정렬되어도 된다. 도 8e, 8f는, 표시면에 대해서 유저가 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 이 예에서는, 도 8e와 같이 1개 선의 수직선상에 복수의 윈도우(301, 302, 303)가, 도 8f와 같이 제스처에 의해 겹치도록 정렬되는 모습이 도시되어 있다. 이때, 도 8f에 도시한 바와 같이, 면적이 큰 윈도우가 아래로 되도록 겹쳐서 정렬되어도 된다.
유저가 제스처를 그리는 위치는 표시면의 단부 부근으로 한정되지 않는다. 도 8g는, 유저가 표시면의 중앙 부근에서 1개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 이러한 위치에서 제스처를 행한 경우, 이동 대상의 윈도우는 윈도우(302, 303)가 되지만, 윈도우(302)는 1개 선의 하측으로, 윈도우(303)는 1개 선의 상측으로, 각각 이동되어도 된다. 도 8h는, 윈도우(302, 303)가, 유저가 그린 1개 선을 따라 정렬되어 있는 모습을 나타내는 설명도이다.
(2) 유저가 2개의 손가락으로 1개 선을 그린다
본 실시 형태에서는, 유저가 2개의 손가락으로 1개 선을 그리는 제스처는, 출력부(130)에 의해 표시면에 표시되어 있는 모든 오브젝트를, 그 선(및 선의 연장선상)을 따라서 정렬시키는 것이다. 도 9a, 9b는, 표시면에 대해서 유저가 2개의 손가락으로 1개 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 유저가 이 제스처를 행하면, 도 9a와 같이 난잡하게 배열되어 있던 윈도우(301 내지 303)가, 도 9b에 도시한 바와 같이, 유저가 그린 선을 따라서 정렬된다. 정렬 시에는, 각각의 윈도우는, 선에 가까운 변이 아래가 되도록 정렬된다. 윈도우(301 내지 303)는, 필요에 따라 회전된다. 유저가 이 제스처를 행하면, 조작 대상 검출부(230)는, 표시면에 표시되어 있는 모든 윈도우를, 효과의 대상으로서 검출한다.
또한, 대상의 윈도우가 겹쳐서 표시되어 있는 경우는, 1개의 손가락으로의 제스처일 때와 마찬가지로, 유저가 2개의 손가락으로 1개 선을 그리는 제스처에 따른 정렬 시에 그들 윈도우가 겹치지 않도록 정렬되어도 된다.
(3) 유저가 1개의 손가락으로 「L」자형의 선을 그린다
본 실시 형태에서는, 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처는, 출력부(130)에 의해 표시면에 표시되어 있는 오브젝트 중, 선에 가장 가까운 오브젝트를, 그 선을 따르는 위치로 이동시키는 것이다. 즉, 유저가 1개의 손가락으로 표시면상의 어떤 방향으로 1획째의 선을 그리고, 손가락을 표시면에 붙인 채, 그 선에 대해서 대략 수직 방향으로 2획째의 선을 그리는 조작을 「L」자형의 선을 그리는 제스처로 한다. 도 10a, 10b는, 표시면에 대해서 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 유저가 이 제스처를 행하면, 도 10a와 같이 표시되어 있던 윈도우(311, 312) 중, 선에 가장 가까운 윈도우(312)가, 도 10b와 같이 이동한다. 이때, 유저가 그린 2획째의 선에 가까운 변이 아래로 되도록, 윈도우(312)가 이동한다. 「L」자형의 선을 그리는 제스처가 행해지면, 윈도우의 표시 내용이, 사진, 비디오 등의 상하 방향이 있는 콘텐츠인 경우, 2획째를 그리는 방향이 콘텐츠 표시의 상측 방향이 되도록, 윈도우가 이동한다. 즉, 자신에 대해서 정면 대향하는 L자를 그리면 자신을 기준으로 한 상하 방향이 설정되고, 책상의 반대에 있는 상대에게 정면 대향하는 방향으로 L자를 그리면 상대를 기준으로 한 상하 방향이 설정된다. 이와 같이 「L」자형의 선을 그리는 제스처의 효과로서, 「L」자를 그리는 방법에 의해, 간단하게 표시면의 맞은편에 있는 상대를 기준으로 한 오브젝트의 배치가 가능해진다. 윈도우(312)는, 필요에 따라 회전 및 확대 또는 축소된다. 유저가 이 제스처를 행하면, 조작 대상 검출부(230)는, 선에 가장 가까운 윈도우를, 효과의 대상으로서 검출한다.
유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행했을 때, 그 선에 가장 가까운 오브젝트의 표시 위치가 고정되어 있으면, 그 오브젝트가 아니라, 선에 2번째로 가까운 오브젝트가, 그 선을 따르는 위치로 이동된다. 도 11a, 11b는, 표시면에 대해서 유저가 1개의 손가락으로 「L」자형의 선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 이 경우, 선에 가까운 윈도우는 윈도우(321)이지만, 그 윈도우(321)는 표시 위치가 고정되어 있다. 따라서, 조작 대상 검출부(230)는, 윈도우(321)가 아니라, 선에 2번째로 가까운 윈도우인 윈도우(322)를, 효과의 대상으로서 검출한다.
이와 같이, 각각의 제스처에 대해서, 조작 대상으로 되는 조건을 설정하거나, 그 조건을 무시하는 조건을 설정하거나 함으로써, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)은, 유저의 제스처에 따른 표시 처리를 실현할 수 있다.
대상 할당부(240)는, 제스처 검출부(220)가 검출한 제스처와, 조작 대상 검출부(230)가 검출한 대상의 오브젝트의 할당 처리를 행한다. 즉, 대상 할당부(240)는, 어느 제스처가 어느 조작 대상의 오브젝트에 영향을 미칠지를 판정한다.
우선 대상 할당부(240)는, 유저가 표시면상에 그린 선에 의해, 일의적으로 제스처가 결정될 수 있는지 여부를 판정한다. 예를 들어, 유저가 표시면상에 그린 선이 1개 선인지 L자의 선인지가 애매한 경우에, 즉, 유저가 그린 선에 대응하는 제스처의 후보가 복수 존재하는 경우에, 대상 할당부(240)는, 그 애매함을 해결하는 애매 제스처 해결 처리를 행한다.
도 12a, 12b는, 패턴 매칭에 의해 제스처를 검출할 때의 예를 나타내는 설명도이다. 인식 패턴 마스크가 세로 5셀, 가로 10셀의 합계 50셀에 의해 구성되어 있는 경우(또한, 셀과는 소정의 수의 픽셀의 집합인 것으로 함), 1개 선의 인식 패턴 마스크에도, L자선의 인식 패턴 마스크에도, 모두 98％(50 셀 중 49셀)의 비율로 합치하고 있다. 따라서, 이 경우는, 대상 할당부(240)는 유저가 그린 선이 1개 선인지 L자선인지를 판별할 수 없다. 물론, 이와 같이 2개의 인식 패턴 마스크에 합치하는 비율이 완전히 일치하는 것은 드물지만, 일반적으로는 제스처 정의에는 놀이를 갖게 하는 경우가 있고, 합치하는 비율의 차가 수 ％밖에 없는 경우도 있어, 그와 같은 경우에서도, 대상 할당부(240)는 일의적으로 제스처를 결정할 수는 없다.
인식 패턴 마스크에의 합치 정도에 의해서 일의적으로 제스처를 결정할 수 없는 경우, 대상 할당부(240)는, 어느 제스처도 성립시키지 않는다는 처리도 가능하다. 한편, 일의적으로 제스처를 결정할 수 없는 경우, 대상 할당부(240)는, 제스처 정의 축적부(210)에 축적되어 있는 정의 중, 공통되는 효과만을 선택하여, 그 효과를 대상의 오브젝트에 부여해도 된다. 예를 들어, 도 6을 참조하면, 1개 선의 제스처와 L자선의 제스처에서 공통되는 효과는, 「위치」 및 「회전」이다. 따라서, 대상 할당부(240)는, 「위치」 및 「회전」의 효과만을 대상의 오브젝트에 부여해도 된다. 도 13은, 대상 할당부(240)에 의한 제스처의 할당 처리를 나타내는 설명도이다. 일의적으로 제스처를 결정할 수 없는 경우, 대상 할당부(240)는, L자선의 제스처에 의한 효과 중, 「위치」 및 「회전」의 효과만을 대상의 윈도우(331)에 부여해도 된다.
일의적으로 제스처를 결정할 수 없는 경우, 대상 할당부(240)는, 유저에 이용하고 싶은 효과를 선택시켜도 된다. 도 14는, 일의적으로 제스처를 결정할 수 없는 경우에, 출력부(130)가 출력하는 유저 인터페이스의 예를 나타내는 설명도이다. 유저가, 이용하고 싶은 쪽의 제스처를 선택하면, 그래픽 표시 처리부(120)는, 그 제스처에 따른 처리를 실행한다.
본 실시 형태에 따른 정보 처리 시스템(100)은, 복수의 유저가 동시에 조작하는 케이스도 있다. 대상 할당부(240)는, 여러 명이 제스처를 행했을 때, 어느 제스처를 우선시킬지를 판단한다.
도 15a는, 2명의 유저 A, B가 모두 동일한 타이밍에 표시면상에 L자선을 그린 경우의 예를 나타내는 설명도이다. 이와 같이, 2명의 유저가 동일한 타이밍에 표시면상에 L자선을 그린 경우, 대상 할당부(240)는, 예를 들어 먼저 선을 다 그린 유저 쪽을 우선시켜도 된다. 도 15b는, 먼저 선을 다 그린 유저 A 쪽의 제스처를 우선시키고 있는 예를 나타내는 설명도이다. 대상 할당부(240)는, 먼저 선을 다 그린 유저 A 쪽의 제스처를 우선시킨다. 따라서, 윈도우(341)에 대해서 효과가 적용되는 것은 유저 A 쪽의 제스처로 되어 있다.
2명의 유저가 동일한 타이밍에 표시면상에 L자선을 그리고, 다 그린 시간에 유의차가 없어, 어느 쪽이 먼저 선을 다 그렸는지의 판정이 곤란한 경우에는, 대상 할당부(240)는, 무게 중심에 가까운 쪽의 선을 그린 유저 쪽을 우선시켜도 된다. 도 15c는, 윈도우(341)의 무게 중심에 가까운 쪽의 선을 그린 유저 A 쪽의 제스처를 우선시키고 있는 예를 나타내는 설명도이다. 대상 할당부(240)는, 윈도우(341)의 무게 중심에 가까운 쪽의 선을 그린 유저 A 쪽의 제스처를 우선시킨다. 따라서, 윈도우(341)에 대해서 효과가 적용되는 것은 유저 A 쪽의 제스처로 되어 있다.
2명의 유저가 동일한 타이밍에 제스처를 행한 경우에는, 대상 할당부(240)는, 제스처를 행하기 전에 누가 대상의 오브젝트를 이용(조작)하고 있었는지를 판단의 기준으로서 사용해도 된다. 예를 들어 도 16a에 도시한 바와 같이 유저 B가 윈도우(351)를 터치하고 있던 것이 검출되어 있으면, 도 16b에 도시한 바와 같이 유저 A, B가 동일한 타이밍에 L자선을 그리는 제스처를 행하고, 동시에 L자선을 다 그렸다고 해도, 대상 할당부(240)는, 윈도우(351)의 무게 중심에 가까운 쪽의 선을 그린 유저 A 쪽의 제스처가 아니라, 그 전에 윈도우(351)를 터치하고 있던 유저 B 쪽의 제스처를 우선시켜도 된다. 도 16c는, 제스처의 전에 윈도우(351)를 터치하고 있던 유저 B 쪽의 제스처를 우선시키고 있는 예를 나타내는 설명도이다.
또한, 마지막으로 어느 유저가 터치하고 있었는지의 정보는, 정보 처리 시스템(100)에 항상 유지되고 있지 않아도 된다. 예를 들어, 마지막으로 누군가가 터치한 후에 10초 이상 아무도 터치하지 않은 오브젝트는, 대상 할당부(240)는, 그 오브젝트는 아무도 터치하지 않은 것으로 하여, 오브젝트에 가까운 쪽의 제스처를 우선시키도록 해도 된다.
이 밖에도, 대상 할당부(240)는, 예를 들어 오브젝트가 겹쳐 있으면, 상측의 레이어의 오브젝트를 우선해도 되며, 또한 제스처를 행한 유저 쪽을 향하고 있는 오브젝트를 우선해도 된다.
본 실시 형태에서는, L자선을 그리는 제스처에 의한 효과가 적용되는 것은, 선에 가장 가까운 오브젝트이다. 그러나, 유저가 L자선을 그린 장소에 따라는, 어느 오브젝트에 효과를 적용해도 될지 판단할 수 없는 경우가 있다. 도 17a는, 표시면에 2개의 윈도우(361, 362)가 표시되어 있는 상태에서 유저가 L자선을 그리는 제스처를 표시면상에 행한 모습을 나타내는 설명도이다. 이 경우에 있어서, L자선의 제스처를 적용한 경우의, 윈도우(361)의 무게 중심 이동량은 600픽셀, 윈도우(362)의 무게 중심 이동량은 610픽셀인 것으로 한다. 엄밀하게는 이동량이 적은 윈도우(361)가 효과의 적용 대상으로 되지만, 어쩌면, 유저는 윈도우(362)를 효과의 적용 대상이라고 생각해서 제스처를 행했을 지도 모른다.
이와 같이, 오브젝트의 이동량에 유의차가 없고, 유저가 어느 오브젝트를 조작 대상으로서 제스처를 행한 것일지 모르는 경우, 즉, 조작 대상으로 되는 오브젝트의 후보가 복수 존재하는 경우에, 대상 할당부(240)는, 오브젝트의 애매함을 해결하는 애매 조작 대상 해결 처리를 행한다. 예를 들어, 대상 할당부(240)는, 가장 가까운 오브젝트를 조작 대상으로 결정해도 되지만, 이밖에, 조작 대상이 복수 존재하고 있다는 취지의 메시지를 표시시키거나, 유저가 그린 궤적을 표시면상에서 진동시키거나 하여, 조작 대상의 오브젝트를 일의적으로 결정할 수 없다는 취지를 유저에게 전달해도 된다. 도 17b는, 표시면상에 메시지가 표시되어 있거나, 궤적이 표시면상에서 진동하고 있거나 하는 모습을 나타내는 설명도이다. 예를 들어, 대상 할당부(240)는, 조작 대상이 복수 존재하고 있다는 취지의 메시지(363)를 표시시켜, 유저에게 다시 제스처를 행하게 하도록 재촉해도 된다. 또한 대상 할당부(240)는, 조작 대상이 복수 존재하고 있는 것을 궤적의 진동으로 유저에게 전달하고, 유저에게 다시 제스처를 행하게 하도록 재촉해도 된다.
오브젝트의 이동량에 유의차가 없고, 유저가 어느 오브젝트를 조작 대상으로서 제스처를 행한 것인지 모르는 경우, 대상 할당부(240)는, 대상의 윈도우가 어느 것인지를 유저에게 선택시켜도 된다. 도 18a는, 도 17a와 마찬가지로, 표시면에 2개의 윈도우(361, 362)가 표시되어 있는 상태에서 유저가 L자선을 그리는 제스처를 표시면상에 행한 모습을 나타내는 설명도이다. 이 경우도, 도 17a와 마찬가지로, 오브젝트의 이동량에 유의차가 없고, 유저가 어느 오브젝트를 조작 대상으로서 제스처를 행한 것인지 모르는 것으로 한다. 이 경우에 있어서, 대상 할당부(240)는, 제스처의 효과를 적용하는 대상의 윈도우가 어느 것인지를 유저에게 선택시키기 위한 메시지를 표시면상에 표시시켜도 된다. 도 18b는, 제스처의 효과를 적용하는 대상의 윈도우가 어느 것인지를 유저에게 선택시키기 위한 메시지가 표시면에 표시되어 있는 예를 나타내는 설명도이다. 대상 할당부(240)는, 이러한 메시지를 표시시킴으로써, 대상의 윈도우가 어느 것인지를 유저에게 선택시킬 수 있다.
대상 할당부(240)는, 유저가 제스처를 행했을 때, 본래의 조작 대상이 다른 유저에 의해 조작되고 있는 경우에도, 유연하게 조작 대상을 결정할 수 있다. 예를 들어, L자선을 그리는 제스처는, 궤적에 가장 가까운 오브젝트가 효과의 적용 대상으로 된다. 그러나, 그 오브젝트가 다른 유저에 의해 조작되고 있을 때 그 오브젝트를 이동시켜버리면, 조작하고 있던 유저의 유용성이 손상되어버린다. 따라서 대상 할당부(240)는, 제스처를 행한 유저와는 상이한 유저가 조작하고 있는 오브젝트는 효과의 적용 대상으로부터 제외해도 된다.
도 19a는, 유저 B가 윈도우(371)를 조작하고 있을 때, 유저 A가 L자선을 그리는 제스처를 행한 모습을 나타내는 설명도이다. 본 실시 형태에 있어서의 제스처의 룰에 따르면, 유저 A가 L자선을 그림으로써 윈도우(371)가 이동한다. 그러나, 윈도우(371)는 유저 B가 조작하고 있으며, 윈도우(371)를 이동시켜버리면 유저 B는 곤혹스럽게 된다. 따라서 대상 할당부(240)는, 유저 B가 조작하고 있는 윈도우(371)를 효과의 적용 대상으로부터 제외한다. 도 19b는, 윈도우(371)가 효과의 적용 대상으로부터 제외되고, 다음에 제스처의 궤적에 가까운 윈도우(372)가 이동하는 모습을 나타내는 설명도이다.
마찬가지의 현상이 발생한 경우에, 대상 할당부(240)는, 윈도우(372)를 이동시키는 것이 아니고, 조작 대상의 윈도우는 다른 유저에 의해 조작되고 있다는 취지의 메시지를 표시시키거나, 유저가 그린 궤적을 표시면상에서 진동시키거나 하여, 조작 대상의 오브젝트를 움직이게 할 수 없다는 취지를 유저에게 전달해도 된다. 도 19c는, 표시면상에 메시지가 표시되어 있거나, 궤적이 표시면상에서 진동하고 있거나 하는 모습을 나타내는 설명도이다. 예를 들어, 대상 할당부(240)는, 조작 대상의 윈도우가 다른 유저에 의해 조작되고 있다는 취지의 메시지(373)를 표시시켜, 유저에게 다시 제스처를 행하게 하도록 재촉해도 된다. 또한 대상 할당부(240)는, 조작 대상의 윈도우가 다른 유저에 의해 조작되고 있음을 궤적의 진동으로 유저에게 전달하여, 유저에게 다시 제스처를 행하게 하도록 촉구해도 된다.
효과 발동부(250)는, 제스처 검출부(220)가 검출한 제스처와, 조작 대상 검출부(230)가 검출한 조작 대상에 기초하여, 표시면상의 오브젝트로 하는 효과를 적용하는 처리를 행한다. 예를 들어 효과 발동부(250)는, 제스처의 내용 및 조작 대상에 관한 정보를 그래픽 표시 처리부(120)에 전달하고, 그래픽 표시 처리부(120)에 실제의 화상 처리를 행하게 한다. 그래픽 표시 처리부(120)는, 효과 발동부(250)로부터의 정보에 기초하여, 윈도우의, 이동, 확대 또는 축소, 회전 등의 처리를 실행한다.
도 20a는, 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다. 이 경우, 제스처 검출부(220)는 L자선을 그리는 제스처가 행해졌음을 검출하고, 조작 대상 검출부(230)는, 윈도우(381)가, 그 제스처에 대한 조작 대상임을 검출한다. 효과 발동부(250)는, L자선을 그리는 제스처에 의한 효과를, 윈도우(381)에 대해서 적용하도록 그래픽 표시 처리부(120)에 통지한다. 통지를 받은 그래픽 표시 처리부(120)는, 윈도우(381)에 대한 그래픽 처리(여기서는, 이동, 회전, 축소)를 실행한다. 도 20b는, L자선을 그리는 제스처에 의한 효과가 윈도우(381)에 부여된 모습을 나타내는 설명도이다.
효과 발동부(250)는, 제스처의 내용 및 조작 대상에 관한 정보를 그래픽 표시 처리부(120)에 전달하기 전에, 유저의 입력 의도를 짐작하기 위해서, 필요에 따라 효과를 적용할 때 사용하는 그래픽 처리 관련의 파라미터의 보정을 행한다.
예를 들어, 표시면상에 물리적인 물체가 놓여 있으며, 그 물체를 따라 유저가 L자선을 그리는 제스처를 행한 케이스를 상정한다. 도 21a는, 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다. 이 경우, 제스처 검출부(220)는 L자선을 그리는 제스처가 행해졌음을 검출하고, 조작 대상 검출부(230)는, 윈도우(381)가, 그 제스처에 대한 조작 대상임을 검출한다. 그러나, 표시면에는 직육면체의 물체(382)가 놓여 있으며, 그대로 윈도우(381)를 이동시켜버리면 윈도우(381)의 시인성이 나빠져버린다. 또한, 표시면상의 물체의 유무나, 물체의 위치, 높이의 정보는 입력부(110)가 취득한다.
따라서 효과 발동부(250)는, 이동, 회전 및 변형 후의 윈도우(381)와, 물체(382)의 표면이 소정값 이상 겹쳐 있으면, 윈도우(381)를 물체(382)의 표면에 겹치도록 이동시키는 것을 결정한다. 도 21b는, L자선을 그리는 제스처에 의한 효과가, 물체(382)의 표면에 겹치도록 윈도우(381)에 부여된 모습을 나타내는 설명도이다. 이와 같이 윈도우(381)를 이동시킴으로써, 효과 발동부(250)는, 윈도우(381)의 시인성을 유지할 수 있다. 이렇게 물체의 위치를 고려한 효과의 적용은, 정보 처리 시스템(100)이 검은 테이블 위에 화상을 투영하는 것인 경우에, 흰 냅킨의 위에만 오브젝트를 투영할 때에도 이용할 수 있다.
또한 예를 들어, 표시면상에 물체가 놓여 있으며, 그 물체의 사이에서 유저가 L자선을 그리는 제스처를 행한 케이스를 상정한다. 도 22a는, 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다. 이 경우, 제스처 검출부(220)는 L자선을 그리는 제스처가 행해졌음을 검출하고, 조작 대상 검출부(230)는, 윈도우(381)가, 그 제스처에 대한 조작 대상임을 검출한다. 그러나, 표시면에는 직육면체의 물체(383, 384)가 놓여 있으며, 그대로 윈도우(381)를 이동시켜버리면 윈도우(381)의 시인성이 나빠져버린다. 또한, 표시면상의 물체의 유무나, 물체의 위치, 높이의 정보는 입력부(110)가 취득한다.
따라서 효과 발동부(250)는, 이동, 회전 및 변형 후의 윈도우(381)와, 물체(383, 384)의 표면이 소정값 이상 겹쳐 있으면, 윈도우(381)를 물체(383, 384)의 간극으로 이동시키는 것을 결정한다. 도 22b는, L자선을 그리는 제스처에 의한 효과가, 물체(383, 384)의 간극으로 이동시키도록 윈도우(381)에 부여된 모습을 나타내는 설명도이다. 이와 같이 윈도우(381)를 이동 및 축소시킴으로써, 효과 발동부(250)는, 윈도우(381)의 시인성을 유지할 수 있다.
효과 발동부(250)는, 표시면상에 물체가 놓여 있는 경우에는, 효과를 적용 할 때 사용하는 그래픽 처리 관련의 파라미터를, 물체의 표면적 크기나, 수, 놓여 있는 위치 등에 따라서 보정해도 된다. 예를 들어, 도 21a, 21b에 도시한 물체(382)와 같이, 형상이 평면 형상이며, 표면과, 이동 후의 대상 오브젝트와의 겹침이 소정의 비율 이상인 경우에는, 효과 발동부(250)는, 물체의 표면에 오브젝트를 겹치도록, 파라미터를 보정해도 된다. 또한 예를 들어, 도 21a, 21b에 도시한 물체(382)와 같이, 복수의 물체가 표시면상에 놓이고, 그 물체의 사이에서 제스처가 이루어진 것인 경우에는, 효과 발동부(250)는, 그 물체의 사이에서 오브젝트가 이동하도록, 파라미터를 보정해도 된다.
효과 발동부(250)는, 제스처를 행한 유저의 손가락의 방향이나 팔이 붙어있는 부분의 위치를 유저가 존재하는 방향이라고 간주하고, 그 유저의 방향에 맞춰서 파라미터를 보정해도 된다. 도 23a는, 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다. 이 경우, 제스처 검출부(220)는 L자선을 그리는 제스처가 행해졌음을 검출하고, 조작 대상 검출부(230)는, 윈도우(381)가, 그 제스처에 대한 조작 대상임을 검출한다.
그리고, 효과 발동부(250)는, 입력부(110)가 인식한, 제스처를 행한 유저의 손가락의 방향이나 팔이 붙어있는 부분의 위치 정보를 이용하여, 윈도우(381)의 회전각의 파라미터를 보정해도 된다. 통상이면, 유저가 L자선을 표시면상에 그리면, 대상의 윈도우는 L자 선을 따르도록 이동되지만, 제스처를 행한 유저의 손가락의 방향이나 팔이 붙어있는 부분의 위치 정보로부터, 유저가 표시면의 각(角) 부근에 있다고 추측되면, 효과 발동부(250)는, 그 유저에 의해 조작하기 쉽도록, 윈도우(381)의 회전각을 보정한다. 도 23b는, L자선을 그리는 제스처에 의한 효과가 윈도우(381)에 부여된 모습을 나타내는 설명도이다. 효과 발동부(250)는, 제스처를 행한 유저가 조작하기 쉽도록 윈도우(381)의 회전각을 보정함으로써, 도 23b에 도시한 바와 같이, 유저가 조작하기 쉽도록 윈도우(381)를 이동시킬 수 있다.
효과 발동부(250)는, 제스처의 궤적을 따르도록 오브젝트를 이동시키거나, 유저의 위치에 맞춰서 회전각을 보정시키는지의 판단을, 제스처의 궤적과 유저의 방향의 각도 차를 사용하여 행해도 된다. 효과 발동부(250)는, 예를 들어 도 23b에 도시한 각도 θ가 소정값 이상인 경우에는, 유저의 위치에 맞춰서 회전각을 보정하고, 상기 소정값 미만인 경우에는, 제스처의 궤적을 따르도록 오브젝트를 이동시켜도 된다.
효과 발동부(250)는, 유저의 위치가 표시면의 단부에 가까운 위치에 있음을 알 수 있으면, 오브젝트를 표시면의 단부를 따른 위치로 이동시키도록, 오브젝트의 회전각 파라미터를 보정해도 된다. 도 24a는, 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다. 이 경우, 제스처 검출부(220)는 L자선을 그리는 제스처가 행해졌음을 검출하고, 조작 대상 검출부(230)는, 윈도우(381)가, 그 제스처에 대한 조작 대상임을 검출한다.
그리고, 효과 발동부(250)는, 입력부(110)가 인식한, 제스처를 행한 유저의 손가락의 방향이나 팔이 붙어있는 부분의 위치 정보를 이용하여, 윈도우(381)의 회전각의 파라미터를 보정해도 된다. 통상이면, 유저가 L자선을 표시면상에 그리면, 대상의 윈도우는 L자선을 따르도록 이동되지만, 제스처를 행한 유저의 손가락의 방향이나 팔이 붙어있는 부분의 위치 정보로부터, 유저가 표시면의 각 부근에 있다고 추측되면, 윈도우(381)를 표시면의 단부에 따른 위치로 이동시키도록, 윈도우(381)의 회전각 파라미터를 보정한다. 도 24b는, L자선을 그리는 제스처에 의한 효과가 윈도우(381)에 부여된 모습을 나타내는 설명도이다. 효과 발동부(250)는, 윈도우(381)를 표시면의 단부에 따른 위치로 이동시키도록, 윈도우(381)의 회전각 파라미터를 보정함으로써, 도 24b에 도시한 바와 같이, 표시면의 단부를 따라서 윈도우(381)를 이동시킬 수 있다.
그 밖에, 유저가 제스처를 행했을 때, 어떻게 오브젝트를 이동시키는지, 바꿔 말하면, 효과 발동부(250)가 어떻게 파라미터를 보정하는지는, 예를 들어 기계 학습에 의해 습득한 유저의 경향 등을 사용해도 된다. 어떤 유저는, 특정한 윈도우를 결정된 위치에 놓고 사용하고 있는 경우가 많은 것을 알게 되면, 그 유저가 제스처를 행하고, 그 윈도우가 대상으로 되어 있으면, 효과 발동부(250)는, 그 특정한 윈도우가 결정된 위치로 이동하도록 파라미터를 보정해도 된다.
제스처를 행하는 유저의 손가락 높이 방향의 각도를 입력부(110)가 검출할 수 있는 경우, 효과 발동부(250)는, 그 손가락의 높이 방향의 각도에 따라서 효과의 적용 시의 파라미터를 보정해도 된다. 이하에서는 일례로서, 표시면상에 각진 물체가 놓여 있으며, 그 물체에 오브젝트를 이동하는 경우에 대하여 설명한다.
도 25a는, 유저가 L자선을 표시면상에 그린 모습을 나타내는 설명도이다. 이 경우, 제스처 검출부(220)는 L자선을 그리는 제스처가 행해졌음을 검출하고, 조작 대상 검출부(230)는, 윈도우(391)가, 그 제스처에 대한 조작 대상임을 검출한다. 그러나, 그대로 윈도우(391)를 L자선의 옆으로 이동시키면, 윈도우(391)는 표시면상에 놓인 물체(392)와 겹쳐버린다. 이 물체(392)는, 평면 형상이 아니라 표시면에서 소정의 각진 물체인 것으로 한다.
이 경우, 유저가 손가락을 표시면에 붙인 채 표시면에 대한 손가락의 각도를 바꾸는 동작(예를 들어, 유저가 손가락을 표시면에 붙인 채 손바닥 부분을 올리는 동작)이 검출되면, 효과 발동부(250)는, 윈도우(391)를 그 동작에 따라서 변형시키도록, 파라미터를 보정해도 된다. 그 변형은, 윈도우(391)의 하변을 고정시킨 상태에서, 상변의 길이를 바꿈으로써, 윈도우(391)의 형상을 직사각형(또는 정사각형)으로 하거나, 사다리꼴로 하거나 하는 변형이다.
도 25b는, 유저가 L자선을 표시면상에 그린 후에, 손가락을 표시면에 붙인 채 앞으로 기울인 모습을 나타내는 설명도이다. 유저가 손가락을 표시면에 붙인 채 앞으로 기울인 것이 검출되면, 효과 발동부(250)는, 그 동작에 따라서, 물체(392)의 표면에 표시되어 있는 윈도우(391)를 변형시키도록 파라미터를 보정한다. 효과 발동부(250)는, 이렇게 윈도우(391)를 변형시키도록 파라미터를 보정함으로써, 각진 물체(392)의 표면에 윈도우(391)의 형상을 맞출 수 있다.
본 개시의 판정부는, 예를 들어 제스처 검출부(220)나 대상 할당부(240)가 해당되고, 본 개시의 효과 결정부는, 예를 들어 조작 대상 검출부(230), 대상 할당부(240), 효과 발동부(250)가 해당된다.
이상, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 기능 구성예에 대하여 설명하였다. 계속해서, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 동작예에 대하여 설명한다.
[1.3. 동작예]
도 26a, 26b는, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 동작예를 나타내는 흐름도이다. 이하, 도 26a, 26b를 이용하여 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 동작예에 대하여 설명한다.
정보 처리 시스템(100)은, 유저의 표시면에 대한 입력을 검출하면(스텝 S101), 유저의 입력이 확정된 것인지 여부가 판단된다(스텝 S102). 유저의 입력이 확정되지 않았으면(스텝 S102, "아니오"), 정보 처리 시스템(100)은 스텝 S101의 유저 입력 검출 처리로 되돌아간다. 유저의 입력이 확정되어 있으면(스텝 S102, "예"), 제스처 정의 축적부(210)로부터 제스처 정의 정보를 취득한다(스텝 S103). 정보 처리 시스템(100)은, 예를 들어 유저가 표시면으로의 터치 조작을 행하고 있어서, 손가락이 떨어진 것으로써 유저 입력이 확정되었다고 판단해도 되며, 또한, 유저의 손가락의 위치에 소정 시간 이상 변화가 없으면 유저 입력이 확정되었다고 판단해도 된다. 유저의 입력이 확정되었는지 여부의 판단은, 이들의 예로 한정되는 것은 아니다. 또한, 정보 처리 시스템(100)은, 유저의 입력 내용에 따라서는, 입력의 확정을 기다리지 않고 제스처를 확정시켜도 된다. 예를 들어, 제스처 정의 축적부(210)에 축적되어 있는 제스처 정의 중에서, 손가락 2개의 입력에 의한 제스처가 하나밖에 없으면, 유저가 손가락 2개로 표시면에 대한 조작을 행하고 있으면, 정보 처리 시스템(100)은, 그 하나밖에 없는 손가락 2개의 입력에 의한 제스처가 행해지고 있다고 판단하여, 입력의 확정 전에 후술하는 제스처 검출 처리로 이행해도 된다.
정보 처리 시스템(100)은, 제스처 정의 축적부(210)로부터 제스처 정의 정보를 취득하면, 계속해서, 취득한 제스처 정의 정보를 이용하여, 제스처의 정의 분의 제스처 검출 처리를 개시한다(스텝 S104). 모든 제스처 정의에 대해서 제스처 검출 처리가 완료되지 않았으면(스텝 S104, "아니오"), 정보 처리 시스템(100)는, 제스처 검출부(220)에 의한 제스처 검출 처리를 실행하고(스텝 S105), 어떤 제스처 정의에 대한 제스처 검출 처리가 완료되면, 다음 제스처 정의에 대한 처리로 이행한다(스텝 S106). 제스처 검출부(220)에 의한 제스처 검출 처리는 상술한 바와 같으며, 여기에서는 상세한 설명은 생략한다.
모든 제스처 정의에 대해서 처리가 완료되면(스텝 S104, "예"), 계속해서 정보 처리 시스템(100)은, 표시되어 있는 모든 오브젝트에 대한 조작 대상 검출 처리를 개시한다(스텝 S107). 모든 오브젝트에 대해서 조작 대상 검출 처리가 완료되지 않았으면(스텝 S107, "아니오"), 정보 처리 시스템(100)은, 조작 대상 검출부(230)에 의한 조작 대상 검출 처리를 실행하고(스텝 S108), 어떤 오브젝트에 대한 처리가 완료되면, 다음 오브젝트에 대한 처리로 이행한다(스텝 S109). 조작 대상 검출부(230)에 의한 조작 대상 검출 처리는 상술한 바와 같으며, 여기에서는 상세한 설명은 생략한다. 조작 대상 검출 처리의 순서는, 예를 들어 오브젝트에 부여된 ID의 오름차순이어도 되며, 오브젝트의 무게 중심 위치가 표시면의 좌측 상단에 있는 것부터 순차 행해지도록 해도 된다.
모든 오브젝트에 대해서 처리가 완료되면(스텝 S107, "예"), 정보 처리 시스템(100)은, 대상 할당부(240)에 의한, 제스처가 일의적으로 확정되었는지 여부의 판단 처리를 행한다(스텝 S110). 제스처가 일의적으로 확정되지 않았으면, 정보 처리 시스템(100)은, 대상 할당부(240)에 의한, 애매 제스처 해결 처리를 행한다(스텝 S111). 대상 할당부(240)에 의한 애매 제스처 해결 처리는 상술한 바와 같으며, 여기에서는 상세한 설명은 생략한다.
계속해서 정보 처리 시스템(100)은, 대상 할당부(240)에 의한, 조작 대상이 일의적으로 확정되었는지 여부의 판단 처리를 행한다(스텝 S112). 조작 대상이 일의적으로 확정하지 않았으면, 정보 처리 시스템(100)은, 대상 할당부(240)에 의한, 애매 조작 대상 해결 처리를 행한다(스텝 S113). 대상 할당부(240)에 의한 애매 조작 대상 해결 처리는 상술한 바와 같으며, 여기에서는 상세한 설명은 생략한다.
제스처 및 조작 대상이 확정되면, 정보 처리 시스템(100)은, 대상 할당부(240)에 의한, 제스처·조작 대상 할당 처리를 실행한다(스텝 S114). 대상 할당부(240)에 의한, 제스처·조작 대상 할당 처리는 상술한 바와 같으며, 여기에서는 상세한 설명은 생략한다.
제스처·조작 대상 할당 처리가 완료되면, 계속해서 정보 처리 시스템(100)은, 효과 발동부(250)에 의한 제스처 발동 시 보정 처리를 실행한다(스텝 S115). 효과 발동부(250)에 의한 제스처 발동 시 보정 처리는 상술한 바와 같으며, 여기에서는 상세한 설명은 생략한다.
효과 발동부(250)에 의한 제스처 발동 시 보정 처리가 완료되면, 계속해서 정보 처리 시스템(100)은, 유저 입력에 따른 제스처를 발동시킨다(스텝 S116).
본 개시의 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 일련의 동작을 실행함으로써, 유저의 이용 상황이나 의도를 고려하여 제스처에 대응하는 동작을 실행하는 것이 가능해진다.
<2. 하드웨어 구성예>
다음으로, 도 27을 참조하여, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 하드웨어의 구성에 대하여 설명한다. 도 27은, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 하드웨어 구성예를 나타내는 블록도이다.
도 27에 도시한 바와 같이, 정보 처리 시스템(100)은, CPU(Central Processing unit)(901), ROM(Read Only Memory)(903), 및 RAM(Random Access Memory)(905)을 포함한다. 또한, 정보 처리 시스템(100)은, 호스트 버스(907), 브리지(909), 외부 버스(911), 인터페이스(913), 입력 장치(915), 출력 장치(917), 스토리지 장치(919), 드라이브(921), 접속 포트(923), 통신 장치(925)를 포함해도 된다. 또한, 정보 처리 시스템(100)은, 필요에 따라서, 촬상 장치(933), 및 센서(935)를 포함해도 된다. 정보 처리 시스템(100)은, CPU(901)를 대신하거나, 또는 이와 함께, DSP(Digital Signal Processor) 또는 ASIC(Application Specific Integrated Circuit)라고 불리는 처리 회로를 가져도 된다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하고, ROM(903), RAM(905), 스토리지 장치(919), 또는 리무버블 기록 매체(927)에 기록된 각종 프로그램에 따라서, 정보 처리 시스템(100) 내의 동작 전반 또는 그 일부를 제어한다. ROM(903)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(905)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화하는 파라미터 등을 1차 기억한다. CPU(901), ROM(903), 및 RAM(905)은, CPU 버스 등의 내부 버스에 의해 구성되는 호스트 버스(907)에 의해 서로 접속되어 있다. 또한, 호스트 버스(907)는, 브리지(909)를 통해 PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(911)에 접속되어 있다.
입력 장치(915)는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등, 유저에 의해 조작되는 장치이다. 입력 장치(915)는, 유저의 음성을 검출하는 마이크를 포함해도 된다. 입력 장치(915)는, 예를 들어 적외선이나 그 밖의 전파를 이용한 리모트 컨트롤 장치여도 되며, 정보 처리 시스템(100)의 조작에 대응한 휴대 전화 등의 외부 접속 기기(929)여도 된다. 입력 장치(915)는, 유저가 입력한 정보에 기초하여 입력 신호를 생성하여 CPU(901)로 출력하는 입력 제어 회로를 포함한다. 유저는, 이 입력 장치(915)를 조작함으로써, 정보 처리 시스템(100)에 대해서 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다. 또한, 후술하는 촬상 장치(933)도, 유저의 손의 움직임 등을 촬상함으로써, 입력 장치로서 기능할 수 있다.
출력 장치(917)는, 취득한 정보를 유저에 대해서 시각적 또는 청각적으로 통지하는 것이 가능한 장치로 구성된다. 출력 장치(917)는, 예를 들어 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 유기 EL(Electro-Luminescence) 디스플레이, 프로젝터 등의 표시 장치, 홀로그램의 표시 장치, 스피커 및 헤드폰 등의 음성 출력 장치, 및 프린터 장치 등일 수 있다. 출력 장치(917)는, 정보 처리 시스템(100)의 처리에 의해 얻어진 결과를, 텍스트 또는 화상 등의 영상으로서 출력하거나, 음성 또는 음향 등의 음성으로서 출력하거나 한다. 또한, 출력 장치(917)는, 주위를 밝게 하기 위해서 라이트 등을 포함해도 된다.
스토리지 장치(919)는, 정보 처리 시스템(100)의 기억부의 일례로서 구성된 데이터 저장용 장치이다. 스토리지 장치(919)는, 예를 들어 HDD(Hard Disk Drive) 등의 자기 기억부 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광자기 기억 디바이스 등에 의해 구성된다. 이 스토리지 장치(919)는, CPU(901)가 실행하는 프로그램이나 각종 데이터, 및 외부로부터 취득한 각종 데이터 등을 저장한다.
드라이브(921)는, 자기디스크, 광디스크, 광자기디스크 또는 반도체 메모리 등의 리무버블 기록 매체(927)를 위한 리더 라이터이며, 정보 처리 시스템(100)에 내장, 혹은 외장된다. 드라이브(921)는, 장착되어 있는 리무버블 기록 매체(927)에 기록되어 있는 정보를 판독하여, RAM(905)으로 출력한다. 또한, 드라이브(921)는, 장착되어 있는 리무버블 기록 매체(927)에 기록을 기입한다.
접속 포트(923)는, 기기를 정보 처리 시스템(100)에 직접 접속하기 위한 포트이다. 접속 포트(923)는, 예를 들어 USB(Universal Serial Bus) 포트, IEEE1394 포트, SCSI(Small Computer System Interface) 포트 등일 수 있다. 또한, 접속 포트(923)는, RS-232C 포트, 광 오디오 단자, HDMI(등록상표)(High-Definition Multimedia Interface) 포트 등이어도 된다. 접속 포트(923)에 외부 접속 기기(929)를 접속함으로써, 정보 처리 시스템(100)과 외부 접속 기기(929)의 사이에서 각종 데이터가 교환될 수 있다.
통신 장치(925)는, 예를 들어 통신 네트워크(931)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 통신 장치(925)는, 예를 들어 유선 또는 무선 LAN(Local Area Network), Bluetooth(등록상표) 또는 WUSB(Wireless USB)용 통신 카드 등일 수 있다. 또한, 통신 장치(925)는, 광통신용 라우터, ADSL(Asymmetric Digital Subscriber Line)용 라우터, 또는 각종 통신용 모뎀 등이어도 된다. 통신 장치(925)는, 예를 들어 인터넷이나 다른 통신 기기의 사이에서, TCP/IP 등의 소정의 프로토콜을 사용하여 신호 등을 송수신한다. 또한, 통신 장치(925)에 접속되는 통신 네트워크(931)는, 유선 또는 무선에 의해 접속된 네트워크이며, 예를 들어 인터넷, 가정 내 LAN, 적외선 통신, 라디오파 통신 또는 위성 통신 등이다.
촬상 장치(933)는, 예를 들어 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자 및 촬상 소자로의 피사체 상의 결상을 제어하기 위한 렌즈 등의 각종 부재를 사용하여 실공간을 촬상하고, 촬상 화상을 생성하는 장치이다. 촬상 장치(933)는, 정지 화상을 촬상하는 것이어도 되며, 또한 동화상을 촬상하는 것이어도 된다.
센서(935)는, 예를 들어 가속도 센서, 자이로 센서, 지자기 센서, 광 센서, 소리 센서 등의 각종 센서이다. 센서(935)는, 예를 들어 정보 처리 시스템(100)의 케이싱의 자세 등, 정보 처리 시스템(100) 자체의 상태에 관한 정보나, 정보 처리 시스템(100)의 주변 밝기나 소음 등, 정보 처리 시스템(100)의 주변 환경에 관한 정보를 취득한다. 또한, 센서(935)는, GPS(Global Positioning System) 신호를 수신하여 장치의 위도, 경도 및 고도를 측정하는 GPS 센서를 포함해도 된다.
이상, 정보 처리 시스템(100)의 하드웨어 구성의 일례를 나타내었다. 상기 각 구성 요소는, 범용적인 부재를 사용하여 구성되어 있어도 되며, 각 구성 요소의 기능에 특화된 하드웨어에 의해 구성되어 있어도 된다. 이러한 구성은, 실시하는 각각의 기술 레벨에 따라서 적절히 변경될 수 있다.
<3. 결론>
이상 설명한 바와 같이 본 개시의 실시 형태에 의하면, 표시면에 대해서 행해진, 적어도 방향이 규정되어 있는 유저의 제스처를 검출하고, 그 유저의 제스처에 따른 처리를 실행하는 것이 가능한 정보 처리 시스템(100)이 제공된다. 본 개시의 실시 형태에 따른 정보 처리 시스템(100)은, 유저의 제스처에 따른 처리를 실행할 때, 유저의 의도를 가미한 처리를 실행할 수 있다.
본 명세서의 각 장치가 실행하는 처리에 있어서의 각 스텝은, 반드시 시퀀스도 또는 흐름도로서 기재된 순서를 따라서 시계열로 처리할 필요는 없다. 예를 들어, 각 장치가 실행하는 처리에 있어서의 각 스텝은, 흐름도로서 기재한 순서와 상이한 순서로 처리되어도, 병렬적으로 처리되어도 된다.
또한, 각 장치에 내장되는 CPU, ROM 및 RAM 등의 하드웨어를, 상술한 각 장치의 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 작성 가능하다. 또한, 해당 컴퓨터 프로그램을 기억시킨 기억 매체도 제공되는 것이 가능하다. 또한, 기능 블록도로 나타낸 각각의 기능 블록을 하드웨어로 구성함으로써, 일련의 처리를 하드웨어로 실현할 수도 있다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 사람이면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
예를 들어, 상술한 설명에서는, 표시면에 대해서 유저가 손가락으로 조작을 행함으로써 다양한 처리가 실행되었지만, 본 개시는 이러한 예로 한정되지 않는다. 손가락은 본 개시의 조작체의 일례이며, 조작체로서는, 손가락 외에도, 스타일러스 등의 펜형의 디바이스가 사용되어도 된다. 또한, 조작체란, 표시면에 대한 조작을 실행하기 위한 것을 말한다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이지 한정적이지 않다. 즉, 본 개시에 따른 기술은, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 판정부와,
상기 판정부가 판정한 상기 제스처에 대응하는, 상기 표시면에서 표시되는 표시 오브젝트의 배치 방향을 설정하는 효과 및 해당 효과의 대상으로 되는 상기 표시 오브젝트를 결정하는 효과 결정부
를 구비하는, 표시 제어 장치.
(2)
상기 효과 결정부는, 결정한 상기 효과에 기초하여 상기 표시면상의 해당 효과의 대상의 표시 오브젝트의 배치를 결정하는, 상기 (1)에 기재된 표시 제어 장치.
(3)
상기 조작은 촬상 장치에 의해 촬상되고, 상기 표시 오브젝트는, 소정의 물체의 표면에 투영을 행하는 투영 장치에 의해 표시되는, 상기 (2)에 기재된 표시 제어 장치.
(4)
상기 효과 결정부는, 상기 조작으로부터 상기 제스처의 후보로서 2 이상의 후보가 존재한다고 상기 판정부가 판정한 경우, 복수의 후보에 기초하여 상기 효과를 결정하는 처리를 행하는, 상기 (1) 내지 (3) 중 어느 것에 기재된 표시 제어 장치.
(5)
상기 효과 결정부는, 상기 제스처의 후보로서 2 이상의 후보가 존재하는 경우, 행해진 상기 조작으로부터 추측되는 복수의 제스처에서 공통되는 효과를 선택하는, 상기 (4)에 기재된 표시 제어 장치.
(6)
상기 효과 결정부는, 상기 판정부가 판정한 제스처에 대응하는 효과의 대상으로 되는 표시 오브젝트의 후보로서 2 이상의 후보가 존재하는 경우, 복수의 후보에 기초하여 대상의 표시 오브젝트를 결정하는 처리를 행하는, 상기 (1) 내지 (5) 중 어느 것에 기재된 표시 제어 장치.
(7)
상기 효과 결정부는, 효과의 대상의 표시 오브젝트의 후보로서 2 이상의 후보가 존재하는 경우, 상기 조작의 장소에 가장 가까운 표시 오브젝트를 대상의 표시 오브젝트로 하는, 상기 (6)에 기재된 표시 제어 장치.
(8)
상기 판정부는, 동시에 복수의 조작이 행해지고 있는 경우, 먼저 완료한 조작의 내용을 우선하여 제스처의 판정을 행하는, 상기 (1) 내지 (7) 중 어느 것에 기재된 표시 제어 장치.
(9)
상기 판정부는, 동시에 복수의 조작이 행해지고 있는 경우, 해당 조작의 대상에 가까운 상기 표시 오브젝트에 가까운 위치에서 행해진 조작의 내용을 우선하여 제스처의 판정을 행하는, 상기 (1) 내지 (7)중 어느 것에 기재된 표시 제어 장치.
(10)
상기 판정부는, 동시에 복수의 조작이 행해지고 있던 경우, 효과가 발휘되는 대상의 표시 오브젝트에 마지막으로 터치하고 있던 유저에 의해 행해진 조작의 내용을 우선하여 제스처의 판정을 행하는, 상기 (1) 내지 (9) 중 어느 것에 기재된 표시 제어 장치.
(11)
상기 조작이, 조작체로 상기 표시면에 선을 그리는 조작인 경우에, 상기 판정부는, 상기 선의 수직선의 범위에 무게 중심이 있는 상기 표시 오브젝트를 상기 선을 따라 정렬시키는 제스처라고 판정하는, 상기 (1) 내지 (10) 중 어느 것에 기재된 표시 제어 장치.
(12)
상기 조작이, 조작체로 상기 표시면에 선을 그리는 조작인 경우에, 상기 판정부는, 상기 표시면에 표시되어 있는 모든 상기 표시 오브젝트를 상기 선을 따라 정렬시키는 제스처라고 판정하는, 상기 (1) 내지 (11) 중 어느 것에 기재된 표시 제어 장치.
(13)
상기 조작이, 조작체에 의해 상기 표시면에 제1방향을 따르는 제1선을 그린 후에, 계속해서 상기 제1방향에 대해서 대략 수직 방향인 제2방향으로 제2선을 그리는 조작인 경우, 상기 판정부는, 적어도 하나의 상기 표시 오브젝트를 상기 제1선을 따르는 위치로 이동시키며 또한 상기 제2방향을 기준으로 한 배치 방향에 상기 표시 오브젝트를 표시시키는 제스처라고 판정하는, 상기 (1) 내지 (12) 중 어느 것에 기재된 표시 제어 장치.
(14)
상기 효과 결정부는, 상기 제1선 및 상기 제2선의 길이에 맞춰서, 이동시키는 상기 표시 오브젝트의 표시 사이즈를 조정하는, 상기 (13)에 기재된 표시 제어 장치.
(15)
상기 조작이, 상기 표시면상에 존재하는 물리 오브젝트와 소정의 위치 관계에 있는 조작인 경우에, 상기 효과 결정부는, 상기 물리 오브젝트의 배치 위치에 기초하여 상기 표시 오브젝트를 표시시키는, 상기 (1) 내지 (14) 중 어느 것에 기재된 표시 제어 장치.
(16)
상기 조작이, 상기 물리 오브젝트에 따라 선을 그리는 조작인 경우에, 상기 효과 결정부는, 상기 물리 오브젝트 상에 상기 표시 오브젝트를 표시시키는, 상기 (15)에 기재된 표시 제어 장치.
(17)
상기 조작이, 복수의 상기 물리 오브젝트의 사이에 선을 그리는 조작인 경우에, 상기 효과 결정부는, 상기 복수의 물리 오브젝트의 사이에 상기 표시 오브젝트를 표시시키는, 상기 (15)에 기재된 표시 제어 장치.
(18)
상기 효과 결정부는, 상기 조작을 행하는 유저의 위치 또는 손의 각도에 따라서 상기 표시 오브젝트의 표시를 보정하는, 상기 (1) 내지 (17) 중 어느 것에 기재된 표시 제어 장치.
(19)
프로세서가,
표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 것과,
판정된 상기 제스처에 대응하는, 상기 표시면에서 표시되는 표시 오브젝트의 배치 방향을 설정하는 효과 및 해당 효과의 대상으로 되는 상기 표시 오브젝트를 결정하는 것
을 포함하는, 표시 제어 방법.
(20)
컴퓨터에,
표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 것과,
판정된 상기 제스처에 대응하는, 상기 표시면에서 표시되는 표시 오브젝트의 배치 방향을 설정하는 효과 및 해당 효과의 대상으로 되는 상기 표시 오브젝트를 결정하는 것
을 실행시키는, 컴퓨터 프로그램.
100: 정보 처리 시스템
200: 표시 제어부

Claims (20)

  1. 표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 판정부와,
    상기 판정부가 판정한 상기 제스처에 대응하는, 상기 표시면에서 표시되는 표시 오브젝트의 배치 방향을 설정하는 효과 및 해당 효과의 대상으로 되는 상기 표시 오브젝트를 결정하는 효과 결정부
    를 구비하는, 표시 제어 장치.
  2. 제1항에 있어서,
    상기 효과 결정부는, 결정한 상기 효과에 기초하여 상기 표시면상의 해당 효과의 대상의 표시 오브젝트의 배치를 결정하는, 표시 제어 장치.
  3. 제2항에 있어서,
    상기 조작은 촬상 장치에 의해 촬상되고, 상기 표시 오브젝트는, 소정의 물체의 표면에 투영을 행하는 투영 장치에 의해 표시되는, 표시 제어 장치.
  4. 제1항에 있어서,
    상기 효과 결정부는, 상기 조작으로부터 상기 제스처의 후보로서 2 이상의 후보가 존재한다고 상기 판정부가 판정한 경우, 복수의 후보에 기초하여 상기 효과를 결정하는 처리를 행하는, 표시 제어 장치.
  5. 제4항에 있어서,
    상기 효과 결정부는, 상기 제스처의 후보로서 2 이상의 후보가 존재하는 경우, 행해진 상기 조작으로부터 추측되는 복수의 제스처에서 공통되는 효과를 선택하는, 표시 제어 장치.
  6. 제1항에 있어서,
    상기 효과 결정부는, 상기 판정부가 판정한 제스처에 대응하는 효과의 대상으로 되는 표시 오브젝트의 후보로서 2 이상의 후보가 존재하는 경우, 복수의 후보에 기초하여 대상의 표시 오브젝트를 결정하는 처리를 행하는, 표시 제어 장치.
  7. 제6항에 있어서,
    상기 효과 결정부는, 효과의 대상의 표시 오브젝트의 후보로서 2 이상의 후보가 존재하는 경우, 상기 조작의 장소에 가장 가까운 표시 오브젝트를 대상의 표시 오브젝트로 하는, 표시 제어 장치.
  8. 제1항에 있어서,
    상기 판정부는, 동시에 복수의 조작이 행해지고 있는 경우, 먼저 완료한 조작의 내용을 우선하여 제스처의 판정을 행하는, 표시 제어 장치.
  9. 제1항에 있어서,
    상기 판정부는, 동시에 복수의 조작이 행해지고 있는 경우, 해당 조작의 대상에 가까운 상기 표시 오브젝트에 가까운 위치에서 행해진 조작의 내용을 우선하여 제스처의 판정을 행하는, 표시 제어 장치.
  10. 제1항에 있어서,
    상기 판정부는, 동시에 복수의 조작이 행해지고 있던 경우, 효과가 발휘되는 대상의 표시 오브젝트에 마지막에 터치하고 있던 유저에 의해 행해진 조작의 내용을 우선하여 제스처의 판정을 행하는, 표시 제어 장치.
  11. 제1항에 있어서,
    상기 조작이, 조작체로 상기 표시면에 선을 그리는 조작인 경우에, 상기 판정부는, 상기 선의 수직선의 범위에 무게 중심이 있는 상기 표시 오브젝트를 상기 선을 따라 정렬시키는 제스처라고 판정하는, 표시 제어 장치.
  12. 제1항에 있어서,
    상기 조작이, 조작체로 상기 표시면에 선을 그리는 조작인 경우에, 상기 판정부는, 상기 표시면에 표시되어 있는 모든 상기 표시 오브젝트를 상기 선을 따라 정렬시키는 제스처라고 판정하는, 표시 제어 장치.
  13. 제1항에 있어서,
    상기 조작이, 조작체에 의해 상기 표시면에 제1방향을 따르는 제1선을 그린 후에, 계속해서 상기 제1방향에 대해서 대략 수직 방향인 제2방향으로 제2선을 그리는 조작인 경우, 상기 판정부는, 적어도 하나의 상기 표시 오브젝트를 상기 제1선을 따르는 위치로 이동시키며 또한 상기 제2방향을 기준으로 한 배치 방향에 상기 표시 오브젝트를 표시시키는 제스처라고 판정하는, 표시 제어 장치.
  14. 제13항에 있어서,
    상기 효과 결정부는, 상기 제1선 및 상기 제2선의 길이에 맞춰서, 이동시키는 상기 표시 오브젝트의 표시 사이즈를 조정하는, 표시 제어 장치.
  15. 제1항에 있어서,
    상기 조작이, 상기 표시면상에 존재하는 물리 오브젝트와 소정의 위치 관계에 있는 조작인 경우에, 상기 효과 결정부는, 상기 물리 오브젝트의 배치 위치에 기초하여 상기 표시 오브젝트를 표시시키는, 표시 제어 장치.
  16. 제15항에 있어서,
    상기 조작이, 상기 물리 오브젝트를 따라 선을 그리는 조작인 경우에, 상기 효과 결정부는, 상기 물리 오브젝트 상에 상기 표시 오브젝트를 표시시키는, 표시 제어 장치.
  17. 제15항에 있어서,
    상기 조작이, 복수의 상기 물리 오브젝트의 사이에 선을 그리는 조작인 경우에, 상기 효과 결정부는, 상기 복수의 물리 오브젝트의 사이에 상기 표시 오브젝트를 표시시키는, 표시 제어 장치.
  18. 제1항에 있어서,
    상기 효과 결정부는, 상기 조작을 행하는 유저의 위치 또는 손의 각도에 따라서 상기 표시 오브젝트의 표시를 보정하는, 표시 제어 장치.
  19. 프로세서가,
    표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 것과,
    판정된 상기 제스처에 대응하는, 상기 표시면에서 표시되는 표시 오브젝트의 배치 방향을 설정하는 효과 및 해당 효과의 대상으로 되는 상기 표시 오브젝트를 결정하는 것
    을 포함하는, 표시 제어 방법.
  20. 컴퓨터에,
    표시면에 대해서 행해진 조작으로부터, 제스처의 내용을 판정하는 것과,
    판정된 상기 제스처에 대응하는, 상기 표시면에서 표시되는 표시 오브젝트의 배치 방향을 설정하는 효과 및 해당 효과의 대상으로 되는 상기 표시 오브젝트를 결정하는 것
    을 실행시키는, 컴퓨터 프로그램.
KR1020197013925A 2016-11-25 2017-10-12 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램 KR102391752B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-228510 2016-11-25
JP2016228510 2016-11-25
PCT/JP2017/036968 WO2018096827A1 (ja) 2016-11-25 2017-10-12 表示制御装置、表示制御方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20190087423A true KR20190087423A (ko) 2019-07-24
KR102391752B1 KR102391752B1 (ko) 2022-04-28

Family

ID=62195489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197013925A KR102391752B1 (ko) 2016-11-25 2017-10-12 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US11023050B2 (ko)
JP (1) JP6911870B2 (ko)
KR (1) KR102391752B1 (ko)
CN (1) CN109964202B (ko)
DE (1) DE112017005980T5 (ko)
WO (1) WO2018096827A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6911870B2 (ja) * 2016-11-25 2021-07-28 ソニーグループ株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
JP7354702B2 (ja) * 2019-09-05 2023-10-03 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US11733830B2 (en) * 2019-11-20 2023-08-22 Ricoh Company, Ltd. Display apparatus for displaying handwritten data with displayed operation menu
JP7547875B2 (ja) * 2020-09-02 2024-09-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272835A (ja) 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 画面表示方法，画面表示装置，画面表示プログラム，および画面表示プログラムを記録した記録媒体
JP2013125551A (ja) * 2011-12-15 2013-06-24 Toshiba Corp 情報処理装置、表示プログラム
JP2013186540A (ja) * 2012-03-06 2013-09-19 Sony Corp 情報処理装置及び情報処理方法
KR20150009199A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 객체 편집을 위한 전자 장치 및 방법
JP2015060554A (ja) * 2013-09-20 2015-03-30 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
KR20150143495A (ko) * 2013-04-15 2015-12-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법
WO2015198729A1 (ja) * 2014-06-25 2015-12-30 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2016051436A (ja) * 2014-09-02 2016-04-11 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164069A (ja) 2002-11-11 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> 情報制御システム、情報制御方法、この方法のプログラムおよびこのプログラムを記録した記録媒体
JP4045550B2 (ja) 2004-06-28 2008-02-13 富士フイルム株式会社 画像表示制御装置及び画像表示制御プログラム
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
US8473862B1 (en) * 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
KR20120091975A (ko) * 2011-02-10 2012-08-20 삼성전자주식회사 적어도 두 개의 터치 스크린을 포함하는 정보 표시 장치 및 그의 정보 표시 방법
US9626498B2 (en) * 2011-12-15 2017-04-18 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof
US9046958B2 (en) * 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140149901A1 (en) * 2012-11-28 2014-05-29 Motorola Mobility Llc Gesture Input to Group and Control Items
US9448634B1 (en) * 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US9507495B2 (en) * 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US20140359538A1 (en) * 2013-05-28 2014-12-04 General Electric Company Systems and methods for moving display objects based on user gestures
JP5862627B2 (ja) * 2013-09-17 2016-02-16 コニカミノルタ株式会社 表示制御装置、表示制御方法、表示制御プログラム及び画像処理装置
JP5971817B2 (ja) * 2014-06-20 2016-08-17 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 情報処理装置、プログラム及び方法
DE102014012550A1 (de) * 2014-08-20 2016-02-25 e.solutions GmbH Kraftfahrzeug-Bedienungsvorrichtung
SG11201700691QA (en) * 2014-08-25 2017-03-30 Rf Digital Corp Push user interface
EP3201724A4 (en) * 2014-09-30 2018-05-16 Hewlett-Packard Development Company, L.P. Gesture based manipulation of three-dimensional images
US20160173840A1 (en) * 2014-12-10 2016-06-16 Casio Computer Co., Ltd. Information output control device
US20160224203A1 (en) * 2015-02-02 2016-08-04 Cirque Corporation Using a perpendicular bisector of a multi-finger gesture to control motion of objects shown in a multi-dimensional environment on a display
US10318613B2 (en) * 2015-08-25 2019-06-11 Myscript System and method of digital note taking
KR102466990B1 (ko) * 2015-11-06 2022-11-14 삼성전자주식회사 복수의 화면을 표시하는 전자장치 및 그 제어 방법
JP6911870B2 (ja) * 2016-11-25 2021-07-28 ソニーグループ株式会社 表示制御装置、表示制御方法及びコンピュータプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272835A (ja) 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> 画面表示方法，画面表示装置，画面表示プログラム，および画面表示プログラムを記録した記録媒体
JP2013125551A (ja) * 2011-12-15 2013-06-24 Toshiba Corp 情報処理装置、表示プログラム
JP2013186540A (ja) * 2012-03-06 2013-09-19 Sony Corp 情報処理装置及び情報処理方法
KR20150143495A (ko) * 2013-04-15 2015-12-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 멀티 핑거 터치 상호작용 동안의 패닝 및 스케일링을 검출하는 기법
KR20150009199A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 객체 편집을 위한 전자 장치 및 방법
JP2015060554A (ja) * 2013-09-20 2015-03-30 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
WO2015198729A1 (ja) * 2014-06-25 2015-12-30 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2016051436A (ja) * 2014-09-02 2016-04-11 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
CN109964202A (zh) 2019-07-02
US11023050B2 (en) 2021-06-01
DE112017005980T5 (de) 2019-08-08
CN109964202B (zh) 2022-10-21
KR102391752B1 (ko) 2022-04-28
JPWO2018096827A1 (ja) 2019-10-17
US20190286245A1 (en) 2019-09-19
WO2018096827A1 (ja) 2018-05-31
JP6911870B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
JP6809467B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9690475B2 (en) Information processing apparatus, information processing method, and program
US20160299604A1 (en) Method and apparatus for controlling a mobile device based on touch operations
US10346027B2 (en) Information processing apparatus, information processing method, and program
KR20190087423A (ko) 표시 제어 장치, 표시 제어 방법 및 컴퓨터 프로그램
EP2950180B1 (en) Method for determining screen display mode and terminal device
CN107102804B (zh) 控制设备、控制方法和记录介质
US20150301647A1 (en) Touch panel-type input device, method for controlling the same, and storage medium
US20120098852A1 (en) Image display device
US11886643B2 (en) Information processing apparatus and information processing method
US10296096B2 (en) Operation recognition device and operation recognition method
WO2021057654A1 (zh) 屏幕触控管理方法、智能终端、装置及可读存储介质
JP2012027515A (ja) 入力方法及び入力装置
CN106796484B (zh) 显示装置及其控制方法
US9395838B2 (en) Input device, input control method, and input control program
US9665260B2 (en) Method and apparatus for controlling screen of mobile device
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
US9898183B1 (en) Motions for object rendering and selection
JP2023033559A (ja) 情報処理装置、表示制御方法、及びプログラム
JP5827695B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
US11188206B2 (en) Information processing apparatus and information processing method
US20240069647A1 (en) Detecting method, detecting device, and recording medium
US20210329205A1 (en) Information processing apparatus, information processing method, and program
KR101414345B1 (ko) 카메라를 이용한 입력장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant