WO2012147960A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2012147960A1
WO2012147960A1 PCT/JP2012/061470 JP2012061470W WO2012147960A1 WO 2012147960 A1 WO2012147960 A1 WO 2012147960A1 JP 2012061470 W JP2012061470 W JP 2012061470W WO 2012147960 A1 WO2012147960 A1 WO 2012147960A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
reference data
subject
camera
distance
Prior art date
Application number
PCT/JP2012/061470
Other languages
English (en)
French (fr)
Inventor
尊文 黒河
Original Assignee
Ｎｅｃシステムテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃシステムテクノロジー株式会社 filed Critical Ｎｅｃシステムテクノロジー株式会社
Priority to US14/112,280 priority Critical patent/US9329673B2/en
Priority to CN201280020559.XA priority patent/CN103562821B/zh
Priority to EP12776429.8A priority patent/EP2703949B1/en
Priority to KR1020137027930A priority patent/KR101514168B1/ko
Priority to JP2013512493A priority patent/JP5709227B2/ja
Publication of WO2012147960A1 publication Critical patent/WO2012147960A1/ja
Priority to IL229043A priority patent/IL229043B/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a recording medium.
  • An information processing apparatus has been proposed in which a user is imaged with a camera and an operation command is input by the captured user's gesture.
  • Patent Document 1 discloses an interface device that obtains the contour of a user's hand in a captured image and moves the cursor to the virtual switch of the display unit and selects the virtual switch in accordance with the movement and shape change of the hand. Is disclosed.
  • Patent Document 2 discloses an information processing apparatus that recognizes the shape of a user's hand from a captured image and displays a menu of a plurality of functions that can be executed when the first shape is recognized. The information processing apparatus selects a function that can be executed according to the position of the recognized shape in the image, and executes the selected function when the second shape is recognized.
  • Patent Document 3 discloses an information processing apparatus that masks a part of a user's palm image captured by a camera, detects a palm movement from the masked image, and recognizes a command corresponding to the hand movement. Is disclosed.
  • any of the information processing apparatuses described in Patent Documents 1 to 3 captures a user's hand, extracts an image of the hand in the captured image, and recognizes the movement or shape of the hand.
  • the present invention has been made in view of the above circumstances, and provides an information processing apparatus, an information processing method, and a recording medium that can input more appropriate data based on the form of a captured subject. Objective.
  • An information processing apparatus provides: An input unit for inputting a captured image of a subject captured by a camera; An acquisition unit that acquires information indicating a distance between the camera and the subject; A storage unit that stores reference data for specifying the mode of the subject and input data corresponding to the mode for each distance between the camera and the subject; A selection unit that selects reference data corresponding to the distance indicated by the information acquired by the acquisition unit from the reference data stored in the storage unit; A reference unit that specifies the aspect of the subject in the captured image input to the input unit with reference to the reference data selected by the selection unit, and specifies data corresponding to the specified mode; Is provided.
  • An information processing method includes: A storage step of storing, for each distance between the camera and the subject, reference data for specifying the aspect of the subject imaged by the camera and input data corresponding to the aspect; An input step of inputting a captured image of a subject imaged by the camera; An acquisition unit for acquiring information indicating a distance between the camera and the subject; A selection step of selecting reference data corresponding to the distance indicated by the information acquired in the acquisition step from the reference data stored in the storage step; A specification step of specifying the aspect of the subject in the captured image input in the input step with reference to the reference data selected in the selection step, and specifying data corresponding to the specified aspect; including.
  • the program recorded on the recording medium is: Computer An input unit for inputting a captured image of a subject captured by a camera; An acquisition unit for acquiring information indicating a distance between the camera and the subject; A storage unit that stores reference data for specifying the aspect of the subject and input data corresponding to the aspect for each distance between the camera and the subject; A selection unit that selects reference data corresponding to the distance indicated by the information acquired by the acquisition unit from the reference data stored in the storage unit, A specifying unit that specifies the aspect of the subject in the captured image input to the input unit with reference to the reference data selected by the selection unit, and specifies data corresponding to the specified mode; To function as.
  • FIG. 1 is a perspective view of an information processing apparatus according to an embodiment of the present invention. It is a functional block diagram of the information processing apparatus of FIG. It is a figure which shows the example of a hand movement as a gesture for long distances.
  • (A), (B), (C) and (D) is a figure which shows the example of the shape of the hand as a gesture for medium distances.
  • (A), (B), (C), and (D) are figures which show the example of the inclination of the hand as a short distance gesture.
  • It is a figure for demonstrating the method to acquire the information which shows the distance of a camera and a user.
  • the information processing apparatus 100 specifies a gesture (aspect) that appears in the movement, shape, and inclination of the hand 200 as a subject, and inputs input data such as a command corresponding to the specified gesture. It has a function. As illustrated in FIG. 1, the information processing apparatus 100 includes an operation unit 1, a camera 2 as an imaging unit, and a display unit 3.
  • the information processing apparatus 100 is a commonly used computer.
  • the information processing apparatus 100 processes input data corresponding to a gesture of the hand 200 and data input by operating the operation unit 1.
  • the operation unit 1 includes a keyboard and a mouse.
  • the operation unit 1 inputs data corresponding to a user operation input to the information processing apparatus 100.
  • the camera 2 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
  • the camera 2 images, for example, a hand 200 of the user of the information processing apparatus 100 as a subject located within the field of view.
  • the user inputs various data by moving the hand 200 within the visual field of the camera 2 and changing the shape of the hand 200.
  • the display unit 3 includes an LCD (Liquid Crystal Display) or the like.
  • the display unit 3 displays an image related to an application being executed on the information processing apparatus 100.
  • the display unit 3 displays the gesture input support window 3W at all times or in response to a predetermined operation.
  • a selection target S such as a menu item, a file, and an icon and a cursor C for selection are displayed.
  • FIG. 2 shows a functional configuration of the information processing apparatus 100.
  • the information processing apparatus 100 includes a storage unit 4 and a control unit 5 in addition to the operation unit 1, the camera 2, and the display unit 3.
  • the storage unit 4 includes a storage device such as a RAM (Random Access Memory) and a hard disk.
  • the storage unit 4 stores various data.
  • the storage unit 4 stores reference data for specifying a user gesture by the hand 200 and input data corresponding to the gesture for each distance between the camera 2 and the hand 200. Therefore, the storage unit 4 includes a long-distance reference data storage unit 41, a medium-distance reference data storage unit 42, and a short-distance reference data storage unit 43.
  • the reference data is data for specifying a gesture (also referred to as a hand gesture operation pattern) expressed by the movement, shape, inclination, etc. of the hand 200 as shown in FIGS.
  • the long-distance reference data storage unit 41 stores reference data for specifying a simple gesture of the user with the hand 200 that can be specified even from a long distance.
  • the long-distance reference data storage unit 41 stores, for example, reference data for specifying the shape of the hand 200 and the left, right, up, and downward movement of the hand 200 as illustrated in FIG. .
  • the reference data for specifying the shape of the hand 200 is, for example, pattern data obtained by converting the shape of the hand into data.
  • the reference data for specifying the left, right, up and down movement of the hand 200 is, for example, data on the movement amount of the hand center of gravity per unit time and the locus of the center of gravity when the hand moves Pattern data and the like.
  • the reference data stored in the long-distance reference data storage unit 41 is used to specify the user's gesture by the hand 200 when the distance between the camera 2 and the hand 200 is long and the area of the hand 200 in the image data is small.
  • the intermediate distance reference data storage unit 42 stores reference data for specifying a user gesture by the hand 200 that is relatively difficult to specify.
  • the medium distance reference data storage unit 42 stores reference data for specifying the shape of the hand 200 as exemplified in FIG. 4, for example.
  • FIG. 4A shows the shape of a hand with all fingers extended.
  • FIG. 4B shows a hand shape in which the index finger is extended and the remaining fingers are bent.
  • FIG. 4C shows a hand shape in which the index finger and the middle finger are extended and the remaining fingers are bent.
  • FIG. 4D shows the shape of a hand in which the index finger, the middle finger, and the ring finger are extended and the remaining fingers are bent.
  • the short-distance reference data storage unit 43 stores reference data for specifying a user gesture by the hand 200 that is relatively difficult to specify.
  • the short-distance reference data storage unit 43 stores reference data for specifying the shape of the hand 200 as exemplified in FIG. 5A to 5D are examples in which the shape of the hand itself is the same, but the inclination of the hand 200 is different.
  • the reference data stored in the short-distance reference data storage unit 43 is used to specify a gesture of the hand 200 when the distance between the camera 2 and the hand 200 is short and the hand 200 in the image data is large.
  • the intermediate distance reference data storage unit 42 also stores the reference data stored in the long distance reference data storage unit 41.
  • the short-distance reference data storage unit 43 also stores the reference data stored in the long-distance reference data storage unit 41 and the reference data stored in the medium-distance reference data storage unit 42.
  • the reference data is hierarchized according to the specific difficulty of the hand gesture.
  • the reference data includes lower-order reference data. In this way, the storage unit 4 stores reference data for specifying more gestures as the distance between the camera 2 and the hand 200 becomes shorter.
  • the storage unit 4 stores input data associated with the user's gesture by the hand 200 for each distance between the camera 2 and the hand 200. What data is associated with the user's gesture by the hand 200 is arbitrary.
  • the long-distance reference data storage unit 41 includes a direction of movement of the hand 200 shown in FIG. 3 specified by the stored reference data, and a command for moving the cursor C in the gesture input support window 3W in that direction. Are stored in association with each other.
  • the intermediate distance reference data storage unit 42 specifies the number of fingers extended by the hand 200 shown in FIGS. 4A to 4D specified by the stored reference data, and the gesture input support window 3W.
  • the command specifying the menu number that matches the number of fingers is stored in association.
  • the intermediate distance reference data storage unit 42 may store the number of fingers extended by the hand 200 and a command for inputting numerical data that matches the number of fingers.
  • the short-distance reference data storage unit 43 displays the shape of the hand 200 shown in FIGS. 5A to 5D identified by the stored reference data and the image in the gesture input support window 3W.
  • a command for scrolling in the direction indicated by the index finger in the shape is stored in association with each other.
  • the short-distance reference data storage unit 43 may store the shape of the hand 200 and a command for moving the cursor in the direction indicated by the index finger in the shape in association with each other.
  • the control unit 5 includes a processor (Processing Unit) and the like.
  • the processor includes a flash memory, an EEPROM (Electrically Erasable Program Read Only Memory), an auxiliary storage device such as a hard disk device, and a RAM as a work memory.
  • the processor temporarily stores image data and other data in the RAM in accordance with a program stored in the EEPROM, and executes an information processing algorithm.
  • the control unit 5 includes an input unit 51, an acquisition unit 52, a selection unit 53, a specification unit 54, and an execution unit 55.
  • the control unit 5 operates according to a program stored in the storage unit 4 and executes various processes according to input data such as a command input by the user.
  • the input unit 51 inputs a captured image of the hand 200 captured by the camera 2.
  • the input unit 51 converts the analog signal of the captured image into a digital signal and generates image data in units of frames.
  • the input unit 51 outputs image data in units of frames to the display unit 3 and displays it as a through image.
  • the acquisition unit 52 acquires information indicating the distance between the camera 2 (imaging unit) and the hand 200.
  • the acquisition unit 52 analyzes the image data captured by the camera 2 and acquires information indicating the distance between the camera 2 and the hand 200.
  • the acquisition unit 52 uses information indicating the distance between the camera 2 and the hand 200 as shown in FIG. 6, the length L1 between the temples in the captured user's face area, the length L2 between the eyes, The width L3 of the instep 200 or the width L4 of the wrist (hereinafter referred to as the temple length L1, etc.) is acquired.
  • the acquiring unit 52 acquires the temple length L1 and the like from image analysis data generated by the specifying unit 54 described later.
  • the temple length L1 and the like correlate with the distance between the camera 2 and the user without much influence of individual differences. For this reason, it can be said that the shorter the length L1 of the temple is, the closer the distance between the camera 2 and the hand 200 is.
  • the selection unit 53 selects reference data corresponding to the distance indicated by L1 to L4 and the like acquired by the acquisition unit 52.
  • the selection unit 53 detects the distance D between the camera 2 and the user's hand 200 based on L1 to L4 acquired by the acquisition unit 52. For example, in the detection of the distance D, the selection unit 53 first calculates the distance between the camera 2 and the user by substituting L1 to L4 into these lengths and the relational expression between the camera 2 and the user. . Since the distance between the camera 2 and the user substantially matches the distance D between the camera 2 and the hand 200, the selection unit 53 detects the obtained distance as the distance D between the camera 2 and the hand 200.
  • the selection unit 53 selects the reference data stored in the short-distance reference data storage unit 43.
  • the selection unit 53 selects the reference data stored in the intermediate distance reference data storage unit 42.
  • the selection unit 53 selects the reference data stored in the long-distance reference data storage unit 41 when the distance D is greater than the reference value D2.
  • the specifying unit 54 refers to the reference data selected by the selecting unit 53, specifies a user gesture by the hand 200 in the captured image input to the input unit 51, and specifies input data corresponding to the specified gesture. To do.
  • the specifying unit 54 extracts the hand 200 from the frame-based image data generated by the input unit 51 and generates image analysis data.
  • the specifying unit 54 includes a memory that stores image data of a plurality of frames.
  • the specifying unit 54 obtains a difference image between the frame image captured this time and the previously captured frame image. Further, the specifying unit 54 binarizes the obtained difference image, and if the pixel values in the vicinity of each white pixel 8 on the binarized image are larger than a preset threshold value, the white pixel region is determined. Expand. By doing so, the specifying unit 54 executes an expansion process for connecting and expanding the white areas. Further, if the pixel value in the vicinity of each black pixel 8 on the binarized image is smaller than a preset threshold value, the specifying unit 54 reduces the area of the black pixel. In this way, a reduction process for removing black dots that become noise is executed. In this manner, the specifying unit 54 generates image analysis data by extracting the image of the hand 200 as a moving object from the image data.
  • the specifying unit 54 uses the difference image as image analysis data, such as data relating to the movement amount of the center of gravity of the hand 200 per unit time, pattern data obtained by converting the locus of the center of gravity when the hand 200 moves, and the like. It may be included.
  • the image analysis data generated in this way is used for acquisition of information indicating the distance between the camera 2 and the user by the acquisition unit 52.
  • the specifying unit 54 may extract the image of the hand 200 by analyzing skin color information, luminance information, and the like of the image data, and generate image analysis data.
  • the specifying unit 54 extracts the image of the hand 200 in the captured image input by the input unit 51, and the user's gesture by the hand 200 represented by the extracted image of the hand 200 is based on the reference data selected by the selection unit 53. To identify. More specifically, the specifying unit 54 extracts data corresponding to the hand 200 from the generated analysis image data, and compares the extracted data with the reference data selected by the selection unit 53. When the user's gesture by the hand 200 included in the analysis image data matches the reference data, the specifying unit 54 specifies the gesture of the hand 200 corresponding to the matched reference data. The identifying unit 54 reads input data associated with the identified gesture from the storage unit 4 and inputs the input data to the executing unit 55.
  • the execution unit 55 executes processing according to input data associated with the user's gesture by the hand 200 specified by the specifying unit 54.
  • the execution unit 55 refers to the long-distance reference data storage unit 41, the medium-distance reference data storage unit 42, and the short-distance reference data storage unit 43, and corresponds to the gesture of the hand 200 specified by the specifying unit 54.
  • Execute the attached command For example, in the case of a command for moving the cursor C, the execution unit 55 outputs an instruction to move the cursor C to the display unit 3. As a result, the cursor C in the gesture input support window 3W of the display unit 3 moves.
  • the information processing apparatus 100 can execute various application software. In order to input to application software, the information processing apparatus 100 performs input processing when a user inputs a gesture as described below, in addition to input processing from the operation unit 1.
  • the control unit 5 executes the input process shown in FIG.
  • the control unit 5 may display the gesture input support window 3W with the start of the input process, or switches between displaying and hiding the gesture input support window 3W according to an input from the gesture or the operation unit 1. You may do it.
  • the specifying unit 54 first stores the image data of the frame output from the input unit 51 (step S1).
  • the specifying unit 54 generates image analysis data (step S2).
  • the control unit 5 returns to step S1.
  • the acquisition unit 52 acquires the temple length L1 and the like (step S4).
  • the selection unit 53 detects the distance D based on the temple length L1 and the like (step S5).
  • the selection unit 53 selects the reference data stored in the short-distance reference data storage unit 43 (step S7).
  • the selection unit 53 is for the intermediate distance.
  • the reference data stored in the reference data storage unit 42 is selected (step S9).
  • the selection unit 53 selects the reference data stored in the long-distance reference data storage unit 41 (step S10).
  • the specifying unit 54 compares the generated analysis image data with the reference data selected by the selection unit 53, and whether or not the gesture of the hand 200 matches the reference data. Is determined (step S11).
  • step S11 If the gesture of the hand 200 does not match the reference data (step S11; NO), the control unit 5 returns to step S1.
  • the specifying unit 54 specifies the gesture associated with the gesture of the hand 200 and the specified gesture (step S12).
  • the execution unit 55 executes a command associated with the gesture of the hand 200 specified by the specifying unit 54 (step S13). And the control part 5 complete
  • reference data for specifying a user gesture by the hand 200 is selected according to the distance between the camera 2 and the hand 200.
  • the storage unit 4 stores reference data for specifying more gestures as the distance between the camera 2 and the hand 200 is shorter. In this way, when the distance between the camera 2 and the hand 200 is short, more gestures can be specified, and thus input data such as various commands can be input.
  • the number of user gestures by the identifiable hand 200 is reduced as compared with the case of a short distance, but the reference pattern and analysis image data of the identifiable gesture cannot be specified. And are not compared with each other, so the processing burden and misidentification can be reduced.
  • the number of user gestures by the identifiable hand 200 is further reduced as compared to the short distance and middle distance, but the reference pattern and analysis of the identifiable gesture are not possible. Since it is not compared with the image data, the processing burden and erroneous specification can be further reduced. Further, since the reference pattern of the identifiable gesture and the analysis image data are compared even when the distance between the camera 2 and the hand 200 is long, input data associated with the user's gesture by the hand 200 is surely input. be able to.
  • the storage unit 4 stores reference data for specifying the movement, shape, and inclination of the hand 200 as a subject as an aspect. Accordingly, the user can input data by the operation (hand gesture) of the hand 200 that can express various gestures, and thus can input many types of data.
  • the image of the hand 200 in the captured image input by the input unit 51 is extracted, and the user's gesture by the hand 200 represented by the extracted image of the hand 200 is selected by the selection unit 53. It was made to specify based on the reference data. By doing so, the information processing apparatus 100 can specify the user's gesture in real time and can input data quickly.
  • the acquisition unit 52 analyzes the image data captured by the camera 2 and acquires information indicating the distance between the camera 2 and the user. Thereby, compared with the case where an optical sensor etc. are used, an apparatus structure can be simplified.
  • the display unit 3 may display an image corresponding to image data captured by the camera 2.
  • the image of the hand 200 extracted from the image data is displayed in the gesture input support window 3W.
  • the display unit 3 may display the window 3i with the detected distance D and a message for informing the type of command that can be specified by the distance. Thereby, the user can grasp what command can be input by the gesture.
  • the display unit 3 may display a gesture of the hand 200 specified based on the reference data selected by the selection unit 53, a command associated with the gesture of the hand 200, and the like.
  • the display unit 3 includes the reference data for medium distance that can be specified at the current distance between the hand 200 and the camera 2 in addition to the gesture input support window 3W that displays the image of the hand 200.
  • the gesture of the hand 200 corresponding to the reference data stored in the storage unit 42 and a command for designating the menu number input when the gesture is specified are displayed on the window 3i. Thereby, the user can grasp
  • the acquisition unit 52 includes an infrared light emitting unit and is emitted from the infrared light emitting unit. You may make it acquire the information which shows the distance of the camera 2 and a user with the reflected light which infrared rays reflected with the hand 200.
  • FIG. A plurality of cameras may be arranged, and the acquisition unit 52 may acquire stereo images from the plurality of cameras and obtain information indicating the distance between the camera 2 and the user based on the parallax.
  • the acquisition unit 52 may use various sensors such as an optical sensor for acquiring information indicating the distance between the camera 2 and the user.
  • the information processing apparatus 100 may image the hand 200 using an infrared camera or the like as the camera 2.
  • the information processing apparatus 100 may use a depth sensor or the like for imaging the hand 200 without being limited to the optical camera and the infrared camera.
  • the distance between the camera 2 and the hand 200 is divided into three stages, but may be divided into two stages or four or more stages.
  • the user gestures that appear in the movement, shape, inclination, etc. of the hand 200 shown in FIGS. 3 to 5 are examples, and are not limited to these.
  • the specifying unit 54 may specify a gesture using the left hand or the right hand, or may specify a gesture using both hands.
  • gestures with high speed movement are difficult to identify at a long distance compared to gestures without movement. Therefore, for example, when the distance D between the camera 2 and the hand 200 is longer than a predetermined distance, the specifying unit 54 may specify the shape of the hand only when the hand is stationary. . Here, when the distance D is closer than the predetermined distance, the specifying unit 54 may specify a gesture that combines the shape and movement of the hand 200.
  • the storage unit 4 stores the reference data for each distance, but is not limited thereto.
  • the storage unit 4 may store the reference data with identifiers for identifying all distances, short distances, medium distances, and long distances.
  • the reference data with the identifier corresponding to the distance is read, and it is determined whether or not it matches the gesture of the hand 200 included in the image analysis data. May be.
  • the information processing apparatus 100 and the camera 2 are integrally configured.
  • the camera 2 can be installed independently from the information processing apparatus 100.
  • the user inputs an operation to the information processing apparatus 100 using a gesture of the hand 200.
  • the user can input appropriate data even if the camera 2 has a remote operation specification such that the camera 2 is installed away from the information processing apparatus 100 main body.
  • the information processing apparatus 100 may be realized by a dedicated system or an ordinary computer system.
  • the input device 100 may be configured by storing and distributing a program for performing the above-described operation in a computer-readable recording medium, installing the program in a computer, and executing the above-described processing. Good.
  • it may be stored in a disk device provided in a server device on a network such as the Internet so that it can be downloaded to a computer, for example.
  • the above-described functions may be realized in cooperation with an OS (Operating System) and application software. In this case, only the part other than the OS may be stored and distributed in a medium, or may be downloaded to a computer.
  • OS Operating System
  • Recording media for recording the above programs include USB memory, flexible disk, CD, DVD, Blu-ray Disc (registered trademark), MO, SD card, Memory Stick (registered trademark), magnetic disk, optical disk, magneto-optical disk
  • Computer-readable recording media such as semiconductor memory and magnetic tape can be used.
  • a recording medium that is normally fixed to a system or apparatus such as a hard disk or an SSD (solid state drive).
  • An input unit for inputting a captured image of a subject captured by a camera;
  • An acquisition unit for acquiring information indicating a distance between the camera and the subject;
  • a storage unit that stores reference data for specifying the mode of the subject and input data corresponding to the mode for each distance between the camera and the subject;
  • a selection unit that selects reference data corresponding to the distance indicated by the information acquired by the acquisition unit from the reference data stored in the storage unit;
  • a reference unit that specifies the aspect of the subject in the captured image input to the input unit with reference to the reference data selected by the selection unit, and specifies data corresponding to the specified mode;
  • An information processing apparatus comprising:
  • Appendix 2 The storage unit Storing reference data for specifying more aspects as the distance between the camera and the subject is closer;
  • the information processing apparatus according to appendix 1, wherein
  • Appendix 3 The storage unit Storing reference data for specifying the movement, shape and inclination of the hand as the subject as the aspect;
  • An information processing method including:
  • An input unit for inputting a captured image of a subject captured by a camera;
  • An acquisition unit for acquiring information indicating a distance between the camera and the subject;
  • a storage unit that stores reference data for specifying the aspect of the subject and input data corresponding to the aspect for each distance between the camera and the subject;
  • a selection unit that selects reference data corresponding to the distance indicated by the information acquired by the acquisition unit from the reference data stored in the storage unit,
  • a specifying unit that specifies the aspect of the subject in the captured image input to the input unit with reference to the reference data selected by the selection unit, and specifies data corresponding to the specified mode;
  • a recording medium that records a program that functions as a computer.
  • the present invention is suitable for an information processing apparatus, an information processing method, and a recording medium for inputting data by a user's gesture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

　入力部（５１）は、カメラ（２）で撮像された手の撮像画像を入力する。取得部（５２）は、カメラ（２）と手との距離を示す情報を取得する。記憶部（４）は、手のジェスチャを特定するための基準データとそのジェスチャに対応するコマンドとを、カメラ（２）と手との距離ごとに記憶する。選択部（５３）は、記憶部（４）に記憶された基準データの中から、取得部（５２）で取得された情報によって示される距離に対応する基準データを選択する。特定部（５４）は、選択部（５３）で選択された基準データを参照して、入力部（５１）に入力された撮像画像における手のジェスチャを特定し、特定されたジェスチャに対応するコマンドを特定する。

Description

情報処理装置、情報処理方法及び記録媒体
　本発明は、情報処理装置、情報処理方法及び記録媒体に関する。
　ユーザをカメラで撮像し、撮像されたユーザのジェスチャによって操作指令を入力する情報処理装置が提案されている。
　例えば、特許文献１には、撮像した画像におけるユーザの手の輪郭を求め、その手の動き及び形状変化に対応して、表示部の仮想スイッチへのカーソル移動及び仮想スイッチの選択を行うインタフェース装置が開示されている。
　特許文献２には、撮像した画像からユーザの手の形状を認識し、第１の形状を認識した場合に、実行可能な複数の機能のメニューを表示する情報処理装置が開示されている。当該情報処理装置は、画像における認識した形状の位置に従って実行可能な機能を選択し、第２の形状が認識されると、選択された機能を実行する。
　また、特許文献３には、カメラで撮像したユーザの手の平の画像の一部をマスクして、マスクした画像によって手の平の動きを検出し、その手の動きに対応したコマンドを認識する情報処理装置が開示されている。
特開２００４－７８９７７号公報 特開２００８－１４６２４３号公報 特開２００２－８３３０２号公報
　上記特許文献１～３に記載された情報処理装置は、いずれも、ユーザの手を撮像し、撮像した画像中の手の画像を抽出し、さらに、手の動き又は形状を認識する。しかし、ユーザの手の画像の抽出、さらに手の動き又は形状を認識することは容易ではない。例えば、ユーザとカメラとの距離が離れるに従って、手の画像が小さくなり、抽出処理に時間がかかるうえ、認識率が低下する。このため、適切な操作指令を入力することが困難となる。
　本発明は、上記事情に鑑みてなされたものであり、撮像された被写体の態様に基づいて、より適切なデータを入力することができる情報処理装置、情報処理方法及び記録媒体を提供することを目的とする。
　本発明の第１の観点に係る情報処理装置は、
　カメラで撮像された被写体の撮像画像を入力する入力部と、
　前記カメラと前記被写体との距離を示す情報を取得する取得部と、
　前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部と、
　前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部と、
　前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部と、
　を備える。
　本発明の第２の観点に係る情報処理方法は、
　カメラで撮像された被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶ステップと、
　前記カメラで撮像された被写体の撮像画像を入力する入力ステップと、
　前記カメラと前記被写体との距離を示す情報を取得する取得部と、
　前記記憶ステップで記憶された前記基準データの中から、前記取得ステップで取得された情報によって示される距離に対応する基準データを選択する選択ステップと、
　前記選択ステップで選択された基準データを参照して、前記入力ステップで入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定ステップと、
　を含む。
　本発明の第３の観点に係る記録媒体に記録されたプログラムは、
　コンピュータを、
　カメラで撮像された被写体の撮像画像を入力する入力部、
　前記カメラと前記被写体との距離を示す情報を取得する取得部、
　前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部、
　前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部、
　前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部、
　として機能させる。
　本発明によれば、撮像された被写体の態様に基づいて、より適切なデータを入力することができる。
本発明の実施の形態に係る情報処理装置の斜視図である。 図１の情報処理装置の機能ブロック図である。 遠距離用のジェスチャとしての手の動きの例を示す図である。 （Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、中距離用のジェスチャとしての手の形状の例を示す図である。 （Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、近距離用のジェスチャとしての手の傾きの例を示す図である。 カメラとユーザとの距離を示す情報を取得する方法を説明するための図である。 実施の形態における入力処理を説明するためのフローチャートである。 表示部における手の画像及びメッセージの表示の例を示す図である。 表示部における手の画像及び特定可能なジェスチャの表示の例を示す図である。
　以下、本発明の実施の形態に係る情報処理装置について図面を参照して説明する。なお、図面中同一又は相当する部分には同一符号を付す。
　本実施の形態に係る情報処理装置１００は、被写体としての手２００の動きと形状と傾き等に現れるジェスチャ（態様）を特定し、特定したジェスチャに対応するコマンド等の入力データを入力するジェスチャ入力機能を備える。図１に示すように、情報処理装置１００は、操作部１、撮像部としてのカメラ２、表示部３を備えている。
　情報処理装置１００は、一般的に用いられるコンピュータである。情報処理装置１００は、手２００のジェスチャに対応する入力データ及び操作部１の操作により入力されたデータを処理する。
　操作部１は、キーボード、マウス等を備える。操作部１は、ユーザの操作入力に対応するデータを情報処理装置１００に入力する。
　カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を備える。カメラ２は、視野内に位置する被写体として、例えば、情報処理装置１００のユーザの手２００を撮像する。ユーザは、手２００をカメラ２の視野内で移動させ、手２００の形状を変化させることにより、種々のデータを入力する。
　表示部３は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等を備える。表示部３は、情報処理装置１００で実行中のアプリケーションに関連する画像を表示する。また、表示部３は、常時或いは所定の操作に応答して、ジェスチャ入力支援用ウインドウ３Ｗを表示する。ジェスチャ入力支援用ウインドウ３Ｗには、メニュー項目、ファイル、アイコン等の選択対象Ｓと選択用のカーソルＣとが表示される。
　図２は、情報処理装置１００の機能構成を示す。情報処理装置１００は、上記の操作部１、カメラ２、表示部３の他に、記憶部４と、制御部５とを備える。
　記憶部４は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やハードディスク等の記憶装置等を備える。記憶部４は、各種データを記憶する。例えば、記憶部４は、手２００によるユーザのジェスチャを特定するための基準データとそのジェスチャに対応する入力データとを、カメラ２と手２００との距離ごとに記憶する。このため、記憶部４は、遠距離用基準データ記憶部４１と、中距離用基準データ記憶部４２と、近距離用基準データ記憶部４３とを備える。基準データは、図３乃至図５に示すような手２００の移動、形状、傾き等で現されるジェスチャ（ハンドジェスチャ操作パターンともいう）を特定するためのデータである。
　遠距離用基準データ記憶部４１は、遠距離からでも特定できる手２００によるユーザの単純なジェスチャを特定するための基準データを記憶する。遠距離用基準データ記憶部４１は、例えば、図３に例示するような、手２００の形状と、手２００の左、右、上、下方向への動きを特定するための基準データを記憶する。手２００の形状を特定するための基準データは、例えば、手の形状をデータ化したパターンデータ等である。手２００の左、右、上、下方向への動きを特定するための基準データは、例えば、手の重心の単位時間当たりの移動量に関するデータや手が移動した際の重心の軌跡をデータ化したパターンデータ等である。遠距離用基準データ記憶部４１に記憶される基準データは、カメラ２と手２００との距離が遠くて画像データにおける手２００の領域が小さい場合における手２００によるユーザのジェスチャの特定に用いられる。
　中距離用基準データ記憶部４２は、相対的に特定が難しい手２００によるユーザのジェスチャを特定するための基準データを記憶する。中距離用基準データ記憶部４２は、例えば、図４に例示するような、手２００の形状を特定するための基準データを記憶する。図４（Ａ）は、全ての指を伸ばした手の形状である。図４（Ｂ）は、人差し指を伸ばして残りの指を折り曲げた手の形状である。図４（Ｃ）は、人差し指と中指とを伸ばして残りの指を折り曲げた手の形状である。図４（Ｄ）は、人差し指と中指と薬指とを伸ばして残りの指を折り曲げた手の形状である。
　近距離用基準データ記憶部４３は、相対的にさらに特定が難しい手２００によるユーザのジェスチャを特定するための基準データを記憶する。近距離用基準データ記憶部４３は、例えば、図５に例示するような、手２００の形状を特定するための基準データを記憶する。図５（Ａ）乃至図５（Ｄ）は、いずれも手自体の形状は同一であるが、手２００の傾きが異なる例である。近距離用基準データ記憶部４３に記憶される基準データは、カメラ２と手２００との距離が近くて画像データにおける手２００が大きい場合における手２００のジェスチャの特定に用いられる。
　なお、中距離用基準データ記憶部４２は、遠距離用基準データ記憶部４１によって記憶されている基準データも記憶する。また、近距離用基準データ記憶部４３は、遠距離用基準データ記憶部４１によって記憶されている基準データ及び中距離用基準データ記憶部４２によって記憶されている基準データも記憶している。換言すると、基準データは、手のジェスチャの特定の難しさに応じて階層化されており、近距離用基準データ記憶部４３を上位、遠距離用基準データ記憶部４１を下位とすると、上位の基準データは、下位の基準データを含む。このようにして、記憶部４は、カメラ２と手２００との距離が近くなるほど、より多くのジェスチャを特定するための基準データを記憶する。
　また、記憶部４は、手２００によるユーザのジェスチャに対応付けられた入力データを、カメラ２と手２００との距離ごとに記憶する。手２００によるユーザのジェスチャにどのようなデータを対応付けるかは任意である。
　例えば、遠距離用基準データ記憶部４１は、記憶した基準データによって特定される図３に示す手２００の動きの方向と、ジェスチャ入力支援用ウインドウ３Ｗ内のカーソルＣをその方向に移動させるコマンドとを対応付けて記憶する。
　例えば、中距離用基準データ記憶部４２は、記憶した基準データによって特定される図４（Ａ）乃至図４（Ｄ）に示す手２００の伸ばした指の数と、ジェスチャ入力支援用ウインドウ３Ｗ内でその指の数と一致するメニューの番号を指定するコマンドとを対応付けて記憶する。この他、中距離用基準データ記憶部４２は、手２００の伸ばした指の数と、その指の数と一致する数値データを入力するコマンドとを対応付けて記憶してもよい。
　例えば、近距離用基準データ記憶部４３は、記憶した基準データによって特定される図５（Ａ）乃至図５（Ｄ）に示す手２００の形状と、ジェスチャ入力支援用ウインドウ３Ｗ内の画像をその形状における人差し指が示す方向にスクロールさせるコマンドとを対応付けて記憶する。この他、近距離用基準データ記憶部４３は、手２００の形状と、その形状における人差し指が指す方向にカーソルを移動させる等のコマンドとを対応付けて記憶してもよい。
　制御部５は、プロセッサ（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等を備える。プロセッサは、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置等の補助記憶装置と、ワークメモリであるＲＡＭ等を有する。プロセッサは、ＥＥＰＲＯＭに格納されたプログラムに従って、画像データ及びその他のデータをＲＡＭに一時的に記憶して、情報処理のアルゴリズムを実行する。
　制御部５は、入力部５１と、取得部５２と、選択部５３と、特定部５４と、実行部５５とを備える。制御部５は、記憶部４に記憶されているプログラムに従って動作し、ユーザによって入力されたコマンド等の入力データに応じて種々の処理を実行する。
　入力部５１は、カメラ２で撮像された手２００の撮像画像を入力する。入力部５１は撮像画像のアナログ信号をデジタル信号に変換して、フレーム単位の画像データを生成する。入力部５１は、フレーム単位の画像データを表示部３に出力してスルー画像として表示させる。
　取得部５２は、カメラ２（撮像部）と手２００との距離を示す情報を取得する。取得部５２は、カメラ２によって撮像された画像データを解析して、カメラ２と手２００との距離を示す情報を取得する。取得部５２は、カメラ２と手２００との距離を示す情報として、図６に示すような、撮像されたユーザの顔の領域におけるこめかみ間の長さＬ１、目の間隔の長さＬ２、手２００の甲の幅Ｌ３又は手首の幅Ｌ４（以下、こめかみの長さＬ１等）を取得する。例えば、取得部５２は、後述する特定部５４によって生成される画像解析データからこめかみの長さＬ１等を取得する。こめかみの長さＬ１等は、個人差の影響をあまりうけずに、カメラ２とユーザとの距離に相関する。このため、こめかみの長さＬ１等が短ければ短いほど、カメラ２と手２００との距離は近いと言える。
　選択部５３は、取得部５２で取得されたＬ１乃至Ｌ４等によって示される距離に対応する基準データを選択する。選択部５３は、取得部５２によって取得されたＬ１乃至Ｌ４に基づいて、カメラ２とユーザの手２００との距離Ｄを検出する。例えば、距離Ｄの検出では、まず、選択部５３は、Ｌ１乃至Ｌ４を、これらの長さ及びカメラ２とユーザとの距離の関係式に代入することにより、カメラ２とユーザとの距離を求める。カメラ２とユーザとの距離は、カメラ２と手２００との距離Ｄにほぼ一致するため、選択部５３は、求めた距離をカメラ２と手２００との距離Ｄとして検出する。
　例えば、選択部５３は、検出した距離Ｄが基準値Ｄ１以下である場合、近距離用基準データ記憶部４３に記憶された基準データを選択する。選択部５３は、距離Ｄが基準値Ｄ１より大きい基準値Ｄ２以下である場合、中距離用基準データ記憶部４２に記憶された基準データを選択する。選択部５３は、距離Ｄが基準値Ｄ２より大きい場合、遠距離用基準データ記憶部４１に記憶された基準データを選択する。
　特定部５４は、選択部５３で選択された基準データを参照して、入力部５１に入力された撮像画像における手２００によるユーザのジェスチャを特定し、特定されたジェスチャに対応する入力データを特定する。手２００によるユーザのジェスチャの特定においては、例えば、特定部５４は、入力部５１によって生成されたフレーム単位の画像データから手２００を抽出して画像解析データを生成する。
　ここで、画像解析データの生成について詳細に説明する。特定部５４は、複数のフレームの画像データを記憶するメモリを備える。特定部５４は、今回撮像されたフレームの画像と以前撮像されたフレームの画像間との差分画像を求める。さらに、特定部５４は、得られた差分画像を二値化し、二値化した画像上の各白画素の周囲８近傍の画素値があらかじめ設定した閾値よりも大きければ、その白画素の領域を拡張する。こうすることで、特定部５４は、白領域を連結して拡張する拡張処理を実行する。また、特定部５４は、二値化した画像上の各黒画素の周囲８近傍の画素値があらかじめ設定した閾値よりも小さければ、その黒画素の領域を縮小する。こうすることで、ノイズとなる黒ドットを除去する縮小処理を実行する。このようにして特定部５４は、画像データから動きのある物体として手２００の画像を抽出することにより画像解析データを生成する。
　また、特定部５４は、上記差分画像を用いて、手２００の重心の単位時間当たりの移動量に関するデータや手２００が移動した際の重心の軌跡をデータ化したパターンデータ等を画像解析データに含めるようにしてもよい。こうして生成された画像解析データは、取得部５２によるカメラ２とユーザとの距離を示す情報の取得に用いられる。なお、特定部５４は、画像データについて肌色度情報や輝度情報等を解析することによって手２００の画像を抽出し、画像解析データを生成するようにしてもよい。
　特定部５４は、入力部５１によって入力された撮像画像における手２００の画像を抽出し、抽出した手２００の画像が表す手２００によるユーザのジェスチャを、選択部５３で選択された基準データに基づいて特定する。より具体的には、特定部５４は、生成した解析画像データから手２００に対応するデータを抽出し、抽出したデータと選択部５３によって選択された基準データと比較する。解析画像データに含まれる手２００によるユーザのジェスチャが基準データに一致する場合、特定部５４は、一致した基準データに対応する手２００のジェスチャを特定する。特定部５４は、特定したジェスチャに対応付けられた入力データを記憶部４から読み出し、実行部５５に入力する。
　実行部５５は、特定部５４によって特定された手２００によるユーザのジェスチャに対応付けられた入力データに応じた処理を実行する。例えば、実行部５５は、遠距離用基準データ記憶部４１、中距離用基準データ記憶部４２、近距離用基準データ記憶部４３を参照し、特定部５４によって特定された手２００のジェスチャに対応付けられたコマンドを実行する。例えば、カーソルＣを移動させるコマンドの場合、実行部５５は、カーソルＣの移動指示を表示部３に出力する。これにより、表示部３のジェスチャ入力支援用ウインドウ３Ｗ内のカーソルＣが移動する。
　次に、情報処理装置１００による入力処理のフローを説明する。
　情報処理装置１００は、種々のアプリケーションソフトウェアを実行可能である。情報処理装置１００は、アプリケーションソフトウェアへの入力のために、操作部１からの入力処理に加えて、以下に説明するように、ユーザがジェスチャで入力した場合の入力処理を行う。
　制御部５は、図７に示す入力処理を、例えば、時分割で実行する。なお、制御部５は、入力処理の開始に伴いジェスチャ入力支援用ウインドウ３Ｗを表示してもよく、或いは、ジェスチャ或いは操作部１からの入力によりジェスチャ入力支援用ウインドウ３Ｗの表示及び非表示を切り換えるようにしてもよい。
　入力処理を開始すると、まず、特定部５４は、入力部５１から出力されたフレームの画像データを記憶する（ステップＳ１）。
　次に特定部５４は、画像解析データを生成する（ステップＳ２）。画像解析データの解析において手２００の画像が抽出されなかった場合（ステップＳ３；ＮＯ）、制御部５は、ステップＳ１に戻る。一方、画像解析データの解析において手２００の画像が抽出された場合（ステップＳ３；ＹＥＳ）、取得部５２は、こめかみの長さＬ１等を取得する（ステップＳ４）。続いて、選択部５３は、こめかみの長さＬ１等に基づいて、距離Ｄを検出する（ステップＳ５）。
　検出した距離Ｄが基準値Ｄ１以下である場合（ステップＳ６；ＹＥＳ）、選択部５３は、近距離用基準データ記憶部４３に記憶された基準データを選択する（ステップＳ７）。
　検出した距離Ｄが基準値Ｄ１より大きい場合であって（ステップＳ６；ＮＯ）、かつ検出した距離Ｄが、基準値Ｄ２以下である場合（ステップＳ８；ＹＥＳ）、選択部５３は、中距離用基準データ記憶部４２に記憶された基準データを選択する（ステップＳ９）。
　検出した距離ＤがＤ２より大きい場合（ステップＳ８；ＮＯ）、選択部５３は、遠距離用基準データ記憶部４１に記憶された基準データを選択する（ステップＳ１０）。
　選択部５３によって基準データが選択されると、特定部５４は、生成した解析画像データと選択部５３によって選択された基準データとを比較し、手２００のジェスチャが基準データに一致するか否かを判定する（ステップＳ１１）。
　手２００のジェスチャが基準データに一致しない場合（ステップＳ１１；ＮＯ）、制御部５は、ステップＳ１に戻る。一方、手２００のジェスチャが基準データに一致した場合（ステップＳ１１；ＹＥＳ）、特定部５４は、手２００のジェスチャ及び特定したジェスチャに対応付けられたコマンドを特定する（ステップＳ１２）。
　続いて、実行部５５は、特定部５４によって特定された手２００のジェスチャに対応付けられたコマンドを実行する（ステップＳ１３）。そして、制御部５は、入力処理を終了する。
　以上詳細に説明したように本実施の形態によれば、カメラ２と手２００との距離に応じて、手２００によるユーザのジェスチャを特定するための基準データが選択される。これにより、カメラ２と手２００との距離で特定可能な手２００によるユーザのジェスチャが特定されるため、カメラ２で撮像された手２００によるユーザのジェスチャに基づいて、より適切なデータを入力することができる。
　また、上記実施の形態では、記憶部４は、カメラ２と手２００との距離が近くなるほど、より多くのジェスチャを特定するための基準データを記憶するようにした。こうすることで、カメラ２と手２００との距離が近い場合は、より多くのジェスチャを特定できるため、多様なコマンド等の入力データを入力できる。
　カメラ２と手２００とが中距離に位置する場合は、近距離の場合と比較して、特定可能な手２００によるユーザのジェスチャの数は減少するが、特定できないジェスチャの基準パターンと解析画像データとが比較されないので処理負担及び誤特定を軽減することができる。
　カメラ２と手２００との距離が遠い場合は、近距離、中距離の場合と比較して、特定可能な手２００によるユーザのジェスチャの数はさらに減少するが、特定できないジェスチャの基準パターンと解析画像データとが比較されないので処理負担及び誤特定をさらに軽減することができる。また、カメラ２と手２００との距離が遠い場合でも特定可能なジェスチャの基準パターンと解析画像データとが比較されるので、手２００によるユーザのジェスチャに対応付けられた入力データを確実に入力することができる。
　なお、上記実施の形態では、記憶部４は、被写体としての手２００の動きと形状と傾きとを、態様として特定するための基準データを記憶するようにした。これにより、ユーザは、多様なジェスチャを表現することができる手２００の動作（ハンドジェスチャ）によってデータを入力できるので多くの種別のデータを入力できる。
　また、上記実施の形態では、前記入力部５１によって入力された撮像画像における手２００の画像を抽出し、抽出した手２００の画像が表す手２００によるユーザのジェスチャを、選択部５３で選択された基準データに基づいて特定するようにした。こうすることで、情報処理装置１００は、ユーザのジェスチャをリアルタイムで特定して、迅速にデータを入力することができる。
　また、上記実施の形態では、取得部５２は、カメラ２によって撮像された画像データを解析してカメラ２とユーザとの距離を示す情報を取得するようにした。これにより、光学センサ等を用いる場合と比べて、装置構成を簡単にできる。
　また、表示部３は、カメラ２によって撮像された画像データに対応する画像を表示するようにしてもよい。この場合、例えば、図８に示すように、ジェスチャ入力支援用ウインドウ３Ｗ内に、画像データから抽出された手２００の画像が表示される。こうすることで、ユーザは、手２００のジェスチャを確認しながら操作入力できるので、より確実にデータを入力できる。さらに、表示部３は、検出された距離Ｄと、その距離で特定可能なコマンドの種類を報知するメッセージとをウインドウ３ｉを表示してもよい。これにより、ユーザは、どのようなコマンドがジェスチャで入力できるかを把握することができる。
　また、表示部３は、選択部５３によって選択された基準データに基づいて特定される手２００のジェスチャ及び手２００のジェスチャに対応付けられたコマンド等を表示するようにしてもよい。例えば、表示部３は、図９に示すように、手２００の画像を表示するジェスチャ入力支援用ウインドウ３Ｗに加えて、手２００とカメラ２との現在の距離において特定可能な中距離用基準データ記憶部４２に記憶された基準データに対応する手２００のジェスチャと、そのジェスチャが特定されたときに入力されるメニューの番号を指定するコマンドとをウインドウ３ｉに表示する。これにより、ユーザは、特定され得る手２００によるジェスチャとそれに対してどのようなコマンドが入力できるかを把握することができる。
　なお、本実施の形態では、カメラ２とユーザとの距離を示す情報を、画像データから求める例を示したが、例えば、取得部５２は、赤外線発光部を備え、赤外線発光部から発光された赤外線が手２００で反射された反射光によってカメラ２とユーザとの距離を示す情報を取得するようにしてもよい。また、カメラを複数台配置し、取得部５２は、複数のカメラからのステレオ画像を取得し、視差に基づいて、カメラ２とユーザとの距離を示す情報を求めるようにしてもよい。その他、取得部５２は、カメラ２とユーザとの距離を示す情報の取得に光学センサ等の各種センサを用いてもよい。
　また、情報処理装置１００は、カメラ２として赤外線カメラ等を用いて、手２００を撮像してもよい。また、光学カメラ、赤外線カメラ等に限らず、例えば、情報処理装置１００は、手２００の撮像に深度センサ等を用いてもよい。
　なお、本実施の形態においては、カメラ２と手２００との距離を３段階に分けたが、２段階に分けても、４段階以上に分けてもよい。
　また、図３乃至図５に示した手２００の動き、形状、傾き等に現れるユーザのジェスチャは一例であって、これらに限定されるものではない。例えば、特定部５４は、左手又は右手によるジェスチャを特定してもよいし、両手を用いたジェスチャを特定してもよい。
　また、高速の動きを伴うジェスチャは、動きが無いジェスチャに比べて、遠距離での特定が困難である。このため、例えば、カメラ２と手２００との距離Ｄが所定の距離より遠い場合には、手が静止している状態においてのみ、特定部５４は、手の形状を特定するようにしてもよい。ここで、距離Ｄが所定の距離より近い場合には、特定部５４は、手２００の形状と移動とを組み合わせたジェスチャを特定するようにしてもよい。
　また、本実施の形態では、手２００によるジェスチャにより入力を行う例を示したが、例えば、情報処理装置１００は、目、口、瞼、舌等を撮像し、これらによるジェスチャや態様（例えば、相対位置、動き、向き、開度、閉度等）に基づいて入力できるようにしてもよい。
　なお、本実施の形態においては、記憶部４は、距離ごとに基準データを記憶したが、これに限定されない。例えば、記憶部４は、基準データに全距離用、近距離用、中距離用、遠距離用を識別する識別子を付して記憶してもよい。この場合、選択部５３によって検出された距離Ｄに応じて、その距離に対応する識別子が付された基準データを読み出し、画像解析データに含まれる手２００のジェスチャと一致するか否かを判定してもよい。
　また、本実施の形態では、情報処理装置１００とカメラ２とを一体に構成したが、例えば、カメラ２を情報処理装置１００から独立させて設置することもできる。この場合、カメラ２が通信ネットワークを介して画像データを情報処理装置１００に送信することによって、ユーザは情報処理装置１００に手２００のジェスチャによる操作入力を行う。こうすることで、ユーザは、カメラ２が情報処理装置１００本体と離して設置されたような遠隔操作の仕様であっても、適切なデータを入力することができる。
　本実施の形態の情報処理装置１００は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって入力装置１００を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、例えばコンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）とアプリケーションソフトウェアとの共同により実現してもよい。この場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。
　上記プログラムを記録する記録媒体としては、ＵＳＢメモリ、フレキシブルディスク、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）、ＭＯ、ＳＤカード、メモリースティック（登録商標）、その他、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気テープ等のコンピュータ読取可能な記録媒体を使用することができる。また、ハードディスクやＳＳＤ（ソリッドステートドライブ）等、通常、システム又は装置に固定して使用する記録媒体を使用することもできる。
　本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　（付記１）
　カメラで撮像された被写体の撮像画像を入力する入力部と、
　前記カメラと前記被写体との距離を示す情報を取得する取得部と、
　前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部と、
　前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部と、
　前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部と、
　を備える情報処理装置。
　（付記２）
　前記記憶部は、
　前記カメラと前記被写体との距離が近くなるほど、より多くの態様を特定するための基準データを記憶する、
　ことを特徴とする付記１に記載の情報処理装置。
　（付記３）
　前記記憶部は、
　前記被写体としての手の動きと形状と傾きとを、前記態様として特定するための基準データを記憶する、
　ことを特徴とする付記１又は２に記載の情報処理装置。
　（付記４）
　前記特定部は、
　前記入力部によって入力された撮像画像における被写体の画像を抽出し、
　抽出した被写体の画像が表す被写体の態様を、前記選択部で選択された基準データに基づいて特定する、
　ことを特徴とする付記１乃至３のいずれか一つに記載の情報処理装置。
　（付記５）
　前記取得部は、
　前記撮像部によって撮像された画像データを解析して、前記カメラと前記被写体との距離を示す情報を取得する、
　ことを特徴とする付記１乃至４のいずれか一つに記載の情報処理装置。
　（付記６）
　前記カメラで撮像された被写体の撮像画像を表示する表示部をさらに備える、
　ことを特徴とする付記１乃至５のいずれか一つに記載の情報処理装置。
　（付記７）
　前記表示部は、
　前記選択部で選択された基準データに基づいて特定される前記被写体の態様及びその態様に対応する入力データを表示する、
　ことを特徴とする付記６に記載の情報処理装置。
　（付記８）
　カメラで撮像された被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶ステップと、
　前記カメラで撮像された被写体の撮像画像を入力する入力ステップと、
　前記カメラと前記被写体との距離を示す情報を取得する取得部と、
　前記記憶ステップで記憶された前記基準データの中から、前記取得ステップで取得された情報によって示される距離に対応する基準データを選択する選択ステップと、
　前記選択ステップで選択された基準データを参照して、前記入力ステップで入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定ステップと、
　を含む情報処理方法。
　（付記９）
　コンピュータを、
　カメラで撮像された被写体の撮像画像を入力する入力部、
　前記カメラと前記被写体との距離を示す情報を取得する取得部、
　前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部、
　前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部、
　前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部、
　として機能させるプログラムを記録した記録媒体。
　本発明は、２０１１年４月２８日に出願された日本国特許出願２０１１－１０１８９４号に基づく。本明細書中に日本国特許出願２０１１－１０１８９４号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明は、ユーザのジェスチャによってデータを入力する情報処理装置、情報処理方法及び記録媒体に好適である。
　１　操作部
　２　カメラ
　３　表示部
　３Ｗ　ジェスチャ入力支援用ウインドウ
　３ｉ　ウインドウ
　４　記憶部
　５　制御部
　４１　遠距離用基準データ記憶部
　４２　中距離用基準データ記憶部
　４３　近距離用基準データ記憶部
　５１　入力部
　５２　取得部
　５３　選択部
　５４　特定部
　５５　実行部
　１００　情報処理装置
　２００　手

Claims (9)

  1. 　カメラで撮像された被写体の撮像画像を入力する入力部と、
    　前記カメラと前記被写体との距離を示す情報を取得する取得部と、
    　前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部と、
    　前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部と、
    　前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部と、
    　を備える情報処理装置。
  2. 　前記記憶部は、
    　前記カメラと前記被写体との距離が近くなるほど、より多くの態様を特定するための基準データを記憶する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記記憶部は、
    　前記被写体としての手の動きと形状と傾きとを、前記態様として特定するための基準データを記憶する、
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記特定部は、
    　前記入力部によって入力された撮像画像における被写体の画像を抽出し、
    　抽出した被写体の画像が表す被写体の態様を、前記選択部で選択された基準データに基づいて特定する、
    　ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 　前記取得部は、
    　前記撮像部によって撮像された画像データを解析して、前記カメラと前記被写体との距離を示す情報を取得する、
    　ことを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
  6. 　前記カメラで撮像された被写体の撮像画像を表示する表示部をさらに備える、
    　ことを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
  7. 　前記表示部は、
    　前記選択部で選択された基準データに基づいて特定される前記被写体の態様及びその態様に対応する入力データを表示する、
    　ことを特徴とする請求項６に記載の情報処理装置。
  8. 　カメラで撮像された被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶ステップと、
    　前記カメラで撮像された被写体の撮像画像を入力する入力ステップと、
    　前記カメラと前記被写体との距離を示す情報を取得する取得部と、
    　前記記憶ステップで記憶された前記基準データの中から、前記取得ステップで取得された情報によって示される距離に対応する基準データを選択する選択ステップと、
    　前記選択ステップで選択された基準データを参照して、前記入力ステップで入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定ステップと、
    　を含む情報処理方法。
  9. 　コンピュータを、
    　カメラで撮像された被写体の撮像画像を入力する入力部、
    　前記カメラと前記被写体との距離を示す情報を取得する取得部、
    　前記被写体の態様を特定するための基準データとその態様に対応する入力データとを、前記カメラと前記被写体との距離ごとに記憶する記憶部、
    　前記記憶部に記憶された前記基準データの中から、前記取得部で取得された情報によって示される距離に対応する基準データを選択する選択部、
    　前記選択部で選択された基準データを参照して、前記入力部に入力された撮像画像における前記被写体の態様を特定し、特定された態様に対応するデータを特定する特定部、
    　として機能させるプログラムを記録した記録媒体。
PCT/JP2012/061470 2011-04-28 2012-04-27 情報処理装置、情報処理方法及び記録媒体 WO2012147960A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/112,280 US9329673B2 (en) 2011-04-28 2012-04-27 Information processing device, information processing method, and recording medium
CN201280020559.XA CN103562821B (zh) 2011-04-28 2012-04-27 信息处理装置、信息处理方法和记录介质
EP12776429.8A EP2703949B1 (en) 2011-04-28 2012-04-27 Information processing device, information processing method, and recording medium
KR1020137027930A KR101514168B1 (ko) 2011-04-28 2012-04-27 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP2013512493A JP5709227B2 (ja) 2011-04-28 2012-04-27 情報処理装置、情報処理方法及びプログラム
IL229043A IL229043B (en) 2011-04-28 2013-10-24 Information processing device, information processing method and recording means

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-101894 2011-04-28
JP2011101894 2011-04-28

Publications (1)

Publication Number Publication Date
WO2012147960A1 true WO2012147960A1 (ja) 2012-11-01

Family

ID=47072471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/061470 WO2012147960A1 (ja) 2011-04-28 2012-04-27 情報処理装置、情報処理方法及び記録媒体

Country Status (7)

Country Link
US (1) US9329673B2 (ja)
EP (1) EP2703949B1 (ja)
JP (1) JP5709227B2 (ja)
KR (1) KR101514168B1 (ja)
CN (1) CN103562821B (ja)
IL (1) IL229043B (ja)
WO (1) WO2012147960A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014097112A (ja) * 2012-11-13 2014-05-29 Takashi Yoshimine 操作装置及び操作方法
JP2014235301A (ja) * 2013-05-31 2014-12-15 株式会社第一興商 ジェスチャーによるコマンド入力識別システム
CN104836889A (zh) * 2014-02-12 2015-08-12 Lg电子株式会社 移动终端及其控制方法
WO2016170872A1 (ja) * 2015-04-20 2016-10-27 三菱電機株式会社 情報表示装置及び情報表示方法
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
JP6344032B2 (ja) * 2013-09-26 2018-06-20 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム
JP6341755B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 情報処理装置、方法及びプログラム並びに記録媒体
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US11344928B2 (en) 2015-06-03 2022-05-31 Koninklijke Philips N.V. Safety improvements for UV radiation in aquatic applications
KR20170068049A (ko) * 2015-12-09 2017-06-19 원광대학교산학협력단 어플리케이션 자동구동장치
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10303259B2 (en) * 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
US10325184B2 (en) * 2017-04-12 2019-06-18 Youspace, Inc. Depth-value classification using forests
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
US11221683B2 (en) * 2019-05-09 2022-01-11 Dell Products, L.P. Graphical user interface (GUI) manipulation using hand gestures over a hovering keyboard
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
CN112822388B (zh) * 2019-11-15 2022-07-22 北京小米移动软件有限公司 拍摄模式的触发方法、装置、设备及存储介质
CN113630556A (zh) * 2021-09-26 2021-11-09 北京市商汤科技开发有限公司 聚焦方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2002083302A (ja) 2000-09-07 2002-03-22 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2005031799A (ja) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2005190283A (ja) * 2003-12-26 2005-07-14 Nec Access Technica Ltd 情報入力装置
JP2008146243A (ja) 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP2003131785A (ja) 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2004356819A (ja) 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP4692159B2 (ja) 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP2007219713A (ja) 2006-02-15 2007-08-30 Sony Corp 照会システム、撮像装置、照会装置、情報処理方法、プログラム
WO2009035705A1 (en) 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US20100251171A1 (en) * 2009-03-31 2010-09-30 Parulski Kenneth A Graphical user interface which adapts to viewing distance
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
KR101567785B1 (ko) * 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
JP2002083302A (ja) 2000-09-07 2002-03-22 Sony Corp 情報処理装置、動作認識処理方法及びプログラム格納媒体
JP2005031799A (ja) * 2003-07-08 2005-02-03 Sony Computer Entertainment Inc 制御システムおよび制御方法
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2005190283A (ja) * 2003-12-26 2005-07-14 Nec Access Technica Ltd 情報入力装置
JP2008146243A (ja) 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2703949A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014097112A (ja) * 2012-11-13 2014-05-29 Takashi Yoshimine 操作装置及び操作方法
JP2014235301A (ja) * 2013-05-31 2014-12-15 株式会社第一興商 ジェスチャーによるコマンド入力識別システム
CN104836889A (zh) * 2014-02-12 2015-08-12 Lg电子株式会社 移动终端及其控制方法
CN104836889B (zh) * 2014-02-12 2019-08-20 Lg电子株式会社 移动终端及其控制方法
WO2016170872A1 (ja) * 2015-04-20 2016-10-27 三菱電機株式会社 情報表示装置及び情報表示方法
JP6062123B1 (ja) * 2015-04-20 2017-01-18 三菱電機株式会社 情報表示装置及び情報表示方法
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017104272A1 (ja) * 2015-12-18 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10963063B2 (en) 2015-12-18 2021-03-30 Sony Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
JP5709227B2 (ja) 2015-04-30
IL229043A0 (en) 2013-12-31
EP2703949A4 (en) 2014-10-22
KR101514168B1 (ko) 2015-04-21
US9329673B2 (en) 2016-05-03
KR20140002007A (ko) 2014-01-07
EP2703949B1 (en) 2017-10-25
JPWO2012147960A1 (ja) 2014-07-28
CN103562821A (zh) 2014-02-05
IL229043B (en) 2018-04-30
EP2703949A1 (en) 2014-03-05
US20140043232A1 (en) 2014-02-13
CN103562821B (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
JP5709227B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US11048333B2 (en) System and method for close-range movement tracking
US9910498B2 (en) System and method for close-range movement tracking
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
EP2364013B1 (en) Information processing apparatus, method and program for imaging device
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
KR101929077B1 (ko) 이미지 식별 방법 및 이미지 식별 장치
JP6349800B2 (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
CN103488283A (zh) 信息处理设备及其控制方法和背景确定方法
JP5769277B2 (ja) 入力装置、入力方法及びプログラム
JP2007034525A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
CN109101173B (zh) 屏幕布局控制方法、装置、设备及计算机可读存储介质
Rupanagudi et al. A novel and secure methodology for keyless ignition and controlling an automobile using air gestures
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
KR20120061367A (ko) 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법
JP5785876B2 (ja) ジェスチャー認識装置におけるスイッチ押下判定システム、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US20230305634A1 (en) Gesture recognition apparatus, head-mounted-type display apparatus, gesture recognition method, and non-transitory computer readable medium
JP2017058817A (ja) 情報処理装置、プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12776429

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14112280

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012776429

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012776429

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013512493

Country of ref document: JP

Kind code of ref document: A

Ref document number: 20137027930

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE