WO2017134868A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2017134868A1
WO2017134868A1 PCT/JP2016/081360 JP2016081360W WO2017134868A1 WO 2017134868 A1 WO2017134868 A1 WO 2017134868A1 JP 2016081360 W JP2016081360 W JP 2016081360W WO 2017134868 A1 WO2017134868 A1 WO 2017134868A1
Authority
WO
WIPO (PCT)
Prior art keywords
command
information processing
processing apparatus
display
unit
Prior art date
Application number
PCT/JP2016/081360
Other languages
English (en)
French (fr)
Inventor
昌裕 森田
正一 土居
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017134868A1 publication Critical patent/WO2017134868A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • commands are suitable to be executed by the input of sound information, and others are suitable to be executed by the input of the position of the operating body. Therefore, it is desirable to provide a technology capable of improving the flexibility of input for executing a command.
  • a first command acquisition unit for acquiring a first command according to the position of the operating body, and a second command according to the result of speech recognition processing obtained by speech recognition processing for sound information
  • An information processing apparatus comprising: an execution control unit that controls execution of the second command by a second control target device.
  • acquiring a first command according to the position of the operating body by a computer and acquiring a second command according to the result of speech recognition processing obtained by speech recognition processing on sound information
  • controlling the execution of the first command by the first control target device when the first command is obtained, and when the second command is obtained, the second of the second command.
  • An information processing method is provided, including controlling the execution of the control target device.
  • a computer is provided with a first command acquisition unit that acquires a first command according to the position of an operating tool, and a second command according to a result of speech recognition processing obtained by speech recognition processing for sound information.
  • a program for functioning as an information processing apparatus including: an execution control unit which controls execution of the second command by the second control target device.
  • FIG. 1 is a diagram illustrating an exemplary configuration of a communication system according to an embodiment of the present disclosure. It is a block diagram showing an example of functional composition of a communication system concerning the embodiment. It is a block diagram which shows the detailed function structural example of a control part. It is a figure for demonstrating the example of the operation
  • a plurality of components having substantially the same functional configuration may be distinguished by attaching different numerals after the same reference numerals.
  • the same reference numerals when it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals will be given.
  • FIG. 1 is a diagram illustrating an exemplary configuration of a communication system according to an embodiment of the present disclosure.
  • the communication system according to the present embodiment includes an information processing apparatus 10 and control target devices 20 (control target devices 20-1 to 20-4).
  • the information processing apparatus 10 includes a sound output unit 111, a sound collection unit 151, an imaging unit 112, a distance detection unit 113, and a display unit 161 (a first display unit 161-1 and a second display unit 161-2). ing.
  • the information processing apparatus 10 and the control target device 20 can communicate via a communication network. Further, in the information processing apparatus 10, the sound output unit 111, the sound collection unit 151, the imaging unit 112, the distance detection unit 113, and the display unit 161 (the first display unit 161-1 and the second display unit 161-2) Although the information processing apparatus 10 is provided on the same surface, the position at which they are provided is not limited (for example, they may be provided on different surfaces of the information processing apparatus 10).
  • control target device 20 As an example of the control target device 20, a control target device (television device) 20-1, a control target device (recorder) 20-2, a control target device (air conditioner) 20-3, and a control target Although the device (coffee maker) 20-4 is shown, the type and number of the control target devices 20 are not limited.
  • the control target device 20 may be any device capable of receiving a command from the outside and executing the command.
  • the type and number of the display units 161 are not limited.
  • the display unit 161 may be a display capable of performing display that can be viewed by the user 80.
  • the first display portion 161-1 performs display at a relatively high position (for example, a wall, a television device, etc.), while the second display portion 161-2 performs a relative operation.
  • a relatively high position for example, a wall, a television device, etc.
  • the second display portion 161-2 performs a relative operation.
  • the position which the display part 161 displays is not limited, either.
  • voice voice or speech
  • sound sound
  • FIG. 2 is a block diagram showing an example of a functional configuration of the communication system according to the present embodiment.
  • the communication system includes an information processing apparatus 10, a control target device 20, an external network 30, and a third storage unit 330.
  • the external network 30 is configured by, for example, the Internet.
  • the third storage unit 330 is configured of a magnetic storage unit device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the control target device 20 may be an air conditioner, a television set, a recorder, and a coffee maker.
  • the control target device 20 may include a second storage unit 230.
  • the second storage unit 230 is configured of a magnetic storage unit device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the information processing apparatus 10 includes the sound output unit 111, the sound collection unit 151, the imaging unit 112, the distance detection unit 113, and the display unit 161 (the first display unit 161-1 and the second display unit 161-2) described above.
  • the communication unit 140, the control unit 120, and the first storage unit 130 are provided.
  • the sound output unit 111 has a function of outputting a sound.
  • the sound output unit 111 includes a speaker, and outputs a sound by the speaker.
  • the number of speakers included in the sound output unit 111 is not particularly limited as long as it is one or more. And the position in which each of the one or more speakers contained in the sound output part 111 is provided is not specifically limited, either.
  • the sound output unit 111 may include a sound output device having a form other than the speaker as long as it has a function of outputting sound information.
  • the sound collection unit 151 has a function of acquiring sound information by sound collection.
  • the sound collection unit 151 includes a microphone, and collects sound information by the microphone.
  • the number of microphones included in the sound collection unit 151 is not particularly limited as long as it is one or more. And the position in which each of one or more microphones included in the sound collection unit 151 is provided is not particularly limited.
  • the sound collection unit 151 may include a sound collection device in a form other than a microphone as long as it has a function of collecting sound information.
  • the imaging unit 112 has a function of inputting an image by imaging.
  • the imaging unit 112 includes a camera, and inputs an image captured by the camera.
  • the number of cameras included in the imaging unit 112 is not particularly limited as long as it is one or more. Further, the positions at which one or more cameras included in the imaging unit 112 are provided are not particularly limited.
  • the one or more cameras may include a monocular camera, and may include a stereo camera.
  • the distance detection unit 113 has a function of detecting the distance to the user 80.
  • the distance detection unit 113 includes a distance measurement sensor, and acquires the distance to the user 80 detected by the distance measurement sensor.
  • the position at which the distance measuring sensor is provided is not particularly limited.
  • the type of the distance measuring sensor is not particularly limited.
  • the distance sensor may be an infrared distance sensor or an ultrasonic distance sensor.
  • the communication unit 140 has a function of acquiring data from the third storage unit 330 and writing data to the third storage unit 330 via the external network 30.
  • the communication unit 140 is configured of a communication interface.
  • the communication unit 140 may be able to communicate with an apparatus different from the third storage unit 330 via the external network 30.
  • the first storage unit 130 stores a program executed by the control unit 120, and stores data necessary for the execution of the program. In addition, the first storage unit 130 temporarily stores data for the calculation by the control unit 120.
  • the first storage unit 130 is configured of a magnetic storage unit device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the display unit 161 (the first display unit 161-1 and the second display unit 161-2) has a function of displaying a screen.
  • the display unit 161 (the first display unit 161-1 and the second display unit 161-2) may be a projector as shown in FIG. 1, or may be a liquid crystal display, It may be an organic EL (Electro-Luminescence) display.
  • the display unit 161 (the first display unit 161-1 and the second display unit 161-2) has a function of displaying a screen, it may be a display of another form.
  • the control unit 120 executes control of each unit of the information processing apparatus 10. As shown in FIG. 3, the control unit 120 includes an image analysis unit 121, a speech recognition unit 122, a command recognition unit 123, a first command acquisition unit 124, a second command acquisition unit 125, and a third command acquisition unit. 126 includes an execution control unit 127 and a display control unit 128. The details of each of these functional blocks will be described later.
  • the control unit 120 may be configured by, for example, a central processing unit (CPU) or the like. When the control unit 120 is configured by a processing unit such as a CPU, the processing unit may be configured by an electronic circuit.
  • a simple command (a command with a lower degree of freedom for selection by the user 80) such as a command to increase the volume of the television device, a command to turn on the air conditioner, etc. Suitably executed by input.
  • a simple command is executed by inputting the position of the hand of the user 80, one reason is that the number of display objects (hereinafter, also referred to as "buttons") corresponding to each command can be small.
  • complex commands such as search keyword input and program title input (commands with a higher degree of freedom for selection by the user 80) are suitably executed by input of sound information.
  • search keyword input and program title input commands with a higher degree of freedom for selection by the user 80
  • program title input commands with a higher degree of freedom for selection by the user 80
  • the image analysis unit 121 obtains the position of the hand of the user 80 by image analysis on the image captured by the imaging unit 112. Further, the speech recognition unit 122 obtains a speech recognition processing result by speech recognition processing on sound information. Then, the command recognition unit 123 recognizes a command (first command) based on the position of the hand of the user 80, and recognizes a command (second command) based on the result of speech recognition processing.
  • the first command acquisition unit 124 acquires a first command, and the second command acquisition unit 125 acquires a second command.
  • the execution control unit 127 controls the execution of the first command by the control target device 20.
  • the execution control unit 127 controls the execution of the second command by the control target device 20.
  • FIG. 4 and FIG. 5 are diagrams for explaining an example of the operation of turning on the power of the television device (the control target device 20-1).
  • the user 80 wants to watch the television device (the control target device 20-1)
  • the user 80 utters "TV controller" as shown in FIG.
  • the sound collection unit 151 of the information processing apparatus 10 collects sound information including the utterance of the user 80
  • the speech recognition unit 122 performs speech recognition processing result by speech recognition processing on the sound information. Get "TV Controller”.
  • the voice and the command are registered as information associated in advance. Therefore, the command recognition unit 123 recognizes the command “display of the controller of TV” from the speech recognition process result “controller of TV” with reference to the information associated in advance.
  • the second command acquisition unit 125 acquires the command “display of the controller of the TV”
  • the display control unit 128 acquires the command “display of the controller of the TV” by the second command acquisition unit 125, Control the command "Display controller of TV”.
  • the controller of the TV is displayed as a command reception screen 30-1.
  • the command reception screen 30-1 includes buttons corresponding to the respective commands.
  • the display control unit 128 preferably controls the display of the command reception screen 30-1 on the area corresponding to the position of the user 80. Then, the user 80 can easily press the button corresponding to the command that the user wants to execute.
  • the area according to the position of the user 80 is not particularly limited, it may be within the reach of the user 80.
  • the user 80 may think that he / she does not want to keep an eye on the TV. Therefore, even if the display control unit 128 controls the display of the command reception screen 30-1 in an area (for example, within a predetermined range from the control target device 20-1) according to the position of the control target device 20-1. Good. That way, you won't have to keep an eye on your TV.
  • the display control unit 128 can also change the display position of the command reception screen 30-1 according to the type of the command reception screen 30-1. However, when the command reception screen 30-1 is displayed outside the reach of the user 80, it is necessary to make a gesture on the command reception screen 30-1.
  • the command reception screen 30-1 may be stored in the first storage unit 130 in advance, but is downloaded to the information processing apparatus 10 from the second storage unit 230 of the control target device (TV) 20-1.
  • the information processing apparatus 10 may be downloaded from the external server (third storage unit 330) via the external network 30.
  • the command recognition unit 123 recognizes a command based on the position of the hand of the user 80. For example, when the position of a button satisfying a predetermined relationship with the position of the hand of the user 80 is detected, the command recognition unit 123 recognizes a command corresponding to the button.
  • the command recognition unit 123 mainly recognizes a case in which a command corresponding to the button is recognized.
  • the power button is detected as a button in which the index finger of the user 80 is overlapped, and the command “power on” corresponding to the power button is recognized.
  • the first command acquisition unit 124 acquires the command “power on”.
  • the execution control unit 127 causes the power of the control target device (TV) 20-1 to be turned on. Control the control target device (TV) 20-1.
  • the command recognition unit 123 may recognize a command corresponding to the button when a predetermined command determination operation is detected when a button overlapping the hands of the user 80 is detected.
  • the command determination operation is not limited, but may include movement of the hand of the user 80 in a direction away from the predetermined position (the position of the distance detection unit 113). The movement of the hand of the user 80 may be detected by the distance detection unit 113.
  • the command determination operation may include the movement of the hand of the user 80 in a direction away from the predetermined position (the position of the distance detection unit 113) at a speed exceeding the predetermined speed.
  • the command determination operation includes moving the user 80 in a direction away from the predetermined position (the position of the distance detection unit 113) at a speed exceeding the predetermined speed by a distance exceeding the predetermined distance. May be.
  • FIGS. 6 to 10 are diagrams for explaining an example of the operation of reproducing the program recorded in the recorder (control target device 20-2).
  • the user 80 wants to view the program list recorded in the recorder (control target device 20-2), as shown in FIG. 6, the user 80 utters "the controller of the recorder".
  • the display control unit 128 controls the command “display of the controller of the recorder” as in the case described with reference to FIGS. 4 and 5.
  • the controller of the recorder is displayed as a command reception screen 30-2.
  • the command reception screen 30-2 When the command reception screen 30-2 is displayed, input by pressing a button becomes possible. As shown in FIG. 7, the user 80 presses the program list display button on the command reception screen 30-2.
  • the command recognition unit 123 detects a program list display button as a button in which the index finger of the user 80 overlaps, and recognizes a command “program list display” corresponding to the program list display button. Then, the first command acquisition unit 124 acquires the command “program list display”.
  • the execution control unit 127 when the command “display program list” is acquired by the first command acquisition unit 124, the program list recorded in the control target device (recorder) 20-2 is the control target device (TV) 20.
  • the control target device (recorder) 20-2 is controlled so as to be displayed at -1. Referring to FIG. 7, a program list is displayed on a control target device (TV) 20-1.
  • the user 80 when the user 80 wants to see the details of the program P1, as shown in FIG. 8, it utters "the program P1".
  • the sound collection unit 151 of the information processing apparatus 10 collects sound information including the utterance of the user 80, and the speech recognition unit 122 performs speech recognition processing result by speech recognition processing on the sound information. Get "Program P1".
  • the command recognition unit 123 recognizes the command “detail display of program P1” from the speech recognition processing result “program P1” with reference to information associated in advance.
  • the second command acquisition unit 125 acquires the command “detail display of program P1”, and the execution control unit 127 the second command acquisition unit 125 acquires the command “detail display of program P1”.
  • the control target device (recorder) 20-2 is controlled such that the command “detail display of program P1” is executed. Referring to FIG. 8, the details of the program P1 are displayed on the control target device (TV) 20-1 under the control of the control target device (recorder) 20-2.
  • the priority of command recognition by the command recognition unit 123 is not particularly limited. That is, either of the recognition of the command corresponding to the button overlapping the hand of the user 80 and the recognition of the command corresponding to the result of the speech recognition processing subjected to the speech recognition processing from the sound information may be preceded. For example, when a button overlapping with the hand of the user 80 is not detected, the command recognition unit 123 may recognize a command corresponding to the result of the speech recognition process.
  • the second command acquisition unit 125 acquires such a command.
  • the command recognition unit 123 is configured such that the index finger and the little finger of the hands of the user 80 are opened and the hands of the user 80 are closed with the thumb, middle finger and ring finger closed. May be recognized as a command to switch the display to the next page of the currently displayed page.
  • a command is recognized and acquired by the first command acquisition unit 124, and the execution control unit 127 performs execution control of switching to the next page.
  • the user 80 moves the pointer in the screen to the program to be reproduced by a predetermined gesture (for example, an operation to move the index finger) in order to determine the program to be reproduced from the program list P1.
  • a predetermined gesture for example, an operation to move the index finger
  • Sound (as shown in FIG. 10, "decision” etc.) may be issued.
  • the command recognition unit 123 recognizes a command "reproduction of content C5" corresponding to the program "content C5" indicated by the pointer and the voice "decision”, and the execution control unit 127 Control the execution of C5 playback.
  • the priority of command recognition by the command recognition unit 123 is not particularly limited. However, for example, when a program overlapping with the pointer is detected, and when a command determination operation is not detected, and when it is detected that the speech recognition processing result corresponds to a program, the command recognition unit 123 A command corresponding to the result of the speech recognition process may be recognized.
  • the third command acquisition unit 126 acquires the command, and the execution control unit 127 controls the execution of the command by the control target device 20.
  • FIGS. 11 to 14 are diagrams for explaining an example of the operation of controlling the air conditioner (control target device 20-3).
  • the user 80 wants to control the air conditioner (the control target device 20-3), as shown in FIG. 11, the user 80 utters "controller of air conditioner".
  • the display control unit 128 controls the command “display of controller of air conditioner” in the same manner as described with reference to FIGS. 4 and 5.
  • the controller of the air conditioner is displayed as a command reception screen 30-3A.
  • the command reception screen 30-3A When the command reception screen 30-3A is displayed, input by pressing a button becomes possible. As shown in FIG. 12, the user 80 presses the power button on the command reception screen 30-3A.
  • the command recognition unit 123 detects the power button as a button in which the index finger of the user 80 is overlapped, and recognizes a command “power on” corresponding to the power button. Then, the first command acquisition unit 124 acquires the command “power on”.
  • the execution control unit 127 causes the air conditioner (control target device 20) to turn on the power of the air conditioner (control target device 20-3) when the command “power on” is acquired by the first command acquisition unit 124. -3) to control.
  • the power of the air conditioner (control target device 20-3) is turned on, and a state in which wind is emitted from the air conditioner (control target device 20-3) is shown.
  • the display contents are switched from the command reception screen 30-3A to the command reception screen 30-3B.
  • the command reception screen 30-3B input by pressing a button can be continued.
  • the user 80 presses the strong air flow button on the command reception screen 30-3B.
  • the command recognition unit 123 detects an air flow strong button as a button in which the index finger of the user 80 is overlapped, and recognizes a command “air flow strong” corresponding to the air flow strong button. Then, the first command acquisition unit 124 acquires the command “air flow strength”.
  • the execution control unit 127 causes the air conditioner (control target device 20-) to increase the air flow of the air conditioner (control target device 20-3) when the command “flow strength” is acquired by the first command acquisition unit 124. 3) control.
  • FIG. 13 it is shown that the air flow of the air conditioner (control target device 20-3) is intensified and a strong wind is emitted from the air conditioner (control target device 20-3).
  • the command reception screen 30-3B is switched to a state in which nothing is displayed.
  • the command recognition unit 123 refers to the information associated in advance, as in the case described with reference to FIG. Recognize mode switching to
  • the second command acquisition unit 125 acquires the command “mode switching to the humidification mode”
  • the execution control unit 127 acquires the command “mode switching to the humidification mode” by the second command acquisition unit 125. Therefore, the control target device (air conditioner) 20-3 is controlled such that the command “mode switching to the humidification mode” is executed. Referring to FIG. 14, the mode of the control target device (air conditioner) 20-3 is switched to the humidification mode.
  • FIGS. 15 to 17 are diagrams for explaining an example of the operation of controlling the control target device (coffee maker) 20-4.
  • the user 80 wants to use the control target device (coffee maker) 20-4, as shown in FIG. 15, the user 80 utters "coffee maker".
  • the display control unit 128 controls the command “coffee list display” as in the case described with reference to FIGS. 4 and 5.
  • a list of coffee is displayed as a command reception screen 30-4.
  • the command reception screen 30-4 When the command reception screen 30-4 is displayed, input by pressing a button becomes possible.
  • the user 80 places the cup Cu on the device to be controlled (coffee maker) 20-4 and presses the cappuccino on the command reception screen 30-4.
  • the command recognition unit 123 detects a cappuccino button as a button in which the index finger of the user 80 overlaps, and recognizes a command “insert cappuccino” corresponding to the cappuccino button. Then, the first command acquisition unit 124 acquires the command “put cappuccino”.
  • the execution control unit 127 controls the control target device (coffee maker) 20-4 to insert cappuccino in the cup Cu. Referring to FIG. 16, it is shown that a cup Cu is placed in a device to be controlled (coffee maker) 20-4 and a cappuccino is placed in the cup Cu.
  • the command recognition unit 123 refers to the information associated in advance, as in the case described with reference to FIG. 8, and the command “cappuccino” is generated from the speech recognition processing result “cappuccino”. Recognize "put in”.
  • the second command acquisition unit 125 acquires the command “insert cappuccino”, and the execution control unit 127 acquires the command “insert cappuccino” by the second command acquisition unit 125, so the command “cappuccino” is acquired.
  • the control target equipment (coffee maker) 20-4 is controlled so that "put in” is executed. Referring to FIG. 17, it is shown that a cup Cu is placed on a control target device (coffee maker) 20-4 and a cappuccino is placed in the cup Cu.
  • FIG. 18 to FIG. 23 are diagrams for explaining an example of the operation of controlling the display of the weather forecast.
  • the user 80 wants to view the weather forecast, as shown in FIG. 18, the user 80 utters "weather forecast".
  • the display control unit 128 controls the command “display of the weather forecast of the current location” as in the case described with reference to FIGS. 4 and 5.
  • the weather forecast of the current location is displayed as a command reception screen 30-5A.
  • the weather forecast of the current location may be acquired from a server (not shown) via the external network 30.
  • the weather forecast may be displayed on the screen of the control target device (TV) 20-1.
  • the information processing apparatus 10 may autonomously change the direction toward the control target device (TV) 20-1. Then, it becomes easier for the user 80 to easily sense that the weather forecast is displayed on the control target device (TV) 20-1.
  • the execution control unit 127 causes the control target device (server not shown) to execute the command “display of the weekly weather at the current location”, as in the case described with reference to FIG. Control).
  • the weekly weather in Tokyo acquired from the control target device (server not shown) is displayed as a command reception screen 30-5B.
  • the execution control unit 127 controls the device to be controlled (a server (not shown) so that the command “display of weekly weather in Osaka” is executed) as in the case described with reference to FIG. Control).
  • the weekly weather in Osaka acquired from the control target device is displayed as a command reception screen 30-5B.
  • the execution control unit 127 controls the device to be controlled (server not shown) so that the command “display mesh weather” is executed, as in the case described with reference to FIG. Control.
  • the mesh weather acquired from the control target device is displayed as a command reception screen 30-5C.
  • the execution control unit 127 controls the control target device (server not shown) so that the command "display of change in weather of Kumamoto" is executed. Referring to FIG. 23, it is shown that the weather change of Kumamoto acquired from the control target device (server not shown) is displayed as a command reception screen 30-5D.
  • FIGS. 24 to 26 are diagrams for explaining an example of an operation of controlling display of a photograph of Kinkakuji.
  • the user 80 wants to browse a photograph of Kinkakuji, as shown in FIG. 24, the user 80 utters "Photograph of Kinkakuji".
  • the display control unit 128 controls the command “display of a photograph of Kinkakuji” in the same manner as described with reference to FIGS. 4 and 5.
  • thumbnail images of photographs of Kinkakuji are displayed as a command reception screen 30-6A.
  • a photograph of Kinkakuji may be acquired from a server (not shown) via the external network 30.
  • the pointer in the screen on the lower left is scrolled by a predetermined gesture (for example, an operation to move the index finger).
  • a predetermined determination operation such as an operation of pressing the palm of the hand toward the screen as shown in FIG. 25
  • the execution control unit 127 controls the control target device (server not shown) so that the command “display of enlarged image” is executed.
  • FIG. 26 an enlarged image acquired from the control target device (server not shown) is displayed as the command reception screen 30-6A.
  • FIGS. 27 to 29 are diagrams for explaining an example of an operation of controlling display of a schedule.
  • the user 80 wants to browse the schedule, as shown in FIG. 27, the user 80 utters "schedule".
  • the display control unit 128 controls the command “display schedule” in the same manner as described with reference to FIGS. 4 and 5.
  • a schedule is displayed as a command reception screen 30-7A.
  • the schedule may be stored in advance in the first storage unit 130.
  • the execution control unit 127 causes the first storage unit to execute the command "display the schedule on the 25th of this month", as in the case described with reference to FIG. Control 130
  • a state is shown in which the 25th month schedule acquired from the first storage unit 130 is displayed as a command reception screen 30-7B.
  • the user 80 may perform a predetermined gesture (for example, an operation of moving the hand in the open state).
  • a predetermined gesture for example, an operation of moving the hand in the open state.
  • the command recognition unit 123 recognizes a command for switching the display to the top page of the page group to which the currently displayed page belongs, and the first command acquisition unit 124 acquires such a command.
  • the execution control unit 127 controls the first storage unit 130 such that the command “transition to the top page” is executed. Referring to FIG. 29, it is shown that the top page of the schedule is displayed as a command reception screen 30-7A.
  • 30A and 30B are flowcharts showing the flow of the operation of the information processing apparatus 10 according to the present embodiment.
  • the image analysis unit 121 detects the position of the user 80 based on the image captured by the imaging unit 112 (S11).
  • the display control unit 128 moves the display position by the display unit 161 based on the position of the user (S12).
  • the display control unit 128 causes the display unit 161 to display a command reception screen based on the user's utterance (S13).
  • the command recognition unit 123 refers to the analysis result by the image analysis unit 121, and shifts the operation to S23 when the hand of the user 80 is not captured (“No” in S14).
  • the command recognition unit 123 refers to the analysis result by the image analysis unit 121, and shifts the operation to S15 when the hand of the user 80 is captured ("Yes” in S14).
  • the command recognition unit 123 shifts the operation to S23.
  • the command recognition unit 123 shifts the operation to S16.
  • the command recognition unit 123 refers to the distance to the user 80 detected by the distance detection unit 113, and when the hand of the user 80 is not moved in the back direction (“No” in S16), The operation is shifted to S19. On the other hand, when the hand of the user 80 moves in the back direction with reference to the distance to the user 80 detected by the distance detection unit 113 (“Yes” in S16), the command recognition unit 123 operates in S17. Migrate
  • the command recognition unit 123 proceeds to S19. Transition the operation.
  • the execution control unit 127 The control target device 20 is controlled so that the instructed command is executed (S18).
  • the voice recognition unit 122 causes the operation to shift to S14 when there is no speech by the user 80 ("No” in S19), but when there is a speech by the user 80 ("Yes” in S19)
  • the voice recognition process (this, deletion, recording, reproduction, etc.) is performed on the sound information collected by the sound collection unit 151 (S20), and the operation is shifted to S21.
  • the execution control unit 127 causes the command instructed by the hand and the voice to be executed.
  • the control target device 20 is controlled (S22).
  • the execution control unit 127 shifts the operation to S23.
  • the voice recognition unit 122 causes the operation to shift to S14 when there is no speech by the user 80 ("No” in S23), but when there is a speech by the user 80 ("Yes” in S23) ), Perform voice recognition processing (cancel, power on, proceed to the next page, etc.) on the sound information collected by the sound collection unit 151 (S24), and a command instructed by voice is executed
  • the control target device 20 is controlled (S25).
  • FIG. 31 is a block diagram showing an example of the hardware configuration of the information processing apparatus 10 according to an embodiment of the present disclosure.
  • the information processing apparatus 10 includes a central processing unit (CPU) 901, a read only memory (ROM) 903, and a random access memory (RAM) 905.
  • the information processing apparatus 10 may also include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing device 10 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 10 may have a processing circuit called a digital signal processor (DSP) or an application specific integrated circuit (ASIC) instead of or in addition to the CPU 901.
  • DSP digital signal processor
  • ASIC application specific integrated circuit
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the entire operation or a part of the information processing apparatus 10 according to various programs recorded in the ROM 903, the RAM 905, the storage unit 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like.
  • the CPU 901, the ROM 903 and the RAM 905 are mutually connected by a host bus 907 configured by an internal bus such as a CPU bus. Furthermore, the host bus 907 is connected to an external bus 911 such as a peripheral component interconnect / interface (PCI) bus via the bridge 909.
  • PCI peripheral component interconnect / interface
  • the input device 915 is, for example, a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may include a microphone that detects the user's voice.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone corresponding to the operation of the information processing apparatus 10.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the generated signal to the CPU 901.
  • the user operates the input device 915 to input various data to the information processing apparatus 10 and instruct processing operations.
  • an imaging device 933 described later can also function as an input device by imaging the movement of the user's hand, the finger of the user, and the like. At this time, the pointing position may be determined according to the movement of the hand or the direction of the finger.
  • the output device 917 is configured of a device capable of visually or aurally notifying the user of the acquired information.
  • the output device 917 is, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, a display such as a projector, a display of a hologram, an audio output such as a speaker and a headphone, And a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 10 as a video such as text or an image, or outputs it as an audio such as audio or sound.
  • the output device 917 may include a light or the like to brighten the surroundings.
  • the storage device 919 is a device for data storage configured as an example of a storage unit of the information processing device 10.
  • the storage device 919 is configured of, for example, a magnetic storage unit device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 10.
  • the drive 921 reads out the information recorded in the mounted removable recording medium 927 and outputs it to the RAM 905.
  • the drive 921 also writes a record on the attached removable recording medium 927.
  • connection port 923 is a port for directly connecting a device to the information processing apparatus 10.
  • the connection port 923 may be, for example, a Universal Serial Bus (USB) port, an IEEE 1394 port, a Small Computer System Interface (SCSI) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, a high-definition multimedia interface (HDMI (registered trademark)) port, or the like.
  • HDMI registered trademark
  • the communication device 925 is, for example, a communication interface configured of a communication device or the like for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for a wired or wireless Local Area Network (LAN), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for Asymmetric Digital Subscriber Line (ADSL), or a modem for various types of communication.
  • the communication device 925 transmits and receives signals and the like to and from the Internet or another communication device using a predetermined protocol such as TCP / IP.
  • a communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging device such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and a lens for controlling the formation of an object image on the imaging device. It is an apparatus which images real space and generates a captured image.
  • the imaging device 933 may capture a still image, or may capture a moving image.
  • the sensor 935 is, for example, various sensors such as a distance measuring sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 acquires information on the environment of the information processing apparatus 10, such as information on the state of the information processing apparatus 10 itself, such as the attitude of the housing of the information processing apparatus 10, and brightness and noise around the information processing apparatus 10, for example. Do.
  • the sensor 935 may also include a GPS sensor that receives a Global Positioning System (GPS) signal and measures the latitude, longitude and altitude of the device.
  • GPS Global Positioning System
  • the first command acquisition unit that acquires the first command according to the position of the operation tool, and the speech recognition process acquired by the speech recognition process on the sound information
  • a second command acquisition unit for acquiring a second command according to a result, and, when the first command is acquired, controlling execution of the first command by the first control target device
  • An information processing apparatus comprising: an execution control unit that controls execution of a second control target device by the second control target device when the second command is acquired. According to such a configuration, it is possible to provide a technology capable of improving the flexibility of input for executing a command.
  • the first display portion 161-1 performs display at a relatively high position (for example, a wall, a television device, etc.), whereas the second display portion 161-2 has a relatively low position (for example, For example, the example which displays on a user's hand etc. was demonstrated.
  • the display position by each of the first display portion 161-1 and the second display portion 161-2 is not particularly limited.
  • at least one of the first display unit 161-1 and the second display unit 161-2 is a dashboard of the vehicle, a ceiling surface of the vehicle, It is also possible to display on a monitor of a vehicle or the like.
  • the display position may be prioritized.
  • the second display unit 161-2 directly uses the area according to the position of the hand of the user 80 as the display position
  • the first display unit 161-1 may perform display on a wall surface or the like instead of the area corresponding to the position of the hand of the user 80.
  • At least one of the first display unit 161-1 and the second display unit 161-2 changes the display color in accordance with the color of the display position in order to improve the visibility by the user 80. It is also good.
  • the position of each configuration is not particularly limited as long as the above-described operation of the information processing apparatus 10 is realized.
  • the image analysis unit 121, the voice recognition unit 122, the command recognition unit 123, and the like may be provided in a server (not shown) connected via the external network 30.
  • the control unit 120 may correspond to a client connected to the server via the external network 30.
  • the image analysis unit 121, the speech recognition unit 122, the command recognition unit 123, and the like may be provided in different servers.
  • a first command acquisition unit that acquires a first command according to the position of the operating tool
  • a second command acquisition unit for acquiring a second command according to the result of speech recognition processing obtained by speech recognition processing for sound information
  • An execution control unit that controls execution by the target device
  • An information processing apparatus comprising: (2) The first command acquisition unit acquires the first command according to the display object when the position of the display object satisfying the predetermined relationship with the position of the operation tool is detected.
  • the information processing apparatus is A display control unit configured to control display of the display object; The information processing apparatus according to (2). (4) The display control unit controls display of the display object in an area according to the position of the user. The information processing apparatus according to (3). (5) The display control unit makes the display position of the display object different according to the type of the display object. The information processing apparatus according to (3) or (4). (6) When the position of the display object satisfying the predetermined relationship is detected between the first command acquisition unit and the position of the operating tool, and when a predetermined command determination operation is detected, the display is performed. Get the first command according to the object, The information processing apparatus according to any one of (2) to (5). (7) The predetermined command determination operation includes moving the operating body away from the predetermined position. The information processing apparatus according to (6).
  • the predetermined command determination operation includes moving the operating body away from the predetermined position in a direction away from the predetermined position at a speed exceeding a predetermined speed.
  • the predetermined command determination operation includes moving the operating body in a direction away from the predetermined position by a distance exceeding a predetermined distance at a speed exceeding the predetermined speed.
  • the second command acquisition unit acquires the second command according to the result of the speech recognition process when the position of the display object satisfying the predetermined relationship with the position of the operation tool is not detected.
  • the information processing apparatus is When the position of the display object satisfying the predetermined relationship with the position of the operating body is detected, and the predetermined command determination operation is not detected, and the voice recognition processing result indicates the display object And a third command acquisition unit for acquiring a third command according to the display object and the result of the speech recognition process when it is detected that The information processing apparatus according to any one of (2) to (5). (12) The execution control unit controls, when the third command is acquired, execution of the third command by a third control target device. The information processing apparatus according to (11). (13) The information processing apparatus is An image analysis unit that obtains the position of the operation body by image analysis on an image captured by an imaging unit; The information processing apparatus according to any one of the above (1) to (12).
  • the information processing apparatus is And a command recognition unit that recognizes the first command based on the position of the operating body and recognizes the second command based on the result of the speech recognition process.
  • the information processing apparatus according to any one of the above (1) to (13).
  • the information processing apparatus is A voice recognition unit for obtaining the voice recognition processing result by voice recognition processing on the sound information;
  • the information processing apparatus according to any one of (1) to (14).
  • the operating body includes the user's hand, The information processing apparatus according to any one of (1) to (15).
  • the first command acquisition unit is configured to switch the display to a top page of a page group to which the currently displayed page belongs when the user's hand is moved in a state in which the user's hand is opened.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供されることが望まれる。 【解決手段】操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、２種類の入力を用いて所望の動作を実行する情報処理装置が存在する（例えば、特許文献１参照）。かかる情報処理装置においては、２種類の入力として、音情報の入力と操作体の位置の入力とが用いられる。そして、かかる情報処理装置においては、音情報から音声が認識され、画像から操作体の位置が認識され、音声と操作体の位置との組み合わせにより、制御対象機器に所望の動作を実行させるためのコマンドが生成される。
特開２０１２－１０３８４０号公報
　しかし、音情報の入力によって実行されるのが適しているコマンドもあれば、操作体の位置の入力によって実行されるのが適しているコマンドもある。そこで、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供されることが望まれる。
　本開示によれば、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える、情報処理装置が提供される。
　本開示によれば、コンピュータにより操作体の位置に応じた第１のコマンドを取得することと、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得することと、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御することと、を含む、情報処理方法が提供される。
　本開示によれば、コンピュータを、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える情報処理装置として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る通信システムの構成例を示す図である。 同実施形態に係る通信システムの機能構成例を示すブロック図である。 制御部の詳細な機能構成例を示すブロック図である。 テレビジョン装置の電源を入れる動作の例を説明するための図である。 テレビジョン装置の電源を入れる動作の例を説明するための図である。 レコーダに記録されている番組を再生する動作の例を説明するための図である。 レコーダに記録されている番組を再生する動作の例を説明するための図である。 レコーダに記録されている番組を再生する動作の例を説明するための図である。 レコーダに記録されている番組を再生する動作の例を説明するための図である。 レコーダに記録されている番組を再生する動作の例を説明するための図である。 空調機を制御する動作の例を説明するための図である。 空調機を制御する動作の例を説明するための図である。 空調機を制御する動作の例を説明するための図である。 空調機を制御する動作の例を説明するための図である。 制御対象機器を制御する動作の例を説明するための図である。 制御対象機器を制御する動作の例を説明するための図である。 制御対象機器を制御する動作の例を説明するための図である。 天気予報の表示を制御する動作の例を説明するための図である。 天気予報の表示を制御する動作の例を説明するための図である。 天気予報の表示を制御する動作の例を説明するための図である。 天気予報の表示を制御する動作の例を説明するための図である。 天気予報の表示を制御する動作の例を説明するための図である。 天気予報の表示を制御する動作の例を説明するための図である。 金閣寺の写真の表示を制御する動作の例を説明するための図である。 金閣寺の写真の表示を制御する動作の例を説明するための図である。 金閣寺の写真の表示を制御する動作の例を説明するための図である。 予定表の表示を制御する動作の例を説明するための図である。 予定表の表示を制御する動作の例を説明するための図である。 予定表の表示を制御する動作の例を説明するための図である。 情報処理装置の動作の流れを示すフローチャートである。 情報処理装置の動作の流れを示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施形態
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．通信システムの機能詳細
　　１．４．ハードウェア構成例
　２．むすび
　＜１．本開示の実施形態＞
　［１．１．システム構成例］
　まず、図面を参照しながら本開示の一実施形態に係る通信システムの構成例について説明する。図１は、本開示の一実施形態に係る通信システムの構成例を示す図である。図１に示したように、本実施形態に係る通信システムは、情報処理装置１０および制御対象機器２０（制御対象機器２０－１～２０－４）を備える。情報処理装置１０は、音出力部１１１、集音部１５１、撮像部１１２、距離検出部１１３、表示部１６１（第１の表示部１６１－１および第２の表示部１６１－２）を有している。
　情報処理装置１０と制御対象機器２０とは、通信ネットワークを介して通信を行うことが可能である。また、情報処理装置１０において、音出力部１１１、集音部１５１、撮像部１１２、距離検出部１１３、表示部１６１（第１の表示部１６１－１および第２の表示部１６１－２）は、情報処理装置１０における同一の面上に設けられているが、これらが設けられる位置は限定されない（例えば、これらは情報処理装置１０における異なる面上に設けられていてもよい）。
　なお、図１には、制御対象機器２０の例として、制御対象機器（テレビジョン装置）２０－１、制御対象機器（レコーダ）２０－２、制御対象機器（空調機）２０－３および制御対象機器（コーヒーメーカ）２０－４が示されているが、制御対象機器２０の種類および数は限定されない。例えば、制御対象機器２０は、外部からコマンドを受け付けて、そのコマンドを実行することが可能な機器であればよい。
　また、図１には、表示部１６１の例として、２つのプロジェクタが示されているが、表示部１６１の種類および数も限定されない。例えば、表示部１６１は、ユーザ８０に視認可能な表示を行うことが可能なディスプレイであればよい。また、本実施形態においては、第１の表示部１６１－１が比較的高い位置（例えば、壁、テレビジョン装置など）に表示を行うのに対し、第２の表示部１６１－２が比較的低い位置（例えば、ユーザの手元など）に表示を行う例を説明するが、表示部１６１が表示を行う位置も限定されない。
　また、以下の説明において、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）と音（ｓｏｕｎｄ）とは区別して用いられる。すなわち、音声（ｖｏｉｃｅまたはｓｐｅｅｃｈ）は、集音部１５１によって集音された音のうち、主にユーザ８０の発話を示すのに対し、音（ｓｏｕｎｄ）は、ユーザ８０の発話の他、物音などを含む。
　以上、本実施形態に係る通信システムの構成例について説明した。
　［１．２．機能構成例］
　続いて、本実施形態に係る通信システムの機能構成例について説明する。図２は、本実施形態に係る通信システムの機能構成例を示すブロック図である。図２に示したように、通信システムは、情報処理装置１０、制御対象機器２０、外部ネットワーク３０および第３の記憶部３３０を備える。
　外部ネットワーク３０は、例えば、インターネットにより構成される。第３の記憶部３３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。制御対象機器２０は、上記したように、空調機、テレビジョン装置、レコーダおよびコーヒーメーカであってもよい。また、図２に示すように、制御対象機器２０は、第２の記憶部２３０を備えていてよい。第２の記憶部２３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。
　情報処理装置１０は、上記した音出力部１１１、集音部１５１、撮像部１１２、距離検出部１１３、表示部１６１（第１の表示部１６１－１および第２の表示部１６１－２）の他、通信部１４０、制御部１２０および第１の記憶部１３０を備える。
　音出力部１１１は、音を出力する機能を有する。例えば、音出力部１１１は、スピーカを含んでおり、スピーカによって音を出力する。音出力部１１１に含まれるスピーカの数は１以上であれば特に限定されない。そして、音出力部１１１に含まれる１以上のスピーカそれぞれが設けられる位置も特に限定されない。なお、音出力部１１１は、音情報を出力する機能を有すれば、スピーカ以外の形態の音出力装置を含んでもよい。
　集音部１５１は、集音によって音情報を得る機能を有する。例えば、集音部１５１は、マイクロフォンを含んでおり、マイクロフォンによって音情報を集音する。集音部１５１に含まれるマイクロフォンの数は１以上であれば特に限定されない。そして、集音部１５１に含まれる１以上のマイクロフォンそれぞれが設けられる位置も特に限定されない。なお、集音部１５１は、音情報を集音する機能を有すれば、マイクロフォン以外の形態の集音装置を含んでもよい。
　撮像部１１２は、撮像により画像を入力する機能を有する。例えば、撮像部１１２はカメラを含んでおり、カメラによって撮像された画像を入力する。撮像部１１２に含まれるカメラの数は１以上であれば特に限定されない。そして、撮像部１１２に含まれる１以上のカメラそれぞれが設けられる位置も特に限定されない。また、１以上のカメラには、単眼カメラが含まれてもよいし、ステレオカメラが含まれてもよい。
　距離検出部１１３は、ユーザ８０までの距離を検出する機能を有する。例えば、距離検出部１１３は測距センサを含んでおり、測距センサによって検出されたユーザ８０までの距離を取得する。測距センサが設けられる位置は特に限定されない。また、測距センサの種類は特に限定されない。例えば、距離センサは、赤外線距離センサであってもよいし、超音波距離センサであってもよい。
　通信部１４０は、外部ネットワーク３０を介して第３の記憶部３３０からのデータの取得および第３の記憶部３３０へのデータの書き込みを行う機能を有する。例えば、通信部１４０は、通信インターフェースにより構成される。なお、通信部１４０は、第３の記憶部３３０の他に、第３の記憶部３３０とは異なる装置との間で外部ネットワーク３０を介して通信が可能であってもよい。
　第１の記憶部１３０は、制御部１２０によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする。また、第１の記憶部１３０は、制御部１２０による演算のためにデータを一時的に記憶する。第１の記憶部１３０は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。
　表示部１６１（第１の表示部１６１－１および第２の表示部１６１－２）は、画面を表示する機能を有する。例えば、表示部１６１（第１の表示部１６１－１および第２の表示部１６１－２）は、図１に示したようにプロジェクタであってもよいし、液晶ディスプレイであってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。しかし、表示部１６１（第１の表示部１６１－１および第２の表示部１６１－２）は、画面を表示する機能を有すれば、他の形態のディスプレイであってもよい。
　制御部１２０は、情報処理装置１０の各部の制御を実行する。図３に示したように、制御部１２０は、画像解析部１２１、音声認識部１２２、コマンド認識部１２３、第１のコマンド取得部１２４、第２のコマンド取得部１２５、第３のコマンド取得部１２６、実行制御部１２７および表示制御部１２８を備える。これらの各機能ブロックについての詳細は、後に説明する。なお、制御部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理装置）などで構成されていてよい。制御部１２０がＣＰＵなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。
　以上、本実施形態に係る通信システムの機能構成例について説明した。
　［１．３．通信システムの機能詳細］
　続いて、通信システムの機能詳細について説明する。ここで、制御対象機器２０によって実行されるコマンドとして、音情報の入力によって実行されるのが適しているコマンドもあれば、操作体（以下、「ユーザ８０の手」として主に説明する。）の位置の入力によって実行されるのが適しているコマンドもある。
　具体的に、テレビジョン装置の音量を上げるためのコマンド、空調機の電源を入れるためのコマンドなどの単純なコマンド（ユーザ８０による選択自由度がより低いコマンド）は、ユーザ８０の手の位置の入力によって実行されるのが適している。単純なコマンドがユーザ８０の手の位置の入力によって実行される場合には、各コマンドに対応する表示オブジェクト（以下、「ボタン」とも言う。）の数が少なくて済むからというのが一つの原因として挙げられる。
　一方、検索キーワードの入力、番組名の入力などの複雑なコマンド（ユーザ８０による選択自由度がより高いコマンド）は、音情報の入力によって実行されるのが適している。複雑なコマンドがユーザ８０の手の位置の入力によって実行される場合には、各コマンドに対応するボタンの数が多くなってしまうというのが一つの原因として挙げられる。
　そこで、本実施形態においては、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術を主に提案する。
　具体的には、画像解析部１２１は、撮像部１１２によって撮像された画像に対する画像解析によってユーザ８０の手の位置を得る。また、音声認識部１２２は、音情報に対する音声認識処理により音声認識処理結果を得る。そして、コマンド認識部１２３は、ユーザ８０の手の位置に基づいてコマンド（第１のコマンド）を認識するとともに、音声認識処理結果に基づいてコマンド（第２のコマンド）を認識する。第１のコマンド取得部１２４は、第１のコマンドを取得し、第２のコマンド取得部１２５は、第２のコマンドを取得する。
　実行制御部１２７は、第１のコマンド取得部１２４によって第１のコマンドが取得された場合、第１のコマンドの制御対象機器２０による実行を制御する。一方、実行制御部１２７は、第２のコマンド取得部１２５によって第２のコマンドが取得された場合、第２のコマンドの制御対象機器２０による実行を制御する。かかる構成により、コマンドを実行させるための入力の柔軟性を向上させることが可能となる。
　以下、具体例を参照する。図４および図５は、テレビジョン装置（制御対象機器２０－１）の電源を入れる動作の例を説明するための図である。まず、ユーザ８０はテレビジョン装置（制御対象機器２０－１）を観たいと考えた場合、図４に示すように、「ＴＶのコントローラ」と発話する。ユーザ８０がこのように発話すると、情報処理装置１０の集音部１５１は、ユーザ８０の発話を含む音情報を集音し、音声認識部１２２は、音情報に対する音声認識処理により音声認識処理結果「ＴＶのコントローラ」を得る。ここで、音声とコマンドとはあらかじめ関連付けられた情報として登録されている。そのため、コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「ＴＶのコントローラ」からコマンド「ＴＶのコントローラの表示」を認識する。
　そして、第２のコマンド取得部１２５は、コマンド「ＴＶのコントローラの表示」を取得し、表示制御部１２８は、第２のコマンド取得部１２５によってコマンド「ＴＶのコントローラの表示」が取得されたため、コマンド「ＴＶのコントローラの表示」を制御する。図４には、ＴＶのコントローラが、コマンド受付画面３０－１として表示されている。コマンド受付画面３０－１には、各コマンドに対応するボタンが含まれている。
　このとき、図４に示したように、表示制御部１２８は、ユーザ８０の位置に応じた領域へのコマンド受付画面３０－１の表示を制御するのがよい。そうすれば、ユーザ８０は、実行させたいと考えるコマンドに対応するボタンを押下しやすくなる。ユーザ８０の位置に応じた領域は特に限定されないが、ユーザ８０の手の届く範囲内であればよい。
　あるいは、ＴＶにコマンドを実行させる場合には、ユーザ８０がＴＶからあまり目を離したくないと考えている場合もあり得る。したがって、表示制御部１２８は、制御対象機器２０－１の位置に応じた領域（例えば、制御対象機器２０－１から所定の範囲内）へのコマンド受付画面３０－１の表示を制御してもよい。そうすれば、ＴＶからあまり目を離さなくて済むようになる。
　このように、表示制御部１２８は、コマンド受付画面３０－１の種類に応じて、コマンド受付画面３０－１の表示位置を異ならせることも可能である。しかし、コマンド受付画面３０－１がユーザ８０の手の届く範囲外にコマンド受付画面３０－１が表示されてしまう場合には、コマンド受付画面３０－１に対してジェスチャにより行う必要が生じる。
　なお、コマンド受付画面３０－１は、あらかじめ第１の記憶部１３０に記憶されていてもよいが、制御対象機器（ＴＶ）２０－１の第２の記憶部２３０から情報処理装置１０にダウンロードされてもよいし、外部ネットワーク３０を介して外部サーバ（第３の記憶部３３０）から情報処理装置１０にダウンロードされてもよい。
　コマンド受付画面３０－１が表示されると、ボタン押下による入力が可能となる。続いて、図５に示すように、ユーザ８０がコマンド受付画面３０－１における電源ボタンを押下する。コマンド認識部１２３は、ユーザ８０の手の位置に基づいてコマンドを認識する。例えば、コマンド認識部１２３は、ユーザ８０の手の位置との間で所定の関係を満たすボタンの位置が検出された場合、そのボタンに対応するコマンドを認識する。
　本実施形態では、一例として、コマンド認識部１２３が、ユーザ８０の手が重なったボタンが検出された場合、そのボタンに対応するコマンドを認識する場合を主に説明する。ここでは、ユーザ８０の人差し指が重なったボタンとして電源ボタンが検出され、電源ボタンに対応するコマンド「電源ＯＮ」が認識される。そして、第１のコマンド取得部１２４は、コマンド「電源ＯＮ」を取得する。また、図５に示すように、実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「電源ＯＮ」が取得されると、制御対象機器（ＴＶ）２０－１の電源が投入されるように制御対象機器（ＴＶ）２０－１を制御する。
　なお、ここでは、ユーザ８０の手が重なったボタンが検出されることのみを契機に、そのボタンに対応するコマンドが認識される例を示した。しかし、コマンド認識部１２３は、ユーザ８０の手が重なったボタンが検出された場合、所定のコマンド決定操作が検出された場合、そのボタンに対応するコマンドを認識してもよい。ここで、コマンド決定操作は限定されないが、ユーザ８０の手が所定の位置（距離検出部１１３の位置）から見て遠ざかる方向に移動することを含んでもよい。ユーザ８０の手の移動は、距離検出部１１３によって検出されればよい。
　あるいは、コマンド決定操作は、ユーザ８０の手が所定の位置（距離検出部１１３の位置）から見て遠ざかる方向に所定の速さを超えた速さで移動することを含んでもよい。あるいは、コマンド決定操作は、ユーザ８０が所定の位置（距離検出部１１３の位置）から見て遠ざかる方向に所定の距離を超えた距離だけ所定の速さを超えた速さで移動することを含んでもよい。
　図６～図１０は、レコーダ（制御対象機器２０－２）に記録されている番組を再生する動作の例を説明するための図である。まず、ユーザ８０はレコーダ（制御対象機器２０－２）に記録されている番組リストを観たいと考えた場合、図６に示すように、「レコーダのコントローラ」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「レコーダのコントローラの表示」を制御する。図６には、レコーダのコントローラが、コマンド受付画面３０－２として表示されている。
　コマンド受付画面３０－２が表示されると、ボタン押下による入力が可能となる。図７に示すように、ユーザ８０がコマンド受付画面３０－２における番組リスト表示ボタンを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとして番組リスト表示ボタンを検出し、番組リスト表示ボタンに対応するコマンド「番組リスト表示」を認識する。そして、第１のコマンド取得部１２４は、コマンド「番組リスト表示」を取得する。
　実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「番組リスト表示」が取得されると、制御対象機器（レコーダ）２０－２に記録されている番組リストが制御対象機器（ＴＶ）２０－１に表示されるように制御対象機器（レコーダ）２０－２を制御する。図７を参照すると、番組リストが制御対象機器（ＴＶ）２０－１に表示されている。
　ここで、ユーザ８０が番組Ｐ１の詳細を観たいと考えた場合、図８に示すように、「番組Ｐ１」と発話する。ユーザ８０がこのように発話すると、情報処理装置１０の集音部１５１は、ユーザ８０の発話を含む音情報を集音し、音声認識部１２２は、音情報に対する音声認識処理により音声認識処理結果「番組Ｐ１」を得る。コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「番組Ｐ１」からコマンド「番組Ｐ１の詳細表示」を認識する。
　そして、第２のコマンド取得部１２５は、コマンド「番組Ｐ１の詳細表示」を取得し、実行制御部１２７は、第２のコマンド取得部１２５によってコマンド「番組Ｐ１の詳細表示」が取得されたため、コマンド「番組Ｐ１の詳細表示」が実行されるように制御対象機器（レコーダ）２０－２を制御する。図８を参照すると、制御対象機器（レコーダ）２０－２による制御に従って、制御対象機器（ＴＶ）２０－１に番組Ｐ１の詳細が表示されている。
　コマンド認識部１２３によるコマンド認識の優先度は特に限定されない。すなわち、ユーザ８０の手と重なるボタンに対応するコマンドの認識と、音情報から音声認識処理された音声認識処理結果に対応するコマンドの認識とは、どちらが先行されてもよい。例えば、コマンド認識部１２３は、ユーザ８０の手と重なるボタンが検出されない場合、音声認識処理結果に対応するコマンドを認識してもよい。第２のコマンド取得部１２５は、かかるコマンドを取得する。
　この後、表示された番組リストＰ１のページを切り替えたいとユーザ８０が考えたとする。そのとき、所定のジェスチャによってページ切り替えが可能であってよい。具体的には、図９に示すように、コマンド認識部１２３は、ユーザ８０の手のうち人差し指と小指とが開かれ、かつ、親指と中指と薬指とが閉じられた状態においてユーザ８０の手が移動された場合に、現在表示されているページの次のページに表示を切り替えるためのコマンドを認識してもよい。図９に示された例では、このようなコマンドが認識され、第１のコマンド取得部１２４によって取得され、実行制御部１２７によって次ページへの切り替えが実行制御されている。
　そして、ユーザ８０は、番組リストＰ１から再生対象の番組を決定するために、所定のジェスチャ（例えば、人差し指を移動させる操作など）によって画面内のポインタを再生対象の番組まで移動させてから、所定の音声（図１０に示すように、「決定」など）を発すればよい。コマンド認識部１２３は、所定の音声が発せられると、ポインタが示す番組「コンテンツＣ５」と、音声「決定」とに対応するコマンド「コンテンツＣ５の再生」を認識し、実行制御部１２７は「コンテンツＣ５の再生」の実行を制御する。
　なお、コマンド認識部１２３によるコマンド認識の優先度は特に限定されない。しかし、例えば、コマンド認識部１２３は、ポインタと重なる番組が検出された場合、かつ、コマンド決定操作が検出されない場合、かつ、音声認識処理結果が番組に対応することが検出された場合、番組および音声認識処理結果に応じたコマンドを認識してもよい。第３のコマンド取得部１２６は、かかるコマンドを取得し、実行制御部１２７は、かかるコマンドの制御対象機器２０による実行を制御する。
　図１１～図１４は、空調機（制御対象機器２０－３）を制御する動作の例を説明するための図である。まず、ユーザ８０は空調機（制御対象機器２０－３）を制御したいと考えた場合、図１１に示すように、「空調機のコントローラ」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「空調機のコントローラの表示」を制御する。図１１には、空調機のコントローラが、コマンド受付画面３０－３Ａとして表示されている。
　コマンド受付画面３０－３Ａが表示されると、ボタン押下による入力が可能となる。図１２に示すように、ユーザ８０がコマンド受付画面３０－３Ａにおける電源ボタンを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとして電源ボタンを検出し、電源ボタンに対応するコマンド「電源ＯＮ」を認識する。そして、第１のコマンド取得部１２４は、コマンド「電源ＯＮ」を取得する。
　実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「電源ＯＮ」が取得されると、空調機（制御対象機器２０－３）の電源が投入されるように空調機（制御対象機器２０－３）を制御する。図１２を参照すると、空調機（制御対象機器２０－３）の電源が投入されて、空調機（制御対象機器２０－３）から風が出てきている様子が示されている。表示内容は、図１３に示すように、コマンド受付画面３０－３Ａからコマンド受付画面３０－３Ｂに切り替えられる。
　コマンド受付画面３０－３Ｂにおいて、ボタン押下による入力が引き続き可能である。図１３に示すように、ユーザ８０がコマンド受付画面３０－３Ｂにおける気流強ボタンを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとして気流強ボタンを検出し、気流強ボタンに対応するコマンド「気流強」を認識する。そして、第１のコマンド取得部１２４は、コマンド「気流強」を取得する。
　実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「気流強」が取得されると、空調機（制御対象機器２０－３）の気流が強くなるように空調機（制御対象機器２０－３）を制御する。図１３を参照すると、空調機（制御対象機器２０－３）の気流が強くされて、空調機（制御対象機器２０－３）から強い風が出てきている様子が示されている。図１４に示すように、コマンド受付画面３０－３Ｂが表示されていた状態から、特に何も表示されない状態に切り替えられる。
　ここで、ユーザ８０が加湿モードにモードを切り替えたいと考えた場合、図１４に示すように、「加湿」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「加湿」からコマンド「加湿モードへのモード切り替え」を認識する。
　そして、第２のコマンド取得部１２５は、コマンド「加湿モードへのモード切り替え」を取得し、実行制御部１２７は、第２のコマンド取得部１２５によってコマンド「加湿モードへのモード切り替え」が取得されたため、コマンド「加湿モードへのモード切り替え」が実行されるように制御対象機器（空調機）２０－３を制御する。図１４を参照すると、制御対象機器（空調機）２０－３のモードが加湿モードに切り替わっている。
　図１５～図１７は、制御対象機器（コーヒーメーカ）２０－４を制御する動作の例を説明するための図である。まず、ユーザ８０は制御対象機器（コーヒーメーカ）２０－４を利用したいと考えた場合、図１５に示すように、「コーヒーメーカ」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「コーヒーのリスト表示」を制御する。図１５には、コーヒーのリストが、コマンド受付画面３０－４として表示されている。
　コマンド受付画面３０－４が表示されると、ボタン押下による入力が可能となる。図１６に示すように、ユーザ８０が制御対象機器（コーヒーメーカ）２０－４にカップＣｕを置き、コマンド受付画面３０－４におけるカプチーノを押下する。コマンド認識部１２３は、ユーザ８０の人差し指が重なったボタンとしてカプチーノボタンを検出し、カプチーノボタンに対応するコマンド「カプチーノを入れる」を認識する。そして、第１のコマンド取得部１２４は、コマンド「カプチーノを入れる」を取得する。
　実行制御部１２７は、第１のコマンド取得部１２４によってコマンド「カプチーノを入れる」が取得されると、カプチーノをカップＣｕに入れるように制御対象機器（コーヒーメーカ）２０－４を制御する。図１６を参照すると、制御対象機器（コーヒーメーカ）２０－４にカップＣｕが置かれ、カップＣｕにカプチーノが入れられた様子が示されている。
　ここで、図１７に示すように、ユーザ８０が制御対象機器（コーヒーメーカ）２０－４にカップＣｕを置き、コマンド受付画面３０－４におけるカプチーノを押下する代わりに、「カプチーノ」と発話してもよい。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、コマンド認識部１２３は、あらかじめ関連付けられた情報を参照して、音声認識処理結果「カプチーノ」からコマンド「カプチーノを入れる」を認識する。
　そして、第２のコマンド取得部１２５は、コマンド「カプチーノを入れる」を取得し、実行制御部１２７は、第２のコマンド取得部１２５によってコマンド「カプチーノを入れる」が取得されたため、コマンド「カプチーノを入れる」が実行されるように制御対象機器（コーヒーメーカ）２０－４を制御する。図１７を参照すると、制御対象機器（コーヒーメーカ）２０－４にカップＣｕが置かれ、カップＣｕにカプチーノが入れられた様子が示されている。
　図１８～図２３は、天気予報の表示を制御する動作の例を説明するための図である。まず、ユーザ８０は天気予報を閲覧したいと考えた場合、図１８に示すように、「天気予報」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「現在地の天気予報の表示」を制御する。図１８には、現在地の天気予報が、コマンド受付画面３０－５Ａとして表示されている。なお、現在地の天気予報は、外部ネットワーク３０を介して図示しないサーバから取得されてよい。
　なお、天気予報などのように細かい情報は、大きな画面に表示されるのが見やすさの観点からよいと考えられる。したがって、図１８に示すように、天気予報が制御対象機器（ＴＶ）２０－１の画面に表示されてよい。このとき、図１８に示すように、情報処理装置１０が自律的に制御対象機器（ＴＶ）２０－１の方に向きを変えるようにしてよい。そうすれば、ユーザ８０も制御対象機器（ＴＶ）２０－１に天気予報が表示されることを感覚的により容易に把握しやすくなる。
　続いて、ユーザ８０は現在地（東京）の週間天気を閲覧したいと考えた場合、図１８に示すように、「週間天気」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「現在地の週間天気の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図１９を参照すると、制御対象機器（図示しないサーバ）から取得された東京の週間天気がコマンド受付画面３０－５Ｂとして表示されている様子が示されている。
　続いて、ユーザ８０は大阪の週間天気を閲覧したいと考えた場合、図２０に示すように、「大阪の週間天気」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「大阪の週間天気の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２０を参照すると、制御対象機器（図示しないサーバ）から取得された大阪の週間天気がコマンド受付画面３０－５Ｂとして表示されている様子が示されている。
　続いて、ユーザ８０はメッシュ天気を閲覧したいと考えた場合、図２１に示すように、「メッシュ天気」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「メッシュ天気の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２１を参照すると、制御対象機器（図示しないサーバ）から取得されたメッシュ天気がコマンド受付画面３０－５Ｃとして表示されている様子が示されている。
　続いて、ユーザ８０は熊本の天気変化を閲覧したいと考えた場合、図２２に示すように、所定のジェスチャ（例えば、人差し指を移動させる操作など）によって画面内のポインタを熊本まで移動させてから、所定の決定操作（図２２に示すように、手の平を画面に向けて押す動作など）をすればよい。このように操作すると、実行制御部１２７は、コマンド「熊本の天気変化の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２３を参照すると、制御対象機器（図示しないサーバ）から取得された熊本の天気変化がコマンド受付画面３０－５Ｄとして表示されている様子が示されている。
　図２４～図２６は、金閣寺の写真の表示を制御する動作の例を説明するための図である。まず、ユーザ８０は金閣寺の写真を閲覧したいと考えた場合、図２４に示すように、「金閣寺の写真」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「金閣寺の写真の表示」を制御する。図２４には、金閣寺の写真のサムネイル画像が、コマンド受付画面３０－６Ａとして表示されている。なお、金閣寺の写真は、外部ネットワーク３０を介して図示しないサーバから取得されてよい。
　続いて、ユーザ８０は左下のサムネイル画像の拡大画像を閲覧したいと考えた場合、図２５に示すように、所定のジェスチャ（例えば、人差し指を移動させる操作など）によって画面内のポインタを左下のサムネイル画像まで移動させてから、所定の決定操作（図２５に示すように、手の平を画面に向けて押す動作など）をすればよい。このように操作すると、実行制御部１２７は、コマンド「拡大画像の表示」が実行されるように制御対象機器（図示しないサーバ）を制御する。図２６を参照すると、制御対象機器（図示しないサーバ）から取得された拡大画像がコマンド受付画面３０－６Ａとして表示されている様子が示されている。
　図２７～図２９は、予定表の表示を制御する動作の例を説明するための図である。まず、ユーザ８０は予定表を閲覧したいと考えた場合、図２７に示すように、「予定表」と発話する。ユーザ８０がこのように発話すると、図４および図５を参照しながら説明した場合と同様にして、表示制御部１２８は、コマンド「予定表の表示」を制御する。図２７には、予定表が、コマンド受付画面３０－７Ａとして表示されている。なお、予定表は、あらかじめ第１の記憶部１３０に記憶されていてよい。
　続いて、ユーザ８０は予定表の中における今月２５日の予定表を閲覧したいと考えた場合、図２８に示すように、「２５日の予定」と発話する。ユーザ８０がこのように発話すると、図８を参照しながら説明した場合と同様に、実行制御部１２７は、コマンド「今月２５日の予定表の表示」が実行されるように第１の記憶部１３０を制御する。図２８を参照すると、第１の記憶部１３０から取得された今月２５日の予定表がコマンド受付画面３０－７Ｂとして表示されている様子が示されている。
　続いて、ユーザ８０は予定表のトップページに戻りたいと考えた場合、図２９に示すように、所定のジェスチャ（例えば、手を開いた状態において手を移動させる操作など）をすればよい。このように操作すると、コマンド認識部１２３は、現在表示されているページが属するページ群のトップページに表示を切り替えるためのコマンドを認識し、第１のコマンド取得部１２４は、かかるコマンドを取得し、実行制御部１２７は、かかるコマンド「トップページへの遷移」が実行されるように第１の記憶部１３０を制御する。図２９を参照すると、予定表のトップページがコマンド受付画面３０－７Ａとして表示されている様子が示されている。
　続いて、本実施形態に係る情報処理装置１０の動作の流れについて説明する。図３０Ａおよび図３０Ｂは、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。まず、画像解析部１２１は、撮像部１１２によって撮像された画像に基づいて、ユーザ８０の位置を検出する（Ｓ１１）。続いて、表示制御部１２８は、表示部１６１による表示位置をユーザの位置に基づいて移動させる（Ｓ１２）。続いて、表示制御部１２８は、ユーザの発話に基づいてコマンド受付画面を表示部１６１に表示させる（Ｓ１３）。
　続いて、コマンド認識部１２３は、画像解析部１２１による解析結果を参照し、ユーザ８０の手が撮像されていない場合には（Ｓ１４において「Ｎｏ」）、Ｓ２３に動作を移行させる。一方、コマンド認識部１２３は、画像解析部１２１による解析結果を参照し、ユーザ８０の手が撮像されている場合（Ｓ１４において「Ｙｅｓ」）、Ｓ１５に動作を移行させる。続いて、コマンド認識部１２３は、有効位置（ボタンの位置など）にユーザ８０の手がない場合には（Ｓ１５において「Ｎｏ」）、Ｓ２３に動作を移行させる。一方、コマンド認識部１２３は、有効位置（ボタンの位置など）にユーザ８０の手がある場合には（Ｓ１５において「Ｙｅｓ」）、Ｓ１６に動作を移行させる。
　続いて、コマンド認識部１２３は、距離検出部１１３によって検出されたユーザ８０までの距離を参照して、ユーザ８０の手が奥方向に移動していない場合には（Ｓ１６において「Ｎｏ」）、Ｓ１９に動作を移行させる。一方、コマンド認識部１２３は、距離検出部１１３によって検出されたユーザ８０までの距離を参照して、ユーザ８０の手が奥方向に移動した場合には（Ｓ１６において「Ｙｅｓ」）、Ｓ１７に動作を移行させる。
　続いて、コマンド認識部１２３は、所定の速さを超える速さによって所定の距離を超える距離だけユーザ８０の手が奥方向に移動していない場合には（Ｓ１７において「Ｎｏ」）、Ｓ１９に動作を移行させる。一方、実行制御部１２７は、所定の速さを超える速さによって所定の距離を超える距離だけユーザ８０の手が奥方向に移動した場合には（Ｓ１７において「Ｙｅｓ」）、ユーザ８０の手によって指示されるコマンドが実行されるように制御対象機器２０を制御する（Ｓ１８）。
　続いて、音声認識部１２２は、ユーザ８０による発話がない場合には（Ｓ１９において「Ｎｏ」）、Ｓ１４に動作を移行させるが、ユーザ８０による発話があった場合には（Ｓ１９において「Ｙｅｓ」）、集音部１５１によって集音された音情報に対して音声認識処理（これ、削除、録画、再生など）を行い（Ｓ２０）、Ｓ２１に動作を移行させる。
　続いて、実行制御部１２７は、音声が手によって指示される表示オブジェクト（ボタンなど）に対応する場合には（Ｓ２１において「Ｙｅｓ」）、手および音声によって指示されるコマンドが実行されるように制御対象機器２０を制御する（Ｓ２２）。一方、実行制御部１２７は、音声が手によって指示される表示オブジェクト（ボタンなど）に対応しない場合には（Ｓ２１において「Ｙｅｓ」）、Ｓ２３に動作を移行させる。
　続いて、音声認識部１２２は、ユーザ８０による発話がない場合には（Ｓ２３において「Ｎｏ」）、Ｓ１４に動作を移行させるが、ユーザ８０による発話があった場合には（Ｓ２３において「Ｙｅｓ」）、集音部１５１によって集音された音情報に対して音声認識処理（キャンセル、電源ＯＮ、次のページに進むなど）を行い（Ｓ２４）、音声によって指示されるコマンドが実行されるように制御対象機器２０を制御する（Ｓ２５）。
　［１．４．ハードウェア構成例］
　次に、図３１を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図３１は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　図３１に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置１０は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置１０の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。
　ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置１０の筐体の姿勢など、情報処理装置１０自体の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音など、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　＜２．むすび＞
　以上説明したように、本開示の実施形態によれば、操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、を備える、情報処理装置が提供される。かかる構成によれば、コマンドを実行させるための入力の柔軟性を向上させることが可能な技術が提供されることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記では、第１の表示部１６１－１が比較的高い位置（例えば、壁、テレビジョン装置など）に表示を行うのに対し、第２の表示部１６１－２が比較的低い位置（例えば、ユーザの手元など）に表示を行う例を説明した。しかし、第１の表示部１６１－１および第２の表示部１６１－２それぞれによる表示位置は特に限定されない。例えば、情報処理装置１０が車両の中に持ち込まれた場合、第１の表示部１６１－１および第２の表示部１６１－２の少なくとも何れか一方は、車両のダッシュボード、車両の天井面、車両のモニタなどに表示することも可能である。
　また、表示位置に優先順位を付けてもよい。例えば、ユーザ８０の手の位置に応じた領域（例えば、テーブル面）が乱雑である場合に、第２の表示部１６１－２がそのままユーザ８０の手の位置に応じた領域を表示位置としてしまうと、視認しづらい表示が行われてしまう可能性がある。かかる場合には、第１の表示部１６１－１が、ユーザ８０の手の位置に応じた領域の代わりに、壁面などに表示を行うようにしてもよい。
　また、第１の表示部１６１－１および第２の表示部１６１－２の少なくともいずれか一方は、ユーザ８０による視認性を向上させるため、表示位置の色に合わせて表示色を変えるようにしてもよい。
　また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した制御部１２０が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
　なお、上述した情報処理装置１０の動作が実現されれば、各構成の位置は特に限定されない。具体的な一例として、画像解析部１２１、音声認識部１２２およびコマンド認識部１２３などは、外部ネットワーク３０を介して接続された図示しないサーバなどに設けられてもよい。この場合には、制御部１２０が当該サーバに外部ネットワーク３０を介して接続されたクライアントに相当し得る。画像解析部１２１、音声認識部１２２およびコマンド認識部１２３などは、別々のサーバに設けられていてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
　音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
　前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
　を備える、情報処理装置。
（２）
　前記第１のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
　前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、
　前記表示オブジェクトの表示を制御する表示制御部を備える、
　前記（２）に記載の情報処理装置。
（４）
　前記表示制御部は、ユーザの位置に応じた領域への前記表示オブジェクトの表示を制御する、
　前記（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記表示オブジェクトの種類に応じて、前記表示オブジェクトの表示位置を異ならせる、
　前記（３）または（４）に記載の情報処理装置。
（６）
　前記第１のコマンド取得部は、前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、所定のコマンド決定操作が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
　前記（２）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記所定のコマンド決定操作は、前記操作体が所定の位置から見て遠ざかる方向に移動することを含む、
　前記（６）に記載の情報処理装置。
（８）
　前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の速さを超えた速さで移動することを含む、
　前記（７）に記載の情報処理装置。
（９）
　前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の距離を超えた距離だけ前記所定の速さを超えた速さで移動することを含む、
　前記（８）に記載の情報処理装置。
（１０）
　前記第２のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出されない場合、前記音声認識処理結果に応じた前記第２のコマンドを取得する、
　前記（１）に記載の情報処理装置。
（１１）
　前記情報処理装置は、
　前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、前記所定のコマンド決定操作が検出されない場合、かつ、前記音声認識処理結果が前記表示オブジェクトに対応することが検出された場合、前記表示オブジェクトおよび前記音声認識処理結果に応じた第３のコマンドを取得する第３のコマンド取得部を備える、
　前記（２）～（５）のいずれか一項に記載の情報処理装置。
（１２）
　前記実行制御部は、前記第３のコマンドが取得された場合、前記第３のコマンドの第３の制御対象機器による実行を制御する、
　前記（１１）に記載の情報処理装置。
（１３）
　前記情報処理装置は、
　撮像部によって撮像された画像に対する画像解析によって前記操作体の位置を得る画像解析部を備える、
　前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記情報処理装置は、
　前記操作体の位置に基づいて前記第１のコマンドを認識するとともに、前記音声認識処理結果に基づいて前記第２のコマンドを認識するコマンド認識部を備える、
　前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記情報処理装置は、
　前記音情報に対する音声認識処理により前記音声認識処理結果を得る音声認識部を備える、
　前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記操作体は、前記ユーザの手を含む、
　前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記第１のコマンド取得部は、前記ユーザの手が開かれた状態において前記ユーザの手が移動された場合には、現在表示されているページが属するページ群のトップページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
　前記（１６）に記載の情報処理装置。
（１８）
　前記第１のコマンド取得部は、前記ユーザの手のうち人差し指と小指とが開かれ、かつ、親指と中指と薬指とが閉じられた状態において前記ユーザの手が移動された場合には、現在表示されているページの次のページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
　前記（１６）または（１７）に記載の情報処理装置。
（１９）
　コンピュータにより操作体の位置に応じた第１のコマンドを取得することと、
　音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得することと、
　前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御することと、
　を含む、情報処理方法。
（２０）
　コンピュータを、
　操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
　音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
　前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
　を備える情報処理装置として機能させるためのプログラム。
　１０　　情報処理装置
　２０　　制御対象機器
　３０　　外部ネットワーク
　８０　　ユーザ
　１１１　音出力部
　１１２　撮像部
　１１３　距離検出部
　１２０　制御部
　１２１　画像解析部
　１２２　音声認識部
　１２３　コマンド認識部
　１２４　第１のコマンド取得部
　１２５　第２のコマンド取得部
　１２６　第３のコマンド取得部
　１２７　実行制御部
　１２８　表示制御部
　１３０　第１の記憶部
　１４０　通信部
　１５１　集音部
　１６１　表示部
　２３０　第２の記憶部
　３３０　第３の記憶部

Claims (20)

  1. 　操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
    　音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
    　前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
    　を備える、情報処理装置。
  2. 　前記第１のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
    　請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、
    　前記表示オブジェクトの表示を制御する表示制御部を備える、
    　請求項２に記載の情報処理装置。
  4. 　前記表示制御部は、ユーザの位置に応じた領域への前記表示オブジェクトの表示を制御する、
    　請求項３に記載の情報処理装置。
  5. 　前記表示制御部は、前記表示オブジェクトの種類に応じて、前記表示オブジェクトの表示位置を異ならせる、
    　請求項３に記載の情報処理装置。
  6. 　前記第１のコマンド取得部は、前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、所定のコマンド決定操作が検出された場合、前記表示オブジェクトに応じた前記第１のコマンドを取得する、
    　請求項２に記載の情報処理装置。
  7. 　前記所定のコマンド決定操作は、前記操作体が所定の位置から見て遠ざかる方向に移動することを含む、
    　請求項６に記載の情報処理装置。
  8. 　前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の速さを超えた速さで移動することを含む、
    　請求項７に記載の情報処理装置。
  9. 　前記所定のコマンド決定操作は、前記操作体が前記所定の位置から見て遠ざかる方向に所定の距離を超えた距離だけ前記所定の速さを超えた速さで移動することを含む、
    　請求項８に記載の情報処理装置。
  10. 　前記第２のコマンド取得部は、前記操作体の位置との間で所定の関係を満たす表示オブジェクトの位置が検出されない場合、前記音声認識処理結果に応じた前記第２のコマンドを取得する、
    　請求項１に記載の情報処理装置。
  11. 　前記情報処理装置は、
    　前記操作体の位置との間で前記所定の関係を満たす前記表示オブジェクトの位置が検出された場合、かつ、前記所定のコマンド決定操作が検出されない場合、かつ、前記音声認識処理結果が前記表示オブジェクトに対応することが検出された場合、前記表示オブジェクトおよび前記音声認識処理結果に応じた第３のコマンドを取得する第３のコマンド取得部を備える、
    　請求項２に記載の情報処理装置。
  12. 　前記実行制御部は、前記第３のコマンドが取得された場合、前記第３のコマンドの第３の制御対象機器による実行を制御する、
    　請求項１１に記載の情報処理装置。
  13. 　前記情報処理装置は、
    　撮像部によって撮像された画像に対する画像解析によって前記操作体の位置を得る画像解析部を備える、
    　請求項１に記載の情報処理装置。
  14. 　前記情報処理装置は、
    　前記操作体の位置に基づいて前記第１のコマンドを認識するとともに、前記音声認識処理結果に基づいて前記第２のコマンドを認識するコマンド認識部を備える、
    　請求項１に記載の情報処理装置。
  15. 　前記情報処理装置は、
    　前記音情報に対する音声認識処理により前記音声認識処理結果を得る音声認識部を備える、
    　請求項１に記載の情報処理装置。
  16. 　前記操作体は、前記ユーザの手を含む、
    　請求項１に記載の情報処理装置。
  17. 　前記第１のコマンド取得部は、前記ユーザの手が開かれた状態において前記ユーザの手が移動された場合には、現在表示されているページが属するページ群のトップページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
    　請求項１６に記載の情報処理装置。
  18. 　前記第１のコマンド取得部は、前記ユーザの手のうち人差し指と小指とが開かれ、かつ、親指と中指と薬指とが閉じられた状態において前記ユーザの手が移動された場合には、現在表示されているページの次のページに表示を切り替えるためのコマンドを前記第１のコマンドとして取得する、
    　請求項１６に記載の情報処理装置。
  19. 　コンピュータにより操作体の位置に応じた第１のコマンドを取得することと、
    　音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得することと、
    　前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御することと、
    　を含む、情報処理方法。
  20. 　コンピュータを、
    　操作体の位置に応じた第１のコマンドを取得する第１のコマンド取得部と、
    　音情報に対する音声認識処理によって得られた音声認識処理結果に応じた第２のコマンドを取得する第２のコマンド取得部と、
    　前記第１のコマンドが取得された場合、前記第１のコマンドの第１の制御対象機器による実行を制御し、前記第２のコマンドが取得された場合、前記第２のコマンドの第２の制御対象機器による実行を制御する実行制御部と、
    　を備える情報処理装置として機能させるためのプログラム。
PCT/JP2016/081360 2016-02-02 2016-10-21 情報処理装置、情報処理方法およびプログラム WO2017134868A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016017747A JP2017138698A (ja) 2016-02-02 2016-02-02 情報処理装置、情報処理方法およびプログラム
JP2016-017747 2016-02-02

Publications (1)

Publication Number Publication Date
WO2017134868A1 true WO2017134868A1 (ja) 2017-08-10

Family

ID=59499664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081360 WO2017134868A1 (ja) 2016-02-02 2016-10-21 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2017138698A (ja)
WO (1) WO2017134868A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919120B (zh) * 2017-11-16 2020-03-13 百度在线网络技术（北京）有限公司 语音交互方法及装置，终端，服务器及可读存储介质
WO2019216874A1 (en) * 2018-05-07 2019-11-14 Google Llc Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007538299A (ja) * 2003-12-22 2007-12-27 エイオーエル エルエルシー 自動訂正機能を備えた仮想キーボードシステム
JP2015053020A (ja) * 2013-09-09 2015-03-19 株式会社リコー 情報表示装置、情報表示方法およびプログラム
JP2015056154A (ja) * 2013-09-13 2015-03-23 独立行政法人情報通信研究機構 テキスト編集装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007538299A (ja) * 2003-12-22 2007-12-27 エイオーエル エルエルシー 自動訂正機能を備えた仮想キーボードシステム
JP2015053020A (ja) * 2013-09-09 2015-03-19 株式会社リコー 情報表示装置、情報表示方法およびプログラム
JP2015056154A (ja) * 2013-09-13 2015-03-23 独立行政法人情報通信研究機構 テキスト編集装置及びプログラム

Also Published As

Publication number Publication date
JP2017138698A (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
JP6428954B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2021135655A1 (zh) 生成多媒体资源的方法及设备
JP6503557B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11170580B2 (en) Information processing device, information processing method, and recording medium
WO2021104236A1 (zh) 一种共享拍摄参数的方法及电子设备
JP5316387B2 (ja) 情報処理装置、表示方法及びプログラム
EP2832107B1 (en) Information processing apparatus, information processing method, and program
MX2014001469A (es) Aparato electronico que usa reconocimiento de movimiento y metodo para controlar el aparato electronico del mismo.
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6729555B2 (ja) 情報処理システムおよび情報処理方法
WO2017168922A1 (ja) 情報処理装置、情報処理方法および情報提供方法
WO2014034256A1 (ja) 表示制御装置、表示制御システムおよび表示制御方法
US9179031B2 (en) Content acquisition apparatus and storage medium
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017134868A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6575518B2 (ja) 表示制御装置、表示制御方法およびプログラム
WO2018139036A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019023902A (ja) プログラムおよび情報処理装置
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017187677A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11221684B2 (en) Information processing device, information processing method, and recording medium
CN113613053A (zh) 视频推荐方法、装置、电子设备及存储介质
WO2020006664A1 (zh) 拍摄装置的控制方法、拍摄装置、拍摄系统和存储介质
WO2021243624A1 (zh) 展示内容的生成方法及装置和影像生成方法及装置
JP2000010696A (ja) 画像処理装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889351

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16889351

Country of ref document: EP

Kind code of ref document: A1