WO2015037268A1 - 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム - Google Patents

情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム Download PDF

Info

Publication number
WO2015037268A1
WO2015037268A1 PCT/JP2014/061742 JP2014061742W WO2015037268A1 WO 2015037268 A1 WO2015037268 A1 WO 2015037268A1 JP 2014061742 W JP2014061742 W JP 2014061742W WO 2015037268 A1 WO2015037268 A1 WO 2015037268A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
unit
information processing
user
detected
Prior art date
Application number
PCT/JP2014/061742
Other languages
English (en)
French (fr)
Inventor
晋太郎 高田
孝志 松原
森　直樹
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to CN201480010315.2A priority Critical patent/CN105009032B/zh
Priority to US14/769,896 priority patent/US9696814B2/en
Priority to EP14844118.1A priority patent/EP3046006A4/en
Publication of WO2015037268A1 publication Critical patent/WO2015037268A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K35/10—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B60K2360/11—
    • B60K2360/146—
    • B60K2360/1464—
    • B60K2360/21—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to, for example, an information processing apparatus, a gesture detection method, and a gesture detection program for operating an in-vehicle device provided in a vehicle with gesture gestures.
  • in-vehicle devices As for the operation of in-vehicle devices in the vehicle, touch operation on the screen, jog dial, and switch operation attached to the handle are widely used at present.
  • in-vehicle devices to be operated are head-up display (HUD) that projects information on the windshield of a car in recent years.
  • HUD head-up display
  • gesture-based operations have been introduced from the viewpoints of intuitive operation of in-vehicle devices, less time and effort to reduce the time to remove the line of sight during operations. It is being done.
  • a camera captures a movement of a driver's hand toward an image display device that displays a switch operation unit, and based on the image information, the operation is determined to be an operation on the switch operation unit.
  • the sensor detects the start operation for starting the operation and the end operation for ending the operation, and starts shooting the camera with the detection signal.
  • Patent Document 2 as an operation for an electric device, the control unit detects a user's line-of-sight direction and operation based on an image captured by the imaging unit, and the electric device is detected according to the detected user's line-of-sight direction and operation A technique for performing a process for controlling the state of this is disclosed.
  • Patent Document 1 requires a start operation in order to detect a gesture, so that a quick and seamless operation cannot be performed. Also, an end operation is required at the end of the gesture, which increases the time and effort of the operation.
  • hand gestures made by drivers toward pedestrians and drivers outside the vehicle and gestures intended to operate in-vehicle devices are confused and recognized. Causes malfunction or malfunction of equipment.
  • Patent Document 2 since the technique disclosed in Patent Document 2 detects the line-of-sight direction, it is possible to reduce the occurrence of erroneous operation / malfunction of the device due to erroneous recognition of gestures. However, since the direction of the line of sight is determined pinpointly, there is a problem that the apparatus may not operate unless the line of sight is directed to the apparatus.
  • the present invention has been made in view of the above, and is a gesture detection device capable of operating a device without reducing the line of sight in an accurate direction while reducing erroneous recognition of the device. It is an object to provide a gesture detection method and a gesture detection program.
  • an information processing apparatus is an information processing apparatus that detects a user's action, and the user's action and the user's action from an image captured by an imaging unit Based on the detection unit that detects the face direction of the user, the face direction of the user, and the position information of the information processing device stored in advance in the storage unit, the operation detected by the detection unit is applied to the information processing device When the detection operation determination unit that determines whether or not the operation is an operation, and the detection operation determination unit determines that the operation detected by the detection unit is an operation on the information processing apparatus, the operation is displayed on the display unit. And a display content control unit to be reflected.
  • an information processing apparatus is an information processing apparatus that detects a user's motion, and includes a detection unit that detects a user's motion from an image captured by the imaging unit, and the user's line-of-sight direction and viewing distance.
  • a gaze area calculation unit that calculates the gaze area of the user
  • a virtual image area calculation unit that displays a virtual image of the information processing device on a display unit and calculates a virtual image area that is a displayed virtual image area. Whether the operation detected by the detection unit is an operation on the information processing device based on the gaze region calculated by the gaze region calculation unit and the virtual image region calculated by the virtual image region calculation unit.
  • the detection operation determination unit and the detection operation determination unit determine that the operation detected by the detection unit is an operation on the information processing apparatus, the display content is reflected on the display unit.
  • control unit configured as an information processing apparatus comprising: a.
  • An information processing apparatus is an information processing apparatus that detects a user's motion, and includes a first detection unit that detects a user's motion from an image captured by an imaging unit that captures the user, and an external A second detection unit that detects a moving body from an external image captured by the external imaging unit, and a gaze region calculation unit that calculates the gaze region of the user based on the gaze direction and the viewing distance of the user And the first detection unit detects based on the moving body position calculation unit that calculates the position of the moving body detected by the second detection unit, the gaze area, and the position of the moving body.
  • a detection operation determination unit that determines whether or not an operation is an operation on the information processing device and the detection operation determination unit determine that the operation detected by the detection unit is an operation on the information processing device
  • the present invention can also be understood as a gesture detection method and a gesture detection program executed by the information processing apparatus.
  • the present invention it is possible to operate a device without reducing the misrecognition of the device and directing the line of sight to the device in the correct direction.
  • FIG. 3 illustrates the line-of-sight direction of a driver when detecting a gesture.
  • FIG. 3 illustrates the line-of-sight direction of a driver when detecting a gesture.
  • FIG. 3 illustrates the line-of-sight direction of a driver when detecting a gesture.
  • It is a block diagram of the vehicle equipment system in the 2nd example of the present invention. It is a figure which shows the example which calculates a driver
  • FIG. 1A is a configuration diagram of an in-vehicle device system equipped with a gesture detection device 101 according to the present embodiment.
  • This in-vehicle device system includes an in-vehicle device 102 including a gesture detection device 101, a display device 103, and an input device 104.
  • the input device 104 includes a line-of-sight detection device 105 and a camera 106.
  • the line-of-sight detection device 105 identifies the direction of the black eyes of the left and right eyes of the driver from the image captured by the camera 106 and outputs information on the direction of the line of sight. is there.
  • the line-of-sight detection device 105 includes an LED (Light Emitting Diode) that emits infrared light and an IR (Infrared) camera that acquires only infrared light.
  • the display device 103 includes a navigation screen 107 and a head-up display (HUD) 108.
  • the HUD 108 projects and displays various information on the windshield of the car.
  • the in-vehicle device 102 includes a gesture detection device 101, an in-vehicle device control unit 114, and a display content control unit 115.
  • the in-vehicle device control unit 114 controls the operation of the in-vehicle device itself, and the display content control unit 115 controls the content displayed on the display device 103, specifically, determines the content of information to be displayed and the layout of the video to be displayed. The position of the image (virtual image) that causes the driver to recognize the display content is determined, and the content reflecting the result of the operation instructed by the user is displayed.
  • the in-vehicle device control unit 114 is configured by an arithmetic device such as a CPU (Central Processing Unit).
  • the display content control unit 115 transmits information to be displayed on the HUD 108 to the gesture detection apparatus 101.
  • the vehicle equipment 102 shall perform the basic function as a car navigation.
  • the gesture detection device 101 includes a gesture detection control unit 109, a line-of-sight direction calculation unit 110, an operation detection unit 111, a device position information recording unit 112, and a detection operation determination unit 113.
  • the gesture detection control unit 109 detects a gesture and controls a series of operations until it is determined whether or not the detection result is a device operation.
  • the line-of-sight direction calculation unit 110 calculates in which direction the driver is pointing the line of sight based on the direction information of the left and right eyeballs obtained from the line-of-sight detection device 105.
  • the motion detection unit 111 determines whether or not the driver's motion matches a predefined motion pattern from the moving image information obtained from the camera 106, and recognizes and detects the predefined motion.
  • the device position information storage unit 112 stores in three-dimensional coordinates where the navigation screen 107 and the HUD 108 are installed in the vehicle interior.
  • the detection operation determination unit 113 uses the information from the operation detection unit 111, the line-of-sight direction calculation unit 110, and the device position information recording unit 112 as input information, and indicates that the operation of the driver detected by the operation detection unit 111 operates the device. Determine if the action was intended.
  • a processing procedure of processing for detecting a gesture (gesture detection processing) performed by the driver with the intention of operating the device will be described in detail.
  • the method described in Japanese Patent Application Laid-Open No. 2012-187190 can be used for the gaze direction detection process and the face direction detection process described below.
  • the motion detection unit 111 determines whether or not the driver has performed a predefined operation (registered as a gesture for operating the device) from the input video of the camera 106 (S201). If it is not determined that the image has been detected (S201: No), the detection is continued. On the other hand, when the motion detection unit 111 determines that the specified motion is detected (S201: Yes), the gaze direction calculation unit 110 performs the gesture based on the direction of the driver's eyeball obtained from the gaze detection device 105. The direction of the line of sight of the driver when is detected is calculated.
  • a predefined operation registered as a gesture for operating the device
  • the detection operation determination unit 113 determines that the driver's line of sight is based on the driver's line of sight calculated by the line-of-sight direction calculation unit 110 and the position information of the navigation screen 107 recorded in the device position information recording unit 112. It is determined whether or not the direction is other than (S202). Specifically, the detection operation determination unit 113 reads the three-dimensional coordinates of the driver's head and the three-dimensional coordinates of the navigation screen, and the detected gaze direction vector is directed from the head to the navigation screen. Determine if it matches the direction. As illustrated in FIG. 3A, when the detection operation determination unit 113 determines that the line-of-sight direction is directed toward the navigation screen (S202: No), the detected driver operation operates the content displayed on the navigation screen.
  • the in-vehicle device control unit 114 performs processing according to the type of operation received from the gesture detection device 101, and the display content control unit 115 displays the display content reflecting the processing result on the display device 103 (S203).
  • the detection operation determination unit 113 determines that the line-of-sight direction is a direction other than the navigation screen (S202: Yes), the driver's line-of-sight direction and the positional information of the HUD 108 recorded in the device position information recording unit 112 From this, it is determined whether or not the driver's line of sight is facing the HUD (S204). Specifically, the detection operation determination unit 113 reads out the three-dimensional coordinates of the driver's head and the three-dimensional coordinates of the HUD, and the detected gaze direction vector is a direction from the head toward the HUD. Determine if they match. As shown in FIG.
  • the detection operation determination unit 113 determines that the line-of-sight direction does not face the HUD direction (S204: No)
  • the detected driver operation is an operation intended to operate the device. It is determined that there is not, and the result of the detected operation is rejected (S205).
  • the detection operation determination unit 113 determines that the driver's line-of-sight direction is in the direction of the HUD as shown in FIG. 3C (S204: Yes)
  • the detected operation of the driver operates the content displayed on the HUD. It is determined that the gesture is intended to be performed, and the content of the operation corresponding to the detected gesture is transmitted to the in-vehicle device control unit 114.
  • the in-vehicle device control unit 114 performs processing according to the type of operation received from the gesture detection device 101, and the display content control unit 115 displays the display content reflecting the processing result on the display device 103 (S206). Thereafter, when the detection of the gesture is not continued (S207: Yes), this process ends.
  • the line-of-sight detection device 105 that detects the line of sight of the driver and the line-of-sight direction calculation unit 110 are used.
  • the face direction detection unit 1101 extracts facial feature parts (eyes, nose, mouth, etc.), and the feature parts are symmetrical from the center.
  • the direction of the face and its degree are determined depending on whether or not these feature parts are untargeted, and the direction and the degree of the face are determined based on the density of the shadow of the face image.
  • Various techniques can be used.
  • the detection operation determination unit 113 may be configured to reject all the operation detection results detected by the operation detection unit 111. Accordingly, even in a situation where the driver's line of sight cannot be detected well, an operation that the driver does not intend to operate the device can be prevented from being erroneously recognized as a gesture.
  • the face direction may be used instead of the gaze direction using the face direction detection unit 1101 described above.
  • the detection operation determination unit 113 determines whether or not the direction of the HUD is being viewed based on whether or not the face direction is facing an area where the HUD exists, and whether or not the navigation is being viewed. The determination is made based on whether or not the driver's face direction is in the determination area R (extended area) obtained by extending the area where the navigation exists in the horizontal direction. Specifically, as shown in FIG. 2B, the detection operation determination unit 113 sets the peripheral region including the position where the navigation is placed as a determination region as an extended determination region. It is also possible to perform the gesture detection process in consideration of the case where it cannot be detected.
  • the area to be discriminated at a certain rate in the horizontal direction is expanded with respect to the area where the navigation exists.
  • the expansion ratio is generally expanded so that the direction indicated by the face direction when the user is gazing at the navigation is included in the expanded area, and the expanded area is set as a determination area.
  • steps S201 to S207 are the same as the process illustrated in FIG. 2A, and thus the description thereof is omitted here.
  • the gaze direction calculation unit 110 calculates the direction of the driver's eyeball obtained from the gaze detection device 105. Based on this, it is determined whether or not the driver's line of sight was detectable (S1101).
  • the process proceeds to S202, while the driver's line of sight cannot be detected (S1101; No).
  • the detection operation determination unit 113 determines whether or not the driver's face is facing a direction other than the expansion region from the driver's face direction calculated by the face direction calculation unit 1101 and the above-described expansion region (S1102). Specifically, the detection operation determination unit 113 reads out the three-dimensional coordinates of the driver's face and the coordinates of the extension area, and the detected face direction vector matches the direction from the face toward the navigation screen. Determine whether or not.
  • the detection operation determination unit 113 determines that the face direction is in the direction of the extension region (S1102: No)
  • the detected driver operation uses the content displayed on the navigation screen. It is determined that the gesture is intended to be operated, and thereafter the same processing as S203 is performed (S1103).
  • the detection operation determination unit 113 determines that the face direction is a direction other than the navigation screen (S1102: Yes), the driver's face direction and the position information of the HUD 108 recorded in the device position information recording unit 112 From this, it is determined whether or not the driver's face is facing the HUD (S1104). Specifically, the detection operation determination unit 113 reads the three-dimensional coordinates of the driver's face and the three-dimensional coordinates of the HUD, and the detected face direction vector matches the direction from the face to the HUD. To determine if
  • the detection operation determination unit 113 determines that the face direction does not face the HUD direction (S1104: No), the detected driver operation is intended to operate the device. It is determined that the operation is not performed, and the same processing as S205 is performed thereafter (S1105).
  • the detection operation determination unit 113 determines that the driver's line-of-sight direction is in the HUD direction (S1104: Yes)
  • the detected driver operation is intended to manipulate the content displayed on the HUD. It is determined that it is a gesture, and the same processing as S206 is performed thereafter (S1106).
  • the position information of the HUD 108 is stored in the device position information recording unit 112.
  • the display position and display area of the HUD are dynamically changed, and the display content control unit 115 receives the HUD.
  • the display position and display area information may be sequentially received, and the information in the device position information recording unit 112 may be updated.
  • the extension area is the discrimination area R obtained by horizontally extending the area where the navigation exists, but for example, the driver position such as the handle position (right handle or left handle) and the navigation
  • the extension region may be set to be shifted to the right or left like R ′.
  • the extension area can be set as high as R ′′, and conversely, when the height of the driver is low, it can be set low.
  • Such an extended area may be set for each driver, in which case the extended area is set for each driver even when there are a plurality of drivers (for example, when sharing and using a vehicle). can do.
  • the detection operation determination unit 113 counts the number of times, and when the number of times reaches a certain number within a certain period, or continuously If the number of times reaches a certain number, the processing of S1101 to S1106 may be performed first. In this case, since the face direction is determined by omitting a process with a high possibility that the line-of-sight direction is not detected, the process until the gesture is detected can be shortened.
  • the description has been made on the assumption that the display device 103 has the HUD 108 and the navigation screen 107, and the input device 104 has the line-of-sight detection device 105, the face detection device 1051, and the camera 106. It is not necessary to have a configuration.
  • the configuration can be changed as appropriate, such as providing the line-of-sight detection device 105 and the face detection device 1051 in the vehicle-mounted device 102. That is, if the gesture detection apparatus 401 can acquire information for detecting the line-of-sight direction and the face direction, the system can be configured in various forms.
  • the driver determines whether the detected motion is intended to operate the device based on the driver's line-of-sight direction. It is possible to provide a gesture detection device that detects only gestures that are intended to operate the device and that does not detect other gestures (such as hand gestures directed outside the vehicle) as gestures that operate the device. Intuitive operation of in-vehicle devices in the car, shortening of operation time, and quick and seamless operation can be realized.
  • the gesture detection device described in the present embodiment is not limited to operating the contents displayed on the navigation screen and the HUD, but for other contents displayed on the air conditioner, audio equipment, and meter panel. Even can be applied.
  • the present invention is not limited to being mounted on a vehicle-mounted device, but can be mounted on a device that can manipulate the display content and state of the device by a gesture, such as a digital signage, an interaction whiteboard, and a television. . In this case, by applying the present invention, it is possible to prevent a situation in which an operation that the user does not intend to operate the device is erroneously recognized as a gesture.
  • FIG. 4A is a configuration diagram of an in-vehicle device system equipped with the gesture detection device 401 in the present embodiment.
  • This in-vehicle device system includes an in-vehicle device 402 including a gesture detection device 401, a display device 103, and an input device 104.
  • the in-vehicle device 402 includes a gesture detection device 401, an in-vehicle device control unit 114, and a display content control unit 115.
  • the gesture detection device 401 includes a gaze direction / visual distance calculation unit 4011, a gaze area calculation unit 4012, and the like.
  • the second embodiment is different from the gesture detection device 101 of the first embodiment in that it includes a detection operation determination unit 4013 and a HUD virtual image position calculation unit 4011 which are different from the first embodiment.
  • a detection operation determination unit 4013 and a HUD virtual image position calculation unit 4011 which are different from the first embodiment.
  • symbol is attached
  • the line-of-sight direction / distance calculation unit 4011 calculates the direction in which the driver is pointing the line of sight on the basis of the direction information of the left and right eyeballs obtained from the line-of-sight detection device 105, as shown in FIG. 4B. As described above, the viewing distance of the driver is calculated from the intersection of the line-of-sight directions of the left eye and the right eye.
  • the gaze area calculation unit 4012 calculates three-dimensional spatial coordinates of the area in which the driver is gazing from the gaze direction and the viewing distance of the driver obtained from the gaze direction / visual distance calculation unit 4011.
  • the detection operation determination unit 4013 performs processing similar to the processing in the first embodiment, and also includes the operation detection unit 111, the gaze direction / visual distance calculation unit 4011, the gaze area calculation unit 4012, the HUD virtual image position calculation unit 4014, and the device position.
  • the information from the information recording unit 112 is used as input information, and it is determined whether or not the operation of the driver detected by the operation detection unit 111 is an operation performed with the intention of operating the device.
  • the HUD virtual image position calculation unit 4014 calculates in which three-dimensional coordinates the virtual image of the content displayed on the HUD 108 is displayed based on information obtained from the display content control unit 409.
  • the detection of the driver's gesture is started when the vehicle-mounted device is turned on.
  • the motion detection unit 111 determines whether or not the driver has performed a predefined motion (registered as a gesture for operating the device) from the input video of the camera 106 (501), and the predefined motion is detected. If it is determined not to be performed (S501: No), the detection is continued. On the other hand, when the motion detection unit 111 determines that the specified motion is detected (S501: Yes), the gaze direction / distance calculation unit 4011 is based on the direction of the driver's eyeball obtained from the gaze detection device 105. Then, the gaze direction and viewing distance of the driver when the gesture is detected are calculated.
  • a predefined motion registered as a gesture for operating the device
  • the detection operation determination unit 4013 uses the gaze direction of the driver calculated by the gaze direction / visual distance calculation unit 4011 and the position information of the navigation screen 107 recorded in the device position information recording unit 112 in the first embodiment. As in the case of, it is determined whether or not the driver's line of sight is pointing in a direction other than the navigation screen 107 (S502).
  • the detection operation determination unit 4013 determines that the line-of-sight direction is directed to the navigation screen (S502: No)
  • the detected driver operation is a gesture intended to operate the content displayed on the navigation screen. It is determined that there is, and the content of the operation corresponding to the detected gesture is transmitted to the in-vehicle device control unit 114, and thereafter the same processing as in the first embodiment is performed (S503).
  • the detection operation determination unit 4013 determines that the line-of-sight direction is a direction other than the navigation screen (S502: Yes), the driver's line-of-sight direction and the position information of the HUD 108 recorded in the device position information recording unit 112 As in the case of the first embodiment, it is determined whether or not the driver's line of sight is facing the HUD (S504). When the detection operation determination unit 4013 determines that the line-of-sight direction does not face the HUD direction (S504: No), the detected operation of the driver is determined not to be an operation intended to operate the device. The same processing as in the embodiment is performed (S505).
  • the detection operation determination unit 4013 determines that the driver's line-of-sight direction is in the HUD direction as in the first embodiment (S504: Yes)
  • the gaze area calculation unit 405 Based on the information obtained from the viewing distance calculation unit 4011, the three-dimensional coordinates of the region being watched by the driver are calculated (S506).
  • the HUD virtual image position calculation unit 406 calculates the three-dimensional coordinates of the virtual image based on the information obtained from the display content control unit 409 on the position of the virtual image displayed on the HUD (S507).
  • the detection operation determination unit 4013 determines whether or not the HUD virtual image is included in the driver's gaze area (S508). As illustrated in FIG. 6A, when it is determined that the HUD virtual image 601 displayed in the display area 603 is not included in the driver's gaze area 602 (S508: No), the detection operation determination unit 4013 displays the detected driver's gaze area 602. It is determined that the operation is not an operation intended to operate the device, and the result of the detected operation is rejected (S509).
  • the detection operation determination unit 4013 determines that the virtual image of the HUD is included in the driver's gaze area (S508: YES)
  • the detected operation of the driver is displayed on the HUD.
  • the content of the operation corresponding to the detected gesture is transmitted to the in-vehicle device control unit 408, and the same processing as in the first embodiment is performed (S510). .
  • S511: Yes Thereafter, when the detection of the gesture is not continued (S511: Yes), this process ends.
  • the gaze detection device 105 that detects the gaze and the gaze distance of the driver and the gaze direction / sight distance detection unit 4011 are used, but together with or in place of them, the same as in the case of the first embodiment Further, the face direction of the driver may be replaced with the gaze direction by using the face direction detection device 1051 that detects the face direction of the driver from the input image of the camera 106 or the face direction calculation unit 1101.
  • the determination processing in S508 is configured to determine whether or not a HUD virtual image is displayed ahead of the face direction. As a result, a configuration without the line-of-sight detection device 105 can be realized, and the number of parts and cost can be reduced.
  • the motion detection unit 111 determines that a specified motion has been detected (S501: Yes)
  • the gaze direction / sight distance detection unit 4011 Based on the direction of the eyeball of the driver obtained from the line-of-sight detection device 105, it is determined whether or not the line of sight of the driver can be detected (S2101).
  • the detection operation determination unit 4013 indicates that the driver's face faces a direction other than the display region from the driver's face direction calculated by the face direction calculation unit 1101 shown in FIG. 1B and the HUD virtual image display region. It is determined whether or not it has been (S2102). Specifically, the detection operation determination unit 4013 reads out the three-dimensional coordinates of the driver's face and the coordinates of the display area, and whether the detected face direction vector matches the direction from the face toward the HUD. Determine if.
  • the detection operation determination unit 4013 determines that the face direction is in the direction of the display area (S2102: No)
  • the detected operation of the driver operates the content displayed on the HUD, as in the determination in the line-of-sight direction. It is determined that the gesture is intended to be performed, and the same processing as S503 is performed thereafter (S2103).
  • the detection operation determination unit 4013 determines that the face direction is facing a direction other than the display area of the HUD virtual image (S2102: Yes), as in the case of the first embodiment, It is determined from the position information of the HUD 108 recorded in the device position information recording unit 112 whether or not the driver's face is facing the HUD (S2104), and when it is determined that the face direction is not facing the HUD direction (S2104). : No), it is determined that the detected operation of the driver is not an operation intended to operate the device, and the same processing as S505 is performed thereafter (S2105).
  • the detection operation determination unit 4013 determines that the driver's line-of-sight direction is in the HUD direction (S2104: Yes)
  • the detected driver operation is intended to manipulate the contents displayed on the HUD. It is determined that the gesture is a gesture, and the process proceeds to S510 and S511, as in the first embodiment.
  • the display area of the virtual image of the HUD is on the right side depending on the relative position between the driver and the navigation such as the handle position (right handle or left handle) or the dominant eye of the driver. Alternatively, it may be set by shifting to the left side. Further, when the height of the driver is high, the display area of the HUD virtual image can be set high, and conversely, when the height of the driver is low, it can be set low. Further, such a HUD virtual image display area may be set for each driver.
  • the detection operation determination unit 4013 counts the number of times, and within a certain period. When the number of times reaches a certain number, or when the number of times reaches a certain number of times, the processing of S2101 to S2105 may be performed first.
  • the detection motion determination unit 4013 may be configured to reject all motion detection results detected by the motion detection unit 111, and the line-of-sight direction is good. When it cannot detect, it is good also as a structure which uses a face direction instead of a gaze direction using the face direction detection part mentioned above.
  • the position information of the HUD 108 is stored in the device position information recording unit 112.
  • the display position and display area of the HUD change dynamically.
  • the display content control unit 115 may sequentially receive information on the display position and display area of the HUD and update the information in the device position information recording unit 112.
  • the gesture detection device 401 can acquire information for detecting the gaze direction and the face direction, the system can be configured in various forms.
  • gesture detection device described in the present embodiment is not limited to operating the contents displayed on the navigation screen and the HUD, and as with the first embodiment, other air conditioning and audio equipment It can also be applied to the contents displayed on the meter panel.
  • the gesture is intended to operate the contents displayed on the navigation screen or the HUD by detecting the driver's line-of-sight direction and face direction regardless of the situation outside the vehicle. It was decided to determine whether or not. In practice, however, the driver is often affected by conditions outside the vehicle, such as the movement of people and other vehicles. Therefore, in preparation for such a case, the gesture detection process when the driver is influenced by the situation outside the vehicle will be described below.
  • FIG. 7 is a configuration diagram of an in-vehicle device system equipped with the gesture detection device 701 according to the present embodiment.
  • This in-vehicle device system includes an in-vehicle device 702 including a gesture detection device 701, a display device 103, and an input device 703.
  • the in-vehicle device 702 includes a gesture detection device 701, an in-vehicle device control unit 114, and a display content control unit 115.
  • the gesture detection device 701 includes a detection operation determination unit 7011 different from the second embodiment, and recognition outside the vehicle. It differs from the gesture detection device 401 of the second embodiment in that it has a unit (moving body position calculation unit) 7012.
  • the input device 703 is different from the input device 104 of the second embodiment in that an input device 703 is provided.
  • symbol is attached
  • the detection motion determination unit 7011 uses information from the motion detection unit 111, the gaze direction / sight distance calculation unit 4011, the gaze area calculation unit 4012, the vehicle outside recognition unit 7012, and the device position information recording unit 112 as input information, and the motion detection unit 111. It is determined whether or not the operation of the driver detected in step 1 is performed with the intention of operating the device.
  • a vehicle exterior recognition unit 7012 recognizes whether or not there is a moving body outside the vehicle such as a pedestrian or another vehicle from the vehicle exterior image obtained from the vehicle exterior camera 7031 and calculates the three-dimensional coordinates of the detected object. To do. For example, image data of an object to be recognized is held in advance, and pattern matching processing is performed to determine whether there is a matching object in the input video.
  • pedestrians and other vehicles are described as examples of moving bodies, but other moving bodies such as bicycles and motorcycles are also included.
  • the detection of the driver's gesture is started when the vehicle-mounted device is turned on.
  • the motion detection unit 111 determines whether or not the driver has performed a predefined motion (registered as a gesture for operating the device) from the input video of the camera 106 (S801), and the predefined motion is detected. If it is determined not to be performed (S801: No), the detection is continued. On the other hand, when the motion detection unit 111 determines that the specified motion is detected (S801: Yes), the gaze direction / distance calculation unit 4011 is based on the direction of the driver's eyeball obtained from the gaze detection device 105. Then, the gaze direction and viewing distance of the driver when the gesture is detected are calculated.
  • a predefined motion registered as a gesture for operating the device
  • the detection operation determination unit 7011 is based on the driver's line-of-sight direction calculated by the line-of-sight direction / visual distance calculation unit 4011 and the position information of the navigation screen 107 recorded in the device position information recording unit 112. As in the case of, it is determined whether or not the driver's line of sight is facing the navigation screen 107 (S802). When the line-of-sight direction faces the direction of the navigation screen (S802: No), the detected motion determination unit 7011 indicates that the detected driver motion is a gesture intended to operate the content displayed on the navigation screen. The contents of the operation corresponding to the detected gesture and the detected gesture are transmitted to the in-vehicle device control unit 709, and thereafter the same processing as in the second embodiment is performed (S803).
  • the detection operation determination unit 7011 determines that the line-of-sight direction is a direction other than the navigation screen (S802: Yes), the driver's line-of-sight direction and the positional information of the HUD 108 recorded in the device position information recording unit 112 In the same manner as in the second embodiment, it is determined whether or not the driver's line of sight is facing the HUD (S804).
  • the detection operation determination unit 7011 determines that the line-of-sight direction does not face the HUD direction (S804: No)
  • the detection operation determination unit 7011 indicates that the detected driver operation is an operation intended to operate the device. Is determined to be not, and the same processing as in the first embodiment is performed (S805).
  • the detection operation determination unit 7011 determines that the driver's line-of-sight direction is in the HUD direction as in the second embodiment (S804: Yes)
  • the gaze area calculation unit 405 Based on the information obtained from the viewing distance calculation unit 4011, the three-dimensional coordinates of the region being watched by the driver are calculated (S806).
  • the vehicle outside recognition unit 7012 recognizes from the video obtained from the vehicle outside camera 7031 whether or not there is a moving body such as a pedestrian outside the vehicle or another vehicle, and the position of the detected object is expressed in three-dimensional coordinates. Calculate (S807).
  • the detection operation determination unit 7011 determines whether or not a moving object such as a pedestrian or another vehicle is included in the driver's gaze area (S808). As shown in FIG. 9A, when it is determined that a moving body such as a pedestrian or another vehicle is included in the driver's gaze area 903 (S808: No), the detection operation determination unit 7011 Then, it is determined that the operation is not intended to operate the device, and the result of the detected operation is rejected (S809).
  • the detection operation determination unit 7011 determines that a moving body such as a pedestrian or another vehicle is not included in the driver's gaze area (S808: Yes)
  • the operation is determined to be a gesture intended to operate the content displayed on the HUD, and the content of the operation corresponding to the detected gesture is transmitted to the in-vehicle device control unit 709, which is the same as in the second embodiment. Is performed (S810). Thereafter, when the detection of the gesture is not continued (S811: Yes), this process ends.
  • the driver's gaze area includes moving objects such as pedestrians and other vehicles outside the vehicle, but instead of calculating the gaze area, the driver's gaze direction It is good also as a structure which determines whether moving bodies, such as a pedestrian and another vehicle, exist previously. As a result, it is not necessary to calculate the driver's gaze area, and the detected motion can be determined even when the gaze area cannot be acquired well.
  • the line-of-sight detection device 105 for detecting the line of sight and the visual distance of the driver and the line-of-sight direction / distance detection unit 4011 are used, but together with or instead of them, the same as in the case of the second embodiment
  • the face direction of the driver may be replaced with the gaze direction by using the face direction detection device 1051 that detects the face direction of the driver from the input image of the camera 106 and the face direction calculation unit 1101.
  • the discrimination processing in S808 is configured to discriminate whether or not a moving object such as a pedestrian or another vehicle exists ahead of the face direction.
  • the motion detection unit 111 determines that the specified motion is detected (S801: Yes)
  • the gaze direction / distance detection unit 4011 Based on the direction of the driver's eyeball obtained from the line-of-sight detection device 105, it is determined whether or not the line of sight of the driver can be detected (S3101).
  • the process proceeds to S802, whereas when the driver's line of sight cannot be detected (S3101; No), the detection operation determination unit 7011 determines the driver's face from the driver's face direction calculated by the face direction calculation unit 1101 shown in FIG. 1B and the display area of a moving object such as a pedestrian outside the vehicle or another vehicle. It is determined whether or not the screen is oriented in a direction other than the display area (S3102).
  • the detection operation determination unit 7011 reads out the three-dimensional coordinates of the driver's face and the coordinates of the display area, and the detected face direction vector moves from the face to a pedestrian or other vehicle outside the vehicle. Determine if it matches the direction towards the body.
  • the detection operation determination unit 7011 determines that the face direction is facing the display area (No in S3102)
  • the detected operation of the driver operates the content displayed on the HUD. It is determined that the gesture is intended to be performed, and thereafter, the same processing as S803 is performed (S3103).
  • the detection operation determination unit 7011 determines that the face direction is facing a direction other than the display area of a moving object such as a pedestrian outside the vehicle or another vehicle (S3102: Yes), the same as in the case of the second embodiment. Then, it is determined whether the driver's face is facing the HUD from the driver's face direction and the position information of the HUD 108 recorded in the device position information recording unit 112 (S3104), and the face direction is directed to the HUD direction. If it is determined that it has not been detected (S3104: No), it is determined that the detected operation of the driver is not an operation intended to operate the device, and processing similar to S805 is performed thereafter (S3105).
  • the detection operation determination unit 7011 determines that the line-of-sight direction of the driver is facing the HUD direction (S3104: Yes)
  • the detected operation of the driver is intended to manipulate the content displayed on the HUD. It is determined that the gesture is a gesture, and the process proceeds to S810 and S811 in the same manner as in the second embodiment.
  • the display area of the HUD virtual image is set on the right side according to the relative position between the driver and the navigation such as the handle position (right handle or left handle) or the dominant eye of the driver. Alternatively, it may be set by shifting to the left side. Further, when the height of the driver is high, the display area of the HUD virtual image can be set high, and conversely, when the height of the driver is low, it can be set low. Further, such a HUD virtual image display area may be set for each driver.
  • the detection operation determination unit 7011 counts the number of times, and within a certain period. When the number of times reaches a certain number, or when the number of times reaches a certain number of times, the processing of S3101 to S3105 may be performed first.
  • the detection operation determination unit 7011 may be configured to reject all the operation detection results detected by the operation detection unit 111, and the line-of-sight direction is good. When it cannot detect, it is good also as a structure which uses a face direction instead of a gaze direction using the face direction detection part mentioned above.
  • the position information of the HUD 108 is stored in the device position information recording unit 112, but the display position and display area of the HUD change dynamically as in the case of the second embodiment.
  • the display content control unit 115 may sequentially receive information on the display position and display area of the HUD and update the information in the device position information recording unit 112.
  • the display device 103 has the HUD 108 and the navigation screen 107
  • the input device 104 has the line-of-sight detection device 105, the face detection device 1051, and the camera 106.
  • the second embodiment As in the case of, if the gesture detection device 401 can acquire information for detecting the gaze direction and the face direction, the system can be configured in various forms.
  • gesture detection device described in the present embodiment is not limited to operating the contents displayed on the navigation screen and the HUD, and as with the first embodiment, other air conditioning and audio equipment It can also be applied to the contents displayed on the meter panel.
  • the driver's line-of-sight direction and face direction are detected to determine whether the operation is for navigation or HUD.
  • the driver may look away for a moment.
  • the gaze direction calculation unit, the gaze direction / sight distance calculation unit, or the detection operation determination unit calculates the coordinate data of the calculated gaze direction, face direction, and viewing distance of the driver every second. Even when the device position information recording unit 112 accumulates and records in time series, and the detection operation determination unit determines that the line-of-sight direction, face direction, and viewing distance are not the navigation screen or HUD direction or distance.
  • the gaze direction, face direction, or viewing distance immediately before or after is the navigation screen or HUD direction or distance, it is determined that the driver has removed the gaze or face from the navigation screen or HUD direction for the reasons described above.
  • the operation during that time may be continued as an operation on the navigation screen or HUD.
  • the device position information storage unit 112 It is determined whether or not the immediately preceding line-of-sight direction recorded on the screen is other than the navigation (S2021), and when it is determined that the previous line-of-sight direction recorded in the device position information storage unit 112 is directed to the navigation (S2021; No), even if the operation proceeding to S203 is reflected as an operation to the navigation, or the detection operation determination unit 113 determines that the face direction is other than the navigation (S1102; No), the device It is determined whether or not the previous face direction recorded in the position information storage unit 112 is directed to other than the navigation (S11021), and the previous face direction recorded in the device position information storage unit 112 is If it is determined that was facing the bi (S11021; No), it is also possible to reflect the behavior detected proceeds to S1103 as operations to the navigation.
  • S211 the device position information storage unit 112 It is determined whether or not the immediately preceding line-of-sight direction recorded on the screen is other than the navigation (S2021), and when it is
  • each Example mentioned above is performed by a program, and these programs become a module structure containing each part (For example, each part, such as a gaze direction determination part, an operation
  • the CPU reads each program from the recording medium and executes it to load the respective units onto the main storage device, and the various units such as the line-of-sight direction determination unit, the operation detection unit, and the detection operation determination unit Are generated on the main memory.
  • each of the above-described programs is a file in an installable or executable format, such as a CD-ROM, FD, CD-R, DVD (Digital Versatile Disc), etc. May be provided by being recorded on a computer-readable recording medium, stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network, or distributed.
  • a computer-readable recording medium stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network, or distributed.
  • the above-described programs can be provided by being incorporated in advance in a ROM or the like.
  • Gaze detection control unit 101, 401, 701 Gesture detection device 102, 402, 702 In-vehicle device 103 Display device 104 Input device 105 Gaze detection device 1051 Face detection device 106 Camera 107 Navigation screen 108 Head Up Display (HUD) 109 Gesture detection control unit 110 Gaze direction calculation unit 1101 Face direction calculation unit 111 Operation detection unit 112 Device position information recording unit 113, 4013, 7011 Detection operation determination unit 114 In-vehicle device control unit 115 Display content control unit 302 HUD 303 Windshield 4011 Gaze direction / distance calculation section 4012 Gaze area calculation section 4014 HUD virtual image position calculation section 601 HUD virtual image 602, 903 Driver gaze area 603, 904 HUD display area 7012 Outside vehicle recognition section 7031 Outside camera 901 Pedestrian 902, etc. car.
  • HUD Head Up Display

Abstract

機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することを可能とする。ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作とユーザの顔方向とを検出する検出部と、ユーザの顔方向と、記憶部にあらかじめ記憶された情報処理装置の位置情報とに基づいて、検出部が検出した動作が情報処理装置に対する操作であるか否かを判定する検出動作判定部と、検出動作判定部が、検出部が検出した動作が情報処理装置に対する操作であると判定した場合に、動作を表示部に反映させる表示内容制御部と、を備える。

Description

情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
　本発明は、例えば、車両内に設けられた車載機器を身振り手振りで操作する情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラムに関する。
　車両内における車載機器の操作は現状では画面のタッチ操作やジョグダイアル、ハンドルに取り付けられたスイッチ操作などが広く普及している。また、操作の対象となる車載機器はセンターディスプレイに設置されたナビや空調、オーディオに加えて近年では車のフロントガラスに情報を投影するHead Up Display(HUD)が普及しようとしている。このような背景のもと、車載機器の操作は直感的な操作が可能であることや、操作の手間が減ること、操作の際に視線を外す時間が減るという観点などからジェスチャーによる操作が導入されつつある。
　例えば、特許文献１には、カメラがスイッチ操作部を表示する画像表示装置に向けた運転者の手の動きを撮影し、その画像情報に基づいてその操作がスイッチ操作部に対する操作であると判断された場合に、スイッチ操作部が操作されたことを示す応答表示をするコンピュータにおいて、センサが操作開始のスタート動作と操作終了の終了動作を検出するし、その検出信号でカメラを撮影開始、撮影終了とする技術が開示されている。
　また、特許文献２には、電気機器に対する動作として、制御部が、撮像部が撮像した画像に基づいてユーザの視線方向や動作を検知し、検知したユーザの視線方向や動作に応じて電気機器の状態を制御する処理を行う技術が開示されている。
特開２０１０－１８４６００号公報 特開２００７－０３４５１５号公報
　しかしながら前述した特許文献１に開示された技術では、ジェスチャーを検出するためにスタートの動作を必要とするため、迅速でシームレスな操作ができない。また、ジェスチャーの終了時にも終了の動作が必要であり、操作の手間が増してしまう。また、ドライバーが車外の歩行者やドライバーへ向けて行ったハンドジェスチャーと、車内の機器（例えばHUDの表示内容）を操作することを意図して行ったジェスチャーとを混同して認識してしまい、機器の誤操作・誤動作を引き起こす。
　また、特許文献２に開示された技術では、視線方向を検知するため、ジェスチャーの誤認識による機器の誤操作・誤動作を引き起こすことは軽減され得る。しかしながら、視線はピンポイントでその方向が定まるため、機器に対して正確な方向に視線を向けなければ、機器が動作しない場合があるという問題があった。
　本発明は、上記に鑑みてなされたものであって、機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することが可能なジェスチャー検出装置、ジェスチャー検出方法、およびジェスチャー検出プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出部と、前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
　また、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作を検出する検出部と、前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、表示部に前記情報処理装置の虚像を表示し、表示された虚像の領域である虚像領域を算出する虚像領域算出部と、前記注視領域算出部が算出した前記注視領域と、前記虚像領域算出部が算出した前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
　また、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、ユーザを撮像する撮像部によって撮像された画像からユーザの動作を検出する第１の検出部と、外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出部と、前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、前記第２の検出部が検出した前記移動体の位置を算出する移動体位置算出部と、前記注視領域と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
　また、本発明は、上記情報処理装置で実行されるジェスチャー検出方法、およびジェスチャー検出プログラムとしても把握される。
　本発明によれば、機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することが可能となる。
本発明の第一実施例における車載機システムの構成図（視線方向判別）である。 本発明の第一実施例における車載機システムの構成図（顔方向判別）である。 本発明の第一実施例におけるジェスチャー検出時の動作フローである（視線方向判別）。 ナビが置かれている位置を含む周辺領域を拡張した判別領域の例を示す図である。 本発明の第一実施例におけるジェスチャー検出時の動作フローである（顔方向判別）。 本発明の第一実施例におけるジェスチャー検出時の動作フローである（視線、顔をそらした場合）。 ジェスチャー検出時のドライバーの視線方向を図示したものである。 ジェスチャー検出時のドライバーの視線方向を図示したものである。 ジェスチャー検出時のドライバーの視線方向を図示したものである。 本発明の第二実施例における車載機システムの構成図である。 左目と右目の各視線方向の交点からドライバーの視距離を算出する例を示す図である。 本発明の第二実施例におけるジェスチャー検出時の動作フローである（視線方向）。 本発明の第二実施例におけるジェスチャー検出時の動作フローである（顔方向）。 ドライバーの注視領域とＨＵＤ虚像位置の関係を図示したものである。 ドライバーの注視領域とＨＵＤ虚像位置の関係を図示したものである。 本発明の第三実施例における車載機システムの構成図である。 本発明の第三実施例におけるジェスチャー検出時の動作フローである（視線方向）。 本発明の第三実施例におけるジェスチャー検出時の動作フローである（顔方向）。 ドライバーの注視領域と歩行者や他車との位置関係を図示したものである。 ドライバーの注視領域と歩行者や他車との位置関係を図示したものである。
　以下に添付図面を参照して、本発明にかかる情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラムの実施の形態を詳細に説明する。
（第一実施例）
　図１Ａは、本実施例におけるジェスチャー検出装置１０１を搭載した車載機システムの構成図である。本車載機システムはジェスチャー検出装置１０１を含む車載機１０２と、表示装置１０３と、入力装置１０４とを有して構成されている。
　入力装置１０４は、視線検出装置１０５とカメラ１０６を備え、視線検出装置１０５は、カメラ１０６が撮像した画像からドライバーの左右それぞれの眼球の黒目の方向を識別し視線方向の情報を出力するものである。視線検出装置１０５は、一例としては、赤外線を照射するＬＥＤ（Light Emitting Diode）と赤外光のみを取得するＩＲ（Infrared）カメラから構成される。表示装置１０３は、ナビ画面１０７とHead Up Display(ＨＵＤ)１０８を有して構成され、ＨＵＤ１０８は車のフロントガラスに様々な情報を投影し、表示するものである。
　車載機１０２は、ジェスチャー検出装置１０１と、車載機制御部１１４と、表示内容制御部１１５とを有している。車載機制御部１１４は、車載機自体の動作の制御を行い、表示内容制御部１１５は表示装置１０３に表示する内容の制御、具体的には表示する情報の内容や表示する映像のレイアウトの決定、ドライバーに表示内容を認識させる像（虚像）の位置の決定や、ユーザから指示された操作の結果を反映した内容の表示などを行う。車載機制御部１１４は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置から構成される。また、表示内容制御部１１５は、ＨＵＤ１０８に表示する情報をジェスチャー検出装置１０１に送信する。また、車載機１０２は、カーナビゲーションとしての基本的な機能を実行するものとする。
　ジェスチャー検出装置１０１は、ジェスチャー検出制御部１０９と、視線方向算出部１１０と、動作検出部１１１と、機器位置情報記録部１１２と、検出動作判定部１１３とを有して構成される。ジェスチャー検出制御部１０９は、ジェスチャーを検出し、その検出結果が機器を操作したかどうか判定するまでの一連の動作を制御する。視線方向算出部１１０は、視線検出装置１０５から得られた左右それぞれの眼球の方向情報を基に、ドライバーが車室内におけるどの方向に視線を向けているかを算出する。動作検出部１１１は、カメラ１０６から得られた動画像情報からドライバーの動きがあらかじめ規定された動作パターンと一致しているかどうかを判別し、規定の動作を認識検出する。機器位置情報記憶部１１２は、車室内において、ナビ画面１０７とＨＵＤ１０８がどこに設置されているか、３次元の座標で記憶する。検出動作判定部１１３は、動作検出部１１１、視線方向算出部１１０、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。
　図２Ａの動作フローを用いて、ドライバーが機器を操作することを意図して行ったジェスチャーを検出する処理（ジェスチャー検出処理）の処理手順ついて詳細に説明する。なお、以下に示す視線方向の検出処理や顔方向の検出処理については、例えば、特開２０１２－１８７１９０号公報に記載されている方法を用いることができる。
　まず、車載機１０２の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。例えば、動作検出部１１１は、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（Ｓ２０１）、規定の動作が検出されたと判別しない場合（Ｓ２０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ２０１：Ｙｅｓ）、視線方向算出部１１０は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向を算出する。
　次に、検出動作判定部１１３は、視線方向算出部１１０が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、ドライバーの視線がナビ画面１０７以外の方向を向いていたか否かを判別する（Ｓ２０２）。具体的には、検出動作判定部１１３は、ドライバーの頭部の３次元における座標と、ナビ画面の３次元の座標を読み出して、検出した視線方向のベクトルが、頭部からナビ画面に向けた方向と一致しているかどうかを判別する。図３Ａのように、検出動作判定部１１３は、視線方向がナビ画面の方向を向いていたと判別した場合（Ｓ２０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信する。車載機制御部１１４は、ジェスチャー検出装置１０１から受信した操作の種類に応じた処理を行い、その処理結果を反映した表示内容を表示内容制御部１１５が表示装置１０３に表示を行う（Ｓ２０３）。
　一方、検出動作判定部１１３が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ２０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの視線がＨＵＤを向いていたかどうかを判別する（Ｓ２０４）。具体的には、検出動作判定部１１３は、ドライバーの頭部の３次元における座標と、ＨＵＤの３次元の座標を読み出して、検出した視線方向のベクトルが、頭部からＨＵＤに向けた方向と一致しているかどうかを判別する。図３Ｂのように、検出動作判定部１１３が、視線方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ２０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ２０５）。
　一方、検出動作判定部１１３が、図３Ｃのようにドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ２０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信する。車載機制御部１１４は、ジェスチャー検出装置１０１から受信した操作の種類に応じた処理を行い、その処理結果を反映した表示内容を表示内容制御部１１５が表示装置１０３に表示を行う（Ｓ２０６）。その後、ジェスチャーの検出を続けない場合（Ｓ２０７：Ｙｅｓ）は、本処理を終了する。
　なお、本構成においてはドライバーの視線を検知する視線検出装置１０５および、視線方向算出部１１０を使用したが、図１Ｂに示すように、これらとともにあるいはこれらの代わりに、カメラ１０６の入力映像からドライバーの顔の方向を検知する顔方向検出装置１０５１を用いて顔方向の情報を出力し、顔方向検出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。なお、入力映像からドライバーの顔の方向を検知する手法については、例えば、顔方向検出部１１０１が、顔の特徴部位（目、鼻、口など）を抽出し、その特徴部位が中心から対称となっているか否か、あるいはこれらの特徴部位が非対象となっている程度によって顔の方向やその程度を判定したり、顔画像の陰影の濃度によって顔の方向やその程度を判定する等、様々な技術を用いることが可能である。
　また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、検出動作判定部１１３は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよい。これによって、ドライバーの視線がうまく検出できないような状況においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができる。
　さらには、視線方向が上手く検知できない場合は、前述した顔方向検出部１１０１を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。具体的には、検出動作判定部１１３は、ＨＵＤの方向を見ているか否かについて、顔方向が、ＨＵＤが存在する領域に向いているか否かによって判別し、ナビを見ているか否かは、ナビが存在する領域を水平方向に拡張した判別領域Ｒ（拡張領域）内に対してドライバーの顔方向が向いているか否かによって判別を行う。具体的には、検出動作判定部１１３は、図２Ｂに示すように、ナビが置かれている位置を含む周辺領域を拡張した判別領域として判別の対象とし、図２Ｃに示す手順によって、視線が検出できない場合を考慮してジェスチャー検出処理を行うことも可能である。例えば、ナビが存在する領域に対して、横方向に一定の割合で判別する領域を拡張する。拡張する割合は、一般的にユーザがナビを注視している際の顔向きが示す方向が拡張した領域に含まれるように拡張し、拡張した領域を判別領域とする。図２Ｃに示すジェスチャー検出処理において、ステップＳ２０１～Ｓ２０７については、図２Ａに示した処理と同様であるため、ここではその説明を省略している。
　図２Ｃに示すように、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ２０１：Ｙｅｓ）、視線方向算出部１１０は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ１１０１）。
　そして、視線方向算出部１１０が、ドライバーの視線が検出可能であったと判定した場合（Ｓ１１０１；Ｙｅｓ）、Ｓ２０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ１１０１；Ｎｏ）、検出動作判定部１１３は、顔方向算出部１１０１が算出したドライバーの顔方向と、上述した拡張領域とから、ドライバーの顔が拡張領域以外の方向を向いていたか否かを判別する（Ｓ１１０２）。具体的には、検出動作判定部１１３は、ドライバーの顔の３次元における座標と、拡張領域の座標を読み出して、検出した顔方向のベクトルが、顔からナビ画面に向けた方向と一致しているかどうかを判別する。
　検出動作判定部１１３は、視線方向における判定と同様に、顔方向が拡張領域の方向を向いていたと判別した場合（Ｓ１１０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ２０３と同様の処理を行う（Ｓ１１０３）。
　一方、検出動作判定部１１３が、顔方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ１１０２：Ｙｅｓ）、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別する（Ｓ１１０４）。具体的には、検出動作判定部１１３は、ドライバーの顔の３次元における座標と、ＨＵＤの３次元の座標を読み出して、検出した顔方向のベクトルが、顔からＨＵＤに向けた方向と一致しているかどうかを判別する。
　検出動作判定部１１３は、視線方向における判定と同様に、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ１１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ２０５と同様の処理を行う（Ｓ１１０５）。
　一方、検出動作判定部１１３が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ１１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ２０６と同様の処理を行う（Ｓ１１０６）。
　このように、視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
　また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。これによって、ＨＵＤに表示する内容が動的に変化するような場合においても、より正確にドライバーがＨＵＤに視線を向けているかどうかを判別することができる。
　例えば、図２Ｂでは、拡張領域が、ナビが存在する領域を水平方向に拡張した判別領域Ｒである前提で説明したが、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によって拡張領域をＲ’のように右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、拡張領域をＲ”のように高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。このように、ドライバーとナビとの相対的な位置やドライバーの特徴に応じて拡張領域を設定することによって、機器の誤認識を軽減しつつ、ドライバーにとってより容易な操作を可能とすることができる。また、このような拡張領域を、ドライバーごとに設定してもよい。この場合、ドライバーが複数いる場合（例えば、車両をシェアして利用する場合等）であっても、ドライバーごとに拡張領域を設定することができる。
　また、図２Ｃに示したＳ１１０１において視線が検出されなかった場合（Ｓ１１０１；Ｎｏ）、検出動作判定部１１３がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ１１０１～Ｓ１１０６の処理を先に行うこととしてもよい。この場合、視線方向が検出されない可能性の高い処理を省略して顔方向を判定するので、ジェスチャーを検出するまでの処理を短縮することができる。
　また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、必ずしもこのような構成である必要はなく、例えば、視線検出装置１０５や顔検出装置１０５１を車載器１０２に設ける等、適宜構成を変更することも可能である。すなわち、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
　以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
　なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。さらには、車載機器に搭載することに限定するものではなく、ジェスチャーによって機器の表示内容や状態を操作できるもの、例えば、デジタルサイネージやインタラクションホワイトボード、テレビなどの機器へ搭載することも可能である。この場合、本発明を適用することで、ユーザが機器を操作することを意図しない動作を、誤ってジェスチャーであると認識してしまう事態を防ぐことが可能となる。
（第二実施例）
　上述した第一実施例では、ドライバーの視線方向や顔方向を検出することにより、ナビ画面やＨＵＤに表示された内容を操作することを意図したジェスチャーであるか否かを判別することとした。しかし、ドライバーの視線方向や顔方向がナビ画面やＨＵＤ方向に向いていなくとも、ＨＵＤの虚像の方向を見て操作を行う場合も存在する。そこで、そのような場合に備え、以下では、ドライバーがＨＵＤの虚像の方向を見て操作を行う場合のジェスチャー検出処理について説明する。
　図４Ａは本実施例におけるジェスチャー検出装置４０１を搭載した車載機システムの構成図である。本車載機システムはジェスチャー検出装置４０１を含む車載機４０２と、表示装置１０３、入力装置１０４とから構成されている。また、車載機４０２は、ジェスチャー検出装置４０１と車載機制御部１１４と表示内容制御部１１５とを有し、ジェスチャー検出装置４０１は、視線方向・視距離算出部４０１１と、注視領域算出部４０１２と、第一実施例とは異なる検出動作判定部４０１３と、ＨＵＤ虚像位置算出部４０１１とを有している点で、第一実施例のジェスチャー検出装置１０１とは異なっている。以下では、第一実施例と同一の構成要素には同一の符号を付してその説明を省略している。
　視線方向・視距離算出部４０１１は、視線検出装置１０５から得られた左右それぞれの眼球の方向情報を基に、ドライバーが車室内におけるどの方向に視線を向けているか算出するとともに、図４Ｂに示すように、左目と右目の各視線方向の交点からドライバーの視距離を算出する。注視領域算出部４０１２は、視線方向・視距離算出部４０１１から得られたドライバーの視線方向と視距離から、ドライバーが注視している領域の３次元の空間座標を算出する。
　検出動作判定部４０１３は、第一実施例における処理と同様の処理を行うほか、動作検出部１１１、視線方向・視距離算出部４０１１、注視領域算出部４０１２、ＨＵＤ虚像位置算出部４０１４、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。ＨＵＤ虚像位置算出部４０１４は、ＨＵＤ１０８に表示された内容の虚像が、どの領域に表示されているか、表示内容制御部４０９から得られた情報を基に３次元の座標で算出する。
　図５Ａの動作フローを用いて、本実施例におけるジェスチャー検出処理の処理手順ついて詳細に説明する。
　まず、車載機の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。動作検出部１１１が、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（５０１）、規定の動作が検出されないと判別した場合（Ｓ５０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ５０１：Ｙｅｓ）、視線方向・視距離算出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向と視距離を算出する。
　次に、検出動作判定部４０１３は、視線方向・視距離算出部４０１１が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、第一実施例の場合と同様に、ドライバーの視線がナビ画面１０７以外の方向を向いていたか否かを判別する（Ｓ５０２）。検出動作判定部４０１３は、視線方向がナビ画面の方向を向いていたと判別した場合（Ｓ５０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信し、以降第一実施例の場合と同様の処理を行う（Ｓ５０３）。
　一方、検出動作判定部４０１３が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ５０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、第一実施例の場合と同様に、ドライバーの視線がＨＵＤを向いていたか否かを判別する（Ｓ５０４）。検出動作判定部４０１３が、視線方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ５０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、第一実施例の場合と同様の処理を行う（Ｓ５０５）。
　一方、検出動作判定部４０１３が、第一実施例の場合と同様に、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ５０４：Ｙｅｓ）、注視領域算出部４０５は、視線方向・視距離算出部４０１１から得られた情報をもとに、ドライバーが注視している領域の３次元の座標を算出する（Ｓ５０６）。また、ＨＵＤ虚像位置算出部４０６は、ＨＵＤに表示された内容の虚像の位置を表示内容制御部４０９から得られた情報をもとに、虚像の３次元の座標を算出する（Ｓ５０７）。
　次に、検出動作判定部４０１３は、ドライバーの注視領域の中に、ＨＵＤの虚像が含まれているか否かを判別する（Ｓ５０８）。図６Ａのように、ドライバーの注視領域６０２の中に表示領域６０３に表示されたＨＵＤ虚像６０１が含まれていないと判別した場合（Ｓ５０８：Ｎｏ）、検出動作判定部４０１３は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ５０９）。
　一方、図６Ｂのように、検出動作判定部４０１３は、ドライバーの注視領域の中にＨＵＤの虚像が含まれていたと判別した場合（Ｓ５０８：ＹＥＳ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部４０８に送信し、第一実施例の場合と同様の処理を行う（Ｓ５１０）。その後、ジェスチャーの検出を続けない場合（Ｓ５１１：Ｙｅｓ）は、本処理を終了する。
　なお、本構成においてはドライバーの視線と視距離を検知する視線検出装置１０５および、視線方向・視距離検出部４０１１を使用したが、これらとともにあるいはこれらの代わりに、第一実施例の場合と同様に、カメラ１０６の入力映像からドライバーの顔方向を検知する顔方向検出装置１０５１や顔方向算出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。この場合、Ｓ５０８における判別処理は顔方向の先にＨＵＤの虚像が表示されているかどうかを判別するような構成とする。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。
　例えば、図５Ｂに示すように、第一実施例の場合と同様に、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ５０１：Ｙｅｓ）、視線方向・視距離検出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ２１０１）。
　そして、視線方向・視距離検出部４０１１が、ドライバーの視線が検出可能であったと判定した場合（Ｓ２１０１；Ｙｅｓ）、Ｓ５０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ２１０１；Ｎｏ）、検出動作判定部４０１３は、図１Ｂに示した顔方向算出部１１０１が算出したドライバーの顔方向と、ＨＵＤの虚像の表示領域とから、ドライバーの顔がその表示領域以外の方向を向いていたか否かを判別する（Ｓ２１０２）。具体的には、検出動作判定部４０１３は、ドライバーの顔の３次元における座標と、表示領域の座標を読み出して、検出した顔方向のベクトルが、顔からＨＵＤに向けた方向と一致しているかどうかを判別する。
　検出動作判定部４０１３は、視線方向における判定と同様に、顔方向が表示領域の方向を向いていたと判別した場合（Ｓ２１０２：Ｎｏ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ５０３と同様の処理を行う（Ｓ２１０３）。
　一方、検出動作判定部４０１３が、顔方向がＨＵＤの虚像の表示領域以外の方向を向いていたと判別した場合（Ｓ２１０２：Ｙｅｓ）、第一実施例の場合と同様に、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別し（Ｓ２１０４）、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ２１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ５０５と同様の処理を行う（Ｓ２１０５）。
　一方、検出動作判定部４０１３が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ２１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、第一実施例の場合と同様に、以降Ｓ５１０、Ｓ５１１に進む。
　このように、第二実施例で視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
　また、第一実施例の場合と同様に、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によってＨＵＤの虚像の表示領域を右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、ＨＵＤの虚像の表示領域を高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。また、このようなＨＵＤの虚像の表示領域を、ドライバーごとに設定してもよい。
　また、第一実施例の場合と同様に、図５Ｂに示したＳ２１０１において視線が検出されなかった場合（Ｓ１１０１；Ｎｏ）、検出動作判定部４０１３がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ２１０１～Ｓ２１０５の処理を先に行うこととしてもよい。
　また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、第一実施例の場合と同様に、検出動作判定部４０１３は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよく、視線方向が上手く検知できない場合は、前述した顔方向検出部を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。
　また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、第一実施例の場合と同様に、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。
　また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、第一実施例の場合と同様に、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
　以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向や注視領域とＨＵＤの虚像の表示位置をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、第一実施例の場合と同様に、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
　なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、第一実施例の場合と同様に、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。
（第三実施例）
　第一実施例、第二実施例では、車外の状況にかかわらず、ドライバーの視線方向や顔方向を検出することにより、ナビ画面やＨＵＤに表示された内容を操作することを意図したジェスチャーであるか否かを判別することとした。しかし、実際には、ドライバーは、人や他の車両の動き等、車外の状況に影響を受けることも多い。そこで、そのような場合に備え、以下では、ドライバーが車外の状況に影響を受けた場合におけるジェスチャー検出処理について説明する。
　図７は本実施例におけるジェスチャー検出装置７０１を搭載した車載機システムの構成図である。本車載機システムは、ジェスチャー検出装置７０１を含む車載機７０２と、表示装置１０３、入力装置７０３とから構成されている。また、車載機７０２は、ジェスチャー検出装置７０１と車載機制御部１１４と表示内容制御部１１５とを有し、ジェスチャー検出装置７０１は、第二実施例とは異なる検出動作判定部７０１１と、車外認識部（移動体位置算出部）７０１２とを有している点で、第二実施例のジェスチャー検出装置４０１とは異なっている。また、入力装置７０３は、車外用カメラ７０３１を備えている点で、第二実施例の入力装置１０４とは異なっている。以下では、第二実施例と同一の構成要素には同一の符号を付してその説明を省略している。
　検出動作判定部７０１１は、動作検出部１１１、視線方向・視距離算出部４０１１、注視領域算出部４０１２、車外認識部７０１２、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。
　車外認識部７０１２は、車外用カメラ７０３１から得られた車外の映像から、歩行者や他車等の車外部の移動体が存在するかどうかを認識し、検出した物体の３次元の座標を算出する。例えば、あらかじめ認識対象となる物体の映像データを保持しておき、入力された映像内に一致する物が存在するかどうかを判定するパターンマッチング処理などを行う。なお、本実施例では、移動体の例として歩行者や他車を例に説明しているが、自転車、自動二輪車等、他の移動体も含まれるものとする。
　図８Ａの動作フローを用いて、本実施例におけるジェスチャー検出処理の処理手順ついて詳細に説明する。
　まず、車載機の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。動作検出部１１１が、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（Ｓ８０１）、規定の動作が検出されないと判別した場合（Ｓ８０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ８０１：Ｙｅｓ）、視線方向・視距離算出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向と視距離を算出する。
　次に、検出動作判定部７０１１は、視線方向・視距離算出部４０１１が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、第二実施例の場合と同様に、ドライバーの視線がナビ画面１０７を向いていたか否かを判別する（Ｓ８０２）。検出動作判定部７０１１は、視線方向がナビ画面の方向を向いていた場合（Ｓ８０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部７０９に送信し、以降第二実施例の場合と同様の処理を行う（Ｓ８０３）。
　一方、検出動作判定部７０１１が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ８０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、第二実施例の場合と同様に、ドライバーの視線がＨＵＤを向いていたか否かを判別する（Ｓ８０４）。検出動作判定部７０１１が、視線方向がＨＵＤの方向を向いていなかったと判定した場合（Ｓ８０４：Ｎｏ）、検出動作判定部７０１１は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、第一実施例の場合と同様の処理を行う（Ｓ８０５）。
　一方、検出動作判定部７０１１が、第二実施例の場合と同様に、ドライバーの視線方向がＨＵＤの方向を向いていたと判定した場合（Ｓ８０４：Ｙｅｓ）、注視領域算出部４０５は、視線方向・視距離算出部４０１１から得られた情報をもとに、ドライバーが注視している領域の３次元の座標を算出する（Ｓ８０６）。また、車外認識部７０１２は、車外用カメラ７０３１から得られた映像から、車外の歩行者や他車等の移動体が存在するかどうかを認識し、検出した物体の位置を３次元の座標で算出する（Ｓ８０７）。
　次に、検出動作判定部７０１１は、ドライバーの注視領域の中に、歩行者や他車等の移動体が含まれているか否かを判別する（Ｓ８０８）。図９Ａのように、ドライバーの注視領域９０３の中に歩行者や他車等の移動体が含まれていたと判別した場合（Ｓ８０８：Ｎｏ）、検出動作判定部７０１１は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ８０９）。
　一方、図９Ｂのように、検出動作判定部７０１１は、ドライバーの注視領域の中に歩行者や他車等の移動体が含まれていなかったと判別した場合（Ｓ８０８：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部７０９に送信し、第二実施例の場合と同様の処理を行う（Ｓ８１０）。その後、ジェスチャーの検出を続けない場合（Ｓ８１１：Ｙｅｓ）は、本処理を終了する。
　なお、本構成においてはドライバーの注視領域内に車外の歩行者や他車等の移動体が含まれているかどうかの判定を行ったが、代わりに注視領域を算出せずにドライバーの視線方向の先に歩行者や他車等の移動体が存在するかどうかの判定を行うような構成としてもよい。これによって、ドライバーの注視領域を算出する必要がなくなり、注視領域がうまく取得できないような場合でも、検出した動作の判定を行うことができる。
　また、本構成においてはドライバーの視線と視距離を検知する視線検出装置１０５および、視線方向・視距離検出部４０１１を使用したが、これらとともにあるいはこれらの代わりに、第二実施例の場合と同様に、カメラ１０６の入力映像からドライバーの顔の方向を検知する顔方向検出装置１０５１や顔方向算出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。この場合、Ｓ８０８における判別処理は顔方向の先に歩行者や他車等の移動体が存在しているかどうかを判別するような構成とする。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。
　例えば、図８Ｂに示すように、第二実施例の場合と同様に、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ８０１：Ｙｅｓ）、視線方向・視距離検出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ３１０１）。
　そして、視線方向・視距離検出部４０１１が、ドライバーの視線が検出可能であったと判定した場合（Ｓ３１０１；Ｙｅｓ）、Ｓ８０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ３１０１；Ｎｏ）、検出動作判定部７０１１は、図１Ｂに示した顔方向算出部１１０１が算出したドライバーの顔方向と、車外の歩行者や他車等の移動体の表示領域とから、ドライバーの顔がその表示領域以外の方向を向いていたか否かを判別する（Ｓ３１０２）。具体的には、検出動作判定部７０１１は、ドライバーの顔の３次元における座標と、表示領域の座標を読み出して、検出した顔方向のベクトルが、顔から車外の歩行者や他車等の移動体に向けた方向と一致しているかどうかを判別する。
　検出動作判定部７０１１は、視線方向における判定と同様に、顔方向が表示領域の方向を向いていたと判別した場合（Ｓ３１０２：Ｎｏ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ８０３と同様の処理を行う（Ｓ３１０３）。
　一方、検出動作判定部７０１１が、顔方向が車外の歩行者や他車等の移動体の表示領域以外の方向を向いていたと判別した場合（Ｓ３１０２：Ｙｅｓ）、第二実施例の場合と同様に、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別し（Ｓ３１０４）、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ３１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ８０５と同様の処理を行う（Ｓ３１０５）。
　一方、検出動作判定部７０１１が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ３１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、第二実施例の場合と同様に、以降Ｓ８１０、Ｓ８１１に進む。
　このように、第三実施例で視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
　また、第二実施例の場合と同様に、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によってＨＵＤの虚像の表示領域を右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、ＨＵＤの虚像の表示領域を高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。また、このようなＨＵＤの虚像の表示領域を、ドライバーごとに設定してもよい。
　また、第二実施例の場合と同様に、図８Ｂに示したＳ３１０１において視線が検出されなかった場合（Ｓ３１０１；Ｎｏ）、検出動作判定部７０１１がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ３１０１～Ｓ３１０５の処理を先に行うこととしてもよい。
　また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、第二実施例の場合と同様に、検出動作判定部７０１１は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよく、視線方向が上手く検知できない場合は、前述した顔方向検出部を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。
　また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、第二実施例の場合と同様に、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。
　また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、第二実施例の場合と同様に、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
　以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向や注視領域とＨＵＤの虚像の表示位置をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、第一実施例の場合と同様に、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
　なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、第一実施例の場合と同様に、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。
　また、上述した第一実施例～第三実施例では、ドライバーの視線方向や顔方向を検知してナビやＨＵＤに対する操作であるか否かを判別したが、日差しや対向車の照明等による眩しさから、ドライバーが一瞬だけ目をそらしてしまう場合も存在する。そのような場合に備え、例えば、視線方向算出部や視線方向・視距離算出部、または検出動作判定部が、算出したドライバーの視線方向や顔方向、視距離の座標データを、１秒毎に機器位置情記録部１１２に時系列に蓄積して記録しておき、検出動作判定部が視線方向や顔方向、視距離が、ナビ画面やＨＵＤの方向、距離でないと判定した場合であっても、その直前あるいは直後の視線方向や顔方向、視距離がナビ画面やＨＵＤの方向、距離である場合には、上述した理由によってドライバーが視線や顔をナビ画面やＨＵＤの方向から外したと判断し、その間の操作はナビ画面やＨＵＤに対する操作として続行させることとしてもよい。
　例えば、第一実施例において、図２Ｄに示すように、検出動作判定部１１３が、視線方向がナビ以外に向いていたと判定した場合（Ｓ２０２；Ｎｏ）であっても、機器位置情報記憶部１１２に記録された直前の視線方向がナビ以外に向いていたか否かを判定し（Ｓ２０２１）、機器位置情報記憶部１１２に記録された直前の視線方向がナビに向いていたと判定した場合（Ｓ２０２１；Ｎｏ）、Ｓ２０３に進んで検出した動作をナビへの操作として反映させたり、検出動作判定部１１３が、顔方向がナビ以外に向いていたと判定した場合（Ｓ１１０２；Ｎｏ）であっても、機器位置情報記憶部１１２に記録された直前の顔方向がナビ以外に向いていたか否かを判定し（Ｓ１１０２１）、機器位置情報記憶部１１２に記録された直前の顔方向がナビに向いていたと判定した場合（Ｓ１１０２１；Ｎｏ）、Ｓ１１０３に進んで検出した動作をナビへの操作として反映することとしてもよい。第二実施例、第三実施例についても同様に処理することができる。このように、日差しや対向車の照明等による眩しさから、ドライバーが一瞬だけ目をそらした場合であっても、正しくナビやＨＵＤに対する操作を行うことができる。
　なお、上述した各実施例における処理はプログラムによって実行され、これらのプログラムは、上述した各部（例えば、視線方向判定部、動作検出部、検出動作判定部等の各部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記記録媒体から各プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、視線方向判定部、動作検出部、検出動作判定部等の各部が主記憶装置上に生成されるようになっている。
　さらに、上述した各実施例では特に説明していないが、上述した各プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＦＤ、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供したり、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供したり、配布するように構成しても良い。上述した各プログラムを、ＲＯＭ等に予め組み込んで提供するように構成することももちろん可能である。
１０１、４０１、７０１　　　ジェスチャー検出装置
１０２、４０２、７０２　　　車載機
１０３　　　表示装置
１０４　　　入力装置
１０５　　　視線検出装置
１０５１　　顔検出装置
１０６　　　カメラ
１０７　　　ナビ画面
１０８　　　Head Up Display(ＨＵＤ) 
１０９　　　ジェスチャー検出制御部
１１０　　　視線方向算出部
１１０１　　顔方向算出部
１１１　　　動作検出部
１１２　　　機器位置情報記録部
１１３、４０１３、７０１１　　　検出動作判定部
１１４　　　車載機制御部
１１５　　　表示内容制御部
３０２　ＨＵＤ
３０３　フロントガラス
４０１１　　視線方向・視距離算出部
４０１２　　注視領域算出部
４０１４　　ＨＵＤ虚像位置算出部
６０１　ＨＵＤ虚像
６０２、９０３　ドライバー注視領域
６０３、９０４　ＨＵＤ表示領域
７０１２　　車外認識部
７０３１　　車外用カメラ
９０１　歩行者
９０２　他車。

Claims (11)

  1. 　ユーザの動作を検出する情報処理装置であって、
    　撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出部と、
    　前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、
    　前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、
    　を備えることを特徴とする情報処理装置。
  2. 　ユーザの動作を検出する情報処理装置であって、
    　撮像部によって撮像された画像からユーザの動作を検出する検出部と、
    　前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、
    　表示部に前記情報処理装置の虚像を表示し、表示された虚像の領域である虚像領域を算出する虚像領域算出部と、
    　前記注視領域算出部が算出した前記注視領域と、前記虚像領域算出部が算出した前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、
    　前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、
    　を備えることを特徴とする情報処理装置。
  3. 　前記検出部は、前記ユーザの顔方向をさらに検出し、
    　前記検出動作判定部は、前記ユーザの顔方向と、前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する、
    　ことを特徴とする請求項２に記載の情報処理装置。
  4. 　ユーザの動作を検出する情報処理装置であって、
    　ユーザを撮像する撮像部によって撮像された画像からユーザの動作を検出する第１の検出部と、
    　外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出部と、
    　前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、
    　前記第２の検出部が検出した前記移動体の位置を算出する移動体位置算出部と、
    　前記注視領域と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、
    　前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、
    　を備えることを特徴とする情報処理装置。
  5. 　前記第１の検出部は、前記ユーザの顔方向をさらに検出し、
    　前記検出動作判定部は、前記ユーザの顔方向と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する、
    　ことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記検出動作判定部は、前記ユーザの視線が検出されなかった場合、または前記ユーザの視線が連続して検出されなかった場合には、その回数をカウントし、その回数が所定値に達した場合、前記顔方向による判定を前記視線方向による判定よりも先に実行する、
    　ことを特徴とする請求項１、３、５のいずれか１項に記載の情報処理装置。
  7. 　前記表示内容制御部は、前記ユーザと前記情報処理装置との相対的な位置、または前記ユーザの特徴によって前記位置情報を含む領域を定める、
    　ことを特徴とする請求項１に記載の情報処理装置。
  8. 　前記検出動作判定部は、前記顔方向の座標データを時系列に蓄積して記憶部に記録し、前記検出部が検出した動作が前記情報処理装置に対する操作でないと判定した場合であっても、前記記憶部に記憶されている直前または直後の顔方向が前記情報処理装置の方向である場合には、前記検出部が検出した動作は前記情報処理装置に対する操作であると判定する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  9. 　前記検出動作判定部は、前記視線方向および前記視距離の座標データを時系列に蓄積して記憶部に記録し、前記検出部が検出した動作が前記情報処理装置に対する操作でないと判定した場合であっても、前記記憶部に記憶されている直前または直後の視線方向および視距離が前記情報処理装置の方向である場合には、前記検出部が検出した動作は前記情報処理装置に対する操作であると判定する、
    　ことを特徴とする請求項２または４に記載の情報処理装置。
  10. 　ユーザの動作を検出するジェスチャー検出方法であって、
    　撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出ステップと、
    　前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定ステップと、
    　前記検出動作判定ステップにおいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御ステップと、
    　を含むことを特徴とするジェスチャー検出方法。
  11. 　コンピュータに、
    　撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出ステップと、
    　前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定ステップと、
    　前記検出動作判定ステップにおいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御ステップと、
    　を実行させることを特徴とするジェスチャー検出プログラム。
PCT/JP2014/061742 2013-09-11 2014-04-25 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム WO2015037268A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480010315.2A CN105009032B (zh) 2013-09-11 2014-04-25 信息处理装置和姿势检测方法
US14/769,896 US9696814B2 (en) 2013-09-11 2014-04-25 Information processing device, gesture detection method, and gesture detection program
EP14844118.1A EP3046006A4 (en) 2013-09-11 2014-04-25 Information processing device, gesture detection method, and gesture detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013188625A JP6316559B2 (ja) 2013-09-11 2013-09-11 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
JP2013-188625 2013-09-11

Publications (1)

Publication Number Publication Date
WO2015037268A1 true WO2015037268A1 (ja) 2015-03-19

Family

ID=52665393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/061742 WO2015037268A1 (ja) 2013-09-11 2014-04-25 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム

Country Status (5)

Country Link
US (1) US9696814B2 (ja)
EP (1) EP3046006A4 (ja)
JP (1) JP6316559B2 (ja)
CN (1) CN105009032B (ja)
WO (1) WO2015037268A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210208584A1 (en) * 2020-01-07 2021-07-08 Toyota Jidosha Kabushiki Kaisha Moving body control device, moving body control method, and computer readable recording medium

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013224962A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum Erstellen eines Bildes einer Szene
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
US10067341B1 (en) 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
US20160231812A1 (en) * 2015-02-06 2016-08-11 The Eye Tribe Aps Mobile gaze input system for pervasive interaction
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
CN106327680B (zh) * 2015-06-19 2019-05-31 昆达电脑科技(昆山)有限公司 自动贩卖机
WO2017038241A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
WO2017183129A1 (ja) * 2016-04-20 2017-10-26 日産自動車株式会社 情報表示方法及び表示制御装置
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制系统、控制处理方法及装置
EP3361352B1 (en) 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle
CN107219921B (zh) 2017-05-19 2019-09-27 京东方科技集团股份有限公司 一种操作动作执行方法及其系统
DE102017216737A1 (de) * 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Senden von Informationen von einem ersten Verkehrsteilnehmer an einen zweiten Verkehrsteilnehmer sowie zum Empfangen von Informationen, die von einem ersten Verkehrsteilnehmer an einen zweiten Verkehrsteilnehmer gesendet worden sind
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
WO2020019231A1 (en) * 2018-07-26 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for use with vehicle
WO2020037681A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 视频生成方法、装置及电子设备
JP6907250B2 (ja) * 2019-01-18 2021-07-21 矢崎総業株式会社 車両用表示装置
US20220165073A1 (en) * 2019-02-22 2022-05-26 Panasonic Intellectual Property Management Co., Ltd. State detection device and state detection method
WO2020208804A1 (ja) 2019-04-12 2020-10-15 三菱電機株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
JP7354056B2 (ja) * 2020-05-27 2023-10-02 本田技研工業株式会社 車両制御システム、及び車両制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034515A (ja) 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2010184600A (ja) 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP2011116248A (ja) * 2009-12-03 2011-06-16 Honda Motor Co Ltd 注視判定装置
JP2012187190A (ja) 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
JP2013069181A (ja) * 2011-09-26 2013-04-18 Honda Motor Co Ltd 顔向き検出装置
JP2013082445A (ja) * 2011-10-12 2013-05-09 Visteon Global Technologies Inc 適応表示システムの表示コンポーネントの制御方法
JP2013149257A (ja) * 2012-01-20 2013-08-01 Visteon Global Technologies Inc 適応インターフェースシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138755A (ja) * 2003-11-07 2005-06-02 Denso Corp 虚像表示装置およびプログラム
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
JP4622794B2 (ja) * 2005-10-07 2011-02-02 株式会社デンソー 画面移動型表示装置
JP2008157661A (ja) * 2006-12-21 2008-07-10 Denso It Laboratory Inc ナビゲーション装置
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
JP4702437B2 (ja) * 2008-11-25 2011-06-15 トヨタ自動車株式会社 車両用表示装置
JP2010127673A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp 車両用入力装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP5316430B2 (ja) * 2010-01-13 2013-10-16 株式会社デンソー 車両用ヘッドアップディスプレイ装置及びその製造方法
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
JP2013019964A (ja) * 2011-07-07 2013-01-31 Panasonic Corp 車両用画像表示装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034515A (ja) 2005-07-25 2007-02-08 Sony Computer Entertainment Inc 電気機器の制御装置、電気機器の制御方法、電気機器の制御プログラム及び電気機器の制御システム
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2010184600A (ja) 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP2011116248A (ja) * 2009-12-03 2011-06-16 Honda Motor Co Ltd 注視判定装置
JP2012187190A (ja) 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
JP2013069181A (ja) * 2011-09-26 2013-04-18 Honda Motor Co Ltd 顔向き検出装置
JP2013082445A (ja) * 2011-10-12 2013-05-09 Visteon Global Technologies Inc 適応表示システムの表示コンポーネントの制御方法
JP2013149257A (ja) * 2012-01-20 2013-08-01 Visteon Global Technologies Inc 適応インターフェースシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3046006A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210208584A1 (en) * 2020-01-07 2021-07-08 Toyota Jidosha Kabushiki Kaisha Moving body control device, moving body control method, and computer readable recording medium

Also Published As

Publication number Publication date
US20160004321A1 (en) 2016-01-07
EP3046006A1 (en) 2016-07-20
JP2015055999A (ja) 2015-03-23
CN105009032A (zh) 2015-10-28
JP6316559B2 (ja) 2018-04-25
EP3046006A4 (en) 2017-08-02
US9696814B2 (en) 2017-07-04
CN105009032B (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
JP6316559B2 (ja) 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US20170269684A1 (en) Vehicle display device
EP2974909A1 (en) Periphery surveillance apparatus and program
US20140136054A1 (en) Vehicular image system and display control method for vehicular image
US11741630B2 (en) Vehicle system with no-control operation
JP5093611B2 (ja) 車両周辺確認装置
JP6039074B2 (ja) 撮像システム
WO2018061413A1 (ja) ジェスチャ検出装置
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP6342874B2 (ja) 画像認識装置
CN109415018B (zh) 用于数字后视镜的方法和控制单元
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
TWI636395B (zh) 基於深度值之手勢操作方法及其系統
JP6700502B2 (ja) 車両用表示制御装置および表示制御方法
JP6234701B2 (ja) 車両用周囲モニタ装置
WO2013114871A1 (ja) 運転支援装置及び運転支援方法
WO2018193579A1 (ja) 画像認識装置
CN110015292B (zh) 车辆控制装置及车辆控制方法
JP2024018746A (ja) データ処理装置及びデータ処理方法
KR20150056235A (ko) 헤드업 디스플레이 장치 및 그 디스플레이 방법
WO2019004078A1 (ja) 周辺画像表示装置および表示制御装置
JP2016131362A (ja) 表示制御装置、投影装置、表示制御方法、表示制御プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14844118

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14769896

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014844118

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014844118

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE