WO2013175603A1 - 操作入力装置、操作入力方法及び操作入力プログラム - Google Patents

操作入力装置、操作入力方法及び操作入力プログラム Download PDF

Info

Publication number
WO2013175603A1
WO2013175603A1 PCT/JP2012/063303 JP2012063303W WO2013175603A1 WO 2013175603 A1 WO2013175603 A1 WO 2013175603A1 JP 2012063303 W JP2012063303 W JP 2012063303W WO 2013175603 A1 WO2013175603 A1 WO 2013175603A1
Authority
WO
WIPO (PCT)
Prior art keywords
operation input
operation object
article
detection reference
state
Prior art date
Application number
PCT/JP2012/063303
Other languages
English (en)
French (fr)
Inventor
誠 倉橋
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2014516581A priority Critical patent/JP5912177B2/ja
Priority to PCT/JP2012/063303 priority patent/WO2013175603A1/ja
Publication of WO2013175603A1 publication Critical patent/WO2013175603A1/ja

Links

Images

Classifications

    • B60K35/10—
    • B60K35/60—
    • B60K2360/146—
    • B60K2360/21—
    • B60K2360/782—

Definitions

  • the present invention relates to a method for inputting an operation to an apparatus using a change in the state of an operation article in an image photographed by a camera.
  • Patent Document 1 describes an interface device for operating on-vehicle equipment. This device captures a user's hand holding the handle from the back side of the handle and acquires a gesture. As a result, this apparatus photographs the hand in the state of pointing forward while grasping the handle and determines its shape.
  • Patent Document 2 describes a method of photographing a predetermined detection area including a hand of an occupant of a vehicle with a plurality of cameras, extracting the shape and movement of the hand based thereon, and determining an operation command.
  • Patent Documents 3 and 4 describe methods for performing operation input based on hand shapes and hand gestures.
  • An object of this invention is to provide the operation input apparatus which can perform the operation input based on a user's hand shape using a general camera.
  • the invention according to claim 1 is an operation input device for performing an operation input to a device mounted on a moving body, wherein a camera that captures the vicinity of a driver's seat of the moving body, and an image captured by the camera In the image, a detection reference area determining means for determining a detection reference area based on an entity installed near the driver's seat, and a relationship between the entity and an operation article used for operation input in the detection reference area
  • the operation object detection means for detecting the operation object
  • the operation object state estimation means for estimating the state of the detected operation object
  • the estimated operation object Operation determining means for specifying an operation input based on the state and outputting an operation signal corresponding to the operation input to the apparatus.
  • the invention described in claim 11 is an operation input method that is executed by an operation input device that includes a camera and inputs an operation to an apparatus mounted on a moving body, in a captured image captured by the camera.
  • a detection reference region determining step for determining a detection reference region based on an entity installed in the vicinity of the driver's seat and a relationship between the entity and the operation object used for operation input in the detection reference region
  • An operation article detection step for detecting the operation article, an operation article state estimation step for estimating the detected state of the operation article, and an estimated state of the operation article, based on restrictions on how the operation article is seen.
  • the invention according to claim 12 is an operation input program that is executed by an operation input device that includes a camera and performs an operation input to an apparatus mounted on a moving body, in a captured image captured by the camera.
  • a detection reference region determining step for determining a detection reference region based on an entity installed in the vicinity of the driver's seat and a relationship between the entity and the operation object used for operation input in the detection reference region
  • An operation article detection step for detecting the operation article, an operation article state estimation step for estimating the detected state of the operation article, and an estimated state of the operation article, based on restrictions on how the operation article is seen.
  • the operation input device is caused to execute an operation determination step of specifying an operation input based on the above and outputting an operation signal corresponding to the operation input to the device.
  • the installation state of a camera is shown typically.
  • An example of a hand shape is shown.
  • a detection reference area determining means for determining a detection reference area based on an entity installed in the vicinity of the driver's seat, and a relationship between the entity and an operation article used for operation input in the detection reference area;
  • An operation object detection unit that detects the operation object, an operation object state estimation unit that estimates a state of the detected operation object, and an estimated state of the operation object based on a restriction on how the operation object is seen
  • Operation determining means for specifying an operation input based on the above and outputting an operation signal corresponding to the operation input to the apparatus.
  • the above operation input device recognizes an operation input by a user based on a photographed image near the driver's seat of the moving body.
  • a detection reference region is determined from a photographed image obtained by a camera with reference to an entity near the driver's seat, for example, a steering wheel.
  • the operation article is detected based on the restriction on the appearance of the operation article determined by the relationship between the entity and the operation article used for operation input such as a finger / hand.
  • the state of the detected operation article is estimated, an operation input is specified based on the estimated operation object state, and an operation signal corresponding to the operation input is output to the apparatus.
  • operation input can be easily performed when a user performs a gesture with a hand, a finger, etc. near a driver's seat.
  • the moving body is a car
  • the entity is a handle installed near a driver's seat
  • the camera captures an area including the handle.
  • the detection reference area determination unit extracts a predetermined shape of the entity from the photographed image, and determines a part of the shape as the detection reference area. For example, the detection reference area determination unit extracts the shape of the handle as the entity and sets a part of the shape as the detection reference area.
  • the restriction on the appearance of the operation article is a restriction caused by a geometric relationship between the entity and the operation article.
  • the operation object detection means is configured to detect the finger position caused by a geometrical relationship such as the position, thickness, and orientation of the finger with respect to the handle when the finger or hand as the operation object is positioned on the handle as the entity. A finger or a hand as an operation object is detected based on the appearance.
  • the restriction on how the operation object is seen is that light reflection characteristics of each of the entity and the operation object in a state where the operation object is positioned on the entity. This is a restriction caused by the difference in appearance due to.
  • the operation object detection means detects a finger or a hand as an operation object based on a difference in brightness between a handle as an entity and a finger or hand as an operation object positioned thereon.
  • the operation article is a finger, and the state of the operation article is the number of fingers.
  • the operation object state estimation unit estimates the shape of the operation object as the state of the operation object.
  • the operation article state estimation means estimates the hand shape as the state of the hand that is the operation article.
  • the operation article state estimation means estimates the shape of the operation article extending outside the detection reference area based on the detection result of the operation article in the detection reference area.
  • the operation object state estimation means extracts at least one feature of luminance or color of the detected operation object, and detects a region applicable to the feature outside the detection reference region, thereby detecting the detection reference. A region of the operation article existing outside the region is detected to estimate the shape of the operation article.
  • the operation article is a hand
  • the shape of the operation article is the shape of the entire hand.
  • Another preferred embodiment of the present invention is an operation input method executed by an operation input device that includes a camera and inputs an operation to an apparatus mounted on a moving body, and the image is captured by the camera.
  • a detection reference area determination step for determining a detection reference area based on an entity installed near the driver's seat, and a relationship between the entity and the operation article used for operation input in the detection reference area
  • An operation object detection step for detecting the operation object
  • an operation object state estimation step for estimating the state of the detected operation object
  • the estimated operation object And an operation determining step of specifying an operation input based on the state and outputting an operation signal corresponding to the operation input to the device.
  • Another preferred embodiment of the present invention is an operation input program that is executed by an operation input device that includes a camera and performs an operation input on a device mounted on a moving body, and is an image captured by the camera In the image, a detection reference area determination step for determining a detection reference area based on an entity installed near the driver's seat, and a relationship between the entity and the operation article used for operation input in the detection reference area An operation object detection step for detecting the operation object, an operation object state estimation step for estimating the state of the detected operation object, and the estimated operation object
  • the operation input device is caused to execute an operation determination step of specifying an operation input based on the state of the operation and outputting an operation signal corresponding to the operation input to the device.
  • This operation input program can be stored and handled in a storage medium.
  • FIG. 1 shows a configuration of an operation input device according to an embodiment.
  • the operation input device is used for operation input to the in-vehicle device.
  • the in-vehicle device includes various devices mounted on the vehicle such as a car air conditioner, a car AV device, and a navigation device mounted on the vehicle.
  • the operation input device includes a camera 5 and an operation recognition processing unit 10.
  • the camera 5 is fixedly installed at a position where the user (car driver) takes a picture of the periphery of the steering wheel to be driven.
  • FIG. 2 schematically shows the installation state of the camera 5.
  • FIG. 2 is a side view of the driver sitting on the driver's seat and holding the handle 2.
  • the camera 5 is preferably installed near the sun visor in front of the driver's seat.
  • the camera 5 captures an area including the steering wheel (steering) 2, the dashboard 3, the left and right levers 4 (see FIG. 4A), etc. near the driver's seat, and the operation recognition processing unit 10 is output. Since the driver operates the handle 2 while driving the vehicle, the driver's hand and fingers are included in the captured image.
  • the handle 2 in the driver's seat has the same shape, size, and arrangement in many types of automobiles and is black or a color close to black.
  • the camera 5 is not a special camera such as a distance measuring camera, an infrared camera, or a stereo camera, but is a normal camera and can capture, for example, 30 frames per second.
  • the camera 5 is not provided with an infrared cut filter that is usually provided.
  • an infrared irradiation device for auxiliary light is provided in the vicinity of the camera 5 to irradiate infrared rays in the vicinity of the handle 2 at night. Accordingly, the camera 5 can be photographed around the user's hand even at night.
  • the operation recognition processing unit 10 receives and analyzes a video (a continuous frame image of 30 frames per second) taken by the camera 5, and recognizes an operation (gesture) performed around the handle 2. And if operation is recognized, the operation recognition process part 10 will output an operation signal with respect to the vehicle equipment of operation object.
  • the operation recognition processing unit 10 is realized by software processing using a computer.
  • the operation recognition processing unit 10 includes a detection reference area determination unit 11, an operation object detection unit 12, an operation object state estimation unit 13, and an operation determination unit 14.
  • the detection reference area determination unit 11 analyzes the captured image input from the camera 5 and determines the detection reference area. This is called “detection reference region determination processing”.
  • the detection reference area refers to an area that becomes a reference in recognizing an operation input by a user in a captured image.
  • the operation object detection unit 12 detects an operation object (for example, a user's finger or hand) used by the user for operation input based on the detection reference area determined by the detection reference area determination process. This is called “operation object detection processing”.
  • operation object detection processing detects an operation object (for example, a user's finger or hand) used by the user for operation input based on the detection reference area determined by the detection reference area determination process. This is called “operation object detection processing”.
  • the operation article state estimation unit 13 estimates the state of the operation article detected by the operation article detection process. This is called “operation article state estimation processing”. Specifically, the operation article state estimation unit 13 estimates the shape of the operation article of the user's finger or hand.
  • the operation determination unit 14 determines an operation corresponding to the state of the operation article estimated by the operation article state estimation process, and outputs an operation signal.
  • FIG. 3 is a flowchart of the operation recognition process.
  • the operation recognition processing unit 10 includes a detection reference region determination process (step S11), an operation object detection process (step S12), an operation object state estimation process (step S13), and an operation determination process (step S14) is executed.
  • step S11 detection reference region determination process
  • step S12 operation object detection process
  • step S13 operation object state estimation process
  • step S14 operation determination process
  • the detection reference region determination unit 11 of the operation recognition processing unit 10 performs detection reference region determination processing (step S11). Specifically, the detection reference area determination unit 11 first detects the handle 2 as an entity from the captured image input from the camera 5, and then determines the detection reference area using the handle 2 as a starting point.
  • the position, size, and shape of the handle 2 in the captured image can be generally predicted.
  • An example of a photographed image including the handle 2 is shown in FIG.
  • the captured image includes a handle 2, a dashboard 3, a lever 4, and the like.
  • the detection reference area determination unit 11 obtains an edge (luminance gradient) from the captured image, detects an elliptical edge by matching an ellipse with various parameters, and interprets this as the outer peripheral part of the handle 2. Specifically, as illustrated in FIG. 4B, the detection reference region determination unit 11 detects an ellipse 2x corresponding to the outer peripheral portion of the handle 2.
  • the surrounding image of the handle 2 can be obtained by removing dynamic factors such as sunlight, shadows and driver's hands. Can be generated.
  • “a certain amount of time” is a level at which it can be said that there is a sufficiently small change in the sun and a bias in the appearance of the driver's hand.
  • the photographed image used for detecting the handle 2 includes photographed images such as a case where light from various directions hits or is cloudy in a few days, during driving or other than driving. Note that it is not always necessary to superimpose captured images of all times. For example, a frame image may be cut out under conditions such as when the sunlight changes, when driving is started, or when driving is stopped.
  • the ellipse 2x corresponding to the outer periphery of the handle 2 may be selected on the condition that This is a condition assuming that the driver's hand holds the same position of the handle 2 for a long time. For example, even if a semi-circular edge similar to the steering wheel 2 is detected from the boundary of the dashboard 3, it is possible for the driver to hold the hand over the dashboard 3 for a long time like the steering wheel 2. Therefore, the semicircular edge can be excluded from the handle candidates.
  • the detection reference area is determined based on the ellipse 2x detected as described above and corresponding to the outer periphery of the handle 2 as an entity. Specifically, as shown in FIG. 4C, an arc shape having a predetermined width from an arc in a predetermined range on the upper side of the ellipse 2x corresponding to the detected outer peripheral portion of the handle 2 toward the inner side of the ellipse. This area is formed, and this is determined as the detection reference area DA.
  • the “upper side” referred to here is a side of the ellipse 2x corresponding to the outer periphery of the handle 2 that the driver recognizes as the upper side of the handle 2.
  • the “predetermined range” is, for example, a range of 45 degrees from the right above the ellipse 2x (the 12 o'clock position of the clock) to the left and right.
  • the predetermined range corresponds to a range where the operator performs a gesture operation.
  • the “predetermined width” is, for example, 0.2 times the radius of the minor axis of the ellipse 2x.
  • the predetermined width corresponds to the width of the handle 2.
  • the detection reference area may be determined when it is detected from the image of the camera 5 that the positional relationship has changed. Further, the detection reference area may be redetermined in accordance with a switch operation by the user.
  • FIG. 5 schematically shows a state where three fingers are placed on the handle 2.
  • the direction of the finger is the direction across the detection reference area DA.
  • the width of the finger can be determined by assuming the scale of the handle 2 from the apparent size of the handle 2 and estimating the apparent finger thickness when the finger is placed on the handle 2. Also, assuming that the handle surface is dark, the finger looks brighter than the surface of the handle 2 when the finger is placed, and a steep change in luminance value appears on the boundary between the handle 2 surface and the finger area. It can also be assumed that it exists in a shape. If the handle 2 is white, it can be assumed that the finger appears darker than the surface of the handle 2 when the finger is placed. Here, the description will be made assuming that the handle 2 is dark.
  • the operation object detection unit 12 performs operation object detection processing (step S12).
  • an operation object (finger / hand) is detected in the detection reference region.
  • the operation object detection processing unit 12 detects the operation object based on the restriction on the appearance of the operation object determined by the relationship between the entity and the operation object.
  • the finger / hand that is the operation object is detected based on the restriction of the appearance of the finger / hand determined by the relationship between the handle 2 that is the entity and the finger / hand that is the operation object.
  • the restriction on the appearance of the operation article is a restriction caused by a geometric relationship between the entity and the operation article in a state where the operation article is positioned on the entity.
  • “Geometric relationship” includes position, thickness, orientation, and the like. That is, the finger as the operation object is detected based on the position, thickness, orientation, and the like of the finger as the operation object with respect to the handle 2 as the entity.
  • the restriction on the appearance of the operation object is a restriction caused by the difference in the appearance due to the reflection characteristics of the light of the object and the operation object when the operation object is located on the object. is there.
  • the handle 2 has a dark color close to black, and a white (bright) region close to white located on the black handle 2 can be detected as a finger that is an operation object. .
  • FIG. 6 is a flowchart of the operation object detection process.
  • the operation article detection unit 12 extracts a luminance value of each pixel in the detection reference area DA from the photographed image, and obtains a straight line across the detection reference area DA by obtaining the intensity and direction of the luminance value gradient in each pixel. Extract (step S21).
  • the luminance value gradient in a certain pixel refers to a gradient formed by the luminance values of a plurality of pixels that are adjacent to the pixel with the pixel as the center.
  • An example of a straight line crossing the detection reference area DA is shown in FIG.
  • the operation object detection unit 12 aggregates the intensity and direction of the luminance value gradient for a plurality of pixels constituting one extracted straight line (step S22). For a plurality of pixels constituting the straight line, the intensity of the luminance value gradient at the pixel is stronger than a predetermined value, and the direction of the luminance value gradient is substantially orthogonal to the straight line. If there is a predetermined ratio or more (step S23: Yes), the straight line is set as a boundary candidate of the operation article (step S24).
  • the boundary of the operation article specifically corresponds to the left and right boundary lines of the operation article such as a finger or a hand crossing the handle 2.
  • the boundary candidate of the operation article is classified into two types depending on which one of the left and right areas of the boundary candidate is bright and which is dark in the detection reference area DA.
  • step S24 as shown in FIG. 7B, one straight line is selected from either the left boundary candidate 31 that is dark on the left side and bright on the right side and the right boundary candidate 32 that is bright on the left side and dark on the right side. Is detected.
  • the processing in steps S22 to S24 is executed for all the crossing straight lines extracted in step S21, and boundary candidates are extracted.
  • the operation article detection unit 12 uses the pair of the left boundary candidate 31 and the right boundary candidate 32 as an operation object candidate, and identifies all operation object candidates from all the boundary candidates extracted in steps S22 to S25 ( Step S26).
  • the operation object candidate specifies a pair in which the left boundary candidate 31 and the right boundary candidate are arranged in this order from the left side. In other words, a pair of the left boundary candidate 31 and the right boundary candidate 32 located on the right side thereof is specified.
  • the operation object candidate is a combination of the two boundary candidates being bright inside and dark outside, and is assumed to be an operation object such as a finger placed on the dark handle 2. be able to.
  • the operation object detection unit 12 sets the operation object candidate as the operation object. Detection is performed (step S28).
  • a condition for determining the operation object candidate as the operation object it may be added that the two boundary candidates forming the operation object candidate are substantially parallel.
  • operation object candidates 35 and 36 exist.
  • the operation object candidate 35 corresponds to the width of a general human finger, it is detected as an operation object (finger).
  • the operation object candidate 36 is narrower than the width of a general human finger, it is not detected as an operation object (finger).
  • step S29 Yes
  • all the operation objects (finger / hand) included in the photographed image are detected.
  • the operation article state estimation unit 13 performs an operation article state estimation process (step S13).
  • the state of the operation object detected by the operation object detection unit 12, specifically, the shape of a finger or a hand is estimated.
  • the state of the operation article corresponds to the operation command input by the user.
  • the first method uses information of a finger that is simply detected as the state of the operation article.
  • the operation article state estimation unit 13 estimates the number of detected fingers, that is, the “number of fingers” put out on the handle 2 for operation as the state of the operation article. In this case, the number of fingers corresponds to the operation command.
  • an angle (for example, an angle formed by the boundary line of the finger with respect to a reference line connecting the center of the handle 2 and the outer periphery of the handle at the position where the finger is detected) may be used as the state of the operation object corresponding to the operation command.
  • the operation article state estimation unit 13 also performs a process of associating the position of the operation article such as a finger among a plurality of frames included in the captured image from the camera 5. Thereby, the hand movement between frames of the captured image can be used as the state of the operation article.
  • (2) Second Method uses the shape of the entire hand (hereinafter referred to as “hand shape”) as the state of the operation article. For example, the hand shapes A to D shown in FIG. 8 are associated with the operation commands.
  • the operation object state estimation unit 13 determines whether the operation object (hand) detected by the operation object detection unit 12 indicates any of the hand shapes A to D.
  • the operation object is detected only in the detection reference area DA (on the handle 2), so that it is difficult to determine the hand shape by itself.
  • the hand shape A and the hand shape B shown in FIG. 8 both have the detection results shown in FIG. 9B in the detection reference area DA, and it is difficult to distinguish them. Therefore, the following processing is performed to estimate the hand shape.
  • the operation article state estimation unit 13 extracts only the hand shape that is currently detected on the detection reference area DA from the hand shapes to be determined. Assuming that only the hand shapes A to D are used, if the shape of the operation object detected on the detection reference area DA is the shape shown in FIG. 9A, the detected hand shape of the operation object is the hand shape. C or hand shape D can be estimated, and hand shape A and hand shape B can be excluded.
  • the operation article state estimation unit 13 extracts the feature of the appearance of the operation article detected on the detection reference area DA. Specifically, the operation article state estimation unit 13 extracts color information (skin color).
  • the method of detecting a hand by color may not always be used stably in various environments because the appearance of the skin color may change depending on the shooting environment such as outside light.
  • the operation object detection unit 12 has another condition that is more appropriate than the color information, that is, the restriction on the appearance of the operation object (finger / hand) in the detection reference area DA (specifically, the operation object is Since the operation article is detected based on whether or not the handle 2 is overlaid, the operation article state estimation unit 13 does not need to detect a finger or a hand based on the color information (skin color). Conversely, if color information or luminance information is extracted from the region of the operation object (finger / hand) detected by the operation object detection unit 12, the operation object state estimation unit 13 determines the skin color of the person at that time. The appearance can be acquired accurately. Therefore, the operation article state estimation unit 13 acquires how the person's skin color looks from the color information or luminance information of the area detected as the operation article (finger / hand) by the operation article detection unit 12.
  • the operation article state estimation unit 13 detects an operation article area (hand area) other than the detection reference area DA from the photographed image using the acquired color information or luminance information. Specifically, in the vicinity of the detection reference area DA in the photographed image, an area having a color or luminance that is the same as or close to the color of the previously obtained operation article (finger / hand) is defined as the operation article area (hand area). Extract. At this time, the operation object state estimation unit 13 detects an operation object region other than the detection reference region DA by using a correlation with a captured image in a state where the operation object (finger / hand) does not exist in the detection reference region DA. It is preferable.
  • the operation object state estimation unit 13 is formed by combining the operation object region (hand region) detected within the detection reference region and the operation object region (hand region) detected outside the detection reference region. It is determined whether or not the hand shape is one of the hand shapes A to D shown in FIG. In this case, the operation article state estimation unit 13 can determine the hand shape by a shape matching process by simple superposition. The operation article state estimation unit 13 may perform the shape matching process by assigning a higher weight to the hand region detected in the detection reference region than the hand region detected outside the detection reference region. Good.
  • the operation article state estimation unit 13 estimates the state (number of fingers, hand shape, etc.) of the operation article corresponding to the operation command by executing the first method and the second method.
  • the operation determination unit 14 performs an operation determination process (step S14). Specifically, the operation determination unit 14 specifies an operation command input by the user based on the estimation result of the operation article state estimation unit 13. As described above, the state of the operation article (number of fingers, hand shape, etc.) is associated with a predetermined operation command. Therefore, the operation determination unit 14 determines that the operation command corresponding to the operation object state estimated by the operation object state estimation unit 13 is the operation command input by the user, and outputs an operation signal corresponding to the operation command. .
  • the operation determination unit 14 corresponds to the hand shape.
  • the operation signal of the operation command is output once.
  • the operation determination unit 14 outputs the movement amount as an operation signal. For example, the operation article state estimation unit 13 estimates that one finger is at a position of 0 degree on the handle at a certain time and one finger is at a position of 3 degrees on the handle at the next time.
  • the operation determination unit 14 determines that the finger has moved a distance corresponding to 3 degrees from the left to the right between the two time points, and outputs an operation signal corresponding to the movement amount.
  • the operation state estimating unit 13 detects any of the hand shapes A to D
  • the operation determining unit 14 outputs an operation command corresponding to the hand shape.
  • the operation recognition processing unit 10 can interpret an operation input performed by the user using an operation object such as a finger / hand in the detection reference area, and can output an operation signal corresponding to the operation input. .
  • the operation input is performed by using the handle of the vehicle as the detection reference region and using the finger or hand as the operation object. This has the following advantages.
  • the handle Since the handle has almost the same shape and position regardless of the type of car, and is fixedly arranged, it is easy to detect with a camera.
  • the operation object can be detected easily. This is because the way the fingers are visible can be limited. That is, by using the handle as a base, it is easy to limit the range in which the user puts out the finger, compared to the case where the finger pointing gesture is performed at a free position in the air.
  • the shape of the hand that is not on the handle (the region outside the handle) can be detected with high accuracy.
  • the appearance information (for example, skin color or brightness at that time) of the operation article is extracted from the information of the operation article detected on the handle, and can be used to detect the operation article region from the area other than the handle. . Thereby, the detection accuracy of the operation article region can be increased.
  • the method in which the user performs a gesture on the handle is a type of display in which an image is displayed forward, such as a head-up display (HUD), compared to a method in which the user performs a gesture near the handle or near the shift lever.
  • HUD head-up display
  • the detection reference area can be set by using an in-vehicle structure that can be seen in the same manner as the steering wheel, such as an edge of the dashboard and a lever around the steering wheel.
  • the present invention can be used as an interface for operation input of equipment mounted on a vehicle.

Abstract

　操作入力装置は、移動体の運転席付近の撮影画像に基づいて、利用者による操作入力を認識する。まず、カメラにより得られた撮影画像から、運転席付近の実体物、例えばハンドルを基準として、検出基準領域が決定される。次に、検出基準領域において、実体物と、例えば指／手などの操作入力に使用される操作物との関係により決まる操作物の見え方の制約に基づいて、操作物が検出される。そして、検出された操作物の状態が推定され、推定された操作物の状態に基づいて操作入力が特定され、当該操作入力に対応する操作信号が装置へ出力される。

Description

操作入力装置、操作入力方法及び操作入力プログラム
　本発明は、カメラで撮影した画像中における操作物の状態の変化を利用して、装置に対する操作を入力する手法に関する。
　装置に対して操作入力を行うインターフェースとして各種の手法が提案されている。特に、車両の運転席のハンドル付近におけるユーザの手形状を利用して機器のための操作入力を行う手法として、以下のものが提案されている。
　特許文献１は、車載機器の操作のためのインターフェース装置を記載している。この装置は、ハンドルを把持したユーザの手をハンドルの裏側から撮影し、ジェスチャを取得する。これにより、この装置は、ハンドルを握りながら前方を指差す状態の手を撮影し、その形状を判定する。
　特許文献２は、車両の乗員の手を含む所定の検出領域を複数のカメラにより撮影し、それに基づいて手の形状や動きを抽出し、操作コマンドを判定する手法を記載している。
　その他、手形状や手によるジェスチャに基づいて操作入力を行う手法が特許文献３、４に記載されている。
特開２００７－１６４８１４号公報 特開２００６－３３５１１２号公報 特開２００７－１６４８１４号公報 特開２００６－３３５１１２号公報
　しかし、上記の特許文献に記載の手法では、ハンドルにカメラを取り付けたり、複数のカメラや特殊なカメラを使用したりする必要がある。
　本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、一般的なカメラを用いてユーザの手形状に基づいた操作入力を行うことが可能な操作入力装置を提供することを目的とする。
　請求項１に記載の発明は、移動体に搭載される装置に対して操作入力を行う操作入力装置であって、前記移動体の運転席付近を撮影するカメラと、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定手段と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出手段と、検出された前記操作物の状態を推定する操作物状態推定手段と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定手段と、を備えることを特徴とする。
　請求項１１に記載の発明は、カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力方法であって、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、検出された前記操作物の状態を推定する操作物状態推定工程と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、を有することを特徴とする。
　請求項１２に記載の発明は、カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、検出された前記操作物の状態を推定する操作物状態推定工程と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、を前記操作入力装置に実行させることを特徴とする。
実施例に係る操作入力装置の構成を示すブロック図である。 カメラの設置状態を模式的に示す。 操作認識処理のフローチャートである。 検出基準領域の決定方法を説明する図である。 手形状の例を示す。 操作物検出処理のフローチャートである。 操作物の検出方法を説明する図である。 操作物状態の推定方法を説明する図である。 操作物状態の推定方法を説明する図である。
　本発明の好適な実施形態では、移動体に搭載される装置に対して操作入力を行う操作入力装置は、前記移動体の運転席付近を撮影するカメラと、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定手段と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出手段と、検出された前記操作物の状態を推定する操作物状態推定手段と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定手段と、を備える。
　上記の操作入力装置は、移動体の運転席付近の撮影画像に基づいて、利用者による操作入力を認識する。まず、カメラにより得られた撮影画像から、運転席付近の実体物、例えばハンドルを基準として、検出基準領域が決定される。次に、検出基準領域において、実体物と、例えば指／手などの操作入力に使用される操作物との関係により決まる操作物の見え方の制約に基づいて、操作物が検出される。そして、検出された操作物の状態が推定され、推定された操作物の状態に基づいて操作入力が特定され、当該操作入力に対応する操作信号が装置へ出力される。これにより、運転席付近において利用者が手や指などでジェスチャを行うことにより、容易に操作入力を行うことができる。
　上記の操作入力装置の一態様では、前記移動体は自動車であり、前記実体物は運転席付近に設置されたハンドルであり、前記カメラは前記ハンドルを含む領域を撮影する。
　上記の操作入力装置の他の一態様では、前記検出基準領域決定手段は、予め決められた前記実体物の形状を前記撮影画像から抽出し、その一部分を前記検出基準領域に決定する。例えば、検出基準領域決定手段は、実体物としてのハンドルの形状を抽出し、その一部を検出基準領域とする。
　上記の操作入力装置の他の一態様では、前記操作物の見え方の制約は、前記実体物と前記操作物との間の幾何学的な関係に起因して生じる制約である。例えば、操作物検出手段は、実体物としてのハンドル上に操作物としての指や手が位置する状態において、ハンドルに対する指の位置、太さ、向きなどの幾何学的な関係に起因する指の見え方に基づいて、操作物としての指や手を検出する。
　上記の操作入力装置の他の一態様では、前記操作物の見え方の制約は、前記実体物上に前記操作物が位置する状態において、前記実体物と前記操作物のそれぞれの光の反射特性による見え方の差に起因して生じる制約である。例えば、操作物検出手段は、実体物としてのハンドルと、その上に位置する操作物としての指や手の明るさの違いにより、操作物としての指や手を検出する。
　１つの好適な例では、前記操作物は指であり、前記操作物の状態は指の本数である。
　上記の操作入力装置の他の一態様では、前記操作物状態推定手段は、前記操作物の状態として、前記操作物の形状を推定する。例えば、操作物状態推定手段は、操作物である手の状態として手形状を推定する。具体的には、前記操作物状態推定手段は、前記検出基準領域内における前記操作物の検出結果に基づいて、前記検出基準領域外にまたがる前記操作物の形状を推定する。また、前記操作物状態推定手段は、検出された前記操作物の輝度あるいは色の少なくとも一方の特徴を抽出し、前記検出基準領域外で、その特徴に当てはまる領域を検出することにより、前記検出基準領域外に存在する前記操作物の領域を検出して前記操作物の形状を推定する。好適な例では、前記操作物は手であり、前記操作物の形状は手全体の形状である。
　本発明の他の好適な実施形態は、カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力方法であって、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、検出された前記操作物の状態を推定する操作物状態推定工程と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、を有する。
　本発明の他の好適な実施形態は、カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、検出された前記操作物の状態を推定する操作物状態推定工程と、推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、を前記操作入力装置に実行させる。この操作入力プログラムは、記憶媒体に記憶して取り扱うことができる。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［装置構成］
　図１は、実施例に係る操作入力装置の構成を示す。本実施例では、操作入力装置は、車載機器に対する操作入力に使用される。ここで、車載機器とは、車両に搭載されるカーエアコン、カーＡＶ機器、ナビゲーション装置など、車両に搭載される各種の機器を含む。
　図１に示すように、操作入力装置は、カメラ５と、操作認識処理部１０とを含む。カメラ５は、使用者（自動車の運転者）が、運転操作するハンドルの周辺を撮影する位置に固定して設置される。図２は、カメラ５の設置状態を模式的に示す。図２は、運転者が運転席に座ってハンドル２を握っている状態を側方から見た図である。
　カメラ５の設置場所は、運転席の頭上の正面前方のサンバイザー付近が好ましい。これにより、カメラ５は、運転席付近のハンドル（ステアリング）２、ダッシュボード３、左右のレバー４（図４（Ａ）を参照）などを含む領域を撮影し、その撮影画像を操作認識処理部１０へ出力する。車両の運転中に運転者はハンドル２を操作するため、運転者の手や指なども撮影画像に含まれることになる。なお、本実施例では、運転席にあるハンドル２は、多くの車種の自動車で同じような形状、大きさ、配置であり、黒色又は黒色に近い色であると想定する。
　本実施例では、カメラ５は、距離計測カメラ、赤外線カメラ、ステレオカメラ等の特殊なものではなく、通常のカメラとし、例えば秒間３０フレームを撮影できるものとする。ただし、カメラ５には、通常は設けられていることが多い赤外線カットフィルタを設けない。また、カメラ５の近傍に補助光の赤外線照射装置を設けて、夜間はハンドル２の付近に赤外線を照射する。これにより、夜間でも使用者の手元周辺をカメラ５で撮影できるようにする。
　操作認識処理部１０は、カメラ５が撮影した映像（秒間３０フレームの連続するフレーム画像）を受け取って解析し、ハンドル２の周辺で行われる操作（ジェスチャ）を認識する。そして、操作を認識すると、操作認識処理部１０は、操作対象の車載機器に対して、操作信号を出力する。この実施例では、操作認識処理部１０は、コンピュータを用いたソフトウェア処理により実現される。
　図１に示すように、操作認識処理部１０は、検出基準領域決定部１１と、操作物検出部１２と、操作物状態推定部１３と、操作決定部１４と、を備える。
　検出基準領域決定部１１は、カメラ５から入力された撮影画像を解析し、検出基準領域を決定する。これを、「検出基準領域決定処理」という。検出基準領域とは、撮影画像において、利用者による操作入力を認識する際に基準となる領域をいう。
　操作物検出部１２は、検出基準領域決定処理により決定された検出基準領域に基づいて、利用者が操作入力に使用する操作物（例えば利用者の指や手）を検出する。これを「操作物検出処理」という。
　操作物状態推定部１３は、操作物検出処理により検出された操作物の状態を推定する。これを「操作物状態推定処理」と呼ぶ。具体的には、操作物状態推定部１３は、利用者の指や手の操作物の形状を推定する。
　操作決定部１４は、操作物状態推定処理により推定された操作物の状態に基づいて、それに対応する操作を決定し、操作信号を出力する。
　[操作認識処理]
　次に、操作認識処理部１０により実行される操作認識処理について詳しく説明する。図３は、操作認識処理のフローチャートである。図３に示すように、操作認識処理部１０は、検出基準領域決定処理（ステップＳ１１）、操作物検出処理（ステップＳ１２）、操作物状態推定処理（ステップＳ１３）、及び、操作決定処理（ステップＳ１４）を実行する。以下、順に説明する。
　（１．検出基準領域決定処理）
　操作認識処理部１０の検出基準領域決定部１１は、検出基準領域決定処理を行う（ステップＳ１１）。具体的に、検出基準領域決定部１１は、まずカメラ５から入力された撮影画像から、実体物としてのハンドル２を検出し、次に、ハンドル２をよりどころとして検出基準領域を決定する。
　まず、ハンドル２の検出について説明する。運転席上部から見下ろすように設置されるカメラの設置条件と、多くの車種でハンドルが同じような位置・大きさ・形と想定されるという運転席構造とから、ハンドル２の見え方、即ち、撮影画像中でのハンドル２の位置・大きさ・形状は概ね予想できる。ハンドル２を含む撮影画像の例を図４（Ａ）に示す。この例では、撮影画像は、ハンドル２、ダッシュボード３、レバー４などを含んでいる。
　検出基準領域決定部１１は、撮影画像からエッジ（輝度勾配）を求め、様々なパラメータの楕円をマッチングすることにより、楕円形状のエッジを検出し、これをハンドル２の外周部と解釈する。具体的に、図４（Ｂ）に示すように、検出基準領域決定部１１はハンドル２の外周部に相当する楕円２ｘを検出する。
　カメラ５とハンドル２はいずれも固定されているため、ある程度の時間にわたって撮影した撮影画像を重ね合わせれば、日当り・影や運転者の手などの動的要因を取り除いた、ハンドル２の周辺画像を生成できる。ここで、「ある程度の時間」とは、日当りの変化や運転者の手の見え方の偏りが十分少ないと言える程度である。ハンドル２の検出に使用される撮影画像は、数日間で、運転中・運転中以外、様々な方向からの光が当る場合、曇りの場合などの撮影画像を含む。なお、必ずしも全ての時間の撮影画像を重ね合わせる必要はなく、例えば日当たりが変わった時や、運転を始めた時、運転をやめた時などの条件で、フレーム画像を切り出してもよい。
　また、撮影画像中に複数の楕円が検出されるような場合は、複数の楕円の中から、車が走行している間に比較的長時間にわたって楕円中の同じような位置が隠れて見えることを条件に、ハンドル２の外周部に相当する楕円２ｘを選択するようにしてもよい。これは、運転者の手が長時間にわたってハンドル２の同じような位置を握っていることを想定した条件である。例えば、ダッシュボード３の境界からハンドル２に似た半円状のエッジが検出されたとしても、ダッシュボード３に対して、ハンドル２のように運転者が長時間にわたって手を添えていることはないので、その半円状のエッジはハンドル候補から除外することができる。
　次に、検出基準領域の決定について説明する。上記のようにして検出された、実体物としてのハンドル２の外周部に相当する楕円２ｘを基準に検出基準領域が決定される。具体的には、図４（Ｃ）に示すように、検出されたハンドル２の外周部に相当する楕円２ｘの上側の所定の範囲の弧から、楕円の内側に向かって所定の幅の円弧状の領域を形成し、これを検出基準領域ＤＡとして決定する。ここで言う「上側」とは、ハンドル２の外周部に相当する楕円２ｘのうち、運転者がハンドル２の上側と認識する側である。「所定の範囲」は、例えば、楕円２ｘの真上（時計の１２時の位置）から左右にそれぞれ４５度の範囲とする。所定の範囲は、操作者がジェスチャ操作する範囲に相当する。また、「所定の幅」は、例えば、楕円２ｘの短軸の半径の０．２倍とする。所定の幅は、ハンドル２のわっかの幅に相当する。
　検出基準領域の決定は、カメラ５を設置したとき、ハンドル２の位置を調整するなどしてカメラ５とハンドル２の位置関係が変わったときに行う必要がある。具体的には、位置関係が変化したことをカメラ５の画像から検出したときに検出基準領域の決定を行ってもよい。また、利用者によるスイッチ操作などに応じて、検出基準領域の再決定を行うようにしてもよい。
　（２．操作物検出処理）
　検出基準領域が決まれば、利用者がハンドル２に触れるように指を置いた場合の見え方を、検出基準領域を基準にして想定することができる。即ち、ハンドル２に指を置いた場合の指の向きや指の幅を想定することができる。図５は、ハンドル２に３本の指を置いた状態を模式的に示す。
　具体的に、指の向きは検出基準領域ＤＡを横切る方向となる。指の幅は、ハンドル２の見た目の大きさからハンドル２のスケールを想定し、ハンドル２上に指を置いた時の見た目上の指の太さを推定することにより決定できる。また、ハンドル表面は暗い色であるとの想定から、指を置いた場合に指はハンドル２の表面よりも明るく見え、ハンドル２の表面と指領域の境界には急峻な輝度値の変化が線状に存在することも想定できる。なお、ハンドル２が白い色であれば、指を置いた時に指がハンドル２の表面より暗く見えることも想定できる。なお、ここではハンドル２は暗い色との想定で説明を進める。
　操作物検出部１２は操作物検出処理を行う（ステップＳ１２）。操作物検出処理は、検出基準領域において操作物（指／手）を検出する。具体的には、操作物検出処理部１２は、実体物と操作物との関係により決まる操作物の見え方の制約に基づいて、操作物を検出する。本実施例では、実体物であるハンドル２と、操作物である指／手との関係により決まる指／手の見え方の制約に基づいて、操作物である指／手が検出される。
　１つの例では、操作物の見え方の制約は、実体物上に操作物が位置する状態において、実体物と操作物との間の幾何学的な関係に起因して生じる制約である。「幾何学的な関係」は位置、太さ、向きなどを含む。即ち、実体物としてのハンドル２に対する操作物としての指の位置、太さ、向きなどに基づいて、操作物である指が検出される。
　別の例では、操作物の見え方の制約は、実体物上に操作物が位置する状態において、実体物と操作物のそれぞれの光の反射特性による見え方の差に起因して生じる制約である。本実施例では前述のようにハンドル２は黒色に近い暗い色を有しており、黒色のハンドル２上に位置する、白色に近い（明るい）領域を操作物である指として検出することができる。
　図６は、操作物検出処理のフローチャートである。まず、操作物検出部１２は、撮影画像から検出基準領域ＤＡ内の各ピクセルの輝度値を抽出し、各ピクセルにおける輝度値勾配の強度と方向を求めることにより、検出基準領域ＤＡを横切る直線を抽出する（ステップＳ２１）。なお、あるピクセルにおける輝度値勾配とは、そのピクセルを中心としそのピクセルに隣接する複数のピクセルの輝度値が作る勾配をいう。検出基準領域ＤＡを横切る直線の例を図７（Ａ）に示す。
　次に、操作物検出部１２は、抽出された１つの直線を構成する複数のピクセルについて、輝度値勾配の強度及び方向を集計する（ステップＳ２２）。そして、その直線を構成する複数のピクセルについて、そのピクセルにおける輝度値勾配の強度が予め決められた所定値よりも強く、かつ、その輝度値勾配の方向がその直線と概ね直交しているものが所定割合以上存在する場合に（ステップＳ２３：Ｙｅｓ）、その直線を操作物の境界候補とする（ステップＳ２４）。操作物の境界候補は、具体的にはハンドル２を横切る指又は手などの操作物の左右の境界線に相当する。
　なお、操作物の境界候補は、検出基準領域ＤＡにおいてその境界候補の左右の領域のいずれが明るくいずれが暗いかにより２種類に区別される。具体的には、ステップＳ２４では、１つの直線が、図７（Ｂ）に示すように、左側が暗く右側が明るい左側境界候補３１と、左側が明るく右側が暗い右側境界候補３２のうちのいずれかであるかが検出される。こうして、ステップＳ２１で抽出された全ての横切る直線についてステップＳ２２～Ｓ２４の処理が実行され、境界候補が抽出される。
　次に、操作物検出部１２は、左側境界候補３１と右側境界候補３２のペアを操作物候補とし、ステップＳ２２～Ｓ２５で抽出された全ての境界候補から、全ての操作物候補を特定する（ステップＳ２６）。ここで、操作物候補は、左側境界候補３１と右側境界候補が左側からこの順で並んでいるペアを特定する。言い換えると、左側境界候補３１と、その右側に位置する右側境界候補３２とのペアを特定する。操作物候補は、図７（Ｃ）に示すように、２つの境界候補の内側が明るく、外側が暗いという組み合わせであり、暗い色のハンドル２上に置かれた指などの操作物と推測することができる。
　次に、操作物検出部１２は、その操作物候補の幅（即ち、明るい部分の幅）が操作物（利用者の指又は手）として適切と考えられる場合、その操作物候補を操作物として検出する（ステップＳ２８）。なお、操作物候補を操作物と決定する条件として、その操作物候補を形成する２つの境界候補がほぼ平行であることを追加してもよい。
　図７（Ｃ）の例では操作物候補３５、３６が存在する。この場合、操作物候補３５は一般的な人間の指の幅に相当するので操作物（指）として検出される。一方、操作物候補３６は一般的な人間の指の幅より狭いので、操作物（指）として検出されない。
　こうして、全ての操作物候補についてステップＳ２７～Ｓ２９の処理が行われると（ステップＳ２９：Ｙｅｓ）、撮影画像に含まれる全ての操作物（指／手）が検出されたこととなる。
　（３．操作物状態推定処理）
　次に、操作物状態推定部１３は操作物状態推定処理を行う（ステップＳ１３）。操作物状態推定処理は、操作物検出部１２が検出した操作物の状態、具体的には指又は手の形状を推定する。操作物の状態は、利用者により入力された操作命令に対応するものである。操作物の状態の推定には２つの方法がある。
　（１）第１の方法
　第１の方法は、操作物の状態として、単純に検出された指の情報を使うものである。例えば、操作物状態推定部１３は、操作物の状態として、検出された指の本数、即ち操作のためにハンドル２上に出された「指本数」を推定する。この場合、指本数が操作命令に対応することになる。
　これに加えて、検出された複数の指の間の距離（指の開き方）、ハンドル２に対する指の位置（例えば、ハンドル２のなす円弧上の何度の位置に指が存在するか）、角度（例えば、ハンドル２の中心と、指を検出した位置のハンドル外周とを結ぶ基準線に対する、指の境界線のなす角度）などを操作命令に対応する操作物の状態として使用してもよい。
　なお、操作物状態推定部１３は、カメラ５からの撮影画像に含まれる複数のフレーム間で、指などの操作物の位置を対応つける処理も行う。これにより、撮影画像のフレーム間での手の動きを操作物の状態として使用することができる。
（２）第２の方法
　第２の方法は、操作物の状態として手全体の形状（以下、「手形状」と呼ぶ。）を使用する。例えば図８に示す手形状Ａ～Ｄをそれぞれ操作命令に対応付ける。操作物状態推定部１３は、操作物検出部１２により検出された操作物（手）が手形状Ａ～Ｄのいずれかを示しているかを判定する。
　上述の操作物検出処理では、検出基準領域ＤＡ（ハンドル２上）のみで操作物を検出しているので、それだけで手形状を判定することは難しい。例えば、図８に示す手形状Ａと手形状Ｂは、検出基準領域ＤＡにおいてはいずれも図９（Ｂ）に示すような検出結果が得られ、両者を区別することは難しい。そのため、手形状を推定するために以下のような処理を行う。
　まず、操作物状態推定部１３は、判定したい手形状の中から、現在、検出基準領域ＤＡ上で検出された指形状を含むもののみを抽出する。いま手形状Ａ～Ｄのみを使用するものと仮定すると、検出基準領域ＤＡ上で検出した操作物の形状が図９（ａ）の形状であれば、検出された操作物の手形状は手形状Ｃか手形状Ｄと推定することができ、手形状Ａ及び手形状Ｂを除外することができる。
　次に、操作物状態推定部１３は、検出基準領域ＤＡ上で検出した操作物の見え方の特徴を抽出する。具体的には、操作物状態推定部１３は、色情報（肌の色）を抽出する。色によって手を検出する方法は、外光などの撮影環境によって肌色の見え方が変わる場合があるので、様々な環境下で必ずしも安定して利用できる方法ではない。しかし、この場合は、操作物検出部１２が色情報よりも適切な別の条件、即ち、検出基準領域ＤＡにおける操作物（指／手）の見え方の制約（具体的には、操作物がハンドル２に重なっているか否かなど）に基づいて操作物を検出しているため、操作物状態推定部１３は色情報（肌の色）によって指や手を検出する必要はない。逆に、操作物検出部１２により検出された操作物（指／手）の領域から色情報又は輝度情報を抽出すれば、操作物状態推定部１３はその時点でのその人物の肌の色の見え方を正確に取得することができる。よって、操作物状態推定部１３は、操作物検出部１２により操作物（指／手）と検出された領域の色情報又は輝度情報から、その人物の肌色の見え方を取得する。
　次に、操作物状態推定部１３は、取得した色情報又は輝度情報を用いて、撮影画像から検出基準領域ＤＡ以外の操作物領域（手領域）を検出する。具体的には、撮影画像中の検出基準領域ＤＡ近傍において、先に取得された操作物（指／手）の色と同じ又は近い色又は輝度を有する領域を、操作物領域（手領域）として抽出する。この際、操作物状態推定部１３は、検出基準領域ＤＡに操作物（指／手）が存在しない状態での撮影画像との相関を用いて、検出基準領域ＤＡ以外の操作物領域を検出することが好ましい。
　次に、操作物状態推定部１３は、検出基準領域内で検出された操作物領域(手領域）と、検出基準領域外で検出された操作物領域（手領域）とを合わせて形成される手形状が、図８に示す手形状Ａ～Ｄのいずれかに当てはまるか否かを判定する。この場合、操作物状態推定部１３は、単純な重ね合わせによる形状マッチング処理により、手形状を判定することができる。なお、操作物状態推定部１３は、検出基準領域内で検出された手領域に対して、検出基準領域外で検出された手領域よりも高い重みをつけて、形状マッチング処理を行うこととしてもよい。
　こうして、操作物状態推定部１３は、第１の方法及び第２の方法を実行することにより、操作命令に対応する操作物の状態（指本数、手形状など）を推定する。
　（４．操作決定処理）
　次に、操作決定部１４は、操作決定処理を行う（ステップＳ１４）。具体的には、操作決定部１４は、操作物状態推定部１３の推定結果に基づいて、利用者が入力した操作命令を特定する。前述のように、操作物の状態（指本数、手形状など）は、予め決められた操作命令に対応付けられている。よって、操作決定部１４は、操作物状態推定部１３が推定した操作物の状態に対応する操作命令を、利用者が入力した操作命令と判定し、その操作命令に対応する操作信号を出力する。
　例えば、操作物状態推定部１３が、撮影画像中のあるフレームにおいて、それより前のフレームでは検出されなかった特定の手形状を検出したときに、操作決定部１４は、その手形状に対応する操作命令の操作信号を１回出力する。また、操作物である指の位置が前のフレームでの位置に対して変化したことを操作物状態推定部１３が検出したときに、操作決定部１４はその移動量を操作信号として出力する。例えば、ある時点で指１本がハンドル上の角度０度の位置にあり、次の時点でその指１本がハンドル上の角度３度の位置にあったことを操作物状態推定部１３が推定した場合、操作決定部１４は、その２つの時点の間で指が左から右に３度に相当する距離移動したものと判定し、その移動量に対応する操作信号を出力する。また、操作状態推定部１３が上記の手形状Ａ～Ｄのいずれかを検出した場合、操作決定部１４はその手形状に対応する操作命令を出力する。
　以上のように、操作認識処理部１０は、利用者が検出基準領域において、指／手などの操作物を利用して行った操作入力を解釈し、それに対応する操作信号を出力することができる。
　[ハンドルを利用する利点]
　上記の実施例では、車両のハンドルを検出基準領域とし、その上で指又は手を操作物として使用して操作入力を行う。これは以下のような利点を有する。
　（１）ハンドルは自動車の車種を問わずほぼ形状・位置が決まっており、固定配置されているため、カメラによって検出しやすい。
　（２）ハンドル上に検出基準領域を設定することにより、操作物の検出を簡単に行うことができる。これは指の見え方を限定できるためである。即ち、ハンドルをよりどころにすることにより、空中の自由な位置で指差しジェスチャをさせる場合と比較して、利用者が指を出す範囲を限定しやすい。
　（３）ハンドル上で検出した操作物の情報を確実性の高い情報として使うことにより、ハンドル上以外（ハンドルの外側の領域）に渡る手の形状も高精度で検出することができる。また、ハンドル上で検出した操作物の情報から、操作物の見た目の情報（例えばその時の肌の色あるいは輝度）を抽出し、ハンドル上以外の領域からの操作物領域の検出に使うことができる。これにより、操作物領域の検出精度を上げることができる。
　（４）ハンドル上で利用者がジェスチャを行う方法は、ハンドル脇やシフトレバー付近でジェスチャを行う方法と比較して、ヘッドアップディスプレイ（ＨＵＤ）のような、前方に像を表示するタイプの表示装置と組み合わせて使用するのに適している。これは、利用者が前方に表示された像を見ながら、その方向を指差す形のインターフェースを実現できるためである。
　[変形例]
　ハンドル以外に、ダッシュボードの縁、ハンドル周りのレバーなど、ハンドルと同様に見え方が想定できる車内構造物を利用して検出基準領域を設定することができる。
　本発明は、車両に搭載される機器の操作入力のためのインターフェースに利用することができる。
　２　ハンドル
　５　カメラ
　１０　操作認識処理部
　１１　検出基準領域決定部
　１２　操作物検出部
　１３　操作物状態推定部
　１４　操作決定部

Claims (13)

  1. 　移動体に搭載される装置に対して操作入力を行う操作入力装置であって、
    　前記移動体の運転席付近を撮影するカメラと、
    　前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定手段と、
    　前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出手段と、
    　検出された前記操作物の状態を推定する操作物状態推定手段と、
    　推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定手段と、
    　を備えることを特徴とする操作入力装置。
  2. 　前記移動体は自動車であり、前記実体物は運転席付近に設置されたハンドルであり、前記カメラは前記ハンドルを含む領域を撮影することを特徴とする請求項１に記載の操作入力装置。
  3. 　前記検出基準領域決定手段は、予め決められた前記実体物の形状を前記撮影画像から抽出し、その一部分を前記検出基準領域に決定することを特徴とする請求項１又は２に記載の操作入力装置。
  4. 　前記操作物の見え方の制約は、前記実体物上に前記操作物が位置する状態において、前記実体物と前記操作物との間の幾何学的な関係に起因して生じる制約であることを特徴とする請求項１乃至３のいずれか一項に記載の操作入力装置。
  5. 　前記操作物の見え方の制約は、前記実体物上に前記操作物が位置する状態において、前記実体物と前記操作物のそれぞれの光の反射特性による見え方の差に起因して生じる制約であることを特徴とする請求項１乃至３のいずれか一項に記載の操作入力装置。
  6. 　前記操作物は指であり、前記操作物の状態は指の本数であることを特徴とする請求項１乃至５のいずれか一項に記載の操作入力装置。
  7. 　前記操作物状態推定手段は、前記操作物の状態として、前記操作物の形状を推定することを特徴とする請求項１乃至５のいずれか一項に記載の操作入力装置。
  8. 　前記操作物状態推定手段は、前記検出基準領域内における前記操作物の検出結果に基づいて、前記検出基準領域外にまたがる前記操作物の形状を推定することを特徴とする請求項７に記載の操作入力装置。
  9. 　前記操作物状態推定手段は、検出された前記操作物の輝度あるいは色の少なくとも一方の特徴を抽出し、前記検出基準領域外で、その特徴に当てはまる領域を検出することにより、前記検出基準領域外に存在する前記操作物の領域を検出して前記操作物の形状を推定することを特徴とする請求項７に記載の操作入力装置。
  10. 　前記操作物は手であり、前記操作物の形状は手全体の形状であることを特徴とする請求項７に記載の操作入力装置。
  11. 　カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力方法であって、
    　前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、
    　前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、
    　検出された前記操作物の状態を推定する操作物状態推定工程と、
    　推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、
    　を有することを特徴とする操作入力方法。
  12. 　カメラを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、
    　前記カメラにより撮影された撮影画像において、前記運転席付近に設置された実体物を基準として検出基準領域を決定する検出基準領域決定工程と、
    　前記検出基準領域において、前記実体物と操作入力に使用される操作物との関係により決まる前記操作物の見え方の制約に基づいて、前記操作物を検出する操作物検出工程と、
    　検出された前記操作物の状態を推定する操作物状態推定工程と、
    　推定された前記操作物の状態に基づいて操作入力を特定し、当該操作入力に対応する操作信号を前記装置へ出力する操作決定工程と、
    　を前記操作入力装置に実行させることを特徴とする操作入力プログラム。
  13. 　請求項１２に記載の操作入力プログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2012/063303 2012-05-24 2012-05-24 操作入力装置、操作入力方法及び操作入力プログラム WO2013175603A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014516581A JP5912177B2 (ja) 2012-05-24 2012-05-24 操作入力装置、操作入力方法及び操作入力プログラム
PCT/JP2012/063303 WO2013175603A1 (ja) 2012-05-24 2012-05-24 操作入力装置、操作入力方法及び操作入力プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/063303 WO2013175603A1 (ja) 2012-05-24 2012-05-24 操作入力装置、操作入力方法及び操作入力プログラム

Publications (1)

Publication Number Publication Date
WO2013175603A1 true WO2013175603A1 (ja) 2013-11-28

Family

ID=49623334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063303 WO2013175603A1 (ja) 2012-05-24 2012-05-24 操作入力装置、操作入力方法及び操作入力プログラム

Country Status (2)

Country Link
JP (1) JP5912177B2 (ja)
WO (1) WO2013175603A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017510875A (ja) * 2014-01-22 2017-04-13 エルジー イノテック カンパニー リミテッド ジェスチャー装置、その動作方法及びこれを備えた車両
JP2017207949A (ja) * 2016-05-19 2017-11-24 株式会社リコー ジェスチャコマンド入力装置、ジェスチャコマンド入力方法及びジェスチャコマンド入力プログラム並びに画像表示システム
WO2018042751A1 (ja) * 2016-09-01 2018-03-08 三菱電機株式会社 ジェスチャー判定装置、ジェスチャー操作装置、及びジェスチャー判定方法
CN117392649A (zh) * 2023-12-11 2024-01-12 武汉未来幻影科技有限公司 一种车辆部件指示操作的识别方法、装置以及处理设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2005050177A (ja) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd 非接触式情報入力装置
JP2006282145A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
JP3941786B2 (ja) * 2004-03-03 2007-07-04 日産自動車株式会社 車両用操作入力装置および方法
JP2007237919A (ja) * 2006-03-08 2007-09-20 Toyota Motor Corp 車両用入力操作装置
JP2009104297A (ja) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp 操作入力装置
JP2011131833A (ja) * 2009-12-25 2011-07-07 Honda Access Corp 自動車における車載機器の操作装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
JP2008176761A (ja) * 2006-12-20 2008-07-31 Tokai Rika Co Ltd 操作入力装置およびそれを用いた電気機器制御装置。

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2005050177A (ja) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd 非接触式情報入力装置
JP3941786B2 (ja) * 2004-03-03 2007-07-04 日産自動車株式会社 車両用操作入力装置および方法
JP2006282145A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd コマンド入力装置
JP2007237919A (ja) * 2006-03-08 2007-09-20 Toyota Motor Corp 車両用入力操作装置
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
JP2009104297A (ja) * 2007-10-22 2009-05-14 Mitsubishi Electric Corp 操作入力装置
JP2011131833A (ja) * 2009-12-25 2011-07-07 Honda Access Corp 自動車における車載機器の操作装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017510875A (ja) * 2014-01-22 2017-04-13 エルジー イノテック カンパニー リミテッド ジェスチャー装置、その動作方法及びこれを備えた車両
JP2017207949A (ja) * 2016-05-19 2017-11-24 株式会社リコー ジェスチャコマンド入力装置、ジェスチャコマンド入力方法及びジェスチャコマンド入力プログラム並びに画像表示システム
WO2018042751A1 (ja) * 2016-09-01 2018-03-08 三菱電機株式会社 ジェスチャー判定装置、ジェスチャー操作装置、及びジェスチャー判定方法
JPWO2018042751A1 (ja) * 2016-09-01 2018-12-27 三菱電機株式会社 ジェスチャー判定装置、ジェスチャー操作装置、及びジェスチャー判定方法
CN117392649A (zh) * 2023-12-11 2024-01-12 武汉未来幻影科技有限公司 一种车辆部件指示操作的识别方法、装置以及处理设备
CN117392649B (zh) * 2023-12-11 2024-02-27 武汉未来幻影科技有限公司 一种车辆部件指示操作的识别方法、装置以及处理设备

Also Published As

Publication number Publication date
JPWO2013175603A1 (ja) 2016-01-12
JP5912177B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR101537936B1 (ko) 차량 및 그 제어방법
JP5228439B2 (ja) 操作入力装置
KR101683509B1 (ko) 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
US20090167682A1 (en) Input device and its method
KR101490908B1 (ko) 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
KR20140079162A (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6671288B2 (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
US20170108988A1 (en) Method and apparatus for recognizing a touch drag gesture on a curved screen
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
JP5912177B2 (ja) 操作入力装置、操作入力方法及び操作入力プログラム
US9141185B2 (en) Input device
JP6589796B2 (ja) ジェスチャ検出装置
JP5382313B2 (ja) 車両用操作入力装置
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP2014197252A (ja) ジェスチャー操作装置、そのプログラム、およびジェスチャー操作装置を搭載した車両
JP2016111509A (ja) 車両用画像処理装置、車両用画像処理方法およびプログラム
CN105759955B (zh) 输入装置
JP6581482B2 (ja) 画像認識装置
JP2016157457A (ja) 操作入力装置、操作入力方法及び操作入力プログラム
JP5136948B2 (ja) 車両用操作装置
US20170300120A1 (en) User interface, means of movement, and methods for recognizing a user's hand
JP2018147500A (ja) 操作入力装置、操作入力方法及び操作入力プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12877531

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014516581

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12877531

Country of ref document: EP

Kind code of ref document: A1