JP6188468B2 - Image recognition device, gesture input device, and computer program - Google Patents
Image recognition device, gesture input device, and computer program Download PDFInfo
- Publication number
- JP6188468B2 JP6188468B2 JP2013152217A JP2013152217A JP6188468B2 JP 6188468 B2 JP6188468 B2 JP 6188468B2 JP 2013152217 A JP2013152217 A JP 2013152217A JP 2013152217 A JP2013152217 A JP 2013152217A JP 6188468 B2 JP6188468 B2 JP 6188468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hand
- steering
- recognition
- steering rim
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000013459 approach Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 20
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Steering Controls (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、主として、手のジェスチャによる入力を受け付ける情報システムにおいて、ジェスチャ入力の処理を効率化する技術に関するものである。 The present invention mainly relates to a technique for improving the efficiency of gesture input processing in an information system that accepts input by hand gestures.
手のジェスチャによる入力を受け付ける情報システムとしては、ユーザの手を撮影するカメラを設け、カメラで撮影した画像からユーザの手のジェスチャを認識し、認識したジェスチャに応じた処理を行うシステムが知られている（たとえば、特許文献１）。 As an information system that accepts input by hand gestures, a system is known in which a camera that captures the user's hand is provided, the user's hand gesture is recognized from an image captured by the camera, and processing according to the recognized gesture is performed. (For example, Patent Document 1).
自動車のステアリングホイールを握った運転者の手のジェスチャによる入力の受け付けを行う場合、ステアリングホイール上の手の位置は個々の運転者やその時々の状況によって異なるため、カメラでステアリングホイール周辺の広い範囲を撮影し、カメラの撮影画像の全体を対象として撮影画像中に写り込んだ手の画像領域を特定する処理を行った上で、手のジェスチャを認識する必要がある。 When accepting input using the gesture of the driver's hand holding the steering wheel of an automobile, the position of the hand on the steering wheel varies depending on the individual driver and the situation at hand. It is necessary to recognize the gesture of the hand after performing processing for specifying the image area of the hand captured in the captured image for the entire captured image of the camera.
そして、このように手が写り込む画像領域のサイズに比べてサイズの大きなカメラの撮影画像の全体に対して手の画像領域を特定する処理を行う必要があるため、その処理負荷は比較的大きなものとなる。また、カメラの撮影画像中に手の画像と特徴が類似する手ではない被写体の画像領域が生じる可能性が大きくなるため、手の画像領域の誤認識も生じやすくなる。
そこで、本発明は、カメラで撮影したステアリングホイール周辺の画像に含まれる、自動車のステアリングホイールを握った運転者の手の画像認識を、より効率的に精度良く行うことを課題とする。
In addition, since it is necessary to perform processing for specifying the image area of the hand with respect to the entire captured image of the camera that is larger than the size of the image area in which the hand is captured, the processing load is relatively large. It will be a thing. In addition, there is a high possibility that an image region of a subject that is not a hand having characteristics similar to those of the hand image is generated in the captured image of the camera, and thus erroneous recognition of the hand image region is likely to occur.
Therefore, an object of the present invention is to more efficiently and accurately perform image recognition of a driver's hand holding a steering wheel of an automobile, which is included in an image around the steering wheel taken by a camera.
前記課題達成のために、本発明は、画像に写り込んだ手を認識する、自動車に搭載される画像認識装置に、前記自動車のステアリングホイール周辺のようすを撮影するカメラと、手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段とを備えたものである。 In order to achieve the above object, the present invention provides an image recognition device mounted on a vehicle for recognizing a hand reflected in an image, and a camera that takes a photograph of a situation around the steering wheel of the vehicle, and a hand approaches or contacts the image recognition device. A steering rim sensor for detecting the position of the steering wheel on the steering rim, and an image of a region around the position where the position on the steering rim detected by the steering rim sensor is reflected in the image captured by the camera; A recognition target image setting means for setting a portion as a recognition target image; and an image recognition means for performing hand image recognition on the recognition target image set by the recognition target image setting means.
ここで、このような画像認識装置は、当該画像認識装置に、さらに、前記ステアリングホイールの回転角を検出する回転角センサを設け、前記認識対象画像設定手段において、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定するように構成してもよい。
また、これらの画像認識装置において、前記ステアリングリムセンサは、前記ステアリングリムに、当該ステアリングリムの周に沿って配置された、前記手の接近もしくは接触を検出する複数のセンサを含んで構成するようにしてもよい。
Here, in such an image recognition device, the image recognition device is further provided with a rotation angle sensor that detects the rotation angle of the steering wheel, and the rotation detected by the rotation angle sensor in the recognition target image setting unit. Based on the angle and the position on the steering rim detected by the steering rim sensor, the position where the position on the steering rim detected by the steering rim sensor is reflected in the image taken by the camera is calculated. You may comprise as follows.
Further, in these image recognition devices, the steering rim sensor includes a plurality of sensors arranged on the steering rim along the circumference of the steering rim to detect the approach or contact of the hand. It may be.
また、本発明は併せて、以上の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置として、前記画像認識手段が画像認識した手の形状より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段を備えたジェスチャ入力装置も提供する。 In addition, the present invention also provides a gesture input device that includes the above image recognition device and receives a gesture input by a hand gesture, and identifies the gesture of the hand based on the shape of the hand recognized by the image recognition means. Also provided is a gesture input device including gesture input receiving means for receiving a user operation corresponding to the identified gesture.
また、本発明は併せて、以上の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置として、前記ステアリングリム上の位置を検出していない状態にあった前記ステアリングリムセンサが前記ステアリングリム上の位置を検出したときに、前記画像認識手段が認識した手を基準として、前記カメラが撮影した画像中の手をトラッキングして画像認識し、画像認識した手の形状もしくは認識した手の形状の推移より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段を備えたジェスチャ入力装置も提供する。 In addition, the present invention is a gesture input device that includes the above image recognition device and receives a gesture input by a hand gesture. When the position on the steering rim is detected, the hand recognized in the image taken by the camera is tracked and recognized based on the hand recognized by the image recognition means, and the shape of the recognized hand or the recognized hand is recognized. There is also provided a gesture input device including gesture input receiving means for identifying a gesture of the hand based on the transition of the shape of the hand and receiving a user operation corresponding to the identified gesture.
これらの画像認識装置やジェスチャ入力装置によれば、ステアリングリムセンサでユーザのステアリングリムに接近または接触した手の位置を検出し、検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像とし、当該認識対象画像のみを対象として、手の画像認識を行う。 According to these image recognition devices and gesture input devices, the position of the hand that approaches or contacts the user's steering rim is detected by the steering rim sensor, and the image of the area around the detected position on the steering rim is reflected. The part is set as a recognition target image, and hand image recognition is performed only on the recognition target image.
したがって、カメラが撮影した画像全体を対象として手の画像を認識する画像認識処理を行う場合に比べ、手の画像認識を、より少なく処理負荷で効率的に行うことができる。また、ステアリングリムセンサで手の接近または接触を検出した位置が写り込む位置周辺の画像部分、すなわち、手の画像が写り込んでいることが強く見込まれる画像部分のみを対象として手の画像認識を行うことになるので、手の画像の誤認識も抑制される。 Therefore, compared with the case where the image recognition process for recognizing the hand image for the entire image taken by the camera is performed, the hand image recognition can be performed efficiently with less processing load. In addition, image recognition of the hand is performed only for the image portion around the position where the position where the approach or contact of the hand is detected by the steering rim sensor is reflected, that is, the image portion where the hand image is strongly expected to be reflected. Therefore, erroneous recognition of the hand image is also suppressed.
以上のように、本発明によればカメラで撮影したステアリングホイール周辺の画像に含まれる、自動車のステアリングホイールを握った運転者の手の画像認識を、より効率的に精度良く行うことができる。 As described above, according to the present invention, it is possible to more efficiently and accurately recognize the image of the driver's hand holding the steering wheel of the automobile, which is included in the image around the steering wheel taken by the camera.
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る情報システムの構成を示す。
ここで、情報システムは、自動車に搭載されるシステムであり、当該情報システムは、たとえば、空調制御システムやＡＶシステムやナビゲーションシステムなどの各種用途の情報システムをであってよい。
図示するように、情報システムは、回転角度センサ１、ステアリングリムセンサ２、カメラ３、表示装置４、音声出力装置５、ジェスチャ認識装置６、制御装置７、１つまたは複数の周辺装置８を備えている。
ただし、このような情報システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、ジェスチャ認識装置６や制御装置７は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。
Hereinafter, embodiments of the present invention will be described.
FIG. 1 shows the configuration of the information system according to this embodiment.
Here, the information system is a system mounted on an automobile, and the information system may be an information system for various uses such as an air conditioning control system, an AV system, and a navigation system.
As shown, the information system includes a rotation angle sensor 1, a steering rim sensor 2, a camera 3, a display device 4, an audio output device 5, a gesture recognition device 6, a control device 7, and one or more peripheral devices 8. ing.
However, such an information system may be configured using a computer having a CPU and a memory. In this case, the gesture recognition device 6 and the control device 7 execute a predetermined computer program. May be realized.
ここで、回転角度センサ１は、自動車のステアリングホイールの中立位置（自動車が直進する位置）からの回転角度を検出するセンサである。
また、ステアリングリムセンサ２は、図２ａに示すような自動車のステアリングホイールに設けられた、手が接触または接近したステアリングリム上の位置を検出するセンサであり、ステアリングリムセンサ２は、図２ｂに示すように、ステアリングリムの表面下に埋め込まれた形態で、当該ステアリングリムの周方向に沿って配置された、ユーザの手の接触や接近を検出する複数のセンサ２１より構成される。ここで、複数のセンサ２１としては、たとえば、静電容量式のタッチセンサを用いることができる。
Here, the rotation angle sensor 1 is a sensor that detects a rotation angle from a neutral position of the steering wheel of the automobile (a position where the automobile goes straight).
Further, the steering rim sensor 2 is a sensor provided on a steering wheel of an automobile as shown in FIG. 2a to detect the position on the steering rim where the hand touches or approaches, and the steering rim sensor 2 is shown in FIG. As shown, it is composed of a plurality of sensors 21 that detect contact and approach of the user's hand and are arranged along the circumferential direction of the steering rim in a form embedded under the surface of the steering rim. Here, as the plurality of sensors 21, for example, capacitive touch sensors can be used.
次に、表示装置４は、たとえば液晶表示装置であり、図３ａに示すように、ダッシュボード上の、左右方向について運転席と助手席の中間の位置に配置される。
また、カメラ３は、可視光を撮影するカメラまたは赤外カメラであり、図３ａに示すように、自動車のメータクラスタ内に配置され、ステアリングホイールの裏側から、ステアリングホイール周辺を撮影した、図３ｂに示すような撮影画像を出力する。
以下、このような情報システムにおいて、ジェスチャ認識装置６が行うジェスチャ入力受付処理について説明する。
図４に、このジェスチャ入力受付処理の手順を示す。
図示するように、この処理では、ステアリングリムセンサ２による手が接近または接触した位置の検出を監視し（ステップ４０２）、ステアリングリムセンサ２による位置の検出が発生したならば（ステップ４０２）、回転角度センサ１が検出している自動車のステアリングホイールの回転角度を参照し、ステアリングリムセンサ２が接近または接触を検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置周辺に検出領域を設定する（ステップ４０４）。
Next, the display device 4 is, for example, a liquid crystal display device, and is disposed on the dashboard at a position intermediate between the driver seat and the passenger seat in the left-right direction, as shown in FIG. 3A.
Further, the camera 3 is a camera that captures visible light or an infrared camera, and is arranged in a meter cluster of an automobile as shown in FIG. 3A and images the periphery of the steering wheel from the back side of the steering wheel. A photographed image as shown in FIG.
Hereinafter, gesture input reception processing performed by the gesture recognition device 6 in such an information system will be described.
FIG. 4 shows the procedure of the gesture input acceptance process.
As shown in the figure, in this process, the detection of the position where the hand approaches or contacts by the steering rim sensor 2 is monitored (step 402), and if the position detection by the steering rim sensor 2 occurs (step 402), the rotation is detected. Referring to the rotation angle of the steering wheel of the automobile detected by the angle sensor 1, a detection area around the position where the position on the steering rim where the steering rim sensor 2 detects approach or contact is reflected in the current camera image. Is set (step 404).
ここで、ステアリングリムセンサ２が検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置は、ステアリングホイールが中立位置にあるときの、ステアリングリムセンサ２が検出したステアリングリム上の位置を、ステアリングホイールの回転軸を中心として、回転角度センサ１が検出している回転角度分、回転させた位置が、カメラの撮影画像中に写り込む位置として求める。
また、検出領域は、たとえば、ステアリングリムセンサ２が接近または接触を検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置を基準位置として、基準位置を中心とする領域として設定する。また、検出領域のサイズは、たとえば、縦横のそれぞれについて、ステアリングを握った標準的な大きさ手がカメラ３の撮影画像に写り込む大きさのｎ倍（ｎはたとえば２）の大きさとする。
Here, the position where the position on the steering rim detected by the steering rim sensor 2 is reflected in the image captured by the camera is the position on the steering rim detected by the steering rim sensor 2 when the steering wheel is in the neutral position. Is obtained as a position where the position rotated by the rotation angle detected by the rotation angle sensor 1 around the rotation axis of the steering wheel appears in the captured image of the camera.
Further, the detection area is set as an area centered on the reference position, for example, with the position where the position on the steering rim where the steering rim sensor 2 detects approach or contact is reflected in the captured image of the current camera as the reference position. . The size of the detection area is, for example, a size that is n times (n is, for example, 2) the size of the standard size hand that holds the steering wheel in the captured image of the camera 3 in each of the vertical and horizontal directions.
すなわち、たとえば、回転角度センサ１が検出している自動車のステアリングホイールの回転角度が０すなわちステアリングホイールが中立位置にあるときに、図５ａに示すようにステアリングリムセンサ２のユーザから見て右上のセンサＡがユーザの手の接近または接触を検知した場合には、図５ｂに示すカメラ３の撮影画像中の位置Ｘが、センサＡが現在カメラの撮影画像中に写り込む位置となるので、位置Ｘを基準位置として、基準位置周辺の領域５０１を検出領域とする。 That is, for example, when the rotation angle of the steering wheel of the automobile detected by the rotation angle sensor 1 is 0, that is, when the steering wheel is in the neutral position, as shown in FIG. When the sensor A detects the approach or contact of the user's hand, the position X in the photographed image of the camera 3 shown in FIG. 5b is the position where the sensor A is reflected in the photographed image of the camera. Let X be a reference position, and an area 501 around the reference position be a detection area.
なお、ステアリングリムセンサ２が同時に複数の位置を検出している場合には、ステアリングリム上の、接近または接触が検出されたステアリングリム上の複数の位置の中央となる位置が、現在カメラの撮影画像中に写り込む位置を基準位置とする。 When the steering rim sensor 2 detects a plurality of positions at the same time, the position at the center of the plurality of positions on the steering rim where approach or contact is detected is taken by the current camera. The position that appears in the image is the reference position.
次に、このようにした検出領域を設定したならば、撮影画像中の検出領域の画像部分を認識対象画像として、認識対象画像内の手の画像認識を行う画像認識処理を行う（ステップ４０６）。
すなわち、図５ｂに示したように検出領域５０１が設定されている場合には、図５ｃに示すように得られるカメラ３の撮影画像の検出領域５０１の画像部分を、認識対象画像として図５ｄに示すように抽出し、抽出した図５ｄの認識対象画像に対して、手を画像認識する画像認識処理を行う。
Next, when such a detection area is set, an image recognition process for recognizing a hand in the recognition target image is performed using the image portion of the detection area in the captured image as a recognition target image (step 406). .
That is, when the detection area 501 is set as shown in FIG. 5b, the image portion of the detection area 501 of the captured image of the camera 3 obtained as shown in FIG. As shown in the drawing, image recognition processing for hand recognition is performed on the extracted recognition target image in FIG. 5d.
ここで、認識対象画像に対して行う手の画像認識処理は、カメラ３としてカラーカメラを用いる場合には、たとえば、認識対象画像内の肌色の領域が、手の少なくとも一部の形状を有している場合に、当該手の一部の形状を有している肌色の領域を、手として認識することにより行う。また、当該画像認識処理は、カメラ３として赤外カメラを用いる場合には、たとえば、認識対象画像内の高輝度色の領域が、手の少なくとも一部の形状を有している場合に、当該手の一部の形状を有している高輝度色の領域の領域を、手として認識することにより行う。 Here, in the case of using a color camera as the camera 3, the hand image recognition processing performed on the recognition target image includes, for example, a skin color region in the recognition target image having at least a part of the hand shape. In this case, the skin color region having a shape of a part of the hand is recognized as a hand. Further, the image recognition processing is performed when an infrared camera is used as the camera 3, for example, when the high-luminance color region in the recognition target image has a shape of at least a part of the hand. This is performed by recognizing the region of the high-luminance color region having the shape of a part of the hand as a hand.
そして、ステップ４０６で行った画像認識処理で、認識対象画像内の手の認識が成功したかどうかを判定し（ステップ４０８）、成功しなかった場合、すなわち、手の画像を認識できなかった場合には、手特徴履歴データをクリアし（ステップ４２２）、ステップ４０２からの処理に戻る。なお、手特徴履歴データについては後述する。 Then, in the image recognition processing performed in step 406, it is determined whether or not the hand in the recognition target image has been successfully recognized (step 408). If it has not been successful, that is, if the hand image has not been recognized. The hand feature history data is cleared (step 422), and the process returns to step 402. The hand feature history data will be described later.
一方、ステップ４０６で行った画像認識処理で、認識対象画像内の手の認識が成功した場合には（ステップ４０８）、ステップ４０６で行った画像認識処理で認識した手の形状の特徴（たとえば、何本の指が立っているかや、手が開かれているかなど）を、手特徴履歴データに登録する（ステップ４１０）。 On the other hand, when the recognition of the hand in the recognition target image is successful in the image recognition process performed in step 406 (step 408), the feature of the hand shape recognized in the image recognition process performed in step 406 (for example, The number of fingers standing and the hand being opened are registered in the hand feature history data (step 410).
そして、手特徴履歴データを用いてユーザの手のジェスチャを認識するジェスチャ認識処理を行う（ステップ４１２）。
ここで、ジェスチャ認識処理におけるジェスチャの認識は、たとえば、次のように行う。
すなわち、ジェスチャ認識装置６に、予め定めた入力として受け付けるジェスチャのジェスチャパターンとして、そのジェスチャ行っている手の形状の特徴や、手の形状の特徴の変化を予め登録しておく。そして、手特徴履歴データより求まる、最新の手の形状の特徴や、現在までの手の形状の特徴の変化などが、いずれかのジェスチャパターンとマッチしている場合に、マッチしたジェスチャパターンのジェスチャを認識する。
Then, gesture recognition processing for recognizing the gesture of the user's hand using the hand feature history data is performed (step 412).
Here, the gesture recognition in the gesture recognition processing is performed as follows, for example.
That is, in the gesture recognition device 6, as the gesture pattern of the gesture that is accepted as a predetermined input, the shape characteristic of the hand performing the gesture and the change in the shape characteristic of the hand are registered in advance. If the latest hand shape feature or the change in hand shape feature up to the present, which is obtained from the hand feature history data, matches any gesture pattern, the gesture of the matched gesture pattern Recognize
次に、このようにしてジェスチャ認識処理を行ったならば（ステップ４１２）、ジェスチャの認識が成功したかどうかを判定し（ステップ４１４）、成功した場合には、認識したジェスチャに対して予め定められている入力コードを制御装置７に出力し（ステップ４１６）、手特徴履歴データをクリアし（ステップ４１８）、ステップ４２０に進む。一方、ジェスチャの認識が成功しなかった場合には（ステップ４１４）、そのままステップ４２０に進む。 Next, if the gesture recognition processing is performed in this way (step 412), it is determined whether or not the gesture recognition is successful (step 414). If the gesture recognition is successful, it is determined in advance for the recognized gesture. The input code is output to the control device 7 (step 416), the hand feature history data is cleared (step 418), and the process proceeds to step 420. On the other hand, if the gesture recognition is not successful (step 414), the process proceeds to step 420 as it is.
そして、ステップ４２０に進んだならば、前回のステップ４０６において認識した手に基づいて、カメラ３の撮影画像中の手を追跡して認識するトラッキングを行うために、以降のステップ４０６において画像認識処理の対象とする認識対象画像を切り出すために用いる上述の検出領域を更新し、ステップ４０６からの処理に戻ることにより行う。 When the process proceeds to step 420, the image recognition process is performed in the subsequent step 406 in order to track and recognize the hand in the captured image of the camera 3 based on the hand recognized in the previous step 406. This is performed by updating the above-described detection region used for cutting out the recognition target image to be the target of the process, and returning to the processing from step 406.
ここで、ステップ４２０における検出領域の更新は、以下のように行う。
すなわち、ステップ４０６で認識した認識対象画像中の手の位置や当該位置の現在までの変化や、現在までの検出領域の位置の変化や、回転角センサが検出したステアリングホールの回転角の変化から、現在カメラが撮影している撮影画像中でユーザの手が写り込んでいる領域を推定し、推定した領域に検出領域を変更する。
ただし、ステップ４２０の検出領域の更新はこれを行なわずに、ステップ４２０に進む代わりにステップ４０６に戻るようにしてもよい。または、ステップ４２０を行わずに、ステップ４２０の検出領域の更新はこれを行なわずに、ステップ４２０に進む代わりにステップ４０４に戻って、その時点で、回転角度センサ１が検出している自動車のステアリングホイールの回転角度と、ステアリングリムセンサ２が検出している位置より検出領域を再設定することにより、検出領域の更新を行うようにしてもよい。
Here, the detection area is updated in step 420 as follows.
That is, based on the position of the hand in the recognition target image recognized in step 406, the change in the position to the present, the change in the position of the detection area up to the present, and the change in the rotation angle of the steering hole detected by the rotation angle sensor. Then, the region where the user's hand is reflected in the captured image currently captured by the camera is estimated, and the detection region is changed to the estimated region.
However, the update of the detection area in step 420 may not be performed and the process may return to step 406 instead of proceeding to step 420. Alternatively, step 420 is not performed, and the detection area update in step 420 is not performed. Instead, the process returns to step 404 instead of proceeding to step 420, and at that time, the rotation angle sensor 1 detects the vehicle detected. The detection area may be updated by resetting the detection area from the rotation angle of the steering wheel and the position detected by the steering rim sensor 2.
以上、ジェスチャ認識装置６が行うジェスチャ入力受付処理について説明した。
さて、図１に戻り、情報システムがＡＶシステムを構成するものであれば、周辺装置８は、放送受信機や、ＣＤ/ＤＶＤなどの記録ディスクを再生するディスクドライブや、スピーカを備えた音声出力装置５などである。そして、制御装置７は、表示装置４に適当なＧＵＩ画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置６からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、放送受信機やディスクドライブの動作を制御する処理や、放送受信機で受信した音声やディスクドライブ装着された記録ディスクに記録されている音声を音声出力装置５に出力する処理や、放送受信機で受信した映像や、ディスクドライブ装着された記録ディスクに記録されている映像を表示装置４に出力する処理などを行う。
The gesture input reception process performed by the gesture recognition device 6 has been described above.
Now, referring back to FIG. 1, if the information system constitutes an AV system, the peripheral device 8 includes a broadcast receiver, a disk drive for reproducing a recording disk such as a CD / DVD, and an audio output provided with a speaker. Device 5 or the like. Then, the control device 7 displays an appropriate GUI screen on the display device 4 and accepts an input code input as a result of gesture recognition from the gesture recognition device 6 as a value representing a user operation by the gesture input reception processing described above. , A process for controlling the operation of the broadcast receiver and the disk drive, a process for outputting the sound received by the broadcast receiver and the sound recorded on the recording disk mounted on the disk drive to the audio output device 5, and the broadcast receiver And processing for outputting the video received on the recording device and the video recorded on the recording disk mounted on the disk drive to the display device 4.
また、情報システムがナビゲーションシステムを構成するものであれば、周辺装置８は、地図データを記憶した記憶装置や、ＧＰＳ受信機や、自動車の車速や角速度を検出するセンサ２１などである。そして、制御装置７は、表示装置４に適当なＧＵＩ画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置６からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、現在位置の算出や、目的地の設定や、目的地までのルートの設定や、地図上に現在位置や目的地やルートを表したナビゲーション画像の表示装置４への表示や、ナビゲーション画像のスクロール表示などの処理を行う。
また、情報システムが空調制御システムを構成するものであれば、周辺装置８は、エアコンディショナーである。そして、制御装置７は、表示装置４に適当なＧＵＩ画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置６からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、エアコンディショナーの温度や風量や吹き出し口を変更するなどの処理を行う。
If the information system constitutes a navigation system, the peripheral device 8 is a storage device that stores map data, a GPS receiver, a sensor 21 that detects the vehicle speed or angular velocity of a car, and the like. Then, the control device 7 displays an appropriate GUI screen on the display device 4 and accepts an input code input as a result of gesture recognition from the gesture recognition device 6 as a value representing a user operation by the gesture input reception processing described above. Calculating the current position, setting the destination, setting the route to the destination, displaying the navigation image showing the current position, the destination and the route on the map on the display device 4, and scrolling the navigation image Perform processing such as display.
If the information system constitutes an air conditioning control system, the peripheral device 8 is an air conditioner. Then, the control device 7 displays an appropriate GUI screen on the display device 4 and accepts an input code input as a result of gesture recognition from the gesture recognition device 6 as a value representing a user operation by the gesture input reception processing described above. Execute processing such as changing the air conditioner's temperature, air volume, and air outlet.
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、ステアリングリムセンサ２で手の接近または接触を検出した位置が写り込む位置周辺の画像部分、すなわち、手の画像が写り込んでいることが強く見込まれる画像部分のみを対象として手の画像認識を行うことになるので、カメラ３が撮影した画像全体に対して手の画像の認識処理を行う場合に比べ、より低負荷に効率的な手の画像の認識を行うことができると共に、手の画像の誤認識も抑制することができる。
The embodiment of the present invention has been described above.
As described above, according to the present embodiment, it is strongly expected that the image portion around the position where the position where the approach or contact of the hand is detected by the steering rim sensor 2 is reflected, that is, the image of the hand is reflected. Since hand image recognition is performed only on the image portion, it is possible to reduce the load of the hand image more efficiently than when hand image recognition processing is performed on the entire image captured by the camera 3. Recognition can be performed and erroneous recognition of the hand image can be suppressed.
なお、以上の実施形態は、ステアリングホイールが中立位置にあるとき、すなわち、自動車が旋回動作をしていない期間のみ、情報システムにおいてジェスチャ入力を受け付けるようにしてもよく、この場合には、回転角センサは省略してよい。
また、以上の実施形態におけるステアリングリムセンサ２の検出位置に基づいて設定した、カメラ３の撮影画像中の検出領域の画像部分を対象認識画像とする技術は、ユーザ識別などにも適用することができる。すなわち、この場合には、対象認識画像に対して、対象認識画像に含まれる手の画像の個人的な特徴を認識する画像認識処理を行って、画像認識処理で認識した特徴より、運転者であるユーザが誰であるのかを識別するようにすればよい。
In the above embodiment, the gesture input may be received in the information system only when the steering wheel is in the neutral position, that is, during the period when the automobile is not turning. In this case, the rotation angle The sensor may be omitted.
Further, the technique of setting the image portion of the detection area in the captured image of the camera 3 set based on the detection position of the steering rim sensor 2 in the above embodiment as a target recognition image can be applied to user identification and the like. it can. That is, in this case, the image recognition process for recognizing the personal features of the hand image included in the target recognition image is performed on the target recognition image, and the driver recognizes the feature recognition by the image recognition processing. What is necessary is just to identify who a certain user is.
１…回転角度センサ、２…ステアリングリムセンサ、３…カメラ、４…表示装置、５…音声出力装置、６…ジェスチャ認識装置、７…制御装置、８…周辺装置、２１…センサ。 DESCRIPTION OF SYMBOLS 1 ... Rotation angle sensor, 2 ... Steering rim sensor, 3 ... Camera, 4 ... Display apparatus, 5 ... Sound output device, 6 ... Gesture recognition apparatus, 7 ... Control apparatus, 8 ... Peripheral device, 21 ... Sensor.
Claims (7)
前記自動車のステアリングホイール周辺のようすを撮影するカメラと、
前記ステアリングホイールのステアリングリム上の異なる複数の位置の各々について、当該位置への手の接近もしくは接触を検知することにより、手が接近もしくは接触した前記ステアリングリム上の位置を検出するステアリングリムセンサと、
前記ステアリングリムセンサが検出した前記ステアリングリム上の位置に応じて、認識対象画像に設定する前記カメラが撮影した画像中の画像部分を、当該カメラが撮影した画像中の前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分に限定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段とを有することを特徴とする画像認識装置。 An image recognition device mounted on a car that recognizes a hand reflected in an image,
A camera for photographing the surroundings of the steering wheel of the automobile;
A steering rim sensor for detecting a position on the steering rim where the hand approaches or comes into contact with each of a plurality of different positions on the steering rim of the steering wheel by detecting the approach or contact of the hand to the position; ,
In accordance with the position on the steering rim detected by the steering rim sensor, the steering rim sensor in the image captured by the camera detects an image portion in the image captured by the camera to be set as a recognition target image. A recognition target image setting means for limiting to an image portion of a region around a position where the position on the steering rim is reflected;
An image recognition apparatus comprising: an image recognition unit that performs image recognition of a hand on the recognition target image set by the recognition target image setting unit.
前記自動車のステアリングホイール周辺のようすを撮影するカメラと、
手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、
前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段と、
前記ステアリングホイールの回転角を検出する回転角センサとを有し、
前記認識対象画像設定手段は、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定することを特徴とする画像認識装置。 An image recognition device mounted on a car that recognizes a hand reflected in an image,
A camera for photographing the surroundings of the steering wheel of the automobile;
A steering rim sensor that detects a position on the steering rim of the steering wheel that a hand approaches or contacts;
A recognition target image setting means for setting, as a recognition target image, an image portion of a region around a position where a position on the steering rim detected by the steering rim sensor in the image photographed by the camera is reflected;
Image recognition means for performing hand image recognition on the recognition target image set by the recognition target image setting means;
And a rotation angle sensor for detecting a rotational angle of the steering wheel,
The recognition target image setting means includes the steering rim sensor in an image photographed by the camera based on a rotation angle detected by the rotation angle sensor and a position on the steering rim detected by the steering rim sensor. A position where the position on the steering rim detected by the camera is reflected is calculated.
前記ステアリングリムセンサは、前記ステアリングリムに、当該ステアリングリムの周に沿って配置された、前記手の接近もしくは接触を検出する複数のセンサを含んで構成されることを特徴とする画像認識装置。 The image recognition device according to claim 1 or 2,
The image recognition apparatus, wherein the steering rim sensor includes a plurality of sensors arranged on the steering rim along the circumference of the steering rim to detect approach or contact of the hand.
前記画像認識手段が画像認識した手の形状より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段とを有することを特徴とするジェスチャ入力装置。 A gesture input device comprising the image recognition device according to claim 1, wherein the gesture input device accepts a gesture input by a hand gesture,
A gesture input device comprising gesture input receiving means for identifying a gesture of the hand based on the shape of the hand recognized by the image recognition means and receiving a user operation corresponding to the identified gesture.
前記ステアリングリム上の位置を検出していない状態にあった前記ステアリングリムセンサが前記ステアリングリム上の位置を検出したときに、前記画像認識手段が認識した手を基準として、前記カメラが撮影した画像中の手をトラッキングして画像認識し、画像認識した手の形状もしくは認識した手の形状の推移より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段とを有することを特徴とするジェスチャ入力装置。 A gesture input device comprising the image recognition device according to claim 1, wherein the gesture input device accepts a gesture input by a hand gesture,
When the steering rim sensor that has not detected the position on the steering rim detects the position on the steering rim, the image taken by the camera with the hand recognized by the image recognition means as a reference A gesture input receiving means for recognizing an image by tracking an inner hand, identifying a gesture of the hand based on the shape of the recognized hand or the recognized hand shape, and receiving a user operation corresponding to the identified gesture; A gesture input device characterized by comprising:
当該コンピュータを、
前記ステアリングリムセンサが検出した前記ステアリングリム上の位置に応じて、認識対象画像に設定する前記カメラが撮影した画像中の画像部分を、当該カメラが撮影した画像中の前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分に限定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段として機能させることを特徴とするコンピュータプログラム。 For each of a plurality of different positions on the steering rim of the steering wheel and a camera that captures the situation around the steering wheel of an automobile , the hand approaches or touches by detecting the approach or contact of the hand to that position. A computer program that is read and executed by a computer including a steering rim sensor that detects a position on the steering rim,
The computer
In accordance with the position on the steering rim detected by the steering rim sensor, the steering rim sensor in the image captured by the camera detects an image portion in the image captured by the camera to be set as a recognition target image. A recognition target image setting means for limiting to an image portion of a region around a position where the position on the steering rim is reflected ;
A computer program that causes an image recognition unit that performs hand image recognition on a recognition target image set by the recognition target image setting unit.
当該コンピュータプログラムは、前記コンピュータを、
前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、
前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段として機能させるコンピュータプログラムであって、
前記認識対象画像設定手段は、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定することを特徴とするコンピュータプログラム。 A camera that captures a situation around the steering wheel of an automobile, a steering rim sensor that detects a position on the steering rim of the steering wheel that a hand approaches or contacts, and a rotation angle sensor that detects a rotation angle of the steering wheel A computer program read and executed by a computer comprising:
The computer program stores the computer,
A recognition target image setting means for setting, as a recognition target image, an image portion of a region around a position where a position on the steering rim detected by the steering rim sensor in the image photographed by the camera is reflected;
A computer program that functions as image recognition means for performing hand image recognition on the recognition target image set by the recognition target image setting means,
The recognition target image setting means includes the steering rim sensor in an image photographed by the camera based on a rotation angle detected by the rotation angle sensor and a position on the steering rim detected by the steering rim sensor. A computer program for calculating a position at which the position on the steering rim detected by the camera is reflected .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013152217A JP6188468B2 (en) | 2013-07-23 | 2013-07-23 | Image recognition device, gesture input device, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013152217A JP6188468B2 (en) | 2013-07-23 | 2013-07-23 | Image recognition device, gesture input device, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015020677A JP2015020677A (en) | 2015-02-02 |
| JP6188468B2 true JP6188468B2 (en) | 2017-08-30 |
Family
ID=52485493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013152217A Expired - Fee Related JP6188468B2 (en) | 2013-07-23 | 2013-07-23 | Image recognition device, gesture input device, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6188468B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135398A (en) * | 2019-05-28 | 2019-08-16 | 厦门瑞为信息技术有限公司 | Both hands off-direction disk detection method based on computer vision |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716648B (en) * | 2019-10-22 | 2021-08-24 | 上海商汤智能科技有限公司 | Gesture control method and device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11134090A (en) * | 1997-10-30 | 1999-05-21 | Tokai Rika Co Ltd | Operation signal output device |
| JP3941786B2 (en) * | 2004-03-03 | 2007-07-04 | 日産自動車株式会社 | Vehicle operation input device and method |
| JP2006312346A (en) * | 2005-05-06 | 2006-11-16 | Nissan Motor Co Ltd | Command input device |
| JP2006312347A (en) * | 2005-05-06 | 2006-11-16 | Nissan Motor Co Ltd | Command input device |
| JP4900460B2 (en) * | 2009-12-14 | 2012-03-21 | 株式会社デンソー | Wheel grip detection device for steering device, program |
-
2013
- 2013-07-23 JP JP2013152217A patent/JP6188468B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135398A (en) * | 2019-05-28 | 2019-08-16 | 厦门瑞为信息技术有限公司 | Both hands off-direction disk detection method based on computer vision |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015020677A (en) | 2015-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9104243B2 (en) | Vehicle operation device | |
| CN108349503B (en) | Driving support device | |
| CN108399044B (en) | User interface, vehicle and method for distinguishing users | |
| US9613459B2 (en) | System and method for in-vehicle interaction | |
| JP6335556B2 (en) | Information query by pointing | |
| JP6851482B2 (en) | Operation support device and operation support method | |
| US20150015521A1 (en) | Gesture input operation processing device | |
| JP6386618B2 (en) | Intelligent tutorial for gestures | |
| JP2007237919A (en) | Input operation device for vehicle | |
| US11858424B2 (en) | Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof | |
| US20200062173A1 (en) | Notification control apparatus and method for controlling notification | |
| WO2018061603A1 (en) | Gestural manipulation system, gestural manipulation method, and program | |
| WO2018070022A1 (en) | Host-position estimation method and host-position estimation device | |
| JP6188468B2 (en) | Image recognition device, gesture input device, and computer program | |
| JP5076819B2 (en) | Vehicle driving support device and vehicle driving support method | |
| US11113550B2 (en) | Method and device for reminding a driver to start at a light signal device with variable output function | |
| JP2015132905A (en) | Electronic system, method for controlling detection range, and control program | |
| JP2011175367A (en) | Vehicle control apparatus | |
| JP2008090683A (en) | Onboard navigation device | |
| JP4176558B2 (en) | Vehicle periphery display device | |
| JP2018170011A (en) | Input device, setting method for input device, program for input device, and recording medium | |
| JP5902514B2 (en) | INPUT DEVICE, INPUT DEVICE SETTING METHOD, INPUT DEVICE PROGRAM, AND RECORDING MEDIUM | |
| JP5342588B2 (en) | Operation device for in-vehicle equipment in automobile | |
| JP6409473B2 (en) | Vehicle notification device, vehicle control device, and vehicle notification program | |
| JP2014154125A (en) | Travel support system, travel support method and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160229 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6188468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |