JP5587068B2 - Driving support apparatus and method - Google Patents
Driving support apparatus and method Download PDFInfo
- Publication number
- JP5587068B2 JP5587068B2 JP2010156952A JP2010156952A JP5587068B2 JP 5587068 B2 JP5587068 B2 JP 5587068B2 JP 2010156952 A JP2010156952 A JP 2010156952A JP 2010156952 A JP2010156952 A JP 2010156952A JP 5587068 B2 JP5587068 B2 JP 5587068B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- face
- hand
- movement
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、ドライバの運転を支援する情報を提示する運転支援装置及び方法に関する。 The present invention relates to a driving support apparatus and method for presenting information for supporting driving of a driver.
従来より、下記の特許文献1のように運転者の手の動きを検出する技術が知られている。この特許文献1には、メニュー選択やヘッドアップディスプレイの見え方のために、運転者の手の動きを検出している。
2. Description of the Related Art Conventionally, a technique for detecting the movement of a driver's hand as in
しかしながら、特許文献1の技術は、運転者の手の動きを誤検出する可能性があった。例えば、運転者の顔が動いた時や他の乗員が動いた時に、運転者の手の動きとを区別できず、運転者の顔の動きや他の乗員の動きを手の動きと誤検出してしまう可能性があった。
However, the technique of
そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者の手の動きに対する誤検出を抑制することができる運転支援装置及び方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and an object thereof is to provide a driving support apparatus and method that can suppress erroneous detection of a driver's hand movement.
本発明は、運転者の顔領域の周囲に顔近接領域を設け、当該顔近接領域よりも外側に顔遠隔領域を設け、手領域の動き情報を検出し、当該動き情報を顔遠隔領域から顔近接領域に移動する第1動き方向情報と顔近接領域から顔遠隔領域に移動する第2動き方向情報とに分類し、第1動き方向情報が検出された後に第2動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定する。 The present invention provides a face proximity area around the driver's face area, a face remote area outside the face proximity area , detects movement information of the hand area, and moves the movement information from the face remote area to the face. The first movement direction information that moves to the proximity area and the second movement direction information that moves from the face proximity area to the face remote area are classified, and the second movement direction information is detected after the first movement direction information is detected. In this case, it is determined that a movement event of the driver's hand has occurred.
本発明によれば、第1動き方向情報が検出された後に第2動き方向情報が検出された場合に、手の動きイベントが発生したと判定するので、運転者の顔が動いた時や他の乗員が動いたことを手動きのイベントとして誤検出することを抑制できる。
According to the present invention, when the second motion direction data is detected after the first motion direction information is detected, the determining the hand movements event occurs, when a moving face of the driver and other It is possible to suppress erroneous detection of the movement of the occupant as an event of hand movement.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明の実施形態として示す運転支援装置は、例えば図1に示すように構成される。 A driving support apparatus shown as an embodiment of the present invention is configured as shown in FIG. 1, for example.
運転支援装置は、撮像手段としてのカメラ1、赤外線光源2、手動き検出装置3を有する。
The driving support device includes a
カメラ1は、運転者の顔の周囲を含む領域を撮像する。カメラ1は、例えば赤外線光源2によって照射された顔領域を含むカメラ画像を所定時間ごとに手動き検出装置3に供給する。赤外線光源2は、運転者の顔を含む領域に赤外線を照射する。この赤外線光源2は、運転者の顔領域の明度が不足しているときに、当該顔領域の明度を補足するために用いられる。なお、カメラ1は、赤外線カメラに限らず、他の形式のカメラであってもよいことは勿論である。
The
この運転支援装置は、カメラ画像に基づいて手動き検出装置3により運転者の手の動き状態を検出した時に、当該手動き検出信号を出力する。この手動き検出信号は、例えば、図示しない運転者状態の監視装置に供給される。これにより、手動き検出信号は、例えば、運転者の覚醒状態を認識するために使用され、覚醒状態に応じて休息をとるよう警報音をスピーカ等から出力させるために用いることができる。また、この手動き検出信号は、車両の動作を制御するためや、車両外部の情報センタに送信するために用いることもできる。
This driving assistance device outputs the hand movement detection signal when the hand
この運転支援装置は、例えば図2に示すように、運転者が操作する運転席に設けられる。カメラ1及び赤外線光源2を含むカメラシステム302は、ステアリング300の近傍であって、運転者が視認できる計器類301の前辺りに設置される。これにより、カメラシステム302は、少なくとも運転者の顔画像及び当該顔の周囲画像を撮影できる。カメラ1により撮像して得たカメラ画像は、手動き検出装置3に供給される。
For example, as shown in FIG. 2, the driving support device is provided in a driver seat operated by a driver. The
手動き検出装置3は、例えば図3に示すような機能的な各部を備えている。なお、手動き検出装置3は、実際にはROM、RAM、CPU等にて構成されているが、当該CPUがROMに格納された手動き検出用のプログラムに従って処理をすることによって実現できる機能をブロックとして説明する。
The hand
この手動き検出装置3は、例えば図4に示すように、カメラ1によって撮像されたカメラ画像100のうち、運転者の顔領域の周囲に顔近接領域201を設け、当該顔近接領域よりも外側に顔遠隔領域202を設ける。顔近接領域201は、上下左右の領域201U,201D,201R,201Lからなる。顔遠隔領域202は、上下左右の領域202U,202D,202R,202Lからなる。
For example, as shown in FIG. 4, the hand
ここで、運転者が手を顔に近づけた後に、手を顔から離すという手動きのイベントの発生を考える。 Here, consider the occurrence of a hand movement event in which the driver moves his hand closer to his face and then releases his hand from his face.
手動き検出装置3は、運転者の手の外側から内側への第1方向への動き及び運転者の手の内側から外側への第2方向への動きを検出する。運転者の手の外側から内側への第1方向への動きが発生した後に、運転者の手の内側から外側への第2方向への動きが発生したとき、手動き検出装置3は、図5に示すような信号を検出する。
The hand
図5によれば、先ず、時刻t1にて顔遠隔領域202に手が進入したことの信号S1が検出され、その後の時刻t2に、顔近接領域201に手が進入したことの信号S2が検出される。更にその後の時刻t3にて、顔近接領域201に手が進入したことの信号S3が検出され、その後の時刻t4に、顔遠隔領域202に手が進入したことの信号S4が検出される。 According to FIG. 5, first, a signal S1 indicating that a hand has entered the face remote area 202 is detected at time t1, and then a signal S2 indicating that a hand has entered the face proximity area 201 is detected at time t2. Is done. Further, a signal S3 indicating that a hand has entered the face proximity area 201 is detected at a subsequent time t3, and a signal S4 indicating that a hand has entered the face remote area 202 is detected at a subsequent time t4.
このように、手動き検出装置3は、手動きのイベント発生時には、手動きを、運転者の顔の周囲に対して外部から内部への第1動き方向情報と、内部から外部への第2動き方向情報とに分類できる。そして、手動き検出装置3は、第1動き方向情報が検出された後に第2動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定する(イベント判定手段)。以下、このような手動きのイベントを検出するための具体的な構成について説明する。
As described above, the hand
手動き検出装置3は、顔検出・顔特徴追跡部11、光環境判別部12、動き検出・コントラスト対策部13、光変化検出部14、動き方向判定・イベント検出部15を含む。
The hand
顔検出・顔特徴追跡部11は、カメラ1からカメラ画像100が供給される。顔検出・顔特徴追跡部11は、カメラ画像100を用いて、当該カメラ画像100に含まれる顔領域を検出する。この顔領域情報は、複数の座標データからなり、例えば長方形の領域として特定される。また、顔検出・顔特徴追跡部11は、顔領域の特徴を抽出し、当該顔領域の特徴を追跡する。これにより、顔検出・顔特徴追跡部11は、顔の動きを検出して、顔領域の移動を検出する。顔検出・顔特徴追跡部11は、顔領域を表す座標データである顔領域情報を光環境判別部12及び動き検出・コントラスト対策部13に供給する。
The face detection / face
光環境判別部12は、カメラ1からカメラ画像100が供給されると共に、顔検出・顔特徴追跡部11から顔領域情報が供給される。光環境判別部12は、カメラ画像100に基づいて運転者の周囲における光環境を判別する。光環境判別部12は、カメラ1により撮像されたカメラ画像100内のうち、車両内の天井領域における明度に基づいて、日中、夜間、トンネル内の何れかの光環境であるかを判別する。光環境判別部12は、判別した光環境に基づいて、後段の動き検出・コントラスト対策部13が、カメラ画像100のうちの顔領域以外の動き検出領域から手領域を識別する2値化閾値を設定する(閾値設定手段)。
The light
光環境判別部12は、顔領域情報から得られた顔領域よりも外側の領域を動き検出・コントラスト対策部13によって動き情報を検出する動き検出領域として特定する。そして、光環境判別部12は、当該動き検出領域における明度に基づいて動き情報を検出する2値化閾値を設定する(閾値設定手段)。
The light
光環境判別部12は、カメラ1により撮像された映像のうち車両内の天井領域における明度に基づいて、時間帯(夜間、昼間、トンネル)を認識する(時間帯認識手段)。光環境判別部12は、当該認識された時間帯に基づいて、動き検出・コントラスト対策部13が動き検出領域における明度に基づいて動き情報を検出する2値化閾値を設定する(閾値設定手段)。
The light
具体的には、光環境判別部12は、図6に示すように、カメラ画像100における天井に相当する領域に光環境判定領域101R、101Lを設ける。この光環境判定領域101R、101Lは、車両の走行に応じて明度が変化しにくく、光環境に応じて明度が変化する領域が設定されている。この光環境判定領域101R、101Lは、縦方向長さCH、横方向長さCWが所定の長さに予め設定されている。この光環境判定領域101R、101Lは、カメラ1の取り付け位置及び画角、カメラ1と通常の運転者の顔位置等に基づいて設定される。
Specifically, as shown in FIG. 6, the light
夜間環境である場合には、図6(a)に示すように、光環境判定領域101R、101Lの平均明度は低い値となる。したがって、光環境判別部12は、手領域を判定するための2値化閾値を低い値に設定する。トンネル環境である場合には、図6(b)に示すように、光環境判定領域101R、101Lの平均明度は、夜間環境よりも高く昼間環境よりも低い。したがって、光環境判別部12は、手領域を判定するための2値化閾値を、夜間環境よりも高い値に設定する。昼間環境である場合には、図6(c)に示すように、光環境判定領域101R、101Lの平均明度は、最も高くなる。したがって、光環境判別部12は、手領域を判定するための2値化閾値を、トンネル環境よりも高い値に設定する。
In the night environment, as shown in FIG. 6A, the average brightness of the light
また、光環境判定領域101R、101Lは、顔領域に応じて変動しても良い。例えば図7に示すように、運転者が顔を傾けた時には、顔領域102と光環境判定領域101R、101Lとの重複領域103が発生する。このとき、光環境判別部12は、光環境判定領域101R、101Lのうち顔領域102を除いた領域を光環境判定領域101R、101Lに設定する。これにより、光環境判別部12は、顔領域102の明度によって光環境を誤検出することを抑制でき、より正確に光環境を判別して2値化閾値を設定できる。
Also, the light
更に、光環境判別部12は、顔領域102外の手領域を検出するために単一の2値化閾値でなく、複数の2値化閾値を設定しても良い。
Furthermore, the light
例えば図8に示すように、カメラ画像100のうち、顔領域102の外側に隣接した第1顔周辺領域104と、当該第1顔周辺領域104よりも外側に隣接した第2顔周辺領域105を設定する。光環境判別部12は、第1顔周辺領域104に対しては、第1の2値化閾値を設定し、第2顔周辺領域105に対しては、第2の2値化閾値を設定する。夜間環境において、赤外線光源2から運転者の顔に赤外線光を照射している状況では、運転者の顔付近にも赤外線光が照射されている。よって、光環境判別部12は、第1の2値化閾値を、第2の2値化閾値よりも高く設定する。これにより、第1顔周辺領域104及び第2顔周辺領域105に現れた手領域を精度良く検出できる。
For example, as shown in FIG. 8, in the
他の例としては、図9に示すように、カメラ画像100のうち、顔領域102の窓側に隣接した第1顔周辺領域106と、顔領域102の車内側に隣接した第2顔周辺領域107を設定する。光環境判別部12は、第1顔周辺領域106に対しては、第1の2値化閾値を設定し、第2顔周辺領域107に対しては、第2の2値化閾値を設定する。昼間環境において、窓側から運転者の顔に自然光が照射されている状況では、窓側の平均明度が高く、車内側の平均明度は低い。よって、光環境判別部12は、第1の2値化閾値を、第2の2値化閾値よりも高く設定する。これにより、第1顔周辺領域106及び第2顔周辺領域107に現れた手領域を精度良く検出できる。
As another example, as shown in FIG. 9, in the
動き検出・コントラスト対策部13は、カメラ1からのカメラ画像100、顔検出・顔特徴追跡部11からの顔領域情報、光環境判別部12からの2値化閾値が供給される。動き検出・コントラスト対策部13は、カメラ画像100のうち顔検出・顔特徴追跡部11により検出された顔領域よりも外側の領域を、動き検出領域として認識する。また、動き検出・コントラスト対策部13は、カメラ画像100のうち、顔検出・顔特徴追跡部11により検出された顔領域が移動したことに応じて、当該移動した顔領域よりも外側の動き検出領域を移動させる。
The motion detection /
動き検出・コントラスト対策部13は、カメラ画像100のうち顔領域102を除く領域である動き検出領域から、手領域を検出する。このとき、動き検出・コントラスト対策部13は、カメラ画像100の顔領域102を除く動き検出領域のうち、2値化閾値よりも高い明度の領域を手領域とし、2値化閾値よりも低い明度の領域を手領域ではないと判定する。動き検出・コントラスト対策部13は、手領域の値が「1」であり、手領域以外がマスク(値=0)された動きマスク情報を光変化検出部14に供給する。
The motion detection /
動き検出・コントラスト対策部13は、図10に示すように、新たにカメラ画像100を入力すると、当該カメラ画像100に対してフィルタリング処理を施す(ステップST1)。このフィルタリング処理は、局所的に輝度高い領域等を除去したカメラ画像100に加工する。
As shown in FIG. 10, when the
次に動き検出・コントラスト対策部13は、フィルタリング処理が施されたカメラ画像100aに対して前景抽出処理を行う(ステップST3)。この前景抽出処理は、図10に示すようにフィルタリングされたカメラ画像100aと、前フレームの背景抽出処理(ステップST2)において予め作成された背景画像との差分処理によって行われ、その結果、動きが検出された領域を抽出した動き画像100cを取得する。そして、動き検出・コントラスト対策部13は、光環境判別部12により設定された2値化閾値と、動き画像の画素値とを比較して、2値化閾値を超える画素値の画素を手領域として抽出する(ステップST4)。これにより、動き検出・コントラスト対策部13は、値が「1」の手領域100d(1)と値が「0」のマスク領域100d(0)とを含む動きマスク画像100dを生成する。また、図10に示す背景抽出処理(ステップST2)では、現在の背景画像に、今回入力されたカメラ画像にフィルタリング処理を施したカメラ画像100aとの加重平均処理を行い、次のフレーム処理で利用する背景画像を作成する。
Next, the motion detection /
夜間環境においては、カメラ画像100の全体が低コントラストとなり、赤外線光源2から顔領域102に照射されている赤外線光によって顔付近が明るくなる傾向がある。よって、動き検出・コントラスト対策部13は、図8に示したように、顔領域102の周囲の第1顔周辺領域104と第2顔周辺領域105とで異なる2値化閾値を用いることが望ましい。これは、光環境やカメラ1の特性によって、同じ手領域や背景(動き検出領域)であっても、カメラ画像100内の位置によって差分値が異なる傾向となる対策のためである。よって、動き検出・コントラスト対策部13は、光環境に応じて、カメラ画像100の位置に応じて異なる2値化閾値を用いることが望ましい。
In the nighttime environment, the
夜間環境においては、顔領域102を中心として、顔領域102に対しては赤外線光源2の赤外線光が照射されるために、顔領域102以外の領域(動き検出領域)でも明るくなり、顔領域102から更に離れた領域では更に暗くなる。そのために、同じ動き検出領域に手領域が現れても、顔領域102周囲での差分値よりも、カメラ画像100の端部における差分値が小さくなる。更に、一般的なカメラ1の特性は、カメラ画像100の中央に比べて、カメラ画像100の端部ではコントラストが低くなる。このため、同じ動き検出領域に手領域が現れても、顔領域102周囲での差分値よりも、カメラ画像100の端部における差分値が小さくなる。
In the night environment, since the infrared light from the infrared
このような夜間環境及びカメラ1の特性を考慮して、動き検出・コントラスト対策部13は、光環境判別部12によって夜間環境であると判別されている場合、顔領域102以外の2値化閾値nighttimeNoFaceTHと、顔領域102の2値化閾値nighttimeFaceTHとの大小関係を、
nighttimeNoFaceTH ≦ nighttimeFaceTH
とする。これにより、赤外線光源2の照明及びカメラ1の特性に関わらず、顔領域102以外での手領域を高精度に検出できる。
In consideration of such a night environment and the characteristics of the
nighttimeNoFaceTH ≤ nighttimeFaceTH
And Thereby, regardless of the illumination of the infrared
トンネル環境、昼間環境においても同様に、赤外線光源2から顔領域102に対して赤外線光が照射されているが、夜間環境に比較して赤外線光の影響は少ない。しかし、カメラ1の特性より、顔領域102よりもカメラ画像100の端部においては、コントラストが低下する。このことを考慮して、動き検出・コントラスト対策部13は、トンネル環境における顔領域102以外の領域(動き検出領域)の2値化閾値tunnelNoFaceTH、トンネル環境における顔領域102の2値化閾値tunnelFaceTH、昼間環境における顔領域102以外の領域(動き検出領域)の2値化閾値daytimeNoFaceTH、昼間環境における顔領域102の2値化閾値daytimeFaceTHの大小関係を、
tunnelNoFaceTH ≦ tunnelFaceTH
daytimeNoFaceTH ≦ daytimeFaceTH
とする。これにより、顔領域102よりも、当該顔領域102より端側にある動き検出領域のコントラストが低くても、低い2値化閾値によって精度良く手領域を検出できる。
Similarly, in the tunnel environment and the daytime environment, infrared light is irradiated from the infrared
tunnelNoFaceTH ≤ tunnelFaceTH
daytimeNoFaceTH ≦ daytimeFaceTH
And Thereby, even if the contrast of the motion detection area located on the end side of the
更に、各光環境での照明条件を考慮すると、
nighttimeNoFaceTH ≦ tunnelNoFaceTH ≦ daytimeNoFaceTH
と2値化閾値を設定することによって、光環境によらず効果的に手領域を検出できる。しかし、必ずしもこのように2値化閾値を設定する必要はない。
Furthermore, considering the lighting conditions in each light environment,
nighttimeNoFaceTH ≤ tunnelNoFaceTH ≤ daytimeNoFaceTH
By setting the binarization threshold, the hand region can be detected effectively regardless of the light environment. However, it is not always necessary to set the binarization threshold in this way.
更に、動き検出・コントラスト対策部13は、上述した図8や図9のように、カメラ画像100の領域ごとに2値化閾値を異なる値としても良い。
Further, the motion detection /
図8に示すように、顔領域102の周辺に、第1顔周辺領域104及び第2顔周辺領域105を設定した場合、顔領域102での2値化閾値FaceTH、第1顔周辺領域104での2値化閾値NoFaceTH1、第2顔周辺領域105での2値化閾値NoFaceTH2は、
NoFaceTH2 ≦ NoFaceTH1 ≦ FaceTH
とする。動き検出・コントラスト対策部13は、顔領域102、第1顔周辺領域104、第2顔周辺領域105といったようにカメラ画像100の端部となるほどコントラストが低下しても、顔領域102よりも第1顔周辺領域104での手領域を精度良く検出し、第1顔周辺領域104よりも第2顔周辺領域105での手領域を精度良く検出できる。
As shown in FIG. 8, when the first face
NoFaceTH2 ≤ NoFaceTH1 ≤ FaceTH
And The motion detection /
昼間環境において、窓側のコントラストが高く、車内側のコントラストが低い場合がある。このような昼間環境において、動き検出・コントラスト対策部13は、図9に示したように、顔領域102から窓側の第1顔周辺領域106での2値化閾値NoFaceTH3、顔領域102から車内側の第2顔周辺領域107での2値化閾値NoFaceTH4とすると、
NoFaceTH4 ≦ NoFaceTH3 ≦ FaceTH
とする。これにより、動き検出・コントラスト対策部13は、顔領域102よりも第1顔周辺領域106及び第2顔周辺領域107での手領域を精度良く検出し、コントラストが低下する第2顔周辺領域107での手領域を精度良く検出できる。
In daytime environments, the contrast on the window side may be high and the contrast on the inside of the vehicle may be low. In such a daytime environment, as shown in FIG. 9, the motion detection /
NoFaceTH4 ≤ NoFaceTH3 ≤ FaceTH
And Thereby, the motion detection /
光変化検出部14は、動き検出・コントラスト対策部13から動きマスク情報が供給される。光変化検出部14は、急峻に明度が高くなる光環境の変化を検出する。光変化検出部14は、急峻に明度が明るくなることによって動きマスク情報によって手領域が出現する可能性を判断する。光変化検出部14は、急峻な明度が発生していた場合には、当該動きマスク情報をキャンセルして、動き方向判定・イベント検出部15に対して動きマスク情報を供給しない。これにより、光変化検出部14は、急峻に明度が高くなることが検出された場合に、運転者の手動きイベントが発生したと判定する処理を中止する。
The light
具体的には、図11(A)に示すように、時系列でカメラ画像100が(a)〜(f)のように供給された場合、動き検出・コントラスト対策部13によって、図11(B)の(a)〜(f)のように、時系列で動きマスク画像100dが光変化検出部14に供給された場面を考える。急峻に明度が高くなるような光環境の変化が発生すると、動きマスク画像100dのうち、手領域と認識された手領域100d(1)が数フレームに亘ってのみ発生する。また、この手領域100d(1)の面積は、マスク領域100d(0)の面積と比較して非常に小さくなる。
Specifically, as shown in FIG. 11A, when the
一方、図12(A)に示すように、運転者が手を動かしている状況で(a)〜(f)のカメラ画像100が取得されると、図12(B)の(a)〜(f)に示すように、手領域100d(1)の面積が大きく、多数のフレーム(長時間)に亘って手領域100d(1)が現れる。
On the other hand, as shown in FIG. 12A, when the
以上より、光変化検出部14は、手領域100d(1)の面積が小さく、当該手領域100d(1)が発生したフレーム数が少ない(短時間)である場合には、急峻に明度が上昇した場面であると判定して、当該動きマスク画像100dを動き方向判定・イベント検出部15には供給しない。
As described above, when the area of the
更に、光変化検出部14は、図13に示すように、カメラ画像100のうち、光環境判定領域101R、101Lの平均明度を求めて、急峻に明度の変化を検出しても良い。例えば、窓側から日光が急に差し込んだ場面においては、光環境判定領域101Lの平均明度が上限値に近い値となる。このような場面であっても、光変化検出部14は、当該光環境判定領域101R、101Lに急峻に明度が変化したときに動き検出・コントラスト対策部13から取得した動きマスク画像100dを動き方向判定・イベント検出部15には供給しない。
Further, as shown in FIG. 13, the light
これにより、光変化検出部14は、急峻に明度の変化が生じたときに発生した動きマスク画像100dを動き方向判定・イベント検出部15に供給することによる手領域の誤検知を抑制できる。
As a result, the light
動き方向判定・イベント検出部15は、光変化検出部14を介して動きマスク画像100dが供給される。動き方向判定・イベント検出部15は、時間的に連続する動きマスク画像100dを参照して、上述の図4に示したように、手領域100d(1)が顔遠隔領域202から顔近接領域201に移動する第1動き方向情報と、手領域100d(1)が上述の顔近接領域201から顔遠隔領域202に移動する第2動き方向情報とに分類する。
The motion direction determination /
動き方向判定・イベント検出部15は、図5に示したように、第1動き方向情報(S1→S2)の後に第2動き方向情報(S3→S4)が検出された場合に、当該一連の手領域100d(1)の動作を、手動きのイベントとして認識する(イベント判定手段)。
As illustrated in FIG. 5, the movement direction determination /
動き方向判定・イベント検出部15は、当該手動きのイベントを認識したときには、手動き検出信号を外部に出力する。なお、顔近接領域201及び顔遠隔領域202は、所定の座標データによって表されていても良く、顔領域102の移動に応じて、動的に移動させても良い。
The movement direction determination /
ここで、動き方向判定・イベント検出部15は、顔近接領域201及び顔遠隔領域202のうち手領域100d(1)が含まれている占有率(%)が所定値以上である場合に、手領域100d(1)が顔近接領域201及び顔遠隔領域202に進入したと判定する。手領域100d(1)が顔近接領域201又は顔遠隔領域202に進入すると、最初は顔近接領域201又は顔遠隔領域202の全体に対する手領域100d(1)の占有率が低く、次第に手領域100d(1)の占有率が高くなり、その後、手が顔近接領域201又は顔遠隔領域202を通過して、手領域100d(1)の占有率が低くなる。動き方向判定・イベント検出部15は、手領域100d(1)の占有率が最大となった座標値を検出することによって、顔近接領域201と顔遠隔領域202とで何れかから先に手が進入し、どの方向に手が移動したかを判定することができる。これにより、動き方向判定・イベント検出部15は、手がカメラ画像100の外から内に移動し、更に、手がカメラ画像100の内から外に移動する動き方向を検出できる。
Here, the movement direction determination /
第1動き方向情報(S1→S2)の後に第2動き方向情報(S3→S4)が検出された場合には、運転者が自身の顔又は頭部に触れる振る舞いをしたことを表している。ここで、顔近接領域201及び顔遠隔領域202は、顔領域102の周囲の上方、下方、右側及び左側に設けられている。したがって、手領域100d(1)の進入方向と手領域100d(1)の退出方向とが一致しない場合があり、この場合には、手動きイベントの検出精度が曖昧になってしまう。
When the second movement direction information (S3 → S4) is detected after the first movement direction information (S1 → S2), it indicates that the driver behaves to touch his / her face or head. Here, the face proximity area 201 and the face remote area 202 are provided above, below, on the right side, and on the left side around the
これに対し、動き方向判定・イベント検出部15は、各顔近接領域201及び顔遠隔領域202に重み付けを設定しても良い。この顔近接領域201又は顔遠隔領域202の重み付けは、運転者自身が手によって自己の顔又は頭部に触れる振る舞いに合致するよう設定する。例えば、顔領域102に対する右側の顔近接領域201R及び顔遠隔領域202Rと顔領域102に対する左側の顔近接領域201L及び顔遠隔領域202Lの重み付けは、顔領域102に対する上側の顔近接領域201U及び顔遠隔領域202Uと顔領域102に対する下側の顔近接領域201D及び顔遠隔領域202Dの重み付けよりも、高くする。これは、右側又は左側から手が進入及び退出する手動きのイベントの発生確率が、上側又は下側から手が進入する手動きのイベントの発生確率よりも、高いからである。
On the other hand, the movement direction determination /
これにより、動き方向判定・イベント検出部15は、重み付けが高い顔近接領域201R及び顔遠隔領域202R、顔近接領域201L及び顔遠隔領域202Lに手領域100d(1)が現れたときに、当該手領域100d(1)の占有率が低くても、当該領域に手が進入したと判定しやすくする。すなわち、動き方向判定・イベント検出部15は、右側又は左側から手が進入して、退出する手動きのイベントを検出しやすくできる。
As a result, the movement direction determination /
以上詳細に説明したように、本発明の実施形態として示した運転支援装置によれば、図5で示したように、手領域100d(1)の動き情報を顔領域102に対して外部から内部への第1動き方向情報と内部から外部への第2動き方向情報とに分類し、第1動き方向情報が検出された後に第2動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定する。これにより、この運転支援装置によれば、運転者の顔が動いた時や他の乗員が動いたことを手動きのイベントとして誤検出することを抑制できる。また、この運転支援装置によれば、顔領域102の背景を動き検出領域として設定して手領域100d(1)の方向を検出するので、簡単な構成で、少ない処理負荷で手動きのイベントを検出できる。
As described above in detail, according to the driving support apparatus shown as the embodiment of the present invention, as shown in FIG. 5, the motion information of the
また、この運転支援装置によれば、顔検出・顔特徴追跡部11によって検出された顔領域よりも外側の領域を、動き検出領域として認識するので、顔領域102を動き検出領域から排除できる。また、この運転支援装置によれば、顔検出・顔特徴追跡部11により検出された顔領域が移動したことに応じて、顔領域102よりも外側の動き検出領域を移動させる。これにより、この運転支援装置によれば、手の動きではない頭部の動きを手領域100d(1)から排除でき、手領域100d(1)の検出率を向上することができ、手動きのイベントの誤検出を抑制できる。
Further, according to this driving support device, the area outside the face area detected by the face detection / face
更に、この運転支援装置によれば、顔検出・顔特徴追跡部11により検出された顔領域102よりも外側の領域を動き検出領域として特定し、当該動き検出領域における明度に基づいて動き情報を検出する2値化閾値を設定する。これにより、この運転支援装置によれば、例えば夜間環境、昼間環境、トンネル環境といったように車内での光環境が変動しても適切な2値化閾値を設定して、精度良く手領域100d(1)を検出でき、手動きのイベントの誤検出を抑制できる。
Furthermore, according to this driving support device, an area outside the
更にまた、この運転支援装置によれば、カメラ画像100のうち車両内の天井領域に相当する光環境判定領域101R、101Lにおける明度に基づいて時間帯を認識して、動き検出領域における明度に基づいて2値化閾値を設定する。これにより、この運転支援装置よれば、精度良く車室内の光環境を判定して適切な2値化閾値を設定でき、精度良く手領域100d(1)を検出して手動きのイベントの誤検出を抑制できる。
Furthermore, according to this driving support device, the time zone is recognized based on the lightness in the light
更にまた、この運転支援装置によれば、急峻に明度が高くなる光環境の変化を検出したときには、運転者の手の動きイベントが発生したと判定する処理を中止するので、一時的に急峻に明度が変化したときに手動きのイベントを誤検出することを抑制できる。 Furthermore, according to this driving support device, when a change in the light environment in which the brightness is sharply increased is detected, the process for determining that the movement event of the driver's hand has occurred is stopped. It is possible to suppress erroneous detection of a hand movement event when the brightness changes.
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
1 カメラ
2 赤外線光源
3 検出装置
11 顔検出・顔特徴追跡部
12 光環境判別部
13 検出・コントラスト対策部
14 光変化検出部
15 方向判定・イベント検出部
DESCRIPTION OF
Claims (6)
前記撮像手段により撮像された映像のうち、前記運転者の顔領域の周囲に顔近接領域を設け、当該顔近接領域よりも外側に顔遠隔領域を設け、手領域の動き情報を検出する動き検出手段と、
前記動き検出手段により検出された手領域が顔遠隔領域から顔近接領域に移動する第1動き方向情報と手領域が顔近接領域から顔遠隔領域に移動する第2動き方向情報とに分類し、前記第1動き方向情報が検出された後に前記第2動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定するイベント判定手段と
を備えることを特徴とする運転支援装置。 Imaging means for imaging an area including the periphery of the driver's face;
Motion detection in which a face proximity area is provided around the driver's face area, a face remote area is provided outside the face proximity area, and motion information of the hand area is detected in the video imaged by the imaging means Means,
Classifying the hand area detected by the motion detection means into first movement direction information in which the hand area moves from the face remote area to the face proximity area and second movement direction information in which the hand area moves from the face proximity area to the face remote area ; Driving support comprising: event determination means for determining that a movement event of a driver's hand has occurred when the second movement direction information is detected after the first movement direction information is detected. apparatus.
を特徴とする請求項1に記載の運転支援装置。 The movement detecting means moves the face remote area and the face proximity area outside the face area detected by the face area detecting means in response to the movement of the face area detected by the face area detecting means. The driving support device according to claim 1, wherein the driving support device is moved.
を備える請求項1に記載の運転支援装置。 Threshold setting that specifies areas outside the face area as the face remote area and the face proximity area, and sets a binarization threshold for detecting motion information based on brightness in the face remote area and the face proximity area The driving support device according to claim 1, further comprising: means.
前記時間帯認識手段により認識された時間帯に基づいて、前記動き検出手段が前記顔遠隔領域及び前記顔近接領域における明度に基づいて動き情報を検出する2値化閾値を設定する閾値設定手段とを備えることを特徴とする請求項1に記載の運転支援装置。 A time zone recognizing means for recognizing a time zone based on brightness in a ceiling area in a vehicle among images captured by the imaging means;
Threshold setting means for setting a binarization threshold for detecting motion information based on the brightness in the face remote area and the face proximity area based on the time zone recognized by the time zone recognition means; The driving support device according to claim 1, further comprising:
前記イベント判定手段は、前記光環境検出手段により急峻に明度が高くなることが検出された場合に、前記運転者の手の動きイベントが発生したと判定する処理を中止することを特徴とする請求項1に記載の運転支援装置。 Provided with light environment detection means for detecting changes in the light environment where the brightness increases sharply,
The event determination unit, when the light environment detection unit detects that the brightness is sharply increased, stops the process of determining that a movement event of the driver's hand has occurred. Item 2. The driving support device according to Item 1.
前記検出された動き情報を顔遠隔領域から顔近接領域に移動する第1動き方向情報と顔近接領域から顔遠隔領域に移動する第2動き方向情報とに分類し、
前記第1動き方向情報が検出された後に前記第2動き方向情報が検出された場合に、運転者の手の動きイベントが発生したと判定すること
を特徴とする運転支援方法。 Of the video imaged by the imaging means , a face proximity area is provided around the driver's face area, a face remote area is provided outside the face proximity area, motion information of the hand area is detected,
Classifying the detected movement information into first movement direction information moving from the face remote area to the face proximity area and second movement direction information moving from the face proximity area to the face remote area ;
A driving support method, wherein when the second movement direction information is detected after the first movement direction information is detected, it is determined that a movement event of a driver's hand has occurred.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156952A JP5587068B2 (en) | 2010-07-09 | 2010-07-09 | Driving support apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156952A JP5587068B2 (en) | 2010-07-09 | 2010-07-09 | Driving support apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012018622A JP2012018622A (en) | 2012-01-26 |
JP5587068B2 true JP5587068B2 (en) | 2014-09-10 |
Family
ID=45603813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010156952A Active JP5587068B2 (en) | 2010-07-09 | 2010-07-09 | Driving support apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5587068B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101550604B1 (en) * | 2013-09-25 | 2015-09-07 | 현대자동차 주식회사 | Vehicle operation device |
DE112017004394T5 (en) | 2016-09-01 | 2019-05-16 | Mitsubishi Electric Corporation | Gesture judging means, gesture operation means and gesture judging methods |
WO2019159364A1 (en) * | 2018-02-19 | 2019-08-22 | 三菱電機株式会社 | Passenger state detection device, passenger state detection system, and passenger state detection method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005228163A (en) * | 2004-02-13 | 2005-08-25 | Omron Corp | Control system, and control operation determining method |
-
2010
- 2010-07-09 JP JP2010156952A patent/JP5587068B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012018622A (en) | 2012-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7130895B2 (en) | HELMET WEARING DETERMINATION METHOD, HELMET WEARING DETERMINATION DEVICE AND PROGRAM | |
CN109506664B (en) | Guide information providing device and method using pedestrian crossing recognition result | |
JP5577398B2 (en) | Vehicle periphery monitoring device | |
US9939909B2 (en) | Gesture manipulation device and method, program, and recording medium | |
JP4456086B2 (en) | Vehicle periphery monitoring device | |
JP4410292B1 (en) | Vehicle periphery monitoring device | |
JP4692344B2 (en) | Image recognition device | |
JP2001175876A (en) | Method and device for detecting moving body | |
JP4528283B2 (en) | Vehicle periphery monitoring device | |
JP6569385B2 (en) | Vehicle detection device, vehicle detection system, vehicle detection method, and vehicle detection program | |
JP5991647B2 (en) | Perimeter monitoring and control device for vehicles | |
JPWO2011108198A1 (en) | Vehicle periphery monitoring device | |
WO2012004938A1 (en) | Device for monitoring vicinity of vehicle | |
KR20160075135A (en) | Vehicle System for Detecting Objects and Detecting Method | |
JP2007207274A (en) | Start annunciation device | |
JP5587068B2 (en) | Driving support apparatus and method | |
US20120189161A1 (en) | Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus | |
JP2015185135A (en) | Parking recognition device, parking recognition method and program | |
JP2008004989A (en) | Vehicle perimeter display apparatus | |
JP2009125518A (en) | Driver's blink detection method, driver's awakening degree determination method, and device | |
JP3984863B2 (en) | Start notification device | |
KR101976498B1 (en) | System and method for gesture recognition of vehicle | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
KR20140039930A (en) | Method for setting event rule according to interested boundary and apparatus for monitoring event using the method | |
JP2018163530A (en) | Object detection device, object detection method, and object detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140723 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5587068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |