JP4069069B2 - 車両ドアの開放状態の光学的識別方法および装置 - Google Patents

Description

本発明は、画像シーケンスをカメラで記録し、画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う、ドアを有する車両キャビン内での対象物の位置検出方法に関する。

この種の方法は国際公開第００６５５３８号明細書から知られている。公知の方法では位置に基づいて求められた対象物の輪郭から当該の対象物の運動が示された場合にのみ差の画像を形成することが記載されている。このときシーン内で運動している対象物が自動的に検出され、簡単かつ確実に画像評価が行われる。画像検出には広角対物レンズを備えたＣＣＤカメラまたはＣＭＯＳカメラが用いられる。こうしたカメラは車両のキャビン内の高い位置、有利には車両キャビンの天井に配置される。

カメラまたは他の光学センサ装置は前部座席のあいだに配置され、その視野角はインストゥルメンタルパネルから座席背もたれまでのあいだ、およびキャビン天井からシートクッションまでのあいだをカバーしている。

公知の方法では、車両キャビン内での助手席の乗員の位置に関する情報、特にその頭部の位置に関する情報を求め、エアバッグシステムのトリガを確実に作動させるために当該の情報を用いている。

また車両のドアコンタクト部を読み取り、その情報を評価してエアバッグシステムを監視することも知られている。こうした監視装置は車両座席（例えば助手席）の占有状態を種々の占有状態クラス（空席、チャイルドシート後ろ向き、チャイルドシート前向き、大人乗員など）へクラシフィケーションし、これらのクラス間の遷移確率を求める。車両ドアが開いている場合、エアバッグシステムは作動してはならない。例えば車両の機械的なドアコンタクト部が信号を形成し、この信号を監視システムへ供給する。このためにドアコンタクト部からカメラシステムまたはセンサ装置までの電気線路はキャビン天井に設けられる。

ここでケーブルを用いるとその配設にコストがかかるという欠点が生じる。ケーブルが長くなるとさらにＥＭＶ問題（電磁障害問題）が発生することもある。車両のドアコンタクト部はたいてい安価であるが、エアバッグのトリガに関連しているので安全性に関する重要な部材である。

本発明の課題は、開放されたドアまたはウィンドウの確実な識別を行えるようにすることである。

この課題は本発明にしたがって、カメラによりドアの画像を記録し、当該のドアの画像を評価し、閉状態と開状態との差の画像に基づいて開放されているドアの開放の程度を取得し、識別された開放の程度に依存してカメラにより信号を形成し、これを監視システムへ供給し、当該の信号に基づいて車両の乗員を保護するセーフティ装置をオンオフすることにより解決される。

有利な実施形態は従属請求項に記載されている。

本発明の方法では特に、開放状態の検出のほか、ドアの具体的な開放角度を差の画像から得て利用することができる。これにより車両を駐車場で停止したときの車両ドアの不要に大きな開放が阻止され、車両のボディ部分または他の隣接の対象物が損なわれない。

本発明の方法では差の画像の形成は監視システムに関連して用いられる。このときカメラは識別された開放の程度に依存して信号を形成し、これを監視システムへ供給する。この信号に基づいて車両乗員を保護するセーフティシステムがオンオフされる。こうしてドアコンタクト部へ電気線路を接続することにより生じる欠点が回避される。

これに加えてまたはこれに代えて、本発明の方法によれば、ウィンドウの開放の程度を測定することができる。このときカメラは識別された開放の程度に依存して信号を形成し、これを監視システムへ供給する。これによりウィンドウから外へ出ている助手席乗員の腕や頭部、または他の物体をパワーウィンドウの閉鎖運動の際に傷つけてしまうことが回避される。これは例えば助手席乗員の頭部または他の物体が当該の乗員の胴体でカバーされずにウィンドウに挟まれてしまう場合に有効である。

カメラは対象物が開放されたウィンドウの領域内にあることを識別すると信号を監視システムへ送出し、これに基づいて監視システムがブロックをトリガする。これにより開放されたウィンドウの閉鎖が阻止される。

本発明の方法の特に有利な実施形態では、ドアまたはウィンドウの開放の程度はグレー値画像を評価することにより得られる。

僅かなグレー値画像でドアまたはウィンドウの開放の程度を判別するには、ヴァーチャルな画像領域を検出してグレー値を形成する。ここではドアまたはウィンドウの開放の程度が変更されるとグレー値の変化が予測される。

グレー値画像での評価の際にデータメモリに必要なメモリ容量をできる限り小さくするために、得られる各画像について位置にしたがう関数としてグレー値曲線を微分しなければならない。微分の結果はそのつど記憶され、記憶されたデータとの比較から開放の程度が求められる。

グレー値画像を取得することに代えて、３Ｄカメラで３次元の距離画像を記録し、そこからドアまたはウィンドウの開放の程度を取得することもできる。この場合には測定フィールドが使用され、カメラに対する平均距離が求められる。

本発明の別の有利な実施形態では、マッピングにより測定された距離を表す点の集まり全体が車両底部に相当する平面に平行な１つの平面へ投影される。投影画像はそのつど記憶され、記憶されたデータと比較して開放の程度が求められる。このとき特徴的な点の集まりを求めることもできる。ドアの開放の程度に応じて対応する点の集まりが変化する。

本発明はさらに上述の方法を実行する装置に関する。

以下に本発明を図示の実施例に則して詳細に説明する。

図１には走行方向に対して斜めに車両を切断した面での助手席が示されている。図２のＡ，Ｂにはドアが閉じている場合および開いている場合の車両底部に対してコプレーナな面における助手席が示されている。図３のＡ，Ｂには助手席ドアを内側から閉じた状態または開いた状態を捉えているエッジボックスが示されている。図３のＣにはウィンドウの縁領域およびドアの内壁をカバーするエッジボックスが示されている。図３のＤにはエッジボックスで捉えられたウィンドウ領域からドア内壁の領域へのグレー値特性が示されている。図３のＥには位置にしたがってグレー値曲線の第１の導関数が示されている。図４のＡ，Ｂには３Ｄカメラの測定フィールドおよび測定点の投影による助手席の乗員とドアとが示されている。図５のＡ，Ｂには３Ｄカメラで得られたピクセルを車両底部に対してコプレーナな平面へ変換したものが示されている。

車両内の天井１［図１、図２のＡ、Ｂ］にＣＣＤカメラまたはＣＭＯＳカメラ２が配置されており、このカメラには広角対物レンズ９が設けられている。カメラ２は有利には車両の中央に向けられるが、これに代えてカメラをボディの横軸上方の領域へ向け、座席３、ドア４、ドアグリップ６を備えたドア内壁５、およびウィンドウ７の上方の画像領域を捉えられるようにしてもよい。図中の破線Ａはカメラ２から閉鎖されているとき（第１の位置）のドア４までの距離を表しており、破線Ｂは開放されているとき（第２の位置）のドア４までの距離を表している。破線Ａ、Ｂはドアが開かれているときには破線Ａ’、Ｂ’に相応する。

カメラ２でグレー値画像が検出され、これによりウィンドウ７のフレームの周囲にエッジボックス１０〜１６［図３のＡ、Ｂ］が設定される。エッジボックス１０〜１６は大きなグレー値変化を有するドア４のエッジ位置を表すヴァーチャルな画像領域である。

エッジボックス１０はウィンドウ７の下方領域とドア内壁５の領域とをカバーしており、ｙ方向すなわちカメラ２の動作方向にＭピクセルの長さを有し、ｘ方向にＮピクセルの幅を有する。このエッジボックスにはドア内壁５のグレーで表されるグレー値のほか、これよりも明るいウィンドウ７の部分や、黒いドア縁ゴム８の部分などが存在する。

カメラ２がピクセルにしたがって走査する３つの領域についてエッジボックス１０内でグレー値が得られ、これが図３のＣに示されているようにｘ方向のＮ個のピクセルとｙ方向のＭ個のピクセルとで表される。同じことが図３のＤでは動作方向の関数として表されている。ここでは透明なウィンドウ７、黒いドア縁ゴム８および灰色のドア内壁５のグレー値の特性が見て取れる。

図３のＥには図３のＤの位置にしたがったグレー値関数、すなわち動作方向にしたがったグレー値関数の導関数が示されている。この関数の特性は実際にはエッジ関数により得られる。ここでエッジの位置は一方ではウィンドウ７とドア縁ゴム８とのあいだの位置Ｉで表され、他方ではドア縁ゴム８とドア内壁５とのあいだの位置ＩＩで表される。エッジの位置Ｉ、ＩＩは典型的なドア位置であり、一義的に表すことができる。

本発明の表示プロセスではきわめて僅かなメモリ容量しか必要とならない。なぜならエッジボックス１０〜１６に対して相互に対向する２つの角の位置を求め、カメラ２の動作方向とグレー値の閾値を形成するだけでよいからである。このときエッジボックス１０〜１６の閾値は個別に選定することができる。

エッジボックス１０〜１６の位置をドア４が閉じているとき［図３のＡ］と開いているとき［図３のＢ］とで比較すると、パースペクティブの変化によりドア４に対するエッジボックス１０〜１６の転位が得られる。エッジボックス１０〜１６のエッジはドア４の開放角がほんの少し変化しただけで変化する。これによりドア４の開放角度が検出される。基本的に、個々のエッジボックス１０〜１６は車両の乗員によって覆われてしまうことがあるので、エッジボックス１０〜１６の最小数を定義し、そのうち幾つかが隠れてしまっても、記憶されたエッジ位置と一致する覆われていないエッジボックスを用いて確実に測定結果を得られるようにしておくと有利である。

別の実施例ではカメラ２が３Ｄカメラとして構成されている。この実施例では測定フィールド１７〜１９［図４のＡ］が定義され、これによりドア４の部分がマッピングされ、カメラ２に対する平均距離が測定される。その時点での距離と記憶されている距離、例えばドア４が閉じられているときの距離とを比較することにより、ドア４が開放されているか閉鎖されているかが結論される。ここで測定フィールド１７〜１９は投影平面（例えば車両底面）に投影される。これはバーズビューつまり俯瞰の投影である。図４のＢに示されているように、ドア４の閉じられている位置Ｉと開いている位置ＩＩとのあいだで測定フィールド１７〜１９の平均距離の相対変化が得られ、ここからドア４の開放角が求められる。

本発明のもう１つの方法によれば［図５のＡ、Ｂ］、３Ｄカメラで得られたピクセル全体が車両底部に対してコプレーナな平面へ投影される。これによりｙ軸すなわち車両の走行方向の軸線に沿って特徴的な点の集まりが得られる。その位置はそれぞれの点の集まりの並ぶ長手軸線に沿って対象物の位置を反映している。このように所定の点の集まりによって閉じているときのドア４が表され［図５のＡ］、位置２０、２１で乗員の足、位置２２で座席３の筐体および背もたれが表されていることがわかる。

ドアの開いている状態では［図５のＢ］、ドア４を表す点の集まりは変化しているものの、他の全ての点の集まり２０〜２２はほぼ同じ位置にとどまっている。ドア４を表す点の集まりの運動方向は、ドアモデルによりドア４の回転ポイントの既知の位置を用いて求めるか、またはモデルなしで種々の文献から知られる変換法、例えばHough変換法を用いて探索される（K.R.Castleman, Prentice Hall; P.Haberaecker, Carl Hausen Verlag Muenchen, Wien; B.Jaehne, H.Haussecker, Computer Vision and Applications, Academic Pressなどを参照）。

走行方向に対して斜めに車両を切断した断面図である。

ドアが閉じている場合の車両底部に対してコプレーナな面を示す図である。

ドアが開いている場合の車両底部に対してコプレーナな面を示す図である。

助手席ドアを内側から閉じた状態を捉えているエッジボックスを示す図である。

助手席ドアを内側から開いた状態を捉えているエッジボックスを示す図である。

ウィンドウの縁領域およびドアの内壁をカバーするエッジボックスを示す図である。

エッジボックスで捉えられたウィンドウ領域からドア内壁の領域へのグレー値特性を示す図である。

位置にしたがうグレー値曲線の第１の導関数を示す図である。

３Ｄカメラの測定フィールドを示す図である。

測定点の投影による助手席の乗員とドアとを示す図である。

３Ｄカメラで得られたピクセルを車両底部に対してコプレーナな平面へ変換した図である。

３Ｄカメラで得られたピクセルを車両底部に対してコプレーナな平面へ変換した図である。

Claims (11)

1. 画像シーケンスをカメラ（２）で記録し、当該の画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う、
   ドア（４）を有する車両キャビン内での対象物の位置検出方法において、
   カメラ（２）によりドア（４）の画像を記録し、
   当該のドア（４）の画像を評価し、閉状態と開状態との差の画像に基づいて開放されているドア（４）の開放の程度を取得し、
   識別された開放の程度に依存してカメラ（２）により信号を形成し、これを監視システムへ供給し、当該の信号に基づいて車両の乗員を保護するセーフティ装置をオンオフする
   ことを特徴とする車両キャビン内での対象物の位置検出方法。
2. 差の画像からドア（４）の開放角を得る、請求項１記載の方法。
3. 画像シーケンスをカメラ（２）で記録し、当該の画像シーケンスの画像を電子的に評価することにより対象物のその時点での位置を計算し、その時点の画像と先行の画像とを比較することにより差の画像を形成し、当該の差の画像に基づいて対象物の位置の計算を行う、
   ドア（４）を有する車両キャビン内での対象物の位置検出方法において、
   カメラ（２）により開放されたウィンドウ（７）の開放の程度を測定し、識別された開放の程度に依存して信号を形成し、これを監視システムへ供給する
   ことを特徴とする車両キャビン内での対象物の位置検出方法。
4. カメラ（２）は開放されたウィンドウ（７）の領域に対象物が存在することを検出した場合に信号を監視システムへ供給し、これに基づいて監視システムはロックを開始して開放されたウィンドウ（８）の閉鎖を阻止する、請求項３記載の方法。
5. ドア（４）またはウィンドウ（７）の開放の程度をグレー値画像から得る、請求項１から４までのいずれか１項記載の方法。
6. グレー値画像が取得されるたびに、ドア（４）またはウィンドウ（７）の開放の程度の変化に応じてグレー値が変化するヴァーチャルな画像領域を定める、請求項５記載の方法。
7. 得られた画像ごとに位置の関数としてのグレー値曲線を位置にしたがって微分し、微分の結果をそのつど記憶し、記憶されたデータと比較して開放の程度を求める、請求項６記載の方法。
8. ドア（４）またはウィンドウ（７）の開放の程度をカメラ（２）の３次元距離画像から得る、請求項１から４までのいずれか１項記載の方法。
9. マッピングにより測定された距離を表す点の集まり全体を車両底部に相当する平面に平行な１つの平面へ投影し、投影画像をそのつど記憶し、記憶されたデータとの比較から開放の程度を求める、請求項８記載の方法。
10. 対象物すなわちドア（４）またはウィンドウ（７）を表す点の集まりを求め、記憶されたデータとの比較から開放の程度を求める、請求項８記載の方法。
11. 請求項１から１０までのいずれか１項記載の車両キャビン内での対象物の位置検出方法を実行することを特徴とするカメラ（２）を備えた車両キャビン内装置。

Images