JP5991647B2

JP5991647B2 - 車両用周辺監視制御装置

Info

Publication number: JP5991647B2
Application number: JP2013067702A
Authority: JP
Inventors: 宗作重村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2016-09-14
Anticipated expiration: 2033-03-28
Also published as: US9826166B2; US20160057354A1; JP2014192770A; CN105075249A; WO2014155953A1

Description

本発明は、車両用周辺監視制御装置に関する。

車両に取り付けられたカメラによる撮像画像に含まれる画像部分について、予め設定された判定条件を満たしているか否かを判断することにより、画像部分に対応する実空間上の物体の存在を報知する装置が普及しつつある。

また、単に物体の存在を報知するだけではなく、自車両に対して相対的に危険度の高い物体の存在を運転者に適切に認識させることが可能な車両の認知支援装置が考案されている（特許文献１参照）。すなわち、少なくとも、視認性の難度が所定値を超えた場合、または、危険度が所定値を超えた場合に、撮影画像から抽出された対象物の拡大画像を、撮影画像に合成して表示する。

特許第４４０１８９０号公報

特許文献１の構成は、撮影・抽出された物体の数が少ない場合は特に問題ないが、物体の数が多い場合は拡大画像が表示画像の大部分を占めることになり、拡大画像を表示している箇所に他の物体が位置している場合は、それらの情報を提示できないという問題がある。

上記問題点を背景として、本発明の課題は、撮像画像および対象物についての情報を、より的確に乗員に報知可能な車両用周辺監視制御装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための車両用周辺監視制御装置は、車体の周辺を撮像する撮像部（２１）と車両に取り付けられた第１表示部（３１）とを備える車両に適用される車両用周辺監視制御装置であって、撮像部により得られた撮像画像から対象物に相当する画像領域を対象物領域として抽出する抽出部（１１、２２）と、対象物領域の位置関係および対象物の種別に基づいて、対象物をグループ化できるか否かを判定する判定部（１１）と、対象物をグループ化できると判定したとき、グループごとに、該グループの存在を示すシンボル画像を、撮像画像に重畳して、第１表示部に表示する表示制御部（１７）と、を含む。

上記構成によって、対象物の数が多い場合でも、複数の対象物をグループ化することで、シンボル画像が表示画像の大部分を占めることはなく、従来は、拡大画像に隠れて表示できなかった領域も表示することができる。よって、従来技術のような問題は生じない。

本発明の車両用周辺監視制御装置の構成例を示す図。対象物表示処理を説明するフロー図。グループ化の判定方法について説明する図。従来技術による表示形態例を示す図。本発明における表示形態例を示す図。１つの表示器に複数のグループを表示する例を示す図。１つの表示器に複数のグループを表示する別例を示す図。シンボル画像の表示タイミングの例を示す図。シンボル画像の表示タイミングの別例を示す図。シンボル画像の表示タイミングの別例を示す図。２つの表示器を用いたときの表示例を示す図。

以下、本発明の車両用周辺監視制御装置について、図面を用いて説明する。図１のように、車両用周辺監視制御装置１は、制御ユニット１０、および制御ユニット１０に接続された撮像ユニット２０、表示ユニット３０を含む。

制御ユニット１０は、周知のＣＰＵ１２、制御プログラムが格納されたＲＯＭ１３、データを一時保存するＲＡＭ１４、不揮発性記憶媒体で構成されて車両用周辺監視制御装置１の動作に必要な情報を記憶するメモリ１５、を含む演算処理部１１（本発明の抽出部、判定部、種別判別部、視認性判定部、占有率算出部）と、演算処理部１１に接続された信号入出力回路（図１では、Ｉ／Ｏと略記）１６および表示制御部１７を含むコンピュータとして構成される。そして、ＣＰＵ１２が制御プログラムを実行することで、車両用周辺監視制御装置１の各種機能を実現する。また、制御ユニット１０を、１つあるいは複数のＩＣあるいはＡＳＩＣ等としてハードウエア的に構成してもよいし、その一部および全部をソフトウエア的にメモリ上に構築してもよい。

信号入出力回路１６は、撮像ユニット２０から出力された撮像画像を、演算処理部１１で処理可能なデータに変換したり、演算処理部１１で生成された表示用データを、表示制御部１７で処理可能なものに変換して出力する。

表示制御部１７は、いわゆる、ディスプレイドライバに相当し、演算処理部１１から制御指令および表示用データを取得して、表示ユニット３０の表示制御を行う。

撮像ユニット２０は、車体の周辺（例えば、進行方向）を撮像するカメラ２１（可視カメラおよび赤外線カメラの少なくとも一方、本発明の撮像部）、カメラ２１が撮像した撮像画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御ユニット１０へ出力する画像処理部２２（本発明の抽出部）を含む。画像処理部２２を制御ユニット１０に含めてもよい。

表示ユニット３０は、周知のＬＣＤである第１表示器３１（本発明の第１表示部）、第２表示器３２（本発明の第２表示部）を含む。例えば、第１表示器３１は、車両の計器パネルに組み込まれたメータ表示器、オーディオ装置あるいはナビゲーション装置に含まれる表示器を用いる。また、第２表示器３２は、例えば、ヘッドアップディスプレイを用いる。第２表示器３２を含まない構成としてもよい。

図２を用いて、ＣＰＵ１２が実行する制御プログラムに含まれる対象物表示処理について説明する。まず、制御ユニット１０からの制御指令に基づいて、撮像ユニット２０のカメラ２１により、例えば車両の前方を撮像する（Ｓ１１）。続いて、画像処理部２２で上述のような画像処理を行い、撮像画像を制御ユニット１０に出力する。

制御ユニット１０は、撮像画像を取得すると、演算処理部１１で、撮像画像から対象物（例えば、生物または移動物体）に相当する画像領域を対象物領域として抽出する（Ｓ１２）。このとき、抽出した対象物の種別を判別する。対象物の種別の判別方法については、例えば、特許第４６１５０６１号公報あるいは特開２０１２−０５３６６３号公報に開示されている。

次に、抽出した対象物が複数存在するとき、これらの対象物のグループ化が可能か否かを判定する（Ｓ１３）。

図３を用いて、グループ化が可能か否かの判定方法について説明する。図３では、撮像画像から、対象物として２人の歩行者（Ｐ１、Ｐ２）を抽出した例を示している。歩行者Ｐ１を囲む４つの点（Ａ１、Ｂ１、Ｃ１、Ｄ１）を結んだ、略矩形状の表示枠Ｆ１で囲まれた内側の領域を対象物領域Ｒ１としている。点Ａ１は、第１表示器３１の画面左上の隅を原点Ｏとしたときの二次元座標として表すことができる。線分Ｃ１〜Ｄ１の長さ（Ｘ）線分点Ａ１〜Ｄ１の長さ（Ｙ）を算出・記憶することで、対象物領域Ｒ１の位置（他の点の座標を含む）および大きさを把握できる。

同様に、歩行者Ｐ２についても、歩行者Ｐ２を囲む４つの点（Ａ２、Ｂ２、Ｃ２、Ｄ２）を結んだ、略矩形状の表示枠Ｆ２で囲まれた内側の領域を対象物領域Ｒ２としている。

例えば、歩行者Ｐ１を含む対象物領域Ｒ１に歩行者Ｐ２を含む対象物領域Ｒ２の四隅の点（Ａ２、Ｂ２、Ｃ２、Ｄ２）の少なくとも一つが含まれるとき、逆に、対象物領域Ｒ２に対象物領域Ｒ１の四隅の点（Ａ１、Ｂ１、Ｃ１、Ｄ１）の少なくとも一つが含まれるとき、すなわち、２つの対象物領域が重なっているとき、これらの対象物のグループ化が可能と判定する。

上述の構成が、「判定部は、対象物領域が他の対象物領域に重畳しているとき、これら複数の対象物をグループ化できると判定する」ものである。本構成によって、表示するシンボル画像の数を減らすことができ、撮像画像の表示領域を従来よりも広くすることができる。

また、２つの対象物領域の間隔Ｌが、予め定められた閾値を下回るとき、これらの対象物のグループ化が可能と判定する。本構成が、「判定部は、対象物領域と他の対象物領域との間隔が、予め定められた閾値を下回るとき、これら対象物をグループ化できると判定する」ものである。本構成によっても、複数の対象物を一つのシンボル画像で表示でき、表示するシンボル画像の数を減らすことができ、撮像画像の表示領域を効率よく使用することができる。

閾値は、対象物領域の大きさ（Ｘ、Ｙ）に応じて可変としてもよい。例えば、対象物が車両の前方３０ｍ以遠に位置するような、対象物領域が比較的小さいとき閾値を小さくする。一方、対象物が車両の前方３０ｍ以内に位置するような、対象物領域が比較的大きいとき閾値を大きくする。例えば、２人の歩行者が一定の距離を保ちながら車両（すなわち、撮像部）に近づくにつれて、画像上での２人の距離（画素数）は大きくなる。閾値が一定であると、歩行者が車両から比較的遠い位置にいるときはグループ化されるが、車両に接近するにつれてグループ化されなくなる。閾値を可変とすることで、画像上での相対的な距離が一定となり、適切なグループ化を行うことができる。

上述の構成が、「閾値は、対象物領域の大きさに応じて定められる」ものである。本構成によって、比較的近くに存在する対象物はシンボル画像を個別に表示し、それ以外の対象物はグループ化して一つのシンボル画像で表示することで、表示するシンボル画像の数を減らすことができ、撮像画像の表示領域を従来よりも広くすることができる。

また、２つの対象物領域の間隔Ｌが閾値を上回るときでも、以下のようなときにはグループ化してもよい。
・２つの対象物のうち、一方の種別が歩行者で、他方の種別が動物であるとき。この場合、犬を連れて散歩していると推定できる。本構成が、「判定部は、対象物領域と他の対象物領域との間隔が予め定められた閾値を上回るとき、かつ、これら対象物の種別が異なるとき、これら対象物をグループ化できると判定する」ものである。

上述の２つの構成によって、本来は同一グループに含まれると推定される対象物を、別グループと判定して複数のシンボル画像を表示して、撮像画像の一部を見えなくしてしまうことを防止できる。

図２に戻り、上述の判定結果に基づいて、対象物をグループ化する（Ｓ１４）。

次に、グループ毎の視認性を評価する（Ｓ１５）。例えば、図３の対象物領域Ｒ１において、歩行者Ｐ１（すなわち、対象物）の画像と歩行者Ｐ１以外の画像との輝度の差（いわゆる、コントラスト）を算出し、これを用いて視認性を評価する。グループ内に対象物が複数存在するときには、そのグループを代表する対象物の輝度の差（コントラスト）を該グループの視認性とする。例えば、輝度の差の平均値あるいは輝度の差が最も低いものを代表とする。

次に、視認性の評価結果に基づき、シンボル画像の表示／非表示を決定する（Ｓ１６）。例えば、輝度の差が予め定められた閾値を下回るとき、すなわち、乗員が歩行者Ｐ１の存在を認識する確率が低いとき、シンボル画像を表示する。一方、輝度の差が予め定められた閾値を上回るとき、すなわち、乗員が歩行者Ｐ１の存在を認識する確率が高いとき、シンボル画像を表示しない。歩行者を示すシンボル画像は、予めメモリ１５に記憶されている。

上述の構成が、「グループごとの視認性を判定する視認性判定部（１１）を備え、表示制御部は、視認性が予め定められた状態を超えるとき、グループに対応するシンボル画像の表示を抑制する」ものである。本構成によって、乗員にとって不要なシンボル画像の表示を抑え、撮像画像の表示領域を従来よりも広くすることができる。

また、対象物の種別に応じたシンボル画像を選択する。シンボル画像は、種別に関連付けられて、予めメモリ１５に記憶されている。本構成が、「対象物あるいはグループの種別を判別する種別判別部（１１）を備え、シンボル画像は、種別を反映した」ものである。本構成によって、乗員は、対象物が何（歩行者、動物等）であるかを把握することができる。

次に、表示することが決定したシンボル画像の、第１表示器３１の表示画面における占有率、すなわち、表示画面の面積に対する全シンボル画像の表示面積の比を算出する（Ｓ１７）。

次に、第２表示器３２の有無により以下のような表示制御を行う。まず、第２表示器３２を含まない構成のとき（Ｓ１８：Ｎｏ）、あるいは、第２表示器３２を含む構成であるが（Ｓ１８：Ｙｅｓ）、占有率が予め定められた閾値を超えないとき（Ｓ１９：Ｎｏ）、占有率に基づいて表示形態を決定する（Ｓ２１）。続いて、決定した表示形態で第１表示器３１に表示する（Ｓ２２）。

以下、図４〜図７を用いて、ステップＳ２１における表示形態を例示する。まず、対比のため、図４に従来技術による表示形態例を示し、図５に本発明における表示形態を示す。２つの図では、撮像画像から３名の歩行者（Ｐ１〜Ｐ３）を対象物として抽出・表示している。

図４では、対象物が近接していても、対象物ごとに表示枠（Ｆ１〜Ｆ３）で囲むとともに、シンボル画像あるいは対象物の拡大画像（Ｐ１１〜Ｐ１３）を吹き出し表示するため、表示画面のかなりの部分を占有し、撮像画像の全体の状況を把握し辛い。

一方、図５では、３名の歩行者（Ｐ１〜Ｐ３）に対応する対象物領域をグループＧ１として１つの表示枠Ｆ１１で囲むとともに、グループＧ１に対応したシンボル画像Ｓ１１のみを、グループＧ１の画像の近傍に吹き出し表示する。これにより、撮像画像のうち、図４のシンボル画像Ｐ１１およびＰ１２により見えなくなっていた部分も表示することができる。

なお、表示枠Ｆ１１は、例えば、特許第４６１５０６１号公報に開示されているように、撮像画像に重畳して表示される。他の表示例についても同様である。

図６に、表示ユニット３０が第１表示器３１のみを含むときの表示形態を示す。撮像画像中の、歩行者Ｐ１〜Ｐ３がグループ化されたグループＧ１、および、歩行者Ｐ４〜Ｐ６がグループ化されたグループＧ２が、それぞれ、グループの外周を囲む表示枠Ｆ１１、Ｆ１２に囲まれて表示されている。また、それぞれのグループに対応したシンボル画像Ｓ１１およびＳ１２も、該当するグループの画像の近傍に吹き出し表示されている。また、従来技術および本発明の構成では、歩行者Ｐ１〜Ｐ６の視認性が低い状態にも、図６のように、全てのシンボル画像を表示する。従来技術の構成（図４参照）では、シンボル画像が対象物ごとに表示されて表示画面の大半を占めてしまう。一方、本発明の構成では、シンボル画像はグループごとに表示されるため、シンボル画像の専有面積を最小限に抑えることができる。

図７に、表示ユニットに第１表示器３１のみを含む構成における表示形態の別例を示す。対象物は図６と同様であるが、各グループの視認性を評価した結果、グループＧ２は視認性が高いと評価され、シンボル画像Ｓ２は表示しない。一方、グループＧ１は視認性が低いと評価され、シンボル画像Ｓ１は表示する。これにより、図６に比べて、撮像領域をさらに広く表示することができる。

図６の表示例において、シンボル画像Ｓ１１、Ｓ１２の占有率が閾値を超えるとき、シンボル画像を、予め定められた周期で表示／非表示を繰り返すようにしてもよい。この場合、単位時間あたりにおいて、下記の数式１を満たすようにシンボル画像の表示時間を制御する。これにより、空間的・時間的にシンボル画像によって占有されている割合を一定にすることができる。

図８Ａ〜図８Ｃに、シンボル数がＮ個のときと、２×Ｎ個のときの、シンボル画像の表示タイミングの一例を示す。図８Ａは、シンボル画像がＮ個の場合のシンボル画像の表示時間とその表示周期を示すタイムチャートの例である。この例では、表示周期をＴ秒とすると、シンボル画像は半周期のＴ／２秒間表示されている。ここで、１個あたりのシンボル画像の表示面積をＳとすると、１周期あたりにおいて、シンボル画像の面積の総和である占有面積と表示時間との積は、（Ｎ×Ｓ）×（Ｔ／２）で表される。

図８Ｂは、シンボル画像が２×Ｎ個の場合のシンボル画像の表示時間とその表示周期の一例を示すタイムチャートの例である。シンボル画像の表示周期を上記図８Ａの場合と同じＴ秒に設定すると、図８Ｂにおけるシンボル画像の表示時間は、図８Ａの場合の１／２倍、即ちＴ／４秒間となる。

また、図８Ｃは、図８Ｂと同じくシンボル画像が２×Ｎ個の場合のシンボル画像の表示時間とその表示周期を示すタイムチャートの例であるが、シンボル画像の表示時間は、図８Ａの場合と同じＴ／２秒間に設定されている。この場合、シンボル画像の表示周期は、図８Ａの場合の２倍、即ち２×Ｔ秒となる。

つまり、この図８Ｂおよび図８Ｃの例では、第１表示部の全表示領域における、表示されるシンボル画像の表示領域の占有率を占有率算出部が算出し、算出された占有率に応じて表示周期を設定している。これにより、シンボル画像の数が増えると、シンボル画像の表示時間を短くする（図８Ｂ）、もしくは、シンボル画像の表示周期を長くする(図８Ｃ）ので、シンボル画像に隠れてしまう領域の状況を当該シンボル画像が非表示となっている間に確認することができる。

上述のように、シンボル画像の数（すなわち、占有面積）が変化したとき、単位時間あたりにおいて、占有面積とシンボル画像の表示時間との積が一定値となるように、表示周期および表示時間を設定することが好ましい。

図２に戻り、第２表示器３２を含む構成のとき（Ｓ１８：Ｙｅｓ）、かつ、算出した占有率が予め定められた閾値を超えるとき（Ｓ１９：Ｙｅｓ）、撮像画像を第１表示器３１に表示し、シンボル画像を第２表示器３２に表示する（Ｓ２０）。

上述の構成が、「車両は、第１表示部とは別の第２表示部（３２）を更に備えており、車両用周辺監視制御装置が、第１表示部の全表示領域における、表示されるシンボル画像の表示領域の占有率を算出する占有率算出部を備え、表示制御部は、占有率が予め定められた占有率閾値を超えたとき、シンボル画像を、第２表示部に表示する」ものである。本構成によって、表示部が複数ある構成のときは、乗員は、撮像画像全体と対象物の状況とを同時に把握することができる。

図９に、図２のステップＳ２０の、第２表示器３２を含む構成における表示例を示す。第１表示器３１には、歩行者Ｐ１〜Ｐ３がグループ化されたグループ画像Ｇ１、および、歩行者Ｐ４〜Ｐ６がグループ化されたグループ画像Ｇ２が、それぞれ、表示枠Ｆ１１、Ｆ１２に囲まれて表示されている。また、第２表示器３２には、グループ画像Ｇ１およびグループ画像Ｇ２に対応するシンボル画像Ｓ１１およびＳ１２が表示されている。シンボル画像の表示位置および位置関係は、第１表示器３１の表示形態に準ずるようにしてもよい。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

１車両用周辺監視制御装置
１０制御ユニット
１１演算処理部（抽出部、判定部、種別判別部、視認性判定部、占有率算出部）
１７表示制御部
２０撮像ユニット
２１カメラ（撮像部）
２２画像処理部（抽出部）
３０表示ユニット
３１第１表示器（第１表示部）
３２第２表示器（第２表示部）

Claims

車体の周辺を撮像する撮像部（２１）と車両に取り付けられた第１表示部（３１）とを備える車両に適用される車両用周辺監視制御装置であって、
前記撮像部により得られた撮像画像から対象物に相当する画像領域を対象物領域として抽出する抽出部（１１、２２）と、
前記対象物領域の位置関係および前記対象物の種別に基づいて、前記対象物をグループ化できるか否かを判定する判定部（１１）と、
前記対象物をグループ化できると判定したとき、グループごとに、該グループの存在を示すシンボル画像を、前記撮像画像に重畳して、前記第１表示部に表示する表示制御部（１７）と、
を含むことを特徴とする車両用周辺監視制御装置。
前記対象物あるいは前記グループの種別を判別する種別判別部（１１）を備え、
前記シンボル画像は、前記種別を反映したものである請求項１に記載の車両用周辺監視制御装置。
前記判定部は、前記対象物領域が他の対象物領域に重畳しているとき、これら複数の対象物をグループ化できると判定する請求項１または請求項２に記載の車両用周辺監視制御装置。
前記判定部は、前記対象物領域と他の対象物領域との間隔が、予め定められた閾値を下回るとき、これら対象物をグループ化できると判定する請求項１ないし請求項３のいずれか１項に記載の車両用周辺監視制御装置。
前記閾値は、前記対象物領域の大きさに応じて定められる請求項４に記載の車両用周辺監視制御装置。
前記グループごとの視認性を判定する視認性判定部（１１）を備え、
前記表示制御部は、前記視認性が予め定められた状態を超えるとき、前記グループに対応するシンボル画像の表示を抑制する請求項１ないし請求項５のいずれか１項に記載の車両用周辺監視制御装置。
前記表示制御部は、前記シンボル画像を、予め定められた表示周期で点滅表示する請求項１ないし請求項６のいずれか１項に記載の車両用周辺監視制御装置。
前記第１表示部の全表示領域における、表示される前記シンボル画像の表示領域の占有率を算出する占有率算出部を備え、
前記表示周期は、前記占有率に応じて設定される請求項７に記載の車両用周辺監視制御装置。
前記車両は、前記第１表示部とは別の第２表示部（３２）を更に備えており、
前記車両用周辺監視制御装置が、前記第１表示部の全表示領域における、表示される前記シンボル画像の表示領域の占有率を算出する占有率算出部を備え、
前記表示制御部は、前記占有率が予め定められた占有率閾値を超えたとき、前記シンボル画像を、前記第２表示部に表示する請求項１ないし請求項６のいずれか１項に記載の車両用周辺監視制御装置。