JP5853457B2 - 車両周辺監視システム - Google Patents
車両周辺監視システム Download PDFInfo
- Publication number
- JP5853457B2 JP5853457B2 JP2011159344A JP2011159344A JP5853457B2 JP 5853457 B2 JP5853457 B2 JP 5853457B2 JP 2011159344 A JP2011159344 A JP 2011159344A JP 2011159344 A JP2011159344 A JP 2011159344A JP 5853457 B2 JP5853457 B2 JP 5853457B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- overhead
- fusion
- vehicle
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
前記融合関数:Bが、以下の式、
α=B(L),
0≦L≦aの定義域においてBは平均変化率λ1で増加する関数、
b≦L≦最大値の定義域においてBは平均変化率λ3で増加する関数、
a<L<bの定義域においてBはλ1及びλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、
α:前記重ね合わされる一方の撮影画像対他方の撮影画像の融合割合、
L:融合される画素位置の一方の撮影視野における離散度と他方の撮影視野に対する離散度との比、前記一方の撮影画像の撮影点からの離散度と前記他方の撮影視野に対する離散度との比で表される。
上述した融合関数:Bは一般的にはテーブル化されると、高速に融合割合が求められるので、融合画像が簡単かつ迅速に得ることができる。
この構成により、融合された撮影画像に対する違和感が低減される。
また、上記融合関数:Bにおいて、前記離散度:Lが融合すべき画素が存在する角度:θであり、当該角度を、一方の撮影画像の像の撮影点(カメラ中心またはカメラの設置位置と言い換えることができる)と他方の撮影画像の撮影点との中間に位置する仮想基準点周りの角度とすれば、注目画素の離散度:Lは重複領域を極座標とするその注目画素の偏角である角度:θから直接求めることができる。
前記離散度:Lが、一方の撮影画像の像の撮影点と他方の撮影画像の撮影点との中間に位置する仮想的な基準点周りの、融合される画素が存在する角度:θで表される
表示用俯瞰画像として融合俯瞰画像を生成する場合には、第1俯瞰画像セグメントと第2俯瞰画像セグメントとの互いの重複領域が、所定の融合割合で融合(ブレンド)される(#11)。
図2の(a)から、第1俯瞰画像セグメントと第2俯瞰画像セグメントとの重複領域が、第1カメラの視野限界線と第2カメラの視野限界線で境界付けられていることが理解できる。図2の(b)では、この重複領域を視野限界線の交点を基準点とする平面直角座標で表している。この重複領域の画素Pの位置は、第1視野限界線からの距離p1と第2視野限界線からの距離p2を用いて求めることができる。ここでは、第1俯瞰画像セグメントと第2俯瞰画像セグメントの融合割合:α(第1俯瞰画像セグメントと第2俯瞰画像セグメントとを融合する場合における第1俯瞰画像セグメントの画素値を使用する割合)を導出する融合関数:Bは以下の式で表される;
α=B(L)、
L=p1/p2、
0≦L≦aの定義域においてBは平均変化率λ1で増加する関数、
b≦L≦最大値の定義域においてBは平均変化率λ3で増加する関数、
a<L<bの定義域においてBはλ1やλ3より小さな変化率λ2で増加又は一定となる関数である。
なお、この平均変化率は、一般的には、関数B(L)のLの値が、0からa、aからb、bから最大値というように第1所定値から第2所定値まで変化したときのαの変化量をLの値の増加量で割った、その区間で平均化された変化率を示すものであるが、ここでは、第1所定値と第2所定値との間をさらに区画割りして、各区画の平均変化率の平均率も含めている。
なお、p2=0の場合は、α=1(100%)とする。
また、図2の(c)では、この重複領域を視野限界線の交点を角度中心(基準点)とする極座標で表しており、注目画素は偏角:θで規定される。すなわち、この図2(c)の場合は、融合関数:Bはθの関数となる。
なお、図2(b)、図2(c)に示す融合関数のように、3つの定義域の境界で連続するよう関数を定義すると、P1/P2及び角度に対して融合割合が連続的に変化することになり、生成された融合画像も見やすいものとなり、好適である。
このように定義することができる融合関数によって導出される融合割合を持って第1俯瞰画像セグメントと第2俯瞰画像セグメントとの重複領域を融合する。融合された重複領域と第1俯瞰画像セグメントと第2俯瞰画像セグメントとを用いて融合俯瞰画像が生成される(#12)。融合俯瞰画像は、境界付き俯瞰画像に対してその重複領域を融合された重複領域で置き換えることによって生成することも可能である。生成された融合俯瞰画像は、境界付き俯瞰画像に代わってモニタに表示される(#13)。
境界付き俯瞰画像生成部63は、この重複領域に、重複する撮影画像の境界領域を表す境界指標を描画する。例えば、重複する撮影画像の境界領域とは、双方の撮影視野を区分けする領域であるので、第1俯瞰画像セグメントと第2俯瞰画像セグメントとの重複領域の中心線を、この矩形の重複領域の対角線(車両の左前コーナ部と一端とする対角線)とみなすことができる。従って、ここでは、この重複領域の対角線上に描画される特定色の太線を境界指標とする。もちろん、太線以外に点線を用いても良いし、形状を扇形にしても良い。特定色としては黒色が適しているが、背景が黒系色の場合、白色など識別しやすい色を用いることが好ましい。境界指標の種類や色は、自動的に選択するようにしてもよいし、ユーザによって選択可能としてもよい。この目的のために、境界付き俯瞰画像生成部63は、重複領域に境界領域を表す境界指標を付与する境界指標付与部66とそのような境界指標の画像アイテムを格納している境界指標格納部67を含んでいる。
この融合関係を一般的な融合関数:Bで言い換えると、
α=B(L)となる。
ここで、αは、重複領域の1つの画素位置における一方の俯瞰画像セグメントに属する画素値と他方の俯瞰画像セグメントに属する画素値との融合割合である。例えば、αが0.6であれば、一方の俯瞰画像セグメントに属する画素値が融合に際して使われる割合が0.6(パーセンテージで表示すると60%)で、他方の俯瞰画像セグメントに属する画素値が融合に際して使われる割合が0.4(パーセンテージで表示すると40%)となる。つまり、一方の俯瞰画像セグメントに属する画素と他方の俯瞰画像セグメントに属する画素とを融合させる比は、α:(1−α)となる。Lは、前述した撮影偏差であり、重複領域の1つの画素位置に対する一方の俯瞰画像セグメントにおける撮影上の重みと他方の俯瞰画像セグメントにおける撮影上の重みの比を示しているともいえる。撮影画像の端に位置するほど、その重みは小さいことになる。
しかも、この融合関数:Bでは以下の3つの定義域で異なっている。
(1)0<L≦aの定義域においてBは平均変化率λ1で増加する。
(2)b<L≦最大値の定義域においてBは平均変化率λ3で増加する。
(3)a<L≦bの定義域においてBはλ1やλ3より小さな変化率λ2で増加又は一定となる。
この実施形態では、Lには前述したθを用い、a=15°、b=75°を採用している。この融合関数:Bで導出される融合割合:αは、0<L≦aの定義域で線形に単調増加(0%〜50%)し、b<L≦最大値の定義域で線形に単調増加(50%〜100%)、a<L≦bの定義域は一定でα=50%である。なお、aは10°〜20°、bは70°〜80°が好適である。
車両周辺を監視するために俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される(#21)。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部61で用いられる射影変換のためのマップが俯瞰マッピングテーブル62において設定される(#22)。ここでは、4台の車載カメラ1の撮影画像が取得される(#23)。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される(#24)。次いで、生成された第1から第4までの俯瞰画像セグメントを用いた境界付き俯瞰画像の生成処理要求が境界付き俯瞰画像生成部63に与えられ(#25)、境界付き俯瞰画像生成処理が実行される(#30)。同時に、生成された第1から第4までの俯瞰画像セグメントを用いた融合俯瞰画像の生成処理要求が融合俯瞰画像生成部64に与えられ(#26)、融合俯瞰画像生成処理が実行される(#40)。
(1)上述した実施形態では、境界付き俯瞰画像や融合俯瞰画像の表示は、立体物認識モジュール30による立体物の検出と関係なしに行われた。これに代えて、立体物情報取得部56が立体物情報を受け取った場合、その立体物の位置に応じて、融合部68によって使用する融合関数を変更してもよいし、立体物の位置俯瞰画像を生成する際の視点位置を変更してもよい。
(2)上述した実施形態では、表示用俯瞰画像の生成過程を分かりやすく説明するため、表示用俯瞰画像生成部6の構成を機能別にブロック化しているが、この機能ブロックは説明目的であり、本発明がこのようなブロックレイアウトに限定されるわけではない。例えば、撮影画像から複合的な変換テーブルを用いて直接境界付き俯瞰画像や融合俯瞰画像を生成してもよい。記載された機能が実現できる限り、その機能ブロックは種々の形態をとることができる。
(3)図2に示された融合関数は、連続関数のように表されており、そのような説明になっていたが、実際にはこの融合関数はテーブル化されるのが一般的である。そのような場合はもちろん、この融合関数は、図7で示すような離散的な関数として表されることになる。
50:画像処理モジュール
53:画像生成部
55:表示画像決定部
6:表示用俯瞰画像生成部
61:俯瞰画像生成部
62:俯瞰マッピングテーブル
63:境界付き俯瞰画像生成部
64:融合俯瞰画像生成部
66:境界指標付与部
67:境界指標格納部
68:融合部
69:融合テーブル
71:表示制御部
Claims (5)
- 車両周囲方向で部分的に重複させた車両周辺撮影による複数の撮影画像から生成された俯瞰画像セグメントを、互いの重複領域を重ね合わせるように組み合わせて生成された表示用俯瞰画像を表示部に表示する車両周辺監視システムにおいて、
前記俯瞰画像セグメントの重複領域を予め設定された融合関数で融合して融合重複画像を生成する融合部が備えられ、
前記融合関数は、前記重ね合わされる一方の撮影画像と他方の撮影画像とのうち前記一方の撮影画像の撮影点と前記他方の撮影画像の撮影点とからの離散度に基づいて、前記重複領域における一方の撮影画像の画素成分と他方の撮影画像の画素成分との融合割合を導出し、
前記融合関数:Bが、以下の式、
α=B(L),
0≦L≦aの定義域においてBは平均変化率λ1で増加する関数、
b≦L≦最大値の定義域においてBは平均変化率λ3で増加する関数、
a<L<bの定義域においてBはλ1及びλ3より小さな変化率λ2で増加又は一定となる関数、
ここで、
α:前記重ね合わされる一方の撮影画像対他方の撮影画像の融合割合、
L:融合される画素位置の一方の撮影視野における離散度と他方の撮影視野に対する離散度との比、前記一方の撮影画像の撮影点からの離散度と前記他方の撮影視野に対する離散度との比で表される車両周辺監視システム。 - 前記離散度:Lが、融合される画素の一方の撮影画像の撮影中心線からの距離:p1と、融合される画素の他方の撮影画像の撮影中心線からの距離:p2との比:p1/p2で求められる請求項1に記載の車両周辺監視システム。
- 前記離散度:Lが、一方の撮影画像の像の撮影点と他方の撮影画像の撮影点との中間に位置する仮想的な基準点周りの、融合される画素が存在する角度:θで表される請求項1に記載の車両周辺監視システム。
- 前記定義域を決定するaとbが、撮影画像に応じて可変である請求項1から3のいずれか一項に記載の車両周辺監視システム。
- 前記定義域を決定するaとbが、前記重複領域に現れた障害物の位置に応じて変更される請求項4に記載の車両周辺監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011159344A JP5853457B2 (ja) | 2011-07-20 | 2011-07-20 | 車両周辺監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011159344A JP5853457B2 (ja) | 2011-07-20 | 2011-07-20 | 車両周辺監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013026801A JP2013026801A (ja) | 2013-02-04 |
JP5853457B2 true JP5853457B2 (ja) | 2016-02-09 |
Family
ID=47784684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011159344A Active JP5853457B2 (ja) | 2011-07-20 | 2011-07-20 | 車両周辺監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5853457B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5483120B2 (ja) * | 2011-07-26 | 2014-05-07 | アイシン精機株式会社 | 車両周辺監視システム |
KR101611194B1 (ko) * | 2014-04-04 | 2016-04-11 | 주식회사 와이즈오토모티브 | 차량 주변 이미지 생성 장치 및 방법 |
JP6582557B2 (ja) * | 2015-05-28 | 2019-10-02 | 株式会社ソシオネクスト | 描画装置、描画方法および描画プログラム |
JP6730613B2 (ja) * | 2017-02-28 | 2020-07-29 | 株式会社Jvcケンウッド | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
CN113379736B (zh) * | 2021-07-12 | 2022-05-17 | 广东电网有限责任公司 | 一种巡检机器人视觉图像深度特征表达方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1179958B1 (en) * | 1999-04-16 | 2012-08-08 | Panasonic Corporation | Image processing device and monitoring system |
JP2007274377A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
JP2008042664A (ja) * | 2006-08-08 | 2008-02-21 | Toyota Motor Corp | 画像表示装置 |
JP2010028537A (ja) * | 2008-07-22 | 2010-02-04 | Sanyo Electric Co Ltd | 画像処理装置及び記録装置 |
JP2010113424A (ja) * | 2008-11-04 | 2010-05-20 | Fujitsu Ltd | 画像合成装置及び画像合成方法 |
KR100966288B1 (ko) * | 2009-01-06 | 2010-06-28 | 주식회사 이미지넥스트 | 주변 영상 생성 방법 및 장치 |
TWI392366B (zh) * | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
-
2011
- 2011-07-20 JP JP2011159344A patent/JP5853457B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013026801A (ja) | 2013-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5483120B2 (ja) | 車両周辺監視システム | |
JP6084434B2 (ja) | 画像処理システム及び画像処理方法 | |
JP6311020B2 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
WO2012096058A1 (ja) | 画像生成装置 | |
JP5853457B2 (ja) | 車両周辺監視システム | |
JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
KR101389884B1 (ko) | 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템 | |
WO2013047012A1 (ja) | 車両周辺監視装置 | |
WO2012169355A1 (ja) | 画像生成装置 | |
WO2010137265A1 (ja) | 車両周囲監視装置 | |
JP5516998B2 (ja) | 画像生成装置 | |
JP5760999B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008083786A (ja) | 画像生成装置および画像生成方法 | |
JP2014041398A (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP2009232310A (ja) | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム | |
US9162621B2 (en) | Parking support apparatus | |
US11140364B2 (en) | Sensor fusion based perceptually enhanced surround view | |
JP5516997B2 (ja) | 画像生成装置 | |
JP2007027948A (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
JP2008034964A (ja) | 画像表示装置 | |
JP2006279511A (ja) | 周辺監視システム | |
JP7108855B2 (ja) | 画像合成装置、及び、制御方法 | |
JP2013137698A (ja) | 俯瞰画像提示装置 | |
JP7398637B2 (ja) | 表示制御装置、車両及び表示制御方法 | |
JP6785480B2 (ja) | 画像合成装置、及び、制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5853457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |