JP5516998B2 - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP5516998B2 JP5516998B2 JP2011129323A JP2011129323A JP5516998B2 JP 5516998 B2 JP5516998 B2 JP 5516998B2 JP 2011129323 A JP2011129323 A JP 2011129323A JP 2011129323 A JP2011129323 A JP 2011129323A JP 5516998 B2 JP5516998 B2 JP 5516998B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional object
- vehicle
- substitute
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
しかしながら、実際の立体障害物を映し出している障害物画像に代えて代替画像を表示する場合、代替画像と実際の立体障害物との同定が困難となる場合が生じる。例えば、認識された立体障害物が人物であり、イラストや写真で表現された人物像が表示された場合、表示画面が小さいと表示画面上の人物像とバックミラーや肉眼で確認した実際の人物とが同一であるかどうか判断することが難しい。特に、実際に確認できる人物が後向き姿勢であるにもかかわらず代替画像が前向き姿勢の人物であれば、同定が困難になる。また、認識された立体障害物が自動車の場合でも、実際に確認できる自動車が後向き姿勢のミニバンであるにもかかわらず代替画像が前向き姿勢のセダンであれば、同定が著しく困難になる。
従って、本発明の好適な実施形態の1つでは、前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されるように構成されている。
また、本発明の好適な実施形態の他の1つでは、前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定されるように構成されている。
これらの構成を採用することで、代替画像出力部は、種別情報と姿勢情報との内容に基づいて特定される、実際の立体物(人物または自動車)に適合した代替画像を出力することができる。
また、この複数の撮影方向が異なる撮影画像を処理する俯瞰撮影画像生成部に撮影画像とは異なる視点での射影変換を行う機能を付加するので、俯瞰撮影画像と代替画像との間の視点に関する違和感と、射影変換歪みの違和感とを調和させた代替画像付き俯瞰撮影画像を作り出すことも可能となる。
このような視点変換を通じての違和感の回避方法に代えて、俯瞰画像に視点変換される前の撮影画像に対して着色代替画像を合成し、合成された撮影画像を視点変換することで、着色代替画像を含む俯瞰画像を生成し、モニタに送るような構成を採用してもよい。
なおオプション的な処理であるが、立体物属性情報に色情報が含まれており、当該色情報による色と抽出された代替画像の色とが異なっている場合、あるいは抽出された代替画像が無色の場合、抽出された代替画像に対して色情報による色での着色処理が実行される(#7)。
外部通信部24は、外部の通信機器からの発せられる電波を受信し、情報の双方伝送や一方的な信号受信などを行い、受け取った通信情報を車載LANに流す。本発明に特に関係する通信情報は、車車間通信による周辺車両(認識立体物)の車種や姿勢(向き)に関する情報、認識立体物が人物であることを携帯電話の電波傍受によって確定するための情報などである。
超音波センサ3は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体(障害物)をそれらからの反射波を通じて検知することができる。各超音波センサ3における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ3の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。立体物認識部32は、それ自体は公知である物体認識アルゴリズムを実装しており、入力した撮影画像、特に経時的に連続する撮影画像から車両周辺の立体物を認識する。立体物の検知のためには、立体物検知部31と立体物認識部32のいずれか1つでもよいが、立体物の形態を検知するのに優れた立体物認識部32と、立体物までの距離、つまり立体物の位置を算出するのに優れた立体物検知部31の両方を備えて協働作業させることでより正確な立体物の認識が可能となる。立体物認識モジュール30は、認識した立体物の位置、姿勢、大きさ、色調などを記述した立体物属性情報を出力する。立体物検知部31として、レーザレーダーを用いるような他の立体物検知装置の適用も可能である。
通信情報処理部34は、外部通信部24によって行われた車車間通信で得られた周辺車両の位置、姿勢(向き)、車種、車色などの他車情報を受け取って、推定立体物がその他車であることが推定されると、推定立体物を自動車とし、その姿勢(向き)、車種、車色などの情報を取り込む。
立体物認識モジュール30は、内蔵する上記機能部によって得られた、種別、姿勢、色などの立体物の属性情報をまとめて立体物属性情報を生成し、画像処理モジュールに出力する。
画像処理モジュール50は、撮影画像メモリ51、前処理部52、画像生成部53、立体物属性情報取得部54、画像合成部55、フレームメモリ56を含んでいる。カメラ1によって取得された撮影画像は撮影画像メモリ51に展開され、前処理部52はカメラ1によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物属性情報取得部54は、立体物認識モジュール30から出力された立体物属性情報を受け取り、当該立体物属性情報に記述された立体物の位置、大きさ、色、姿勢などの各種属性情報(データ)を読み出す。
俯瞰代替画像生成部64にも複数の種類の射影変換が設定される。俯瞰代替画像生成部64で実行される射影変換の選択は、代替物(立体物)の種別や、合成先の撮影画像(俯瞰撮影画像)の射影変換の種類(視点位置)に基づいて射影変換選択部61が行う。なお、俯瞰代替画像生成部64には、入力した代替画像をそのままスルーして出力する機能も含まれている。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される(#01)。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰撮影画像生成部63で用いられる射影変換のためのマップが、利用される車載カメラ1の撮影画像毎に設定される(#02)。4台の車載カメラ1の撮影画像を取得する(#03)。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される(#04)。生成された俯瞰画像セグメントを組み合わせるとともに、自車両位置に予め設定されている車両の俯瞰イメージ画像(イラストやシンボルでも良い)が配置され、表示用の俯瞰画像が生成される(#05)。
ステップ#06のチェックで、立体物認識モジュール30で立体物属性情報が作成されている場合(#06Yes分岐)、注目すべき立体物が撮影画像に写り込んでいるとみなし、立体物属性情報を取得して、立体物属性情報に含まれている、認識された立体物に関する位置、種別、姿勢、色、大きさなどのデータを読み出す(#07)。読み出した立体物の位置に関するデータに基づいて俯瞰撮影画像における当該立体物の画像領域を決定する(#08)。
(2)上述した実施形態では、表示俯瞰画像として4つの撮影画像からを用いた真上視点の俯瞰画像が採用されていた。これに代えて、1つの撮影画像に対して視点変換を行った俯瞰画像を表示俯瞰画像としてもよい。
24:外部通信部(車車間通信部)
30:立体物検知モジュール
31:立体物検知部
32:立体物認識部
33:顔検出部
34:通信情報処理部
50:画像処理モジュール
53:画像生成部
54:立体物属性情報取得部
55:画像合成部
60:俯瞰画像生成部
61:通常画像生成部
62:マッピングテーブル
63:俯瞰撮影画像生成部
64:俯瞰代替画像生成部
65:立体物俯瞰画像生成部
67:立体物画像領域決定部
80:代替画像出力部
81:検索条件設定部
82:代替画像データベース
83:代替画像抽出部
84:代替画像着色部
Claims (6)
- 車両の周辺領域を撮影する複数の車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像を表示画像として出力する画像生成装置であって、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物認識部と、
前記立体物属性情報に含まれている位置情報に基づいて前記撮影画像における前記立体物の画像領域である立体物画像領域を決定する立体物画像領域決定部と、
前記立体物属性情報に含まれている種別情報と姿勢情報とに基づいて特定された立体物の特定された向き姿勢での代替画像を出力する代替画像出力部と、
前記立体物画像領域の位置に前記代替画像出力部から出力された代替画像が合成された代替画像付き俯瞰画像を生成する画像合成部と、
を備え、前記立体物認識部は、立体物が2つ以上の前記車載カメラの撮影画像に含まれている場合、より面積の大きい方の立体物領域を有する立体物画像を抽出する画像生成装置。 - 前記代替画像出力部は、前記立体物の代替画像を格納する代替画像データベースと、当該代替画像データベースから前記立体物属性情報に含まれている種別情報及び姿勢情報を検索条件として前記代替画像を抽出する代替画像抽出部とを含む請求項1に記載の画像生成装置。
- 前記立体物認識部には人物の顔を検出する顔検出部が備えられており、前記顔検出部による検出結果に基づいて、認識された立体物が人物であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項1又は2に記載の画像生成装置。
- 前記立体物認識部には、車車間通信による車車間通信情報に基づいて、認識された立体物が自動車であることを種別情報に設定されるとともに、前向き姿勢、後ろ向き姿勢、横向き姿勢のいずれかが前記姿勢情報に設定される請求項1から3のいずれか一項に記載の画像生成装置。
- 前記代替画像出力部は、さらに前記立体物属性情報に含まれている色情報に基づく色で色付けられた前記代替画像を出力する請求項1から4のいずれか一項に記載の画像生成装置。
- 前記車両の周囲をカバーするそれぞれ撮影方向が異なる複数の撮影画像から射影変換を用いて車両周囲の俯瞰撮影画像を生成する俯瞰撮影画像生成部が備えられ、前記画像合成部は前記俯瞰撮影画像の前記立体物画像領域に前記代替画像を付与する請求項1から5のいずれか一項に記載の画像生成装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129323A JP5516998B2 (ja) | 2011-06-09 | 2011-06-09 | 画像生成装置 |
PCT/JP2012/063188 WO2012169355A1 (ja) | 2011-06-09 | 2012-05-23 | 画像生成装置 |
US14/114,665 US9672432B2 (en) | 2011-06-09 | 2012-05-23 | Image generation device |
CN201280028252.4A CN103609100B (zh) | 2011-06-09 | 2012-05-23 | 图像生成装置 |
EP12796019.3A EP2720458A4 (en) | 2011-06-09 | 2012-05-23 | IMAGING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129323A JP5516998B2 (ja) | 2011-06-09 | 2011-06-09 | 画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012257107A JP2012257107A (ja) | 2012-12-27 |
JP5516998B2 true JP5516998B2 (ja) | 2014-06-11 |
Family
ID=47528235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011129323A Active JP5516998B2 (ja) | 2011-06-09 | 2011-06-09 | 画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5516998B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10318782B2 (en) | 2015-09-07 | 2019-06-11 | Kabushiki Kaisha Toshiba | Image processing device, image processing system, and image processing method |
US11393196B2 (en) | 2018-12-10 | 2022-07-19 | Toyota Jidosha Kabushiki Kaisha | Line of sight assistance device and method |
US11863900B2 (en) | 2018-12-26 | 2024-01-02 | Denso Corporation | Image generation apparatus and image display system for superimposition of three-dimensional objects into bird's view images |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013217915A1 (de) * | 2013-09-09 | 2015-03-12 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten |
JP6272347B2 (ja) | 2013-11-08 | 2018-01-31 | 株式会社日立製作所 | 自律走行車両、及び自律走行システム |
US10436898B2 (en) | 2013-12-26 | 2019-10-08 | Hitachi, Ltd. | Object recognition device |
JP6307895B2 (ja) | 2014-01-23 | 2018-04-11 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
JP7069548B2 (ja) * | 2017-03-01 | 2022-05-18 | 株式会社アイシン | 周辺監視装置 |
JP6796518B2 (ja) * | 2017-03-06 | 2020-12-09 | 日立建機株式会社 | 移動物体検知システム |
CN115205311B (zh) * | 2022-07-15 | 2024-04-05 | 小米汽车科技有限公司 | 图像处理方法、装置、车辆、介质及芯片 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3606853B2 (ja) * | 2001-09-07 | 2005-01-05 | 松下電器産業株式会社 | 車両周囲状況表示装置 |
JP4939968B2 (ja) * | 2007-02-15 | 2012-05-30 | 株式会社日立製作所 | 監視画像処理方法、監視システム及び監視画像処理プログラム |
JP4930441B2 (ja) * | 2008-04-09 | 2012-05-16 | トヨタ自動車株式会社 | 運転支援装置 |
-
2011
- 2011-06-09 JP JP2011129323A patent/JP5516998B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10318782B2 (en) | 2015-09-07 | 2019-06-11 | Kabushiki Kaisha Toshiba | Image processing device, image processing system, and image processing method |
US10896310B2 (en) | 2015-09-07 | 2021-01-19 | Kabushiki Kaisha Toshiba | Image processing device, image processing system, and image processing method |
US11393196B2 (en) | 2018-12-10 | 2022-07-19 | Toyota Jidosha Kabushiki Kaisha | Line of sight assistance device and method |
US11863900B2 (en) | 2018-12-26 | 2024-01-02 | Denso Corporation | Image generation apparatus and image display system for superimposition of three-dimensional objects into bird's view images |
Also Published As
Publication number | Publication date |
---|---|
JP2012257107A (ja) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012169355A1 (ja) | 画像生成装置 | |
JP5516998B2 (ja) | 画像生成装置 | |
EP2763407B1 (en) | Vehicle surroundings monitoring device | |
WO2012096058A1 (ja) | 画像生成装置 | |
JP7010221B2 (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
JP6091586B1 (ja) | 車両用画像処理装置および車両用画像処理システム | |
EP2623376B1 (en) | Parking assistance device | |
WO2012172923A1 (ja) | 車両周辺監視装置 | |
JP5454934B2 (ja) | 運転支援装置 | |
JP5870608B2 (ja) | 画像生成装置 | |
JP5495071B2 (ja) | 車両周辺監視装置 | |
JP5516997B2 (ja) | 画像生成装置 | |
JP2012071635A5 (ja) | ||
WO2010070920A1 (ja) | 車両周囲画像生成装置 | |
JP2008230296A (ja) | 車両用運転支援システム | |
JP2002335524A (ja) | 運転支援装置 | |
JP2005242606A (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
JP2012105090A (ja) | 駐車支援装置 | |
JP2008048094A (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
JP5500392B2 (ja) | 車両周辺監視装置 | |
JP2010283718A (ja) | 車両周辺画像提供装置 | |
JP2013200820A (ja) | 画像送受信システム | |
CN218877068U (zh) | 具有图像合成功能的数字式后视镜、车机系统和车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5516998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |