JP5870608B2 - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP5870608B2 JP5870608B2 JP2011226101A JP2011226101A JP5870608B2 JP 5870608 B2 JP5870608 B2 JP 5870608B2 JP 2011226101 A JP2011226101 A JP 2011226101A JP 2011226101 A JP2011226101 A JP 2011226101A JP 5870608 B2 JP5870608 B2 JP 5870608B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional object
- ground plane
- vehicle
- overhead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Description
しかしながら、実際の障害物を映し出している障害物画像に代えて人間形態の代替画像を表示する場合、代替画像と実際の障害物の形態がかけ離れている場合、運転者が代替画像と実際に肉眼で確かめた障害物とを同定することが困難となり、迅速な障害物認知の妨げとなる。
ここでの立体物の属性とは、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などであり、この属性を示す立体物属性値が立体物属性情報に含まれている。
その1つの形態では、前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される。つまり、接地面マークは立体物の背景として俯瞰画像に張りつけられるので、立体物に奥行き感がでて、より立体物と接地面マークとが見やすくなる。また、立体物が接地面マークによって隠れることがなくなるので、運転者は接地面マークが立体物の接地面を示していることを直感的に理解できる。
他の1つでは、前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる。この形態は、単純に、俯瞰画像の立体物の接地位置に接地面マークを貼り付けるだけなので、簡単な画像処理で実現することができる。その際、接地面マークを数十%の透明化を施すことで、ある程度立体物の足元領域が見えるようにすると好都合である。
この車両周辺監視システムを搭載した車両には、4つの車載カメラ1、つまり、フロントカメラ1a、バックカメラ1d、左サイドカメラ1b、右サイドカメラ1cが装備されている。これらの車載カメラ1からの撮影画像から全周囲俯瞰画像が作成される。以下の説明において、適宜、これらの車載カメラ1a、1b、1c、1dを単にカメラ1と総称する場合がある。車両周辺監視制御が動作する際には、カメラ1による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。カメラ1は車両周辺を時系列に撮影して得られて撮影画像をデジタル変換してリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズまたは魚眼レンズを備えている。
立体物検出部54が立体物を検出した場合には、立体物検出部54には、立体物切り出し部63から俯瞰画像と当該俯瞰画像から切り出された立体物画像、及び接地面マーク出力部64から接地面マークと当該接地面マークの配置データ(接地面中心位置のデータ)が送り込まれる。立体物検出部54は、立体物領域が切り出された俯瞰画像を最背面レイヤに、接地面マークを背面レイヤに、切り出した立体物領域を前面レイヤに配置して、レイヤ合成を行うことで立体物の接地面に楕円形状の接地面マークを付加した俯瞰画像を生成する。
いずれにしても、生成された俯瞰画像は所定のテンプレートにはめ込まれ、車両運転支援用のモニタ表示画像としてフレームメモリ56に転送される。フレームメモリ56に転送された、モニタ表示画像は表示制御部71を介してモニタ21に表示される。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される(#01)。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部61で用いられる射影変換のためのマップが、利用される車載カメラ1の撮影画像毎に設定される(#02)。4台の車載カメラ1の撮影画像を取得する(#03)。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される(#04)。生成された俯瞰画像セグメントを組み合わせ、車両周辺の全周囲俯瞰画像が生成される(#05)。
(1)上述した実施形態の説明では、俯瞰画像として、車両上方視点と路面と平行な射影面とを用いて撮影画像から射影変換されて得られる画像が用いられたが、本発明はこのような射影変換で得られる俯瞰画像に限定されるものではない。例えば、射影面として凹曲面や屈曲面を用いた俯瞰画像を用いてもよい。
21:モニタ
30:立体物認識モジュール(立体物検出部)
50:画像処理モジュール
53:画像生成部
54:立体物検出部
55:画像合成部
60:通常画像生成部
61: 俯瞰画像生成部
62:マッピングテーブル
63:立体物切り出し部
64:接地面マーク出力部
64a:接地面中心算定部
64b:接地面サイズ算定部
64c:接地面傾斜算定部
64d:接地面マーク格納部
Claims (13)
- 車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、
前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、を備え、
前記接地面マークは扁平形状であり、前記車両から前記立体物への方向線と長径が直交するように前記接地面マークの傾斜姿勢が決定される画像生成装置。 - 前記接地面マークは楕円形状である請求項1に記載の画像生成装置。
- 前記接地面マークのサイズは、前記立体物の推定接地面積に応じて決定される請求項1又は2に記載の画像生成装置。
- 前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される請求項1から3のいずれか一項に記載の画像生成装置。
- 前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる請求項1から3のいずれか一項に記載の画像生成装置。
- 車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、
前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、を備え、
前記接地面マークのサイズは、前記立体物の推定接地面積に応じて決定される画像生成装置。 - 前記接地面マークは楕円形状である請求項6に記載の画像生成装置。
- 前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される請求項6又は7に記載の画像生成装置。
- 前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる請求項6又は7に記載の画像生成装置。
- 車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、
前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、を備え、
前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される画像生成装置。 - 前記接地面マークは楕円形状である請求項10に記載の画像生成装置。
- 前記接地面マークは前記立体物属性情報に基づいて接地面マーク格納部から抽出されて、前記画像合成部に送られる請求項1から11のいずれか一項に記載の画像生成装置。
- 前記立体物の接地位置から前記車両までの距離が前記接地面マークの近傍に付加されている請求項1から12のいずれか一項に記載の画像生成装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011226101A JP5870608B2 (ja) | 2011-10-13 | 2011-10-13 | 画像生成装置 |
EP12186772.5A EP2631696B1 (en) | 2011-10-13 | 2012-10-01 | Image generator |
CN201210385771.8A CN103051867B (zh) | 2011-10-13 | 2012-10-12 | 图像生成器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011226101A JP5870608B2 (ja) | 2011-10-13 | 2011-10-13 | 画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013090005A JP2013090005A (ja) | 2013-05-13 |
JP5870608B2 true JP5870608B2 (ja) | 2016-03-01 |
Family
ID=47257432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011226101A Expired - Fee Related JP5870608B2 (ja) | 2011-10-13 | 2011-10-13 | 画像生成装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2631696B1 (ja) |
JP (1) | JP5870608B2 (ja) |
CN (1) | CN103051867B (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6232994B2 (ja) * | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP6274936B2 (ja) * | 2014-03-25 | 2018-02-07 | ダイハツ工業株式会社 | 運転支援装置 |
US9607411B2 (en) * | 2014-04-23 | 2017-03-28 | Ebay Inc. | Specular highlights on photos of objects |
JP6586051B2 (ja) * | 2016-06-30 | 2019-10-02 | 株式会社 日立産業制御ソリューションズ | 画像処理装置および画像処理方法 |
WO2018037789A1 (ja) * | 2016-08-22 | 2018-03-01 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
EP3293667A1 (en) * | 2016-09-08 | 2018-03-14 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | An apparatus for providing vehicular environment information |
JP7073628B2 (ja) * | 2017-03-22 | 2022-05-24 | 日本電気株式会社 | 事故回避情報画像生成装置、事故回避情報表示システム、事故回避情報画像生成方法及びプログラム |
KR102310379B1 (ko) * | 2017-06-09 | 2021-10-12 | 현대자동차주식회사 | 주행 정보 안내 장치 및 방법, 그리고 차량 시스템 |
JP6958163B2 (ja) * | 2017-09-20 | 2021-11-02 | 株式会社アイシン | 表示制御装置 |
JP6809495B2 (ja) * | 2018-03-05 | 2021-01-06 | 株式会社デンソー | 画像作成装置 |
JP7147248B2 (ja) | 2018-04-27 | 2022-10-05 | 株式会社タダノ | クレーン車 |
CN111709923B (zh) * | 2020-06-10 | 2023-08-04 | 中国第一汽车股份有限公司 | 一种三维物体检测方法、装置、计算机设备和存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP2004114879A (ja) * | 2002-09-27 | 2004-04-15 | Clarion Co Ltd | 駐車補助装置および画像表示装置 |
US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
JP4614852B2 (ja) * | 2005-09-26 | 2011-01-19 | アルパイン株式会社 | 車両周囲監視方法及び装置 |
JP4760272B2 (ja) * | 2005-09-30 | 2011-08-31 | アイシン精機株式会社 | 車両周辺監視装置及びセンサユニット |
JP4934308B2 (ja) * | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
JP4846426B2 (ja) * | 2006-04-20 | 2011-12-28 | パナソニック株式会社 | 車両周囲監視装置 |
JP2008120123A (ja) * | 2006-11-08 | 2008-05-29 | Alpine Electronics Inc | 駐車支援装置 |
JP4969269B2 (ja) * | 2007-02-21 | 2012-07-04 | アルパイン株式会社 | 画像処理装置 |
JP2009012625A (ja) * | 2007-07-05 | 2009-01-22 | Panasonic Corp | 運転支援装置、運転支援方法及び運転支援プログラム |
JP2010146459A (ja) * | 2008-12-22 | 2010-07-01 | Daihatsu Motor Co Ltd | 運転支援装置 |
CN101442618A (zh) * | 2008-12-31 | 2009-05-27 | 葛晨阳 | 用于车辆辅助驾驶的360度环形视频合成方法 |
KR100966288B1 (ko) * | 2009-01-06 | 2010-06-28 | 주식회사 이미지넥스트 | 주변 영상 생성 방법 및 장치 |
JP5190712B2 (ja) * | 2009-03-24 | 2013-04-24 | アイシン精機株式会社 | 障害物検出装置 |
JP5035284B2 (ja) * | 2009-03-25 | 2012-09-26 | 株式会社日本自動車部品総合研究所 | 車両周辺表示装置 |
JP5165631B2 (ja) | 2009-04-14 | 2013-03-21 | 現代自動車株式会社 | 車両周囲画像表示システム |
CN102164274B (zh) * | 2011-04-26 | 2013-11-06 | 石黎 | 一种视场可变的车载虚拟全景系统 |
-
2011
- 2011-10-13 JP JP2011226101A patent/JP5870608B2/ja not_active Expired - Fee Related
-
2012
- 2012-10-01 EP EP12186772.5A patent/EP2631696B1/en not_active Not-in-force
- 2012-10-12 CN CN201210385771.8A patent/CN103051867B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103051867B (zh) | 2017-04-12 |
CN103051867A (zh) | 2013-04-17 |
JP2013090005A (ja) | 2013-05-13 |
EP2631696A3 (en) | 2015-02-11 |
EP2631696A2 (en) | 2013-08-28 |
EP2631696B1 (en) | 2017-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5870608B2 (ja) | 画像生成装置 | |
JP5682788B2 (ja) | 車両周辺監視装置 | |
JP7010221B2 (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
WO2012169355A1 (ja) | 画像生成装置 | |
JP5454934B2 (ja) | 運転支援装置 | |
WO2012096058A1 (ja) | 画像生成装置 | |
US9019347B2 (en) | Image generator | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
JP5516998B2 (ja) | 画像生成装置 | |
JP5035284B2 (ja) | 車両周辺表示装置 | |
EP1916846B1 (en) | Device and method for monitoring vehicle surroundings | |
WO2012043184A1 (ja) | 駐車支援装置 | |
WO2012172923A1 (ja) | 車両周辺監視装置 | |
JP2012071635A5 (ja) | ||
JP5618138B2 (ja) | 駐車支援装置 | |
JP6425991B2 (ja) | 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法 | |
JP5495071B2 (ja) | 車両周辺監視装置 | |
JP5516997B2 (ja) | 画像生成装置 | |
JP5500392B2 (ja) | 車両周辺監視装置 | |
JP2012001126A (ja) | 車両用周辺監視装置 | |
JP5618139B2 (ja) | 駐車支援装置 | |
JP2012004693A (ja) | 運転支援装置 | |
JP6624312B2 (ja) | 表示装置、制御方法、プログラム、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150604 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5870608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |