JP5500255B2 - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP5500255B2 JP5500255B2 JP2012527527A JP2012527527A JP5500255B2 JP 5500255 B2 JP5500255 B2 JP 5500255B2 JP 2012527527 A JP2012527527 A JP 2012527527A JP 2012527527 A JP2012527527 A JP 2012527527A JP 5500255 B2 JP5500255 B2 JP 5500255B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- unit
- vehicle
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 42
- 238000009434 installation Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 53
- 238000006243 chemical reaction Methods 0.000 description 40
- 238000013507 mapping Methods 0.000 description 34
- 239000013598 vector Substances 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、実施例1に係る画像処理装置の構成を示す機能ブロック図である。図1に示すように、カメラ100F、100B、100R、100L、ギアポジションセンサ200、画像表示部300および画像処理装置400が車両1に搭載される。
図10は、実施例1に係る画像処理装置による処理の流れを示す図である。図10に示すように、編集部10Aは、全周囲画像の生成に必要な立体投影面の形状を決定する(ステップS101)。続いて、投影部10Bは、カメラ画像の投影処理を実行する(ステップS102)。なお、投影処理とは、上述したカメラ100F、100B、100R、100Lにより撮影された各カメラ画像の各画素が立体投影面上のどの位置に射影されるのかを示す対応関係を算出する処理に相当する。
上述してきたように、実施例1に係る画像処理装置400は、仮想視点投影を用いて、各カメラ画像の各画素が立体投影面上のどの位置に射影されるのかを示す対応関係を算出し、この対応関係を用いて全周囲画像を作成する。よって、実施例1によれば、カメラ画像間の視差の影響を低減させた全周囲画像を生成できる。
図12は、実施例2に係る画像処理装置の構成を示す機能ブロック図である。実施例2は、車輪角センサ500が車両1に搭載される点が実施例1とは異なる。さらに、実施例2に係る画像処理装置400は、運転支援部420が算出部20Eおよび写像部20Fを有する点が実施例1とは異なる。
図17は、実施例2に係る画像処理装置による処理の流れを示す図である。実施例2に係る画像処理装置400による処理は、図17に示すステップS203、ステップS204、ステップS206、ステップS208の処理が実施例1とは異なる。
上述してきたように、実施例2に係る画像処理装置400は、カメラ画像間の視差の影響を低減させた全周囲画像にガイド線を重畳描画した画像をユーザに提供する。このため、実施例2によれば、ガイド線を描画できる範囲を拡大でき、ユーザの運転支援により寄与する全周囲画像をユーザに提供できる。
図18は、実施例3に係る画像処理装置の構成を示す機能ブロック図である。実施例3に係る画像処理装置400は、テーブル生成部410が変換テーブル生成部10Dを有する点が実施例2とは異なる。さらに、実施例3に係る画像処理装置400は、運転支援部420が写像部20Gを有する点が実施例2とは異なる。
図21は、実施例4に係る画像処理装置の構成を示す機能ブロック図である。実施例4に係る画像処理装置400は、テーブル生成部410が変換テーブル生成部10E、変換部10Fおよびデータセット生成部10Gを有する点が実施例3とは異なる。さらに、実施例4に係る画像処理装置400は、運転支援部420が写像部20Hおよび描画部20Iを有する点が実施例3とは異なる。
上述した実施例では、仮想視点投影により、立体投影面の位置と、この位置に射影される各カメラ画像上の位置と対応付けることにより対応関係を用いて、全周囲画像を作成する場合を説明した。ここで、例えば、仮想視点投影の代わりに、カメラの位置より立体投影面に直接に投影する直接投影により求めた対応関係を用いて、全周囲画像を作成することもできる。以下、図24を用いて説明する。図24の24−1は立体投影面を表す。
また、上述した実施例では、図15に示すような仮想視点投影を用いて、図16に示すような3次元ガイド線データD7を作成し、この3次元ガイド線データD7を元にガイド線を描画する場合を説明した。ここで、例えば、直接投影によりガイド線を描画することもできる。以下、図25を用いて説明する。図25の25−1は立体投影面を表す。
例えば、図1に示した画像処理装置400の機能ブロックの構成は概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図1に示したテーブル生成部410と運転支援部420とを機能的または物理的に統合してもよい。このように、画像処理装置400の機能ブロックの全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述の実施例にて説明した画像処理装置400により実行される各種の処理は、例えば、車両1に搭載されるECU(Electronic Control Unit)に実装されたマイコンなどの電子機器で所定のプログラムを実行することによって実現することもできる。
100F、100B、100R、100L カメラ
200 ギアポジションセンサ
300 画像表示部
400 画像処理装置
410 テーブル生成部
420 運転支援部
500 車輪角センサ
600 電子機器
610 CPU
620 カメラインターフェース
630 ディスプレイインターフェース
640 グラフィックエンジン
650 ハードディスク装置
651 画像処理プログラム
652 画像処理用データ
660 RAM
661 画像処理プロセス
Claims (4)
- 車両に搭載され、被写領域が一部重複する複数のカメラによりそれぞれ撮影されたカメラ画像を取得する取得部と、
平面の底面を有し、無限遠として大きい距離の半径を持つ半球である仮想投影面の該底面上で、前記取得される各カメラ画像のうちカメラの設置位置と角度とから求められる地平線より下の画像の各画素の位置を特定するとともに、前記仮想投影面の半球面上で、前記各カメラ画像のうち前記地平線より上の画像の各画素の位置を特定する第1の特定部と、
前記車両の位置を中心とする立体形状を有する立体投影面上で、前記仮想投影面上で特定した各カメラの画素の位置を特定する第2の特定部と、
所定の視点位置に基づいて前記立体投影面上で特定された各カメラの画素の位置に対応する表示用の画像フレーム上の位置をそれぞれ特定し、該特定した各位置に、対応するカメラの画素の値を描画する描画部と
を有することを特徴とする画像処理装置。 - 前記車両の車輪の角度に基づいて算出したガイド線の位置を前記立体投影面上で特定する第3の特定部をさらに有し、
前記描画部は、前記立体投影面上で特定されたガイド線の位置に対応する画像フレーム上の位置をそれぞれ特定し、特定した各位置に基づいて、該ガイド線を描画することを特徴とする請求項1に記載の画像処理装置。 - 前記所定の視点位置は複数であって、該複数の所定の視点位置ごとに、前記立体投影面上で特定された前記ガイド線の位置と前記画像フレーム上の位置とを対応づけるテーブルをそれぞれ記憶するテーブル記憶部をさらに有し、
前記描画部は、前記所定の視点位置に対応する前記テーブルに基づいて、前記立体投影面上で特定されたガイド線の位置に対応する画像フレーム上の位置をそれぞれ特定し、特定した各位置に基づいて、該ガイド線を描画することを特徴とする請求項2に記載の画像処理装置。 - コンピュータに、
車両に搭載され、被写領域が一部重複する複数のカメラによりそれぞれ撮影されたカメラ画像を取得し、
平面の底面を有し、無限遠として大きい距離の半径を持つ半球である仮想投影面の該底面上で、前記取得された各カメラ画像のうちカメラの設置位置と角度とから求められる地平線より下の画像の各画素の位置を特定するとともに、前記仮想投影面の半球面上で、前記各カメラ画像のうち前記地平線より上の画像の各画素の位置を特定し、
前記車両の位置を中心とする立体形状を有する立体投影面上で、前記仮想投影面上で特定した各カメラの画素の位置を特定し、
所定の視点位置に基づいて、前記立体投影面上で特定された各カメラの画素の位置に対応する画像フレーム上の位置をそれぞれ特定し、該特定した各位置に、対応するカメラの画素の値を描画する
処理を実行させることを特徴とする画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/063426 WO2012017560A1 (ja) | 2010-08-06 | 2010-08-06 | 画像処理装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012017560A1 JPWO2012017560A1 (ja) | 2013-09-19 |
JP5500255B2 true JP5500255B2 (ja) | 2014-05-21 |
Family
ID=45559090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012527527A Active JP5500255B2 (ja) | 2010-08-06 | 2010-08-06 | 画像処理装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8817079B2 (ja) |
JP (1) | JP5500255B2 (ja) |
WO (1) | WO2012017560A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130084720A (ko) * | 2012-01-18 | 2013-07-26 | 삼성전기주식회사 | 영상 처리 장치 및 방법 |
WO2014033886A1 (ja) | 2012-08-30 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6079131B2 (ja) | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
DE102013220005A1 (de) * | 2013-10-02 | 2015-04-02 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem |
JP6149676B2 (ja) | 2013-10-09 | 2017-06-21 | 富士通株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US10442355B2 (en) * | 2014-09-17 | 2019-10-15 | Intel Corporation | Object visualization in bowl-shaped imaging systems |
CN104385987B (zh) * | 2014-11-14 | 2017-01-11 | 东风汽车有限公司 | 一种汽车监控方法及系统 |
CN105635635A (zh) | 2014-11-19 | 2016-06-01 | 杜比实验室特许公司 | 调节视频会议系统中的空间一致性 |
KR102458339B1 (ko) * | 2015-08-07 | 2022-10-25 | 삼성전자주식회사 | 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 |
JP6575445B2 (ja) | 2015-09-30 | 2019-09-18 | アイシン精機株式会社 | 車両用画像処理装置 |
US10523865B2 (en) * | 2016-01-06 | 2019-12-31 | Texas Instruments Incorporated | Three dimensional rendering for surround view using predetermined viewpoint lookup tables |
CN106961585B (zh) * | 2016-05-05 | 2019-11-05 | 威盛电子股份有限公司 | 行车辅助方法及装置 |
US10434877B2 (en) * | 2016-05-05 | 2019-10-08 | Via Technologies, Inc. | Driver-assistance method and a driver-assistance apparatus |
JP6699370B2 (ja) * | 2016-06-06 | 2020-05-27 | アイシン精機株式会社 | 車両用画像処理装置 |
US10937665B2 (en) * | 2016-09-30 | 2021-03-02 | Intel Corporation | Methods and apparatus for gettering impurities in semiconductors |
JP6816436B2 (ja) * | 2016-10-04 | 2021-01-20 | アイシン精機株式会社 | 周辺監視装置 |
KR102503342B1 (ko) * | 2017-01-10 | 2023-02-28 | 삼성전자주식회사 | 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치 |
CN108668108B (zh) * | 2017-03-31 | 2021-02-19 | 杭州海康威视数字技术股份有限公司 | 一种视频监控的方法、装置及电子设备 |
JP7013751B2 (ja) * | 2017-09-15 | 2022-02-01 | 株式会社アイシン | 画像処理装置 |
JP7156937B2 (ja) | 2018-12-27 | 2022-10-19 | フォルシアクラリオン・エレクトロニクス株式会社 | 画像処理装置及び画像処理方法 |
US20220366578A1 (en) * | 2019-11-21 | 2022-11-17 | Trigo Vision Ltd. | Item identification and tracking system |
JP7398637B2 (ja) | 2020-05-28 | 2023-12-15 | パナソニックIpマネジメント株式会社 | 表示制御装置、車両及び表示制御方法 |
US11718320B1 (en) * | 2020-08-21 | 2023-08-08 | Aurora Operations, Inc. | Using transmission sensor(s) in localization of an autonomous vehicle |
WO2023243310A1 (ja) * | 2022-06-17 | 2023-12-21 | 株式会社デンソー | 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009039A (ja) * | 2001-06-27 | 2003-01-10 | Namco Ltd | 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム |
JP2010068059A (ja) * | 2008-09-08 | 2010-03-25 | Sp Forum Inc | 映像データ生成プログラム |
JP2010128951A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
US6369701B1 (en) | 2000-06-30 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a drive assistant image for drive assistance |
JP3830025B2 (ja) * | 2000-06-30 | 2006-10-04 | 松下電器産業株式会社 | 描画装置 |
JP4907883B2 (ja) | 2005-03-09 | 2012-04-04 | 株式会社東芝 | 車両周辺画像表示装置および車両周辺画像表示方法 |
JP2008077628A (ja) * | 2006-08-21 | 2008-04-03 | Sanyo Electric Co Ltd | 画像処理装置並びに車両周辺視界支援装置及び方法 |
JP4900326B2 (ja) | 2008-06-10 | 2012-03-21 | 日産自動車株式会社 | 駐車支援装置及び駐車支援方法 |
-
2010
- 2010-08-06 JP JP2012527527A patent/JP5500255B2/ja active Active
- 2010-08-06 WO PCT/JP2010/063426 patent/WO2012017560A1/ja active Application Filing
-
2013
- 2013-01-29 US US13/752,741 patent/US8817079B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009039A (ja) * | 2001-06-27 | 2003-01-10 | Namco Ltd | 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム |
JP2010068059A (ja) * | 2008-09-08 | 2010-03-25 | Sp Forum Inc | 映像データ生成プログラム |
JP2010128951A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20130141547A1 (en) | 2013-06-06 |
WO2012017560A1 (ja) | 2012-02-09 |
JPWO2012017560A1 (ja) | 2013-09-19 |
US8817079B2 (en) | 2014-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5500255B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP5668857B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20120069153A1 (en) | Device for monitoring area around vehicle | |
JP5481337B2 (ja) | 画像処理装置 | |
CN107465890B (zh) | 车辆的图像处理装置 | |
JP2011182236A (ja) | カメラキャリブレーション装置 | |
JP2004297808A (ja) | 移動体周辺監視装置 | |
JP2011215063A (ja) | カメラ姿勢パラメータ推定装置 | |
KR20130064169A (ko) | 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 | |
CN113490879A (zh) | 使用实时光线跟踪以用于透镜重新映射 | |
WO2016125371A1 (ja) | 画像生成装置、座標変換テーブル作成装置および作成方法 | |
WO2018235300A1 (ja) | 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体 | |
JP2010171914A (ja) | 画像データ変換装置 | |
KR20130018869A (ko) | 화상생성장치 및 조작지원 시스템 | |
JP2020107089A (ja) | 画像処理装置及び画像処理方法 | |
JP6031819B2 (ja) | 画像処理装置、画像処理方法 | |
JP5402832B2 (ja) | 視点変換装置及び視点変換方法 | |
JP6582557B2 (ja) | 描画装置、描画方法および描画プログラム | |
JP7074546B2 (ja) | 画像処理装置および方法 | |
JP6734136B2 (ja) | 画像処理装置 | |
JP7196920B2 (ja) | 運転支援装置および運転支援方法、プログラム | |
EP3809377A1 (en) | Method and device for providing a visualization of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5500255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |