JP6587626B2 - カメラシステムによって様々な位置で撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法 - Google Patents
カメラシステムによって様々な位置で撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法 Download PDFInfo
- Publication number
- JP6587626B2 JP6587626B2 JP2016551714A JP2016551714A JP6587626B2 JP 6587626 B2 JP6587626 B2 JP 6587626B2 JP 2016551714 A JP2016551714 A JP 2016551714A JP 2016551714 A JP2016551714 A JP 2016551714A JP 6587626 B2 JP6587626 B2 JP 6587626B2
- Authority
- JP
- Japan
- Prior art keywords
- projection plane
- camera
- image
- camera system
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000003287 optical effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Description
運転者の視野内に存在しない障害物との衝突を避けるために、車両の近傍領域の周囲を運転者に表示し、車両の移動中に走行快適性を高めるために、運転者のいくつかのアクティビティを肩代わりし、運転者のアクティビティを監視して、危険な状況が発生した場合に介入し、かつ/または乗車している運転者の必要性なしに自動運転する。
2 画像処理ユニット
11 第1のカメラ
12 第2のカメラ
13 第3のカメラ
14 第4のカメラ
20 超音波センサ
30 対象物
31 光学的な中心
32 カメラ投影面
G 第2の投影面
G′ 第1の投影面
P0〜P7;P′0〜P′7 点
u,v 座標
Claims (10)
- カメラシステムによって様々な位置から撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法において、
第1の幾何学形状を有する第1の投影面(G′)および球面状に延在する第2の投影面(G)を提供し、この場合、前記第1の投影面(G′)の各点(P′0−P′7)に、前記第2の投影面(G)上の点(P0−P7)が所属しており、
前記個別画像内に表示された対象物(30)の、前記カメラシステムに対する配置を表す位置情報を検出し、
検出された前記位置情報に基づいて、前記第1の投影面(G′)の前記第1の幾何学形状を変形し、
前記個別画像のテクスチャ情報を、変形された前記第1の投影面(G′)の面領域に割り当て、
前記第1の投影面(G′)の前記点(P′0−P′7)のテクスチャ情報を、変形されていない前記第2の投影面(G)の対応する所属の前記点(P0−P7)に伝送し、
前記第2の投影面(G)の視界から前記共通の画像を生成する
ことを特徴とするカメラシステムによって様々な位置から撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法。 - 前記第1の投影面(G′)を複数の多角形または基本形より形成し、これらの多角形または基本形の位置をそれぞれ1つのベクトルまたは頂点によって規定する
ことを特徴とする請求項1記載の方法。 - 前記個別画像が、前記カメラシステムの周囲内の1つの共通の領域を示すオーバラップ領域をマッピングする
ことを特徴とする請求項1又は2に記載の方法。 - 前記位置情報が前記個別画像と同時に検出される
ことを特徴とする請求項1〜3の何れか1項に記載の方法。 - 前記カメラシステムが、
車両(1)のサラウンドビューシステムによって取り囲まれている
ことを特徴とする請求項1〜4の何れか1項に記載の方法。 - 前記個別画像が、
時間的にずらして前記カメラシステムの同じカメラによって検出される
ことを特徴とする請求項1〜5の何れか1項に記載の方法。 - 請求項1〜6の何れか1項に記載の方法を実行するために設計されている
画像処理ユニット(2)。 - 請求項1〜6の何れか1項に記載の方法を実行するために設計されている
コンピュータ。 - コンピュータに請求項1〜6のいずれかに1項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
- コンピュータに請求項1〜6のいずれかに1項に記載の方法を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014204303.4A DE102014204303A1 (de) | 2014-03-10 | 2014-03-10 | Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild |
DE102014204303.4 | 2014-03-10 | ||
PCT/EP2015/050978 WO2015135670A1 (de) | 2014-03-10 | 2015-01-20 | Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017512334A JP2017512334A (ja) | 2017-05-18 |
JP6587626B2 true JP6587626B2 (ja) | 2019-10-09 |
Family
ID=52394245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016551714A Active JP6587626B2 (ja) | 2014-03-10 | 2015-01-20 | カメラシステムによって様々な位置で撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10384606B2 (ja) |
EP (1) | EP3117399B1 (ja) |
JP (1) | JP6587626B2 (ja) |
CN (1) | CN106104629B (ja) |
DE (1) | DE102014204303A1 (ja) |
WO (1) | WO2015135670A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9948914B1 (en) * | 2015-05-06 | 2018-04-17 | The United States Of America As Represented By The Secretary Of The Air Force | Orthoscopic fusion platform |
WO2017045129A1 (zh) * | 2015-09-15 | 2017-03-23 | 华为技术有限公司 | 图像畸变校正方法及装置 |
DE102017200965A1 (de) * | 2017-01-20 | 2018-07-26 | Robert Bosch Gmbh | Verfahren zur Darstellung einer Umgebung eines Fahrzeuges |
EP3776485B1 (en) * | 2018-09-26 | 2022-01-26 | Coherent Logix, Inc. | Any world view generation |
RU2716896C1 (ru) * | 2019-04-01 | 2020-03-17 | Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" | Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения |
DE102019204656A1 (de) | 2019-04-02 | 2020-10-08 | Conti Temic Microelectronic Gmbh | Parkassistenzsystem |
DE102020214093A1 (de) | 2020-11-10 | 2022-05-12 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Detektieren eines bewegten Objekts |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10303015A1 (de) * | 2003-01-27 | 2004-08-12 | Daimlerchrysler Ag | System aus laserscanner und katadioptrischer Kamera |
US6811264B2 (en) * | 2003-03-21 | 2004-11-02 | Mitsubishi Electric Research Laboratories, Inc. | Geometrically aware projector |
US6680689B1 (en) * | 2003-03-28 | 2004-01-20 | Visteon Global Technologies, Inc. | Method for determining object classification from side-looking sensor data |
JP4583883B2 (ja) | 2004-11-08 | 2010-11-17 | パナソニック株式会社 | 車両用周囲状況表示装置 |
JP4928956B2 (ja) | 2007-01-18 | 2012-05-09 | 三洋電機株式会社 | 俯瞰画像提供装置、車両、および俯瞰画像提供方法 |
JP5057936B2 (ja) * | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
JP5182042B2 (ja) | 2008-11-28 | 2013-04-10 | 富士通株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5550970B2 (ja) * | 2010-04-12 | 2014-07-16 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
DE102011082881A1 (de) | 2011-09-16 | 2013-03-21 | Bayerische Motoren Werke Aktiengesellschaft | Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information |
JP5682788B2 (ja) | 2011-09-27 | 2015-03-11 | アイシン精機株式会社 | 車両周辺監視装置 |
CN104285441B (zh) * | 2012-05-22 | 2018-01-05 | 三菱电机株式会社 | 图像处理装置 |
JP6079131B2 (ja) * | 2012-10-25 | 2017-02-15 | 富士通株式会社 | 画像処理装置、方法、及びプログラム |
-
2014
- 2014-03-10 DE DE102014204303.4A patent/DE102014204303A1/de active Pending
-
2015
- 2015-01-20 US US15/124,649 patent/US10384606B2/en active Active
- 2015-01-20 EP EP15700867.3A patent/EP3117399B1/de active Active
- 2015-01-20 JP JP2016551714A patent/JP6587626B2/ja active Active
- 2015-01-20 CN CN201580012771.5A patent/CN106104629B/zh active Active
- 2015-01-20 WO PCT/EP2015/050978 patent/WO2015135670A1/de active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2017512334A (ja) | 2017-05-18 |
US20170018085A1 (en) | 2017-01-19 |
DE102014204303A1 (de) | 2015-09-10 |
EP3117399B1 (de) | 2021-03-10 |
CN106104629A (zh) | 2016-11-09 |
WO2015135670A1 (de) | 2015-09-17 |
EP3117399A1 (de) | 2017-01-18 |
US10384606B2 (en) | 2019-08-20 |
CN106104629B (zh) | 2021-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587626B2 (ja) | カメラシステムによって様々な位置で撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法 | |
EP2481637B1 (en) | Parking Assistance System and Method | |
JP6559253B2 (ja) | 車両の車両周囲を表示するための方法 | |
JP6287237B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9479740B2 (en) | Image generating apparatus | |
JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
JP5057936B2 (ja) | 鳥瞰画像生成装置および方法 | |
JP5077307B2 (ja) | 車両周囲画像表示制御装置 | |
US11750768B2 (en) | Display control apparatus | |
JP3894322B2 (ja) | 車両用視界モニタシステム | |
US20130194256A1 (en) | Viewing system and method for displaying an environment of a vehicle | |
EP2233358B1 (en) | Obstruction detecting apparatus | |
KR20140114373A (ko) | 차량 주변 환경을 시각화하는 방법과 장치 | |
US20200226817A1 (en) | Method for representing the surroundings of a vehicle | |
JPWO2009119110A1 (ja) | 死角表示装置 | |
US20160301864A1 (en) | Imaging processing system for generating a surround-view image | |
US20160301863A1 (en) | Image processing system for generating a surround-view image | |
US9162621B2 (en) | Parking support apparatus | |
JP2015184839A (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP2020126208A5 (ja) | ||
US20190050959A1 (en) | Machine surround view system and method for generating 3-dimensional composite surround view using same | |
JP7028609B2 (ja) | 画像表示装置、及び画像表示システム | |
JP2021067977A (ja) | 画像処理装置、画像処理プログラム | |
JP5861871B2 (ja) | 俯瞰画像提示装置 | |
JP7084400B2 (ja) | 三次元サラウンドビュー・システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171006 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180302 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180806 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180815 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20180907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6587626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |