JP6967013B2 - 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 - Google Patents
二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 Download PDFInfo
- Publication number
- JP6967013B2 JP6967013B2 JP2018555737A JP2018555737A JP6967013B2 JP 6967013 B2 JP6967013 B2 JP 6967013B2 JP 2018555737 A JP2018555737 A JP 2018555737A JP 2018555737 A JP2018555737 A JP 2018555737A JP 6967013 B2 JP6967013 B2 JP 6967013B2
- Authority
- JP
- Japan
- Prior art keywords
- depiction
- interpolated
- original image
- interpolation
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000007704 transition Effects 0.000 title claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
2 三次元のモデル空間
21 第一描写
22 第二描写
31 第一表示画像
32 第二表示画像
33 補間される表示画像
4 表示手段
5 画像処理装置
51 第一画像作成手段
52 第二画像作成手段
53 補間手段
54 移行画像作成手段
K1 第一カメラ描写
K2 第二カメラ描写
Kw 補間されるカメラ描写
t1 第一テクスチャー座標
t2 第二テクスチャー座標
tw 補間されるテクスチャー座標
u1 第一元画像座標
u2 第二元画像座標
uw 補間される元画像座標
P1 第一投影描写
P2 第二投影描写
Pw 補間される投影描写
V1 第一転換描写
V2 第二転換描写
Vw 補間される転換描写
w 補間パラメータ
x1 第一グリッド点
x2 第二グリッド点
xw 補間されるグリッド点
y1 第一表示画像座標
y2 第二表示画像座標
yw 補間される表示画像座標
Claims (15)
- 以下のステップを有することを特徴とする二枚の表示画像(31,32)間の移行を割り出すための方法:
二次元の元画像(1)の第一の元画像部分を、第一描写ファンクションを用いて、三次元のモデル空間(2)内の二次元の第一描写(21)上に描写するとともに、該第一描写(21)上に描写された元画像(1)の第一の元画像部分を第一表示画像(31)上に描写するステップ(S1);
二次元の元画像(1)の第一の元画像部分と少なくとも一部異なる第二の元画像部分を、第二描写ファンクションを用いて、三次元のモデル空間(2)内において第一描写(21)から少なくとも三次元のモデル空間(2)のさらに他の第三の次元の方向に離れた二次元の第二描写(22)上に描写するとともに、該第二描写(22)上に描写された元画像(1)の第二の元画像部分を第二表示画像(32)上に描写するステップ(S2);
該元画像(1)の第一の元画像部分と第二の元画像部分との間に選択された補間される元画像部分を、補間する描写ファンクションによって、モデル空間(2)内の補間される描写(23)上に描写するステップ(S3)、但し、該補間される描写(23)は、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間の第三の次元の方向における位置を特徴付ける補間パラメータ(w)に依存した第一描写(21)と第二描写(22)の補間によって、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間に定められ、前記補間される元画像部分が前記補間パラメータ(w)により特徴付けられる;並びに、
補間する描写ファンクションによって、補間される描写(23)上に描写された元画像(1)の前記補間される元画像部分を、補間パラメータ(w)を変化させることによって、第一表示画像(31)から第二表示画像(32)に移行する補間される表示画像(33)上に描写するステップ(S4)。 - 該補間する描写ファンクションが、補間パラメータ(w)に依存した第一描写ファンクションと第二描写ファンクションの補間によって定められることを特徴とする請求項1に記載の方法。
- 三次元のモデル空間(2)が、グリッドを包含する;
該第一描写(21)が、グリッドのグリッド点の第一集合(x1)を有するが、該第一描写ファンクションは、グリッド点の第一集合のグリッド点の第一テクスチャー座標(t1)によって定められる;並びに、
該第二描写(22)が、グリッドのグリッド点の第二集合(x2)を有するが、該第二描写ファンクションは、グリッド点の第二集合(x2)のグリッド点の第二テクスチャー座標(t2)によって定められる;
ことを特徴とする請求項1或いは2に記載の方法。 - グリッド点の該第一集合の各々のグリッド点(x1)が、グリッド点の第二集合の一つのグリッド点(x2)に帰属されている;
補間される描写(23)が、グリッド点の第一集合の各々のグリッド点(x1)用に、グリッド点の第二集合の帰属されているグリッド点(x2)と補間することによって定められ;並びに、
補間する描写ファンクションが、グリッド点の第一集合の各々のグリッド点(x1)用に、対応する第一テクスチャー座標(t1)とグリッド点の第二集合の帰属されているグリッド点(x2)の第二テクスチャー座標(t2)と共に補間されることによって定められる;
ことを特徴とする請求項3に記載の方法。 - 該グリッド点の第二集合の各々のグリッド点(x2)のグリッド点の第一集合の各々のグリッド点(x1)への帰属が、最近傍探索によって実施されることを特徴とする請求項4に記載の方法。
- 補間する描写ファンクションによって補間される描写(23)に描写された元画像の補間される表示画像への描写が、以下のステップを包含していることを特徴とする請求項1から5のうち一項に記載の方法:
第一描写(21)、乃至、第二描写(22)上に投影された元画像(1)が、第一表示画像(21)、乃至、第二表示画像(22)上に描写される第一カメラ描写(K1)と第二カメラ描写(K2)を割り出すステップ;並びに、
補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)を、補間される表示画像(23)上に描写する補間するカメラ描写(Kw)を、補間パラメータ(w)に依存して割り出すステップ。 - 前記補間するカメラ描写(Kw)の割り出しが、第一カメラ描写(K1)と第二カメラ描写(K2)の補間も包含していることを特徴とする請求項6に記載の方法。
- 該第一カメラ描写(K1)と第二カメラ描写(K2)の割り出しが、第一乃至第二転換描写(V1,V2)と第一乃至第二投影描写(P1,P2)とのつなぎ合わせを包含している;
該第一乃至第二転換描写(V1,V2)が、転換された第一乃至第二描写上に第一乃至第二描写(21,22)を描写する;並びに、
該第一乃至第二投影描写(P1,P2)が、転換された第一乃至第二描写を、第一乃至第二表示画像(31,32)上に投影する;
ことを特徴とする請求項6に記載の方法。 - 該補間するカメラ描写の割り出し(Kw)が、補間される転換描写(Vw)と補間される投影描写(Pw)とのつなぎ合わせを包含している;
該補間される転換描写(Vw)が、第一転換描写(V1)と第二転換描写(V2)との、補間パラメータ(w)に依存した補間によって割り出される;並びに、
該補間される投影描写(Pw)が、第一投影描写(P1)と第二投影描写(P2)との補間パラメータ(w)に依存した補間によって割り出される;
ことを特徴とする請求項8に記載の方法。 - 該補間される描写(23)の割り出し、及び/或いは、補間する描写ファンクションの割り出しが、線形補間、或いは、多項補間によって実施されることを特徴とする請求項1から9のうち一項に記載の方法。
- 以下を装備することを特徴とする二枚の表示画像(31,32)間の移行を割り出すための画像処理装置(5):
二次元の元画像(1)の第一の元画像部分を、第一描写ファンクションによって、三次元のモデル空間(2)内の二次元の第一描写(21)上に、描写し、且つ、該第一描写(21)上に描写された元画像(1)の第一の元画像部分を第一表示画像(3)上に描写する第一画像作成手段(51);
該二次元の元画像(1)の第一の元画像部分と少なくとも一部異なる第二の元画像部分を、第二描写ファンクションによって、三次元のモデル空間(2)内において第一描写(21)から少なくとも三次元のモデル空間(2)のさらに他の第三の次元の方向に離れた二次元の第二描写(22)上に、描写し、且つ、該第二描写(22)上に描写された元画像(1)の第二の元画像部分を第二表示画像(4)上に描写する第二画像作成手段(52);
該元画像(1)の第一の元画像部分と第二の元画像部分との間に選択された補間される元画像部分を、補間する描写ファンクションによって、モデル空間(2)内の補間される描写(23)上に描写し、該補間される描写(23)を、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間の第三の次元の方向における位置を特徴付ける補間パラメータ(w)に依存した第一描写(21)と第二描写(22)の補間によって、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間に割り出し、前記補間される元画像部分を前記補間パラメータ(w)により特徴付ける補間手段(53);並びに、
該補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)の前記補間される元画像部分を、補間パラメータ(w)を変化させることによって、第一表示画像(31)から第二表示画像(32)に移行する、補間される表示画像(33)上に描写する移行画像作成手段(54)。 - 補間される表示画像(33)を表示することができるように構成された画像表示手段(4)を有していることを特徴とする請求項11に記載の画像処理装置(5)。
- 補間手段(53)が、該補間する描写ファンクションを、補間パラメータ(w)に依存した第一描写ファンクションと第二描写ファンクションの補間によって割り出すことを特徴とする請求項11或いは12の何れか一項に記載の画像処理装置(5)。
- 該補間手段(53)が、補間される描写(23)、及び/或いは、補間する描写ファンクションを線形補間、或いは、多項補間によって割り出すことを特徴とする請求項11から13の何れか一項に記載の画像処理装置(5)。
- 元画像(1)を生成する様に構成されたカメラ手段(61);
作成した元画像(1)によって、二枚の表示画像間の移行(31,32)を割り出すための請求項11から14の何れか一項に記載の画像処理装置(5);
を備えたことを特徴とする車両(6)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016209662.1A DE102016209662A1 (de) | 2016-06-02 | 2016-06-02 | Verfahren und Vorrichtung zum Bestimmen eines Übergangs zwischen zwei Anzeigebildern, und Fahrzeug |
DE102016209662.1 | 2016-06-02 | ||
PCT/DE2017/200046 WO2017207001A1 (de) | 2016-06-02 | 2017-05-30 | Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019517688A JP2019517688A (ja) | 2019-06-24 |
JP6967013B2 true JP6967013B2 (ja) | 2021-11-17 |
Family
ID=59683359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018555737A Active JP6967013B2 (ja) | 2016-06-02 | 2017-05-30 | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10825135B2 (ja) |
EP (1) | EP3465608B1 (ja) |
JP (1) | JP6967013B2 (ja) |
DE (2) | DE102016209662A1 (ja) |
WO (1) | WO2017207001A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020213473A1 (de) | 2020-10-27 | 2022-04-28 | Continental Automotive Gmbh | Kamerasystem sowie Verfahren zur Anzeige von Widgets für ein Kamerasystem |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001076177A (ja) * | 1999-09-06 | 2001-03-23 | Fujitsu Ltd | ポリゴンリダクション処理を用いたモーフィング画像処理装置および方法 |
US8224122B2 (en) * | 2006-12-15 | 2012-07-17 | Microsoft Corporation | Dynamic viewing of wide angle images |
WO2009144994A1 (ja) | 2008-05-29 | 2009-12-03 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
JP5233926B2 (ja) * | 2009-09-10 | 2013-07-10 | 大日本印刷株式会社 | 魚眼監視システム |
JP2012089947A (ja) * | 2010-10-15 | 2012-05-10 | Sharp Corp | 画像縮小装置 |
US8994719B1 (en) * | 2011-04-20 | 2015-03-31 | Google Inc. | Matching views between a two-dimensional geographical image and a three-dimensional geographical image |
JP2014165866A (ja) * | 2013-02-27 | 2014-09-08 | Canon Inc | 画像処理装置及びその制御方法、プログラム |
DE102013209159B4 (de) | 2013-05-16 | 2016-02-25 | Continental Automotive Gmbh | Kamera für ein Surroundview-System |
-
2016
- 2016-06-02 DE DE102016209662.1A patent/DE102016209662A1/de not_active Withdrawn
-
2017
- 2017-05-30 DE DE112017001566.9T patent/DE112017001566A5/de active Pending
- 2017-05-30 JP JP2018555737A patent/JP6967013B2/ja active Active
- 2017-05-30 WO PCT/DE2017/200046 patent/WO2017207001A1/de unknown
- 2017-05-30 US US16/096,348 patent/US10825135B2/en active Active
- 2017-05-30 EP EP17755056.3A patent/EP3465608B1/de active Active
Also Published As
Publication number | Publication date |
---|---|
DE102016209662A1 (de) | 2017-12-07 |
EP3465608B1 (de) | 2024-03-20 |
JP2019517688A (ja) | 2019-06-24 |
DE112017001566A5 (de) | 2018-12-06 |
US20190156456A1 (en) | 2019-05-23 |
WO2017207001A1 (de) | 2017-12-07 |
US10825135B2 (en) | 2020-11-03 |
EP3465608A1 (de) | 2019-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11012620B2 (en) | Panoramic image generation method and device | |
JP5762142B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
KR100721536B1 (ko) | 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법 | |
CN106447602B (zh) | 一种图像拼接方法及装置 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
JP6310652B2 (ja) | 映像表示システム、映像合成装置及び映像合成方法 | |
JP6276719B2 (ja) | 画像生成装置、座標変換テーブル作成装置および作成方法 | |
KR20180101165A (ko) | 파노라마 프레임으로의 프레임 스티칭 | |
JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
JP6011624B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN108520232A (zh) | 立体环景影片产生方法及装置 | |
JP2014085925A (ja) | 画像処理装置、方法、及びプログラム | |
JP2011118908A (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
US10412359B2 (en) | Method for generating a virtual image of vehicle surroundings | |
US20210127057A1 (en) | Apparatus and method of image capture | |
JP3561446B2 (ja) | 画像生成方法及びその装置 | |
JP5402832B2 (ja) | 視点変換装置及び視点変換方法 | |
JP6967013B2 (ja) | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 | |
WO2012169174A1 (ja) | 画像処理装置および画像処理方法 | |
KR101920113B1 (ko) | 임의시점 영상생성 방법 및 시스템 | |
JP2010152529A (ja) | 頂点テクスチャマッピング装置及びプログラム | |
JP2015197374A (ja) | 3次元形状推定装置及び3次元形状推定方法 | |
JPWO2019170202A5 (ja) | ||
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JPH04329484A (ja) | 画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200204 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6967013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |