JP6936816B2 - 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 - Google Patents
周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 Download PDFInfo
- Publication number
- JP6936816B2 JP6936816B2 JP2018563545A JP2018563545A JP6936816B2 JP 6936816 B2 JP6936816 B2 JP 6936816B2 JP 2018563545 A JP2018563545 A JP 2018563545A JP 2018563545 A JP2018563545 A JP 2018563545A JP 6936816 B2 JP6936816 B2 JP 6936816B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- camera parameters
- virtual camera
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 49
- 238000000034 method Methods 0.000 title claims description 38
- 238000013507 mapping Methods 0.000 title claims description 37
- 230000003287 optical effect Effects 0.000 claims description 45
- 239000000470 constituent Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- JOXIMZWYDAKGHI-UHFFFAOYSA-N toluene-4-sulfonic acid Chemical compound CC1=CC=C(S(O)(=O)=O)C=C1 JOXIMZWYDAKGHI-UHFFFAOYSA-N 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Processing Or Creating Images (AREA)
Description
22 カメラ手段
22a〜22d 車載カメラ
31 周辺モデル
32 球
32a 投影面
32b 球の上半球の表面
33 バーチャルカメラ
61 車両制御システム
62 計算手段
63 出力手段
64 ドライバーアシスタントシステム
A1 第一集合のバーチャルカメラの光軸
A2 第二集合のバーチャルカメラの光軸
A3 第三集合のバーチャルカメラの光軸
P1 第一集合のバーチャルカメラのカメラポジション
P2 第二集合のバーチャルカメラのカメラポジション
P3 第三集合のバーチャルカメラのカメラポジション
r 球の半径
S 接続ルート
W 移動パス
W1 第一移動パス
W2 第二移動パス
x1 第一集合のバーチャルカメラの開口角度
x2 第二集合のバーチャルカメラの開口角度
x3 第三集合のバーチャルカメラの開口角度
y1 第一基準点
y2 軸点
y3 第二基準点
z 球の中心
Claims (15)
- 以下のステップを包含することを特徴とする車両(21)の保存された三次元の周辺モデル(31)の連続的な写像を作成するための方法、
車両(21)のカメラ手段(22)によって少なくとも一枚のカメラ画像を作成するステップ(S1)、
作成されたカメラ画像を車両(21)の保存された三次元の周辺モデル(31)内の投影面(32a)上に投影するステップ(S2)、
可動バーチャルカメラ(33)によって投影面(32a)の連続的な写像を作成するステップ(S3)、並びに、
作成された連続的な写像を出力するステップ(S4)、
但し、該バーチャルカメラ(33)は、その構成要素として該バーチャルカメラ(33)のカメラポジション(P1,P2,P3)や該バーチャルカメラ(33)の光軸(A1,A2,A3)を包含するカメラパラメータの集合を有していて、
且つ、該カメラパラメータの集合は、予め定められているカメラパラメータの第一集合及びカメラパラメータの第二集合の間においては、周辺モデル(31)内の第一移動パス(W1)に沿って連続的に補間され、カメラパラメータの第二集合及びカメラパラメータの予め定められている第三集合の間においては、周辺モデル(31)内の第二移動パス(W2)に沿って連続的に補間され、更に、
且つ、カメラパラメータの第二集合の構成要素の一つであるバーチャルカメラ(33)の光軸(A2)が、第一基準点(y1)と第二基準点(y3)との間の接続ルート(S)上にある予め定められている軸点(y2)を通る、但し、該第一基準点(y1)は、カメラパラメータの第一集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A1)の予め定められている点であると共に、該第二基準点(y3)は、カメラパラメータの第三集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A3)の予め定められている点である。 - 周辺モデル(31)内の第一移動パス(W1)と第二移動パス(W2)が、円弧を描くことを特徴とする請求項1に記載の方法。
- 該可動バーチャルカメラ(33)のカメラポジション(P1,P2,P3)の補間が、第一移動パス(W1)、及び/或いは、第二移動パス(W2)に沿って、球面線形補間(SLERP)によって実施されることを特徴とする請求項2に記載の方法。
- 該可動バーチャルカメラ(33)の光軸(A1,A2,A3)の補間が、第一移動パス(W1)、及び/或いは、第二移動パス(W2)に沿って、球面線形補間(SLERP)によって実施されることを特徴とする請求項2と3のうち何れか一項に記載の方法。
- カメラパラメータの第二集合の構成要素の一つであるカメラポジション(P2)が、円弧の中央三分の一の範囲内に、又は円弧の中央の点上にあることを特徴とする請求項2から4のうち何れか一項に記載の方法。
- カメラパラメータの第一集合の構成要素の一つであるカメラポジション(P1)からの第一基準点(y1)の間隔が、カメラパラメータの第三集合の構成要素の一つであるカメラポジション(P3)からの第二基準点(y3)の間隔と同じであることを特徴とする請求項1から5のうち何れか一項に記載の方法。
- 該軸点(y2)が、第一基準点(y1)と第二基準点(y3)との間の接続ルート(S)の中央に位置していることを特徴とする請求項1から6のうち何れか一項に記載の方法。
- ドライバーアシスタントシステム(64)が、出力された連続的な写像に基づいて、車両(21)の車両機能を制御することを特徴とする請求項1から7のうち何れか一項に記載の方法。
- 出力された連続的な写像が、車両のドライバーのために、表示手段上に表示されることを特徴とする請求項1から8のうち何れか一項に記載の方法。
- 以下を装備していることを特徴とする車両(21)の保存された三次元の周辺モデル(31)の連続的な写像を作成するための車両(21)の車両制御システム(61)、
少なくとも一枚のカメラ画像を作成するための車両(21)のカメラ手段(22)、
作成されたカメラ画像を、車両(21)の保存された三次元の周辺モデル(31)内の投影面(32a)に投影し、可動バーチャルカメラ(33)によって投影面(32a)の連続的な写像を作成するように構成された計算手段(62)、並びに、
連続的な写像を出力するように構成された出力手段(63)、
但し、該バーチャルカメラ(33)は、その構成要素として該バーチャルカメラ(33)のカメラポジション(P1,P2,P3)や該バーチャルカメラ(33)の光軸(A1,A2,A3)を包含するカメラパラメータの集合を有していて、
且つ、該計算手段(62)が、該カメラパラメータの集合を、予め定められているカメラパラメータの第一集合及びカメラパラメータの第二集合の間においては、周辺モデル(31)内の第一移動パス(W1)に沿って連続的に補間し、カメラパラメータの第二集合及びカメラパラメータの予め定められている第三集合の間においては、周辺モデル(31)内の第二移動パス(W2)に沿って連続的に補間するように構成され、更に、
且つ、該計算手段(62)が、カメラパラメータの第二集合の構成要素の一つであるバーチャルカメラ(33)の光軸(A2)を、第一基準点(y1)と第二基準点(y3)との間の接続ルート(S)上にある予め定められている軸点(y2)を通るように割り出す、但し、該第一基準点(y1)は、カメラパラメータの第一集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A1)の予め定められている点であると共に、該第二基準点(y3)は、カメラパラメータの第三集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A3)の予め定められている点である。 - 周辺モデル(31)内の第一移動パス(W1)と第二移動パス(W2)が、円弧を描くことを特徴とする請求項10に記載の車両制御システム(61)。
- 該計算手段(62)が、該可動バーチャルカメラ(33)のカメラポジション(P1,P2,P3)の補間を、第一移動パス(W1)、及び/或いは、第二移動パス(W2)に沿って、球面線形補間(SLERP)によって実施するように構成されていることを特徴とする請求項10と11のうち何れか一項に記載の車両制御システム(61)。
- 出力された連続的な写像に基づいて、車両(21)の車両機能を制御するように構成されているドライバーアシスタントシステム(64)を包含していることを特徴とする請求項10から12のうち何れか一項に記載の車両制御システム(61)。
- 該出力手段(63)が、出力された連続的な写像を車両(21)のドライバーに表示するように構成された表示手段を包含していることを特徴とする請求項10から13のうち何れか一項に記載の車両制御システム(61)。
- 請求書10から14のうち何れか一項に記載の車両制御システム(61)を備えた車両(21)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016211453.0A DE102016211453A1 (de) | 2016-06-27 | 2016-06-27 | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
DE102016211453.0 | 2016-06-27 | ||
PCT/DE2017/200055 WO2018001422A1 (de) | 2016-06-27 | 2017-06-20 | Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019526099A JP2019526099A (ja) | 2019-09-12 |
JP2019526099A5 JP2019526099A5 (ja) | 2021-08-12 |
JP6936816B2 true JP6936816B2 (ja) | 2021-09-22 |
Family
ID=59683361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563545A Active JP6936816B2 (ja) | 2016-06-27 | 2017-06-20 | 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10692284B2 (ja) |
EP (1) | EP3475922B1 (ja) |
JP (1) | JP6936816B2 (ja) |
DE (2) | DE102016211453A1 (ja) |
WO (1) | WO2018001422A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107809610B (zh) * | 2016-09-08 | 2021-06-11 | 松下知识产权经营株式会社 | 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 |
DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
CN110393916B (zh) * | 2019-07-26 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 视角转动的方法、装置、设备及存储介质 |
CN112169330B (zh) * | 2020-09-25 | 2021-12-31 | 腾讯科技(深圳)有限公司 | 虚拟环境的画面显示方法、装置、设备及介质 |
JP7523196B2 (ja) * | 2020-12-16 | 2024-07-26 | 株式会社デンソー | 周辺画像表示装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5397373B2 (ja) * | 2008-05-29 | 2014-01-22 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
CN102239506B (zh) * | 2008-10-02 | 2014-07-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
JP5439890B2 (ja) * | 2009-03-25 | 2014-03-12 | 富士通株式会社 | 画像処理方法、画像処理装置及びプログラム |
DE102011112577A1 (de) * | 2011-09-08 | 2013-03-14 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeg zur Durchführung eines autonomen oder teilautonomen Fahrmanövers |
ES2669551T3 (es) | 2011-10-28 | 2018-05-28 | Conti Temic Microelectronic Gmbh | Modelo de entorno basado en una rejilla para un vehículo |
EP2620917B1 (en) * | 2012-01-30 | 2019-08-28 | Harman Becker Automotive Systems GmbH | Viewing system and method for displaying an environment of a vehicle |
-
2016
- 2016-06-27 DE DE102016211453.0A patent/DE102016211453A1/de not_active Withdrawn
-
2017
- 2017-06-20 EP EP17755058.9A patent/EP3475922B1/de active Active
- 2017-06-20 US US16/310,907 patent/US10692284B2/en active Active
- 2017-06-20 DE DE112017002285.1T patent/DE112017002285A5/de not_active Withdrawn
- 2017-06-20 WO PCT/DE2017/200055 patent/WO2018001422A1/de unknown
- 2017-06-20 JP JP2018563545A patent/JP6936816B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018001422A1 (de) | 2018-01-04 |
DE102016211453A1 (de) | 2017-12-28 |
US20190325650A1 (en) | 2019-10-24 |
DE112017002285A5 (de) | 2019-02-14 |
US10692284B2 (en) | 2020-06-23 |
EP3475922B1 (de) | 2020-08-19 |
EP3475922A1 (de) | 2019-05-01 |
JP2019526099A (ja) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6936816B2 (ja) | 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 | |
JP2019526099A5 (ja) | ||
JP7509501B2 (ja) | 整合画像及びlidar情報に基づいた車両ナビゲーション | |
JP7245295B2 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
JP7334881B2 (ja) | 自動運転車両システム用交差視野 | |
JP7052174B2 (ja) | 将来経路を推定するシステム及び方法 | |
JP7008040B2 (ja) | 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 | |
JP6311020B2 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
WO2021098254A1 (zh) | 一种自动泊车交互方法及装置 | |
JP6771846B2 (ja) | 車両の運動を制御するシステム及び方法 | |
CN110794970B (zh) | 一种自动泊车界面的三维显示方法、系统及车辆 | |
JP5590688B2 (ja) | 車両の環境を表示するための視認システムおよび方法 | |
JP6699370B2 (ja) | 車両用画像処理装置 | |
JP2019526105A5 (ja) | ||
JP6720510B2 (ja) | 移動体システム | |
KR20140144921A (ko) | 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템 | |
WO2015045568A1 (ja) | 予測進路提示装置及び予測進路提示方法 | |
JP7317967B2 (ja) | 自動車の遠隔制御におけるユーザの支援方法、コンピュータプログラム製品、遠隔制御装置および自動車の運転支援システム | |
JP7156924B2 (ja) | 車線境界設定装置、車線境界設定方法 | |
US11325470B2 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle | |
JP2018203180A (ja) | 移譲制御装置及び制御プログラム | |
US20230215196A1 (en) | Information processing apparatus, information processing method, and program | |
JP7148064B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム | |
JP7081098B2 (ja) | 走行環境認識装置、走行環境認識方法、プログラム | |
JP6482431B2 (ja) | 表示制御装置、表示装置および表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200609 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210428 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20210701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6936816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |