JP6936816B2 - 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 - Google Patents

周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 Download PDF

Info

Publication number
JP6936816B2
JP6936816B2 JP2018563545A JP2018563545A JP6936816B2 JP 6936816 B2 JP6936816 B2 JP 6936816B2 JP 2018563545 A JP2018563545 A JP 2018563545A JP 2018563545 A JP2018563545 A JP 2018563545A JP 6936816 B2 JP6936816 B2 JP 6936816B2
Authority
JP
Japan
Prior art keywords
camera
vehicle
camera parameters
virtual camera
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018563545A
Other languages
English (en)
Other versions
JP2019526099A5 (ja
JP2019526099A (ja
Inventor
ミルツ・シュテファン
アルバイター・ゲオルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2019526099A publication Critical patent/JP2019526099A/ja
Publication of JP2019526099A5 publication Critical patent/JP2019526099A5/ja
Application granted granted Critical
Publication of JP6936816B2 publication Critical patent/JP6936816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、車両の保存された三次元周辺モデルの連続的な写像を作成するための方法、並びに、車両用の車両制御システム、及び、車両に関する。
例えば、国際公開第2013/060323より既知な車両用の周辺モデルは、該車両の周辺にあるオブジェクトに関する情報を提供し、これにより、ドライバー、乃至、ドライバーアシスタントシステムが、走行可能な領域を認識することを可能にする。バーチャルカメラを用いれば、周辺モデルの部分領域の写像を成することが可能であり、ドライバーに対しては、車載ディスプレー上に表示されることができる。
例えば、バック走行や、見通しの悪い道路に進入する際に、より良い見通しを得るために様々なビューを切り替えることが有利であるケースも多々ある。周辺モデル内の第一バーチャルカメラと周辺モデル内の第二バーチャルカメラとの間の単純な補間により、バーチャルカメラの向きが、補間パスにおいて好ましくない方向を示す場合がある。特に、このような方向では、画像情報が欠如し、表示ができなくなり、該方法を実施することができなくなることも起こり得る。
国際公開第2013/060323号
よって、本発明の課題は、周辺モデルの連続的な写像を、上記のバーチャルカメラの望まれない方向は避けつつ、成することである。
この課題は、特許請求項1に記載の特徴を有する車両の保存された三次元周辺モデルの連続的な写像を作成するための方法、特許請求項10に記載の特徴を有する車両の保存された三次元周辺モデルの連続的な写像を作成するための車両用の車両制御システム、並びに、特許請求項15に記載の特徴を有する車両によって、解決される。
第一アスペクトによれば本発明は、車両の保存された三次元周辺モデルの連続的な写像を作成するための方法を提供する。車両のカメラ手段により、少なくとも一枚のカメラ画像が作成され、該作成されたカメラ画像は、保存され三次元の車両周辺モデル内の投影面に投影される。該周辺モデル内において可動なバーチャルカメラにより、投影面の連続的な写像が作成され、該作成された連続的な写像は、出力される。この際、該バーチャルカメラは、その構成要素として該バーチャルカメラのカメラポジションや該バーチャルカメラの光軸が包含されているカメラパラメータの集合を有している。周辺モデル内の第一移動パスに沿って、該バーチャルカメラのカメラパラメータの集合は、予め与えられているカメラパラメータの第一集合と該カメラパラメータの第二集合の間において補間される。更に、周辺モデル内の第二移動パスに沿って、該バーチャルカメラのカメラパラメータの集合は、連続的に、カメラパラメータの第二集合と予め与えられている該カメラパラメータの第三集合の間において補間される。尚、該バーチャルカメラのカメラパラメータの第二集合の構成要素の一つである光軸は、第一基準点と第二基準点との間の接続ルート上にある予め定められている軸点を通るように割り出される。該第一基準点は、カメラパラメータの第一集合の構成要素の一つである該バーチャルカメラの光軸の予め定められている点である。該第二基準点は、カメラパラメータの第三集合の構成要素の一つである該バーチャルカメラの光軸の予め定められている点である。
ここで言う「周辺モデルの写像」は、バーチャルカメラを用いて作成した特定の空間部分領域の写像であると解釈できるが、該写像は、バーチャルカメラのポジションとオリエンテーション(向き)に依存している。
ここで言う「投影面」は、三次元の周辺モデル内の二次元の超曲面であると解釈できるが、これは、任意の形状と湾曲を有していることができる。該投影面は、例えば、平面、球の殻のセグメント、円柱状の面、或いは、放物乃至双曲の面であることができる。
該光軸は、対応するカメラポジションから、バーチャルカメラの捕捉方向に延伸している。カメラパラメータの第一及び第三集合の光軸は、好ましくは、投影面に向けられている。
本発明は、カメラパラメータの第一及び第三集合によって、バーチャルカメラの、その間において連続的に補間される開始及び終了ポジションを、対応するオリエンテーションと共に与えることを可能にする。この際、カメラパラメータの第二集合により、付加的なサポート点が定義され、補間パスが、第一と第二移動パスに分割される。該サポート点において予め定められているカメラパラメータは、本発明に係る構成によって、補間の際に、バーチャルカメラのオリエンテーションが、周辺モデルの表示不可能な、乃至、画像情報の無い領域に向けられることを回避できるように選択される。即ち、本発明に係る方法は、連続的な写像の成を可能にしている。該本発明に係る方法は、ドライバーに対して、正しく且つ滞りない、即ち、連続的な写像を表示し、道路状況をより良く判断できるようにしているため、安全を高めるものである。該方法は、車両を部分自律的、乃至、自律的に制御するため、正確な周辺情報を必要とするドライバーアシスタントシステムとの組み合わせにおいて特に有利である。
本方法の好ましい発展形態によれば、第一移動パスと第二移動パスは、円弧状である。これは、非常に容易なカメラパラメータの補間を可能にする。
本方法の好ましい発展形態によれば、可動バーチャルカメラのカメラポジションの補間は、第一移動パス、及び/或いは、第二移動パスに沿って、球面線形補間(SLERP)によって、実施される。
本方法の更なる好ましい発展形態によれば、可動バーチャルカメラの光軸の補間が、第一移動パス、及び/或いは、第二移動パスに沿って、球面線形補間(SLERP)によって、実施される。
本方法の更なる発展形態によれば、カメラパラメータの第二集合の構成要素の一つであるカメラポジションは、円弧の中央三分の一の範囲内に、特円弧の中央の点上にある。これにより、第一移動パスの長さは、本質的に、第二移動パスの長さと同じになり、ナチュラル且つ一様な補間が、可能になる。
本方法の好ましい発展形態によれば、カメラパラメータの第一集合の構成要素の一つであるカメラポジションからの第一基準点の間隔は、本質的に、カメラパラメータの第三集合の構成要素の一つであるカメラポジションからの第二基準点の間隔と同じである。これにより、光軸が、第一移動パスから、カメラパラメータの第二集合の光軸によって定まる第二移動パスへの移行点において、正しい方向に向けられることが保証される。
本方法の好ましい発展形態によれば、予め定められている接続点は、本質的に、接続ルートの第一基準点と第二基準点との中央に位置している。
本方法の好ましい発展形態によれば、ドライバーアシスタントシステムは、出力される連続的な写像に基づいて、車両の車両機能を制御する。該車両機能は、ウインカーやサイドミラーなどのアクチュエータの制御、起動、停止、或いは、半自律的乃至自律的な車両の加速、制動、或いは、操舵を包含している。
本方法の好ましい発展形態によれば、出力された連続的な写像は、車両のドライバーのために、表示手段上に表示される。
第二アスペクトによれば本発明は、車両の保存された三次元周辺モデルの連続的な写像を作成するための車両の車両制御システムに関する。該車両制御システムは、少なくとも一枚のカメラ画像、並びに、計算手段を作成するための一台の車載カメラ手段を包含している。該計算手段は、作成されたカメラ画像を保存され三次元の車両周辺モデル内の投影面に投影し、投影面の連続的な写像を、可動なバーチャルカメラによって作成できるように構成されている。更に、該車両制御システムは、連続的な写像を出力するように構成された出力手段も包含している。該バーチャルカメラは、その構成要素として該バーチャルカメラのカメラポジションや該バーチャルカメラの光軸が包含されているカメラパラメータの集合を有している。更に、該計算手段は、カメラパラメータの集合が、周辺モデル内の第一移動パスに沿って連続的に、予め定められている第一カメラパラメータの集合及び第二カメラパラメータの集合の間において補間されるように構成されている。更に、該計算手段は、該バーチャルカメラのカメラパラメータが、周辺モデル内の第二移動パスに沿って連続的に、カメラパラメータの第二集合と予め与えられている該カメラパラメータの第三集合の間において補間されるように構成されている。また、該計算手段は、該バーチャルカメラのカメラパラメータの第二集合の構成要素の一つである光軸を、第一基準点と第二基準点との間の接続ルート上にある予め定められている軸点を通るように割り出すようにも構成されている。この際、該第一基準点は、カメラパラメータの第一集合の構成要素の一つである該バーチャルカメラの光軸の予め定められている点である。更に、該第二基準点は、カメラパラメータの第三集合の構成要素の一つである該バーチャルカメラの光軸の予め定められている点である。好ましくは、該計算手段は、軸点、第一基準点、及び、第二基準点を割り出すようにも構成されている。
本車両制御システムの好ましい発展形態によれば、周辺モデル内の第一移動パスと第二移動パスは、円弧状である。
本車両制御システムのある好ましい実施形態によれば、該計算手段は、可動バーチャルカメラのカメラポジションが、第一移動パス、及び/或いは、第二移動パスに沿って、球面線形補間(SLERP)によって、補間されるように構成されている。
ある好ましい更なる実施形態によれば、該車両制御システムは、出力された連続的な写像に基づいて、車両の車両機能を制御するように構成されているドライバーアシスタントシステムを包含している。
ある好ましい更なる実施形態によれば、該出力手段は、出力される連続的な写像を、車両のドライバーに見せるように構成された表示手段を包含している。
第三のアスペクトによれば、本発明は、車両制御システムを備えた車両に関する。
以下本発明を、概略的な図として描かれている実施例を参照しながら詳しく説明する。
本発明のある一つの実施形態に係る車両の保存された三次元周辺モデルの連続的な写像を作成するための方法を説明するためのフローチャートである。 本発明に係る方法を説明するためのシナリオ例の上視図である。 周辺モデルの模式的斜視図である。 本発明に係る方法を説明するための周辺モデルの模式的断面図である。 本発明に係る方法によって回避されたシナリオを説明するための周辺モデルの模式的断面図である。 本発明のある一つの実施形態に係る車両制御システムの模式的ブロック図である。 本発明のある一つの実施形態に係る車両の模式的ブロック図である。
全ての図において、同じ、或いは、機能的に同じエレメント、並びに、手段に対しては、同じ符号がつけられている。方法ステップの番号は、明瞭性のためであり、特に時間的順序を示すものでは決してない。例えば、複数のステップが、同時に実行されることも可能である。有意義である限り、様々な実施形態を任意に組み合わせることが可能である。
図1は、本発明のある一つの実施形態に係る車両の保存された三次元周辺モデルの連続的な写像を作成するための方法を説明するためのフローチャートを示している。
図2には、カメラ手段22を備えた車両21の上視図を示すシナリオが、描かれている。車両21のカメラ手段22は、車両21の周囲に配置され、サラウンドビュー描写を可能にする複数の車載カメラ22aから22dを包含している。
第一方法ステップS1では、少なくとも一枚のカメラ画像が、車両21のカメラ手段22によって作成される。
続いて、図3に描かれているような、その中に二次元の投影面32aが定義されている三次元の周辺モデル31が、準備される。投影面32aは、周辺モデル31内の、例えば、平らな超平面やシリンダーの面であることができる。尚、該投影面32aは、図3に描写されている球32の椀状の下半球の表面であることが好ましい。該車両21の空間的ポジションは、該周辺モデル31内において、球31の中心zであることが好ましい。
他の方法ステップS2では、作成されたカメラ画像が、投影面32aに投影される。少なくとも一枚のカメラ画像が、車両のサラウンドビュー描写を形成する場合、該少なくとも一枚のカメラ画像が、投影面32a全体に投影される。しかしながら、他の実施形態では、作成されたカメラ画像は、投影面32aの部分領域のみに描写、乃至、投影される。
更なる方法ステップS3では、可動バーチャルカメラ33によって投影面32a連続的な写像が成される。
別の方法ステップS4では、成された連続的な写像が、出力される。
該バーチャルカメラ33は、カメラパラメータの集合を有している、乃至、該カメラパラメータによって、その特徴が定められている。該カメラパラメータの集合のエレメントは、バーチャルカメラ33のカメラポジションとバーチャルカメラ33の光軸を包含している。図3では、バーチャルカメラ33は、三つのコンフィグレーション、即ち、対応するカメラポジションP1と光軸A1を包含するカメラパラメータの第一集合M1、対応するカメラポジションP2と光軸A2を包含するカメラパラメータの第二集合M2、対応するカメラポジションP3と光軸A3を包含するカメラパラメータの第三集合M3によって、特徴づけられている。該カメラパラメータの第一集合M1とカメラパラメータの第三集合M3は、予め固定的に与えられており、バーチャルカメラ33の開始コンフィグレーション、乃至、最終コンフィグレーションに相当している。該第二集合M2は、開始コンフィグレーションと最終コンフィグレーションとの間の正しい補間を可能にする補助コンフィグレーションに相当している。第一から第三集合M1〜M3のカメラポジションP1〜P3は、球32の上半球の表面32bに広がっている大円上にある。表面32bは、バーチャルカメラ33のカメラポジションを与える、即ち、バーチャルカメラ33は、原理的に自由に、表面32b上を移動させる、乃至、動かすことが可能である。該カメラポジションは、例えば、周辺モデル31の座標x,y,zを示すことによって定義できる。尚、該カメラポジションは、球座標r,q,jによって与えられることが好ましく、尚ここで、rは、球32の半径に相当し、qは、極角、jは、方位角である。該光軸は、ある実施形態によれば、対応するオイラー角によって求められることができる。尚、光軸は、四元数によって記述されることが好ましい。
該開始コンフィグレーションと最終コンフィギュレーションの間の移動パスWは、第一集合M1のカメラポジションP1と第二集合M2のカメラポジションP2との間の第一移動パスW1と、第二集合M2のカメラポジションP2と第三集合M3のカメラポジションP3との間の第二移動パスW2に分割される。第二集合M2のカメラポジションP2は、移動パスWのある一点によって定まり、好ましくは、移動パスWの三等分した中央に当たる該当する大円の円弧上にある。尚、第二集合M2のカメラポジションP2は、移動パスWの中央点上にあることが特に好ましい。
図4は、周辺モデル31の移動パスWを含む大円に沿った模式的断面図を示している。以下、第二集合M2の光軸A2の割り出しについて詳しく説明する。ここでは、第一集合M1の光軸A1上にある第一基準点y1が、予め与えられる乃至割り出される。尚、該第一基準点y1は、第一集合M1のカメラポジションP1に対して、球32の半径rに本質的に相当する、ある定まった間隔を有していることが好ましい。
続いて、カメラパラメータの第三集合M3の光軸A3の予め与えられている点である第二基準点y3が、割り出される。第二基準点y3の第三集合M3のカメラポジションP3に対する間隔は、好ましくは、第一集合M1のカメラポジションP1に対する第一基準点y1の間隔に相当し、これも、本質的には、球32の半径rと同じ長さである。
続いて、第一基準点y1と第二基準点y3との間にある接続ルートS上にある軸点y2が、割り出される。尚、該軸点y2は、第一基準点y1と第二基準点y3との間の接続ルートSの本質的に中央に位置していることが好ましい。
バーチャルカメラ33の該カメラパラメータは、開始コンフィグレーションと最終コンフィグレーションとの間において連続的に補間される。そのために、周辺モデル31内の第一移動パスW1に沿ってカメラパラメータの集合が、連続的にカメラパラメータの第一集合M1と第二集合M2の間において補間され、第二移動パスW2に沿って、カメラパラメータの集合が、連続的にカメラパラメータの第二集合M2と第三集合M3の間において補間される。尚、可動なバーチャルカメラ33のカメラポジションは、この際、第一、及び/或いは、第二移動パスW1,W2に沿って、球面線形補間「SLERP」によって実施される。
続いて、可動バーチャルカメラの光軸が、好ましくは、第一、及び/或いは、第二移動パスW1,W2に沿って、球面線形補間「SLERP」によって実施されるが、該光軸は、四元数として表されることが好ましい。
更なる実施形態によれば、該カメラパラメータは、更に、開口角度も包含しているが、該開口角度は、第一移動パスに沿って、カメラパラメータの第一集合M1の第一開口角度x1とカメラパラメータの第二集合M2の開口角度x2との間で補間され、且つ、第二移動パスW2に沿って、カメラパラメータの第二集合M2の開口角度x2とカメラパラメータの第三集合M3の開口角度x3との間で補間される。該補間は、好ましくは、この際、一次的に補間される。即ち、第一集合M1と第二集合M2の開口角度は、それぞれ、予め与えられており、第二集合の開口角度x2は、線形補間によって割り出されることが好ましい。
本発明の効果を、以下において、図5に示した周辺モデル31の断面図を用いて詳しく説明する。ここでも、開始コンフィグレーションが、カメラパラメータの第一集合M1によって、そして、最終コンフィグレーションが、カメラパラメータの第三集合M3によって、予め与えられている。カメラポジションが、第一集合M1のカメラポジションP1と第三集合M3のカメラポジションP3の間の球面線形補間によって補間されると同時に、第一集合M1の光軸A1と第三集合M3の第三光軸A3との間のバーチャルカメラ33の光軸も、球面線形補間によって補間されるため、図5に描かれているケースでは、第一集合M1のカメラポジションP1と第三集合M3のカメラポジションP3との間のカメラポジションP2用のバーチャルカメラ33の光軸A2’が、球32から外側に向いており、バーチャルカメラ33による画像成は、困難、乃至、不可能である。このようなコンフィグレーションの原因は、第一集合M1の光軸A1と第三集合M3の光軸A3との最も短い接続が、光軸の回転が中央zから遠ざかる方向への補間に、相当していることにある。
図5に描写されているシチュエーションは、本発明では、その光軸A2、乃至、捕捉方向が正しい、即ち、中心zの方向に向いているカメラパラメータの第二集合M2が、割り出されることによって回避される。これにより、三次元周辺モデル31の連続的な写像の作成が可能である。
投影面32aの連続的な写像は、移動パスWに沿って動く、補間によって生成されたカメラパラメータを有するバーチャルカメラ33によって作成される。
ある好ましい実施形態によれば、連続的な写像が、車両の車両機能を制御するドライバーアシスタントシステムに出力される。該ドライバーアシスタントシステムは、例えば、駐車プロセスを、周辺モデル31の写像に基づいて半自律的、乃至、自律的に実施する。
更なる実施形態によれば、出力された連続的な写像は、車両のドライバーのために、表示手段上に表示される。
図6は、本発明のある一つの実施形態に係る車両21の保存された三次元周辺モデル31の連続的な写像を作成するための、車両21の車両制御システム61のブロック図を示している。該車両制御システム61は、一つの、或いは、複数の車載カメラを包含する車両21のカメラ手段22を有している。更に、該車両制御システム61は、作成されたカメラ画像を、車両の保存され三次元の周辺モデル31内の投影面に投影するように構成されている計算手段62も包含している。該周辺モデル31は、好ましくは、車両制御システム61の保存手段に保存されることができる、或いは、計算手段62に、ネットワークを介して提供されることができる。該周辺モデル31は、特に、車両の間隔センサー、レーダーセンサー、赤外線画像、或いは、ライダーセンサーによって、車両制御システム61に提供される更なる情報を包含していることもできる。
該計算手段62は、更に、投影面32aの連続的な写像を可動なバーチャルカメラ33によって成することができるようにも構成されている。該バーチャルカメラ33は、この際、第一移動パスW1と第二移動パスW2を有する移動パスWに沿って移動する。該バーチャルカメラ33は、その構成要素として該バーチャルカメラ33のカメラポジションや該バーチャルカメラ33の光軸が包含されているカメラパラメータの集合を有している。
該計算手段62は、カメラパラメータの集合が、周辺モデル31内の第一移動パスW1に沿って連続的に、予め定められている第一カメラパラメータの集合M1及び予め定められている第二カメラパラメータの集合M2の間において補間されるように構成されている。更に、該計算手段62は、バーチャルカメラ33のカメラパラメータの集合が、周辺モデル31内の第二移動パスW2に沿って連続的に、カメラパラメータの第二集合M2及びカメラパラメータの予め定められている第三集合M3の間において補間されるようにも構成されている。カメラパラメータの該第一集合M1と該第三集合M3は、予め与えられており、バーチャルカメラ33の開始コンフィグレーション、乃至、最終コンフィグレーションに相当している。カメラパラメータの第二集合M2のカメラポジションP2は、第一集合M1のカメラポジションP1と第三集合M3のカメラポジションP3をつなぐことにより、図31に描かれている大円を用いて計算手段62によって定められることが特に好ましい移動パスW上の点に相当している。
該計算手段は、カメラパラメータの第二集合M2の光軸A2を、第一基準点y1と第二基準点y3との間の接続ルートS上にある予め定められている軸点y2を通るように割り出すように構成されている。該第一乃至第二基準点y1,y3は、この際、第一集合M1乃至第三集合M3の光軸A1,A2の予め与えられている点に相当している。特に好ましくは、該計算手段62は、カメラパラメータの第二集合M2を、上記の方法に従って割り出すことができる。
該車両制御システム66は、更に、連続的な写像を出力するように構成された出力手段63も包含している。該出力手段63は、インターフェース、特に好ましくは、配線接続、USBインターフェース、或いは、無線インターフェースを有している。成された写像は、特に好ましくは、出力手段63を介して、他の装置に、或いは、C2Cコミュニケーションを介して、他の車両に伝達されることができる。
該車両制御システム61は、好ましくは、出力された連続的な写像に基づいて、車両21の車両機能を制御するように構成されているドライバーアシスタントシステム64を包含している。
代案的に、出力手段63は、表示手段、例えば、出力される連続的な写像を車両のドライバーに表示するように構成されている車載ディスプレーも包含している。
図7は、特に好ましくは、本発明の上記実施形態のうちの一つに係る車両制御システム61を装備した車両21のブロック図を示している。
21 車両
22 カメラ手段
22a〜22d 車載カメラ
31 周辺モデル
32 球
32a 投影面
32b 球の上半球の表面
33 バーチャルカメラ
61 車両制御システム
62 計算手段
63 出力手段
64 ドライバーアシスタントシステム
A1 第一集合のバーチャルカメラの光軸
A2 第二集合のバーチャルカメラの光軸
A3 第三集合のバーチャルカメラの光軸
P1 第一集合のバーチャルカメラのカメラポジション
P2 第二集合のバーチャルカメラのカメラポジション
P3 第三集合のバーチャルカメラのカメラポジション
r 球の半径
S 接続ルート
W 移動パス
W1 第一移動パス
W2 第二移動パス
x1 第一集合のバーチャルカメラの開口角度
x2 第二集合のバーチャルカメラの開口角度
x3 第三集合のバーチャルカメラの開口角度
y1 第一基準点
y2 軸点
y3 第二基準点
z 球の中心

Claims (15)

  1. 以下のステップを包含することを特徴とする車両(21)の保存された三次元の周辺モデル(31)の連続的な写像を作成するための方法、
    車両(21)のカメラ手段(22)によって少なくとも一枚のカメラ画像を作成するステップ(S1)、
    作成されたカメラ画像を車両(21)の保存された三次元の周辺モデル(31)内の投影面(32a)上に投影するステップ(S2)、
    可動バーチャルカメラ(33)によって投影面(32a)の連続的な写像を作成するステップ(S3)、並びに、
    作成された連続的な写像を出力するステップ(S4)、
    但し、該バーチャルカメラ(33)は、その構成要素として該バーチャルカメラ(33)のカメラポジション(P1,P2,P3)や該バーチャルカメラ(33)の光軸(A1,A2,A3)を包含するカメラパラメータの集合を有していて、
    且つ、該カメラパラメータの集合は、予め定められているカメラパラメータの第一集合及びカメラパラメータの第二集合の間においては、周辺モデル(31)内の第一移動パス(W1)に沿って連続的に補間され、カメラパラメータの第二集合及びカメラパラメータの予め定められている第三集合の間においては、周辺モデル(31)内の第二移動パス(W2)に沿って連続的に補間され、更に、
    且つ、カメラパラメータの第二集合の構成要素の一つであるバーチャルカメラ(33)の光軸(A2)が、第一基準点(y1)と第二基準点(y3)との間の接続ルート(S)上にある予め定められている軸点(y2)を通る、但し、該第一基準点(y1)は、カメラパラメータの第一集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A1)の予め定められている点であると共に、該第二基準点(y3)は、カメラパラメータの第三集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A3)の予め定められている点である。
  2. 周辺モデル(31)内の第一移動パス(W1)と第二移動パス(W2)が、円弧を描くことを特徴とする請求項1に記載の方法。
  3. 該可動バーチャルカメラ(33)のカメラポジション(P1,P2,P3)の補間が、第一移動パス(W1)、及び/或いは、第二移動パス(W2)に沿って、球面線形補間(SLERP)によって実施されることを特徴とする請求項2に記載の方法。
  4. 該可動バーチャルカメラ(33)の光軸(A1,A2,A3)の補間が、第一移動パス(W1)、及び/或いは、第二移動パス(W2)に沿って、球面線形補間(SLERP)によって実施されることを特徴とする請求項2と3のうち何れか一項に記載の方法。
  5. カメラパラメータの第二集合の構成要素の一つであるカメラポジション(P2)が、円弧の中央三分の一の範囲内に、又は円弧の中央の点上にあることを特徴とする請求項2から4のうち何れか一項に記載の方法。
  6. カメラパラメータの第一集合の構成要素の一つであるカメラポジション(P1)からの第一基準点(y1)の間隔が、カメラパラメータの第三集合の構成要素の一つであるカメラポジション(P3)からの第二基準点(y3)の間隔と同じであることを特徴とする請求項1から5のうち何れか一項に記載の方法。
  7. 該軸点(y2)が、第一基準点(y1)と第二基準点(y3)との間の接続ルート(S)の中央に位置していることを特徴とする請求項1から6のうち何れか一項に記載の方法。
  8. ドライバーアシスタントシステム(64)が、出力された連続的な写像に基づいて、車両(21)の車両機能を制御することを特徴とする請求項1から7のうち何れか一項に記載の方法。
  9. 出力された連続的な写像が、車両のドライバーのために、表示手段上に表示されることを特徴とする請求項1から8のうち何れか一項に記載の方法。
  10. 以下を装備していることを特徴とする車両(21)の保存された三次元の周辺モデル(31)の連続的な写像を作成するための車両(21)の車両制御システム(61)、
    少なくとも一枚のカメラ画像を作成するための車両(21)のカメラ手段(22)、
    作成されたカメラ画像を、車両(21)の保存された三次元の周辺モデル(31)内の投影面(32a)に投影し、可動バーチャルカメラ(33)によって投影面(32a)の連続的な写像を作成するように構成された計算手段(62)、並びに、
    連続的な写像を出力するように構成された出力手段(63)、
    但し、該バーチャルカメラ(33)は、その構成要素として該バーチャルカメラ(33)のカメラポジション(P1,P2,P3)や該バーチャルカメラ(33)の光軸(A1,A2,A3)を包含するカメラパラメータの集合を有していて、
    且つ、該計算手段(62)が、該カメラパラメータの集合を、予め定められているカメラパラメータの第一集合及びカメラパラメータの第二集合の間においては、周辺モデル(31)内の第一移動パス(W1)に沿って連続的に補間し、カメラパラメータの第二集合及びカメラパラメータの予め定められている第三集合の間においては、周辺モデル(31)内の第二移動パス(W2)に沿って連続的に補間するように構成され、更に、
    且つ、該計算手段(62)が、カメラパラメータの第二集合の構成要素の一つであるバーチャルカメラ(33)の光軸(A2)を、第一基準点(y1)と第二基準点(y3)との間の接続ルート(S)上にある予め定められている軸点(y2)を通るように割り出す、但し、該第一基準点(y1)は、カメラパラメータの第一集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A1)の予め定められている点であると共に、該第二基準点(y3)は、カメラパラメータの第三集合の構成要素の一つである該バーチャルカメラ(33)の光軸(A3)の予め定められている点である。
  11. 周辺モデル(31)内の第一移動パス(W1)と第二移動パス(W2)が、円弧を描くことを特徴とする請求項10に記載の車両制御システム(61)。
  12. 該計算手段(62)が、該可動バーチャルカメラ(33)のカメラポジション(P1,P2,P3)の補間を、第一移動パス(W1)、及び/或いは、第二移動パス(W2)に沿って、球面線形補間(SLERP)によって実施するように構成されていることを特徴とする請求項10と11のうち何れか一項に記載の車両制御システム(61)。
  13. 出力された連続的な写像に基づいて、車両(21)の車両機能を制御するように構成されているドライバーアシスタントシステム(64)を包含していることを特徴とする請求項10から12のうち何れか一項に記載の車両制御システム(61)。
  14. 該出力手段(63)が、出力された連続的な写像を車両(21)のドライバーに表示するように構成された表示手段を包含していることを特徴とする請求項10から13のうち何れか一項に記載の車両制御システム(61)。
  15. 請求書10から14のうち何れか一項に記載の車両制御システム(61)を備えた車両(21)。
JP2018563545A 2016-06-27 2017-06-20 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両 Active JP6936816B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016211453.0A DE102016211453A1 (de) 2016-06-27 2016-06-27 Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016211453.0 2016-06-27
PCT/DE2017/200055 WO2018001422A1 (de) 2016-06-27 2017-06-20 Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug

Publications (3)

Publication Number Publication Date
JP2019526099A JP2019526099A (ja) 2019-09-12
JP2019526099A5 JP2019526099A5 (ja) 2021-08-12
JP6936816B2 true JP6936816B2 (ja) 2021-09-22

Family

ID=59683361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563545A Active JP6936816B2 (ja) 2016-06-27 2017-06-20 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両

Country Status (5)

Country Link
US (1) US10692284B2 (ja)
EP (1) EP3475922B1 (ja)
JP (1) JP6936816B2 (ja)
DE (2) DE102016211453A1 (ja)
WO (1) WO2018001422A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107809610B (zh) * 2016-09-08 2021-06-11 松下知识产权经营株式会社 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN110393916B (zh) * 2019-07-26 2023-03-14 腾讯科技(深圳)有限公司 视角转动的方法、装置、设备及存储介质
CN112169330B (zh) * 2020-09-25 2021-12-31 腾讯科技(深圳)有限公司 虚拟环境的画面显示方法、装置、设备及介质
JP7523196B2 (ja) * 2020-12-16 2024-07-26 株式会社デンソー 周辺画像表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
CN102239506B (zh) * 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
DE102011112577A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeg zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
ES2669551T3 (es) 2011-10-28 2018-05-28 Conti Temic Microelectronic Gmbh Modelo de entorno basado en una rejilla para un vehículo
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle

Also Published As

Publication number Publication date
WO2018001422A1 (de) 2018-01-04
DE102016211453A1 (de) 2017-12-28
US20190325650A1 (en) 2019-10-24
DE112017002285A5 (de) 2019-02-14
US10692284B2 (en) 2020-06-23
EP3475922B1 (de) 2020-08-19
EP3475922A1 (de) 2019-05-01
JP2019526099A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6936816B2 (ja) 周辺モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP2019526099A5 (ja)
JP7509501B2 (ja) 整合画像及びlidar情報に基づいた車両ナビゲーション
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP7334881B2 (ja) 自動運転車両システム用交差視野
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
JP7008040B2 (ja) 環境モデルの写像を作成するための方法、並びに、車両制御システム、及び、対応する車両
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
WO2021098254A1 (zh) 一种自动泊车交互方法及装置
JP6771846B2 (ja) 車両の運動を制御するシステム及び方法
CN110794970B (zh) 一种自动泊车界面的三维显示方法、系统及车辆
JP5590688B2 (ja) 車両の環境を表示するための視認システムおよび方法
JP6699370B2 (ja) 車両用画像処理装置
JP2019526105A5 (ja)
JP6720510B2 (ja) 移動体システム
KR20140144921A (ko) 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
WO2015045568A1 (ja) 予測進路提示装置及び予測進路提示方法
JP7317967B2 (ja) 自動車の遠隔制御におけるユーザの支援方法、コンピュータプログラム製品、遠隔制御装置および自動車の運転支援システム
JP7156924B2 (ja) 車線境界設定装置、車線境界設定方法
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
JP2018203180A (ja) 移譲制御装置及び制御プログラム
US20230215196A1 (en) Information processing apparatus, information processing method, and program
JP7148064B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
JP7081098B2 (ja) 走行環境認識装置、走行環境認識方法、プログラム
JP6482431B2 (ja) 表示制御装置、表示装置および表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210428

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250