JP6967013B2 - 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 - Google Patents

二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 Download PDF

Info

Publication number
JP6967013B2
JP6967013B2 JP2018555737A JP2018555737A JP6967013B2 JP 6967013 B2 JP6967013 B2 JP 6967013B2 JP 2018555737 A JP2018555737 A JP 2018555737A JP 2018555737 A JP2018555737 A JP 2018555737A JP 6967013 B2 JP6967013 B2 JP 6967013B2
Authority
JP
Japan
Prior art keywords
depiction
interpolated
original image
interpolation
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555737A
Other languages
English (en)
Other versions
JP2019517688A (ja
Inventor
アルバイター・ゲオルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2019517688A publication Critical patent/JP2019517688A/ja
Application granted granted Critical
Publication of JP6967013B2 publication Critical patent/JP6967013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/44Morphing

Description

本発明は、二枚の表示画像間の移行を割り出すための方法、画像処理装置、並びに、車両に関する。
車両用のサラウンド・ビュー・システムは、車両の幅広い周辺領域を捕捉するカメラ画像を作成する。これに関連するものとしては、特許文献1(DE 102013209159 B4)に、魚眼レンズを備えたサラウンド・ビュー・カメラが、開示されている。
しかし、この様なカメラ画像は、激しい、且つ、不自然な歪みのため、多くの場合、直接的な表示には適していないことから、適宜、転換される。この際、カメラ画像は、様々なビューに転換されることができる。一方では、例えば、運転者に迅速に概観を提供するために、周縁領域において激しく歪んでいる魚眼レンズビューを選択することも可能である。他方では、該カメラ画像は、撮影されているオブジェクトの実際の位置を良好に推定できるように、遠近法的ビューに転換することもできる。
様々なビューの表示画像間は、例えば、ハードカットによって切り替えることができる。しかしこの方法は、ドライバーが、早い、且つ、予期しない移行によって、惑わされる危険性を秘めている。
ドイツ連邦共和国特許第102013209159 B4号
よって、本発明の課題は、二枚の表示画像間の連続的、且つ、一様な移行を可能にすることである。
この課題は、特許請求項1の特徴を備えた、二枚の表示画像間の移行を割り出すための方法、特許請求項11の特徴を備えた、二枚の表示画像間の移行を割り出すための画像処理装置、並びに、特許請求項15の特徴を備えた車両によって、解決される。
更なる好ましい実施形態は、従属請求項の対象である。
第一アスペクトによれば、本発明は、二枚の表示画像間の移行を割り出すための方法に関する。ここでは、二次元の元画像が、第一描写ファンクションを用いて、三次元のモデル空間内の第一描写上に描写され、該第一描写が、第一表示画像上に描写される。続いて、該二次元の元画像が、第二描写ファンクションを用いて、三次元のモデル空間内の第二描写上に描写され、該第二描写が、第二表示画像上に描写される。該元画像は、補間する描写ファンクションによって、モデル空間内の補間される描写上に描写されるが、第一描写と第二描写の補間による該補間される描写は、補間パラメータに依存して定められる。該補間する描写ファンクションによって補間される描写上に描写された元画像は、補間パラメータを変化させることによって、第一表示画像から第二表示画像に移行する、補間される表示画像上に描写される。
第二アスペクトによれば、本発明は、二枚の表示画像間の移行を割り出すための画像処理装置に関する。該画像処理装置は、二次元の元画像を、第一描写ファンクションを用いて、三次元のモデル空間内の第一描写上に描写し、該第一描写を、第一表示画像上に描写することができるように構成された第一画像作成手段を包含している。更に、該画像処理装置は、二次元の元画像を、第二描写ファンクションを用いて、三次元のモデル空間内の第二描写上に描写し、該第二描写を、第二表示画像上に描写することができるように構成された第二画像作成手段も包含している。該画像処理装置は、元画像を、補間する描写ファンクションによって、モデル空間の補間される描写上に描写することができるように構成されている補間手段を包含しているが、該補間手段は、補間される描写が、第一描写と第二描写の補間による補間される描写が、補間パラメータに依存して定められることができるように構成されている。更に、該画像処理装置は、該補間する描写ファンクションによって補間される描写上に描写された元画像を、補間パラメータを変化させることによって、第一表示画像から第二表示画像に移行する、補間される表示画像上に描写できるように構成されている移行画像作成手段も包含している。
第三のアスペクトによれば、本発明は、少なくとも一台の、元画像を作成する様に構成されたカメラ手段を装備した車両を提供する。該車両は、更に、作成された該元画像を基に、二枚の表示画像間の移行を割り出すための画像処理装置も包含している。
本発明によれば、対応する描写を、前もって、モデル空間内において補間することにより、非常に早く、且つ、効率の良いアルゴリズムを用いて二枚の表示画像間を連続的に切り替えることを、可能にしている。補間パラメータを変化させることにより、第一表示画像は、恒常的且つ一様に第二表示画像へと移行する。
本方法の好ましい発展形態によれば、補間する描写ファンクションは、第一描写ファンクションと第二描写ファンクションの補間パラメータに依存した補間によって定められる。これにより、該補間する描写ファンクションを、迅速に計算することができるため、補間される描写を、元画像に基づいて、割り出すことを可能にする。
本方法の好ましい発展形態によれば、該三次元のモデル空間は、グリッドを包含している。該第一描写は、グリッドのグリッド点の第一集合を有しているが、この際、該第一描写ファンクションは、該グリッド点の第一集合に属するグリッド点の第一テクスチャー座標によって、定められる。該第二描写は、グリッドのグリッド点の第二集合を有しているが、この際、該第二描写ファンクションは、該グリッド点の第二集合に属するグリッド点の第二テクスチャー座標によって、定められる。尚、該テクスチャー座標は、グリッド内のグリッド点の座標だけでなく、元画像の対応する座標も含んでいる。即ち、元画像のピクセルを、テクスチャー座標によって、対応する描写上に描写することができるように、各々の第一乃至第二グリッド点は、好ましくは、元画像の一義的な点乃至一義的なピクセルに帰属しており、好ましくは、その逆も真である。
本方法の好ましい発展形態によれば、グリッド点の第一集合の各々のグリッド点は、グリッド点の第二集合の各々のグリッド点に帰属しているが、グリッド点の第一集合の各々のグリッド点用の該補間される描写は、グリッド点の第二集合の帰属するグリッド点と補間することによって定められる。該補間する描写ファンクションは、グリッド点の第一集合の各々のグリッド点用に、対応する第一テクスチャー座標とグリッド点の第二集合の帰属するグリッド点のテクスチャー座標との補間によって、定められる。これにより、グリッド点の第一集合の各々のグリッド点が、グリッド点の第二集合の一義的なグリッド点と結び付けられているため、第一描写の第二描写への一義的な移行が、可能になる。
本方法の好ましい発展形態によれば、グリッド点の第二集合の各々のグリッド点のグリッド点の第一集合の各々のグリッド点へのこの様な帰属は、最近傍探索によって実施される。
本方法の好ましい発展形態によれば、該補間する描写ファンクションによって補間される描写上に描写された元画像の補完された表示画像上への描写は、第一描写乃至第二描写上に投影された元画像を、第一表示画像乃至第二表示画像上に描写する第一カメラ描写及び第二カメラ描写も包含している。続いて、該補間する描写ファンクションによって補間される描写上に描写された元画像を、補間される表示画像上に描写する補間するカメラ描写が割り出されるが、この際、補間するカメラ描写は、補間パラメータに依存している。即ち、各々のカメラ描写は、モデル空間内の対応するバーチャルカメラに対応しており、各々の描写は、様々な視点乃至視角から対応する表示画像上に描写されることができる。
本方法の好ましい発展形態によれば、補間するカメラ描写の割り出しは、第一カメラ描写と第二カメラ描写の補間も包含している。
本方法の好ましい発展形態によれば、該第一カメラ描写と第二カメラ描写の割り出しは、第一乃至第二転換描写と第一乃至第二投影描写とのつなぎ合わせの割り出しも包含している。該第一乃至第二転換描写は、第一乃至第二描写を転換された第一乃至第二描写上に描写する。第一乃至第二投影描写は、該転換された第一乃至第二描写を第一乃至第二表示画像上に投影する。転換描写は、好ましくは、第一描写乃至第二描写の対応する転換された描写上への回転(rotation)乃至平行移動(translation)を包含し、これにより、それぞれの表示画像の多数の遠近法的ビューを可能にする。
本方法の好ましい発展形態によれば、補間するカメラ描写の割り出しは、補間される転換描写と補間される投影描写とつなぎ合わせることも包含している。該補間される転換描写は、第一転換描写と第二転換描写を補間パラメータに依存して補完することにより割り出される。該補間される投影描写は、第一投影描写と第二投影描写を補間パラメータに依存して補完することにより割り出される。
本方法の好ましい発展形態によれば、補間される描写の割り出し、及び/或いは、補間する描写ファンクションの割り出しは、線形補間、或いは、多項補間により実施される。
好ましい発展形態によれば、該画像処理装置は、補間される表示画像を表示する画像表示手段を包含する。
本画像処理装置の好ましい発展形態によれば、補間手段は、補間する描写ファンクションを、第一描写ファンクションと第二描写ファンクションの補間パラメータに依存して補完することにより割り出すように構成されている。
該画像処理装置の好ましい発展形態によれば、該補間手段は、補間される描写、及び/或いは、補間する描写ファンクションを線形補間、或いは、多項補間により割り出すように構成されている。
以下本発明を、概略的な図として描かれている実施例を参照しながら詳しく説明する。
本発明のある実施形態に係る二枚の表示画像間の移行を割り出すための方法を説明するためのフローチャート 第一表示画像、第二表示画像、並びに、補間される表示画像の作成を説明する模式的描写 該第一表示画像、該第二表示画像、並びに、該補間される表示画像の表示手段への表示を説明する模式的描写; 本発明のある実施形態に係る二枚の表示画像間の移行を割り出すための画像処理装置の模式的ブロック図;並びに、 本発明のある実施形態に係る車両の模式的ブロック図
図1は、本発明のある実施形態に係る二枚の表示画像間の移行を割り出すための方法を説明するためのフローチャートを示している。
該方法は、図2に示した模式的描写に基づいて、以下において、詳しく説明される。
第一方法ステップS1においては、以下に詳しく述べるように、二次元の元画像1が、第一描写ファンクションを用いて、三次元のモデル空間2内の第一描写21上に描写され、該第一描写21が、第一表示画像31上に描写される。
該元画像1は、例えば、一つの、或いは、複数の車載カメラのカメラデータによって生成されるカメラ画像であることができる。該三次元のモデル空間2は、複数のグリッド点を有するグリッドを有している。該第一描写21は、各々の第一テクスチャー座標t1に帰属されるグリッド点x1の第一集合から割り出される。該第一テクスチャー座標t1は、グリッド点x1の三次元のグリッド座標、並びに、元画像1の二次元の元画像座標u1を包含している。即ち、該第一テクスチャー座標t1は、第一描写21のグリッド点x1を、元画像1の元画像座標u1を帰属させる役割を担っている。逆に、反転することにより、元画像1の元画像座標u1は、第一テクスチャー座標t1を基にすれば、第一描写21のグリッド点x1上に描写することができる。即ち、第一テクスチャー座標t1によれば、第一描写21上に元画像1を描写する第一描写ファンクションを割り出すことができる。
該第一グリッド点x1は、好ましくは、第一モデルマトリクスM1と第一モデル座標v1とのマトリクス・ベクトル・積によって、以下の式によって表現される如く、生成される:
Figure 0006967013
但し、このステップは、オプションである。特に、モデルマトリクスM1は、単位行列であることができる。
第一表示画像31上への第一描写21の描写は、以下の式によって表現される如く、第一転換描写V1と第一投影描写P1とを、つなぎ合わせることにより形成される第一カメラ描写K1によって実施される:
Figure 0006967013
そのため、第一グリッド点x1は、最初の三つの値が、グリッド点x1の三次元のグリッド座標に相当し、最後の値に「= 1」が、代入される四次元のベクトルとして表現される。該第一転換描写V1は、以下の形を有する4x4・マトリクスとして表現される:
Figure 0006967013
但し、Aは、回転を表す3x3・マトリクス、bは、平行移動を表す三成分・列ベクトル、そして、0は、ゼロ値の三成分・行ベクトルを表している。該転換描写V1は、マトリクス・ベクトル・積によって、グリッド点x1に以下の式の様に作用する:
Figure 0006967013
これにより、四つ目の成分が、これも「1」である、転換されたグリッド点が、生成される。即ち、転換描写V1は、第一描写21を転換された第一描写上に描写する。
該第一投影描写P1は、転換されたグリッド点を、二次元のベクトルによって表され、且つ、第一表示画像31の座標に対応する第一表示画像座標y1上に投影する。例えば、第一投影描写P1は、例えば、最初の二つの成分が、投影される2x4・マトリクスとして表されることができる。よって、以下が成り立つ:
Figure 0006967013
これにより、第一カメラ描写K1は、グリッド点x1を、第一表示画像31の点乃至ピクセル上に形成する。第一描写21の全てのグリッド点x1を第一表示画像31上に描写することにより、これが、構成され、生成される。即ち、該第一投影描写P1は、転換された第一描写を第一表示画像31上に投影する。
第二方法ステップS2では、該二次元の元画像1が、第二描写ファンクションを用いて、三次元のモデル空間2内の第二描写22上に描写され、該第二描写22が、第二表示画像32上に描写される。上記の第一方法ステップと同様、該第二方法ステップは、グリッド点の第二集合のグリッド点x2の第二テクスチャー座標t2による元画像1の第二描写22上への描写を包含している。第二テクスチャー座標t2は、第二グリッド点x2に対応する第二元画像座標u2を有している。グリッド点x2の第二集合は、グリッド点x1の第一集合とは、好ましくは、少なくとも部分的に、異なっている。即ち、該第一描写21と該第二描写22は、第一描写21乃至第二描写22のグリッド座標を通るモデル空間2の異なる面への元画像1の投影に相当している。
第二描写22の第二表示画像32上への描写は、上記同様、第二転換描写V2と第二投影描写P2をつなげ合わせて形成される第二カメラ描写K2によって実施される。ある実施形態によれば、第二転換描写V2と第一転換描写V1は、同じ、及び/或いは、第二投影描写P2と第一投影描写P1は、同じである。
第三方法ステップS3では、元画像1が、モデル空間2内の補間される描写23上に、補間する描写ファンクションによって、描写される。
そのために先ず、グリッド点の第一集合の各々のグリッド点x1 − 以下、第一グリッド点と呼ぶ − に、第二グリッド点と呼ぶグリッド点の第二集合のグリッド点x2が、帰属される。モデル空間2内において最も短い間隔を有する第一グリッド点x1にグリッド点の第二集合のグリッド点x2が、帰属される様に、該第二グリッド点x2は、好ましくは、最近傍探索によって割り出されることができる。尚、各々の第一グリッド点x1には、それぞれ一つの第二グリッド点x2が、帰属されることが好ましい。
グリッド点の第一集合の各々の第一グリッド点x1用に、補間される描写23の補間されるグリッド点xwが、第一グリッド点x1の帰属された第二グリッド点x2との線形補間により、以下の式によって表現される如く生成される:
Figure 0006967013
式中、wは、0から1の範囲において可変な補間パラメータである。第一及び第二グリッド点x1, x2が、モデルマトリクスM1, M2によって生成される場合、以下の式が成り立つ:
Figure 0006967013
即ち、補間されるグリッド点xwは、補間パラメータwに依存し、且つ、第一グリッド点x1 (w = 1の時)と第二グリッド点x2 (w = 0の時)との間を線形に補間する。更なる実施形態によれば、任意の他の補間法、特に好ましくは、二次補間法、或いは、多項式補間法を選択することができる。
各々の補間されるグリッド点xwは、第一グリッド点x1の第一テクスチャー座標t1と第二グリッド点x2の第二テクスチャー座標t2の線形補間によって、補間されるテクスチャー座標twに、以下の式によって表現できる如く、帰属される:
Figure 0006967013
該補間されるテクスチャー座標twは、補間パラメータwに依存し、且つ、第一グリッド点x1のテクスチャー座標t1 (w = 1の時)と第二グリッド点x2のテクスチャー座標t2 (w = 0の時)との間を線形に補間する。更に、他の、特に好ましくは、二次補間法、或いは、多項式補間法によっても可能である。好ましくは、補間されるグリッド点xwの割り出し、及び、補間されるテクスチャー座標twの割り出しのためにも同じ補間法が、用いられる。
補間されるテクスチャー座標twは、補間パラメータwの任意の値に対して、対応する補間されるグリッド点xwと元画像1の対応する補間される元画像座標uwとの間の関係を与える。逆に、補間されるテクスチャー座標twによれば、元画像1を、補間される描写23上に、描写することができる。即ち、補間されるテクスチャー座標twによれば、元画像1を補間される描写23上に描写する補間する描写ファンクションを割り出すことができる。
更なる方法ステップS4では、該補間する描写ファンクションによって補間される描写23上に描写された元画像1が、補間される表示画像33上に描写される。補間される表示画像33は、補間パラメータwを変更することにより、第一表示画像31から第二表示画像32へと移行する。
補間される描写23の補間される表示画像33上への描写は、補間パラメータwに依存し、且つ、第一カメラ描写K1と第二カメラ描写K2との間を補間する補間されるカメラ描写Kwによって実施される。
ある実施形態によれば、補間されるカメラ描写Kwは、以下の式による第一カメラ描写K1と第二カメラ描写K2の線形補間によって割り出される:
Figure 0006967013
更なる実施形態によれば、補間される転換描写Vwは、以下の式による第一転換描写V1と第二転換描写V2の線形補間によって割り出される:
Figure 0006967013
更には、補間される投影描写Pwは、第一投影描写P1と第二投影描写P2との線形補間によって割り出される:
Figure 0006967013
該補間されるカメラ描写Kwは、補間される転換描写Vwと補間される投影描写Pwを、以下の式によって表現される如く、つなぎ合わせることによって実施される:
Figure 0006967013
該補間されるカメラ描写Kwは、第一カメラ描写K1 (w = 1の時)と第二カメラ描写K2 (w = 0の時)との間を連続的に補間する。
図3は、補間される表示画像33の表示手段4上への、特に好ましくは、車両内の車載ディスプレー上への表示を説明するための模式的描写を示している。ここでは、補間パラメータwは、0と1の間を連続的に変化する。補間パラメータwの値が、1の場合、例えば、第一元画像座標u1は、第一表示画像座標y1上に描写される。これが、全ての第一元画像座標u1に対して実施されると、元画像1は、第一描写21を介して第一表示画像31上に描写され、且つ、表示手段4上に表示される。
続いて、該補間パラメータwが、変更され、表示手段4上に表示される画像が連続的に変化する。即ち、例えば、表示パラメータwのある特定の0と1の間の値に対して、対応する補間される元画像座標uwが、対応する補間される表示画像座標yw上に描写される。即ち、これが、全ての補間される元画像座標uwに対して実施されると、元画像1は、補間される描写23を介して補間される表示画像33上に描写され、且つ、表示手段4上に表示される。
最後に、補間パラメータwのある値=0に対して、元画像1が、第二表示画像32上に描写され、表示手段4上に表示される。
図4には、本発明のある実施形態に係る二枚の表示画像間の移行を割り出すための画像処理装置5の模式的ブロック図が描かれている。
該画像処理装置5は、例えば、外部カメラ手段によって用意されることができ、且つ、該画像処理装置5のメモリー上に保存される二次元の元画像1を受信するためのインターフェース50を包含している。更に、該画像処理装置5は、該元画像1を、第一描写ファンクションによって、三次元のモデル空間2内の第一描写21上に、描写し、且つ、該第一描写21を第一表示画像3上に描写する第一画像作成手段51も包含している。該画像作成手段51は、対応する描写ステップを算出し、且つ、実施するプロセッサを包含している。該画像作成手段51は、第一表示画像3を、特に好ましくは、上記の第一テクスチャー座標t1と第一カメラ描写K1によって、作成することができる。
該画像処理装置5は、更に、元画像1を第二描写ファンクションによって、三次元のモデル空間2の第二描写22上に描写し、且つ、該第二描写22を第二表示画像4上に描写し、更に、好ましくは、上記の第二テクスチャー座標t2と第二カメラ描写K2を作成する第二画像作成手段52も包含している。
更に、該画像処理装置5は、該元画像1を、補間する描写ファンクションによって、モデル空間2内の補間される描写23上に描写し、且つ、第一描写21と第二描写22の補間による該補間される描写23を、補間パラメータwに依存して定める補間手段53も有している。該補間手段53は、好ましくは、補間される描写23を、上記の方法によって割り出す。
該画像処理装置5は、該補間する描写ファンクションによって補間される描写23上に描写された元画像1を、補間パラメータwを変化させることによって、第一表示画像31から第二表示画像32に移行する、補間される表示画像33上に描写する移行画像作成手段54も包含している。該画像処理装置5は、上述した、補間される表示画像33を表示することができるように構成された画像表示手段4を有している。ある実施形態によれば、該第一画像作成手段51、第二画像作成手段52、補間手段53、及び/或いは、移行画像作成手段54は、互いに同一であり、例えば、一つの計算ユニット或いはプロセッサの一部であることができる。
図5は、本発明のある実施形態に係る車両6の模式的ブロック図を示している。該車両6は、元画像を作成するように構成されたカメラ手段61を包含している。更に、該車両6は、二枚の表示画像31, 32間の移行を、元画像1を用いて、特に好ましくは、上述の実施形態の一つに基づいて、作成するための画像処理装置5も包含している。
1 元画像
2 三次元のモデル空間
21 第一描写
22 第二描写
31 第一表示画像
32 第二表示画像
33 補間される表示画像
4 表示手段
5 画像処理装置
51 第一画像作成手段
52 第二画像作成手段
53 補間手段
54 移行画像作成手段
K1 第一カメラ描写
K2 第二カメラ描写
Kw 補間されるカメラ描写
t1 第一テクスチャー座標
t2 第二テクスチャー座標
tw 補間されるテクスチャー座標
u1 第一元画像座標
u2 第二元画像座標
uw 補間される元画像座標
P1 第一投影描写
P2 第二投影描写
Pw 補間される投影描写
V1 第一転換描写
V2 第二転換描写
Vw 補間される転換描写
w 補間パラメータ
x1 第一グリッド点
x2 第二グリッド点
xw 補間されるグリッド点
y1 第一表示画像座標
y2 第二表示画像座標
yw 補間される表示画像座標

Claims (15)

  1. 以下のステップを有することを特徴とする二枚の表示画像(31,32)間の移行を割り出すための方法:
    二次元の元画像(1)の第一の元画像部分を、第一描写ファンクションを用いて、三次元のモデル空間(2)内の二次元の第一描写(21)上に描写するとともに、該第一描写(21)上に描写された元画像(1)の第一の元画像部分を第一表示画像(31)上に描写するステップ(S1);
    二次元の元画像(1)の第一の元画像部分と少なくとも一部異なる第二の元画像部分を、第二描写ファンクションを用いて、三次元のモデル空間(2)内において第一描写(21)から少なくとも三次元のモデル空間(2)のさらに他の第三の次元の方向に離れた二次元の第二描写(22)上に描写するとともに、該第二描写(22)上に描写された元画像(1)の第二の元画像部分を第二表示画像(32)上に描写するステップ(S2);
    該元画像(1)の第一の元画像部分と第二の元画像部分との間に選択された補間される元画像部分を、補間する描写ファンクションによって、モデル空間(2)内の補間される描写(23)上に描写するステップ(S3)、但し、該補間される描写(23)は、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間の第三の次元の方向における位置を特徴付ける補間パラメータ(w)に依存した第一描写(21)と第二描写(22)の補間によって、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間に定められ、前記補間される元画像部分が前記補間パラメータ(w)により特徴付けられる;並びに、
    補間する描写ファンクションによって、補間される描写(23)上に描写された元画像(1)の前記補間される元画像部分を、補間パラメータ(w)を変化させることによって、第一表示画像(31)から第二表示画像(32)に移行する補間される表示画像(33)上に描写するステップ(S4)。
  2. 該補間する描写ファンクションが、補間パラメータ(w)に依存した第一描写ファンクションと第二描写ファンクションの補間によって定められることを特徴とする請求項1に記載の方法。
  3. 三次元のモデル空間(2)が、グリッドを包含する;
    該第一描写(21)が、グリッドのグリッド点の第一集合(x1)を有するが、該第一描写ファンクションは、グリッド点の第一集合のグリッド点の第一テクスチャー座標(t1)によって定められる;並びに、
    該第二描写(22)が、グリッドのグリッド点の第二集合(x2)を有するが、該第二描写ファンクションは、グリッド点の第二集合(x2)のグリッド点の第二テクスチャー座標(t2)によって定められる;
    ことを特徴とする請求項1或いは2に記載の方法。
  4. グリッド点の該第一集合の各々のグリッド点(x1)が、グリッド点の第二集合の一つのグリッド点(x2)に帰属されている;
    補間される描写(23)が、グリッド点の第一集合の各々のグリッド点(x1)用に、グリッド点の第二集合の帰属されているグリッド点(x2)と補間することによって定められ;並びに、
    補間する描写ファンクションが、グリッド点の第一集合の各々のグリッド点(x1)用に、対応する第一テクスチャー座標(t1)とグリッド点の第二集合の帰属されているグリッド点(x2)の第二テクスチャー座標(t2)と共に補間されることによって定められる;
    ことを特徴とする請求項3に記載の方法。
  5. 該グリッド点の第二集合の各々のグリッド点(x2)のグリッド点の第一集合の各々のグリッド点(x1)への帰属が、最近傍探索によって実施されることを特徴とする請求項4に記載の方法。
  6. 補間する描写ファンクションによって補間される描写(23)に描写された元画像の補間される表示画像への描写が、以下のステップを包含していることを特徴とする請求項1から5のうち一項に記載の方法:
    第一描写(21)、乃至、第二描写(22)上に投影された元画像(1)が、第一表示画像(21)、乃至、第二表示画像(22)上に描写される第一カメラ描写(K1)と第二カメラ描写(K2)を割り出すステップ;並びに、
    補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)を、補間される表示画像(23)上に描写する補間するカメラ描写(Kw)を、補間パラメータ(w)に依存して割り出すステップ。
  7. 前記補間するカメラ描写(Kw)の割り出しが、第一カメラ描写(K1)と第二カメラ描写(K2)の補間も包含していることを特徴とする請求項6に記載の方法。
  8. 該第一カメラ描写(K1)と第二カメラ描写(K2)の割り出しが、第一乃至第二転換描写(V1,V2)と第一乃至第二投影描写(P1,P2)とのつなぎ合わせを包含している;
    該第一乃至第二転換描写(V1,V2)が、転換された第一乃至第二描写上に第一乃至第二描写(21,22)を描写する;並びに、
    該第一乃至第二投影描写(P1,P2)が、転換された第一乃至第二描写を、第一乃至第二表示画像(31,32)上に投影する;
    ことを特徴とする請求項6に記載の方法。
  9. 該補間するカメラ描写の割り出し(Kw)が、補間される転換描写(Vw)と補間される投影描写(Pw)とのつなぎ合わせを包含している;
    該補間される転換描写(Vw)が、第一転換描写(V1)と第二転換描写(V2)との、補間パラメータ(w)に依存した補間によって割り出される;並びに、
    該補間される投影描写(Pw)が、第一投影描写(P1)と第二投影描写(P2)との補間パラメータ(w)に依存した補間によって割り出される;
    ことを特徴とする請求項8に記載の方法。
  10. 該補間される描写(23)の割り出し、及び/或いは、補間する描写ファンクションの割り出しが、線形補間、或いは、多項補間によって実施されることを特徴とする請求項1から9のうち一項に記載の方法。
  11. 以下を装備することを特徴とする二枚の表示画像(31,32)間の移行を割り出すための画像処理装置(5):
    次元の元画像(1)の第一の元画像部分を、第一描写ファンクションによって、三次元のモデル空間(2)内の二次元の第一描写(21)上に、描写し、且つ、該第一描写(21)上に描写された元画像(1)の第一の元画像部分を第一表示画像(3)上に描写する第一画像作成手段(51);
    該二次元の元画像(1)の第一の元画像部分と少なくとも一部異なる第二の元画像部分を、第二描写ファンクションによって、三次元のモデル空間(2)内において第一描写(21)から少なくとも三次元のモデル空間(2)のさらに他の第三の次元の方向に離れた二次元の第二描写(22)上に、描写し、且つ、該第二描写(22)上に描写された元画像(1)の第二の元画像部分を第二表示画像(4)上に描写する第二画像作成手段(52);
    該元画像(1)の第一の元画像部分と第二の元画像部分との間に選択された補間される元画像部分を、補間する描写ファンクションによって、モデル空間(2)内の補間される描写(23)上に描写し、該補間される描写(23)を、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間の第三の次元の方向における位置を特徴付ける補間パラメータ(w)に依存した第一描写(21)と第二描写(22)の補間によって、三次元のモデル空間(2)内の第一描写(21)と第二描写(22)との間に割り出し、前記補間される元画像部分を前記補間パラメータ(w)により特徴付ける補間手段(53);並びに、
    該補間する描写ファンクションによって補間される描写(23)上に描写された元画像(1)の前記補間される元画像部分を、補間パラメータ(w)を変化させることによって、第一表示画像(31)から第二表示画像(32)に移行する、補間される表示画像(33)上に描写する移行画像作成手段(54)。
  12. 補間される表示画像(33)を表示することができるように構成された画像表示手段(4)を有していることを特徴とする請求項11に記載の画像処理装置(5)。
  13. 補間手段(53)が、該補間する描写ファンクションを、補間パラメータ(w)に依存した第一描写ファンクションと第二描写ファンクションの補間によって割り出すことを特徴とする請求項11或いは12の何れか一項に記載の画像処理装置(5)。
  14. 該補間手段(53)が、補間される描写(23)、及び/或いは、補間する描写ファンクションを線形補間、或いは、多項補間によって割り出すことを特徴とする請求項11から13の何れか一項に記載の画像処理装置(5)。
  15. 元画像(1)を生成する様に構成されたカメラ手段(61);
    作成した元画像(1)によって、二枚の表示画像間の移行(31,32)を割り出すための請求項11から14の何れか一項に記載の画像処理装置(5);
    を備えたことを特徴とする車両(6)。
JP2018555737A 2016-06-02 2017-05-30 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 Active JP6967013B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016209662.1A DE102016209662A1 (de) 2016-06-02 2016-06-02 Verfahren und Vorrichtung zum Bestimmen eines Übergangs zwischen zwei Anzeigebildern, und Fahrzeug
DE102016209662.1 2016-06-02
PCT/DE2017/200046 WO2017207001A1 (de) 2016-06-02 2017-05-30 Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug

Publications (2)

Publication Number Publication Date
JP2019517688A JP2019517688A (ja) 2019-06-24
JP6967013B2 true JP6967013B2 (ja) 2021-11-17

Family

ID=59683359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555737A Active JP6967013B2 (ja) 2016-06-02 2017-05-30 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両

Country Status (5)

Country Link
US (1) US10825135B2 (ja)
EP (1) EP3465608B1 (ja)
JP (1) JP6967013B2 (ja)
DE (2) DE102016209662A1 (ja)
WO (1) WO2017207001A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020213473A1 (de) 2020-10-27 2022-04-28 Continental Automotive Gmbh Kamerasystem sowie Verfahren zur Anzeige von Widgets für ein Kamerasystem

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076177A (ja) * 1999-09-06 2001-03-23 Fujitsu Ltd ポリゴンリダクション処理を用いたモーフィング画像処理装置および方法
US8224122B2 (en) * 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
WO2009144994A1 (ja) 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP5233926B2 (ja) * 2009-09-10 2013-07-10 大日本印刷株式会社 魚眼監視システム
JP2012089947A (ja) * 2010-10-15 2012-05-10 Sharp Corp 画像縮小装置
US8994719B1 (en) * 2011-04-20 2015-03-31 Google Inc. Matching views between a two-dimensional geographical image and a three-dimensional geographical image
JP2014165866A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置及びその制御方法、プログラム
DE102013209159B4 (de) 2013-05-16 2016-02-25 Continental Automotive Gmbh Kamera für ein Surroundview-System

Also Published As

Publication number Publication date
WO2017207001A1 (de) 2017-12-07
JP2019517688A (ja) 2019-06-24
DE112017001566A5 (de) 2018-12-06
EP3465608A1 (de) 2019-04-10
US20190156456A1 (en) 2019-05-23
EP3465608B1 (de) 2024-03-20
DE102016209662A1 (de) 2017-12-07
US10825135B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
US11012620B2 (en) Panoramic image generation method and device
JP5739584B2 (ja) 車両周辺視角化のための3次元映像合成装置およびその方法
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
CN106447602B (zh) 一种图像拼接方法及装置
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
JP2011060216A (ja) 画像処理装置および画像処理方法
JP6276719B2 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
JP2012253444A (ja) 撮像装置、画像処理装置およびその方法
JP6011624B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014085925A (ja) 画像処理装置、方法、及びプログラム
JP2011118908A (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US10412359B2 (en) Method for generating a virtual image of vehicle surroundings
JP3561446B2 (ja) 画像生成方法及びその装置
JP5402832B2 (ja) 視点変換装置及び視点変換方法
US10757345B2 (en) Image capture apparatus
JP6967013B2 (ja) 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両
WO2012169174A1 (ja) 画像処理装置および画像処理方法
JP2010152529A (ja) 頂点テクスチャマッピング装置及びプログラム
US20210127057A1 (en) Apparatus and method of image capture
KR101920113B1 (ko) 임의시점 영상생성 방법 및 시스템
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JPH04329484A (ja) 画像合成装置
KR20180005859A (ko) 가상 시점 영상 생성 장치 및 방법
JPWO2019170202A5 (ja)
KR102656128B1 (ko) 후방 파노라마 뷰 생성 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200204

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211022

R150 Certificate of patent or registration of utility model

Ref document number: 6967013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150