JP7429100B2 - 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム - Google Patents
車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム Download PDFInfo
- Publication number
- JP7429100B2 JP7429100B2 JP2019113654A JP2019113654A JP7429100B2 JP 7429100 B2 JP7429100 B2 JP 7429100B2 JP 2019113654 A JP2019113654 A JP 2019113654A JP 2019113654 A JP2019113654 A JP 2019113654A JP 7429100 B2 JP7429100 B2 JP 7429100B2
- Authority
- JP
- Japan
- Prior art keywords
- artifact
- vehicle
- containing region
- sample points
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 230000033001 locomotion Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車両周囲の状況を車両内に提示するための方法および装置に関する。
車両は、車両周囲の状況を車両内の車両乗員に対し表示デバイス、例えば画面に表示するドライバー支援システムを含むことができる。こうしたドライバー支援システムは、サラウンドビューシステムとも呼ばれることがあり、通常は、車両に搭載され、異なる可視領域を有するか、車両周囲に対して異なる視野角を許容する１台以上の車載カメラを備える。
こうしたサラウンドビューシステムの場合、周囲の状況を可能な限り良好に提示することが望ましい。車両外部に搭された車載カメラは、周囲の状況の情報を提供することができる。しかし、こうした外部搭載カメラのレンズは、例えばその上の汚れや泥による静的アーチファクトを有しやすい場合がある。したがって、撮像装置は、対応する画像の一部となるアーチファクトを捕捉する場合がある。結果として、こうした画像が周囲の状況を提示するために使用されると、アーチファクトが車両乗員に提示される光景の一部にもなり、それが乗員を異なる方向に導く可能性がある。したがって、こうしたアーチファクトを回避することが望ましい。原理上は、前照灯のクリーニングシステムに類似のクリーニングシステムにより汚れまたは泥を除去することが考えられるが、それには追加の導管、より大型のタンクなどが必要である。
したがって、本発明の目的は、車両内における車両周囲の状況の提示を改善する可能性を提供することである。
この目的は、独立請求項の主題によって解決される。本発明の有利な実施形態及び更なる展開が、従属請求項、明細書、及び添付図面に示される。
本発明の第１の態様は、車両周囲の状況を車両内に提示する方法を提供する。方法は、プロセッサ、プログラムコードなどを格納するメモリ手段を備えることができるデータ処理手段を用いて遂行することができる。方法は、下記のステップを含む：
－第１に、第１の時点ｔ－１に関する車載カメラの少なくとも１つのアーチファクト含有領域が検出される。アーチファクト含有領域は、撮像装置の領域であってもよい。換言すると、アーチファクトが存在する撮像装置上の領域が検出されてもよい。
－更に、検出されたアーチファクト含有領域が、隣接画像領域の画像データによって少なくとも一時的に再構成される。これらの画像データは、テクスチャデータなどを含んでもよい。例として、再構成することは、アーチファクト含有領域のエッジにおけるテクスチャを領域の中に向けて溶け込ませることを含んでもよく、エッジにおけるテクスチャからの滑らかな色遷移が生成され得る。加えて、他の再構成及び／又は補整方法も考えられる。
－更に、アーチファクト含有領域の少なくとも１つのサンプル点が判定される。
－判定された世界点が第２の時点ｔに関して予測される新しい位置に変換される。第２の時点は、第１の時点より後であり、ここで、第１の時点は、好ましくは現時点であり、結果として、第２の時点は、将来である。車両は第１の時点と第２の時点の間に移動する可能性があるため、予測される新しい位置は、現在位置とは異なっていてもよい。
－更に、予測される新しい位置が依然としてアーチファクト含有領域内にあるか否か判定される。これは、例えば、車両の運転速度が比較的低く、そのため、提示された画像が第１の時点と第２の時点の間にわずかしか変化しない場合に起こり得る。
－予測される新しい位置が依然としてアーチファクト含有領域内にある場合、過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域が更新される。換言すると、画像パッチサンプルが、動き補償された過去の画像パッチサンプルを使用することにより更新されてもよい。
－第１に、第１の時点ｔ－１に関する車載カメラの少なくとも１つのアーチファクト含有領域が検出される。アーチファクト含有領域は、撮像装置の領域であってもよい。換言すると、アーチファクトが存在する撮像装置上の領域が検出されてもよい。
－更に、検出されたアーチファクト含有領域が、隣接画像領域の画像データによって少なくとも一時的に再構成される。これらの画像データは、テクスチャデータなどを含んでもよい。例として、再構成することは、アーチファクト含有領域のエッジにおけるテクスチャを領域の中に向けて溶け込ませることを含んでもよく、エッジにおけるテクスチャからの滑らかな色遷移が生成され得る。加えて、他の再構成及び／又は補整方法も考えられる。
－更に、アーチファクト含有領域の少なくとも１つのサンプル点が判定される。
－判定された世界点が第２の時点ｔに関して予測される新しい位置に変換される。第２の時点は、第１の時点より後であり、ここで、第１の時点は、好ましくは現時点であり、結果として、第２の時点は、将来である。車両は第１の時点と第２の時点の間に移動する可能性があるため、予測される新しい位置は、現在位置とは異なっていてもよい。
－更に、予測される新しい位置が依然としてアーチファクト含有領域内にあるか否か判定される。これは、例えば、車両の運転速度が比較的低く、そのため、提示された画像が第１の時点と第２の時点の間にわずかしか変化しない場合に起こり得る。
－予測される新しい位置が依然としてアーチファクト含有領域内にある場合、過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域が更新される。換言すると、画像パッチサンプルが、動き補償された過去の画像パッチサンプルを使用することにより更新されてもよい。
この構成によると、本発明は、車両内における車両周囲の状況の提示を改善する可能性を提供する。特に、車載カメラの画像内に起きているアーチファクトを修正することができる。例えば、画像を車両乗員に提示する前に画像内の汚れや泥の付いた領域を修正することができる。
本発明の実施形態によると、方法は、予測される新しい位置が、アーチファクト含有領域の外にあるか否か判定することを更に含んでもよく、そうである場合、アーチファクト含有領域は、第１の時点ｔ－１に捕捉された画像のサンプル点を使用することによりレンダリングされてもよい。換言すると、予測される新しい位置がアーチファクト含有領域の外にある場合、現在の画像サンプルが、１つ以上の過去のサンプルを用いてレンダリングされてもよい。従って、サンプルは、特に好適な置き換え用サンプルにより置き換えることができる。
別の実施形態において、更に、車両運動データから判定及び／又は取得される運動ベクトルにより、可視領域が異なる複数の車載カメラのうちのどの特定の車載カメラから第１の時点ｔ－１の画像が提供されているかを判定してもよい。例として、車両は、前部、両側面部、及び後部にそれぞれカメラを備えていてもよい。運動ベクトルに応じ、アーチファクト含有領域のレンダリングに使用される画像が、これらのカメラの１台から選ばれる。したがって、新しい位置が左側カメラの可視領域内に位置している場合、このカメラの過去の可視画像が採用される。これにより、特に高い画質が達成される。
一実施形態によると、アーチファクトは、車載カメラのレンズ上に存在する汚れ又は泥が原因で生じる可能性がある。原理上は、車両外部に搭載されたカメラはいずれも、影響を受ける可能性がある。従って、泥又は汚れが原因で生じるアーチファクトは、十分に修正可能である。
一実施形態において、サンプル点を判定することは、サンプル点の世界点を判定することを含んでもよい。世界点は、データ処理手段により計算することができる。
一実施形態によると、検出されたアーチファクト含有領域は、死角パッチとして少なくとも一時的に処理及び／又は提示されてもよい。次いで、死角パッチは更新又はレンダリングされてもよい。
一実施形態において、動き補償及び／又は点移動のための運動データが、車両のオドメトリにより取得されてもよい。これは例えば、単一のまたは結合させたセンサデータ、ビデオデータの自発運動推定、タコメータデータなどから取得することができる。従って、アーチファクトの修正には、車両内に既に存在するデータが使用される。
一実施形態によると、車載カメラの較正データに基づいて世界点が判定されてもよい。世界点は、カメラ較正データを使用して計算されてもよい。これらは、例えば、メモリに保存してもよく、及び／又は車両のカメラ若しくはコントロールユニットなどによって提供されてもよい。これにより、必要なハードウェアを最小限度に抑えることができる。
一実施形態において、少なくとも世界点を判定するステップが、アーチファクト含有領域の全てのサンプル点が処理されるまで反復して遂行されてもよい。特に、上記実施形態の１つ以上による方法は、反復して遂行されてもよい。従って、数個またはたとえ多数のサンプル点を有するアーチファクト含有領域を改善することも可能である。
本発明の更なる態様は、車両周囲の状況を車両内に表示または提示するシステムに関する。なお、システムは、上記方法の１つ以上の実施形態に適合するようになされてもよい。特に、上記方法は、このシステムを用いて遂行されてもよい。
システムは、車両周囲の可視領域を捕捉するように構成された少なくとも１台の車載カメラを備える。例として、車両は、１台のカメラを前部に、１台のカメラを両側面部のそれぞれに、１台のカメラを後部を備えてもよい。更に、システムは、第１の時点ｔ－１に少なくとも１台の車載カメラにより捕捉される少なくとも１つの画像を格納するように構成されたメモリ手段を備える。
システムは、
－第１の時点ｔ－１に関する車載カメラの少なくとも１つのアーチファクト含有領域を検出し、
－検出されたアーチファクト含有領域を隣接画像領域の画像データによって再構成し、
－アーチファクト含有領域の少なくとも１つのサンプル点を判定し、
－判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し、
－予測される新しい位置が依然としてアーチファクト含有領域内にあるか否か判定し、
－過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域を更新するか、
－予測される新しい位置がアーチファクト含有領域の外にある場合、メモリ手段に格納されている少なくとも１つの画像のサンプル点を使用することによりアーチファクト含有領域をレンダリングする
ように構成されたデータ処理ユニットを更に備える。
－第１の時点ｔ－１に関する車載カメラの少なくとも１つのアーチファクト含有領域を検出し、
－検出されたアーチファクト含有領域を隣接画像領域の画像データによって再構成し、
－アーチファクト含有領域の少なくとも１つのサンプル点を判定し、
－判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し、
－予測される新しい位置が依然としてアーチファクト含有領域内にあるか否か判定し、
－過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域を更新するか、
－予測される新しい位置がアーチファクト含有領域の外にある場合、メモリ手段に格納されている少なくとも１つの画像のサンプル点を使用することによりアーチファクト含有領域をレンダリングする
ように構成されたデータ処理ユニットを更に備える。
システムは、車両内における車両周囲の状況の提示を改善することを可能にする。特に、車載カメラの画像内に起きているアーチファクトを修正することができる。例えば、画像を車両乗員に提示する前に画像内の汚れや泥が付いた領域を修正することができる。
下記において、添付図面を参照して本発明の例示的実施形態をより詳細に説明する。
下記において、添付図面を参照して本発明の例示的実施形態をより詳細に説明する。
図面は概略図に過ぎず、本発明を例示するものに過ぎない。同一または同等の要素は、常に同じ参照符号を用いて示される。
図１は、地平面Ｇ上にあり、方向ｘおよびｙに移動可能な車両１を示す。車両１は、ドライバー支援システム及び／又はサラウンドビューシステムの形態のシステム１００を有する。システム１００は、車両乗員が現在の車両周囲のサラウンドビューを車両内で取得することを可能にする。
この目的のため、システム１００は、車両１の内部に画像Ｉを視覚的に提示可能な画面の形態で配置された表示デバイス１１０を有する。更に、システム１００は、データ処理デバイス１２０を有し、これは、表示デバイス１１０、少なくとも１つのプロセッサ、およびメモリデバイス１３０と相互作用する。加えて、システム１００は、車両１の異なる位置に搭載され、異なる可視領域１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲを有する複数の車載カメラ１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲを有する。特に、カメラ１４０Ｆは前部に配置され、カメラ１４０Ｒは後部に配置され、カメラ１４０ＬＬは左側面に配置され、カメラ１４０ＬＲは右側面に配置されている。可視領域１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲは、それぞれのカメラ画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲとして検出することができ、表示デバイス１１０に直接再生され、場合によりメモリデバイス１３０に（一時的に）格納される。提示のため、カメラ画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲはデータ処理デバイス１２０によって結合され、表示画像Ｉを形成する（図２Ａ～２Ｃ参照）。
カメラ１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲは車両１の外部に搭載されているため、特にそれらのレンズは静的アーチファクトを有しがちである。より具体的には、汚れ又は泥がレンズ上に存在することがあり、そのため、撮像装置も汚れまたは泥を捕捉し、従ってそれが未加工画像データの一部となる。図１において、こうした汚れたレンズが原因で生じる例示的アーチファクト含有領域１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲが破線の長方形で示されている。
それでもアーチファクトのない画像Ｉを表示できるようにするため、システム１００は、図２Ａ～２Ｃ及び３を参照して下記に記載する方法を用いて作動させることができる。例として、アーチファクト含有領域１４２Ｆを参照して方法を説明するが、方法は、他のアーチファクト含有領域１４２Ｒ、１４２ＬＬ及び１４２ＬＲにも等しく、又は少なくとも同様に適用できる。
原理上は、車両周囲の状況を表示デバイス１１０に提示することは、好ましくは現在時刻ｔにおいてリアルタイムで遂行されるべきであり、即ち、提示される画像Ｉは、現在である第２の時点ｔでの車両周囲の状況を含む。これを、以下および図２Ａ～２Ｃにおいて、参照符号の中の時間基準［ｔ］により示す。従って、同様に、現在である第２の時点ｔに先行する第１の時点ｔ－１が、図２Ａ～２Ｃにおいて［ｔ－１］として参照される。
ステップＳ１において、第１の時点ｔ－１に関するそれぞれのアーチファクト含有領域１４２Ｆが検出される。これは、例えば、データ処理デバイス１２０において実施される適切なアルゴリズムにより行うことができる。結果として、こうした領域が存在するか否かがわかり、この領域が画像Ｉ＿Ｆ内のどこに位置しているかが任意にわかる。
ステップＳ２において、検出されたアーチファクト含有領域１４２Ｆが、隣接画像領域の画像データにより再構成される。例として、これらの画像データは、テクスチャデータなどを含んでもよく、ここで、再構成することは、アーチファクト含有領域１４２Ｆのエッジにおけるテクスチャを領域の中に向けて溶け込ませることを含んでもよく、エッジにおけるテクスチャからの滑らかな色遷移が生成され得る。これに代え、又はこれに加えて、他の再構成及び／又は補整方法も考えられる。結果として得られる再構成されたアーチファクト含有領域１４２Ｆを含む画像は、メモリデバイス１３０に格納してもよい。
ステップＳ３において、アーチファクト含有領域１４２Ｆの少なくとも１つのサンプル点が判定される。これは、例えば、データ処理デバイス１２０において実施される適切なアルゴリズムによって行うことができる。更に、このサンプル点に関し、システム１００について既知のカメラ較正パラメータを使用して世界点を判定及び／又は計算してもよい。
サンプル点及び／又は世界点を判定する前、判定中、または判定後に、入力データが収集される。これらの入力データは、車両１のエゴモーションデータ、特にｘ方向の運動ベクトルｍｖ＿ｘ、ｙ方向の運動ベクトル、第１の時点ｔ－１において捕捉された過去のサラウンドビュー画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ、及び同様に第１の時点ｔ－１を参照するアーチファクト含有領域１４２Ｆの過去のレンダリングされたサンプル点を含んでもよい。
ステップＳ４において、考慮されるサンプル点について、サンプル点及び／又は対応する世界点が、現在である第２の時点ｔに関して予測される新しい位置に移動される。新しい位置を判定すること並びに／又はサンプル点及び／若しくは世界点を移動することは、車両１のオドメトリデータに基づく。例として、これらのオドメトリデータは、車両１のセンサによって取得されてもよい。
ステップＳ５において、移動された点又は新しい位置がそれぞれ、アーチファクト含有領域１４２の中にあるか外にあるかが判定される。
ステップＳ５Ａにおいて、移動された点がアーチファクト含有領域１４２内にある場合、過去である第１の時点ｔ－１からの過去の動き補償された再構成サンプル点を使用することにより、アーチファクト含有領域１４２を有する画像Ｉ＿１４２Ｆ［ｔ］が更新される。これは、Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］＝Ｉ＿１４２Ｆ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］へと一般化することができ、ここで、ｍｖ＿ｘ及びｍｖ＿ｙは、ｘ及びｙ方向の運動ベクトルである。
ステップＳ５Ａの一例が図２Ａに示されおり、ここで、２つの例示的サンプル点及び／又は世界点が考慮されている。例として、第１及び第２の時点ｔ－１及びｔの間に、車両１がｘ方向に運動ベクトルｍｖ＿ｘを持って移動している。例えば、車両スピードによっては、考慮される点はアーチファクト含有領域１４２内にある。したがって、画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］はＩ＿１４２Ｆ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］に対応し、ここで、この例において運動ベクトルｍｖ＿ｙはゼロである。結果として、現在表示デバイス１１０に表示されている画像Ｉ［ｔ］は、従って、更新された画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］とカメラ１４０Ｒ、１４０ＬＬ、１４０ＬＲの現在の画像Ｉ＿Ｒ［ｔ］、Ｉ＿ＬＬ［ｔ］、Ｉ＿ＬＲ［ｔ］で構成されている。
任意のステップ５Ｂにおいて、移動された点がアーチファクト含有領域１４２の外にある場合、現在の画像Ｉ＿１４２Ｆ［ｔ］は、カメラ１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲのうちの１台からの過去のサンプル点を用いてレンダリングされる。これは、Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］＝Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ又はＩ＿ＬＲ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］に一般化することができ、ここで、ｍｖ＿ｘ及びｍｖ＿ｙは、ｘおよびｙ方向の運動ベクトルである。これにより、運動ベクトルｍｖ＿ｘ、ｍｖ＿ｙは、どの過去のカメラ画像Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬまたはＩ＿ＬＲからサンプルが取られるかを決定する。例えば、Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ又はＩ＿ＬＲは、ステップＳ２から取られてもよい。
ステップＳ５Ｂの例が図２Ｂに示されており、ここで、２つの例示的サンプル点及び／又は世界点が考慮されている。例として、第１及び第２の時点ｔ－１およびｔの間に、車両１がｘ方向に運動ベクトルｍｖ＿ｘを持って移動している。図２Ａに示す例とは対照的に、ここでは考慮される点はアーチファクト含有領域１４２の外にあるが、依然としてカメラ１４０Ｆの可視領域１４１Ｆ内にある。したがって、画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］は動き補償された過去のサンプルＩ＿Ｆ［ｘ＋ｍｖ＿ｘ、ｙ＋ｍｖ＿ｙ、ｔ－１］を使用することによりレンダリングされ、ここで、この例において運動ベクトルｍｖ＿ｙはゼロである。
図２Ｃは、ステップ５Ｂの更なる例を示す。図２Ｂに示す例とは対照的に、運動ベクトルｍｖ＿ｙはゼロではなく、ゼロより大きい。例として、運動ベクトルｍｖ＿ｙは一定量を有するため、２つの例示的サンプル点及び／又は世界点はアーチファクト含有領域１４２とカメラ１４０Ｆの視野１４１Ｆの両方の外にある。むしろ、考慮される点は、カメラ１４０ＬＲの可視領域１４１ＬＲ内にある。したがって、画像Ｉ＿１４２Ｆ［ｘ、ｙ、ｔ］は動き補償された過去のサンプルＩ＿ＬＲ［ｍｖ＿ｘ，ｍｖ＿ｙ，ｔ－１］を使用することによりレンダリングされる。
上記ステップＳ１～Ｓ５Ａ又はＳ５Ｂは、アーチファクト含有領域１４２の全てのサンプルが処理されるまで反復して行われる。
図３は、上記方法をフローチャートに示している。
なお、本発明は、以下の態様も包含し得る：
１．－車両周囲の状況を車両内に提示する方法であって、
－第１の時点ｔ－１に関する車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出すること（Ｓ１）、
－隣接画像領域の画像データによって前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を再構成すること（Ｓ２）、
－前記アーチファクト含有領域の（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）（Ｓ３）少なくとも１つのサンプル点を判定すること、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換すること（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定すること（Ｓ５）、及び
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新すること（Ｓ５Ａ）
を含む、方法。
２．前記予測される新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングすること（Ｓ５Ｂ）を更に含む、上記１．に記載の方法。
３．車両運動データから取得される運動ベクトル（ｍｖ＿ｘ、ｍｖ＿ｙ）により、可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）が異なる複数の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のうちのどの特定の車載カメラから前記第１の時点ｔ－１の前記画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）が提供されているかが判定される、上記２．に記載の方法。
４．前記アーチファクトが、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のレンズ上に存在する汚れ又は泥が原因で生じたものである、上記１．～３．の何れか一つに記載の方法。
５．前記サンプル点を判定することが、前記サンプル点の世界点を判定することを含む、上記１．～４．の何れか一つに記載の方法。
６．動き補正のための運動データが、前記車両（１）のオドメトリにより取得される、上記１．～５．の何れか一つに記載の方法。
７．前記世界点が、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の較正データに基づき判定される、上記１．～６．の何れか一つに記載の方法。
８．少なくとも前記サンプル点を判定する前記ステップが、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の全てのサンプル点が処理されるまで反復して遂行される、上記１．～７．の何れか一つに記載の方法。
９．車両周囲の状況を車両（１）内に提示するためのシステム（１００）であって、
－前記車両（１）周囲の可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）を捕捉するように構成された少なくとも１台の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）、
－第１の時点ｔ－１に前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）により捕捉される少なくとも１つの画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）を格納するように構成されたメモリ手段（１３０）、
－データ処理ユニット（１２０）であって、
－前記第１の時点ｔ－１に関する前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出し（Ｓ１）、
－前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を隣接画像領域の画像データによって再構成し（Ｓ２）、
－前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の少なくとも１つのサンプル点を判定し（Ｓ３）、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定し（Ｓ５）、
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより（Ｓ５Ａ）、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新する
ように構成されたデータ処理ユニット（１２０）を備える、システム。
１０．前記予測された新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングする（Ｓ５Ｂ）、上記９．に記載のシステム。
なお、本発明は、以下の態様も包含し得る：
１．－車両周囲の状況を車両内に提示する方法であって、
－第１の時点ｔ－１に関する車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出すること（Ｓ１）、
－隣接画像領域の画像データによって前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を再構成すること（Ｓ２）、
－前記アーチファクト含有領域の（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）（Ｓ３）少なくとも１つのサンプル点を判定すること、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換すること（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定すること（Ｓ５）、及び
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新すること（Ｓ５Ａ）
を含む、方法。
２．前記予測される新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングすること（Ｓ５Ｂ）を更に含む、上記１．に記載の方法。
３．車両運動データから取得される運動ベクトル（ｍｖ＿ｘ、ｍｖ＿ｙ）により、可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）が異なる複数の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のうちのどの特定の車載カメラから前記第１の時点ｔ－１の前記画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）が提供されているかが判定される、上記２．に記載の方法。
４．前記アーチファクトが、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のレンズ上に存在する汚れ又は泥が原因で生じたものである、上記１．～３．の何れか一つに記載の方法。
５．前記サンプル点を判定することが、前記サンプル点の世界点を判定することを含む、上記１．～４．の何れか一つに記載の方法。
６．動き補正のための運動データが、前記車両（１）のオドメトリにより取得される、上記１．～５．の何れか一つに記載の方法。
７．前記世界点が、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の較正データに基づき判定される、上記１．～６．の何れか一つに記載の方法。
８．少なくとも前記サンプル点を判定する前記ステップが、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の全てのサンプル点が処理されるまで反復して遂行される、上記１．～７．の何れか一つに記載の方法。
９．車両周囲の状況を車両（１）内に提示するためのシステム（１００）であって、
－前記車両（１）周囲の可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）を捕捉するように構成された少なくとも１台の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）、
－第１の時点ｔ－１に前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）により捕捉される少なくとも１つの画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）を格納するように構成されたメモリ手段（１３０）、
－データ処理ユニット（１２０）であって、
－前記第１の時点ｔ－１に関する前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出し（Ｓ１）、
－前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を隣接画像領域の画像データによって再構成し（Ｓ２）、
－前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の少なくとも１つのサンプル点を判定し（Ｓ３）、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定し（Ｓ５）、
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより（Ｓ５Ａ）、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新する
ように構成されたデータ処理ユニット（１２０）を備える、システム。
１０．前記予測された新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングする（Ｓ５Ｂ）、上記９．に記載のシステム。
Claims (10)
- －車両周囲の状況を車両内に提示する方法であって、
－第１の時点ｔ－１に関する車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出すること（Ｓ１）、
－隣接画像領域の画像データによって前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を再構成すること（Ｓ２）、
－前記アーチファクト含有領域の（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）（Ｓ３）少なくとも１つのサンプル点を判定すること、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換すること（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定すること（Ｓ５）、及び
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新すること（Ｓ５Ａ）
を含む、方法。 - 前記予測される新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングすること（Ｓ５Ｂ）を更に含む、請求項１に記載の方法。
- 車両運動データから取得される運動ベクトル（ｍｖ＿ｘ、ｍｖ＿ｙ）により、可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）が異なる複数の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のうちのどの特定の車載カメラから前記第１の時点ｔ－１の前記画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）が提供されているかが判定される、請求項２に記載の方法。
- 前記アーチファクトが、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）のレンズ上に存在する汚れ又は泥が原因で生じたものである、請求項１～３の何れか一項に記載の方法。
- 前記サンプル点を判定することが、前記サンプル点の世界点を判定することを含む、請求項１～４の何れか一項に記載の方法。
- 動き補正のための運動データが、前記車両（１）のオドメトリにより取得される、請求項１～５の何れか一項に記載の方法。
- 前記世界点が、前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の較正データに基づき判定される、請求項５に記載の方法。
- 少なくとも前記サンプル点を判定することが、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の全てのサンプル点が処理されるまで反復して遂行される、請求項１～７の何れか一項に記載の方法。
- 車両周囲の状況を車両（１）内に提示するためのシステム（１００）であって、
－前記車両（１）周囲の可視領域（１４１Ｆ、１４１Ｒ、１４１ＬＬ、１４１ＬＲ）を捕捉するように構成された少なくとも１台の車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）、
－第１の時点ｔ－１に前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）により捕捉される少なくとも１つの画像（Ｉ＿Ｆ、Ｉ＿Ｒ、Ｉ＿ＬＬ、Ｉ＿ＬＲ）を格納するように構成されたメモリ手段（１３０）、
－データ処理ユニット（１２０）であって、
－前記第１の時点ｔ－１に関する前記車載カメラ（１４０Ｆ、１４０Ｒ、１４０ＬＬ、１４０ＬＲ）の少なくとも１つのアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を検出し（Ｓ１）、
－前記検出されたアーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を隣接画像領域の画像データによって再構成し（Ｓ２）、
－前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の少なくとも１つのサンプル点を判定し（Ｓ３）、
－前記判定されたサンプル点を第２の時点ｔに関して予測される新しい位置に変換し（Ｓ４）、
－前記予測された新しい位置が依然として前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）内にあるか否か判定し（Ｓ５）、
－前記過去である第１の時点ｔ－１からの動き補償された再構成サンプル点を使用することにより（Ｓ５Ａ）、前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）を更新する
ように構成されたデータ処理ユニット（１２０）を備える、システム。 - 前記予測された新しい位置が前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）の外にある場合、前記第１の時点ｔ－１に捕捉された画像のサンプル点を使用することにより前記アーチファクト含有領域（１４２Ｆ、１４２Ｒ、１４２ＬＬ、１４２ＬＲ）をレンダリングする（Ｓ５Ｂ）、請求項９に記載のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18185214.6 | 2018-07-24 | ||
| EP18185214.6A EP3599569A1 (en) | 2018-07-24 | 2018-07-24 | Method and system for representation of vehicle surroundings with reduced artefacts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020017942A JP2020017942A (ja) | 2020-01-30 |
| JP7429100B2 true JP7429100B2 (ja) | 2024-02-07 |
Family
ID=63173915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019113654A Active JP7429100B2 (ja) | 2018-07-24 | 2019-06-19 | 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10943334B2 (ja) |
| EP (1) | EP3599569A1 (ja) |
| JP (1) | JP7429100B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
| US10694105B1 (en) * | 2018-12-24 | 2020-06-23 | Wipro Limited | Method and system for handling occluded regions in image frame to generate a surround view |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010084707A1 (ja) | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | コンピュータビジョン・システムに於ける画像復元方法 |
| US20140232869A1 (en) | 2013-02-20 | 2014-08-21 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| US20140347470A1 (en) | 2013-05-23 | 2014-11-27 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
| JP2015222934A (ja) | 2014-05-23 | 2015-12-10 | カルソニックカンセイ株式会社 | 車両周囲表示装置 |
| WO2018074076A1 (ja) | 2016-10-19 | 2018-04-26 | アスモ 株式会社 | 撮像装置 |
-
2018
- 2018-07-24 EP EP18185214.6A patent/EP3599569A1/en active Pending
-
2019
- 2019-06-19 JP JP2019113654A patent/JP7429100B2/ja active Active
- 2019-07-24 US US16/520,893 patent/US10943334B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010084707A1 (ja) | 2009-01-20 | 2010-07-29 | 本田技研工業株式会社 | コンピュータビジョン・システムに於ける画像復元方法 |
| US20140232869A1 (en) | 2013-02-20 | 2014-08-21 | Magna Electronics Inc. | Vehicle vision system with dirt detection |
| US20140347470A1 (en) | 2013-05-23 | 2014-11-27 | GM Global Technology Operations LLC | Enhanced top-down view generation in a front curb viewing system |
| JP2015222934A (ja) | 2014-05-23 | 2015-12-10 | カルソニックカンセイ株式会社 | 車両周囲表示装置 |
| WO2018074076A1 (ja) | 2016-10-19 | 2018-04-26 | アスモ 株式会社 | 撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3599569A1 (en) | 2020-01-29 |
| US10943334B2 (en) | 2021-03-09 |
| JP2020017942A (ja) | 2020-01-30 |
| US20200034953A1 (en) | 2020-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI600559B (zh) | 用於影像處理之系統及方法 | |
| KR102327762B1 (ko) | 사전 지정된 타겟 뷰에서 자동차 및 자동차의 환경 영역을 보여주는 출력 이미지를 생성하는 방법, 카메라 시스템 및 자동차 | |
| JP4596978B2 (ja) | 運転支援システム | |
| KR101077584B1 (ko) | 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 | |
| CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
| JP4248570B2 (ja) | 画像処理装置並びに視界支援装置及び方法 | |
| JP7429100B2 (ja) | 車両周囲の状況をアーチファクトを低減して提示するための方法およびシステム | |
| JP2007110572A (ja) | 複数カメラ画像合成表示装置 | |
| JP2013107439A (ja) | 車載カメラのキャリブレーション装置 | |
| KR101815840B1 (ko) | 영상 추정 기반 어라운드 뷰 모니터링 장치 | |
| JP7444902B2 (ja) | モバイルプラットフォーム周辺部の不明領域の調和された表現を実施する方法 | |
| US11044395B2 (en) | Method for generating a representation of an environment by shifting a virtual camera towards an interior mirror of a motor vehicle; as well as camera device | |
| US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
| JP2021524959A (ja) | 車両周辺部を表示するための方法及び装置 | |
| KR20110088680A (ko) | 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치 | |
| KR20110082873A (ko) | 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 | |
| WO2023095340A1 (ja) | 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 | |
| JP2020520563A (ja) | 車両用サラウンドビューシステム | |
| JP2006236022A (ja) | 画像処理装置 | |
| CN113812144A (zh) | 生成车辆周围环境图像的方法和装置 | |
| CN115909283A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN113962911A (zh) | 一种特种车辆视野补盲视频快速融合方法 | |
| CN116347030A (zh) | 一种车载全景影像显示方法及相关装置 | |
| WO2017042903A1 (ja) | 車両用映像処理装置 | |
| JP2018026715A (ja) | 車両用周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200703 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240126 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7429100 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |