WO2014069471A1 - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- WO2014069471A1 WO2014069471A1 PCT/JP2013/079297 JP2013079297W WO2014069471A1 WO 2014069471 A1 WO2014069471 A1 WO 2014069471A1 JP 2013079297 W JP2013079297 W JP 2013079297W WO 2014069471 A1 WO2014069471 A1 WO 2014069471A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- camera
- area
- processing system
- image processing
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000000203 mixture Substances 0.000 claims abstract description 157
- 238000006243 chemical reaction Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 35
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 20
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 20
- 238000002156 mixing Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 abstract description 18
- 239000007787 solid Substances 0.000 abstract description 13
- 235000019557 luminance Nutrition 0.000 description 43
- 238000010586 diagram Methods 0.000 description 21
- 230000036961 partial effect Effects 0.000 description 19
- 238000012937 correction Methods 0.000 description 11
- 230000005484 gravity Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/94—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
立体物(障害物)が見易くより自然な合成画像を生成すること。画像検出部106は、各カメラ101の画像から画像特徴量を抽出する。画像変換部105は、画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの画像を合成する。重畳エリアにおける各画像の画像特徴量の相関を判定し、相関が弱い場合には立体物が存在すると判断する。さらに各画像の画像特徴量が位置的に重なる部分がある場合には、立体物は重畳エリア内に存在すると判断する。その場合は、画像特徴量が大きい方の画像のブレンド率を大きく設定して画像合成する。
Description
本発明は、複数のカメラからの撮影画像を合成する画像処理システム及び画像処理方法に関する。
車両運転支援のため、車両の前方、後方、左右両側にそれぞれ設置された複数のカメラで車両の周囲を撮影し、これらの撮影画像に視点変換を施し、各画像を繋ぎ合せることで、車両周囲の俯瞰画像を作成する表示する画像処理システムが利用されている。その際、隣り合うカメラが撮影する領域は、その繋ぎ目において互いに重複しているが、従来は、表示に使用する撮影画像をある基準に従って選択することで、1つの俯瞰画像を作成していた。しかし、この手法では、繋ぎ目において不連続性が生じてしまい、さらに、繋ぎ目付近に歩行者や障害物が存在する場合には、認識し難い状況になってしまう問題がある。
この問題の対策として、特許文献1には、複数の画像が重なる領域では、画素を一定の規則に従って交互に配置する手法が開示されている。また特許文献2には、俯瞰表示画像の繋ぎ目部分に障害物が存在するかを判断して、俯瞰画像の繋ぎ目部分となる位置を変化させる手法が開示されている。また特許文献3には、2つのカメラによる被写界像が重なるエリアに立体物がある場合は、当該立体物の画像について、合成画像に一方のカメラによる画像のみが残るように、当該エリアにおける2つのカメラによる被写界像を合成する境界線を設定する手法が開示されている。また特許文献4には、特許文献3同様の境界線を設定する手法、及び2つのカメラによる被写界像が重なるエリアに障害物がある場合、一方のカメラによる障害物の画像の合成重み付けを1、他方のカメラによる障害物の画像の合成重み付けを0とし、それぞれのカメラによる画像のうち障害物以外の部分は重み付け0.5とし、これらを合成する手法が開示されている。
特許文献1の手法では、2つのカメラで撮影した画像の画素を交互に配置しているため、画像が不鮮明になることや立体物が二重像として表示されるという課題がある。また、特許文献2の手法では、繋ぎ目部分を移動させるが、繋ぎ目が撮影範囲の端部では、新たに作成した繋ぎ目の画像切り換わりが不連続な繋がりになってしまうという課題がある。特許文献3及び特許文献4における境界線を設定する手法でも、同様に、境界線部分における画像の切り替わりが不連続となってしまうという課題がある。また、特許文献4における重み付けの合成手法では、障害物の画像部分については、一方のカメラの画像の重み付けを0か1かの2値で選択する手法のみしか開示されていない。この手法では、障害物の画像と背景画像の分離処理を失敗すると、非常に不自然な合成画像が生成されることとなる。よって、障害物の画像と背景画像を非常に高い精度で分離する必要があり、処理量の要求やハードウェア能力の要求が高くなり、システムが高価になるという課題がある。
また、一般的に知られている画像のアルファチャネルを用いて2つの画像を透過させるアルファブレンド手法も考えられるが、単に2つの画像をそれぞれ50%でアルファブレンドする場合には、コントラストが低下して、輝度や色が薄く見え難くなってしまう課題がある。
本発明の目的は、立体物(障害物)が見易くより自然な合成画像を生成することで、ユーザにとって使い勝手の良い画像処理システム及び画像処理方法を提供することにある。
本発明の画像処理システムは、複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、各カメラの画像から画像特徴量を抽出する画像検出部と、抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成する画像変換部と、を備え、該画像変換部は、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする。
前記画像変換部は、前記重畳エリアにおける各画像の相関が弱いと判定した場合、前記各画像の画像特徴量が位置的に重なる部分があるか否かを判定し、重なる部分の有無に応じてブレンドの方法を切り替えて合成する。そして、前記各画像の画像特徴量が位置的に重なる部分があると判定した場合、前記画像特徴量が大きい方の画像のブレンド率を大きく設定する。
本発明によれば、立体物(障害物)が見易くより自然な合成画像を生成する、ユーザにとって使い勝手の良い画像処理システムを提供することができる。
以下、本発明の実施形態について図面を用いて説明する。
図1は、実施例1にかかる画像処理システムの構成を示すブロック図である。画像処理システムは、車両に搭載された複数(n個)のカメラ101で車両周囲の画像を撮影し、画像処理装置100により各カメラの撮影画像を合成し、モニタ109により車両の周囲の俯瞰画像を表示する構成となっている。画像処理装置100では、各カメラ101からの撮影画像データをそれぞれ対応する複数のデコード部102にてデコード処理し、バス103を介してメモリ部107に蓄積する。
画像変換部105は、メモリ部107に蓄積された各カメラ101からの撮影画像データの合成処理を行い、車両の周囲の俯瞰画像を生成する。すなわち、広角のカメラ画像に対して、レンズの歪補正処理や透視変換処理を行いカメラ毎の俯瞰画像を作成し、それらの俯瞰画像の切り出しや合成、アルファブレンド処理し、車両の周囲全体の俯瞰画像を生成する処理を行う。画像検出部106は、撮影画像データに対し、エッジ抽出、輪郭抽出、ガウシアン処理、ノイズ除去処理、閾値処理などを行い、道路に描かれた白線や障害物、歩行者などの有無、写っている面積の大きさの検出処理を行う。エンコード部108は、生成された俯瞰画像のエンコード処理を行い、CPU104は上記各部の動作を制御する。
画像処理装置100から出力された俯瞰画像データは、モニタ109にて表示される。モニタ109はその種類を限定するものではなく、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、LCOS(Liquid Crystal On Silicon)、OLED(Organic light-emitting diode)、ホログラフィック光学素子やプロジェクタ装置など任意である。また、車内に設置しても車外に設置しても良く、平面型のモニタのみでなくHUD(Head-Up Display)、HMD(Head Mounted Display)などを利用しても良い。
このように画像処理装置100では、複数のカメラで撮影した画像を利用して、障害物や歩行者を検出し、検出結果に従って、画像に写っている障害物や歩行者が見易いように各カメラ画像の俯瞰画像を合成し、車両の全周囲の俯瞰画像を生成するものである。
本実施例の画像処理システムは、画像処理装置100と複数のカメラ101とモニタ109を含む構成としたが、カメラ101とモニタ109のいずれか、あるいは両方が外部装置としてシステム外に接続される構成でも良い。
また本実施例では、車両の周囲の俯瞰画像の生成に関して記載しているが、これ以外の用途として、複数の監視カメラからの撮影画像を合成して監視対象領域の俯瞰画像を作成する場合にも適用できる。
図2は、車両に設置した複数のカメラで同一の被写体を撮影した画像の例である。車両200には、前方カメラ201、左サイドカメラ202、後方カメラ203、右サイドカメラ204が設置されており、車両200の左斜め前方に歩行者205が歩いて来た状況を示している。この状況を、前方カメラ201で撮影した画像が206であり、左サイドカメラ202で撮影した画像が207である。本例では、それぞれのカメラは斜め下を向いており、画像206、207には、歩行者205の足の部分205a、205bが写っている。
撮影角度が異なるため、前方カメラ201で撮影した画像206には、前方カメラ201から出ている矢印の方向に伸びた足205aが撮影されている。一方左サイドカメラ202で撮影した画像には、左サイドカメラ202から出ている矢印の方向に伸びた足205bが撮影されている。つまり、同じ被写体である歩行者205を撮影しているが、カメラの撮影位置の違いにより、異なる向きの足205a、205bが撮影される。これは、被写体である歩行者205が立体物であるために生じる現象である。被写体が立体物でなく道路上に描かれた平面状の絵柄の場合には、画像206と207には同じ絵柄で撮影され、位置を合わせれば重なることになる。つまり、異なる方向から同一の被写体を撮影しているとき、2つの画像内に異なる方向に伸びる物体が検出される場合には、立体物が存在していると判定できる。本実施例ではこの性質を利用して、複数のカメラ画像の重なる部分をより見易くなるようブレンド処理するようにした。
図3は、撮影領域のエリア分割と重畳エリアの画像合成の例を示す図である。車両200の周囲を、8つのエリア300~307に分割している。カメラ201で撮影されるエリアは300、301、302で、カメラ202で撮影されるエリアは300、303、305である。他のエリアもカメラ203、204に対して同様に決められる。
まず、撮影画像に対し、画像端部に生じるレンズ歪の補正処理と、奥行きの距離に応じて拡大率を変化させる透視変換を行う。これにより、例えば図2の画像206から、図3の各エリア300、301、302に渡る俯瞰画像を作成する。同様に図2の画像207から、図3の各エリア300、303、305に渡る俯瞰画像を作成する。
この場合、エリア300はカメラ201とカメラ202の画像が重なるエリアであり、以後、「重畳エリア」と呼ぶことにする。他のエリア302、305、307も2つのカメラ画像が重なる重畳エリアである。もし、地面に突起物(立体物)がなく平面である場合には、同じエリアの画像は同一であり重なることになる。つまり、重畳エリアとは、複数のカメラ画像から俯瞰画像を作成した際に、地面上の同じ位置が撮影されるエリアを意味する。
重畳エリアにおける画像を表示する場合、2つの画像からいずれかを選択して表示する方法と、両者をブレンド処理して合成し表示する方法が可能である。その際、重畳エリアに立体物が存在する場合に一方の画像のみを選択して表示すると、合成画像の繋ぎ目付近で画像が切れてしまい、写らない部分(画像消失)が発生してしまう恐れがある。そこで、図3に示すように、重畳エリア300に立体物(歩行者)が存在する場合には、立体物である歩行者の足205a,205bをブレンド処理を行って表示するようにした。これにより、立体物の画像の一部が消失することを回避できる。
図4は、重畳エリアにおける画像合成の動作シーケンスである。例として、カメラ1(201)とカメラ2(202)の重畳エリア300での画像を合成する場合を想定する。
S401では、画像検出部106により、カメラ1画像内の重畳エリアにおける撮影画像の特徴量を抽出し、そこに存在する物体を検出する。その際、エッジなどが多い部分やラプラシアンフィルタやSobelフィルタなどによる輪郭抽出、二値化処理、色情報、ヒストグラム情報や各種パターン認識処理などにより画像特徴量を抽出する。そして、エッジや輪郭が抽出できた画素の位置やそのエッジの輝度の高さなどの画像特徴量Q1を、メモリ部107に記憶する。特徴量としては、SIFT(Scale-Invariant Feature Transform)やHOG(Histograms of Oriented Gradients)などによる画像の特徴量を利用しても良い。また、HOG特徴量と歩行者の形の特徴量を組合せて、抽出できた特徴情報が歩行者であるか物であるかを選別しても良い。そして、歩行者であるか物であるかによって、コントラスト強調処理や危険度表示などの仕方を切り換えれば、ユーザ(運転者)に対しより使い勝手の良い情報を提供できる。
S402では、同様に、カメラ2画像内の重畳エリアにおける撮影画像の特徴量から、そこに存在する物体を検出し、抽出した画像特徴量Q2をメモリ部107に記憶する。
S402では、同様に、カメラ2画像内の重畳エリアにおける撮影画像の特徴量から、そこに存在する物体を検出し、抽出した画像特徴量Q2をメモリ部107に記憶する。
S403では、S401、S402で抽出した画素の位置や特徴量Q1,Q2の相関の強さを判定する。つまり、検出した物体の画素位置が一致またはある範囲内に集まっているか、特徴量の差分がある範囲内であるかを計算により判定する。これは、統計的な処理やクラスタリング処理を行うことで、空間的な距離関係や意味的な距離関係の相関を判定する。
S403において相関が強いと判定した場合(Yes)には、立体物は存在しないものと判断してS404に進む。S404では、カメラ1とカメラ2の画像をある固定のブレンド率により合成する。この場合、カメラ1またはカメラ2のいずれかの画像を選択して利用することも可能だが、もしも繋ぎ目付近に立体物があった場合には、その画像が消失してしまう恐れがある。よってブレンド方式とするのが好ましい。S404で合成した俯瞰画像は、S410でモニタ109に出力する。
S403において相関が弱いと判定した場合(No)には、重畳エリアに立体物が存在する可能性があるとしてS405に進む。S405では、カメラ1とカメラ2の画像特徴量Q1、Q2は位置的に重なる部分があるか否かを判定する。
S405において画像特徴量は位置的に重なる部分があると判定した場合(Yes)は、重畳エリアに立体物そのものが存在していることを意味しており(図9で後述)、S406に進む。S406では、それぞれのカメラから抽出できる特徴量の値Q1,Q2に応じてブレンド率を算出する。S407では、S406で算出したブレンド率で重畳エリアの画像の合成を行い、S410でモニタ109に俯瞰画像を出力する。
S405において画像特徴量は位置的に重なる部分がないと判定した場合(No)は、重畳エリア自体には立体物はなく、特徴が抽出できた(物体が検出できた)方のカメラ画像に、周囲に存在する立体物が写り込んでいることを意味しており(図10で後述)、S408に進む。S408では、特徴が抽出できた(物体が検出できた)方のカメラ画像を選択する。S409では、S408で選択したカメラ画像から俯瞰画像を合成し、S410でモニタ109に出力する。この場合も、誤検出により繋ぎ目付近での画像の消失を回避するために、特徴が抽出できたカメラ画像のブレンド率を優先してブレンド処理を行い、俯瞰画像を合成しても良い。
上記した動作シーケンスでは、複数カメラで撮影された重畳エリアにおいて、異なる方向から撮影されたカメラ画像の画像特徴量を抽出しこれらの相関性を判定することで、道路に描かれた平面状の模様と立体物とを区別できる。また立体物が存在する場合は、特徴量の位置的な重なりを判定し、立体物が重畳エリア内に存在するのか、重畳エリア外に存在するのかを判別できる。そして、それぞれの状態に合わせて、俯瞰画像の合成時のブレンド率を変化させることで、良好な俯瞰画像が得られる。
図5A、図5B、図5Cおよび図5Dは、図4のS406におけるブレンド率の算出方法を示す図である。カメラ1、カメラ2で撮影された重畳エリアの特徴量Q1,Q2にもとづいて、それぞれのカメラ画像を合成するブレンド率を算出する。横軸は、画像検出部106により検出されたそれぞれのカメラ画像の特徴量の割合をとり、縦軸はそれぞれのカメラ画像のブレンド率P1,P2を示している。カメラ画像の特徴量の割合は、以下のように求める。まず、カメラ1画像の特徴量Q1に所定の演算を行なった結果をF(Q1)とする。同様のカメラ2画像の特徴量Q2に所定の演算を行なった結果をF(Q2)とする。カメラ1画像の特徴量の割合は、F(Q1)/(F(Q1)+F(Q2))と算出する。同様に、カメラ2画像の特徴量の割合は、F(Q2)/(F(Q1)+F(Q2))と算出する。所定の演算Fについては、以降の図5Aの説明において詳細に説明する。
図5Aの場合、ブレンド率の算出式は特徴量の割合に対して勾配1のグラフとしている。よって、カメラ1画像のブレンド率P1およびカメラ2画像のブレンド率P2は、
P1=F(Q1)/(F(Q1)+F(Q2))
P2=F(Q2)/(F(Q1)+F(Q2))
で求める。
P1=F(Q1)/(F(Q1)+F(Q2))
P2=F(Q2)/(F(Q1)+F(Q2))
で求める。
ここで、所定の演算Fについては、様々な演算が可能である。図5Aの例では、立体物がある可能性の高い画像について、演算結果の値が大きくなる場合について説明する。例えば、重畳エリア内で所定の閾値以上の画像特徴量を有する画素数をカウントするという演算を行う。この場合は、カメラ1画像またはカメラ2画像のそれぞれの重畳エリア内における立体物の画像が占める大きさを、ブレンド率を可変する要素とすることができる。また、カメラ1画像またはカメラ2画像の重畳エリア内の画素の画像特徴量の総和、平均、加重平均、重心、中心値を算出するなどの演算も可能である。この場合は、重畳エリア内における立体物の画像が占める大きさのみならず、特徴量の値の大きさもブレンド率を可変する要素とすることができる。または、ブレンド率を画素毎に決定することもできる。この場合は、F(Q1)として対象画素におけるQ1そのものを用い、F(Q2)として対象画素におけるQ2そのものを用いてもよい。図5Aの場合には、F(Q1)とF(Q2)を比較してその値の大きい方の画像のブレンド率が大きく設定されることになる。
図5Bの場合も、図5Aと同様に、カメラ1画像の特徴量Q1に所定の演算を行なった結果F(Q1)と、カメラ2画像の特徴量Q2に所定の演算を行なった結果F(Q2)とを用いて、カメラ1画像のブレンド率P1、カメラ2画像のブレンド率P2を算出する例である。図5Bは図5Aと同様に、ブレンド率特徴量の割合を連続的に変化させるものであるが、「特徴量の割合」が0.5に近い部分で、ブレンド率の変化の勾配を図5Aよりも大きくしたものである。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像(立体物がある可能性の高い画像)のコントラストを強調することが可能となる。これにより、立体物がある可能性が比較的高い画像を、ユーザがより認識しやすくなるという効果がある。
また、図5Cの場合も図5Aと同様に、カメラ1画像の特徴量Q1に所定の演算を行なった結果F(Q1)と、カメラ2画像の特徴量Q2に所定の演算を行なった結果F(Q2)とを用いて、カメラ1画像のブレンド率P1、カメラ2画像のブレンド率P2を算出する例である。図5Cもブレンド率特徴量の割合を連続的に変化させるものである。しかし図5Cでは、「特徴量の割合」が所定の大きさ以上になった場合は、そのカメラの画像のブレンド率を1とし、「特徴量の割合」が所定の大きさ以下になった場合は、そのカメラの画像のブレンド率を0とする。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像(立体物がある可能性の高い画像)のコントラストをさらに強調することが可能となる。立体物がある可能性が比較的高い画像を、ユーザがさらに認識しやすくなるという効果がある。
なお、図5Bおよび図5Cでは線形のグラフを利用したが、視覚特性に合わせたLOG曲線のグラフを利用すれば、より見易い表示とすることができる。
なお、図5Bおよび図5Cでは線形のグラフを利用したが、視覚特性に合わせたLOG曲線のグラフを利用すれば、より見易い表示とすることができる。
また図5Dは、「特徴量の割合」が変化する際に、ブレンド率が段階的に切り替わるように設定した場合である。この場合切り替え段階の数が多いほどブレンド率の切り替えがより穏やかとなる。図5Dの例では、図5Aの直線を階段状に変更した折れ線に近いが、それぞれの切り替えにおけるブレンド率の変化量に差をつければ、図5Bに近い折れ線や、図5Cに近い折れ線の特性とすることも可能である。以上説明したように、「特徴量の割合」の変化に応じてブレンド率を段階的に切り替えるような、「特徴量の割合」の変化に対するブレンド率の変化が不連続であっても、本発明の一実施の態様となりうる。
なお、図5A、図5B、図5C、図5Dのいずれにおいても、立体物がある可能性の高い画像について、演算結果の値が大きくなる場合を説明したが、立体物がある可能性の高い画像ほど、演算結果の値が小さくなるような演算Fであってもよい。その場合は、図5A、図5B、図5C、図5Dのグラフを右肩上がりから、右肩下がりに適宜変更すればよいだけであり、この場合も本発明の一実施の態様となりうる。
このように、図5A、図5B、図5C、図5Dの例では、特許文献4に開示される手法とは異なり、立体物の部分の画像についても、ブレンド率は1と0以外の多数の値をとることができる。これにより、立体物の部分は、立体物がある可能性の高さに応じてより自然に合成することが可能となる。
また、ブレンド率は、重畳エリア全体または画素単位で算出し、重畳エリア全体または画素単位での合成処理に用いている。よって、重畳エリア内において、特許文献3および特許文献4に開示される境界線のような不自然な画像の接合部分が生じることも防止でき、より自然な合成画像を生成することが可能となる。
図6は、図4のS404におけるブレンド率の設定方法を示す図である。これは、画像検出部106の誤検出で繋ぎ目付近の物体が消失してしまうのを防ぐ目的で、画素毎にある固定のブレンド率を設定して合成する手法である。よって、S409の処理にも適用できる。
図6において、左斜め前の重畳エリア300を例に説明する。重畳エリア300を扇状に分割し、各分割エリアa1~a7毎に、前方カメラ201の画像のブレンド率P1と、左サイドカメラ202の画像のブレンド率P2のブレンド率を固定で設定する。例えば、エリアa1では前方カメラ201側に最も近いので、カメラ201の画像のブレンド率P1=0.9、カメラ202の画像のブレンド率P2=0.1とする。これに隣接するエリアa2では、P1=0.8、P2=0.2とする。逆に、エリアa7では左サイドカメラ202側に最も近いので、P1=0.1、P2=0.9とする。このように、カメラ201に近いほどカメラ201の画像を優先し、カメラ202に近いほどカメラ202の画像を優先してブレンド率を設定する。これにより、それぞれの分割エリアでは近いカメラからの画像が強調してブレンドされるので、より見易い画像が作成できる。さらに各分割エリアにおいて、各カメラ画像の特徴量に応じて、ブレンド率を調整しても良い。
図7は、図4のS404におけるブレンド率の設定方法の他の例を示す図である。重畳エリア300内のある画素位置Cから、車両200に設置されているカメラ201とカメラ202までの距離をd1,d2とする。そして、距離d1,d2の比に応じて固定のブレンド率を設定する。すなわち、カメラ201に近い距離にある画素位置(つまりd1<d2)では、カメラ201の画像のブレンド率を高く設定する。例えば、カメラ201の画像のブレンド率P1とカメラ202の画像のブレンド率P2を、
P1=d2/(d1+d2)
P2=d1/(d1+d2)
で与える。
P1=d2/(d1+d2)
P2=d1/(d1+d2)
で与える。
ただし、カメラに近すぎる位置ではピントずれや歪が大きくなっている可能性が高いので、距離が遠い方のカメラを優先するようブレンド率を修正するのが好ましい。すなわち、接近限界閾値をdth(ただし、d1最小値≦dth≦d1最大値)としたとき、d1<d2かつd1<dthとなる位置では、近いカメラ201画像のブレンド率P1を低くするように修正する。例えば、上記設定したブレンド率P1,P2を入れ替えて、
P1=d1/(d1+d2)
P2=d2/(d1+d2)
として与える。これにより、カメラから近過ぎる位置で発生するピントずれや歪は、軽減して表示される効果がある。
P1=d1/(d1+d2)
P2=d2/(d1+d2)
として与える。これにより、カメラから近過ぎる位置で発生するピントずれや歪は、軽減して表示される効果がある。
図8は、重畳エリアに立体物が存在しない場合の合成画像の例を示す図である。図4のS403の判定で、2つカメラ画像の画像特徴量の相関が強い場合である。カメラ1とカメラ2の重畳エリアにおいて、カメラ1の画像801には、カメラ1で撮影した道路や駐車場等に平面状に描かれている白線803が写っている。カメラ2の画像802には、カメラ2で撮影した道路や駐車場等に描かれている白線804が写っている。同一の重畳エリアを撮影しているため、そのエリアに立体物が存在しなければ同じ画像になっている。この場合、S404の処理を行い、2つのカメラからの画像801,802を固定のブレンド率で合成するか、一方の画像を選択して俯瞰画像を合成する。その結果、1つの白線806が写った合成画像805が生成される。
図9は、重畳エリア内に立体物が存在する場合の合成画像の例を示す図である。図4のS403の判定で、2つのカメラ画像の画像特徴量の相関が弱い場合である。カメラ1とカメラ2の重畳エリアにおいて、カメラ1の画像901には、カメラ1で撮影した歩行者の足903が写っている。カメラ2の画像902には、カメラ2で撮影した歩行者の足904が写っている。同一の重畳エリアを撮影しているが、立体物である歩行者がそのエリア内に存在するため、歩行者の足903,904は異なる方向に伸びている。
さらに図4のS405の判定では、両者の画像特徴量には位置的に重なる部分908が存在するので、立体物は重畳エリア内に存在する。この場合、S406の処理を行い、カメラ1の画像901とカメラ2の画像902のブレンド率を算出し、S407ではそのブレンド率で画像を合成する。その結果、歩行者の足906、907がそれぞれのブレンド率に従って合成された画像905が生成される。
図10は、重畳エリア外に立体物が存在する場合の合成画像の例を示す図である。図4のS403の判定で、2つのカメラ画像の画像特徴量の相関が弱い場合である。カメラ1とカメラ2の重畳エリアにおいて、カメラ1の画像1001には、カメラ1で撮影した歩行者の足1003が写っている。カメラ2の画像1002には、カメラ2で撮影した画像が写っているが、歩行者の足に相当するものは存在しない。これは、重畳エリア内には何も存在しないが、カメラ1の近くには歩行者(立体物)が存在して、それがカメラ1の画像1001に物体1003として写り出されたものである。一方、カメラ2の画像1002の付近には何も存在しないため、何も写っていない。
さらに図4のS405の判定では、両者の画像特徴量には位置的に重なる部分が存在しないので、立体物は重畳エリア外に存在すると判断する。この場合、S408の処理を行い、物体1003が写っているカメラ1の画像1001を選択し、S409では、カメラ1の画像1001を優先して画像を合成する。その結果、カメラ1で撮影された歩行者の足1005の存在する合成画像1004が生成される。
図11は、重畳エリア内を歩行者が移動した場合の合成画像の例を示す図である。歩行者がカメラ1とカメラ2の重畳エリア1100の場所を左側から右方向に歩いて行く場合、重畳エリア1100における歩行者の合成画像を時系列に並べている。画像合成の際、図4のS406に従い画像特徴量に応じてブレンド率を設定している。
時刻t1では、カメラ1で撮影された歩行者の足1101とカメラ2で撮影された歩行者の足1102を合成するが、それらのブレンド率を画像特徴量(例えば足の写っている面積)に応じて決定し、カメラ1側をP1=0.8、カメラ2側をP2=0.2で合成する。このようにブレンド率を設定することで、歩行者の足の面積が大きく写っている側、すなわちカメラ1で撮影された足1101がくっきり表示される。
時刻t2では、カメラ1で撮影された足1103とカメラ2で撮影された足1104の画像特徴量(面積)は同程度となり、ブレンド率は共に等しくP1=P2=0.5で合成する。
時刻t2では、カメラ1で撮影された足1103とカメラ2で撮影された足1104の画像特徴量(面積)は同程度となり、ブレンド率は共に等しくP1=P2=0.5で合成する。
時刻t3では、カメラ1で撮影された足1105よりもカメラ2で撮影された足1106の画像特徴量の方がやや大きくなり、ブレンド率はカメラ1側をP1=0.3、カメラ2側をP2=0.7で合成する。
時刻t4では、カメラ1で撮影された足1107よりもカメラ2で撮影された足1108の画像特徴量の方がはるかに大きくなり、ブレンド率はカメラ1側をP1=0.1、カメラ2側をP2=0.9で合成する。その結果、足の面積が大きく写っているカメラ2で撮影された足1108がくっきり表示される。
時刻t4では、カメラ1で撮影された足1107よりもカメラ2で撮影された足1108の画像特徴量の方がはるかに大きくなり、ブレンド率はカメラ1側をP1=0.1、カメラ2側をP2=0.9で合成する。その結果、足の面積が大きく写っているカメラ2で撮影された足1108がくっきり表示される。
このように、2つのカメラで同一の物体が撮影されているとき、画像特徴量の相対的な比率に応じてブレンド率を設定することにより、面積がより大きく写っている方の画像のコントラストを大きくした画像を生成できる。
上記の例では、時刻t2において、画像特徴量が同程度になるため、ブレンド率を等しくP1=P2=0.5としたが、この場合両方の輝度が薄くなってしまい視認しにくくなる可能性がある。そこで、ヒステリシスを考慮して、一時刻前にブレンド率が高かった画像を優先して表示する処理を行ってもよい。具体的には、図11の例では、時刻t2の一時刻前の時刻t1では、P1の方がブレンド率が大きい。そこで、画像特徴量が同程度である時刻t2の処理では、P1を優先して、検出した画像特徴量に対して、所定の割合または値を加える、または乗ずる処理を行う。これにより、例えば、ブレンド率をP1=0.6、P2=0.4などとして、カメラ1の映像を見易くさせても良い。なお、このとき、前の動きから次の時刻の動きを予測して、P1=0.4、P2=0.6としても良い。この手法のように、カメラ1とカメラ2で同程度の画像特徴量が検出される場合には、時系列的な特徴量の変化に応じて、2つの映像のブレンド率が等しくなる状況(P1=P2=0.5)を避けるようにブレンドすることで、両方の画像が薄くなり視認しにくくなる現象を低減できる。
図12は、動きベクトル情報を用いてブレンド率を算出する方法を説明する図である。すなわち、図4のS401、S402において、画像特徴量の検出のためにオプティカルフローの動きベクトル情報を利用し、これから重畳エリアのブレンド率を算出し画像を合成する。画像特徴量として複数フレームの動きベクトルを利用し、動きベクトルの総和の比からブレンド率を算出する。
具体的には、カメラ1の画像1201内の動きベクトル1203の総和ΣCam1と、カメラ2の画像1202内の動きベクトル1204の総和ΣCam2を計算する。これから、カメラ1のブレンド率P1とカメラ2のブレンド率P2を、
P1=ΣCam1/(ΣCam1+ΣCam2)
P2=ΣCam2/(ΣCam1+ΣCam2)
として算出する。つまり、動きの大きい方のカメラ画像のブレンド率を大きく設定する。これらのブレンド率で動き物体1206,1207を含む合成画像1205を生成する。この手法によれば、重畳エリア内で動きが大きいものほどくっきりとコントラストを向上させた画像が生成可能となる。
P1=ΣCam1/(ΣCam1+ΣCam2)
P2=ΣCam2/(ΣCam1+ΣCam2)
として算出する。つまり、動きの大きい方のカメラ画像のブレンド率を大きく設定する。これらのブレンド率で動き物体1206,1207を含む合成画像1205を生成する。この手法によれば、重畳エリア内で動きが大きいものほどくっきりとコントラストを向上させた画像が生成可能となる。
図13は、実施例2にかかる画像処理システムの構成を示すブロック図である。実施例2では、実施例1(図1)の構成に対し車両情報取得部1300を追加している。車両情報取得部1300は、CAN(Controller Area Network)やFlexRayなどを介して、当該画像処理システムを適用する車両から車両制御情報を取得する。車両制御情報は、車両の進行方向やハンドルの角度や車速、ヘッドライトやハザードランプ、ワイパーのOn/Off、方向指示器の向きなどの情報であり、画像処理システムはこれらの車両情報を利用し、危険度を考慮した画像処理を行う。
図14は、車両情報を利用して画像合成する場合のエリア分割を示す図である。特に、重畳エリアにおいて画像合成する場合に、危険度に応じてエリア分割を行う。ここでは、重畳エリア300,302,305,307を危険度別に4つに分割し、重畳エリア300をA1~A4に、重畳エリア302をB1~B4、重畳エリア303をC1~C4、重畳エリア304をD1~D4に分割している。
図15は、図14で分割した各エリアの危険度を分類した表である。車両情報(進行方向、ハンドルの向き、速度)をパラメータに、各分割エリアの危険度を(大)、(中)、(小)で示している。各分割エリアにおいては、危険度に応じて画像の合成と表示を変更する。
本実施例における危険度を分類では、二つの速度の閾値を用いる。第1の閾値Xは、第2の閾値Sよりも大きい。車両の速度が、第1の閾値X以上の場合には、駐車動作の速度としては危険な速さであると判断する。この場合には、車両周囲の全エリアを危険エリアとして表示することで、運転者により警告を促すことができる。車両の速度が第1の閾値Xよりも小さい場合には、図15を用いて、各エリアの危険度の分類を行なう。
例えば、運転手が左にハンドルを切って前進しようとしている場合には、速度Vが第2の閾値Sよりも大きいときは(V>S)、左前方のエリアA1~A4が危険度(大)である。右前方では、エリアB1、B3にいる歩行者は、左に向かって飛び出してくる可能性があるので危険度(中)、また後方のエリアC2、D1は、車両の構造上巻き込みや衝突があり得るので危険度(中)とする。それ以外のエリアB2、B4、C1、D2は距離が遠いので危険度(小)としている。このように、車両情報に合わせて危険度の分類を行う。これらは車の形状や小回りの範囲、初速度など車種によって異なり、それぞれの車両に応じて設定する。俯瞰画像を合成する際に、障害物を見易くする際に、各エリアの危険度情報を用いて合成することにより、運転者にとってより見易い表示方法が提供できる。
その他の車両情報の利用として、次のような設定が可能である。自車がハザードランプをOnにして停止している場合は、後方から近づいて来る車両を警戒して、エリアC2、C4、D1、D3などの危険度を高めるようにする。運転者が方向指示器を有効にした場合には、方向指示器の方向の進行方向のエリアとその後方エリアの危険度を高める。ヘッドライトがOnの際は、進行方向のエリアの危険度をより高める。ヘッドライトがOnの状態で、ライトが上向きか下向きかで表示の仕方を変化させても良い。例えば、ライトが上向きであれば、より暗いところを走行中であり視界も狭いため、前方危険度を高くするのみでなく、注意が散漫になりがちな左右のエリアの危険度を高めるようにする。ワイパーをOnにした際は、視界が悪くなっている可能性があるので、進行方向のエリアの危険度を高めるようにする。
図16は、車両情報を利用した重畳エリアにおける画像合成の動作シーケンスである。俯瞰画像を作成する手順は、図4の動作シーケンスを基本とし、追加した工程について説明する。
S1601では、車両情報と図15の危険度情報の読込みを行う。
S1602では車両の速度Vを閾値Xと比較する。車両の速度が第1の閾値Xよりも大きい場合には、S1603に進み、図15から読み出した危険度情報について全エリアを危険エリア(大)として設定し直す。これにより、全てのエリアについて危険であることを表示する。
S1602では車両の速度Vを閾値Xと比較する。車両の速度が第1の閾値Xよりも大きい場合には、S1603に進み、図15から読み出した危険度情報について全エリアを危険エリア(大)として設定し直す。これにより、全てのエリアについて危険であることを表示する。
S1604では、図15の危険度情報またはS1603で書き替えられた危険度情報に基づいて、表示エリア毎にその危険度に応じた表示方式を組み合わせ、合成した俯瞰画像を出力する。その際、立体物があるエリアほどブレンド率が大きくなっているので、重畳エリアにおける各カメラ画像のブレンド率を確認することで、立体物(障害物)が存在する可能性を判別できる。つまり、危険度が大きくかつブレンド率が大きい重畳エリアでは、より危険性が高いと判断できる。
図17は、危険度を反映した俯瞰画像表示例である。図16のS1604において、画像変換部105は、重畳エリア300内で検出した立体物(障害物)1700の特徴量に応じてブレンド率を変化させ、障害物のコントラストを向上させて表示する。さらに図15の危険度情報またはS1603で書き替えられた危険度情報により、危険度が大きいとされたエリア1701~1704については、エリア内を塗り潰したり縁を着色したりする処理を行う。エリアを塗り潰す際に、図4のS401やS402で抽出した画像特徴量の中の色情報を参照し、抽出された色情報とは異なる色相の色を用いることで、見た目のコントラストを向上させる。また、ブレンド率の小さいカメラ画像に色の付いたレイヤを重畳した後、ブレンド率の大きいカメラ画像を重畳すれば、障害物が写っている可能性のあるカメラ画像のコントラストをそれほど低下させずに合成できる。
さらに、危険性の高いエリア、つまりブレンド率が大きく危険度も大きい重畳エリアに関しては、画像変換部105は、物体のエッジ強調やコントラストを強調するような画像処理を施して、物体がより目立ちはっきり認識できるように表示する。S401、S402で抽出したエッジや輪郭などの画像特徴部分に関して、目立つ色で塗り潰す、または縁取るなどの処理を行うことで、危険性をより強調することができる。また、この危険度情報の別の利用の仕方として、図15の危険度の低いエリアや危険度が設定されていないエリアに、文字による付加情報などを表示しても良い。
前記実施例1,2に述べたように重畳エリアにおいてブレンド率を調整しても、各カメラの明るさが大きく異なると、輝度が高いカメラ画像が優先し見易く合成されてしまい、狙った効果が得られない場合がある。また、矩形の重畳エリアで画像のブレンド処理を行うと、ブレンド率によっては矩形の境界部分が切れ目として目立つ場合がある。さらに、運転者の年齢により輝度コントラストの感覚に違いが生じる。そこで実施例3では、複数のカメラの輝度を補正する手法や、重畳エリアの境界部の補正、コントラストの調整方法を示す。
図18は、カメラ画像をエリア分割して輝度調整を行うことを説明する図である。その際、画像検出部106は、画像特徴量として輝度ヒストグラム算出や階調重心算出を行い、画像変換部105は、検出結果に応じて階調調整などの画質調整処理を実施する。
車両200に設置されたカメラ201、202、203、204の俯瞰画像をそれぞれ3つの部分に分割し、カメラ201については部分画像E1~E3、カメラ202については部分画像F1~F3、カメラ203については部分画像G1~G3、カメラ204については部分画像H1~H3に分割する。このうち、重畳エリア1800にはカメラ201の部分画像E1とカメラ202の部分画像F1が対応する。同様に、重畳エリア1801にはカメラ201の部分画像E3とカメラ204の部分画像H1が対応し、重畳エリア1802にはカメラ202の部分画像F3とカメラ203の部分画像G1が対応し、重畳エリア1803にはカメラ203の部分画像G3とカメラ204の部分画像H3が対応する。また、重畳エリア1800における部分画像E1と部分画像F1の輝度ヒストグラムを、それぞれ1811、1812で示す。
ここで同一エリアを異なるカメラで撮影するとき、輝度差が生じることがある。例えば、車両200の右側方向(カメラ204側)に太陽があるとき、反対側のカメラ202では車両の影が撮影されて、部分画像F2は他の画像よりも暗くなってしまう。また、カメラ202の画像F1~F3は、カメラのホワイトバランス調整、画像F2の輝度などの影響を受け、画像F1、F3は、同じエリアを撮影している他のカメラ画像E1、G1よりも暗くなってしまう。
この場合、重畳エリア1800である画像E1とF1のそれぞれの輝度ヒストグラム1811,1812を算出して、その階調重心を合わせることで、ある程度見た目の明るさを合わせることができる。輝度ヒストグラムの階調重心の合わせ方は、図19にて説明する。このように、複数カメラ画像の明るさ調整を行うのであるが、このやり方は様々に存在する。
例えば、まず4箇所の重畳エリア1800~1803について、対応する2つの画像の輝度ヒストグラムを算出し、その階調重心を合わせるよう輝度調整を行う。その後、重畳エリアで挟まれた中間画像E2、F2、G2、H2について、各重畳エリアでの調整結果をグラデーションで繋ぐように輝度調整を行う。例えば、中間画像F2において、エリア1800に近い位置ではエリア1800の調整結果に近い値とし、エリア1802に近い位置ではエリア1802の調整結果に近い値とする。これにより、滑らかな輝度階調を実現する。
あるいは、フロント側画像E2とリア側画像G2についてそれらの輝度ヒストグラムの階調重心を合わせるよう輝度調整し、その調整結果に合うように各重畳エリアの画像の輝度調整をしても良い。そして中間画像F2、H2については、各重畳エリアの調整結果をグラデーションで繋ぐように輝度調整を行う。
これらの調整手順は、各画像の輝度ヒストグラムに応じて切り替えても良い。例えば、画像E2と画像F2の輝度差が所定の閾値よりも大きい場合には、初めにE2とF2の輝度調整をしてから、他の画像の調整を行うようにする。このように、状況に応じて調整順序を切り替えることにより、単純に隣接する画像を順次調整した結果、隣接画像間の輝度差が拡大し再度調整が必要になることを回避できる。
本例では、各カメラの俯瞰画像を3つに分割しているが、分割せずに、各カメラの画像全体のヒストグラム分布を算出して利用しても良い。例えば、カメラ201の画像E1~E3全体の輝度ヒストグラムと、カメラ202の画像F1~F3全体の輝度ヒストグラムを算出して、その階調重心を合わせることで、画像E1~E3、F1~F3の輝度調整を行っても良い。
本例では、輝度ヒストグラムの分布によりその画像の明るさを推定しているが、画像の平均輝度や最大、最小輝度などを利用しても良い。画像の平均輝度を利用する場合は、細かい制御には向いていないが処理負荷を軽減できる。また、輝度調整に関して述べたが、YCbCr信号のY、Cb、Cr値のそれぞれの平均や重心を合わせること、RGB信号のそれぞれの階調分布を調整すること、HSV色空間においてそれぞれの要素の階調分布を調整して合わせることでも良い。輝度だけでなく色情報も利用することで、複数カメラの色ズレも補正できる。
図19は、輝度ヒストグラムの階調重心を合わせる方法を示す図である。例えば図18の重畳エリア1800において、カメラ202の画像F1の階調重心をカメラ201の画像E1の階調重心に合わせることで、重畳エリア1800の輝度調整を行うものである。他の重畳エリアについても同様である。
図19の左側には、画像E1の輝度ヒストグラム1811と画像F1の輝度ヒストグラム1812を示し、それぞれの階調重心を▲印で表している。両者の階調重心は輝度差hだけずれている。右側のグラフ1900は、入力輝度に対する出力輝度の変換式を示し、折れ線状の実線とする。破線は傾き1の直線で、入力と出力が等しい場合である。この変換式を用いて、画像F1の階調重心の調整を行う。
画像F1のヒストグラム1812の階調重心を画像E1のヒストグラム1811の階調重心に合わせるには、ヒストグラム1812の階調重心を左方向に補正量hだけずらせばよい。この操作は入出力グラフ上では、ヒストグラム1812の階調重心の入力輝度に対し、出力輝度を補正量hだけ減少させる変換を行う。一点のみの輝度を減少させると不自然な画像になるため、本例ではその周辺を含んで連続的に輝度を減少させる調整をしている。これにより、画像F1のヒストグラム1812の階調重心付近の輝度を持つ画素群が、hだけ輝度が小さい画素群に変換され、画像E1のヒストグラム1811の階調重心と一致させることができる。すなわち、画像F1の見た目の明るさを画像E1の明るさに近づけることができる。
図20は、重畳エリアに挟まれたエリアの輝度調整を行う方法を示す図である。ここでは、カメラ202の俯瞰画像F1~F3を例に説明する。
まず、重畳エリア1800については、図19に述べたように、画像E1と画像F1の輝度ヒストグラムを算出し、両者の階調重心の差h1を入出力グラフ2001を用いて補正する。これにより、輝度調整された画像F1’を得る。同様に重畳エリア1802についても、画像F3と画像G1の輝度ヒストグラムを算出し、両者の階調重心の差h3を入出力グラフ2003を用いて補正する。これにより、輝度調整された画像F3’を得る。この例では、画像F1と画像F3の補正方向が逆方向の場合を示しており、両者の入出力グラフ2001、2003の変換式も上下方向に逆になっている。
次に、2つの重畳エリア1800、1802の調整後の画像F1’、F3’に挟まれた画像F2の輝度調整を行う。画像F2のフロント側からリア側に向けた方向に座標軸zをとる。フロント端のz=0の位置では、入出力グラフ2001に基づいて輝度調整を行い、リア端のz=Zmaxの位置では、入出力グラフ2003に基づいて輝度調整を行う。途中の位置zでは、入出力グラフ2001と2003を位置zに応じて混合した入出力グラフ2002に基づいて、z=0~Zmaxの間を滑らかなグラデーションになるように輝度調整する。
具体的には、画像F1の階調重心をX1、補正量をh1とし、画像F3の階調重心をX3、補正量をh3とすると、位置zでの階調重心Xzと出力補正量hzは、
Xz=X1+(X3-X1)×z/Zmax
hz=h1+(h3-h1)×z/Zmax
で与えることで、画像F2の輝度調整を実施する。
Xz=X1+(X3-X1)×z/Zmax
hz=h1+(h3-h1)×z/Zmax
で与えることで、画像F2の輝度調整を実施する。
これにより、カメラ202の俯瞰画像F1~F3について、自然な階調で違和感ない輝度調整が可能となる。重畳エリアに挟まれた他の中間画像E2、G2、H2においても同様な処理を実施する。これにより、重畳エリアでの輝度補正に加え、その間のエリアについて連続的に補正して、4つのカメラの全ての画像の輝度補正を行う。
図21は、重畳エリア内の周囲部分での合成方法を示す図である。矩形の重畳エリアで画像のブレンド処理を行うと、ブレンド率によっては矩形の境界部分が切れ目として目立つ場合がある。そのため、重畳エリアの中央部は前記したブレンド率で合成処理を行うが、重畳エリア内の周囲部分については重畳エリアに隣接するエリアの画像と滑らかに接続するよう、勾配を付けて合成を行う。例として、図18の重畳エリア1800内における2つの周囲部分2101、2102を取り上げて説明する。
重畳エリア1800内の上側の周囲部分2101は、図18におけるフロントのカメラ201からの距離が近く、また部分画像E2との繋がりが強い。よって、その合成割合は、所定のブレンド率から勾配を付けて減らしていき、合成割合が0となる境界位置ではカメラ201の部分画像E1と繋げるようにする。
一方重畳エリア1800内の左側の周囲部分2102は、サイドのカメラ202からの距離が近く、また部分画像F2との繋がりが強い。よって、その合成割合は、所定のブレンド率から勾配を付けて減らしていき、合成割合が0となる境界位置ではカメラ202の部分画像F1と繋げるようにする。
このように合成することで、重畳エリア1800は隣接する画像E2や画像F2との繋ぎ目に切れ目がなく、自然に見えるようになる。なお、図18のように重畳エリア1800で画像E1とF1が重なる場合だけでなく、一部が重なる場合もその周囲を滑らかに合成することができる。
図22は、年齢による輝度コントラストの感覚の違いを説明する図である。図形2200を見た際に、20歳代の人はコントラスト2201のように、“C”の文字と周囲とのコントラストを大きく感じるが、70歳代の人はコントラスト2202のように、“C”の文字と周囲とのコントラストをあまり感じない、という実験結果が人間工学の分野で報告されている(アクセシブルデザイン技術の標準化(産総研):非特許文献)。この結果を考慮して、重畳エリアのブレンド率をユーザ(運転者)の年齢を反映させて決定する。なお、運転者の年齢情報は、メモリ部107に保持しておく。そして、高齢者ほど、重畳エリアの各画像特徴量が少しでも大きい方を優先して合成率を上げるような処理を行う。
例えば、運転者が若い場合には、図5Aの勾配の算出式でブレンド率を決定する。一方高齢者の場合には、図5Bのように勾配を大きくした算出式を用いてブレンド率を決定する。これより、ある程度物体検出の割合が増えてきたらその画像のブレンド率を急に増大させるような処理を行い、コントラストを上げるようにする。また、年齢に応じて、画像変換部105にてコントラスト強調処理の強度を切り替える処理を行っても良い。
本実施例におけるブレンド処理に関しては、画素位置毎に画像特徴量Q1、Q2を算出し、画素位置毎にブレンド率P1,P2を算出しても良い。また、重畳エリア全体でQ1、Q2を算出し、これに基づいて算出したP1,P2を一様なブレンド率として利用して合成しても良い。また合成結果に関して、さらにコントラストを強調して表現するような処理を施した後に合成をしても良いし、合成後にコントラスト強調処理を施しても良い。また、サイドカメラ202、204として、車両のサイドミラーをデジタル化したデジタルミラーを利用して俯瞰画像を生成しても良い。
以上説明した各実施例におけるブレンド処理おいて、さらに、ブレンド率の時間変化を制限することについて述べる。
図23は、ブレンド率の変化量制限を説明する図である。縦軸は2つのカメラ画像のうちの一方のブレンド率(P1またはP2)、横軸は時間である。横軸の時間は1目盛りを1フレーム期間として、フレーム期間数で表現している。
図23は、ブレンド率の変化量制限を説明する図である。縦軸は2つのカメラ画像のうちの一方のブレンド率(P1またはP2)、横軸は時間である。横軸の時間は1目盛りを1フレーム期間として、フレーム期間数で表現している。
まず、1フレーム毎に各実施例で説明したブレンド率の算出結果の例を説明する。図23の点線は、2フレーム目まで0.8だったブレンド率が、ブレンド率の算出により、3フレーム目に0.5に変化し、5フレーム目に再び0.8に戻り、6フレーム目に再び0.5に変化するという例を示している。このように、フレーム毎に各実施例で説明したブレンド率の算出方法をそのまま適用すると、例えば、2フレーム目と3フレーム目のブレンド率の変化は非常に急激になる。また、5フレーム目と6フレーム目の変化も急激であり、ノイズによってもこのような状況が生じえる。その結果、合成映像のちらつきがユーザに対し不快感を与える可能性がある。
これを改善するために、ブレンド率の算出処理の直前の結果から、次の算出処理の結果との差分(変化量)を所定の範囲に制限する。これを適用した場合の例を図23の実線で示し、図中のdは変化の制限量である。この例では、制限量dを直前のブレンド率の10%と設定している。すなわち、1フレーム期間のブレンド率の変化は直前のブレンド率の10%以内に制限される。例えば、各実施例で説明した算出方法で通常算出されるブレンド率が、直前に算出されたブレンド率の90%より小さくなる場合は、直前に算出されたブレンド率の90%を新たなブレンド率の算出結果とする。同様に、通常算出されるブレンド率が、直前に算出されたブレンド率の110%より大きくなる場合は、直前に算出されたブレンド率の110%を新たなブレンド率の算出結果とする。これにより、図23の2フレーム目から9フレーム目までの変化の過程を見れば明らかなように、穏やかで自然なブレンド率の変化を実現することができる。
この方法を用いることにより、ブレンド率の急激な変化を低減して、ユーザが感じる合成映像のちらつき感を低減または防止することが可能となる。なお、図23の例では、ブレンド率を1フレーム毎に算出することとしたが、1フィールドごとでもよく、所定数フレームについて1回という頻度でも構わない。
100:画像処理装置、
101:n個のカメラ、
102:デコード部、
103:バス、
104:CPU、
105:画像変換部、
106:画像検出部、
107:メモリ部、
108:エンコード部、
109:モニタ、
200:車両、
201:前方カメラ、
202:左サイドカメラ、
203:後方カメラ、
204:右サイドカメラ、
205:歩行者、
300,302,305,307:重畳エリア、
1300:車両情報取得部。
101:n個のカメラ、
102:デコード部、
103:バス、
104:CPU、
105:画像変換部、
106:画像検出部、
107:メモリ部、
108:エンコード部、
109:モニタ、
200:車両、
201:前方カメラ、
202:左サイドカメラ、
203:後方カメラ、
204:右サイドカメラ、
205:歩行者、
300,302,305,307:重畳エリア、
1300:車両情報取得部。
Claims (15)
- 複数のカメラの撮影画像を視点変換して得られる俯瞰画像を合成する画像変換部を備える画像処理システムであって、
前記複数のカメラの各撮影画像から画像特徴量を抽出する画像検出部を備え、
前記画像変換部は、前記複数のカメラで重複して撮影される重畳エリアについて、前記画像検出部にて抽出された画像特徴量に応じて前記重畳エリアの全体、または画素単位でブレンド率を設定して、前記重畳エリアに対応する俯瞰画像を前記ブレンド率で合成するとともに前記重畳エリアにおける各俯瞰画像の画像特徴量の相関に応じてブレンド率の設定方法を変更して合成することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリアにおける各画像の相関が弱いと判定した場合、前記各画像の画像特徴量が位置的に重なる部分があるか否かを判定し、重なる部分の有無に応じてブレンドの方法を切り替えて合成することを特徴とする画像処理システム。 - 請求項2に記載の画像処理システムにおいて、
前記画像変換部は、前記各画像の画像特徴量が位置的に重なる部分があると判定した場合、前記画像特徴量が大きい方の画像のブレンド率を大きく設定することを特徴とする画像処理システム。 - 請求項2に記載の画像処理システムにおいて、
前記画像変換部は、前記各画像の画像特徴量が位置的に重なる部分がないと判定した場合、前記画像特徴量が大きい方の画像を選択して合成することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリアにおける各画像の相関が強いと判定した場合、前記各カメラから前記重畳エリアまでの距離に応じてブレンド率を設定することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像検出部は、前記画像特徴量として各カメラ画像内の動きベクトルを検出し、
前記画像変換部は、前記重畳エリアにおける各画像の動きベクトル量に応じてブレンド率を設定することを特徴とする画像処理システム。 - 複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、
各カメラの画像から画像特徴量を抽出する画像検出部と、
抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成する画像変換部と、
当該画像処理システムを適用する車両の走行状態を示す車両制御情報を取得する車両情報取得部と、を備え、
該画像変換部は、前記取得した車両制御情報から前記重畳エリア内の危険度を設定し、危険度に応じた表示方式を組み合わせて前記合成した俯瞰画像を出力することを特徴とする画像処理システム。 - 請求項7に記載の画像処理システムにおいて、
前記車両制御情報として車両の進行方向、ハンドルの角度、車速のいずれかを含み、
前記画像変換部は、危険度を高く設定したエリアでは表示する画像のコントラストを向上させて合成することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像検出部は、前記画像特徴量として各カメラ画像の輝度ヒストグラムと階調重心を算出し、
前記画像変換部は、算出した輝度ヒストグラムと階調重心に応じて、前記重畳エリアにおける各画像の階調重心が一致するように輝度を調整することを特徴とする画像処理システム。 - 請求項9に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリアにおける輝度調整結果を用いて、前記重畳エリア以外のエリアの画像の輝度をグラデーションで繋ぐように調整することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリア内の周囲部分について、前記重畳エリアに隣接するエリアに向けて前記ブレンド率に勾配を付けて変化させ画像合成することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像変換部は、ユーザの年齢に応じて、前記重畳エリアに適用するブレンド率の算出式の勾配を変更して画像合成することを特徴とする画像処理システム。 - 請求項1に記載の画像処理システムにおいて、
前記画像変換部は、所定の期間毎に前記ブレンド率を算出し、当該所定の期間前後のブレンド率の変化を所定範囲以内に制限することを特徴とする画像処理システム。 - 複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理方法において、
各カメラの画像から画像特徴量を抽出するステップと、
抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成するステップと、を備え、
前記俯瞰画像を合成するステップでは、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする画像処理方法。 - 複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理方法において、
各カメラの画像から画像特徴量を抽出するステップと、
抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成するステップと、
当該画像処理システムを適用する車両の走行状態を示す車両制御情報を取得するステップと、を備え、
該俯瞰画像を合成するステップでは、前記取得した車両制御情報から前記重畳エリア内の危険度を設定し、危険度に応じた表示方式を組み合わせて前記合成した俯瞰画像を出力することを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/439,088 US9485438B2 (en) | 2012-10-31 | 2013-10-29 | Image processing system with image conversion unit that composites overhead view images and image processing method |
CN201380056890.1A CN104756487B (zh) | 2012-10-31 | 2013-10-29 | 图像处理系统和图像处理方法 |
EP13850153.1A EP2916540B1 (en) | 2012-10-31 | 2013-10-29 | Image processing system and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-239819 | 2012-10-31 | ||
JP2012239819A JP6084434B2 (ja) | 2012-10-31 | 2012-10-31 | 画像処理システム及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014069471A1 true WO2014069471A1 (ja) | 2014-05-08 |
Family
ID=50627373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/079297 WO2014069471A1 (ja) | 2012-10-31 | 2013-10-29 | 画像処理システム及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9485438B2 (ja) |
EP (1) | EP2916540B1 (ja) |
JP (1) | JP6084434B2 (ja) |
CN (1) | CN104756487B (ja) |
WO (1) | WO2014069471A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8416300B2 (en) * | 2009-05-20 | 2013-04-09 | International Business Machines Corporation | Traffic system for enhancing driver visibility |
US9478054B1 (en) * | 2013-11-09 | 2016-10-25 | Google Inc. | Image overlay compositing |
EP2884460B1 (en) | 2013-12-13 | 2020-01-01 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium |
JP6371553B2 (ja) * | 2014-03-27 | 2018-08-08 | クラリオン株式会社 | 映像表示装置および映像表示システム |
KR101566966B1 (ko) * | 2014-05-27 | 2015-11-06 | 주식회사 피엘케이 테크놀로지 | 보행자 인식 가능한 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체 |
US10449900B2 (en) | 2014-06-20 | 2019-10-22 | Clarion, Co., Ltd. | Video synthesis system, video synthesis device, and video synthesis method |
JP6411100B2 (ja) * | 2014-07-08 | 2018-10-24 | アルパイン株式会社 | 車両周囲画像生成装置および車両周囲画像生成方法 |
KR101614247B1 (ko) * | 2015-05-20 | 2016-04-29 | 주식회사 와이즈오토모티브 | 파노라마 영상의 접합면 표시장치 |
JP6408434B2 (ja) * | 2015-07-14 | 2018-10-17 | 株式会社キクテック | 道路標示体劣化検出方法 |
JP2017033402A (ja) * | 2015-08-04 | 2017-02-09 | 株式会社デンソー | 車載表示制御装置、車載表示制御方法 |
CN105894449B (zh) * | 2015-11-11 | 2019-11-08 | 法法汽车(中国)有限公司 | 克服图像融合中颜色突变的方法及系统 |
KR102510821B1 (ko) * | 2016-02-05 | 2023-03-16 | 삼성전자주식회사 | 영상 처리 방법, 장치 및 기록 매체 |
CN107292642B (zh) * | 2016-03-31 | 2020-12-08 | 苏宁云计算有限公司 | 一种基于图像的商品推荐方法及系统 |
DE102016112483A1 (de) * | 2016-07-07 | 2018-01-11 | Connaught Electronics Ltd. | Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild, das ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs zeigt, Fahrerassistenzsystem sowie Kraftfahrzeug |
DE102016121755A1 (de) * | 2016-11-14 | 2018-05-17 | Connaught Electronics Ltd. | Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug |
JP6817804B2 (ja) * | 2016-12-16 | 2021-01-20 | クラリオン株式会社 | 区画線認識装置 |
WO2018124268A1 (en) * | 2016-12-28 | 2018-07-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium |
KR102551099B1 (ko) * | 2017-01-13 | 2023-07-05 | 엘지이노텍 주식회사 | 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량 |
EP3664432B1 (en) * | 2017-08-02 | 2021-09-01 | Sony Group Corporation | Image processing device and method, imaging device,, and program |
DE102017218405A1 (de) * | 2017-10-13 | 2019-04-18 | Robert Bosch Gmbh | Verfahren zum Verarbeiten von Bildern |
DE112017008125T5 (de) * | 2017-10-13 | 2020-07-16 | Mitsubishi Electric Corporation | Bild-Synthesevorrichtung und Bild-Syntheseverfahren |
DE102018202656A1 (de) * | 2018-02-22 | 2019-08-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Erstellen von Panoramabildern |
CN110633704B (zh) * | 2018-06-25 | 2022-07-26 | 京东方科技集团股份有限公司 | 货架及货架管理系统 |
JP7120835B2 (ja) * | 2018-07-18 | 2022-08-17 | トヨタ自動車株式会社 | 画像処理装置 |
CN110874817B (zh) * | 2018-08-29 | 2022-02-01 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、设备、介质 |
TWI676964B (zh) * | 2018-12-11 | 2019-11-11 | 晶睿通訊股份有限公司 | 影像拼接方法及其監控攝影裝置 |
JP2020120194A (ja) * | 2019-01-21 | 2020-08-06 | キヤノン株式会社 | 撮像装置、撮像方法およびプログラム |
US11926263B2 (en) * | 2019-04-18 | 2024-03-12 | Mitsubishi Electric Corporation | Vehicle surrounding area image generation device, vehicle surrounding area display system, and vehicle surrounding area display method |
JP6998360B2 (ja) * | 2019-12-13 | 2022-01-18 | 本田技研工業株式会社 | 車両用表示装置及び駐車支援システム |
KR102281609B1 (ko) * | 2020-01-16 | 2021-07-29 | 현대모비스 주식회사 | 어라운드뷰 합성 시스템 및 방법 |
DE112020006508T5 (de) * | 2020-03-24 | 2022-11-17 | Mitsubishi Electric Corporation | Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren |
JP7038935B2 (ja) * | 2020-03-25 | 2022-03-18 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR102489290B1 (ko) * | 2020-11-20 | 2023-01-17 | 부산대학교 산학협력단 | 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법 |
DE102022201508A1 (de) * | 2022-02-14 | 2023-08-17 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Verarbeiten von Daten |
CN114750775B (zh) * | 2022-03-24 | 2022-11-15 | 合肥雷能信息技术有限公司 | 一种基于毫米波雷达的道路车辆防撞警示系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354468A (ja) | 2001-05-30 | 2002-12-06 | Clarion Co Ltd | 画像合成方法及び装置並び車両周囲状況モニタ装置 |
JP2007041791A (ja) | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
JP2007295043A (ja) * | 2006-04-20 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置 |
JP2009289185A (ja) | 2008-05-30 | 2009-12-10 | Sanyo Electric Co Ltd | 画像処理装置 |
WO2010119734A1 (ja) | 2009-04-17 | 2010-10-21 | 三洋電機株式会社 | 画像処理装置 |
JP2012086684A (ja) * | 2010-10-20 | 2012-05-10 | Aisin Seiki Co Ltd | 駐車支援装置 |
WO2012144053A1 (ja) * | 2011-04-21 | 2012-10-26 | トヨタ自動車株式会社 | 車両用周辺障害物表示装置及び車両用周辺障害物表示方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3431678B2 (ja) * | 1994-02-14 | 2003-07-28 | 三菱自動車工業株式会社 | 車両用周囲状況表示装置 |
JP3300340B2 (ja) * | 1999-09-20 | 2002-07-08 | 松下電器産業株式会社 | 運転支援装置 |
JP2007274377A (ja) * | 2006-03-31 | 2007-10-18 | Denso Corp | 周辺監視装置、プログラム |
US7728879B2 (en) | 2006-08-21 | 2010-06-01 | Sanyo Electric Co., Ltd. | Image processor and visual field support device |
JP2009040107A (ja) * | 2007-08-06 | 2009-02-26 | Denso Corp | 画像表示制御装置及び画像表示制御システム |
WO2010137265A1 (ja) * | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 車両周囲監視装置 |
JP5503660B2 (ja) * | 2009-09-24 | 2014-05-28 | パナソニック株式会社 | 運転支援表示装置 |
JP5699679B2 (ja) | 2011-02-24 | 2015-04-15 | 富士通セミコンダクター株式会社 | 画像処理装置、画像処理システム、及び画像処理方法 |
JP5483120B2 (ja) | 2011-07-26 | 2014-05-07 | アイシン精機株式会社 | 車両周辺監視システム |
-
2012
- 2012-10-31 JP JP2012239819A patent/JP6084434B2/ja active Active
-
2013
- 2013-10-29 CN CN201380056890.1A patent/CN104756487B/zh active Active
- 2013-10-29 WO PCT/JP2013/079297 patent/WO2014069471A1/ja active Application Filing
- 2013-10-29 US US14/439,088 patent/US9485438B2/en active Active
- 2013-10-29 EP EP13850153.1A patent/EP2916540B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354468A (ja) | 2001-05-30 | 2002-12-06 | Clarion Co Ltd | 画像合成方法及び装置並び車両周囲状況モニタ装置 |
JP2007041791A (ja) | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
JP2007295043A (ja) * | 2006-04-20 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 車両周囲監視装置 |
JP2009289185A (ja) | 2008-05-30 | 2009-12-10 | Sanyo Electric Co Ltd | 画像処理装置 |
WO2010119734A1 (ja) | 2009-04-17 | 2010-10-21 | 三洋電機株式会社 | 画像処理装置 |
JP2012086684A (ja) * | 2010-10-20 | 2012-05-10 | Aisin Seiki Co Ltd | 駐車支援装置 |
WO2012144053A1 (ja) * | 2011-04-21 | 2012-10-26 | トヨタ自動車株式会社 | 車両用周辺障害物表示装置及び車両用周辺障害物表示方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2916540B1 (en) | 2018-05-30 |
JP6084434B2 (ja) | 2017-02-22 |
CN104756487B (zh) | 2018-05-01 |
CN104756487A (zh) | 2015-07-01 |
JP2014090349A (ja) | 2014-05-15 |
US20150281594A1 (en) | 2015-10-01 |
EP2916540A1 (en) | 2015-09-09 |
EP2916540A4 (en) | 2016-10-19 |
US9485438B2 (en) | 2016-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6084434B2 (ja) | 画像処理システム及び画像処理方法 | |
WO2015146230A1 (ja) | 映像表示装置および映像表示システム | |
US20200148114A1 (en) | Vehicular vision system with reduced distortion display | |
JP6091586B1 (ja) | 車両用画像処理装置および車両用画像処理システム | |
JP5483120B2 (ja) | 車両周辺監視システム | |
KR101389884B1 (ko) | 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템 | |
US20160280136A1 (en) | Active-tracking vehicular-based systems and methods for generating adaptive image | |
WO2012096058A1 (ja) | 画像生成装置 | |
JP5171723B2 (ja) | 障害物検知装置、および当該装置を搭載した車両 | |
JP5760999B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5853457B2 (ja) | 車両周辺監視システム | |
US11140364B2 (en) | Sensor fusion based perceptually enhanced surround view | |
JP6733647B2 (ja) | 画像表示装置 | |
KR20090109437A (ko) | 차량주행중 영상정합 방법 및 그 시스템 | |
WO2018225518A1 (ja) | 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム | |
JP5516997B2 (ja) | 画像生成装置 | |
JP4830380B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
KR20100081964A (ko) | 주변 영상 생성 방법 및 장치 | |
JP2017011633A (ja) | 撮像装置 | |
US20230099481A1 (en) | Display control apparatus, vehicle, and display control method | |
JP7108855B2 (ja) | 画像合成装置、及び、制御方法 | |
CN111355880B (zh) | 半导体器件、图像处理系统和方法及计算机可读存储介质 | |
WO2016170164A1 (en) | Image synthesizer for a driver assisting system | |
US20210287335A1 (en) | Information processing device and program | |
EP3306373A1 (en) | Method and device to render 3d content on a head-up display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13850153 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14439088 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013850153 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |