JP6636963B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6636963B2
JP6636963B2 JP2017004522A JP2017004522A JP6636963B2 JP 6636963 B2 JP6636963 B2 JP 6636963B2 JP 2017004522 A JP2017004522 A JP 2017004522A JP 2017004522 A JP2017004522 A JP 2017004522A JP 6636963 B2 JP6636963 B2 JP 6636963B2
Authority
JP
Japan
Prior art keywords
image
images
rectification
unit
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017004522A
Other languages
English (en)
Other versions
JP2018112522A (ja
Inventor
豊 大木
豊 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Priority to JP2017004522A priority Critical patent/JP6636963B2/ja
Priority to CN201710728180.9A priority patent/CN108616734B/zh
Priority to EP17187941.4A priority patent/EP3349443A1/en
Priority to US15/686,442 priority patent/US10510163B2/en
Publication of JP2018112522A publication Critical patent/JP2018112522A/ja
Application granted granted Critical
Publication of JP6636963B2 publication Critical patent/JP6636963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。
従来、2以上のカメラにより取得された複数の画像間において対応する点(以下、対応点という)を求めて、カメラ同士の位置関係と各画像上の対応点の位置から、被写体の3次元位置を計測する技術がある。この技術は、車載用の先進ドライバーアシスタンスシステム、携帯機器、ゲーム機などの様々な分野で利用される。特に、2つのカメラを用いたステレオカメラシステム(以下、ステレオカメラともいう)は、広く利用されている。
例えば、エピポーラ拘束条件に従って対応点を探索することにより、探索範囲を一次元に絞れて効率的な対応点の探索ができるため、多くのステレオカメラにおいては、この条件に従って探索が行われる。
レクティフィケーション回路は、一方の画像上の点が他方の画像上にあるエピポーラライン等のサーチライン上に存在するように、2つのカメラにより得られた2つの画像を平行化する。レクティフィケーション回路には、2つの画像を平行化させるためのパラメータが与えられる。このパラメータは、例えばステレオカメラの製造時に調整装置等を用いたキャリブレーションにより決定される。
しかし、調整装置の治具などの温度特性、振動特性、ステレオカメラの経年変化などにより、パラメータがずれて適切でなくなる場合がある。
このようなずれを修正するために、従来は、2つの画像上の特徴点あるいは特徴領域の算出し、対応点ペアから非線形最適化処理等を行う。レクティフィケーションのためのパラメータ誤差の有無の判定に時間が掛かり、結果として、パラメータ誤差の補正処理にも時間が掛かってしまう問題がある。
特開2004−354257号公報
そこで、実施形態は、レクティフィケーションのためのパラメータ誤差の有無の判定あるいはパラメータ誤差の補正のための処理負荷が従来に比べて小さい画像処理装置及び画像処理方法を提供することを目的とする。
実施形態の画像処理装置は、第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化を行うレクティフィケーション部と、所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記第1および前記第2の画像のステレオマッチング処理を行って、前記X方向に直交するY方向におけるy視差を算出して出力するマッチング部と、前記ステレオマッチング処理された前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成するずれ量情報作成部と、前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第1および前記第2の画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部と、を有する。
実施形態に係わる画像処理装置のブロック図である。 実施形態に係わる、2つの画像間の視差を説明するための図である。 実施形態に係わる、ステレオマッチング処理により得られるx視差xpとy視差ypを説明するための図である。 実施形態に係わる誤差マップの例を示す図である。 実施形態に係わる、画像が反時計回りに回転している画像の例を示す図である。 実施形態に係わる、ブロック領域毎のずれ量を示す誤差マップの例を示す図である。 実施形態に係わる、誤差マップに基づく平行化パラメータ情報の更新処理の例を説明するための図である。 実施形態に係わる、誤差マップに基づく平行化パラメータ情報の更新処理の他の例を説明するための図である。
以下、図面を参照して実施形態を説明する。
(構成)
図1は、本実施形態に係わる画像処理装置のブロック図である。
画像処理装置1は、2つのカメラ11、12からの画像信号を受信するレクティフィケーション部13と、マッチング部14と、誤差マップ作成部15と、平行化パラメータ誤差判定部16と、パラメータ補正部17と、記憶部18とを含む。画像処理装置1は、マッチング部14等の回路を含む半導体装置である。
なお、記憶部18を、マッチング部14等を含む半導体装置とは別の半導体装置(例えばDRAM)にしてもよい。
さらになお、レクティフィケーション部13を、マッチング部14等を含む半導体装置とは別の半導体装置にしてもよい。
図1において点線で示すカメラ11、12は、ステレオカメラシステムの一部であり、2つの画像からステレオ計測が可能なように互いに離れて配置されている。各カメラ11,12は、撮像素子として例えばCMOSイメージセンサ11a,12aを有する。
レクティフィケーション部13は、平行化パラメータ情報PPを保持し、平行化パラメータ情報PPに基づいて画像G1,G2の平行化処理を行う回路である。平行化パラメータ情報PPは、レクティフィケーション部13のレジスタ13aに保持される。
具体的には、平行化パラメータ情報PPは、ステレオカメラの製造のキャリブレーション時に設定される。レクティフィケーション部13は、画像G1,G2上で、2本のエピポーララインをX軸に平行にし、かつ対応するエピポーララインが同一のy座標となるように、画像G1,G2の両方あるいは一方を修正する。このようなエピポーラ拘束を利用して対応点の探索範囲をエピポーラライン上に限定することにより、処理量の削減と誤マッチングの確率を減らしている。
すなわち、レクティフィケーション部13は、キャリブレーション時に設定された平行化パラメータ情報PPに基づいて、一方の画像上の点が他方の画像上にあるエピポーラライン上に存在するように、画像G1,G2の一方あるいは両方に対して平行化処理を行う。平行化パラメータ情報PPは、画像G1,G2の一方あるいは両方を回転と平行移動の少なくとも一方を行うための、画素毎あるいはブロック領域毎の補正データからなる。
また、レクティフィケーション部13は、補正信号を用いて、平行化パラメータ情報PPを更新する機能も有している。
レクティフィケーション部13は、例えば、平行化パラメータ情報PPに応じて、入力画素と出力画素の対応関係を示すテーブルを選択し、そのテーブルを用いて、画像G1,G2の両方あるいは一方に対して画像変換を行う。画像変換には、ホモグラフィ変換も含まれる。
なお、画像変換は、変換式を用いて行ってもよく、その場合は、変換式中のパラメータが、キャリブレーション情報に基づいて変更される。
さらになお、画像変換処理後に、各画像データに対してフィルタリング処理を行ってもよい。
レクティフィケーション部13は、平行化処理が施された画像G1c、G2cの画像信号をマッチング部14へ出力する。
マッチング部14は、一方の画像上の各画素が、他方の画像上のどの位置にあるかを判定するためのステレオマッチング処理を実行し、視差情報を出力する回路である。すなわち、マッチング部14は、カメラ11,12により撮像して得られた2つの画像のステレオマッチング処理を行う。
具体的には、マッチング部14は、一方の画像上の各画素について、他方の画像上を、複数ラインを含む探索ウインドウを移動させながら、対応画素あるいは対応ブロックとの一致度を算出する。算出された一致度から、マッチング部14は、各画素のx方向の視差情報(以下、x視差という)xp及びy方向の視差情報(以下、y視差という)ypを出力する。x視差xpおよびy視差ypは、例えばピクセル数で示される。
なお、マッチング部14は、画素毎の視差情報の変わりに、所定の複数の画素、例えば3行3列の9画素からなるブロック毎の視差情報を出力するようにしてもよい。
図2を用いて、x視差及びy視差について説明する。図2は、2つの画像間の視差を説明するための図である。
画像G1cは、画像G1に対して平行化処理された画像であり、画像G2cは、画像G2に対して平行化処理された画像である。
マッチング部14は、矢印Aで示すように、所定サイズのブロック(あるいはウインドウ)Wを画像G2c中で、X方向に移動させ、かつX方向の移動が終了すると、次のラインに移ってX方向に移動させながら、画像G1c中の各画素の一致度を算出していくステレオマッチング処理を行う。マッチング部14は、画像G1c中の全ての画素に対して、画像G2c中における一致度を算出する。所定サイズのブロックWは、x方向およびy方向に複数画素分の長さを有し、例えば、ブロックWは、k×mの画素からなる。k、mは、正の整数である。よって、マッチング部14は、他の画像中において、一方の画像中のある画素と、同一のy座標を通りx軸に平行なラインのみでなく、ブロックWに含まれる上下の数ラインも走査し、求めた対応点のx視差xpとy視差ypを算出する。
図3は、ステレオマッチング処理により得られるx視差xpとy視差ypを説明するための図である。
ブロックWは、k×mのブロックであり、ブロックW内で、2つの画像の一方における点(画素)の対応点が、ステレオマッチング処理により検出される。図3では、一方の画像における点P1と、他方の画像における対応点P2は、斜線で示されている。
図3は、対応点P2が、点P1に対し、Y方向に「+1」ピクセル、X方向に「+5」ピクセルの位置にあることを示している。図3では、x視差xpが「+5」であり、y視差ypは「+1」である。
y視差ypは、2つの画像についてのサーチラインとしてのエピポーララインに直交する方向における2つの画像のずれ量を示す。すなわち、ずれ量は、一方の画像中の画素毎の、他方の画像中の対応する画素に対する視差の値である。
なお、ここでは、サーチラインは、X軸に平行であり、ずれ量は、エピポーララインに直交するY軸方向におけるずれ量であるが、サーチラインは、X軸に平行でなくてもよい。
よって、マッチング部14は、画像G1c中と画像G2c中の画素間の一致度を算出し、一致度が高い画素を決定すると共に、決定した画素についてのx視差xpとy視差ypを算出して出力する。その結果、マッチング部14から、画像G1cの各画素について、画像G2cにおけるx視差xpとy視差ypが出力される。
例えば、図2に示すように、画像G1c中の人HPの点P1は、画像G2c中の人HPの点P2とは、X方向においてx視差xpだけ、Y方向においてy視差ypだけ、ずれている。
マッチング部14から出力されるx視差xpの情報は、距離計測のための他の回路(図示せず)に供給される。正しくキャリブレーションが行われているとき、x視差xpの情報を用いて、各画素の正確な距離情報を得ることができる。
以上のように、マッチング部14は、ブロックWを用いたステレオマッチング処理において、x視差xpだけでなく、y視差ypも算出するので、そのy視差ypを用いて、誤差マップが作成される。
y視差ypの情報は、誤差マップ作成部15に供給される。
誤差マップ作成部15は、y視差ypを用いて誤差マップを作成する回路である。誤差マップ作成部15は、作成した誤差マップの情報を平行化パラメータ誤差判定部16と、パラメータ補正部17へ出力する。
誤差マップMは、X−Y平面上において、y視差ypのデータをx視差xpの画素位置に配置して作成される。誤差マップMは、画像G1c中のライン上の各画素に対する、画像G2c中のその対応画素の位置(x視差xp)の、Y方向におけるずれ量、すなわちy視差yp、を示すマップである。
図4は、誤差マップの例を示す図である。なお、図4は、分かり易くするために、8×10画素の誤差マップを示している。図4の誤差マップMは、y視差ypが「−2」から「+2」の範囲の値を有している。「−2」は、画像G2c中の対応点が、Y方向においてマイナス2画素分だけずれた位置、言い換えれば下方向に2画素分だけ下がった位置にあることを示している。
「+1」は、画像G2c中の対応点が、Y方向においてプラス1画素分だけずれた位置、言い換えれば上方向に1画素分だけ上がった位置にあることを示している。
「0」は、画像G2c中の対応点が、Y方向においてずれがないことを示している。
なお、画像G1c、G2cの周辺部では、対応点が存在しない画素があるが、その場合は、近傍の画素のy視差ypの値を、対応点が存在しない画素のy視差ypの値としたり、対応点が存在しないことを示す値で埋めたりするなどの処理が行われる。
図4の誤差マップMでは、右側がプラスの誤差を有し、中央部は誤差を有さず、左側がマイナスの誤差を有している。つまり、画像G2cは、画像G1cに対して反時計方向にずれていることを示している。
図5は、画像G2cが反時計方向にずれている画像の例を示す図である。図5では、画像のずれを説明するために、画像G2c中の人HPが、画像G2cの中心点の回りにずれていることが、誇張して示されている。
図示しないが、画像G2cが画像G1cに対して時計方向にずれている場合は、誤差マップEMでは、右側がマイナスの誤差を有し、中央部は誤差を有さず、左側がプラス誤差を有する。
なお、マッチング部14が一致度を算出するときに、マッチングの確信度を示す情報を出力する場合は、マッチング確信度を重み係数として、y視差ypの値に乗算して、y視差ypを補正するようにしてもよい。
図6は、ブロック領域毎のずれ量を示す誤差マップの例を示す。図6の誤差マップEMは、図4の誤差マップMを、4×6のブロック領域に分けた場合を示している。
図6の誤差マップEMの場合、図4の誤差マップMを24のブロック領域に分割し、各ブロック領域に含まれるy視差ypの平均値を算出し、算出された平均値をそのブロック領域のy視差ypの値としている。図6において、太字の数字が、各ブロック領域のy視差ypを示している。すなわち、ずれ量は、各画像において、複数に分割されたブロック領域内の画素毎のずれ量の統計値(ここでは平均値)である。
なお、ここでは、各ブロック領域のy視差ypは、各ブロック領域に含まれる複数の画素のy視差ypの平均値であるが、他の統計量を用いてもよい。
さらになお、各ブロック領域に重み付けをしてもよい。例えば、画像の周辺部に近いブロック領域程、重みを大きくし、画像の中央部に近いブロック領域の重みは、小さくするような重み付けを、行ってもよい。
誤差マップEMは、平行化パラメータ誤差判定部16とパラメータ補正部17へ供給される。誤差マップEMは、サーチラインに直交する方向における2つの画像のずれ量の分布を示す情報である。なお、誤差マップ作成部15は、誤差マップEMを作成せずに、誤差マップMをそのまま、平行化パラメータ誤差判定部16とパラメータ補正部17へ出力してもよい。
以上のように、誤差マップ作成部15は、サーチラインに直交する方向における2つの画像のずれ量を示すずれ量情報を作成するずれ量情報作成部を構成する。
平行化パラメータ誤差判定部16は、誤差マップEMに基づいて、平行化の誤差が生じているか否かを判定する回路である。
ここでは、誤差マップEMが入力された場合について説明する。所定の閾値THに基づいて、平行化パラメータ誤差判定部16は、平行化誤差が発生しているか否かを判定する。閾値THは、例えば、プラス又はマイナス方向に余分に探索するライン数である。平行化パラメータ誤差判定部16は、全ブロック領域のy視差ypの和を、ブロック領域数で除してy視差ypの平均値を算出し、y視差ypの平均値の絶対値が閾値TH以上であるか否かを判定する。
なお、平行化誤差が発生しているか否かの判定は、y視差ypが閾値TH以上のブロック領域の数が複数あるか否か、周辺部のブロック領域のみについて視差ypが閾値TH以上のブロック領域の数が複数あるか否か、あるいは画像の四隅のブロック領域のみについて視差ypが閾値TH以上のブロック領域の数が複数あるか否か、に基づいて、行うようにしてもよい。
以上のように、平行化パラメータ誤差判定部16は、誤差マップEMに基づいて、2つの画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部を構成する。
平行化パラメータ誤差判定部16は、平行化誤差が発生していると判定すると、パラメータ補正部17に、補正指示信号CSを出力する。
さらに、平行化パラメータ誤差判定部16は、平行化誤差が発生していると判定したときは、誤差マップEMを、記憶部18に書き込む。よって、記憶部18には、平行化誤差が発生していると判定されたときの誤差マップEMが複数記憶される。
なお、平行化パラメータ誤差判定部16は、平行化誤差が発生していると判定したときは、図1において二点鎖線で示すように、画像処理装置1とは別の液晶表示器などの表示部19に、メッセージ表示などで、ユーザに通知するようにしてもよい。
パラメータ補正部17は、補正指示信号CSを受信すると、誤差マップEMを用いて、平行化パラメータ情報PPを補正する補正信号を生成してレクティフィケーション部13へ出力する。レクティフィケーション部13は、その補正信号に基づいて、平行化パラメータ情報PPを更新する。補正信号は、誤差マップEMに基づいて、2つの画像の少なくとも一つの画像に対する平行化を補正するための信号である。
なお、ここでは、パラメータ補正部17は、補正信号をレクティフィケーション部13へ出力しているが、補正した平行化パラメータ情報PPをレクティフィケーション部13に書き込むようにしてもよい。
また、パラメータ補正部17は、誤差マップEMに加えて、記憶部18に記憶された過去の誤差マップEMの情報も用いて、平行化パラメータ情報PPを更新するようにしてもよい。
過去の誤差マップEMも用いることにより、瞬間的なノイズのような大きな誤差により、平行化パラメータ情報PPが補正されるのを防止することができる。例えば、過去の(例えば前回の)誤差マップEMと誤差マップ作成部15からの誤差マップEMとの平均値を用いて平行化パラメータ情報PPを更新する。
さらになお、記憶部18に記憶した複数の誤差マップEMの時間平均を取ることにより、過去の誤差マップEMの平滑化を行ってもよい。
また、記憶部18に複数の誤差マップEMとそれに応じた補正情報とを予め登録して記憶しておく。そして、パラメータ補正部17は、誤差マップ作成部15からの誤差マップEMに一致あるいは類似する登録誤差マップ情報を抽出し、抽出された登録誤差マップ情報に対応する補正情報を用いて、平行化パラメータ情報PPを更新するようにしてもよい。なお、登録誤差マップ情報の抽出は、誤差の数値の比較を行うことでもよいし、数値の符号のみの比較を行うことでもよい。
さらにまた、過去の誤差マップEMの情報を利用して、平行化パラメータ情報PPの安定度の評価を行い、平行化パラメータ情報PPが不安定なときは、表示部19にその旨のメッセージを表示し、ユーザに通知することもできる。
ここで、平行化パラメータ情報PPの更新について説明する。
平行化パラメータ情報PPは、2つの画像G1,G2の一方あるいは両方を回転と並進移動の少なくとも一方を行うためのブロック領域毎の補正データであり、画像G1,G2の一方あるいは両方におけるずれ量を示すデータである。
補正指示信号CSを受信したパラメータ補正部17は、平行化パラメータ情報PPに、誤差マップ作成部15から受信した誤差マップEMの情報を加算することにより、2つの画像G1,G2の少なくとも一つにおけるずれ量を更新する。
図7は、誤差マップに基づく平行化パラメータ情報の更新処理の例を説明するための図である。なお、図7は、分かり易くするために、4×5からなる複数のブロック領域の場合の誤差マップを示している。
図7の平行化パラメータ情報PPは、画像G1,G2における一方の画像に対する他方の画像のブロック領域毎のずれ量である。平行化パラメータ情報PPは、調整装置の治具などの温度特性、振動特性などや、ステレオカメラの経年変化などにより、正しい値からずれる場合がある。そこで、図7では、平行化パラメータ情報PPに誤差マップEMがブロック領域毎に加算されて、ずれ量が正しい値に調整される。
図8は、誤差マップに基づく平行化パラメータ情報の更新処理の他の例を説明するための図である。図8の平行化パラメータ情報PPは、画像G1,G2における両方の画像のブロック領域毎のずれ量である。画像G1についての平行化パラメータ情報PP1と画像G2についての平行化パラメータ情報PP2が、ステレオカメラの製造時に決定されている。
そこで、図8では、誤差マップEM中の各ブロック領域の値を1/2にした誤差マップEM1が生成される。そして、平行化パラメータ情報PP1には、誤差マップEM1が加算され、画像G2についての平行化パラメータ情報PP2には、誤差マップEM1が減算されて、ずれ量が正しい値に調整される。
なお、ここでは、パラメータ補正部17は、誤差マップEMを用いて、平行化パラメータ情報PPを更新しているが、過去の誤差マップEMpも考慮して、平行化パラメータ情報PPを更新するようにしてもよい。
例えば、過去の誤差マップEMpのトレンドから、誤差マップEM中の各値の変化が収束して0に近くなるように、画像G1,G2のブロック領域毎のずれ量に対する加減算の割合を、1/3と2/3、1/4と3/4等に調整するようにしてもよい。
(効果)
実施形態によれば、レクティフィケーションのためのパラメータ誤差の有無の判定あるいはパラメータ誤差の補正のための処理負荷が従来に比べて小さい画像処理装置及び画像処理方法を提供することができる。
実施形態の画像処理装置によれば、処理負荷が小さいので、オンラインで、すなわちステレオカメラシステムの動作中に動的にキャリブレーションを行うこともできる。また、画像処理装置の回路規模も小さくなる。
また、ステレオマッチング処理において算出されるy視差ypを用いて誤差マップMを作成するので、誤差マップ作成の処理が軽い。
さらに、平行化パラメータ誤差判定部16は、誤差マップEMに基づいて、平行化の誤差が生じているか否かを判定する。平行化誤差が発生していると判定されたときだけ、パラメータ補正部17はパラメータの補正を行い、常時パラメータ補正処理を実行しない。したがって、消費電力の削減になるだけでなく、リソースを他のアプリケーションが利用できるという効果もある。
なお、図1の画像処理装置1の各ブロックは、ハードウエア回路であるが、中央処理装置(すなわちCPU)と、ROM及びRAMを利用してソフトウエアプログラムで、各ブロックの機能を実現するようにしてもよい。その場合、レクティフィケーション部、マッチング部、誤差マップ作成部、平行化パラメータ誤差判定部、及びパラメータ補正部の各ブロックの機能に対応するプログラムがROMに格納され、CPUが各プログラムをROMから読み出して、RAMに展開して実行することにより、各ブロックに対応する機能が実現される。
次に、実施形態の変形例を説明する。
(変形例1)
変形例1として、画像処理装置1が平行化パラメータ誤差判定部16を有さず、パラメータ補正部17が、誤差マップEM1に基づいて常時あるいは周期的にパラメータ補正を行うようにしてもよい。この場合、画像処理装置1は、カメラ11,12からのフレーム毎にレクティフィケーションパラメータの誤差補正処理を行うことができる。
(変形例2)
変形例2として、画像処理装置1がパラメータ補正部17を有さず、平行化パラメータ誤差判定部16のみを有し、パラメータ異常を検知できるようにしてもよい。
(変形例3)
変形例2として、各画像の中央部を含む所定の割合の部分におけるy視差ypを算出するようにしてもよいし、あるいは各画像の周辺領域の部分におけるy視差ypを算出するようにしてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 画像処理装置、11,12 カメラ、11a,12a イメージセンサ、13 レクティフィケーション部、13a レジスタ、14 マッチング部、15 誤差マップ作成部、16 平行化パラメータ誤差判定部、17 パラメータ補正部、18 記憶部、19 表示部。

Claims (6)

  1. 第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化を行うレクティフィケーション部と、
    所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記第1および前記第2の画像のステレオマッチング処理を行って、前記X方向に直交するY方向におけるy視差を算出して出力するマッチング部と、
    前記ステレオマッチング処理された前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成するずれ量情報作成部と、
    前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第1および前記第2の画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部と、
    を有する画像処理装置。
  2. 前記ずれ量情報に基づいて、前記レクティフィケーションの誤差を補正する補正信号を生成するパラメータ補正部を、更に有する請求項1に記載の画像処理装置。
  3. 前記ずれ量情報に基づいて、前記第1および前記第2の画像の平行化を行う前記レクティフィケーション部のパラメータを補正するパラメータ補正部を、更に有する請求項1に記載の画像処理装置。
  4. 第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化を行うレクティフィケーション部と、
    所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記第1および前記第2の画像のステレオマッチング処理を行って、前記X方向に直交するY方向におけるy視差を算出して出力するマッチング部と、
    前記ステレオマッチング処理において得られた前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成するずれ量情報作成部と、
    前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第1および前記第2の画像の平行化を行うレクティフィケーションの誤差を補正するパラメータ補正部と、
    を有する画像処理装置。
  5. カメラにより撮像して得られた第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化のためにレクティフィケーションを行い、
    所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記レクティフィケーションが行われた前記第1および前記第2の画像のステレオマッチング処理を行い、前記X方向に直交するY方向におけるy視差を算出し、
    前記ステレオマッチング処理において得られた前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成し、
    前記ずれ量情報に基づいて、前記レクティフィケーションの誤差の有無を判定する、
    画像処理方法。
  6. カメラにより撮像して得られた第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化のためにレクティフィケーションを行い、
    所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記レクティフィケーションが行われた前記第1および前記第2の画像のステレオマッチング処理を行い、前記X方向に直交するY方向におけるy視差を算出し、
    前記ステレオマッチング処理において得られた前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成し、
    前記ずれ量情報に基づいて、前記レクティフィケーションの誤差を補正する、
    画像処理方法。
JP2017004522A 2017-01-13 2017-01-13 画像処理装置及び画像処理方法 Active JP6636963B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017004522A JP6636963B2 (ja) 2017-01-13 2017-01-13 画像処理装置及び画像処理方法
CN201710728180.9A CN108616734B (zh) 2017-01-13 2017-08-23 图像处理装置以及图像处理方法
EP17187941.4A EP3349443A1 (en) 2017-01-13 2017-08-25 Stereoscopic image processing apparatus and stereoscopic image processing method
US15/686,442 US10510163B2 (en) 2017-01-13 2017-08-25 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017004522A JP6636963B2 (ja) 2017-01-13 2017-01-13 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2018112522A JP2018112522A (ja) 2018-07-19
JP6636963B2 true JP6636963B2 (ja) 2020-01-29

Family

ID=59887001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017004522A Active JP6636963B2 (ja) 2017-01-13 2017-01-13 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US10510163B2 (ja)
EP (1) EP3349443A1 (ja)
JP (1) JP6636963B2 (ja)
CN (1) CN108616734B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7492372B2 (ja) * 2020-05-08 2024-05-29 株式会社Subaru 画像処理装置
JP7411499B2 (ja) * 2020-05-08 2024-01-11 株式会社Subaru 画像処理装置
JP7457574B2 (ja) * 2020-05-21 2024-03-28 株式会社Subaru 画像処理装置
EP4325836A4 (en) * 2021-04-15 2024-09-25 Sony Group Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
JP2004354257A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
WO2004106856A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
DE102006055641B4 (de) * 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
JP2008140271A (ja) * 2006-12-04 2008-06-19 Toshiba Corp 対話装置及びその方法
WO2008075271A2 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Calibrating a camera system
CN101236653B (zh) * 2008-03-03 2010-09-29 华为技术有限公司 图像校正方法及系统
JP5392415B2 (ja) * 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US9275463B2 (en) * 2011-06-17 2016-03-01 Panasonic Intellectual Property Management Co., Ltd. Stereo image processing device and stereo image processing method
US9374571B2 (en) * 2011-10-11 2016-06-21 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging device, and image processing method
JP2013113600A (ja) * 2011-11-25 2013-06-10 Sharp Corp ステレオ3次元計測装置
US9338439B2 (en) * 2012-04-02 2016-05-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
WO2013182873A1 (en) * 2012-06-08 2013-12-12 Nokia Corporation A multi-frame image calibrator
US20140043447A1 (en) 2012-08-09 2014-02-13 Sony Corporation Calibration in the loop
EP2902960A4 (en) * 2012-09-27 2015-09-23 Panasonic Ip Man Co Ltd STEREOSCOPIC IMAGE PROCESSING DEVICE AND STEREOSCOPIC IMAGE PROCESSING METHOD
US8867826B2 (en) * 2012-11-26 2014-10-21 Mitusbishi Electric Research Laboratories, Inc. Disparity estimation for misaligned stereo image pairs
JP6176978B2 (ja) 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
IN2013CH05374A (ja) * 2013-11-21 2015-05-29 Nokia Corp
KR102265109B1 (ko) * 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
JP6353289B2 (ja) * 2014-06-23 2018-07-04 株式会社Soken 測距補正装置
EP3201877B1 (en) * 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
DE102014221074A1 (de) 2014-10-16 2016-04-21 Conti Temic Microelectronic Gmbh Verfahren zum Überwachen einer Rektifizierung von Bildern
WO2016203989A1 (ja) * 2015-06-17 2016-12-22 ソニー株式会社 画像処理装置および画像処理方法
CA2961921C (en) * 2016-03-29 2020-05-12 Institut National D'optique Camera calibration method using a calibration target

Also Published As

Publication number Publication date
CN108616734B (zh) 2020-09-01
JP2018112522A (ja) 2018-07-19
US10510163B2 (en) 2019-12-17
EP3349443A1 (en) 2018-07-18
CN108616734A (zh) 2018-10-02
US20180204351A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6636963B2 (ja) 画像処理装置及び画像処理方法
US9355443B2 (en) System, a method and a computer program product for CAD-based registration
US9599575B2 (en) System, a method and a computer program product for CAD-based registration
US10719956B2 (en) Camera parameter estimation apparatus, camera parameter estimation method, and computer-readable recording medium
CN106570907B (zh) 一种相机标定方法及装置
US20140341461A1 (en) Image processing apparatus, distortion-corrected map creation apparatus, and semiconductor measurement apparatus
JP2012202694A (ja) カメラ校正方法
JP2013113600A (ja) ステレオ3次元計測装置
CN114111633A (zh) 结构光三维测量的投影机镜头畸变误差校正方法
JP2012053770A (ja) 動きベクトル検出装置
CN114764823A (zh) 自校正的深度计算方法、系统、介质及深度图像处理设备
CN116818129B (zh) 应用于结构光重建的温度估计与热畸变校正方法
JP2014138331A (ja) 撮影装置及びプログラム
US20140348416A1 (en) Stereo image rectification apparatus and method
CN112894154B (zh) 激光打标方法及装置
CN113344977B (zh) 一种基于图像处理的触头压力测量模型构建方法
US10269131B2 (en) Image processing apparatus and image processing method
JP5949002B2 (ja) 画像マッチング方法、およびこの方法を用いた画像マッチング装置およびプログラム
Schumacher et al. Extension and FPGA architecture of the Generalized Hough Transform for real-time stereo correspondence
EP3879810A1 (en) Imaging device
US20240029288A1 (en) Image processing apparatus, image processing method, and storage medium
JP2018200268A (ja) 画像認識装置
US11443410B2 (en) Image processing method and image processing apparatus
JP2013003753A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPH11203476A (ja) エピポーララインの合わせ方法、ステレオ画像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170922

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191219

R150 Certificate of patent or registration of utility model

Ref document number: 6636963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150