JP4775221B2 - 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム - Google Patents

画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム Download PDF

Info

Publication number
JP4775221B2
JP4775221B2 JP2006270829A JP2006270829A JP4775221B2 JP 4775221 B2 JP4775221 B2 JP 4775221B2 JP 2006270829 A JP2006270829 A JP 2006270829A JP 2006270829 A JP2006270829 A JP 2006270829A JP 4775221 B2 JP4775221 B2 JP 4775221B2
Authority
JP
Japan
Prior art keywords
data
interpolation
corresponding point
interpolation data
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006270829A
Other languages
English (en)
Other versions
JP2008090608A (ja
Inventor
博則 墨友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2006270829A priority Critical patent/JP4775221B2/ja
Publication of JP2008090608A publication Critical patent/JP2008090608A/ja
Application granted granted Critical
Publication of JP4775221B2 publication Critical patent/JP4775221B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

この発明は画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算することができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。
ステレオカメラによって、異なる視点から撮影し取得された2つの画像の各画素を相互に対応付けを行ない、その得られた対応関係から三角測量の原理に基づいて、画像上の各点の3次元位置を算出する方法が知られている。近年、ロバスト且つ高精度な対応付けが可能な位相限定相関(POC:Phase-Only Correlation)法による対応点探索が注目されている。この手法は、画像の振幅成分を取り除いて、画像の位相成分のみで相関演算を行なうので、輝度変動やノイズに影響されにくい手法である。この手法は高精度に対応点探索ができるが、全ての点において信頼度が高い対応点を探索することは困難であり、ある一定の割合で信頼度が低い点が存在しているため、これらの点に対しては何らかの対策を行なう必要がある。
図18は、画像間の対応点から三角測量の原理に基づいて3次元位置を算出する方法を模式的に示した図である。
基準カメラと参照カメラ対応点位置の差がΔdであった場合に、対象物までの距離Dは、下式で計算される。
D=fB/Δd
但し、カメラの基線長をB、カメラレンズの焦点距離をfとする。
このとき、対象物の3次元位置(X,Y,Z)は、下式で計算される。
X=xD/f、 Y=yD/f、 Z=D
但し、x,yは、基準画像上の注目画素の座標である。
下記特許文献1は、得られた視差(画素間の位置のずれ)の信頼度が低いときは周辺視差で補正する方法を開示している。
下記非特許文献1には、信頼度が低いときは周辺視差で補間した上で、その補間したデータを初期値としてPOCを再計算することが記載されている。
特開平10−289316号公報 「A High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching」,IEICE (The Institute of Electronics, Information and Communication Engineers) TRANS. FUNDAMENTALS, VOL.E89-A,NO.3 MARCH 2006
しかしながら特許文献1の技術では、周辺視差からの補正を行なっているため、正しいデータであるかが判らず、精度が保障できないという課題がある。
また非特許文献1の技術は、最初に得られた視差が正しい場合であっても信頼度が低くなるケースがあるので、そのような場合は、補間データに対して同じパラメータで再計算しても、再度信頼度が低くなってしまうという問題がある。また、補間データを生成する際に使用する周辺視差を信頼度に関係なく用いているため、補間データの品質が保障できないという問題がある。
本発明はそのような課題を解決するためになされたものであり、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することを目的としている。
上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索手段と、対応点探索手段が算出した対応データの信頼度を判定する信頼度判定手段と、信頼度判定手段で判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成手段と、当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価手段と、当該対応点の対応データの再計算を行なう際に、補間データ評価手段の評価結果に基づいて、対応点探索手段で用いる対応点探索精度に関連するパラメータと対応点探索の初期値と設定する再計算手段とを備える。再計算手段は、補間データ評価手段での評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いたパラメータと同じパラメータを設定し、対応点探索手段による当該対応点の対応データの再計算を行なわせ、補間データ評価手段での評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いたパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、対応点探索手段による当該対応点の対応データの再計算を行なわせる。
好ましくは、対応点探索手段は基準画像と参照画像とにウィンドウを設定して対応データを算出するものであり、パラメータは、対応点探索手段で用いるウィンドウのサイズに関するパラメータを含む。
好ましくは、対応点探索手段は対応データを算出するに際してローパスフィルタを用いるものであり、パラメータは、対応点探索手段で用いるローパスフィルターのカット周波数に関連するパラメータを含む。
好ましくは補間データ生成手段は、当該対応点の周辺の対応データの評価を行なう対応データ評価手段を備え、対応データ評価手段で評価が高いときに、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する。
好ましくは補間データ評価手段は、補間データが生成されなかった場合は評価を行なわない。
好ましくは画像処理装置は、対応点に対する補間データが作成されなかったときに、対応点探索手段で用いたパラメータを変更して当該対応点の対応データの再計算を行なう。
好ましくは対応データ評価手段は、当該対応点の周辺の複数の対応データの評価を行ない、補間データ生成手段は、当該対応点の周辺の複数の対応データにおいて、所定のしきい値以上の信頼度を持つデータの個数が所定の数よりも多い場合に、評価が高いとして補間データを生成する。
好ましくは補間データ生成手段は、信頼度が所定のしきい値以上のデータだけを用いて補間を行なう。
好ましくは補間データ生成手段は、平均・メディアンその他の統計量を用いて補間データを生成する。
ましくは対応点探索手段は、位相限定相関法を用いて基準画像と参照画像との対応点の対応付けを行なう。
この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価ステップと、補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータと同じパラメータを設定し、当該対応点の対応データの再計算を行なうステップと、補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、当該対応点の対応データの再計算を行なうステップとを備える。
この発明のさらに他の局面に従うと画像処理装置の制御プログラムは、基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価ステップと、補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータと同じパラメータを設定し、当該対応点の対応データの再計算を行なうステップと、補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、当該対応点の対応データの再計算を行なうステップとをコンピュータに実行させる。
これらの発明に従うと、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することができる。
図1は、本発明の実施の形態の1つにおける3次元計測装置の構成を示す図である。
図を参照して3次元計測装置は、左右に並べられた2台のカメラ100R,100Lと、カメラに接続される演算処理装置200と、表示装置300とから構成される。
カメラ100R,100Lは、被写体O(ここでは人物の顔を例示している)の2次元画像を撮影する。カメラ100Rとカメラ100Lとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。
演算処理装置200は、2台のカメラで撮影された画像から、被写体の3次元形状を演算する。表示装置300は、計測された被写体の3次元形状を表示する。なお、表示を行なわずに、得られた3次元形状データ(X、Y、Z座標などからなるデータ)を記憶媒体に記憶するようにしてもよい。
図2は、図1の演算処理装置200のハードウェア構成を示すブロック図である。
図を参照して、演算処理装置200は、装置全体の制御を行なうCPU601と、ネットワークに接続したり外部と通信を行なうためのLAN(ローカルエリアネットワーク)カード607(またはモデムカード)と、キーボードやマウスなどにより構成される入力装置609と、フレキシブルディスクドライブ611と、CD−ROMドライブ613と、ハードディスクドライブ615と、RAM617と、ROM619とを備えている。
演算処理装置200は、映像入力部651からカメラの画像を入力する。
また演算処理装置200は、表示装置(ディスプレイ)300に接続されている。
フレキシブルディスクドライブ611により、フレキシブルディスクFに記録されたプログラムや画像などのデータを読取ることが可能であり、CD−ROMドライブ613により、CD−ROM613aに記録されたプログラムや画像などのデータを読取ることが可能である。
なお、演算処理装置200にステレオ写真などの画像を入力するためのDVDドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。
また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。
図3は、演算処理装置200の機能構成を示すブロック図である。
演算処理装置200は、対応点探索部301と3次元位置算出部302とを含み、カメラ100Lが撮影した画像である基準画像I1と、カメラ100Rが撮影した画像である参照画像I2とを入力する。
対応点探索部301は、基準画像I1の各画素に対応する参照画像I2上の画素の探索を行なう。
図4は、注目点のスキャンを説明するための図である。
基準画像I1上に注目点Pを設定し、参照画像I2上の注目点Pに対応する位置を見つけることで、注目点における両画像の位置ずれが検出される。
図5は、基準画像のウィンドウ設定処理を示す図である。
図を参照して、基準画像I1において注目点Pを中心とする所定サイズのウィンドウW1を設定する。
図6は、参照画像のウィンドウ設定処理を示す図である。
参照画像I2上でウィンドウW2(サイズ、形状はウィンドウW1と同じ)を走査し、最も基準画像I1上のウィンドウW1内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、SAD(Sum of Absolute Differences)演算などで実行することができる。これにより、基準画像I1上の注目点Pに対応する点を設定することができる。
なお図6においては、縦方向にもウィンドウを動かすようにしているが、2台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。
さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するなどである。
図7は、基準画素と参照画素との対応付けを示す図である。
左に示される基準画像中の一点を基準画素と呼び、その基準画素に対応する参照画像の画素(同じ被写体の部分を撮影している画素)を、図の右に示すように参照画素と呼ぶ。基準画素の位置から参照画素の位置に向けられるベクトルを、「視差ベクトル」と呼ぶ。
基準画素の座標を(bx,by)とし、参照画素の座標を(rx、ry)とすると、両者の対応関係を表わすデータ(対応データ)は、視差ベクトル(vx,vy)=(rx,ry)−(bx,by)を用いて、(bx,by,vx,vy)として保持する。
図8は、対応点探索部301の実行する別の手法としての位相限定相関法について説明する図である。
対応点探索部301は、基準画像I1をスキャンするためのウィンドウの位置を設定し、ウィンドウで示される部分に対して2次元離散フーリエ変換(2D DFT)を行なうフーリエ変換部201と、参照画像I2をスキャンするためのウィンドウの位置を設定し、ウィンドウで示される部分に対して2次元離散フーリエ変換(2D DFT)を行なうフーリエ変換部203と、2つのフーリエ変換後の画像に対して規格化を行なう2つの規格化部205,207と、規格化後のデータを合成する合成部209と、合成後のデータに対して逆フーリエ変換を行なう逆フーリエ変換部211とを備える。逆フーリエ変換により、2つの画像のずれを示すPOC値が求められる。位置のずれに基づき、被写体O表面の3次元座標が求められる。
位相限定相関(POC)関数は、画像間(基準ウィンドウと参照ウィンドウとの間)の移動量の座標に急峻な相関ピークを持つ関数であり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、POCのピークを推定することにより画像の位置ズレ量が演算される。POCは離散的に求まるため、ピーク位置をサブピクセルで推定することにより、高分解な対応点座標を求めることができる。補間を行なう場合には、放物線などの関数をフィッティングするなどが考えられる。
ウィンドウのサイズをN×Nピクセルとし、基準画像および参照画像のウィンドウ内の画像をf(n,n)およびg(n,n)とする。
そのDFT処理後の画像をF(k,k)、G(k,k)とし、規格化後の画像をF’(k,k)、G’(k,k)とする。合成後のデータをR(k,k)、逆フーリエ変換後の画像をr(k,k)とすると、図8の構成により実行される処理は、以下のように表現される。
Figure 0004775221
なお、逆フーリエ変換部211での逆フーリエ変換の実行前に、合成部209で得られた合成データに対して、ローパスフィルタのカット周波数を適用するようにしても構わない。ローパスカットフィルタの一例は次のとおりで、UやUがパラメータとなる。
Figure 0004775221
図3における3次元位置算出部302は、対応点探索部301で求められた基準画像I1と参照画像I2の対応関係から、三角測量の原理に基づいて、画像上の各点の3次元位置を算出する。
図9および図10は、対応点探索部301が実行する処理を示す図である。
このうち、図9は注目点のスキャンにより基準画素と参照画素の対応データを作成する処理を示し、図10は作成された対応データの評価を行ない、必要であれば補間データを作成して再計算を行なう処理を示している。
図9のステップS101において、基準画像と参照画像とからなるステレオ画像が入力される。ステップS102において、基準画像中での注目点のスキャン対象となる画素が存在しているかを判定する。YESであれば、ステップS103で上述の処理により、注目点における基準画素と参照画素との対応点の探索を行ない、対応データを生成する。前述の通り、対応データとは基準画像と参照画像との画素間の対応付けを表すデータである。対応データと併せて各対応データの信頼度も記録される。
対応データの「信頼度」は、POC値のピークの高さを示すものとする。ピークが高ければ信頼度は高い。
ステップS104でスキャン対象の位置である注目点を移動させ、ステップS102へ戻る。
これにより、注目点のスキャンに基づく対応データ群を得ることができる。
なお図9では、画像全体を処理してもよいし、画像中の予め設定した領域のみを処理してもよいし、画像全体内を、あるサンプリング間隔で処理してもよい。状況によって処理する点を変更してもよい。
図10においては、図9でスキャンされた各対応点に対する再スキャンが行なわれる。ステップS105において、スキャン対象が残っているかどうかを判定し、YESであればステップS106へ進み、NOであれば処理を終了する。
ステップS106においては、スキャン対象となっている対応点の対応データの信頼度を判定する。信頼度が高い場合(所定のしきい値以上である場合)は、ステップS111へ進み、信頼度が低い場合はステップS107へ進む。
ステップS107においては、対応点の周辺の画素に対する対応データを用いて補間することで、対応点に対する補間データを生成する。ステップS108においては、生成された補間データの評価を行なう。
ステップS109においては、対応点における対応データの再計算処理を行なう。
ステップS110でスキャン位置を更新し、ステップS105へ戻る。
なお、ステップS106で信頼度が高いと判定されると、当該対応点の対応データについてはステップS103で出力されたデータを最終出力として決定し(S111)、ステップS110へ進む。
図11から図13は、補間データの作成処理の具体例を示す図である。
図11では、信頼度が低かった対応データ(点線の丸で示す)の周囲の画素の対応データ(黒丸で示す)の信頼度が高い状況を示している。なお、図においては、横軸が画素の位置を示し、縦軸が対応データの値(すなわち基準画素と参照画素との差である視差)を示している。
補間データ(ハッチングの丸で示す)は、周囲の画素の対応データからの補間により作成される(図10のステップS107)。このとき、補間データが評価される(図10のステップS108)。
評価においては、補間データの示す値と、元の信頼度の低い対応データとの差の絶対値が用いられる。図11においては、差がかなり大きいため、補間データを作成することは意義があり、補間データが正しいデータに近い可能性が高い(元の信頼度の低い対応データは、ノイズなどである可能性が高い)。
従って、この場合は図10のステップS109においては、図9のステップS103で行なった探索とは同じパラメータを用いてPOCの再計算を行なう。また、補間データは正しいデータに近い可能性が高いため、補間データを初期値として再計算を行なう。
図12では、信頼度が低かった対応データ(点線の丸で示す)の周囲の画素の対応データ(黒丸で示す)の信頼度が高い状況を示している。
補間データ(ハッチングの丸で示す)は、周囲の画素の対応データからの補間により作成される(図10のステップS107)。このとき、補間データが評価される(図10のステップS108)。
評価においては、補間データの示す値と、元の信頼度の低い対応データとの差の絶対値が用いられる。図12においては、差が小さいため、補間データを作成することは重要性が低い。
従って、この場合は図10のステップS109においては、図9のステップS103で行なった探索でのパラメータを変更して、POCの再計算を行なう。またこのとき、補間データ(または元の対応データ)を初期値として再計算を行なう。
補間データが補間前の対応データと近い場合は、その近い補間データを用いて再計算したとしても、再度低い信頼度を持つ対応データが出力される可能性が高いので、パラメータを変更して再計算するものである。パラメータを変更して再計算を行なうことで、POCの良好なピークを得ることができる可能性がある。
図13では、信頼度が低かった対応データの周囲の画素の対応データの信頼度が低い状況を示している。
この場合は、周辺に信頼度が高いデータがないので、補間データを生成することができない。すなわち、パラメータを変更して、再計算するしかない。また、初期値に関しても設定することができないので、初期値を用いずに初めから再計算を行なう。
図14は、図10の補間処理(S107)の内容を示すフローチャートである。
図を参照してステップS201で、信頼度が低かった対応データの周囲の画素の対応データ(周辺データ)のスキャンが行なわれ、処理していない周辺データがあるかを判定する。周辺データがあれば、ステップS202でその信頼度の評価を行なう。信頼度が所定のしきい値以上である場合は、ステップS203で信頼できる周辺データの個数を1インクリメントする。
ステップS203での処理の後、またはステップS202で信頼度が低い場合は、ステップS201へ戻る。
なお、ステップS201でのスキャンは、対応データを重心位置として、3×3画素や5×5画素の領域などが対象となる。
ステップS201でスキャンすべき周辺データが無くなれば、ステップS204において、ステップS203でカウントされた個数が、所定のしきい値よりも大きいかを判定する。NOであれば、補間するために必要なデータが少ないため、補間データの信頼性が確保できないので、ステップS205で補間データを生成せずに終了する。
一方ステップS204でYESであれば、補間するために必要なデータが十分に揃っているので、ステップS206で補間データの生成を行なう。
補間においては、各データの平均、中央値(メジアン)などの統計量を用いるか、または、信頼度が高い各データの位置関係(分布状況)を考慮して補間を行なう(線形補間などによる内挿、外挿など)。
また、信頼度が所定のしきい値以上のデータだけを用いて補間を行なってもよい。
図14のステップS206は、図11および図12の状況に対応し、ステップS205は図13の状況に対応する。
図15は、図10の補間データの評価処理(S108)の内容を示すフローチャートである。
ステップS301において、生成された補間データが存在するかどうかをチェックする。補間データがない場合(図13の場合)はステップS304へ進み、補間データがある場合(図11および図12の場合)はステップS302へ進む。
ステップS302においては、補間データと対応データの差(またはその絶対値)を算出する。
ステップS303において、算出した差が大きい場合(所定のしきい値以上である場合)はステップS305へ進み、小さい場合はステップS306へ進む。
ステップS305においては、対応点探索のパラメータを変更せずに、補間データを初期値として再計算(S109)を行なう(図11の状態)。
ステップS306においては、対応点探索のパラメータを変更するとともに、補間データを初期値として再計算(S109)を行なう(図12の状態)。
ステップS304においては、対応点探索のパラメータを変更して再計算(S109)を行なう(図13の状態)。
図16および図17は、補間データの生成方法について説明するための図である。
図16に示されるように、ハッチングで示される画素cの補間を行なうために、a、b、d、eの画素のデータを参照することができる。この場合、a、b、d、eの画素のデータのうち、信頼性の高いもののみを用いるようにしてもよい。
また図17のグラフに示されるように、信頼度が高いデータ(画素a,bのデータ)の分布に偏りがある場合、画素cに関しては画素a,bの平均を補間データとするのではなく、外挿によるデータを補間データとしてもよい。
本実施の形態では、パラメータとしてはウィンドウサイズやローパスフィルタのカット周波数のパラメータを例に挙げているが、それに限定されずに、対応点探索精度に関連するパラメータを含んでいる。
[実施の形態における効果]
上記実施の形態によると、2つの画像間の対応点探索方法において、信頼度が低い点に対する処理の高精度化を実現することができる。より詳しくは、信頼度が低い対応点データの周辺データの評価を行なって、補間データを生成するか否かを決定する。これによって、高品質な補間データの生成が可能である。
さらに、信頼度が低い周辺データしかない場合は、補間データを生成せずに、パラメータを変更して対応点探索を行なう。これにより高精度な対応付けが可能である。
また、周辺の対応データから生成した補間データに対する評価が行なわれる。評価した結果に基づいて、対応点探索のパラメータを変更して再計算が実行されるので、高精度な対応付けが可能である。
[その他]
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをCD−ROM、フレキシブルディスク、ハードディスク、ROM、RAM、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の実施の形態の1つにおける3次元計測装置の構成を示す図である。 図1の演算処理装置200のハードウェア構成を示すブロック図である。 演算処理装置200の機能構成を示すブロック図である。 注目点のスキャンを説明するための図である。 基準画像のウィンドウ設定処理を示す図である。 参照画像のウィンドウ設定処理を示す図である。 基準画素と参照画素との対応付けを示す図である。 対応点探索部301の実行する別の手法としての位相限定相関法について説明する図である。 演算処理装置200が実行する処理を示す図である。 図9に続くフローチャートである。 補間データの作成処理の具体例を示す図である。 補間データの作成処理の具体例を示す図である。 補間データの作成処理の具体例を示す図である。 図10の補間処理(S107)の内容を示すフローチャートである。 図10の補間データの評価処理(S108)の内容を示すフローチャートである。 補間データの生成方法について説明するための図である。 補間データの生成方法について説明するための図である。 画像間の対応点から三角測量の原理に基づいて3次元位置を算出する方法を模式的に示した図である。
符号の説明
100R,100L カメラ、200 演算処理装置、201,203 フーリエ変換部、205,207 規格化部、209 合成部、211 逆フーリエ変換部、300 表示装置。

Claims (12)

  1. 基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索手段と、
    前記対応点探索手段が算出した対応データの信頼度を判定する信頼度判定手段と、
    前記信頼度判定手段で判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成手段と、
    当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価手段と、
    当該対応点の対応データの再計算を行なう際に、前記補間データ評価手段の評価結果に基づいて、前記対応点探索手段で用いる対応点探索精度に関連するパラメータと対応点探索の初期値と設定する再計算手段とを備え
    前記再計算手段は、
    前記補間データ評価手段での評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いたパラメータと同じパラメータを設定し、前記対応点探索手段による当該対応点の対応データの再計算を行なわせ、
    前記補間データ評価手段での評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いたパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、前記対応点探索手段による当該対応点の対応データの再計算を行なわせる、画像処理装置。
  2. 前記対応点探索手段は、前記基準画像と前記参照画像とにウィンドウを設定して対応データを算出するものであり、
    前記パラメータは、前記対応点探索手段で用いる前記ウィンドウのサイズに関するパラメータを含む、請求項1に記載の画像処理装置。
  3. 前記対応点探索手段は、対応データを算出するに際してローパスフィルタを用いるものであり、
    前記パラメータは、前記対応点探索手段で用いるローパスフィルターのカット周波数に関連するパラメータを含む、請求項1に記載の画像処理装置。
  4. 前記補間データ生成手段は、当該対応点の周辺の対応データの評価を行なう対応データ評価手段を備え、
    前記対応データ評価手段で評価が高いときに、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する、請求項1からのいずれかに記載の画像処理装置。
  5. 前記補間データ評価手段は、補間データが生成されなかった場合は評価を行なわない、請求項に記載の画像処理装置。
  6. 前記対応点に対する補間データが作成されなかったときに、前記対応点探索手段で用いたパラメータを変更して当該対応点の対応データの再計算を行なう、請求項またはに記載の画像処理装置。
  7. 前記対応データ評価手段は、当該対応点の周辺の複数の対応データの評価を行ない、
    前記補間データ生成手段は、当該対応点の周辺の複数の対応データにおいて、所定のしきい値以上の信頼度を持つデータの個数が所定の数よりも多い場合に、評価が高いとして補間データを生成する、請求項からのいずれかに記載の画像処理装置。
  8. 前記補間データ生成手段は、信頼度が所定のしきい値以上のデータだけを用いて補間を行なう、請求項1からのいずれかに記載の画像処理装置。
  9. 前記補間データ生成手段は、平均・メディアンその他の統計量を用いて補間データを生成する、請求項1からのいずれかに記載の画像処理装置。
  10. 前記対応点探索手段は、位相限定相関法を用いて基準画像と参照画像との対応点の対応付けを行なう、請求項1からのいずれかに記載の画像処理装置。
  11. 基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、
    前記対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、
    前記信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、
    当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価ステップと、
    前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータと同じパラメータを設定し、当該対応点の対応データの再計算を行なうステップと、
    前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、当該対応点の対応データの再計算を行なうステップとを備えた、画像処理装置の制御方法。
  12. 基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、
    前記対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、
    前記信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、
    当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価ステップと、
    前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータと同じパラメータを設定し、当該対応点の対応データの再計算を行なうステップと、
    前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、当該対応点の対応データの再計算を行なうステップとをコンピュータに実行させる、画像処理装置の制御プログラム。
JP2006270829A 2006-10-02 2006-10-02 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム Expired - Fee Related JP4775221B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006270829A JP4775221B2 (ja) 2006-10-02 2006-10-02 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006270829A JP4775221B2 (ja) 2006-10-02 2006-10-02 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2008090608A JP2008090608A (ja) 2008-04-17
JP4775221B2 true JP4775221B2 (ja) 2011-09-21

Family

ID=39374681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006270829A Expired - Fee Related JP4775221B2 (ja) 2006-10-02 2006-10-02 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム

Country Status (1)

Country Link
JP (1) JP4775221B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018200722A (ja) * 2018-08-29 2018-12-20 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148020A (ja) * 1999-11-19 2001-05-29 Minolta Co Ltd 対応点探索における信頼性の判定方法および装置
JP3855812B2 (ja) * 2002-03-15 2006-12-13 ソニー株式会社 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置
JP3767593B2 (ja) * 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法

Also Published As

Publication number Publication date
JP2008090608A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US10643347B2 (en) Device for measuring position and orientation of imaging apparatus and method therefor
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US20140210950A1 (en) Systems and methods for multiview metrology
US20120162220A1 (en) Three-dimensional model creation system
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
JP4821548B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
WO2015014111A1 (zh) 一种光流跟踪方法和装置
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
JP6071257B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP2007053621A (ja) 画像生成装置
JP2015146526A (ja) 画像処理装置および方法、並びにプログラム
JP2014216813A (ja) カメラ姿勢推定装置及びそのプログラム
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP4985542B2 (ja) 対応点探索装置
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4775221B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP5728399B2 (ja) 計測装置、方法及びプログラム
EP4013049A1 (en) Apparatus and method for processing a depth map
JP2018032144A (ja) 画像処理装置、画像処理方法およびプログラム。
JP2006300656A (ja) 画像計測方法、装置、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees