JP4775221B2 - 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム - Google Patents
画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム Download PDFInfo
- Publication number
- JP4775221B2 JP4775221B2 JP2006270829A JP2006270829A JP4775221B2 JP 4775221 B2 JP4775221 B2 JP 4775221B2 JP 2006270829 A JP2006270829 A JP 2006270829A JP 2006270829 A JP2006270829 A JP 2006270829A JP 4775221 B2 JP4775221 B2 JP 4775221B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- interpolation
- corresponding point
- interpolation data
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
但し、カメラの基線長をB、カメラレンズの焦点距離をfとする。
X=xD/f、 Y=yD/f、 Z=D
但し、x,yは、基準画像上の注目画素の座標である。
図を参照して3次元計測装置は、左右に並べられた2台のカメラ100R,100Lと、カメラに接続される演算処理装置200と、表示装置300とから構成される。
図を参照して、演算処理装置200は、装置全体の制御を行なうCPU601と、ネットワークに接続したり外部と通信を行なうためのLAN(ローカルエリアネットワーク)カード607(またはモデムカード)と、キーボードやマウスなどにより構成される入力装置609と、フレキシブルディスクドライブ611と、CD−ROMドライブ613と、ハードディスクドライブ615と、RAM617と、ROM619とを備えている。
また演算処理装置200は、表示装置(ディスプレイ)300に接続されている。
演算処理装置200は、対応点探索部301と3次元位置算出部302とを含み、カメラ100Lが撮影した画像である基準画像I1と、カメラ100Rが撮影した画像である参照画像I2とを入力する。
基準画像I1上に注目点Pを設定し、参照画像I2上の注目点Pに対応する位置を見つけることで、注目点における両画像の位置ずれが検出される。
図を参照して、基準画像I1において注目点Pを中心とする所定サイズのウィンドウW1を設定する。
参照画像I2上でウィンドウW2(サイズ、形状はウィンドウW1と同じ)を走査し、最も基準画像I1上のウィンドウW1内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、SAD(Sum of Absolute Differences)演算などで実行することができる。これにより、基準画像I1上の注目点Pに対応する点を設定することができる。
左に示される基準画像中の一点を基準画素と呼び、その基準画素に対応する参照画像の画素(同じ被写体の部分を撮影している画素)を、図の右に示すように参照画素と呼ぶ。基準画素の位置から参照画素の位置に向けられるベクトルを、「視差ベクトル」と呼ぶ。
このうち、図9は注目点のスキャンにより基準画素と参照画素の対応データを作成する処理を示し、図10は作成された対応データの評価を行ない、必要であれば補間データを作成して再計算を行なう処理を示している。
なお図9では、画像全体を処理してもよいし、画像中の予め設定した領域のみを処理してもよいし、画像全体内を、あるサンプリング間隔で処理してもよい。状況によって処理する点を変更してもよい。
ステップS110でスキャン位置を更新し、ステップS105へ戻る。
図11では、信頼度が低かった対応データ(点線の丸で示す)の周囲の画素の対応データ(黒丸で示す)の信頼度が高い状況を示している。なお、図においては、横軸が画素の位置を示し、縦軸が対応データの値(すなわち基準画素と参照画素との差である視差)を示している。
図を参照してステップS201で、信頼度が低かった対応データの周囲の画素の対応データ(周辺データ)のスキャンが行なわれ、処理していない周辺データがあるかを判定する。周辺データがあれば、ステップS202でその信頼度の評価を行なう。信頼度が所定のしきい値以上である場合は、ステップS203で信頼できる周辺データの個数を1インクリメントする。
図14のステップS206は、図11および図12の状況に対応し、ステップS205は図13の状況に対応する。
図16に示されるように、ハッチングで示される画素cの補間を行なうために、a、b、d、eの画素のデータを参照することができる。この場合、a、b、d、eの画素のデータのうち、信頼性の高いもののみを用いるようにしてもよい。
上記実施の形態によると、2つの画像間の対応点探索方法において、信頼度が低い点に対する処理の高精度化を実現することができる。より詳しくは、信頼度が低い対応点データの周辺データの評価を行なって、補間データを生成するか否かを決定する。これによって、高品質な補間データの生成が可能である。
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
Claims (12)
- 基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索手段と、
前記対応点探索手段が算出した対応データの信頼度を判定する信頼度判定手段と、
前記信頼度判定手段で判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成手段と、
当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価手段と、
当該対応点の対応データの再計算を行なう際に、前記補間データ評価手段の評価結果に基づいて、前記対応点探索手段で用いる対応点探索精度に関連するパラメータと対応点探索の初期値とを設定する再計算手段とを備え、
前記再計算手段は、
前記補間データ評価手段での評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いたパラメータと同じパラメータを設定し、前記対応点探索手段による当該対応点の対応データの再計算を行なわせ、
前記補間データ評価手段での評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いたパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、前記対応点探索手段による当該対応点の対応データの再計算を行なわせる、画像処理装置。 - 前記対応点探索手段は、前記基準画像と前記参照画像とにウィンドウを設定して対応データを算出するものであり、
前記パラメータは、前記対応点探索手段で用いる前記ウィンドウのサイズに関するパラメータを含む、請求項1に記載の画像処理装置。 - 前記対応点探索手段は、対応データを算出するに際してローパスフィルタを用いるものであり、
前記パラメータは、前記対応点探索手段で用いるローパスフィルターのカット周波数に関連するパラメータを含む、請求項1に記載の画像処理装置。 - 前記補間データ生成手段は、当該対応点の周辺の対応データの評価を行なう対応データ評価手段を備え、
前記対応データ評価手段で評価が高いときに、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する、請求項1から3のいずれかに記載の画像処理装置。 - 前記補間データ評価手段は、補間データが生成されなかった場合は評価を行なわない、請求項4に記載の画像処理装置。
- 前記対応点に対する補間データが作成されなかったときに、前記対応点探索手段で用いたパラメータを変更して当該対応点の対応データの再計算を行なう、請求項4または5に記載の画像処理装置。
- 前記対応データ評価手段は、当該対応点の周辺の複数の対応データの評価を行ない、
前記補間データ生成手段は、当該対応点の周辺の複数の対応データにおいて、所定のしきい値以上の信頼度を持つデータの個数が所定の数よりも多い場合に、評価が高いとして補間データを生成する、請求項4から6のいずれかに記載の画像処理装置。 - 前記補間データ生成手段は、信頼度が所定のしきい値以上のデータだけを用いて補間を行なう、請求項1から7のいずれかに記載の画像処理装置。
- 前記補間データ生成手段は、平均・メディアンその他の統計量を用いて補間データを生成する、請求項1から8のいずれかに記載の画像処理装置。
- 前記対応点探索手段は、位相限定相関法を用いて基準画像と参照画像との対応点の対応付けを行なう、請求項1から9のいずれかに記載の画像処理装置。
- 基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、
前記対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、
当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価ステップと、
前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータと同じパラメータを設定し、当該対応点の対応データの再計算を行なうステップと、
前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、当該対応点の対応データの再計算を行なうステップとを備えた、画像処理装置の制御方法。 - 基準画像と参照画像との対応点の対応付けを行ない、対応データを算出する対応点探索ステップと、
前記対応点探索ステップで算出した対応データの信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで判定された信頼度が所定のしきい値よりも低いとき、当該対応点の周辺の対応データに基づいて、当該対応点に対する補間データを生成する補間データ生成ステップと、
当該対応点に対する補間データと対応データとの差に基づいて補間データを評価する補間データ評価ステップと、
前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値以上のときは、補間データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータと同じパラメータを設定し、当該対応点の対応データの再計算を行なうステップと、
前記補間データ評価ステップでの評価において補間データと対応データとの差が所定のしきい値よりも小さいときは、補間データまたは対応データを初期値として設定するとともに、当該対応データを算出する際に用いた対応点探索精度に関連するパラメータよりも対応点探索精度を向上させるべく異なるパラメータを設定し、当該対応点の対応データの再計算を行なうステップとをコンピュータに実行させる、画像処理装置の制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006270829A JP4775221B2 (ja) | 2006-10-02 | 2006-10-02 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006270829A JP4775221B2 (ja) | 2006-10-02 | 2006-10-02 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008090608A JP2008090608A (ja) | 2008-04-17 |
JP4775221B2 true JP4775221B2 (ja) | 2011-09-21 |
Family
ID=39374681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006270829A Expired - Fee Related JP4775221B2 (ja) | 2006-10-02 | 2006-10-02 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4775221B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018200722A (ja) * | 2018-08-29 | 2018-12-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001148020A (ja) * | 1999-11-19 | 2001-05-29 | Minolta Co Ltd | 対応点探索における信頼性の判定方法および装置 |
JP3855812B2 (ja) * | 2002-03-15 | 2006-12-13 | ソニー株式会社 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP3767593B2 (ja) * | 2003-10-07 | 2006-04-19 | 三菱電機株式会社 | 画素補間回路及び画素補間方法 |
-
2006
- 2006-10-02 JP JP2006270829A patent/JP4775221B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008090608A (ja) | 2008-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
US10643347B2 (en) | Device for measuring position and orientation of imaging apparatus and method therefor | |
US8447099B2 (en) | Forming 3D models using two images | |
US8452081B2 (en) | Forming 3D models using multiple images | |
JP6016061B2 (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
US20140210950A1 (en) | Systems and methods for multiview metrology | |
US20120162220A1 (en) | Three-dimensional model creation system | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
JP4821548B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
WO2015014111A1 (zh) | 一种光流跟踪方法和装置 | |
US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
JP6071257B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
JP2007053621A (ja) | 画像生成装置 | |
JP2015146526A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2014216813A (ja) | カメラ姿勢推定装置及びそのプログラム | |
US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP4985542B2 (ja) | 対応点探索装置 | |
JP6991700B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4775221B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
JP5728399B2 (ja) | 計測装置、方法及びプログラム | |
EP4013049A1 (en) | Apparatus and method for processing a depth map | |
JP2018032144A (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP2006300656A (ja) | 画像計測方法、装置、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110531 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110613 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |