JP5625976B2 - 撮像装置、および撮像装置制御方法、並びにプログラム - Google Patents
撮像装置、および撮像装置制御方法、並びにプログラム Download PDFInfo
- Publication number
- JP5625976B2 JP5625976B2 JP2011026242A JP2011026242A JP5625976B2 JP 5625976 B2 JP5625976 B2 JP 5625976B2 JP 2011026242 A JP2011026242 A JP 2011026242A JP 2011026242 A JP2011026242 A JP 2011026242A JP 5625976 B2 JP5625976 B2 JP 5625976B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reliability
- feature point
- image analysis
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
また、例えばレンチキュラーレンズなどの特殊な加工を施した表示面を有する表示装置に左眼用画像と右眼用画像をスリット状に交互に表示して、左眼用画像を表示面のレンズを介して観察者の左眼のみに観察させ、右眼用画像を表示面のレンズを介して観察者の右眼のみに観察させる設定とし、裸眼で立体感を想起させることを可能とした方式など、様々な方式がある。
視差を奥行き情報として認識することにより、視覚者は立体的に画像を見ることができる。
例えば、2つの撮像部の光軸配置の上下方向へのズレ、または、2つの撮像部の光軸の上下方向への角度的なズレ、あるいは、撮像素子の光軸に対する位置ズレなど、様々なカメラ構成に起因する幾何学ズレとしての上下方向の画像ズレが発生する場合がある。
ところが、例えば、撮影画像のほとんどが「空」である画像のような場合、2つの撮像部で撮影された左眼用画像と右眼用画像の画像領域のほとんどが輝度変化のない一様な輝度の画像となってしまう。
異なる視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析部と、
前記画像解析部の生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する制御部と、
前記制御部の算出した画像変換パラメータを適用して、前記複数の撮像部の撮影画像の変換処理を実行する画像変換部を有し、
前記制御部は、
前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置にある。
撮像装置において実行する撮像装置制御方法であり、
画像解析部が、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析ステップと、
制御部が、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出するパラメータ算出ステップを有し、
前記制御部は、前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置制御方法にある。
撮像装置において撮像装置制御処理を実行させるプログラムであり、
画像解析部に、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行させる画像解析ステップと、
制御部に、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出させるパラメータ算出ステップを実行させ、
前記制御部における前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行わせるプログラムにある。
1.撮像装置の構成と処理例について
2.キャリブレーション処理のシーケンスについて
3.特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について
4.撮像装置における処理シーケンスについて
4.1.キャリブレーション開始条件判定処理
4.2.ズーム位置に応じた変換パラメータの算出処理
まず、図1を参照して、撮像装置の構成と処理例について説明する。
撮像装置は、異なる視点からの画像、すなわち左眼用画像(L画像)と右眼用画像(R画像)を撮影するカメラである。動画としての映像を撮影するカメラを例として説明する。
第2撮像素子122の出力する画像信号は第2画像変換部123に入力される。
第1画像変換部113と第2画像変換部123は、例えばアフィン変換による画像変換処理を実行する。
アフィン変換は、画像の平行移動、回転、拡大縮小等、各種の画像変形処理を実現する画像変換処理である。所定の変換パラメータを設定してアフィン変換を行うことで、様々な画像変換が実行できる。
このズレは、例えば、2つの撮像部の光軸配置の上下方向へのズレ、または、2つの撮像部の光軸の上下方向への角度的なズレ、あるいは、撮像素子の光軸に対する位置ズレなど、多数の要因に基づいて発生する。
なお、2つの画像(L画像とR画像)の上下方向のズレを解消するための変換パラメータの値は、ズームレンズの位置(ズーム位置)に応じて異なる値となる。従って、キャリブレーション処理の実行時には、複数のズーム位置に応じた変換パラメータを算出し、各ズーム位置に対応する変換パラメータをメモリ135に格納する。
この画像撮影に際して制御部132は、画像撮影時のズーム位置に応じた変換パラメータをメモリ135から取得して第1画像変換部113と、第2画像変換部123に提供して画像変換を実行する。この画像変換によって画像の上下方向のズレが解消された高品質な3D画像としてのLR画像が出力されることになる。
画像解析部131は、第1レンズ111、第2レンズ121を介して撮影された2つの画像(L画像とR画像)の特徴点(対応点)を例えばブロックマッチング処理によって検出する。
制御部132は、この2つの画像(L画像とR画像)間のズレを特徴点(対応点)から判断して、上下方向のズレを解消するためのアフィン変換処理に適用するパラメータ(変換パラメータ)を算出する。
このような状態で算出した変換パラメータは信頼度の低い変換パラメータとなり、このような信頼度の低い変換パラメータを適用して画像変換を実行してしまうとズレの修正どころか、誤った画像の変形処理を行ってしまう可能性がある。
画像解析部131は、まず、初期位置である望遠端(Tele端)で撮影された2画像(L画像とR画像)に基づいてブロックマッチング処理による特徴点情報の生成を実行する。
制御部132は、この特徴点情報に基づいて変換パラメータの信頼度を算出する。この初期位置[望遠端(Tele端)]における信頼度が予め設定した閾値以上である場合に事前調整処理(カメラキャリブレーション処理)を開始する。
制御部132は各ズーム位置における変換パラメータの算出と信頼度情報の算出を実行する。
その後、ユーザによる実際の画像撮影時に、制御部132は、ズーム位置に応じた変換パラメータをメモリ135から取得して第1画像変換部113と、第2画像変換部123に提供する。
このような処理によって、各ズーム位置に応じた信頼度の高いパラメータを適用した画像変換処理が実行され、2つの画像(L画像とR画像)間の上下方向のズレが解消された画像が生成されることになる。
なお、先に説明したようにキャリブレーション実行中は、これらの出力画像(第1映像出力11、第2映像出力21)は、画像解析部131にも入力されブロックマッチング処理による特徴点情報の生成が行われる。
次に、図2を参照してキャリブレーション処理のシーケンスについて説明する。
上述したように、本実施例の撮像装置においては、事前調整処理(キャリブレーション処理)において、2つの撮像系を介して撮影される2つの画像(L画像とR画像)に基づいて上下方向の画像ズレを補正するための画像変換パラメータを算出する。
この処理に際して、ズームレンズを望遠端(Tele端)から広角端(Wide端)側に少しずつ移動させながら、複数のズーム位置(ズームレンズの各設定位置)に対応する複数の変換パラメータを算出する。
また、特徴点情報に基づく変換パラメータの信頼度を算出して表示部133にインジケータとして表示する処理を行う。
左上のステップ(S01)の表示画像は、例えばカメラのスイッチをONにした時点で、自動起動する画面の例である。現在、レンズを介して撮影されている画像(スルー画)の上に、自動調整についての説明画面が表示される。自動調整とは、ズーム位置に応じた変換パラメータの算出とメモリ格納処理(更新処理)を意味する。
この画面において、自動調整を[しない]を選択した場合は、通常の撮影モードに移行する。
自動調整を[する]を選択した場合は、図に示すステップ(S11)の画面「(1)ユーザ被写体選択画面」に遷移する。
表示部には、現在カメラが撮影している画面が表示される。なお、自動調整を[する]をユーザが選択したことを制御部が検出すると、制御部132は第1レンズ111、第2レンズ121のズームレンズ位置を望遠端(Tele端)に移動させる。キャリブレーションは、望遠端(Tele端)を初期位置として開始される。
制御部132は、信頼度が閾値未満である場合、キャリブレーション処理を開始しない。制御部132は、ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合、例えば撮影画像の変更を促すメッセージを表示部133に出力する。
先に説明したように、制御部132は、ズームレンズを望遠端(Tele端)から広角端(Wide端)側に少しずつ移動させながら、ズーム位置(ズームレンズの各設定位置)に応じた変換パラメータを算出する。
ステップ(S21)に示す画面内の水平方向のインジケータは、キャリブレーション処理の実行状態(x%完了)を示している。
(a)ズーム位置、
(b)変換パラメータ、
(c)信頼度
これらの各データを対応データとして取得する処理を行う。
なお、上記の例では成功判定の閾値として70%という値を示しているが、この例は一例であり、その他の閾値や判断基準を用いてもよい。
このような信頼度の低いパラメータを含む場合、キャリブレーション処理完了後の実際の画像撮影処理においては、その信頼度の低いパラメータを適用しない設定とすることが好ましい。制御部132は、このような場合、前後のズーム位置にある信頼度の高いパラメータを用いて、処理対象のズーム位置の変換パラメータを算出する。この補間処理によって算出したパラメータを適用して変換処理を行う。
次に、特徴点の検出処理と特徴点情報に基づく信頼度の算出処理について説明する。
本発明の撮像装置では、上述したように、ズーム位置に応じた画像の上下方向のズレを補正するための変換パラメータの算出処理を行う場合、まず、レンズを望遠端(Tele端)に設定し、その後、広角端(Wide端)側に順次、移動して、複数のズーム位置で変換パラメータを算出する。
先に説明したように、変換パラメータの算出には、2つの画像間の対応ブロックとしての特徴点を検出することが必要となる。
具体例について図3を参照して説明する。
(1)望遠端(Tele端)で撮影した画像
(2)望遠端〜広角端の中間位置で撮影した画像
(3)広角端(Wide端)で撮影した画像
これらの3つの画像例を示している。
ブロックマッチング処理は、複数の画素からなる矩形ブロックを設定して、例えば画面上の上左端から右下端までブロック単位で2つの画像(L画像とR画像)を比較して相関の高いブロックの組み合わせを検出して、これらのブロックの組を同じ被写体領域の撮影ブロック、すなわち特徴点(対応点)であると判断する処理である。
なお、参照領域(サーチ範囲)は、レンズ配置や撮影時要件等に基づいて、同じ被写体領域が撮り込まれると予測される範囲を含むように設定される。
例えば、図3(1)に示すブロック221のような特異な画素パターンを持つブロックが特徴点として検出しやすいブロックとなる。
(1)望遠端(Tele端)で撮影した画像より、(3)広角端(Wide端)で撮影した画像の方が多く含まれる。
制御部132は、画像解析部131が2つの画像(LR画像)に基づいて生成する特徴点情報31を入力して、特徴点に基づいて算出可能な変換パラメータの信頼度を算出する。特徴点情報31には、所定条件を満たす特徴点の数と分布情報が含まれる。
画像解析部131が2つの画像(LR画像)に基づいて生成する特徴点情報が利用される。
制御部132は、画像解析部131から入力する2つの画像(LR画像)に基づいて生成する特徴点情報を利用して、例えば、以下の式(式1)に従って信頼度(Vr:Valid ratio)を算出する。
・・・(式1)
Init_num:ブロックマッチングの実行ブロック数(基準画像に設定したブロックマッチングを実行するブロック数)
a_num:ブロックマッチングの実行ブロックに含まれる輝度変化が小さいブロックのブロック数(ブロック内の最大輝度画素と最小輝度画素の画素値差分が既定閾値未満のブロック数(一様な輝度を持つブロック数))
b_num:ブロックマッチングにおいて対応ブロックとして選択した基準画像の基準ブロックと参照画像の参照ブロックとのSADが既定閾値以上のブロック数(相関の小さい対応ブロックの数)
c_num:参照領域(サーチ範囲)において検出した参照ブロック中、SADの最小値を持つ参照ブロックと、2番目に小さいSAD値を持つ参照ブロックとのSAD値の差分が既定閾値未満のブロック数(参照領域内に類似するブロックがある)
k:対応ブロック(特徴点)の分布に応じた係数(画面全体に広がりがあうる場合を1、広がりが少ない場合を0として1〜0の設定とする)
SADが小さいほど、相関が高いブロック、すなわち類似するブロックであり、
SADが大きいほど、相関が低いブロック、すなわち類似しないブロックてある。
ブロックマッチングでは、基準画像に設定した1つの基準ブロックに対して、参照画像に所定範囲の参照領域を設定し、その参照領域に含まれる複数ーの参照ブロックから相関の高いブロックを検出する処理が行われる。
相関の高いブロックとはSADの値が低いブロックである。
図に示す例では、このブロックaの付近に第2極小値を持つブロックbが存在する。
c_num:参照領域(サーチ範囲)において検出した参照ブロック中、SADの最小値を持つ参照ブロックと、2番目に小さいSAD値を持つ参照ブロックとのSAD値の[差分]が既定閾値未満のブロック数(参照領域内に類似するブロックがある)
上記説明に示す[差分]しとは、図4に示す差分に対応する。すなわち、
差分=|最小値(第1極小値)−第2極小値|
である。
この信頼度(Vr)は、画像から検出した特徴点に基づいて算出可能な変換パラメータの信頼度を意味する。
図5は、あるサンプル画像において、上記(式1)に従って算出した信頼度(Vr)とズーム位置との対応関係を示したグラフである。
全ての画像において、このようなデータが生成されるとは限らないが、多くの場合、図5に示すように、信頼度は、広角端(Wide端)の画像の方が高く、望遠端(Tele端)の撮影画像の方が低くなる傾向にある。
図6に示すように、制御部132はメモリ135に、
ズーム位置と、変換パラメータと、信頼度、
これらの対応データを格納する。
図6に示す値は以下のデータである。
Zp:ズーム位置(0:広角端、8:望遠端)
Pv:変換パラメータ(上下方向のズレ補正用の変換パラメータ(表ではすべて正の値であるが、負の値をとることもある))
Vr:信頼度(255で正規化したインジケータ値)
なお、アフィン変換に適用するその他のパラメータ、例えば、画像の回転や拡大縮小、その他の方向の移動処理等に関するパラメータについての算出、およびメモリ13への格納処理を行う構成としてもよい。図6には本発明に関する上下方向の画像ズレの補正に関するパラメータのみを示している。
次に、撮像装置において実行するショリシーケンスについて、図7、図8に示すフローチャートを参照して説明する。
なお、図7、図8に示すフローは、例えばメモリ135に格納されたプログラムに従って制御部132の制御によって実行されるフローである。
図7に示すフローは、このキャリブレーションを開始するか中止するかを決定する処理のシーケンスを示すフローである。
以下、これらの各処理について、順次、説明する。
まず、図7を参照してキャリブレーション開始条件判定処理の詳細シーケンスについて説明する。
まず、ステップS101において、ズームレンズを望遠端(Tele端)に移動する。図1に示す制御部132は、第1レンズ111、第2レンズ121の双方に対してズーム位置し指示値13,23を出力してズームレンズを望遠端(Tele端)に移動する。
ステップS104は、所定条件を満たす特徴点の数の取得処理である。
ステップS105は、特徴点の分布情報の取得処理である。
Init_num:ブロックマッチングの実行ブロック数(基準画像に設定したブロックマッチングを実行するブロック数)
a_num:ブロックマッチングの実行ブロックに含まれる輝度変化が小さいブロックのブロック数(ブロック内の最大輝度画素と最小輝度画素の画素値差分が既定閾値未満のブロック数(一様な輝度を持つブロック数))
b_num:ブロックマッチングにおいて対応ブロックとして選択した基準画像の基準ブロックと参照画像の参照ブロックとのSADが既定閾値以上のブロック数(相関の小さい対応ブロックの数)
c_num:参照領域(サーチ範囲)において検出した参照ブロック中、SADの最小値を持つ参照ブロックと、2番目に小さいSAD値を持つ参照ブロックとのSAD値の差分が既定閾値未満のブロック数(参照領域内に類似するブロックがある)
(Init_num),
(a_num),
(b_num),
(c_num)
これらの各条件に対応する特徴点の数(ブロック数)を取得する。
k:対応ブロック(特徴点)の分布に応じた係数(画面全体に広がりがあうる場合を1、広がりが少ない場合を0として1〜0の設定とする)
画像解析部131は、予め既定したアルゴリズムに従って、画面における特徴点の広がりを判定し、特徴点分布情報:kを算出する。
制御部132は、上述の特徴点数と特徴点分布情報からなる特徴点情報を画像解析部131から入力し、先に説明した(式1)に従って信頼度を算出し、算出した信頼度を表示部133にインジケータとして表示する。
信頼度(Vr)=[((Init_num)−(a_num)−(b_num)−(c_num))/(Init_num)]×255×k
・・・(式1)
先に説明した図2のステップS11の画面に対応する表示画像が表示される。
図2のステップS11の処理として説明したように、表示部133には望遠端(Tele端)での撮影画像にオーバーラップして信頼度を示すインジケータの表示がなされる。インジケータ上には、予め設定した閾値と、算出した信頼度が表示され、ユーザは、信頼度が閾値以上であるか否かを確認できる。
次に、ズーム位置に応じた変換パラメータの算出処理としてのキャリブレーション処理のシーケンスについて図8に示すフローチャートを参照して説明する。
(Init_num),
(a_num),
(b_num),
(c_num)
k:対応ブロック(特徴点)の分布に応じた係数(画面全体に広がりがあうる場合を1、広がりが少ない場合を0として1〜0の設定とする)
画像解析部131は、予め既定したアルゴリズムに従って、画面における特徴点の広がりを判定し、特徴点分布情報:kを算出する。
制御部132は、上述の特徴点数(ブロック数)と特徴点分布情報からなる特徴点情報を画像解析部131から入力し、先に説明した(式1)に従って信頼度を算出し、算出した信頼度を表示部133にインジケータとして表示する。
信頼度(Vr)=[((Init_num)−(a_num)−(b_num)−(c_num))/(Init_num)]×255×k
・・・(式1)
先に説明した図2のステップS21の画面に対応する表示画像が表示される。
図2のステップS21の画面に示すように、表示部133には設定したズームレンズ位置における撮影画像にオーバーラップして信頼度を示すインジケータの表示がなされる。インジケータ上には、予め設定した閾値と、算出した信頼度が表示され、ユーザは、信頼度が閾値以上であるか否かを確認できる。
次に、制御部132は、ステップS216において、現在のズームレンズ位置が広角端(Wide端)であるか否かを判定する。
現在のズームレンズ位置が広角端(Wide端)でない場合は、まだ全てのズームレンズ位置での変換パラメータの算出が終了していないと判断し、ステップS202に戻り、ズームレンズを広角端(Wide端)側に移動させて、ステップS211以下の処理を繰り返す。
例えば、望遠端(Tele端)から広角端(Wide端)までに設定した変換パラメータ算出位置がnポイントある場合、これらのnポイント中、予め設定したポイント数以上(例えば70%以上)で既定閾値以上の信頼度が得られている場合に「成功」と判定する。
この処理は、図2に示すステップ(S23)からステップ(S11)の処理の移行に相当する。
この記録処理においてメモリに格納されるデータは、図6を参照して説明したデータである。
各ズーム位置に対応するデータとして変換パラメータとその信頼度が併せて記録される。
これらの処理によってキャリブレーション処理が完了する。
この処理によって、上下方向のズレが補正された高品質なLR画像からなる3D画像の記録、出力が実現される。
111 第1レンズ
112 第1画像変換部
121 第2レンズ
122 第2画像変換部
131 画像解析部
132 制御部
133 表示部
135 メモリ
211 インジケータ
221 ブロック
Claims (11)
- 異なる視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析部と、
前記画像解析部の生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する制御部と、
前記制御部の算出した画像変換パラメータを適用して、前記複数の撮像部の撮影画像の変換処理を実行する画像変換部を有し、
前記制御部は、
前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置。 - 前記制御部は、
ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値以上であることを確認された場合に、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出するキャリブレーション処理を実行する請求項1に記載の撮像装置。 - 前記制御部は、
ズームレンズを望遠端に設定した初期位置において算出した信頼度が予め既定した閾値未満であると判定した場合に、撮影画像の変更を促すメッセージ出力を実行する請求項1に記載の撮像装置。 - 前記複数の撮像部は、3次元画像表示に適用する左眼用画像と右眼用画像の撮影を実行し、
前記制御部は、3次元画像表示に適用する左眼用画像と右眼用画像の上下方向のズレを解消する補正用の画像変換パラメータを算出する請求項1に記載の撮像装置。 - 前記画像解析部は、
前記複数の撮像部の撮影画像に対するブロックマッチング処理を実行し、該ブロックマッチング処理による特徴点検出を実行する請求項1に記載の撮像装置。 - 前記画像解析部は、
前記複数の撮像部の撮影画像の画像解析による特徴点検出処理において、
予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を生成して前記制御部に出力し、
前記制御部は、予め既定した条件を満たす特徴点の数と、特徴点の分布を含む特徴点情報を適用して前記信頼度の算出処理を行う請求項1に記載の撮像装置。 - 前記画像変換部はアフィン変換を実行する画像変換部であり、
前記制御部はアフィン変換に適用する画像変換パラメータを算出する請求項1に記載の撮像装置。 - 前記制御部は、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、
ズームレンズ位置と、画像変換パラメータと、信頼度を対応付けたデータをメモリに格納する請求項1に記載の撮像装置。 - 前記制御部は、
ズームレンズを望遠側から広角側に順次移動させて、複数のズーム位置において、前記画像解析部から入力する特徴点情報を利用して、前記画像変換パラメータと信頼度を算出し、
複数のズーム位置において算出した複数の信頼度の値に基づいて、既定の処理成功条件を満たすか否かを判定し、
成功と判定した場合は、算出した画像変換パラメータを有効パラメータとしてメモリに格納し、
失敗と判定した場合は、処理の失敗を示すメッセージ出力を実行する請求項1に記載の撮像装置。 - 撮像装置において実行する撮像装置制御方法であり、
画像解析部が、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行する画像解析ステップと、
制御部が、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出するパラメータ算出ステップを有し、
前記制御部は、前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行う撮像装置制御方法。 - 撮像装置において撮像装置制御処理を実行させるプログラムであり、
画像解析部に、異なる視点からの画像を撮影する複数の撮像部の撮影画像の画像解析による特徴点検出を実行させる画像解析ステップと、
制御部に、前記画像解析ステップにおいて生成する特徴点情報を入力して、前記複数の撮像部の撮影した複数画像の上下方向のズレを解消する補正用の画像変換パラメータを算出させるパラメータ算出ステップを実行させ、
前記制御部における前記パラメータ算出ステップにおいて、前記撮像部のズームレンズを望遠端に設定した位置を初期位置として、該初期位置における撮影画像に基づいて前記画像解析部が生成する特徴点情報を入力して画像変換パラメータの信頼度を算出し、該信頼度を表示部にインジケータとして表示する処理を行わせるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011026242A JP5625976B2 (ja) | 2011-02-09 | 2011-02-09 | 撮像装置、および撮像装置制御方法、並びにプログラム |
CN201210022640.3A CN102638693B (zh) | 2011-02-09 | 2012-02-02 | 摄像装置、摄像装置控制方法 |
US13/366,773 US9501828B2 (en) | 2011-02-09 | 2012-02-06 | Image capturing device, image capturing device control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011026242A JP5625976B2 (ja) | 2011-02-09 | 2011-02-09 | 撮像装置、および撮像装置制御方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012165333A JP2012165333A (ja) | 2012-08-30 |
JP5625976B2 true JP5625976B2 (ja) | 2014-11-19 |
Family
ID=46622908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011026242A Expired - Fee Related JP5625976B2 (ja) | 2011-02-09 | 2011-02-09 | 撮像装置、および撮像装置制御方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9501828B2 (ja) |
JP (1) | JP5625976B2 (ja) |
CN (1) | CN102638693B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201206195A (en) * | 2010-07-26 | 2012-02-01 | Gemtek Technology Co Ltd | Digital monitoring device |
JP5618686B2 (ja) * | 2010-08-03 | 2014-11-05 | キヤノン株式会社 | 視線検出装置、視線検出方法及びプログラム |
US8989481B2 (en) * | 2012-02-13 | 2015-03-24 | Himax Technologies Limited | Stereo matching device and method for determining concave block and convex block |
US9076062B2 (en) * | 2012-09-17 | 2015-07-07 | Gravity Jack, Inc. | Feature searching along a path of increasing similarity |
JP5928386B2 (ja) * | 2013-03-22 | 2016-06-01 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
KR102416814B1 (ko) | 2013-04-08 | 2022-07-06 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
US9955142B2 (en) | 2013-07-05 | 2018-04-24 | Mediatek Inc. | On-line stereo camera calibration device and method for generating stereo camera parameters |
KR102050418B1 (ko) * | 2013-08-20 | 2019-12-02 | 한화테크윈 주식회사 | 영상 정합 장치 및 이를 이용한 영상 정합 방법 |
CN106157520B (zh) * | 2015-04-21 | 2018-08-14 | 信泰光学(深圳)有限公司 | 主动防护系统 |
CN108307654A (zh) * | 2015-06-17 | 2018-07-20 | 索尼公司 | 图像处理装置和图像处理方法 |
CN105049712B (zh) * | 2015-06-30 | 2018-03-02 | 广东欧珀移动通信有限公司 | 一种启动终端广角摄像头的方法及终端 |
DE112015000108T5 (de) * | 2015-09-30 | 2016-06-16 | Komatsu Ltd. | Korrektursystem einer Bildaufnahmevorrichtung, Arbeitsmaschine und Korrekturverfahren einer Bildaufnahmevorrichtung |
CN108230372B (zh) * | 2017-11-30 | 2022-01-14 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
KR101885562B1 (ko) * | 2017-12-18 | 2018-08-06 | 주식회사 뷰노 | 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치 |
WO2020045186A1 (ja) * | 2018-08-31 | 2020-03-05 | キヤノン株式会社 | 情報処理装置、方法、及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
US6549650B1 (en) * | 1996-09-11 | 2003-04-15 | Canon Kabushiki Kaisha | Processing of image obtained by multi-eye camera |
EP0901105A1 (en) * | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
JP3280001B2 (ja) * | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
JP2004240844A (ja) * | 2003-02-07 | 2004-08-26 | Ricoh Co Ltd | 画像処理装置、roi領域制御方法、プログラム、及び、記録媒体 |
JP2004354257A (ja) * | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
JP4346988B2 (ja) * | 2003-07-28 | 2009-10-21 | キヤノン株式会社 | 撮影装置および撮影装置の光学調整方法 |
US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
US7697749B2 (en) * | 2004-08-09 | 2010-04-13 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device |
JP2006162991A (ja) * | 2004-12-07 | 2006-06-22 | Fuji Photo Film Co Ltd | 立体画像撮影装置 |
JP4544334B2 (ja) | 2008-04-15 | 2010-09-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP4852591B2 (ja) * | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
JP5202283B2 (ja) * | 2008-12-20 | 2013-06-05 | 三洋電機株式会社 | 撮像装置及び電子機器 |
JP2010279022A (ja) * | 2009-04-30 | 2010-12-09 | Sanyo Electric Co Ltd | 撮像装置 |
-
2011
- 2011-02-09 JP JP2011026242A patent/JP5625976B2/ja not_active Expired - Fee Related
-
2012
- 2012-02-02 CN CN201210022640.3A patent/CN102638693B/zh not_active Expired - Fee Related
- 2012-02-06 US US13/366,773 patent/US9501828B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN102638693A (zh) | 2012-08-15 |
JP2012165333A (ja) | 2012-08-30 |
US9501828B2 (en) | 2016-11-22 |
US20120224032A1 (en) | 2012-09-06 |
CN102638693B (zh) | 2015-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5625976B2 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
JP4852591B2 (ja) | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 | |
US9531938B2 (en) | Image-capturing apparatus | |
US9832362B2 (en) | Image-capturing apparatus | |
JP5295426B2 (ja) | 複眼撮像装置、その視差調整方法及びプログラム | |
JP2010278878A (ja) | 立体画像表示装置及びその表示画像切替方法 | |
JP2011205531A (ja) | 立体撮像装置、ゴースト像処理装置およびゴースト像処理方法 | |
WO2013046886A1 (ja) | 立体画像撮像装置及びその合焦状態確認用画像表示方法 | |
US9300860B2 (en) | Image-capturing apparatus | |
JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
JP2017037103A (ja) | 撮像装置 | |
US9420161B2 (en) | Image-capturing apparatus | |
JP2019168479A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP5891645B2 (ja) | 撮像装置およびプログラム | |
JP5586788B2 (ja) | 画像表示装置及び画像撮像装置 | |
JP5453552B2 (ja) | 撮影装置、方法及びプログラム | |
JP2011146815A (ja) | ズレ補正装置、ズレ補正装置を備える3次元デジタルカメラ、ズレ補正方法及びズレ補正プログラム | |
JP2013074397A (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP6045280B2 (ja) | 撮像装置 | |
JP5943693B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5743710B2 (ja) | 撮像装置およびその制御方法 | |
JP2012022716A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 | |
JP2011239006A (ja) | 複眼撮像ディジタル・カメラおよびその動作制御方法 | |
JP5396501B2 (ja) | 撮像装置 | |
JP2011182122A (ja) | 立体画像撮影装置、立体画像撮影方法および立体画像撮影プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140915 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5625976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |