JPWO2007063675A1 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents
画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 Download PDFInfo
- Publication number
- JPWO2007063675A1 JPWO2007063675A1 JP2007547880A JP2007547880A JPWO2007063675A1 JP WO2007063675 A1 JPWO2007063675 A1 JP WO2007063675A1 JP 2007547880 A JP2007547880 A JP 2007547880A JP 2007547880 A JP2007547880 A JP 2007547880A JP WO2007063675 A1 JPWO2007063675 A1 JP WO2007063675A1
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- processing method
- images
- motion vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 title claims description 14
- 239000013598 vector Substances 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000010187 selection method Methods 0.000 claims abstract description 5
- 230000001186 cumulative effect Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000012886 linear function Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
そこで本発明は、ブロック数を増やさなくとも複数の画像間の動きを高精度に検出することのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。
また、前記各ブロックの探索では、前記ブロック内の参照領域の特徴量を2方向へ加算してできる2種類の投影データが用いられることが望ましい。
また、前記各ブロックの探索では、前記ブロックの特徴量を前記2方向へ累積加算してできる2種類の累積加算画像が予め作成され、前記2種類の投影データは、前記2種類の累積加算画像の一部から作成されることが望ましい。
さらに、前記複数の粗い画像から算出された前記動きベクトル分布を利用して、前記低解像度変換前の複数の詳細な画像間の動きが検出されてもよい。
また、本発明の第1の画像処理プログラムは、本発明の第1の画像処理方法の何れかをコンピュータに実行させることを特徴とする。
また、本発明の第1の画像処理装置は、本発明の第1の画像処理方法の何れかを実行する手段を備えたことを特徴とする。
(第2の発明)
本発明の第2の画像処理方法は、複数の画像間の動きベクトルを探索する画像処理方法であって、前記複数の画像中の参照領域の相関を、その参照領域の位置を前記画像間でずらしながら算出する算出手順を含み、前記参照領域の相関として、前記参照領域の特徴量を2方向へ加算してできる2種類の投影データの相関を算出することを特徴とする。
また、前記参照領域の特徴量は、前記参照領域に対し2以上の処理を施して抽出されたものであることが望ましい。
また、前記動きベクトルは、前記画像を分割してできるブロックの動きベクトルであってもよい。
また、前記動きベクトルは、前記画像の全体の動きベクトルであってもよい。
また、本発明の第2の画像処理プログラムは、本発明の第2の画像処理方法の何れかをコンピュータに実行させることを特徴とする。
また、本発明の第2の撮像装置は、被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、本発明の第2の画像処理装置とを備えたことを特徴とする。
以下、本発明の第1実施形態を説明する。本実施形態は、手振れ補正機能付きの電子スチルカメラの実施形態である。
図1は、電子スチルカメラの構成を示すブロック図である。図1に示すとおり、電子スチルカメラ10には、撮像素子12、信号処理回路13、メモリ14、圧縮・伸張回路15、記録部16、画像処理回路17などが配置される。
図2は、手振れ補正処理の流れを示すフローチャートである。図2に示すとおり、画像処理回路17は、複数枚の画像を入力すると(ステップS1)、それらを低解像度変換して複数枚の粗い画像を取得し(ステップS2)、それら粗い画像の各ブロックから部分動きベクトルを探索する(ステップS3)。
そして、画像処理回路17は、粗検出で取得した動きベクトル分布を利用して、低解像度変換前の複数枚の詳細な画像の各ブロックから、改めて部分動きベクトルを探索する(ステップS6)。このステップS6の処理は、詳細な画像に基づく検出なので「詳細検出」に相当する。
次に、ステップS3〜S7を詳細に説明する。ここでは、簡単のため、画像の枚数を2とする。
図3は、ステップS3の原理を説明する図である。
図3に示すとおり、本ステップでは、粗い画像f1,f2に対しそれぞれエッジフィルタ処理が施され、エッジ画像g1,g2が取得される。そして、エッジ画像g1,g2の各々が複数のブロックRに分割される。ブロックRの個数は、例えば、画像の水平方向に6、画像の垂直方向に4の合計24である。以下、画像の水平方向(図の左右方向)を「x方向」とし、画像の垂直方向(図の上下方向)を「y方向」とする。ブロックRからの部分動きベクトルの探索は、次のとおり行われる。
この位置ずらし量(α,β)の変化範囲(探索範囲)は十分に広く設定される。例えば、参照領域E1,E2のサイズが75画素×75画素であるとき、探索範囲は、α:±15画素、β:±15画素に設定される。
但し、以上の探索では、二次元のデータである参照領域E1,E2をそのまま演算に用いると演算量が多くなるので、参照領域E1,E2の代わりに、参照領域E1,E2をy方向に加算してできる一次元の投影データと、参照領域E1,E2をx方向に加算してできる一次元の投影データとを用いることが望ましい。
図4に示すとおり、この場合、粗い画像f1,f2に対しx方向のエッジフィルタ処理が施され、エッジ画像g1v,g2vが取得されると共に、粗い画像f1,f2に対しy方向のエッジフィルタ処理が施され、エッジ画像g1h,g2hが取得される。なお、エッジ画像g1v,g2vにはy方向のエッジ成分が現れ、エッジ画像g1h,g2hには、x方向のエッジ成分が現れる。
また、エッジ画像g2vの参照領域E2がy方向に加算され、投影データL2hが作成される。
また、エッジ画像g1hの参照領域E1がx方向に加算され、投影データL1vが作成される。
この場合、参照領域E1,E2の間の相関値dは、投影データL1h,L2hの差分の絶対値と、投影データL1v,L2vの差分の絶対値との和で表される。
ここで、これらの投影データL1h,L2h,L1v,L2vは、参照領域E1,E2の位置ずらし量(α,β)が変化する毎に作成される必要がある。しかし、その度に参照領域E1,E2を加算していると演算量が多くなるので、予め、エッジ画像g1v,g2v,g1h,g2hの累積加算画像を作成しておくとよい。
図5に示すとおり、この場合も、図4の場合と同様に、粗い画像f1,f2からエッジ画像g1h,g2h,g1v,g2vが取得される。
このうち、エッジ画像g1vがy方向に累積加算され、累積加算画像h1が作成される。
また、エッジ画像g2vがy方向に累積加算され、累積加算画像h2が作成される。
また、エッジ画像g2hがx方向に累積加算され、累積加算画像v2が作成される。
これら累積加算画像h1,h2,v1,v2の算出式を具体的に示すと、以下の通りである。
また、上述した投影データL2hは、累積加算画像h2の参照領域E2の上下2ラインの差分をとることによって作成される。
また、上述した投影データL2vは、累積加算画像v2の参照領域E2の左右2ラインの差分をとることによって作成される。
したがって、この場合、参照領域E1,E2の間の相関値dは、以下の式により、少ない演算量で算出される。但し、Bは、ブロックサイズである。
図6は、ステップS4を説明する図である。図6において、符号R1,R2,…,R24で示すのは、画像内の各ブロックであり、符号V1,V2,…,V24で示すのは、ブロックR1,R2,…,R24から個別に探索された部分動きベクトルのイメージである。以下、このように、ブロックRの個数を24とし、各ブロックに関する各量にブロック番号を示す添え字を付して説明する。
第1評価値ΔEi:
部分動きベクトルViの値(Δxi,Δyi)と略同等の位置ずらし量を全てのブロックR1,R2,…,R24に対し試験的に当てはめたときの各ブロックR1,R2,…,R24の相関値d1,d2,…,d24の総和である。この第1評価値ΔEiが小さいほど、部分動きベクトルViの信頼度を高いと見なせる。
部分動きベクトルViの探索元であるブロックRiのエッジ量である。例えば、x方向のエッジフィルタ処理及びy方向のエッジフィルタ処理によりブロックRiの2つのエッジ成分を取得し、それらエッジ成分の絶対値の平均値である。この第2評価値eiが大きいほど、部分動きベクトルViの信頼度を高いと見なせる。
以上のソートの結果、第1位となった部分動きベクトルを、第1の代表動きベクトルVaとして選出する(図7参照)。
・代表動きベクトルベクトルVa,Vb,Vcの探索元であるブロックRa,Rb,Rcの中心座標が同一直線上に存在していない。
・{ブロックRa,Rb,Rcの中心座標を結んでできる三角形の面積}*{代表動きベクトルVa,Vb,Vcの第2評価値ea,eb,ecの総和}が最大である。
(ステップS5)
図8、図9は、ステップS5を説明する図である。
本ステップでは、図8に示すとおり、代表動きベクトルVa,Vb,Vcのx成分Δxa,Δxb,Δxcに基づき、部分動きベクトルVのx成分Δxの画像上の分布が近似される。
この平面Sxは、ブロックRaの中心座標を(xa,ya,0)とおき、ブロックRbの中心座標を(xb,yb,0)とおき、ブロックRcの中心座標を(xc,yc,0)とおいたときに、3つの座標(xa,ya,Δxa),(xb,yb,Δxb),(xc,yc,Δxc)を通る平面である。つまり、平面Sxは、上記3つの座標から決まる3つの定数A1,A2,A3により、以下の1次式で特定される。
Sx:Δx=A1x+A2y+A3
同様に、本ステップでは、図9に示すとおり、代表動きベクトルVa,Vb,Vcのy成分Δya,Δyb,Δycに基づき、部分動きベクトルVのy成分Δyの画像上の分布が近似される。
この平面Syは、3つの座標(xa,ya,Δya),(xb,yb,Δyb),(xc,yc,Δyc)を通る平面である。この平面Syは、上記3つの座標から決まる3つの定数B1,B2,B3により、以下の1次式で特定される。
Sy:Δy=B1x+B2y+B3,
以上の2つの平面Sx,Syにより、画像上の動きベクトル分布が表されることになる。
(ステップS6)
本ステップでは、置換後の部分動きベクトルV1,V2,…,V24を利用して、低解像度変換前の2枚の詳細な画像のブロックR1,R2,…,R24から、改めて部分動きベクトルV1,V2,…,V24が探索される。
また、粗い画像による粗検出により大凡の探索は済んでいるので、各ブロックRiの探索範囲(位置ずらし量(α,β)の変化範囲)は、置換後の部分動きベクトルViの値(Δxi,Δyi)の近傍に制限される。例えば、参照領域E1,E2のサイズが200画素×200画素であるとき、探索範囲は、α:Δxi±6画素、β:Δyi±6画素に設定される。このように探索範囲を狭い範囲に制限すれば、探索に要する演算量を抑えることができる。
以上の条件下で、ブロックR1,R2,…,R24の各々から改めて部分動きベクトルV1,V2,…,V24が探索される。本ステップで探索された部分動きベクトルV1,V2,…,V24が、最終的な部分動きベクトルである。
本ステップでは、最終的な部分動きベクトルV1,V2,…V24に応じて、2枚の詳細な画像のブロックR1,R2,…R24が位置合わせされ、合成される。これによって、1枚の補正画像が完成する。なお、この合成の際、画像の必要な箇所が画素補間される。
このように、画像の位置合わせをブロック毎に行えば、最終的な部分動きベクトルV1,V2,…V24が有効利用されることになり、2枚の画像間の動きに回転成分が生じていた場合や、拡大/縮小成分が生じていた場合などにも対処できる(ステップS7終了)。
また、本実施形態の手振れ補正処理では、粗い画像に基づき大凡の動きベクトル分布を予め求めておき(ステップS2〜S5)、それを利用して少ない演算量で詳細な画像の動きを検出するので(ステップS6)、その動きを高精度に検出できるだけでなく、検出に要する演算量を抑えることもできる。
なお、ステップS3,S6では、フィルタ処理の種類としてエッジフィルタ処理を採用したのでブロックから抽出される特徴量がエッジ情報であったが、他の種類のフィルタ処理を採用し、ブロックから抽出される特徴量を、ブロック内のパターンを示す他の特徴量に代えてもよい。
また、ステップS4,S5では、動きベクトル分布を平面で近似するのに、3つの代表動きベクトルVa,Vb,Vcを用いたが、4以上の代表動きベクトルを用いてもよい。
また、本実施形態の手振れ補正処理では、粗い画像の動きベクトル分布を近似してから(ステップS3〜S5)、詳細な画像の動きベクトルを改めて探索した(ステップS6)が、同様の近似処理(ステップS3〜S5)を詳細な画像に対して直接施してもよい。但し、本実施形態のように2段階に分けた方が、効率的である。
以下、本発明の第2実施形態を説明する。本実施形態は、動きベクトルの検出処理の実施形態である。
ここでも簡単のため画像の枚数を2とし、2枚の画像中のブロックの動きベクトルを検出対象とする。また、そのブロックの座標及びサイズは任意とする。よって、ブロックのサイズを大きく設定すれば、2枚の画像の全体の動きベクトルを検出することができる。また、ブロックを複数化し、各ブロックの動きベクトル(=部分動きベクトル)をそれぞれ検出すれば、第1実施形態のステップS3への適用も可能である。
(ステップS11,S21)
本ステップでは、微小時間間隔で取得された2枚の画像f1(x,y),f2(x,y)が入力される。
本ステップでは、2枚の画像f1(x,y),f2(x,y)の各々に対しエッジフィルタ処理が施される。第1の画像f1(x,y)に関する垂直・水平方向(x・y方向)のフィルタ出力g1v(x,y),g1h(x,y)、第2の画像f2(x,y)に関する垂直・水平方向(x・y方向)のフィルタ出力g2v(x,y),g2h(x,y)は、それぞれ以下の式で表される。
g2v(x,y)=-f2(x,y-2)-f2(x,y-1)+f2(x,y+1)+f2(x,y+2)
g1h(x,y)=-f1(x-2,y)-f1(x-1,y)+f1(x+1,y)+f1(x+2,y)
g2h(x,y)=-f2(x-2,y)-f2(x-1,y)+f2(x+1,y)+f2(x+2,y)
このうちフィルタ出力g1v(x,y)は、第1実施形態(図5)で説明したエッジ画像g1v(x,y)に相当し、フィルタ出力g2v(x,y)は、第1実施形態で説明したエッジ画像g2v(x,y)に相当し、フィルタ出力g1h(x,y)は、第1実施形態で説明したエッジ画像g1h(x,y)に相当し、フィルタ出力g2h(x,y)は、第1実施形態で説明したエッジ画像g2h(x,y)に相当する。
さらに、本ステップでは、このようなエッジフィルタ処理に他の処理を組み合わせる。例えば、ノイズ低減処理である。ノイズ低減処理では、上述したフィルタ出力g1v(x,y),g1h(x,y),g2v(x,y),g2h(x,y)の各画素値を所定の閾値と比較し、閾値以下となったものについては、その画素値をゼロへと置換する。これによって、フィルタ出力g1v(x,y),g1h(x,y),g2v(x,y),g2h(x,y)のノイズが低減される。
本ステップでは、ノイズ低減後のフィルタ出力g1v(x,y),g2v(x,y),g1h(x,y),g2h(x,y)の各々により画像を作成する。以下、作成された画像を、特徴量画像g1v(x,y),g2v(x,y),g1h(x,y),g2h(x,y)と称す。但し、メモリの使用量を削減するため、本ステップを省略し、次のステップにおいてフィルタ出力g1v(x,y),g2v(x,y),g1h(x,y),g2h(x,y)をそのまま使用することも可能である。
本ステップでは、特徴量画像g1v(x,y),g2v(x,y),g1h(x,y),g2h(x,y)の各々に基づき累積加算画像h1(x,y),h2(x,y),v1(x,y),v2(x,y)を作成する。累積加算画像h1(x,y),h2(x,y),v1(x,y),v2(x,y)の算出式は、第1実施形態で説明した算出式と同じであり、以下のとおりである。
本ステップでは、動きベクトルの探索元となるブロックの中心座標(cx,cy)及びサイズ(Bx,By)を決定する。Bxはx方向のサイズ、Byはy方向のサイズである。なお、動きベクトルの探索元を画像全体とする場合は、ブロックの中心座標を画像の中心座標とし、ブロックのサイズを画像全体のサイズに一致させればよい。
本ステップでは、第1の画像f1におけるブロック内の参照領域E1と、第2の画像f2(x,y)におけるブロック内の参照領域E2とを設定する。但し、参照領域E1,E2のサイズは共通であり、ブロックにおける参照領域E1の座標は固定なので、ここで設定されるのは、参照領域E1を基準とした参照領域E2の位置ずらし量(α,β)のみでよい。
本ステップでは、参照領域E1,E2の間の相関値d(α,β)を算出する。相関値d(α,β)の算出方法は、第1実施形態のそれと基本的に同じである。すなわち、本ステップでは、図12に概念的に示すとおり、参照領域E1のx・y方向の投影データL1h,L1vを作成し、参照領域E2についても同様の投影データL2h,L2vを作成し、それら4種類の投影データL1h,L1v,L2h,L2vを加減算することで相関値d(α,β)を算出する。
以上の相関値d(α,β)の算出は、位置ずらし量(α,β)を変更しながら繰り返し行われる。
(ステップS40)
本ステップでは、相関値d(α,β)が最小となるような位置ずらし量(α,β)の値(Δx,Δy)が見出され、その値(Δx,Δy)が動きベクトルVとして出力される。これによって、動きベクトルの検出処理が終了する。
また、本実施形態のステップS12,S22では、エッジフィルタ処理を含む2以上の処理を画像f1(x,y),f2(x,y)へ施すので、良好な特徴量画像g1v(x,y),g2v(x,y),g1h(x,y),g2h(x,y)を取得することができる。したがって、本実施形態では動きベクトルVを高精度に検出することができる。
なお、上述したステップS12,S22では、エッジ情報を抽出するためにエッジフィルタ処理を採用したが、特徴量を抽出することができるのであれば他の種類のフィルタ処理を採用してもよい。
また、本実施形態の検出方法は、入力された複数の画像を処理するものであったが、入力された複数の画像を低解像度変換したものを同様に処理してもよい。
また、本実施形態の検出方法又は、それが適用された手ぶれ補正方法は、撮像装置、画像入力装置、コンピュータなどによって実行される。コンピュータに実行させる場合、その処理を実行させるためのプログラムをコンピュータにインストールすればよい。
Claims (19)
- 複数の画像間の動きを検出する画像処理方法であって、
前記複数の画像の各ブロックから部分動きベクトルを探索する探索手順と、
前記各ブロックの部分動きベクトルの中から代表動きベクトルを選出する選出手順と、
前記代表動きベクトルに基づき前記画像上の動きベクトル分布を近似する近似手順と
を含むことを特徴とする画像処理方法。 - 請求項1に記載の画像処理方法において、
前記代表動きベクトルは、少なくとも3つ選出され、
前記動きベクトル分布は、前記画像上の位置の一次関数で近似される
ことを特徴とする画像処理方法。 - 請求項1又は請求項2に記載の画像処理方法において、
前記各ブロックの探索では、
前記ブロック内の参照領域の特徴量を2方向へ加算してできる2種類の投影データが用いられる
ことを特徴とする画像処理方法。 - 請求項3に記載の画像処理方法において、
前記各ブロックの探索では、
前記ブロックの特徴量を前記2方向へ累積加算してできる2種類の累積加算画像が予め作成され、前記2種類の投影データは、前記2種類の累積加算画像の一部から作成される
ことを特徴とする画像処理方法。 - 請求項1〜請求項4の何れか一項に記載の画像処理方法において、
前記探索手順、前記選出手順、及び前記近似手順による前記動きベクトル分布の算出処理は、
前記複数の画像を低解像度変換してできる複数の粗い画像に対して施される
ことを特徴とする画像処理方法。 - 請求項5に記載の画像処理方法において、
前記複数の粗い画像から算出された前記動きベクトル分布を利用して、前記低解像度変換前の複数の詳細な画像間の動きを検出する再検出手順を更に含む
ことを特徴とする画像処理方法。 - 請求項6に記載の画像処理方法において、
前記検出した動きに基づき前記複数の詳細な画像を位置合わせして合成する合成手順を更に含む
ことを特徴とする画像処理方法。 - 請求項1〜請求項7の何れか一項に記載の画像処理方法をコンピュータに実行させる
ことを特徴とする画像処理プログラム。 - 請求項1〜請求項7の何れか一項に記載の画像処理方法を実行する手段を備えた
ことを特徴とする画像処理装置。 - 被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、
請求項9に記載の画像処理装置と
を備えたことを特徴とする撮像装置。 - 複数の画像間の動きベクトルを探索する画像処理方法であって、
前記複数の画像中の参照領域の相関を、その参照領域の位置を前記画像間でずらしながら算出する算出手順を含み、
前記参照領域の相関として、前記参照領域の特徴量を2方向へ加算してできる2種類の投影データの相関を算出する
ことを特徴とする画像処理方法。 - 請求項11に記載の画像処理方法において、
前記算出手順では、
前記参照領域の特徴量を前記2方向へ累積加算してできる2種類の累積加算画像が予め作成され、前記2種類の投影データは、前記2種類の累積加算画像の一部から作成される
ことを特徴とする画像処理方法。 - 請求項11又は請求項12に記載の画像処理方法において、
前記参照領域の特徴量は、
前記参照領域に対し2以上の処理を施して抽出されたものである
ことを特徴とする画像処理方法。 - 請求項13に記載の画像処理方法において、
前記2以上の処理のうち1つは、
エッジフィルタ処理である
ことを特徴とする画像処理方法。 - 請求項11〜請求項14の何れか一項に記載の画像処理方法において、
前記動きベクトルは、
前記画像を分割してできるブロックの動きベクトルである
ことを特徴とする画像処理方法。 - 請求項11〜請求項14の何れか一項に記載の画像処理方法において、
前記動きベクトルは、
前記画像の全体の動きベクトルである
ことを特徴とする画像処理方法。 - 請求項11〜請求項16の何れか一項に記載の画像処理方法をコンピュータに実行させる
ことを特徴とする画像処理プログラム。 - 請求項1〜請求項16の何れか一項に記載の画像処理方法を実行する手段を備えた
ことを特徴とする画像処理装置。 - 被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、
請求項18に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007547880A JP5082856B2 (ja) | 2005-11-30 | 2006-11-01 | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345715 | 2005-11-30 | ||
JP2005345715 | 2005-11-30 | ||
PCT/JP2006/321904 WO2007063675A1 (ja) | 2005-11-30 | 2006-11-01 | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
JP2007547880A JP5082856B2 (ja) | 2005-11-30 | 2006-11-01 | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007063675A1 true JPWO2007063675A1 (ja) | 2009-05-07 |
JP5082856B2 JP5082856B2 (ja) | 2012-11-28 |
Family
ID=38092012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007547880A Active JP5082856B2 (ja) | 2005-11-30 | 2006-11-01 | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8526680B2 (ja) |
EP (2) | EP1956556B1 (ja) |
JP (1) | JP5082856B2 (ja) |
DE (1) | DE602006014723D1 (ja) |
WO (1) | WO2007063675A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2059027A4 (en) * | 2006-09-14 | 2012-08-08 | Nikon Corp | IMAGE PROCESSING DEVICE, ELECTRONIC CAMERA, AND IMAGE PROCESSING PROGRAM |
US8149283B2 (en) * | 2007-01-23 | 2012-04-03 | Nikon Corporation | Image processing device, electronic camera, image processing method, and image processing program |
US8600189B2 (en) * | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
TWI471521B (zh) * | 2010-07-23 | 2015-02-01 | Pixart Imaging Inc | 位移估測方法及使用該方法之位移偵測裝置 |
JP5863273B2 (ja) * | 2011-05-02 | 2016-02-16 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
US9020262B2 (en) | 2012-07-31 | 2015-04-28 | Hewlett-Packard Development Company, L.P. | Symbol compression using conditional entropy estimation |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04180370A (ja) * | 1990-11-14 | 1992-06-26 | Matsushita Electric Ind Co Ltd | 画像の動きベクトル検出装置及び揺れ補正装置 |
US5237405A (en) * | 1990-05-21 | 1993-08-17 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting device and swing correcting device |
JP2989364B2 (ja) | 1992-03-12 | 1999-12-13 | シャープ株式会社 | 画像処理装置及び画像処理方法 |
JP2940762B2 (ja) * | 1993-06-28 | 1999-08-25 | 三洋電機株式会社 | 手振れ補正装置を有するビデオカメラ |
JP2897761B2 (ja) * | 1997-07-18 | 1999-05-31 | 日本電気株式会社 | ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体 |
US20020015513A1 (en) * | 1998-07-15 | 2002-02-07 | Sony Corporation | Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded |
US6284711B1 (en) * | 1999-12-15 | 2001-09-04 | Basf Corporation | Use of a semicarbazone plant growth regulator for early termination of crop plants |
JP4294881B2 (ja) | 2000-05-12 | 2009-07-15 | 富士フイルム株式会社 | 画像の位置合わせ方法および装置 |
JP3611507B2 (ja) * | 2000-05-30 | 2005-01-19 | 松下電器産業株式会社 | 動きベクトル検出装置 |
US7227896B2 (en) * | 2001-10-04 | 2007-06-05 | Sharp Laboratories Of America, Inc. | Method and apparatus for global motion estimation |
FR2833797B1 (fr) * | 2001-12-19 | 2004-02-13 | Thomson Licensing Sa | Procede d'estimation du mouvement dominant dans une sequence d'images |
US7142718B2 (en) * | 2002-10-28 | 2006-11-28 | Lee Shih-Jong J | Fast pattern searching |
DE602004008594T2 (de) * | 2003-03-18 | 2008-07-31 | Koninklijke Philips Electronics N.V. | Verfahren und vorrichtung zum optimalen anpassen von datensätzen |
JP2004343483A (ja) * | 2003-05-16 | 2004-12-02 | Acutelogic Corp | 手振れ補正装置および方法、手振れ検出装置 |
JP4730125B2 (ja) * | 2006-02-22 | 2011-07-20 | 株式会社日立製作所 | 血流画像表示装置 |
US8130845B2 (en) * | 2006-11-02 | 2012-03-06 | Seiko Epson Corporation | Method and apparatus for estimating and compensating for jitter in digital video |
WO2008136178A1 (ja) * | 2007-04-26 | 2008-11-13 | Panasonic Corporation | 動き検出装置、動き検出方法、及び動き検出プログラム |
JP5284048B2 (ja) * | 2008-11-12 | 2013-09-11 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
-
2006
- 2006-11-01 DE DE602006014723T patent/DE602006014723D1/de active Active
- 2006-11-01 WO PCT/JP2006/321904 patent/WO2007063675A1/ja active Application Filing
- 2006-11-01 EP EP06822824A patent/EP1956556B1/en active Active
- 2006-11-01 US US12/083,553 patent/US8526680B2/en active Active
- 2006-11-01 JP JP2007547880A patent/JP5082856B2/ja active Active
- 2006-11-01 EP EP10003785A patent/EP2204772A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US20090052788A1 (en) | 2009-02-26 |
EP1956556B1 (en) | 2010-06-02 |
WO2007063675A1 (ja) | 2007-06-07 |
EP2204772A1 (en) | 2010-07-07 |
EP1956556A4 (en) | 2009-08-19 |
JP5082856B2 (ja) | 2012-11-28 |
US8526680B2 (en) | 2013-09-03 |
EP1956556A1 (en) | 2008-08-13 |
DE602006014723D1 (de) | 2010-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4815807B2 (ja) | Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
JP5082856B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
US20100007754A1 (en) | Image processing device, electronic camera and image processing program | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JPWO2007074605A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP2010187348A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2015036841A (ja) | 画像処理装置、距離計測装置、撮像装置、画像処理方法 | |
JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2008099260A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP2016164709A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP3333012B2 (ja) | 画像合成装置 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP5055571B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP5683153B2 (ja) | 画像処理装置および画像処理方法 | |
JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6452414B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2008310418A (ja) | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ | |
JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
JP7496564B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2010041416A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP5012805B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム | |
JP6274778B2 (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム | |
JP6292947B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4305027B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5082856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |