JP5074322B2 - 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 Download PDF

Info

Publication number
JP5074322B2
JP5074322B2 JP2008202203A JP2008202203A JP5074322B2 JP 5074322 B2 JP5074322 B2 JP 5074322B2 JP 2008202203 A JP2008202203 A JP 2008202203A JP 2008202203 A JP2008202203 A JP 2008202203A JP 5074322 B2 JP5074322 B2 JP 5074322B2
Authority
JP
Japan
Prior art keywords
motion vector
image
lens
image processing
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008202203A
Other languages
English (en)
Other versions
JP2010041417A (ja
Inventor
伸之 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008202203A priority Critical patent/JP5074322B2/ja
Priority to US12/534,259 priority patent/US8199202B2/en
Publication of JP2010041417A publication Critical patent/JP2010041417A/ja
Application granted granted Critical
Publication of JP5074322B2 publication Critical patent/JP5074322B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、複数枚の画像の位置合わせ（画像のブレの補正を含む）を行う技術に関する。
従来、画像のブレ補正等において画像の動きベクトルを検出する手段として、ブロックマッチング法や相関演算に基づく相関法が知られている。
ブロックマッチング法では、入力された画像を、複数の適当な大きさのブロック（例えば８画素×８ライン）に分割する。このブロックの単位で、現在のフィールド（フレーム）と前のフィールドの一定範囲との画素値の差分が計算される。さらに、この差分に基づいて、現在のフィールドのあるブロックに対して相関の高い前のフィールドのブロックを探索する。そして、両ブロック間の相対的なズレが、ブロックの動きベクトルとなる。
ブロックマッチングでの相関の高いブロックの探索方法として、画素値の差分の二乗和である誤差二乗和ＳＳＤ、画素値の差分の絶対値和である誤差絶対値和ＳＡＤによって相関を評価することが行われる。ＳＳＤ、ＳＡＤが小さいほど相関が高いと評価する。ＳＳＤとＳＡＤは、それぞれ以下の数式（１）、（２）で表される。
ここで、ｐは、現在のフィールドのマッチングの基準ブロック領域Ｉ内の画素位置、ｑは、前のフィールドのマッチングの対象とするブロック領域Ｉ'内の画素位置（画素位置ｐに対応する位置）を示す。従って、ｐ及びｑは、２次元の値を持つ量であり、Ｉ、Ｉ'は、それぞれ、現在のフィールドと前のフィールドの２次元の領域を示す。ｐ∈Ｉは、座標ｐが領域Ｉに含まれていること、ｑ∈Ｉ'は、座標ｑが領域Ｉ'に含まれていることを示す。さらに、画素位置ｐ、ｑの画素値をＬｐ、Ｌｑとする。
一方、相関演算に基づく相関法では、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'のそれぞれに含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ave(Lp)、Ave(Lq)を算出する。さらに、各ブロックに含まれる画素値とこの平均値の差分を以下の数式（３）により計算する。
続いて、正規化相互相関ＮＣＣを数式（４）により計算する。
正規化相互相関ＮＣＣの大きいブロックを相関の高いブロックと評価し、最も相関の高いブロックＩ'とＩの間のズレを動きベクトルとする。
画像に含まれている被写体や撮影対象が静止している場合、個々の領域での動きと画像全体の動きは一致している。従って、この場合には、上記の相関演算を行うブロックは任意の固定位置に配置して、その動きベクトルを算出すれば良い。
なお、ノイズの影響により信頼性の高い動きベクトルが得られない場合や、ブロックが平坦部又はブロックに比べて大きい構造のエッジ部にかかっており信頼性の高い動きベクトルが得られない場合がある。このような場合を排除する為に、動きベクトルを算出する際の信頼性判定を行う技術が、例えば特許文献１や特許文献２に開示されている。
また、画像に含まれている被写体や撮影対象に複数の動きが含まれている場合は、例えばブレ補正を目的として、画像全体の動きベクトルを算出することが課題となる。特許文献３では、被写体を複数の領域に分割し、複数の領域のうちで動きベクトルの大きさや領域の大きさなどで重要な領域を選択し、その領域の動きベクトルを全体の動きベクトルとしている。
この場合、領域選択手段は、以下の（i）-（iv）のいずれかのような重要な領域を選択する。
（i）複数の領域のうち最も範囲が大きな領域
（ii）複数の領域のうち最も動きベクトルが小さな領域
（iii）複数の領域のうち前回選択した領域に重なる範囲が最も大きな領域
（iv）最も範囲が大きな領域と、最も動きベクトルが小さな領域と、前回選択した領域に重なる範囲が最も大きな領域のうちの何れかの領域
ところで、収差の大きいレンズを備える撮像装置に対して電子式ブレ補正等の位置合わせを行う場合に、画像の収差による変形量が画像内の位置ごとに異なるため問題となる。例えば、広角レンズ等では、画像の歪曲収差による変形量が像高毎に異なる。このため、収差の大きいレンズで撮影した複数枚の画像間では、画像間動きベクトル（補正ベクトル）を決定することが困難になる。これは、収差がない場合の像上での動きベクトルと、収差がある場合の像上での動きベクトルとの対応関係が、画像内の位置ごと（例えば、像高ごと）に異なるためである。
例えば、図１（ａ）の樽型の歪曲収差の場合、像高の大きい領域で、画像間の動きベクトルは、収差がない場合より小さく見積もられる。一方、図１（ｂ）の糸巻き型の歪曲収差の場合、逆に、像高の大きい領域で、画像間の動きベクトルは、収差がない場合より大きく見積もられる。
特許文献４では、歪曲収差に対する対策として、歪曲収差の補正を行った後の画像に対して、画像間の動きベクトルを決定して電子式ブレ補正を行うことを提案している。
特開平８−１６３５７３号公報 特許第３１６４１２１号公報 特開平８−２５１４７４号公報 特開２００７−１２９５８７号公報
一方、電子ブレ補正に於いて、画像が２重化して見えないためには、画角の水平方向に対して1/1000程度の位置合わせの精度が要求される。即ち、水平方向で3000画素の解像度を持っていれば３画素程度の位置合わせの精度が必要になる。
しかし、特許文献４のように収差の補正を行った後の画像に対して画像間の動きベクトルを決定する場合、像の収差補正の精度が電子ブレ補正での要求精度より劣ると、画像間動きベクトルが正確に決定できない。このため、画像の位置合わせとしてのブレ補正が正確にできなくなる。
本発明では、収差を有する撮影レンズを用いて撮影された複数枚の画像に対して、簡易に精度の良い位置合わせを行うことを目的とする。
本発明のある態様に係る画像処理装置は、少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理装置であって、前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得部と、動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理部と、を備え、前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、前記レンズ特性取得部は、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする。本発明の別の態様に係る画像処理装置は、少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理装置であって、 前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得部と、動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理部と、を備え、前記画像処理装置は、平行移動以外の変形を含む前記画像の変形により、前記複数枚の画像の位置合わせ処理を行い、前記動きベクトル統合処理部は、前記画像の変形を特徴付ける変形パラメータを求めるための複数の画像間動きベクトルを算出し、前記画像処理装置は、前記複数の画像間動きベクトルから前記変形パラメータを算出する変形パラメータ算出部を備え、前記動きベクトル統合処理部は、前記複数の動きベクトル測定領域の動きベクトルを階級に分類し、同一の階級に属する動きベクトルの前記信頼度の合計が大きい順に複数の階級を選択し、選択した前記複数の階級の各階級をそれぞれ代表するベクトルを前記複数の画像間動きベクトルとして設定することを特徴とする。
本発明の別の態様に係る画像処理方法は、少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理方法であって、前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得ステップと、動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定ステップと、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出ステップと、前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出ステップと、前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理ステップと、を備え、前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、前記レンズ特性取得ステップでは、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする。
本発明のさらに別の態様に係る画像処理プログラムは、少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理プログラムであって、前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得手順と、動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定手順と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手順と、前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出手順と、前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理手順と、を備え、前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、前記レンズ特性取得手順では、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする。
本発明のさらに別の態様に係る撮像装置は、撮影レンズと、前記撮影レンズによって形成される光学像を電気信号に変換する撮像部とを有し、
少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により、前記撮像部から取得した複数枚の画像の位置合わせ処理を行う撮像装置であって、前記複数枚の画像を撮影する前記撮影レンズのレンズ特性を取得するレンズ特性取得部と、動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理部と、を備え、前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、前記レンズ特性取得部は、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする。
これらの態様によれば、動きベクトルを測定するための複数の動きベクトル測定領域は、レンズ特性に基づいて設定される。このため、収差を考慮して動きベクトル測定領域が設定できる。例えば、レンズ特性に基づいて収差の絶対値が小さい位置範囲で動きベクトル測定領域が設定できる。
このため、収差補正する前の段階でも、複数枚の画像に対し収差の影響を除去して、画像間動きベクトルを決定することができる。従って、収差補正を行った後の複数枚の画像に対して画像間動きベクトルを決定する場合より、的確に画像間動きベクトルを決定することができる場合がある。さらに、この的確な画像間動きベクトルに特徴付けられる画像の変形により、収差補正に精度がない場合でも、精度良い画像の位置合わせ処理が可能となる。
また、動きベクトルの算出の前に収差補正を必要としないので位置合わせ処理の構成の自由度が上がる。例えば、収差補正後に画像間動きベクトル算出を行うようなシーケンシャルな処理を必要とせず、収差補正と画像間動きベクトルの算出を並列処理することもできる。
本発明によれば、収差による画像の歪がある場合でも、画像間動きベクトルが的確に算出され、この画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理が的確に行える。また、画像間動きベクトル算出の前に収差補正を必要としないので位置合わせ処理の構成の自由度が上がる。
［第一実施形態］
図２を参照して、第一実施形態に係る画像処理装置について説明する。なお、画像処理装置は、画像取得装置と一体化してデジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）を形成するものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。例えば、画像取得装置と画像処理装置をそれぞれ個別の装置として連携させて使用する構成でもよい。
撮像装置１は、画像取得装置としての画像取得部２と、画像処理装置として画像処理部３から構成される。画像処理部３は、画像取得部２で撮像された複数枚の画像の位置合わせと加算処理を行う。
画像取得部２は、撮影レンズ部１０と撮像部１２とを有している。撮影レンズ部１０は、複数枚の画像を撮影（又は撮像）する際に用いられる。撮影レンズ部１０は、一つ以上のレンズ要素から構成され外部から取り込んだ光を結像する撮影レンズ（又は撮像レンズ）１１００を有する。さらに、撮影レンズ部１０は、この撮影レンズ１１００に取り付けられたＲＯＭ（読み出し専用メモリ）１１０１をレンズ特性データの記憶部として有している。撮像部１２は、イメージャ（ＣＣＤ）と、イメージャからの信号を処理する信号処理部からなる。撮像部１２は、撮影レンズ１１００により撮像部１２に結像された光学像を電気信号に変換する。さらに、撮像部１２は、この電気信号をデジタル信号に変換し画像データを生成する。この際、電気信号からオプチカルブラック（即ち、光強度ゼロ）の電気信号を差し引く等の処理を行う。
画像処理部（又は画像処理装置）３は、複数枚の画像を格納するフレームメモリ１０２と、基準画像に対して複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部１０３とを有する。動きベクトル測定領域設定部１０３は、基準画像内でレンズ特性データに基づいて定めた位置範囲内に、複数の動きベクトル測定領域の重心位置（中心位置）を設定する。なお、後述するように、領域設定部１０３は、動きベクトル測定領域の全体がこの位置範囲内に入るように動きベクトル測定領域を設定してもよい。上記の位置範囲は、例えば、収差の絶対値が所定値以下となる範囲でよい。レンズ特性データは、後述するレンズ特性取得部１０７から得られる。動きベクトル測定領域設定部１０３の詳細については、後述する。
また、画像処理部３は、動きベクトル測定領域の動きベクトルを演算する動きベクトル算出部１０４と、動きベクトルの演算結果の信頼度を算出する動きベクトル信頼度算出部１０５も有する。
さらに、画像処理部３は、上記演算した動きベクトルに基づいて、画像間の動きベクトルの代表値を算出する動きベクトル統合処理部１０６と、この代表値に応じて画像の加算を行うフレーム加算部１０９とを有する。また、画像処理部３は、撮影レンズ１１００の特性に関するレンズ特性データをＲＯＭ１１０１から取得するレンズ特性取得部１０７と、このレンズ特性データに基づいて収差の補正を行う収差補正部１０８とを有する。
画像処理部３は、上記各部の制御を行うメインコントローラ１００を有する。メインコントローラ１００は、画像処理部３の各部の動作の制御を行うとともに、撮影レンズ１１００の自動焦点（ＡＦ）調整制御やズーム動作の制御（倍率変更制御）を行う。メインコントローラ１００は、例えばＤＳＰ（デジタルシグナルプロセッサ）などのＣＰＵ（中央演算処理装置）等から構成される。なお、図２において、点線はメインコントローラの制御信号、細線は動きベクトルや信頼度等のデータの流れ、太線は画像データの流れを表している。
以下、本明細書において、動きベクトル測定領域を「測定領域」と、動きベクトル測定領域設定部を「領域設定部」と、動きベクトル算出部を「ベクトル算出部」と呼ぶ。また、動きベクトル信頼度算出部を「信頼度算出部」と、動きベクトル統合処理部を「統合処理部」と、レンズ特性取得部を「特性取得部」と呼ぶ。「撮影レンズ」を単に「レンズ」と呼ぶことがある。さらに、画像間の動きベクトルの代表値を、単に、画像間動きベクトル、又は補正ベクトルと呼ぶことがある。
ここで、撮影レンズ部１０に取り付けられたＲＯＭ１１０１に記憶されているレンズ特性データについて説明しておく。レンズ特性データは、撮影レンズのレンズ特性に関するデータである。レンズ特性は、撮影レンズ１１００の種類を識別するためのレンズ識別子（例えば、レンズ型名やシリアルナンバー）や、撮影レンズ１１００の光学的特性を与えるレンズパラメータを含む。このレンズパラメータの例として、レンズ１１００の焦点距離ｆや歪曲収差ＤＴ（％）が挙げられる。
歪曲収差ＤＴ（％）は、実像高Ｙ’及び理想像高Ｙを用いて、以下の式（５）のように表せる。実像高Ｙ’及び理想像高Ｙの関係は、式（６）のように表せる。そのため、歪曲収差に関する他のレンズパラメータの例として、式（７）のように、歪曲収差ＤＴ（％）を理想像高の二乗（Ｙ2）で展開して多項式化した場合の係数a1、a2、a3も挙げられる。
なお、レンズ特性の例として、歪曲収差ＤＴ（％）を理想像高の二乗（Ｙ2）で展開し多項式化した場合の係数a1、a2、a3を挙げたが、これに限られるものではない。歪曲収差ＤＴ（％）を理想像高Ｙで展開し多項式化した場合の係数もレンズ特性としてもよい。これにより、光軸がずれている場合など、光学系の歪曲収差が像の中心に関して対象でない場合も取り扱うことができる。
また、レンズパラメータを撮影レンズ１１００の配置情報と対応させてＲＯＭ１１０１が記憶することにより、特性取得部１０７は、撮影レンズの配置情報に応じて、レンズ特性を取得できる。このため、領域設定部１０３は、レンズの配置（レンズ位置）毎の収差データ（像の歪データ）を求めて、レンズの配置情報に応じて収差を求められる。例えば、撮影レンズ１１００のズーム移動時や自動焦点調整時の像ズレも考慮した形で収差を求めることができる。
ここで、一例として、図３に、樽型の歪曲収差が存在する場合の画像の像高と歪曲収差の関係を示しておく。図３では、像高０．５程度であれば、収差は２％程度である。２つの画像のズレが１５０画素程度でも、像高０．５程度では画像の収差補正をしなくても位置合わせの精度は３画素に収まる。従って、この２つの画像が２重化して見えない位置合わせができる。しかし、像高１．０では、収差は１２％で、画像の収差補正をしない場合の位置合わせの精度は１８画素となる。このため、このような像高にある測定領域の動きベクトルの影響を画像間動きベクトルの計算において排除する必要がある。
次に、図４（ａ）−（ｃ）を参照して、領域設定部１０３の詳細を説明する。図４（ａ）は、予め定めた二以上（Ｍ個）の領域（ブロック）１００１の位置を表している。図４（ｂ）は、歪曲収差ＤＴの絶対値｜ＤＴ｜が小さい位置範囲１２０２を示す。図４（ｃ）は、動きベクトルが算出される複数（ｎ個）の測定領域（ブロック）１２０３を示す。
領域設定部１０３は、以下のように、レンズ特性データに基づいて定めた位置範囲１２０２内に重心位置（又は中心位置）がある複数の動きベクトル測定領域を選択・設定する。
領域設定部１０３は、最初に、撮像された像の中心(x0,y0)と二以上の所定の領域１００１の重心位置Bm=(bxm,bym)（m=1〜M）に基づいて、測定領域の重心位置の像高Ym或いは像高の二乗Ym2等を算出する。なお、ここで、像高とは、測定領域の位置の指標として、像の中心からの距離を示すものである。ここで、像の中心とは、撮影レンズの光軸と撮像部１２における画像平面との交点に相当する位置である。なお、像の中心（像高０）の位置は、位置合わせ処理に使用する基準画像又は対象画像の中心位置と一致している必要はない。例えば、位置合わせ処理を行う前に基準画像又は対象画像の一部をトリミング（切り出し）してもよく、その場合は像の中心と、画像の中心は一致していない。
領域設定部１０３は、次に、像高Ymや像高の二乗Ym2、及び、レンズ特性データとしての係数a1、a2、a3から歪曲収差ＤＴを求め、基準画像内で歪曲収差ＤＴに基づいて位置範囲１２０２を定める。具体的には、領域設定部１０３は、歪曲収差の絶対値｜ＤＴ｜が所定値以下となる位置範囲を定める。例えば、この所定値は、２％〜３％の値であるが、これに限定されるものではない。続いて、領域設定部１０３は、基準画像内で予め定めた二以上の領域１００１から、この位置範囲１２０２内に重心位置がある複数の測定領域１２０３を選択する。
次に、図５のフローチャートを参照して、画像処理部３が行う画像処理の手順について説明する。
ステップＳ１０において、フレームメモリ１０２は、撮像部１２から入力された複数枚の画像に関する画像データを一度格納する。
ステップＳ１１において、特性取得部１０７は、撮影レンズ１１００のレンズ特性データを、記憶部としてのＲＯＭ１１０１から取得する。レンズ特性データは、領域設定部１０３が行う測定領域の設定、及び、収差補正部１０８が行う歪曲収差の補正に用いられる。なお、ここでレンズの識別を、ＲＯＭ１１０１に記憶されたレンズの識別情報（例えば、レンズ型名やシリアルナンバー）に基づいて行ってよい。
ステップＳ１２において、領域設定部１０３は、基準画像内で予め定めた二以上の領域１００１から、レンズ特性データに基づいて定めた位置範囲内に重心がある複数の測定領域１２０３を選択する。例えば、領域設定部１０３は、二以上（Ｍ個）の所定の領域１００１として、基準画像中にブロックを格子状に設定する（図４（ａ）参照）。ステップＳ１２の領域設定処理の詳細については、後述する。
ステップＳ１３において、ベクトル算出部１０４は、基準となる画像である基準画像（又は基準フレーム）と比較の対象となる画像である対象画像（又は対象フレーム）の間の動きベクトルを算出する。ベクトル算出部１０４は、基準画像の測定領域に対して、対象画像中の最も相関の高い領域の位置の相対的なズレを動きベクトルとして算出する。ここで、ベクトル算出部１０４は、フレームメモリ１０２に格納された基準画像と対象画像の画像データと、領域設定部１０３で設定された測定領域に関するデータを使用する。最も相関の高い領域を検出するために、誤差二乗和ＳＳＤ、誤差絶対値和ＳＡＤ、正規化相互相関ＮＣＣ等の相関演算が用いられる。
ステップＳ１４において、信頼度算出部１０５は、各測定領域１２０３について算出した動きベクトルの信頼度Si（i=1〜n）を演算する。信頼度Siは、ベクトル算出部１０４での動きベクトルの算出結果の正確さの程度を示す指標である。なお、動きベクトルの信頼度の詳細な算出方法は後述する。
ステップＳ１５において、統合処理部１０６は、各測定領域の動きベクトルのデータの統合を行って、画像間の動きベクトルの唯一の代表値としての補正ベクトルを算出する。この算出は、ベクトル算出部１０４で算出された動きベクトルのデータと、信頼度算出部１０５で算出された信頼度に基づいて為される。ここで、特許文献４に記載の従来技術と異なり、補正ベクトルは、歪曲収差の補正をする前の画像に対して求められているので、図２に示すように、収差補正と動きベクトル算出を並列化することができる。なお、動きベクトルの統合処理の詳細は、後述する。
ステップＳ１６において、収差補正部１０８は、フレームメモリ１０２の画像データに対して歪曲収差の補正を行う。歪曲収差の補正は、式（６）又は（７）を用いて、実像高Ｙ’から理想像高Ｙを求め、実像高Ｙ’を理想像高Ｙに変換することにより為される。なお、図５のフローチャートに示した順序に限られず、ステップＳ１２−Ｓ１５の動きベクトル算出及びベクトル統合処理と、ステップＳ１６の収差補正を並列的に処理することができる。
ステップＳ１７において、フレーム加算部１０９は、収差の補正を行った後の基準画像と対象画像を、算出した補正ベクトルに基づいて位置合わせしてフレーム加算処理を行う。このフレーム加算処理において、補正ベクトルに対応した量だけ対象画像を基準画像に対して相対的に平行移動させるシフト処理を行っている。シフト処理による位置合わせの後に、基準画像と対象画像の画素値が加算される。フレーム加算処理の後の合成画像を使用して、いわゆる超解像処理等を行うこともできる。
次に、図６のフローチャートを参照して、上述のステップＳ１２の領域設定処理の詳細な手順を説明する。
ステップＳ２１において、領域設定部１０３は、式（８）の演算を行う。まず、領域設定部１０３は、画像処理部３のメモリから、二以上の領域１００１として格子状に設定されたブロックの重心位置Bm=(bxm,bym)（m=1〜M）を読み出す。領域設定部１０３は、像の中心位置(x0,y0)とブロックの重心位置Bm=(bxm,bym)から、像の中心とブロックの重心とのｘ軸及びｙ軸方向の間隔Rxm、Rymを算出する。さらに、領域設定部１０３は、間隔Rxm、Rymから、m番目のブロックの重心（中心）の像高Ymの二乗Ym2等を算出する。
なお、領域設定部１０３は、これらブロックが設定された時にブロックの番号mごとに像高Ymを計算し、番号mと像高Ymとの関係を示す参照テーブルを画像処理部３のメモリに保存しておいても良い。この場合、領域設定部１０３は、必要に応じて、この参照テーブルを参照して、ブロックの番号mから計算しておいた像高Ymを獲得できる。
ステップＳ２２において、領域設定部１０３は、特性取得部１０７で取得したレンズパラメータa1、a2、a3を読込み、ステップＳ２１で求めた像高の二乗Ym2から歪曲収差ＤＴ（％）を式（９）のように算出する。
なお、式（９）のように歪曲収差ＤＴ（％）をYm2の関数として得ることができる。
別法として、領域設定部１０３は、像高Ｙと歪曲収差ＤＴとの関係を与える参照テーブルを参照することにより、像高Ym（=(Rxm2+Rym2)1/2）から歪曲収差ＤＴ（Ym）を取得してもよい。
ステップＳ２３において、領域設定部１０３は、例えば、歪曲収差を用いて歪曲収差の絶対値｜ＤＴ（Ym）｜（m=1〜M）という評価値を得て、その評価値が所定値以下であるか否かを、格子状に設定されたそれぞれのブロック（領域１００１）に対して判定する。領域設定部１０３は、歪曲収差の絶対値｜ＤＴ（Ym）｜が所定値以下のブロックを測定領域１２０３として選択する。これにより、二以上の所定の領域１００１から、歪曲収差の絶対値が所定値以下である位置範囲に重心(中心）があるような複数（ｎ個）の測定領域１２０３が設定される。従って、収差補正する前の段階でも、歪曲収差の影響を除去して画像間動きベクトルを正確に決定することができる。なお、歪曲収差の絶対値｜ＤＴ（Ym）｜が像の中心に近いほど小さいので、像の中心(x0,y0)に近い複数の測定領域１２０３が選択される。
次に、上述のステップＳ１３における動きベクトルの信頼度算出の詳細を説明する。
動きベクトルの信頼度の算出は、様々な方法が知られているが、ここでは、基準画像の測定領域とこれに対応する対象画像の画像領域との間の相関値に基づいて信頼度を算出する。相関値として、例えば、基準画像のブロックIi（測定領域）と、これに対応する対象画像のブロックIjに含まれる画素値の差分の二乗和ＳＳＤを用いる。この二乗和ＳＳＤは、以下の数式（１０）で表される。
ここで、Lp、Lqはそれぞれ位置p、qの画素の画素値（又は輝度レベル）である。画素値はＲ（赤）、Ｇ(緑）、Ｂ（青）独立に測定しても良いし、ＲＧＢ色空間からＹＣｒＣｂ色空間へと変換した場合のＹ信号でも良い。座標（bxi,byi）は、領域設定部１０３で測定領域として選択・設定されたi番目のブロックの中心位置（又は重心位置）を示し、選択・設定された複数のブロックの数ｎだけ用意されている。h,vは、それぞれ、ブロックの水平、垂直方向の大きさである。座標（bxj,byj）は、基準画像のブロックに対応する対象画像のｊ番目のブロック（対象ブロック）の中心位置を示し、ブロックマッチングの探索範囲に対応して用意されている。
i番目のブロックの二乗和SSD(i,j)は、対象ブロックの番号ｊによって種々の値をと
るが、i番目のブロックの動きベクトルの信頼度Siは、SSD(i,j)の最小値および平均値
との差分に基づいて求められる。例えば、信頼度Siは、SSD(i,j)の最小値および平均値との差分とすればよい。
なお、相関値ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の概念で対応付けられる。（i）エッジ構造が鮮鋭な領域の場合に、その領域に対して算出された動きベクトルの信頼度が高く、結果として、ＳＳＤの最小値を示す対象画像のブロックの位置の誤差は少ない。ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さなＳＳＤが集中する。従って、ＳＳＤの最小値と平均値の差分が大きい。（ii）テクスチャや平坦な構造の場合、ＳＳＤのヒストグラムが平坦になり、結果としてＳＳＤの最小値と平均値の差が小さく、信頼度は低い。（iii）繰り返し構造の場合、ＳＳＤの最小値と最大値を示す対象ブロックの位置が近く、ＳＳＤが小さい値を示す位置が分散している。結果として最小値と平均値の差が小さく、信頼度は低い。この様に、SSD(i,j)の最小値および平均値との差分に基づいて、i番目のブロックに対応した、信頼度の高い動きベクトルを選択する。
なお、信頼度に関して、各ブロックのエッジの量から信頼度を求めることもできる。
図７は、上述のステップＳ１５において、統合処理部１０６が行う統合処理のフローチャートを示している。
ステップＳ３１では、信頼度Siが規定値S_Thrより大きいか否か判断している。ステップＳ３２では、信頼度Siが規定値S_Thrより大きい場合、規定値より大きい信頼度Siはそのままに維持し、最終的な信頼度STiをSiに設定する。ステップＳ３３では、信頼度Siが規定値S_Thr以下の場合、規定値以下の信頼度Siの動きベクトルの寄与を０とすべく、最終的な信頼度STiを０に設定する。このように補正ベクトルVframeの演算に用いられる最終的な信頼度STiを求めている。これにより、動きベクトルの統合結果が安定する、即ち正確な補正ベクトルが求められる。
ステップＳ３４において、最終的な信頼度STiとi番目の測定領域の動きベクトルViから、補正ベクトルVFrameが算出される。具体的には、数式（１１）のように、最終的な信頼度STiに応じて、動きベクトルViを重み付け加算（又は加重平均）することにより、補正ベクトルVFrameが算出される。
ここで、右辺の分母ΣSTiは正規化の係数である。重み係数（STi／ΣSTi）が、最終
的な信頼度STiに応じて設定されている。これにより、信頼度STiを考慮して、適切な補正ベクトルVFrameが算出できる。即ち、信頼度が小さい測定領域の動きベクトルの影響を小さくするとともに、信頼度が大きい測定領域の動きベクトルの影響を大きくして、画像間動きベクトル（補正ベクトル）を的確に算出できる。
このように、ステップＳ３１−Ｓ３４において、動きベクトルViが信頼度Siに基づいて重み付け加算され、補正ベクトルVFrameが算出される。なお、ステップＳ３１−Ｓ３３の処理を行わずに、最終的な信頼度STiの代わりに当初の信頼度Siを数式（１１）において使用して、補正ベクトルVFrameを算出することもできる。
上記のように、第一実施形態において、像高（測定領域の位置）と歪曲収差に関するレンズ特性とに基づいて定めた収差の絶対値の小さい位置範囲内に、複数の測定領域の重心位置を設定する。さらに、この複数の測定領域の動きベクトルを統合することにより、画像間動きベクトル（補正ベクトル）を算出する。複数の測定領域では、収差の絶対値が小さく動きベクトルの算出の精度が高い。このため、複数の測定領域の動きベクトルのみを使用し、それ以外の領域の動きベクトルを排除して、補正ベクトルVFrameが正確に算出できる。
このように、収差補正する前の段階でも、複数枚の画像に対し収差の影響を除去して画像間動きベクトルを正確に決定することができる。従って、収差補正が正確でない時に収差補正を行った後の画像に対して画像間動きベクトルを決定する場合より、的確に画像間動きベクトルを決定することができる。さらに、この的確な画像間動きベクトルに特徴付けられる画像の変形（ここでは平行移動）により、精度良い画像の位置合わせ処理が可能となる。
なお、第一実施形態は、収差の例として歪曲収差をとり挙げているが、歪曲収差以外の収差（像面歪曲等）でも第一実施形態が適応できることは明白である。例えば、像高Ｙ（又は測定領域の位置）と収差ＤＴの関係が分かれば、どのような収差に対しても図６のように収差を求められ、収差が小さい位置範囲内で測定領域が設定できる。この測定領域の動きベクトルを統合することにより、画像間動きベクトルを算出できる。
また、第一実施形態では、領域設定部１０３は、収差の絶対値の小さい位置範囲内に入るように測定領域の重心位置を設定したが、測定領域の全体がこの位置範囲内に入るように測定領域を設定してもよい。これにより、収差の影響がより排除され、各測定領域１２０３の動きベクトルの算出精度が高まり、画像間動きベクトルを正確に決定することができる。例えば、領域（ブロック）１００１の重心がこの位置範囲内に入っても、位置範囲の境界が領域１００１内を通る場合は、その領域１００１を測定領域１２０３として選択しないようにする。
さらに、レンズ１１００のレンズパラメータは、撮影レンズに取り付けられたＲＯＭ１１０１に記憶されている場合を説明した。しかし、画像処理部内のメモリにレンズパラメータを記憶しておき、レンズの種類を判別してからこのレンズの種類に応じて当該他のメモリからレンズパラメータを読み出す構成とすることもできる。
［第一実施形態の変形例］
次に、第一実施形態の変形例について、図８を参照して説明する。図２、図５においてフレーム加算の例を示したが、フレーム加算に代えて動画のブレ補正を行うこともできる。図８は、補正ベクトルに基づいて、基準画像に対する対象画像の位置合わせを行う動画ブレ補正を行う場合の構成図を示す。図８において、フレームブレ補正部１１０は、対象画像を、基準画像に対してブレが少なくなるように相対移動させて、図示しない表示装置又は記憶装置に対象画像データを転送する。
なお、この変形例は、収差が歪曲収差以外の場合でも、適応できることは明白である。
［第二実施形態］
第二実施形態では、領域設定処理（図５のステップＳ１２）が第一実施形態と異なるが、他の構成は第一実施形態と同様である。
上記の第一実施形態では、レンズ特性データに基づいて定めた位置範囲内で複数の測定領域１２０３が設定された。この位置範囲は、収差の絶対値が所定値以下となる位置範囲であった。
しかし、第二実施形態において、この位置範囲を、像の中心からの距離（像高Ｙ）が閾値Yr以下である位置範囲とする。即ち、領域設定部１０３は、複数の測定領域１２０３の重心位置を、像の中心からの距離が閾値Yr以下である円状の位置範囲内に設定する。これは、一般に、収差の絶対値が像の中心から遠い位置で大きくなる傾向にあるためである。例えば、図３を参照すると、像面２０２のうち像高Ｙが小さいほど、歪曲収差の絶対値｜ＤＴ｜が小さくなっている。
閾値Yrは、レンズ識別子から分かるレンズの種類や、レンズの焦点距離ｆに応じて定められる。これにより、レンズ特性データとしてのレンズの種類、焦点距離ｆに基づいて定めた位置範囲内で、複数の測定領域１２０３の重心位置が設定される。
次に、レンズの種類に応じて閾値Yrを定める基準について述べる。以下の表１、表２に典型的な撮影レンズの歪曲収差の特性の例を示す。
なお、ここで像高は、最大値で規格化した値を用いている。
この例では、撮影レンズが28mmレンズの場合、閾値Yrは0.5に、50mmレンズの場合、閾値Yrは0.9に設定される。これにより、歪曲収差が２％程度以下の位置範囲内で測定領域の重心位置が設定される。また、撮影レンズの焦点距離ｆが大きいほど、歪曲収差が小さいため、閾値Yrは大きく設定されている。これにより、焦点距離ｆに応じて的確に測定領域を定めて、正確に画像間動きベクトルを算出できる。
画像処理部３のメモリは、レンズの種類（又は焦点距離ｆ）と閾値Yrとの関係を定める参照テーブルを記憶する。なお、表３に参照テーブルの一例を示すが、参照テーブルはこれに限定されるものではない。領域設定部１０３は、参照テーブルを参照して、レンズの種類（又は焦点距離ｆ）に対応する閾値Yrを求めることができる。
なお、撮影レンズがズームレンズの場合は、焦点距離ｆと閾値Yrの関係を定める関数に基づいて、焦点距離ｆに応じた閾値Yrを算出すればよい。撮影レンズの焦点距離ｆが大きいほど、閾値Yrを大きく設定すれば、ズーム移動時でも、焦点距離ｆに応じて的確に測定領域を定めて正確に画像間動きベクトルを算出できる。
次に、図９のフローチャートを参照して、第二実施形態に係る領域設定処理（図５のステップＳ１２）の手順を説明する。
ステップＳ４１において、参照テーブルに基づいて、レンズの種類（又は焦点距離ｆ）に対応する閾値Yrを求める。ステップＳ４２において、式（８）に基づいて、像高Ymを算出する。ステップＳ４３において、各番号ｍに関して、像高Ymが閾値Yr以下である場合、ｍ番目の領域１００１を測定領域１２０３として選択する。
このように、第二実施形態において、領域設定部１０３は、複数の測定領域１２０３を、レンズ特性データと像の中心からの距離に基づいて設定する。このため、歪曲収差を具体的に計算する必要はなく、複数の動きベクトル測定領域を簡便に設定できる。具体的には、レンズの種類と閾値Yrとの関係や焦点距離ｆと閾値Yrとの関係さえ定めておけば、歪曲収差を具体的に計算する必要はなく、複数の測定領域を設定する位置範囲を決定できる。
なお、第二実施形態は、収差の例として歪曲収差をとり挙げているが、収差は歪曲収差以外でも適応できることは明白である。例えば、表３のように、レンズの種類（又は焦点距離ｆ）と閾値Yrとの関係を収差に基づいて予め定めてさえおけば、複数の測定領域を設定するべき位置範囲を決定できる。従って、歪曲収差以外の収差がある場合でも、この測定領域の動きベクトルを統合することにより、画像間動きベクトルを算出できる。
また、領域設定部１０３は、上記の位置範囲内に入るように測定領域の重心位置を設定したが、動きベクトル測定領域の全体がこの位置範囲内に入るように測定領域を設定してもよい。
［第三実施形態］
次に、第三実施形態について、図１０、図１１を参照して説明する。第一実施形態では、動きベクトルの重み付け加算（数式（１１））によって補正ベクトルVFrame（画像間動きベクトル）を求めたが、これと異なる方法で補正ベクトルを求める。他の構成は、第一実施形態と同様である。
第三実施形態では、信頼度の高い動きベクトルの出現頻度に基づき補正ベクトルを求める。動きベクトルVi=(xi,yi)をビン（階級）に分類することにより、度数分布（又はヒストグラム）を求める。度数分布における出現頻度（出現度数）が最も高いベクトルは、画像間の動きを代表する代表ベクトルであり、これを補正ベクトルとして採用する。なお、以下のように、出現頻度の計数において、信頼度STiが考慮されている。
図１０のように、動きベクトルViに関するビンは二次元であり、ここではｘ軸方向の幅がbin_xで、ｙ軸方向の幅がbin_yの正方形とする。動きベクトルViの水平・垂直方向座標をxi,yiとして、xi,yiがs番目(s=0…N|(N=l×m))のビンに入った場合に、ビンの出現頻度を増加させる。別な言い方では、s番目のビンに入った動きベクトルVi は、s番目のビンに分類され、s番目のビンの中心（重心）ベクトルVbin_sに量子化される。
図１１（ａ）のように、通常の度数分布では、動きベクトルVi がs番目のビンに入った場合に出現頻度を１だけ増加させるが、本実施形態では、信頼度STiが考慮されている。図１１（ｂ）のように、動きベクトルVi がs番目のビンに入ると、そのビンの出現頻度を（STi×１）だけ増加させる。従って、図１１（ｂ）の縦軸は、あるビンに属する動きベクトルViの信頼度STiの合計（ΣSTi）を示す。なお、図１１（ｂ）では、信頼度STiを最大の信頼度で規格化して、STiを１以下としている。
第三実施形態では、図１１（ｂ）のように、動きベクトルViの出現頻度を信頼度STiとして計数して求めた度数分布を使用して、補正ベクトルVFrameを求める。この度数分布において、最大の出現頻度を示すビンの中心ベクトルVbin_s（ここでは、Vbin_s（s=3)）を補正ベクトルVFrameに設定する。つまり、同一のビンに分類される動きベクトルViに対する信頼度STiの合計（ΣSTi）が最大となる場合に、そのビンの中心ベクトルVbin_sを補正ベクトルVFrameとする。なお、上記において、中心ベクトルVbin_sは、ビン（階級）を代表するベクトル（階級値）の一例として示したもので、ビンを代表するベクトルを中心ベクトルVbin_s以外に設定してもよい。
このように、第三実施形態では、信頼度の合計が最大となるような画像間動きベクトルが求められる。このため、信頼度が低い動きベクトルViの影響を排除して、適切な画像間動きベクトルが算出される。
なお、最終的な信頼度STiの代わりに当初の信頼度Siを用いて、信頼度の合計が最大となるような画像間動きベクトルが求めてもよい、
また、第三実施形態は、収差が歪曲収差以外の場合でも、適応できることは明白である。
［第四実施形態］
次に、第四実施形態について、図１２、図１３を参照して説明する。第一実施形態から第三実施形態では、唯一の画像間ベクトルとしての補正ベクトルを算出した。そして、この補正ベクトルに対応した量だけ対象画像を基準画像に対して平行移動して、基準画像と対象画像を位置合わせした。つまり、第一実施形態から第三実施形態では、平行移動（水平移動・垂直移動）に係る変形パラメータのみを考慮して、対象画像を変形して位置合わせした。
しかし、第四実施形態では、複数個の画像間動きベクトルに基づいて平行移動以外の変形パラメータを算出し、平行移動以外の変形パラメータも考慮して画像を変形して位置合わせする。他の構成は、第一実施形態と同様である。
これにより、平行移動以外に画像間の変形として回転移動等も考慮でき、補正ベクトルに基づく平行移動のみで変形を行う場合より適切に基準画像と対象画像の位置合わせができる場合がある。なお、平行移動以外の変形パラメータは、互いに異なる複数の画像間ベクトルに基づいて求めることができる。
本実施形態では、射影変換により画像を変形して位置合わせを行う例を示す。以下の（Ａ）−（Ｃ）に、この画像の変形を例示する。なお、（Ａ）のユークリッド変換と（Ｂ）のアフィン変換は、変形パラメータの数は通常の射影変換の８つより少なくなっているが、射影変換の特殊な例であり射影変換の範疇に含まれるものである。
（Ａ）３パラメータ：ユークリッド変換（水平移動、垂直移動、回転から合成される変換）
（Ｂ）６パラメータ：アフィン変換（水平移動、垂直移動、回転、拡大縮小、鏡映、せん断から合成される変換）
（Ｃ）８パラメータ：通常の射影変換
なお、これらは代表的なものであり、その他の変換を行っても良い。
図１２において、変形パラメータ算出部１１２は、変形パラメータを算出する。フレーム加算部１０９は、算出した変形パラメータを用いて対象画像を変形して、基準画像に対して位置合わせを行う。
図１３のフローチャートに第四実施形態の処理の流れを示す。ここで、ステップＳ５０―Ｓ５４の処理は、第一実施形態のステップＳ１０―Ｓ１４の処理と同じであり説明を省略する。
ステップＳ５５において、各測定領域の動きベクトルに基づいて、画像間動きベクトル（画像間の動きベクトルの代表値）を複数個算出する。例えば、第三実施形態の図１１（ｂ）に示す度数分布において、信頼度STiの合計（ΣSTi）が大きい順に複数個のビンを選択する。次に、選択したビンを代表する中心ベクトルVbin_sを画像間動きベクトルとして算出する。例えば、４つの画像間動きベクトルを算出する場合には、図１１（ｂ）において、ビン番号２、３、４、５のビンの中心ベクトルVbin_sが、４つの画像間動きベクトルとなる。これにより、信頼度が大きい画像間動きベクトルを優先的に考慮し信頼度が小さい画像間動きベクトルを排除して、適切な変形パラメータが算出できる。
ステップＳ５６において、複数の画像間動きベクトルから、射影変換に関する変形パラメータを算出する。つまり、複数の画像間動きベクトルに特徴づけられる変形の変形パラメータが算出される。なお、変形パラメータの算出の詳細は、後述する。
ステップＳ５７において、複数枚の画像に対して収差の補正が行われる。この処理は、前述の図５のステップＳ１６の処理と同様である。なお、図１３のフローチャートに示した順序に限られず、ステップＳ５２−Ｓ５６の動きベクトル算出及び変形パラメータ算出と、ステップＳ５７の収差補正を並列的に処理することもできる。
ステップＳ５８において、このようにして求められた変形パラメータに基づく変形を、基準画像に対して位置あわせを行う対象画像全体に行う。続いて、基準画像と対象画像が加算される。
以下に、変形パラメータの算出の詳細をアフィン変換による変形を例にして説明する。ここでは、変形パラメータを複数の画像間動きベクトルに基づいて最小二乗法で求める例を説明する。なお、ここで、複数の画像間動きベクトルの数は４つであるが、これに限定されるものではない。
まず、算出した４つの画像間動きベクトル（V1,V2,V3,V4）に対応する測定領域の重心位置（中心位置）に関して、その画像間動きベクトルにより移動する重心位置の始点と終点を以下のように設定する。なお、画像間動きベクトルに対応する測定領域とは、その画像間動きベクトルに量子化される動きベクトルが測定された測定領域のことである。
即ち、４つの画像間動きベクトル（V1,V2,V3,V4）は以下の数式（１４）のようになる。
一方、アフィン変換の行列表記は以下の数式（１５）のようになる。
上記の始点がアフィン変換により写像される終点
は、以下の数式（１７）から求められる。
変形パラメータa,b,c,d,e,fの最適値は、以下の数式（１８）のように最小二乗解で求める。
なお、上記では、アフィン変換の例を示したが、その他の射影変換でも同様に複数の画像間動きベクトルに基づいて変形パラメータを最小二乗法で求められる。
また、上記では最小二乗法で変形パラメータを求める例を示したが、以下のように最小数の画像間動きベクトルを用いて、方程式を解くことにより、変形パラメータを簡単に求めることもできる。
例えば、ユークリッド変換では、２つの画像間動きベクトル（即ち、２組の始点、終点）に基づいて、以下の数式（１９）の方程式を解くことにより変形パラメータを求められる。
ここで、θは回転角度、ｃは水平移動の変形パラメータ、ｆは垂直移動の変形パラメータを示す。
また、アフィン変換では、３つの画像間動きベクトル（即ち、３組の始点、終点）に基づいて、以下の数式（２０）の方程式を解くことにより変形パラメータ（ａ−ｆ）を求められる。
このように、第四実施形態では、複数の互いに異なる画像間動きベクトルから平行移動以外の変形パラメータが算出できる。このため、平行移動以外の変形（回転等）を含む場合でも、この変形パラメータを用いた変形により複数の画像間の正確な位置合わせが可能になる。
また、射影変換の変形パラメータを求めるので、簡便に変形パラメータを求められる。最小二乗法を使用すれば、射影変換の変形パラメータを正確に求めることができる。さらに、射影変換が、６個以下の変形パラメータを有するアフィン変換等であれば、一般的な射影変換の変形パラメータの数（８個）より変形パラメータの数が減り、変形パラメータを求める演算処理が簡便になる。
なお、第四実施形態は、収差が歪曲収差以外の場合でも、適応できることは明白である。
［第四実施形態の変形例］
上記の第四実施形態では、射影変換により画像を変形して位置合わせを行う例を示した。しかし、いわゆる弾性マッチングを用いて画像を変形して位置合わせを行うこともできる。これにより平行移動に係る変形パラメータ以外のパラメータも考慮でき、平行移動のみで変形を行う場合より適切に基準画像と対象画像の位置合わせができる。
例えば、第三実施形態の図１１（ｂ）に示す度数分布において、信頼度STiの合計（ΣSTi）が大きい順に複数個のビンの中心ベクトルVbin_sを複数の画像間動きベクトルとして算出する。例えば、これらの複数の画像間動きベクトルによる変形を再現するように、弾性マッチングを行う。これにより、信頼度Siが大きい測定領域の動きベクトルの影響を大きくし、且つ弾性マッチングにより局所的な変形も考慮しつつ適切に基準画像と対象画像の位置合わせができる。
なお、この第四実施形態の変形例は、収差が歪曲収差以外の場合でも、適応可能であることは明白である。
［その他の実施形態］
上述した各実施形態の説明では、画像処理部（画像処理装置）が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理部は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
本発明は上記の実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
（ａ）樽型の歪曲収差を示す図である。（ｂ）糸巻き型の歪曲収差を示す図である。なお、図１において、点線は、歪曲収差がない理想的な像を示し、実線は、歪曲収差がある実際の像を示している。 第一実施形態に係る画像処理装置を示す概略構成図である。 収差と像高の関係の一例を示す図である。 （ａ）予め設定した測定領域（ブロック）の配置を示す図である。（ｂ）歪曲収差の絶対値が小さい領域を示す図である。（ｃ）動きベクトルを算出する測定領域（ブロック）を示す図である。 第一実施形態に係る画像処理の手順を示すフローチャートである。 第一実施形態に係る領域設定処理の手順を示すフローチャートである。 第一実施形態に係る統合処理の手順を示すフローチャートである。 第一実施形態に係る画像処理装置の変形例を示す概略構成図である。 第二実施形態に係る領域設定処理の手順を示すフローチャートである。 第三実施形態に係る動きベクトルの分類方法及び度数分布作成を示す図である。 （ａ）通常の度数分布（ヒストグラム）を示す図である。（ｂ）動きベクトルの信頼度を考慮した度数分布を示す図である。 第四実施形態に係る画像処理装置を示す概略構成図である。 第四実施形態に係る画像処理の手順を示すフローチャートである。
符号の説明
１ 撮像装置
２ 画像取得部（画像取得装置）
３ 画像処理部（画像処理装置）
１０ 撮影レンズ部
１２ 撮像部
１００ メインコントローラ
１０２ フレームメモリ
１０３ 動きベクトル測定領域設定部（領域設定部）
１０４ 動きベクトル算出部（ベクトル算出部）
１０５ 動きベクトル信頼度算出部（信頼度算出部）
１０６ 動きベクトル統合処理部（統合処理部）
１０７ レンズ特性取得部（特性取得部）
１０８ 収差補正部
１０９ フレーム加算部

Claims (23)

  1. 少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理装置であって、
    前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得部と、
    動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定部と、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、
    前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
    前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理部と、
    を備え、
    前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、
    前記レンズ特性取得部は、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする画像処理装置。
  2. 前記動きベクトル測定領域設定部は、前記複数の動きベクトル測定領域を、前記レンズ特性に基づいて定めた位置範囲内に入るよう設定することを特徴とする請求項１に記載の画像処理装置。
  3. 前記動きベクトル測定領域設定部は、前記複数の動きベクトル測定領域の重心位置を、前記レンズ特性に基づいて定めた位置範囲内に設定することを特徴とする請求項１に記載の画像処理装置。
  4. 前記動きベクトル測定領域設定部は、予め定めた二以上の領域から、前記複数の動きベクトル測定領域を選択することを特徴とする請求項２又は３に記載の画像処理装置。
  5. 前記レンズ特性取得部は、前記レンズ特性として、収差に関するレンズ特性を取得することを特徴とする請求項２又は３に記載の画像処理装置。
  6. 前記動きベクトル測定領域設定部は、前記収差に関するレンズ特性に基づいて、前記位置範囲として、前記収差を用いて得た評価値が所定値以下である範囲を定めることを特徴とする請求項５に記載の画像処理装置。
  7. 前記動きベクトル測定領域設定部は、前記レンズ特性に基づいて、前記位置範囲として、像の中心からの距離が閾値以下である範囲を定めることを特徴とする請求項２又は３に記載の画像処理装置。
  8. 前記動きベクトル測定領域設定部は、前記撮影レンズの焦点距離が大きいほど、前記閾値を大きく設定することを特徴とする請求項７に記載の画像処理装置。
  9. 前記動きベクトル測定領域設定部は、前記レンズ特性と像の中心からの距離とに基づいて、前記複数の動きベクトル測定領域を設定することを特徴とする請求項１に記載の画像処理装置。
  10. 前記画像処理装置は、前記画像の変形として唯一の画像間動きベクトルに基づく平行移動により、前記複数枚の画像の位置合わせ処理を行い、
    前記動きベクトル統合処理部は、前記信頼度に応じて重み係数を設定して、前記複数の動きベクトル測定領域の動きベクトルを前記重み係数に応じて重み付け加算することにより、前記唯一の画像間動きベクトルを算出することを特徴とする請求項１に記載の画像処理装置。
  11. 前記動きベクトル統合処理部は、前記動きベクトル信頼度算出部により算出された前記信頼度が規定値より小さい場合に当該信頼度をゼロに再設定することを特徴とする請求項１０に記載の画像処理装置。
  12. 前記動きベクトル統合処理部は、i番目の動きベクトル測定領域に関する前記動きベクトルをVi、前記信頼度をSTiとして、
    前記唯一の画像間動きベクトルVFrameを
    により算出することを特徴とする請求項１０又は１１に記載の画像処理装置。
  13. 前記画像処理装置は、前記画像の変形として唯一の画像間動きベクトルに基づく平行移動により、前記複数枚の画像の位置合わせ処理を行い、
    前記動きベクトル統合処理部は、前記複数の動きベクトル測定領域の動きベクトルを階級に分類し、同一の階級に属する動きベクトルの前記信頼度の合計が最大となる場合に、その階級を代表するベクトルを前記唯一の画像間動きベクトルとして算出することを特徴とする請求項１に記載の画像処理装置。
  14. 前記画像処理装置は、平行移動以外の変形を含む前記画像の変形により、前記複数枚の画像の位置合わせ処理を行い、
    前記動きベクトル統合処理部は、前記画像の変形を特徴付ける変形パラメータを求めるための複数の画像間動きベクトルを算出し、
    前記画像処理装置は、前記複数の画像間動きベクトルから前記変形パラメータを算出する変形パラメータ算出部を備えることを特徴とする請求項１に記載の画像処理装置。
  15. 前記動きベクトル統合処理部は、前記複数の動きベクトル測定領域の動きベクトルを階級に分類し、同一の階級に属する動きベクトルの前記信頼度の合計が大きい順に複数の階級を選択し、選択した前記複数の階級の各階級をそれぞれ代表するベクトルを前記複数の画像間動きベクトルとして設定することを特徴とする請求項１４に記載の画像処理装置。
  16. 前記変形パラメータ算出部は、前記変形パラメータとして射影変換の変形パラメータを求めることを特徴とする請求項１４に記載の画像処理装置。
  17. 前記画像処理装置は、前記複数枚の画像の前記収差を補正する収差補正部を備え、
    前記動きベクトル統合処理部は、前記収差を補正する前の前記複数枚の画像に対して、前記少なくとも一つの画像間動きベクトルを算出することを特徴とする請求項５に記載の画像処理装置。
  18. 前記複数枚の画像を位置合わせして加算する加算部を備えることを特徴とする請求項１に記載の画像処理装置。
  19. 前記少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により前記複数枚の画像を位置合わせして、画像間のブレを補正するブレ補正部を備えることを特徴とする請求項１に記載の画像処理装置。
  20. 少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理装置であって、
    前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得部と、
    動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定部と、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、
    前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
    前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理部と、
    を備え、
    前記画像処理装置は、平行移動以外の変形を含む前記画像の変形により、前記複数枚の画像の位置合わせ処理を行い、
    前記動きベクトル統合処理部は、前記画像の変形を特徴付ける変形パラメータを求めるための複数の画像間動きベクトルを算出し、
    前記画像処理装置は、前記複数の画像間動きベクトルから前記変形パラメータを算出する変形パラメータ算出部を備え、
    前記動きベクトル統合処理部は、前記複数の動きベクトル測定領域の動きベクトルを階級に分類し、同一の階級に属する動きベクトルの前記信頼度の合計が大きい順に複数の階級を選択し、選択した前記複数の階級の各階級をそれぞれ代表するベクトルを前記複数の画像間動きベクトルとして設定することを特徴とする画像処理装置。
  21. 撮影レンズと、前記撮影レンズによって形成される光学像を電気信号に変換する撮像部とを有し、
    少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により、前記撮像部から取得した複数枚の画像の位置合わせ処理を行う撮像装置であって、
    前記複数枚の画像を撮影する前記撮影レンズのレンズ特性を取得するレンズ特性取得部と、
    動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定部と、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出部と、
    前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
    前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理部と、
    を備え、
    前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、
    前記レンズ特性取得部は、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする撮像装置。
  22. 少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理方法であって、
    前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得ステップと、
    動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定ステップと、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出ステップと、
    前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出ステップと、
    前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理ステップと、
    を備え、
    前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、
    前記レンズ特性取得ステップでは、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする画像処理方法。
  23. 少なくとも一つの画像間動きベクトルにより特徴付けられる画像の変形により複数枚の画像の位置合わせ処理を行う画像処理プログラムであって、
    前記複数枚の画像を撮影する撮影レンズのレンズ特性を取得するレンズ特性取得手順と、
    動きベクトルを測定するための複数の動きベクトル測定領域を、前記レンズ特性に基づいて設定する動きベクトル測定領域設定手順と、
    前記複数の動きベクトル測定領域の動きベクトルを算出する動きベクトル算出手順と、
    前記算出された動きベクトルの信頼度を算出する動きベクトル信頼度算出手順と、
    前記動きベクトルの前記信頼度に応じて、前記複数の動きベクトル測定領域の動きベクトルを統合することにより、前記少なくとも一つの画像間動きベクトルを算出する動きベクトル統合処理手順と、
    を備え、
    前記撮影レンズは、前記レンズ特性として、前記撮影レンズのレンズパラメータを、前記撮影レンズの配置情報と対応させて記憶する記憶部を有し、
    前記レンズ特性取得手順では、前記撮影レンズの配置情報に応じて、前記記憶部に記憶された前記レンズ特性を取得することを特徴とする画像処理プログラム。
JP2008202203A 2008-08-05 2008-08-05 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 Expired - Fee Related JP5074322B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008202203A JP5074322B2 (ja) 2008-08-05 2008-08-05 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US12/534,259 US8199202B2 (en) 2008-08-05 2009-08-03 Image processing device, storage medium storing image processing program, and image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008202203A JP5074322B2 (ja) 2008-08-05 2008-08-05 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Publications (2)

Publication Number Publication Date
JP2010041417A JP2010041417A (ja) 2010-02-18
JP5074322B2 true JP5074322B2 (ja) 2012-11-14

Family

ID=41652548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008202203A Expired - Fee Related JP5074322B2 (ja) 2008-08-05 2008-08-05 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置

Country Status (2)

Country Link
US (1) US8199202B2 (ja)
JP (1) JP5074322B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908440B2 (ja) * 2008-03-06 2012-04-04 株式会社東芝 画像処理装置及び方法
EP2114080A1 (en) * 2008-04-30 2009-11-04 Thomson Licensing Method for assessing the quality of a distorted version of a frame sequence
JP5644097B2 (ja) * 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2011176542A (ja) * 2010-02-24 2011-09-08 Nikon Corp カメラおよび画像合成プログラム
JP5631229B2 (ja) * 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6074198B2 (ja) * 2012-09-12 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP5997557B2 (ja) * 2012-09-20 2016-09-28 キヤノン株式会社 撮像装置及びその制御方法
RU2656817C2 (ru) * 2012-12-18 2018-06-06 Айсмэтч Лтд Устройства, системы и способы захвата и отображения внешнего вида
JP6231816B2 (ja) * 2013-08-20 2017-11-15 キヤノン株式会社 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
JP6448218B2 (ja) * 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
JP6518115B2 (ja) * 2015-04-13 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
JP6823469B2 (ja) * 2017-01-20 2021-02-03 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6723173B2 (ja) * 2017-02-10 2020-07-15 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP7327917B2 (ja) * 2018-09-14 2023-08-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2020174363A (ja) * 2020-06-23 2020-10-22 株式会社リコー 撮影システム、方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2809656B2 (ja) * 1988-12-09 1998-10-15 松下電器産業株式会社 画像の動きベクトル検出装置及び揺れ補正装置
JP2586686B2 (ja) * 1990-04-19 1997-03-05 日本電気株式会社 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置
JP3164121B2 (ja) 1992-02-21 2001-05-08 キヤノン株式会社 動きベクトル検出装置
JPH08163573A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
JPH08251474A (ja) * 1995-03-15 1996-09-27 Canon Inc 動きベクトル検出装置，動きベクトル検出方法，画像ぶれ補正装置，画像追尾装置及び撮像装置
EP1147669B1 (en) * 1999-11-29 2006-12-27 Sony Corporation Video signal processing method and apparatus by feature points extraction in the compressed domain.
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
JP4658711B2 (ja) * 2005-06-29 2011-03-23 オリンパス株式会社 動きベクトル検出装置及び方法
JP4719553B2 (ja) * 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
KR20070055212A (ko) * 2005-11-25 2007-05-30 삼성전자주식회사 프레임 보간장치, 프레임 보간방법 및 움직임 신뢰성평가장치
JP2008160300A (ja) * 2006-12-21 2008-07-10 Canon Inc 画像処理装置及び撮像装置

Also Published As

Publication number Publication date
US8199202B2 (en) 2012-06-12
JP2010041417A (ja) 2010-02-18
US20100033584A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
JP5074322B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP5075757B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
KR100929085B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 기록매체
JP4095491B2 (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
JP4813517B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
US9224212B2 (en) Image processing apparatus and image processing method
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
KR20170080116A (ko) 깊이정보를 이용한 안면인식시스템
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2009301181A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US20120038785A1 (en) Method for producing high resolution image
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP2009302731A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP4996585B2 (ja) 画像校正評価装置及び画像校正評価プログラム
JP2010041416A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP4789964B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP2016156702A (ja) 撮像装置および撮像方法
CN115830131A (zh) 一种固定相位偏差的确定方法、装置和设备
JP2010041418A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP2011171991A (ja) 画像処理装置、電子機器、画像処理方法、および、画像処理プログラム
WO2020144760A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019129470A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120823

R151 Written notification of patent or utility model registration

Ref document number: 5074322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees