JP4915423B2 - 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 - Google Patents

画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 Download PDF

Info

Publication number
JP4915423B2
JP4915423B2 JP2009036897A JP2009036897A JP4915423B2 JP 4915423 B2 JP4915423 B2 JP 4915423B2 JP 2009036897 A JP2009036897 A JP 2009036897A JP 2009036897 A JP2009036897 A JP 2009036897A JP 4915423 B2 JP4915423 B2 JP 4915423B2
Authority
JP
Japan
Prior art keywords
component
focal plane
distortion
motion vector
plane distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009036897A
Other languages
English (en)
Other versions
JP2010193300A (ja
Inventor
延浩 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009036897A priority Critical patent/JP4915423B2/ja
Priority to US12/658,739 priority patent/US8363116B2/en
Priority to CN2010101183887A priority patent/CN101815163B/zh
Publication of JP2010193300A publication Critical patent/JP2010193300A/ja
Application granted granted Critical
Publication of JP4915423B2 publication Critical patent/JP4915423B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体に関し、例えば撮像装置で撮像されたフレーム画像データを編集する画像処理装置に適用して好適なものである。
従来、撮像装置では、加速度センサなどのセンサを搭載し、ユーザの手ぶれを相殺するようレンズなどの光学部品を移動させることにより、手ぶれを補正するようになされたものが広く知られている（例えば非特許文献１参照）。
また、撮像装置では、撮像素子としてグローバルシャッタ方式でなるＣＣＤ（Charge Coupled Device）が多く用いられてきた。このＣＣＤでは、１フレーム分のデータを一度に転送するようになされている。
しかし、近年、撮像装置の多くでは、コスト面などで有利なことから、フォーカルプレーンシャッタ方式でなるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を採用している。
このＣＭＯＳでは、１ラインごとにデータを転送するため、フレーム内における時間的な撮像タイミングが僅かにずれる。このためＣＭＯＳによって撮像されたフレーム画像データでは、手ぶれやユーザの意図した動き（以下、これをカメラワークと呼ぶ）によって撮像装置が移動した場合、被写体にいわゆるフォーカルプレーン歪みを生じさせてしまう。
そこで、フレーム画像データにおけるフォーカルプレーン歪みを補正するようになされた撮像装置が提案されている（例えば、特許文献１参照）。
特開２００８−７８８０８公報
http:/dspace.wul.waseda.ac.jp/dspace/bitstream/2065/5323/3/Honbun-4189.pdf（映像情報機器の脆弱性改善のための要素技術に関する研究）大嶋光昭
ところで、上述した手ぶれ補正機能を有する撮像装置では、過剰な補正によって制御系が発散することを防止するため、手ぶれの一部を相殺し、当該手ぶれを軽減するように設計されている。すなわち、撮像装置では、フレーム画像データから手ぶれの影響を軽減することはできるものの、撮像されたフレーム画像データには依然として手ぶれの影響が残ってしまう。そこで、撮像後のポスト処理によって手ぶれの影響をさらに軽減することが望ましい。
ポスト処理では、撮像装置のように当該撮像装置自体の動き（以下、これをカメラモーションと呼ぶ）量を検出することはできない。また、特許文献１に記載の方法は、撮像素子を分割する必要があるため、ポスト処理に適用できる方法ではない。
このため画像処理装置は、フレーム画像データから検出される動きベクトルを基に手ぶれ量を算出することになる。しかしながら、上述したように、フレーム画像データは、撮像装置の手ぶれに応じたフォーカルプレーン歪みを含有している。
画像処理装置は、フォーカルプレーン歪みが動きベクトルに与える影響により、高精度で手ぶれを算出することができず、フレーム画像データの品質を向上させることができないという問題があった。
本発明は以上の点を考慮してなされたもので、フレーム画像データの品質を向上させ得る画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体を提案しようとするものである。
かかる課題を解決するため本発明においては、フレーム画像からなるフレーム画像データから、所定数の画素でなるブロック単位の動きを表すローカル動きベクトルを算出し、さらに当該ローカル動きベクトルの信頼度指標を用いて当該ローカル動きベクトルを重み付けすることにより、複数の成分パラメータを用いて表される、フレーム画像の全体的な動きを表すグローバル動きベクトルを算出する動きベクトル検出部と、カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、グローバル動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化部と、動きベクトル検出部により算出されたグローバル動きベクトルの複数の成分パラメータを、成分分離式に代入して、当該成分分離式において用いられた、カメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを算出することにより、グローバル動きベクトルにおけるフォーカルプレーン歪み成分を算出する成分算出部とを設けるようにした。
これにより、本発明では、動きベクトルから算出されたフォーカルプレーン歪み成分に基づいて、フレーム画像データの品質を向上させるための各種処理を実行することができる。
また本発明は、フレーム画像からなるフレーム画像データから、所定数の画素でなるブロック単位の動きを表すローカル動きベクトルを算出し、さらに当該ローカル動きベクトルの信頼度指標を用いて当該ローカル動きベクトルを重み付けすることにより、複数の成分パラメータを用いて表される、フレーム画像の全体的な動きを表すグローバル動きベクトルを算出する動きベクトル検出ステップと、カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、グローバル動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、動きベクトル検出ステップで算出されたグローバル動きベクトルの複数の成分パラメータを、成分分離式に代入して、当該成分分離式において用いられた、カメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを算出することにより、グローバル動きベクトルにおけるフォーカルプレーン歪み成分を算出する成分算出ステップとを設けるようにした。
これにより、本発明では、動きベクトルから算出されたフォーカルプレーン歪み成分に基づいて、フレーム画像データの品質を向上させるための各種処理を実行することができる。
本発明によれば、動きベクトルから算出されたフォーカルプレーン歪み成分に基づいて、フレーム画像データの品質を向上させるための各種処理を実行することができ、かくしてフレーム画像データの品質を向上させ得る画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び当該画像処理プログラムが記録された記録媒体を実現できる。
画像処理端末の外観構成を示す略線図である。 カメラモーションとカメラワークの関係を示す略線図である。 第１の実施の形態による画像処理部の構成を示す略線図である。 動き補償処理における線形補間の説明に供する略線図である。 グローバル動きベクトルの生成の説明に供する略線図である。 カムコーダと方向の定義の説明に供する略線図である。 水平方向の手ぶれによるフォーカルプレーン歪みの説明に供する略線図である。 垂直方向の手ぶれによるフォーカルプレーン歪みの説明に供する略線図である。 手ぶれによる画像の変化を示す略線図である。 回転中心座標を示す略線図である。 肘を中心としたときのカメラの動きの説明に供する略線図である。 アスペクト比の変換の説明に供する略線図である。 成分分離モデルの構成を示す略線図である。 成分算出処理手順の説明に供するフローチャートである。 フォーカルプレーン歪み成分とその累積値を示す略線図である。 フィルタリング処理手順の説明に供するフローチャートである。 フォーカルプレーン歪み成分の調整の説明に供する略線図である。 フレーム画像と動きベクトルの関係の説明に供する略線図である。 第１の実施の形態によるＦＰ歪み補正量算出処理手順の説明に供するフローチャートである。 ＬＰＦの特性の説明に供する略線図である。 補正ベクトル生成処理手順の説明に供するフローチャートである。 第２の実施の形態による画像処理部の構成を示す略線図である。 第２の実施の形態によるＦＰ歪み補正量算出処理手順の説明に供するフローチャートである。 妥当な角度範囲の説明に供する略線図である。 台形歪み推定処理手順の説明に供するフローチャートである。 台形歪みの追加修正の説明に供する略線図である。 台形歪み追加修正処理手順の説明に供するフローチャートである。 角度変化の推定処理手順の説明に供するフローチャートである。
以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．第１の実施の形態（手ぶれ量からのフォーカルプレーン歪み量の除去）
２．第２の実施の形態（台形歪みの推定）
３．第３の実施の形態（手ぶれ量からの台形歪みの除去）
４．第４の実施の形態（台形歪みの推定値の変更）
５．他の実施の形態
＜１．第１の実施の形態＞
［１−１．全体構成］
図１に外観を示すように、画像処理端末１０は、モニタ部１１と、操作部１２と、画像処理部１３とによって構成されている。画像処理端末１０は、カムコーダ１から供給されるフレーム画像データを画像処理部１３に供給する。
画像処理部１３は、フレーム画像を構成するフレーム画像データにおいて、フレーム画像間における当該フレーム画像全体としての動きベクトルを表すグローバル動きベクトルＧＭＶを検出する。
上述したように、グローバル動きベクトルＧＭＶには、カメラの動き（以下、これをカメラモーションと呼ぶ）以外にも、フォーカルプレーン歪みの変化量であるフォーカルプレーン歪み成分ＣＦが含まれている。また、図２に示すようにカメラモーションは、ユーザの意図した動き（以下、これをカメラワークと呼ぶ）以外にも、ユーザの意図しない動きであるぶれ（以下、これを手ぶれと呼ぶ）が含まれている。
そこで画像処理部１３は、グローバル動きベクトルＧＭＶからフォーカルプレーン歪み成分ＣＦを除去した上で、手ぶれを補正するようになされている。
図３に示すように、画像処理部１３は、フレーム画像データをフレーム画像ごとにバッファ２１及び動き検出部２２に供給する。動き検出部２２は、処理対象のフレーム画像と、バッファ２１から供給される一つ前の参照フレーム画像とから、後述する動き検出処理によってフレーム画像全体としての動きベクトルを表すグローバル動きベクトルＧＭＶを算出する。このとき動き検出部２２は、グローバル動きベクトルＧＭＶの信頼度を表す信頼度情報を生成し、グローバル動きベクトルＧＭＶと共に成分分離処理部２３に供給する。
成分分離処理部２３は、後述する成分分離処理によってグローバル動きベクトルＧＭＶを、カメラモーション量を表すカメラモーション成分ＣＭと、フォーカルプレーン歪みの変化量を表すフォーカルプレーン歪み成分ＣＦとに分離する。
成分分離処理部２３は、フォーカルプレーン歪み成分ＣＦ及び信頼度情報を成分分離蓄積バッファ２４に供給する。分離成分蓄積バッファ２４は、例えばＦＩＦＯ（First In First Out）方式でなり、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦ及び信頼度情報を蓄積し、一時記憶する。
フィルタリング処理部２５は、後述するフィルタリング処理により、信頼度情報に基づいてカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをフィルタリングする。
フィルタリング処理部２５は、フィルタリング後のカメラモーション成分ＣＭをカメラワーク量算出部２７及び補正ベクトル生成部２９へ供給する。フィルタリング処理部２５は、フィルタリング後のカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをＦＰ歪み補正量算出部２６へ供給する。
ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪みに対する補正量であるＦＰ歪み補正量ＣＦｃを生成するＦＰ歪み補正量算出処理（詳しくは後述する）を実行し、当該ＦＰ歪み補正量ＣＦｃを補正ベクトル生成部２９に供給する。
カメラワーク量算出部２７は、フィルタリング処理部２５から供給されるカメラモーション成分ＣＭに対し、後述するカメラワーク量算出処理を施すことにより、カメラワーク量を算出し、補正ベクトル生成部２９へ供給する。
補正ベクトル生成部２９は、後述する補正ベクトル生成処理により、カメラワーク量及びＦＰ歪み補正量ＣＦｃに基づいて、補正ベクトルＶｃを生成し、動き補償部３０に供給する。この補正ベクトルＶｃは、手ぶれ及びフォーカルプレーン歪みを補正するものである。
動き補償部３０は、バッファ２１から供給される処理フレーム画像に対し、補正ベクトルＶｃを適用することにより、動き補償処理を実行する。なお、動き補償部３０は、フレーム画像を当該フレーム画像よりも小さいサイズに切り出して手ぶれ及びフォーカルプレーン歪みを補正する。このため動き補償部３０は、低下した解像度を向上させるべく、図４に示すように、１画素以下の精度（例えば１／２画素や１／４画素精度）で線形補間する。
動き補償部３０は、線形補間されたフレーム画像をモニタ部１１（図１）へ順次供給する。この結果、モニタ部１１には、手ぶれ及びフォーカルプレーン歪みが補正されたフレーム画像が順次表示される。
このように、画像処理端末１０の画像処理部１３は、フレーム画像データにおける手ぶれ及びフォーカルプレーン歪みを補正するようになされている。
［１−２．動き検出処理］
動き検出部２２は、動き検出処理を実行し、供給される参照対象となる参照フレーム画像及び処理対象となる処理フレーム画像から当該処理フレーム画像の全体的な動きを表すグローバル動きベクトルＧＭＶを検出する。
図５に示すように、動き検出部２２は、所定数の画素数でなる画素ブロック単位ごとに、参照フレーム画像に対する処理フレーム画像の動きベクトル（以下、これをローカルベクトルＬＭＶと呼ぶ）を算出する。例えば動き検出部２２は、画素ブロック単位として、１６×１６画素のマクロブロックごとにブロックマッチングを行い、ローカル動きベクトルＬＭＶを算出する。
このとき動き検出部２２は、ローカル動きベクトルＬＭＶの信頼度を表す様々な信頼度指標を用いてローカル動きベクトルＬＭＶを重み付けすることにより、グローバル動きベクトルＧＭＶを算出する。
この信頼度指標としては、ローカル動きベクトルＬＭＶのサイズ、差分絶対値和、ブロック構成画素値の分散値、又は参照フレーム画像データと処理フレーム画像データとの対応ブロックの構成画素値から算出する共分散値、若しくはこれらの組み合わせが用いられる。なお、グローバル動きベクトルＧＭＶの詳細な算出方法については、特許文献２及び３に記載されている。
特願２００７−２３００５３公報 特願２００７−２３００５４公報
この信頼度指標が高ければ、各ローカル動きベクトルＬＭＶの信頼度が高いということになる。また各ローカル動きベクトルＬＭＶの信頼度が高いということは、グローバル動きベクトルＧＭＶの信頼度も高いといえる。
このため動き検出部２２は、処理フレーム画像データにおける信頼度指標を、当該処理フレーム画像データに対応するグローバル動きベクトルＧＭＶの信頼度情報として用いるようになされている。
このように、動き検出部２２は、マクロブロックごとに算出されるローカル動きベクトルＬＭＶを基に、処理フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを算出する。このとき動き検出部２２は、ローカル動きベクトルＬＭＶの信頼度指標をグローバル動きベクトルＧＭＶの信頼度情報として用いるようになされている。
［１−３．成分分離処理］
まず、撮像装置としてのカムコーダ１と、当該カムコーダ１を基準とした方向について、図６を用いて説明する。
カムコーダ１において撮像される撮像画像を基準とし、カムコーダ１の移動により被写体が横に移動するＸ軸方向を水平方向、カムコーダ１に移動により被写体が縦に移動するＹ軸方向を垂直方向と呼ぶ。カムコーダ１の移動により被写体が拡縮されるＺ軸方向を拡縮方向と呼ぶ。
また、Ｘ軸を中心軸として回転する方向をピッチ方向、Ｙ軸を中心軸として回転する方向をヨー方向、Ｚ軸を中心軸として回転する方向をロール方向と呼ぶ。またフレーム画像において、カムコーダ１の水平方向への移動により被写体が移動する方向を横方向、カムコーダ１の垂直方向への移動により被写体が移動する方向を縦方向と呼ぶ。
画像処理端末１０の画像処理部１３は、成分分離処理部２３によって成分分離処理を実行する。ここで、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶは、様々な成分を含有しており、当該成分を全てモデル化すると画像処理部１３の処理負荷が増大してしまう。
そこで本実施の形態の画像処理部１３は、グローバル動きベクトルＧＭＶがカメラの動きであるカメラモーション成分ＣＭとフォーカルプレーン歪みの変化量であるフォーカルプレーン歪み成分ＣＦのみから構成されると擬制する。
画像処理部１３の成分分離処理部２３は、グローバル動きベクトルＧＭＶを、未知の成分パラメータを用いてカメラモーション成分ＣＭとフォーカルプレーン歪み成分ＣＦとに分離した成分分離モデルに当て嵌め、成分分離式を生成する。成分分離処理部２３は、成分分離式における成分パラメータを算出することにより、カメラモーション成分ＣＭとフォーカルプレーン歪み成分ＣＦをそれぞれ算出するようになされている。
図７（Ａ）に示すように、例えば長方形でなる被写体ＳＢを撮像したとき、水平方向（矢印で示す）にカムコーダ１が移動すると、図７（Ｂ）及び（Ｃ）に示すように、上述したフォーカルプレーン歪みにより、フレーム画像において被写体ＳＢの上下が横方向にずれ、平行四辺形に歪む。
また図８（Ｂ）及び（Ｃ）に示すように、カムコーダ１が垂直方向（矢印で示す）に移動すると、フレーム画像において被写体ＳＢの上下が縦方向にずれ、垂直方向に拡縮する。
そこで画像処理部１３は、フォーカルプレーン歪み成分ＣＦを、（１）式に示すように、ＦＰ歪み縦方向拡縮要素ＥＦａとＦＰ歪み平行四辺形要素ＥＦｂとによってモデル化する。なおｅは縦方向の拡縮を表す成分パラメータ、ｂは平行四辺形の歪み度合いを表す成分パラメータである。
Figure 0004915423
一般的に、カメラモーション成分ＣＭは、線形変換と回転変換とから構成される。線形変換は、被写体ＳＢが水平方向及び垂直方向に移動する並進速度を表す並進要素、被写体が拡大又は縮小する拡縮速度を表す拡縮要素から構成される。回転変換は、被写体ＳＢがヨー方向、ピッチ方向及びロール方向の３方向への角度変化を表す回転要素から構成される。
仮に、並進要素、拡縮要素及び３方向に対応する角度変化を含む回転要素にモデル化する場合、（２）式に示すような射影変換として表すことになる。
Figure 0004915423
しかしながら射影変換は、変換式が線形でないために最小二乗法では解くことができず、例えば最急降下法などの勾配法を用いる必要がある。この勾配法では、初期値によっては誤った解が得られてしまう他、処理量が増大してしまう。
ここで、第１の実施の形態では、以下に説明する構成のカムコーダ１によって撮像されたフレーム画像データが供給されることが想定されている。
図９に、図９（Ａ）のように撮像されたフレーム画像ＦＭに対し、カムコーダ１がヨー方向及びピッチ方向に移動した場合の、フレーム画像ＦＭにおける被写体ＳＢの変化を示している。なお図９右に示す矢印はカムコーダ１を基準とするものである。
図９（Ｂ）及び（Ｃ）に示したように、カムコーダ１は、当該カムコーダ１の移動に伴ってレンズユニット３と被写体ＳＢとの位置関係が変化することにより、フレーム画像ＦＭにおける被写体ＳＢの位置及び角度が変化してしまうことがわかる。
例えば被写体ＳＢの位置をほぼ一定に保つだけであれば、並進要素及び拡縮要素、若しくは回転要素及び拡縮要素のいずれか一方を補正すれば良い。しかしながら、かかる補正を行ってしまうと、被写体ＳＢの角度変化を適切に補正することができず、側面の見え隠れやオクルージョン、被写体の台形状への歪み（以下、これらをまとめて台形歪みと略す）を発生させてしまう。
カムコーダ１は、図示しない加速度センサを有しており、カメラの動きであるカメラモーション量を検出すると共に、当該カメラモーション量からユーザの意図しない手ぶれ量を算出する。そして本体部２に取り付けられたレンズユニット３がヨー方向及びピッチ方向に移動することにより、手ぶれ量を物理的に相殺し、被写体ＳＢとレンズユニット３との位置関係の変化を抑制する。
これにより、カムコーダ１は、図９（Ｂ）及び（Ｃ）に示したような、ヨー方向及びピッチ方向の手ぶれに応じたフレーム画像ＦＭにおける被写体ＳＢの位置及び角度変化を抑制するようになされている。
すなわち、カムコーダ１から供給されるフレーム画像データは、カムコーダ１のヨー方向及びピッチ方向の移動に伴って生じるフレーム画像ＦＭにおける被写体ＳＢの角度変化が抑制されている。
そこで画像処理端末１０の画像処理部１３は、カメラモーション量のうち、回転要素ＥＭｂがロール方向への角度変化のみであるものと擬制し、カメラモーション成分ＣＭを（３）式のようにモデル化する。
Figure 0004915423
なお、（３）式における３つの行列は、左から並進要素ＥＭａ、回転要素ＥＭｂ及び拡縮要素ＥＭｃである。ｈは縦方向の並進を表す成分パラメータ、ｖは横方向の並進を表す成分パラメータ、ｃｏｓθ及びｓｉｎθはロール方向の回転を表す成分パラメータ、ｓは被写体とカムコーダ１との距離変化に伴う拡縮を表す成分パラメータである。
これにより、画像処理部１３は、グローバル動きベクトルＧＭＶを１方向の回転変換及び３方向への線形変換によって表すアフィン変換を適用することが可能となる。この結果、画像処理部１３は、成分パラメータを算出するために一般的な変換行列を用いることができるため、成分パラメータを算出するための処理負荷を大幅に軽減することができる。また、画像処理部１３は、一つの定まった解を算出できるため、勾配法のように誤った解を算出することがない。
さらに、成分分離処理部２３は、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに対し、原点補正及びピクセル補正を行う。
図１０（Ａ）に示すように、一般的に、ソフトウェアによって画像処理をする場合、フレーム画像の左上を原点とするような座標系をとる。すなわち、この座標系を回転させる場合、フレーム画像の左上の画素を中心としてフレーム画像が回転することになる。
しかしながら、カムコーダ１は、当該カムコーダ１の左上を中心として回転されるわけではない。ユーザは、被写体ＳＢをなるべく中心に位置させるようにして撮像を行うと考えられることから、図１０（Ｃ）に示すように、座標の回転中心をフレーム画像の中心とすることが好ましいと考えられる。
そこで、成分分離処理部２３は、（４）式に示すように、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに対し、予め原点補正行列ＭＣ１を乗算し、原点を中央に移動させておく。なお、ｈＣはフレーム画像における縦方向の画素数の１／２、ｖＣはフレーム画像における横方向の画素数の１／２を表している。
Figure 0004915423
成分分離処理部２３は、（５）式に示すように、最後に原点補正行列ＭＣ１の逆行列となる原点補正逆行列ＭＣ２を乗算することにより、原点をフレーム画像の左上、すなわち中心に移動させる前の位置に戻す。
Figure 0004915423
これにより、成分分離処理部２３は、原点をフレーム画像の中心に移動させた状態でフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭを算出することが可能となる。
ここで、実際に撮像を行うユーザは、図１１（Ａ）に示すように、撮像しているフレーム画像の中心を回転軸としてカムコーダ１を回転させるわけではない。むしろ殆どのユーザは、図１１（Ｂ）に示すように、肘又は手首などを回転中心としてカムコーダ１を回転させている。
図１１（Ｃ）に示すように、例えば肘を中心にした回転により、カムコーダ１を移動量ＭＴだけ移動させた場合、回転軸である肘からカムコーダ１におけるフレーム画像の中心までの距離をｈａとすると、移動量ＭＴによる動きベクトルを（６）式のように表すことができる。
Figure 0004915423
すなわち、移動量ＭＴによる動きベクトルは、原点から見た回転と並進の動きの組み合わせとして表せることになり、回転軸の位置が異なることによる弊害は生じない。
また、一般的に、フレーム画像データのフレーム画像における各画素は、そのアスペクト比が１：１ではない。図１２（Ａ）に示すように、例えば長方形でなる画素に対して回転要素ＥＭｂを乗算すると、横方向と縦方向とでスケールが異なることに起因して、右図に示すように、回転と共に、長方形が平行四辺形状に歪んでしまう。
従って、成分分離処理部２３は、（７）式に示すピクセル補正行列ＭＰ１を乗算することにより、回転要素ＥＭｂが乗算されるより前に、正方形でない画素を一旦正方形の画素に変換する。なおｐは、画素の一辺を「１」としたときのピクセル比を表している。
Figure 0004915423
そして、成分分離処理部２３は、回転要素ＥＭｂを乗算した後、ピクセル補正行列ＭＰ１の逆行列となるピクセル補正逆行列ＭＰ２（（８）式）を乗算することにより、正方形に変換した画素を基のアスペクト比でなる画素に再変換する。
Figure 0004915423
すなわち、成分分離処理部２３は、（９）式に示すように、回転要素ＥＭｂの前後にピクセル補正行列ＭＰ１及びピクセル補正逆行列ＭＰ２を乗算するようになされている。
Figure 0004915423
成分分離処理部２３は、図１３に示すように、原点及び画素のアスペクト比を補正した上で、未知の成分パラメータを用いてフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに分離した成分分離モデルを有している。そして成分分離処理部２３は、グローバル動きベクトルＧＭＶを成分分離モデルに当て嵌めることによりグローバル動きベクトルＧＭＶをモデル化し、当該成分分離式における最後に原点及び画素のアスペクト比を基に戻すようになされている。
実際上、画像処理部１３の動き検出部２２は、グローバル動きベクトルＧＭＶを（１０）式のようにアフィン変換行列式として算出する。
Figure 0004915423
成分分離処理部２３は、動き検出部２２からグローバル動きベクトルＧＭＶが供給されると、図１３に示した成分分離モデルにグローバル動きベクトルＧＭＶを当て嵌めることにより、（１１）式に示す成分分離式を生成する。
Figure 0004915423
成分分離処理部２３は、（１１）式を（１２）式のように変形する。
Figure 0004915423
この（１２）式における各成分パラメータ（ｓｉｎθ、ｅ、ｂ、ｓ、ｈ、ｖ）について一般的な方程式によって解くと、以下のようになる。
Figure 0004915423
Figure 0004915423
Figure 0004915423
Figure 0004915423
このように、成分分離処理部２３は、アフィン変換行列として表されたグローバル動きベクトルＧＭＶを、未知の成分パラメータを用いてフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに分離して表す成分分離式に代入することによりモデル化する。そして成分分離処理部２３は、方程式を解いて各成分パラメータを算出することにより、グローバル動きベクトルＧＭＶをフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭに分離し得るようになされている。
なお、成分分離処理部２３は、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭとして、分離成分蓄積バッファ２４に対し、成分パラメータのみを供給しても良く、行列に含まれる全ての値を供給しても良い。他の処理についても同様である。
次に、画像処理プログラムに従って実行される成分算出処理手順ＲＴ１について、図１４のフローチャートを用いて説明する。なお、この成分算出処理手順ＲＴ１は、上述した動き検出処理及び成分分離処理に対応するものである。
画像処理部１３の動き検出部２２は、フレーム画像データが供給されると、成分算出処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。
ステップＳＰ１において、動き検出部２２は、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを検出すると、当該グローバル動きベクトルＧＭＶを成分分離処理部２３に供給し、次のステップＳＰ２へ移る。
ステップＳＰ２において、画像処理部１３の成分分離処理部２３は、動き検出部２２から供給されたグローバル動きベクトルＧＭＶを、（１１）式に示した成分分離式に代入することによりモデル化し、次のステップＳＰ３へ移る。
ステップＳＰ３において、成分分離処理部２３は、成分分離式が有する未知の成分パラメータを算出することにより、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをそれぞれ算出すると、終了ステップへ移って成分算出処理手順ＲＴ１を終了する。
［１−４．フィルタリング処理］
フィルタリング処理部２５は、動き検出部２２によって生成される信頼度情報に基づいてカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをフィルタリングする。
上述したように、信頼度情報は、フレーム画像データにおける各ローカル動きベクトルＬＭＶの信頼度指標でなる。フィルタリング処理部２５は、各信頼度指標が所定の高信頼閾値以上であるか否かを判別し、フレーム画像データごとの信頼度指標の総数に対する高信頼閾値以上でなる信頼度指標の割合を算出する。
フィルタリング処理部２５は、高信頼閾値以上でなる信頼度指標の割合が所定のフィルタリング閾値よりも高い場合には、グローバル動きベクトルＧＭＶの信頼度が高いため、
当該グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをそのまま使用する。
フィルタリング処理部２５は、高信頼閾値以上でなる信頼度指標の割合が所定のフィルタリング閾値よりも低い場合には、グローバル動きベクトルＧＭＶの信頼度が低いため、
当該グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを使用しない。
すなわちフィルタリング処理部２５は、グローバル動きベクトルＧＭＶの信頼度が高い場合には、フォーカルプレーン歪み成分ＣＦをそのままＦＰ歪み補正量算出部２６に供給すると共に、カメラモーション成分ＣＭをＦＰ歪み補正量算出部２６、カメラワーク量算出部２７及び補正ベクトル生成部２９に供給する。
これに対してフィルタリング処理部２５は、グローバル動きベクトルＧＭＶの信頼度が低い場合には、供給されたカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを破棄する。
このとき、フィルタリング処理部２５は、所定の単位行列をフォーカルプレーン歪み成分ＣＦとしてＦＰ歪み補正量算出部２６に供給すると共に、所定の単位行列をカメラモーション成分ＣＭとしてＦＰ歪み補正量算出部２６、カメラワーク量算出部２７及び補正ベクトル生成部２９に供給する。なおフィルタリング処理部２５は、信頼度に応じて例えば複数のフィルタリング閾値を設定しておき、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦのいずれか一方、若しくは要素ごとに単位行列に置き換えることもできる。
このように、フィルタリング処理部２５は、信頼度の高いグローバル動きベクトルＧＭＶに基づいて生成されたフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭのみを選別して使用する。
これにより、画像処理部１３は、信頼度が高く、誤差が小さい可能性の高いグローバル動きベクトルＧＭのみをＦＰ歪み補正量算出部２６、カメラワーク量算出部２７及び補正ベクトル生成部２９に供給し得るようになされている。
次に、画像処理プログラムに従って実行されるフィルタリング処理手順ＲＴ２について、図１５のフローチャートを用いて説明する。
画像処理部１３のフィルタリング処理部２５は、分離成分蓄積バッファ２４から信頼度情報、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが供給されると、フィルタリング処理手順ＲＴ２を開始し、ステップＳＰ１１へ移る。
ステップＳＰ１１において、フィルタリング処理部２５は、信頼度情報に基づいて、グローバル動きベクトルＧＭＶの信頼度が高いか否かについて判別する。ここで肯定結果が得られた場合、このことは、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが信頼できることを表している。このときフィルタリング処理部２５は、次のステップＳＰ１２へ移る。
ステップＳＰ１２において、フィルタリング処理部２５は、成分分離処理部２３によって分離されたカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをそのまま出力すると、終了ステップへ移ってフィルタリング処理手順ＲＴ２を終了する。
これに対してステップＳＰ１１において否定結果が得られた場合、このことはカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが信頼できないことを表している。このときフィルタリング処理部２５は、次のステップＳＰ１３へ移る。
ステップＳＰ１３において、フィルタリング処理部２５は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを破棄して単位行列に置き換え、当該置き換えられた単位行列をカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦとして出力する。そしてフィルタリング処理部２５は、終了ステップへ移ってフィルタリング処理手順ＲＴ２を終了する。
［１−５．ＦＰ歪み補正量算出処理］
フォーカルプレーン歪みは、フレーム画像ごとに独立して生じる現象ではなく、複数のフレーム画像間で連続的に生じ、蓄積された歪みを表すものである。これに対して、グローバル動きベクトルＧＭＶは、１つ前のフレーム画像に対する動きを表すものである。すなわち、フォーカルプレー歪み成分ＣＦは、フォーカルプレーン歪みのうち、前のフレーム画像に対して増大又は減少した変化量を表している。
従って、正確にフォーカルプレーン歪みを補正するためには、フォーカルプレーン歪み成分ＣＦの累積値を用いて補正することが望ましい。
しかしながら、フォーカルプレーン歪み成分ＣＦは誤差を有している。図１６（Ａ）に、例えば手ぶれなどにより小刻みにフォーカルプレーン歪みが発生したときのフォーカルプレーン歪み成分ＣＦの様子を示している。フォーカルプレーン歪み成分ＣＦが正の符号を示すときはフォーカルプレーン歪みが大きくなり、フォーカルプレーン歪み成分ＣＦが負の符号を示すときはフォーカルプレーン歪みが小さくなっていることを表している。
図１６（Ｂ）に、フォーカルプレーン歪み成分ＣＦ（図１６（Ａ））の累積値であるＦＰ歪み累積値を示している。図からわかるように、フレーム画像の数が増大するにつれてＦＰ歪み累積値が著しく増大している。これは、フォーカルプレーン歪み成分ＣＦの有する誤差が蓄積し、発散してしまった結果である。すなわち、フォーカルプレーン歪み成分ＣＦの累積値を用いてフレーム画像を補正した場合、誤差の蓄積によりフレーム画像が破綻してしまう危険性がある。
そこで、画像処理部１３のＦＰ歪み補正量算出部２６は、処理フレーム画像及び当該処理フレーム画像の前後のフレーム画像のうち、フォーカルプレーン歪みの最も小さいフレーム画像と同等のフォーカルプレーン歪みになるよう、ＦＰ歪み補正量ＣＦｃを算出する。
ここで、カメラモーション成分ＣＭは、フォーカルプレーン歪み成分ＣＦと比較して誤差が小さく、信頼性も高い。また、フォーカルプレーン歪み成分ＣＦは、カメラモーション成分ＣＭにおける並進速度と相関関係を有している。そこでＦＰ歪み補正量算出部２６は、並進速度に基づいて、ＦＰ歪み補正量ＣＦｃを算出する。
なお、ＦＰ歪み補正量ＣＦｃは、（１）式に示したフォーカルプレーン歪み成分ＣＦのうち、ＦＰ歪み成分パラメータｅをｅｃに、ＦＰ歪み成分パラメータｂをｂｃにそれぞれ置き換えた行列として表される。後述する補正ベクトル生成処理において、ＦＰ歪み補正量ＣＦｃの逆行列が乗算されることにより、処理フレーム画像におけるフォーカルプレーン歪みが補正されることになる。
図１７に示すように、処理対象である処理フレーム画像ＦＭ１の１つ前方となるフレーム画像を参照フレーム画像ＦＭ０と呼び、参照フレーム画像ＦＭ０より１つ手前となるフレーム画像を前方フレーム画像ＦＭ−１と呼ぶ。処理フレーム画像ＦＭ１よりも１つ後方となるフレーム画像を後方フレーム画像ＦＭ２と呼ぶ。
また、参照フレーム画像ＦＭ０を基準としたときの処理フレーム画像ＦＭ１の動きをグローバル動きベクトルＧＭＶ０と呼ぶ。前方フレーム画像ＦＭ−１を基準としたときの参照フレーム画像ＦＭ０の動きをグローバル動きベクトルＧＭＶ−１と呼ぶ。処理フレーム画像ＦＭ１を基準としたときの後方フレーム画像ＦＭ２の動きをグローバル動きベクトルＧＭＶ＋１と呼ぶ。これらをまとめて単にグローバル動きベクトルＧＭＶと呼ぶ。
ＦＰ歪み補正量算出部２６には、グローバル動きベクトルＧＭＶに対応するカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが順次供給される。なお、グローバル動きベクトルＧＭＶ０、ＧＭＶ＋１及びＧＭＶ−１に対応するカメラモーション成分ＣＭをそれぞれカメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１と呼ぶ。グローバル動きベクトルＧＭＶ０、ＧＭＶ＋１及びＧＭＶ−１に対応するフォーカルプレーン歪み成分ＣＦをそれぞれフォーカルプレーン歪み成分ＣＦ０、ＣＦ＋１及びＣＦ−１と呼ぶ。
ＦＰ歪み補正量算出部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１におけるモーション成分パラメータｖの値をそれぞれ比較する。モーション成分パラメータｖは、縦方向の並進速度を表している。縦方向の並進速度が大きい場合、フォーカルプレーン歪みが大きく、縦方向の並進速度が小さい場合、フォーカルプレーン歪みが小さくなる。
ＦＰ歪み補正量算出部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１のうち、縦方向の並進速度（すなわちモーション成分パラメータｖの値）が最も小さいカメラモーション成分ＣＭを選択する。
ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ０であった場合、フォーカルプレーン歪みを処理フレーム画像ＦＭ１と同程度にする。ＦＰ歪み補正量算出部２６は、単位行列をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み補正量ＣＦｃにおける縦方向の拡縮を表すＦＰ歪み成分パラメータｅｃを「１」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが補正されないことになる。
一方、ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ−１であった場合、フォーカルプレーン歪みを参照フレーム画像ＦＭ０と同程度にする。ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪み成分ＣＦ０をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み成分パラメータｅｃをフォーカルプレーン歪み成分ＣＦ０における「ｅ」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが参照フレーム画像ＦＭ０と同等のレベルに補正される。
他方、ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭがカメラモーション成分ＣＭ＋１であった場合、後方フレーム画像ＦＭ２と同程度にする。ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪み成分ＣＦ＋１の逆行列をＦＰ歪み補正量ＣＦｃとし、ＦＰ歪み成分パラメータｅｃをフォーカルプレーン歪み成分ＣＦ＋１における「ｅの逆数」とする。この結果、縦方向の拡縮について、フォーカルプレーン歪みが後方フレーム画像ＦＭ２と同等のレベルに補正される。
ＦＰ歪み補正量算出部２６は、同様にして、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１におけるモーション成分パラメータｈの値をそれぞれ比較し、横方向の並進速度（すなわちモーション成分パラメータｈの値）が最も小さいカメラモーション成分ＣＭを選択する。
ＦＰ歪み補正量算出部２６は、選択されたカメラモーション成分ＣＭ０、ＣＭ−１及びＣＭ＋１に応じて、「０」、フォーカルプレーン歪み成分ＣＦ０における「ｂ」及びフォーカルプレーン歪み成分ＣＦ＋１における「ｂの逆数」から、ＦＰ歪み成分パラメータｂｃを選択する。
ＦＰ歪み補正量算出部２６は、選択されたＦＰ歪み成分パラメータｅｃ及びｂｃをＦＰ歪み補正量ＣＦｃとし、補正ベクトル生成部２９に供給する。
これにより、ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪み成分ＣＦを累積させないため、ＦＰ歪み補正量ＣＦｃを発散させることはない。また、ＦＰ歪み補正量算出部２６は、図１８（Ｂ）に示すように、フォーカルプレーン歪みの全て（図１８（Ａ））を補正することはできないものの、フォーカルプレーン歪みをＦＰ歪み累積値よりも小さくすることができ、フォーカルプレーン歪みを低減できる。
このフォーカルプレーン歪みは、例えば５フレーム程度の短い間隔で増減し、正負符号が入れ替わり、その最大量がさほど大きくならないことが確認されている。従って、ＦＰ歪み補正量算出部２６は、フォーカルプレーン歪みの最大量を低減するだけで、フレーム画像におけるフォーカルプレーン歪みを視覚的に目立たなくできる。
このように、ＦＰ歪み補正量算出部２６は、処理フレーム画像ＦＭ１、参照フレーム画像ＦＭ０及び後方フレーム画像ＦＭ２のうち、並進速度に基づいてフォーカルプレーン歪みの最も少ないフレーム画像ＦＭを選択する。そしてＦＰ歪み補正量算出部２６は、選択されたフレーム画像ＦＭと同レベルになるようＦＰ歪み補正量ＣＦｃを算出する。
これにより、ＦＰ歪み補正量算出部２６は、ＦＰ歪み補正量ＣＦｃの発散を確実に防止すると共に、フォーカルプレーン歪みを低減させて視覚的に目立ちにくくし得るようになされている。
次に、画像処理プログラムに従って実行されるＦＰ歪み補正量算出処理手順ＲＴ３について、図１９のフローチャートを用いて説明する。
ＦＰ歪み補正量算出部２６は、グローバル動きベクトルＧＭＶが供給されると、ＦＰ歪み補正量算出処理手順ＲＴ３を開始し、ステップＳＰ２２へ移る。
ステップＳＰ２２において、ＦＰ歪み補正量算出部２６は、カメラモーション成分ＣＭ０、ＣＭ＋１及びＣＭ−１におけるモーション成分パラメータｈ及びｖの値をそれぞれ比較すると、次のステップＳＰ２３へ移る。
ステップＳＰ２３において、ＦＰ歪み補正量算出部２６は、並進速度（すなわちモーション成分パラメータｈ及びｖの値）が最も小さいカメラモーション成分ＣＭを選択すると、次のステップＳＰ２４へ移る。
ステップＳＰ２４において、ＦＰ歪み補正量算出部２６は、ステップＳＰ２３において選択されたカメラモーション成分ＣＭに応じて、ＦＰ歪み補正量ＣＦｃを算出する。このときＦＰ歪み補正量算出部２６は、フォーカルプレーン歪みが当該カメラモーション成分ＣＭと対応するフレーム画像と同レベルになるよう、ＦＰ歪み補正量ＣＦｃを算出する。
そして、ＦＰ歪み補正量算出部２６は、終了ステップへ移ってＦＰ歪み補正量算出処理手順ＲＴ３を終了する。
［１−６．カメラワーク量の算出］
カメラワーク量算出部２７は、フィルタリング処理部２５から供給されるモーション成分パラメータθ、ｓ、ｈ及びｖに所定のタップ数のＬＰＦを適用することにより、ユーザの意図した動きであるカメラワーク量を算出する。
具体的には、タップ数分の成分パラメータを取得し、例えばＦＩＲ（Finite Impulse Response Filter）に適用することにより、フィルタ後のモーション成分パラメータ（以下、これをカメラワーク成分パラメータと呼ぶ）を取得する。このカメラワーク成分パラメータは、カメラワーク量を表すものとなる。以下、カメラワーク成分パラメータをθｆ、ｓｆ、ｈｆ及びｖｆと表す。
ＬＰＦにおけるタップ数は、ＬＰＦとしての特性が十分となるように設定される。ＬＰＦは、手ぶれと見なされる周波数近傍を確実にカットできるようカットオフ周波数が設定される。また、単純な移動平均フィルタを用いることも可能である。
カットオフ周波数を０．５［Ｈｚ］とした場合、図２０（Ａ）に示すように、タップ数を５１７程度にすることにより、ＬＰＦとしての精度を高くすることができる。また、図２０（Ｂ）に示すように、タップ数を６０程度に落とした場合であっても、精度が低下するものの、ＬＰＦとしてある程度の性能を発揮することができる。
従って、カメラワーク量算出部２７は、画像処理部１３としてのハードウェアの処理性能や出力ディレイの許容範囲など、実装時の制約に基づいて設定されることが好ましい。
このように、カメラワーク量算出部２７は、カメラモーション量を表すモーション成分パラメータθ、ｓ、ｈ及びｖに対してＬＰＦ処理を施すことにより、カメラワーク量を表すカメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆを生成するようになされている。
［１−７．補正ベクトルの生成］
補正ベクトル生成部２９は、手ぶれ及びフォーカルプレーン歪みを補正するために、処理フレーム画像に対して適用する補正ベクトルＶｃを生成するようになされている。
便宜上、成分分離式における各成分及び行列を（１７）式のように表記すると、（１１）式に示した成分分離式を（１８）式のように表すことができる。なお変換前座標Ｘ０は、参照フレーム画像ＦＭ０に対応する座標であり、変換後座標Ｘ１は、処理フレーム画像ＦＭ０に対応する座標である。
Figure 0004915423
Figure 0004915423
ここで、手ぶれ量をＭｓ、カメラワーク量をＭｃと表すと、（１９）式が成立する。
Figure 0004915423
手ぶれ量Ｍｓは、カメラモーション成分ＣＭ（Ｍ）におけるモーション成分パラメータからカメラワーク成分パラメータを減算することにより算出することができる。補正ベクトル生成部２９は、カメラワーク量算出部２７から供給されるモーション成分パラメータθ、ｓ、ｈ及びｖ並びにカメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆから、（２０）式に従って手ぶれ量Ｍｓを算出する。
Figure 0004915423
（１８）式に対して（１９）式を代入し、変形することにより、（２１）式のように表すことができる。
Figure 0004915423
さらに（２１）式を変形することにより、（２２）式を得ることができる。
Figure 0004915423
従って、（２２）式に示すように、変換前座標Ｘ０に対して、カメラワーク量Ｍｃのみを作用させた左辺が、変換後座標Ｘ１に対して手ぶれ量Ｍｓの逆行列及びフォーカルプレーン歪みＣＦ（Ｆ）の逆行列を作用させた右辺と等しくなることがわかる。
言い換えると、変換後座標Ｘ１に対して、（２３）式に示す補正ベクトルＶｃを乗算することにより、参照フレーム画像ＦＭ０からカメラワーク量Ｍｃのみを作用させた（すなわち手ぶれ及びＦＰ歪み補正量ＣＦｃを相殺した）座標を得ることができる。
Figure 0004915423
従って、補正ベクトル生成部２９は、モーション成分パラメータθ、ｓ、ｈ及びｖ、カメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆ、ＦＰ歪み成分パラメータｅｃ及びｂｃが供給されると、（２０）式及び（２３）式に従って、補正ベクトルＶｃを生成し、動き補償部３０に供給する。
この結果、動き補償部３０によって補正ベクトルＶｃが適用されることにより、処理フレーム画像ＦＭ１における手ぶれ及びフォーカルプレーン歪みが補正されるようになされている。
このように、補正ベクトル生成部２９は、手ぶれ及びフォーカルプレーン歪みが補正されたことにより、参照フレーム画像ＦＭ０と比して、カメラワーク量Ｍｃのみを作用させた状態でなる処理フレーム画像ＦＭ１を生成し得るようになされている。
次に、画像処理プログラムに従って実行される補正ベクトル生成処理手順ＲＴ４について、図２１のフローチャートを用いて説明する。
補正ベクトル生成部２９は、カメラモーション成分ＣＭ、カメラワーク成分ＣＭｃ、及びＦＰ歪み補正量ＣＦｃが供給されると、補正ベクトル生成処理手順ＲＴ４を開始し、ステップＳＰ３１へ移る。
ステップＳＰ３１において、補正ベクトル生成部２９は、カメラモーション成分ＣＭ及びカメラワーク成分ＣＭｃに基づいて、（２０）式に従って手ぶれ量Ｍｓを算出すると、次のステップＳＰ３２へ移る。
ステップＳＰ３２において、補正ベクトル生成部２９は、（２３）式に手ぶれ量Ｍｓの逆行列（Ｍｓ −１）及びＦＰ歪み補正量ＣＦｃの逆行列（Ｆ−１）を代入すると、次のステップＳＰ３３へ移る。
ステップＳＰ３３において、補正ベクトル生成部２９は、（２３）式に従って補正ベクトルＶｃを生成すると、終了ステップへ移って補正ベクトル生成処理手順ＲＴ４を終了する。
なお、上述した一連の画像処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。画像処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に画像処理部１３が形成される。そして、ＲＯＭに格納された画像処理プログラムをＲＡＭに展開することにより、画像処理が実行される。
［１−８．動作及び効果］
以上の構成において、画像処理端末１０の画像処理部１３は、フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表す動きベクトルであるグローバル動きベクトルＧＭＶを検出する。画像処理部１３は、カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータθ、ｓ、ｈ、ｖ、ｅ及びｂを用いることにより、検出されたグローバル動きベクトルＧＭＶを成分分離式（（１１）式）にモデル化する。この結果、成分分離式では、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを分離して表すことができる。
画像処理部１３は、成分分離式において用いられた成分パラメータｅ及びｂを算出することにより、グローバル動きベクトルＧＭＶにおけるフォーカルプレーン歪み成分ＣＦを算出する。
これにより、画像処理部１３は、グローバル動きベクトルＧＭＶがカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦのみで構成されていると擬制することができる。このため、画像処理部１３は、簡易な処理によりグローバル動きベクトルＧＭＶにおけるフォーカルプレーン歪み成分ＣＦを算出することができる。
画像処理部１３は、算出されたフォーカルプレーン歪み成分ＣＦに基づいて、フレーム画像が有するフォーカルプレーン歪みを補正する。これにより、画像処理部１３は、フレーム画像におけるフォーカルプレーン歪みを低減することができる。
画像処理部１３は、フォーカルプレーン歪み成分ＣＦを、ＦＰ歪み平行四辺形要素ＥＦｂ及びＦＰ歪み縦方向拡縮要素ＥＦａとして表す。
これにより、画像処理部１３は、平行四辺形状への歪み及び縦方向への拡縮として表われる２種類のフォーカルプレーン歪みを適切にモデル化することができ、フォーカルプレーン歪み成分ＣＦを高い精度で算出することができる。
画像処理部１３は、算出されたフォーカルプレーン歪み成分ＣＦに基づいて、フレーム画像に対するフォーカルプレーン歪みについての補正量を表すＦＰ歪み補正量ＣＦｃを算出する。画像処理部１３は、算出されたＦＰ歪み補正量ＣＦｃに基づいて、グローバル動きベクトルＧＭＶにおけるフォーカルプレーン歪みを補正する補正ベクトルＶｃを生成する。画像処理部１３は、フレーム画像のうち、処理対象となる処理フレーム画像ＦＭ１に対し、生成された補正ベクトルＶｃを適用する。
これにより、画像処理部１３は、処理フレーム画像ＦＭ１におけるフォーカルプレーン歪みを、算出されたＦＰ歪み補正量ＣＦｃだけ補正することができ、処理フレーム画像ＦＭ１におけるフォーカルプレーン歪みを低減することができる。
画像処理部１３は、処理フレーム画像ＦＭ１と、当該処理フレーム画像ＦＭ１より直前及び直後のフレーム画像である参照フレーム画像ＦＭ０及び後方フレーム画像ＦＭ２との中から、フォーカルプレーン歪みが最も少ないフレーム画像を選択する。画像処理部１３は、フォーカルプレーン歪みが選択されたフレーム画像と同レベルになるようフォーカルプレーン歪み補正量ＣＦｃを算出する。
これにより、画像処理部１３は、ＦＰ歪み累積値を用いることなくフォーカルプレーン歪みを低減することができるため、フォーカルプレーン歪みの誤差の蓄積によってフレーム画像が破綻することを未然に防止できる。
画像処理部１３は、カメラモーション成分ＣＭを、少なくとも並進要素ＥＭａ及び拡縮要素ＥＭｃとして表し、当該並進要素ＥＭａに基づいて、フォーカルプレーン歪みが最も少ないフレーム画像を選択する。
これにより、画像処理部１３は、ＦＰ歪みパラメータｂ及びｅよりも信頼性が高く、かつフォーカルプレーン歪みと相関関係を有する並進要素ＥＭａを用いてフォーカルプレーン歪みが最も少ないフレーム画像を選択することができる。この結果、画像処理装置１３は、フレーム画像を誤選択することなく、フォーカルプレーン歪みが最も少ないフレーム画像を確実に選択することができる。
画像処理部１３は、並進要素ＥＭａを、縦方向の並進速度ｖ及び横方向の並進速度ｈとして表し、縦方向の並進速度ｖに基づいて、ＦＰ歪み縦方向拡縮要素ＥＦａに対応するフォーカルプレーン歪み補正量ＣＦｃを算出する。画像処理部１３は、横方向の並進速度ｈに基づいて、ＦＰ歪み平行四辺形要素ＥＦｂに対応するフォーカルプレーン歪み補正量ＣＦｃを算出する。
画像処理部１３は、成分分離式（（１１）式）を行列式として表す。これにより、画像処理部１３は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦのモデル化を容易にすることができる。
画像処理部１３は、グローバル動きベクトルＧＭＶの検出の際、グローバル動きベクトルＧＭＶの信頼度を表す信頼度情報を生成する。画像処理部１３は、信頼性情報に基づいて、グローバル動きベクトルＧＭＶの信頼度が高いフォーカルプレーン歪み成分ＣＦのみを用いてフォーカルプレーン歪み補正量ＣＦｃを生成する。
これにより、画像処理部１３は、誤差が小さいフォーカルプレーン歪み成分ＣＦのみを用いてフォーカルプレーン歪み補正量ＣＦｃを生成できるため、フォーカルプレーン歪み補正量ＣＦｃの算出の精度を向上させ得る。
画像処理部１３は、カメラモーション成分ＣＭを、並進要素ＥＭａ、拡縮要素ＥＭｃ及び１方向の回転要素ＥＭｂとして表す。
これにより、画像処理部１３は、成分分離式をアフィン変換として取り扱うことができるため、処理負荷を大幅に低減することができる。
画像処理部１３は、回転要素ＥＭｂの前に、原点を中心に移動させる原点補正行列ＭＣ１及び画素のアスペクト比を１：１に変更するアスペクト比補正行列ＭＰ１を乗算する。画像処理部１３は、回転要素ＥＭｂの後に原点を中心に移動させる前の位置に戻す原点補正逆行列ＭＣ２及び画素を基のアスペクト比に戻すアスペクト比補正逆行列ＭＰ２を乗算する。
これにより、画像処理部１３は、回転中心となる原点をフレーム画像の中心に移動させ、画素のアスペクト比を１：１に変更した状態でフレーム画像に対する回転処理を実行することができる。このため、画像処理部１３は、原点が中心以外の位置にある場合及び画素のアスペクト比が１：１でない場合であっても、フレーム画像を適切に回転させることができる。
画像処理部１３は、成分パラメータをｅ及びｂとするとき、フォーカルプレーン歪み成分ＣＦを（１）式のようにモデル化する。これにより、画像処理部１３は、縦方向の拡縮と平行四辺形状の歪みとして表われるフォーカルプレーン歪みを適切にモデル化することができる。
画像処理部１３は、成分パラメータをθ、ｈ、ｖ及びｓとするとき、カメラモーション成分ＣＭを、（３）式のようにモデル化する。これにより、画像処理部１３は、カメラモーション成分ＣＭを、ロール方向の回転と、縦方向及び横方向の並進速度と、拡縮速度として、適切にモデル化することができる。
画像処理部１３は、グローバル動きベクトルＧＭＶを、（１１）式のようにモデル化する。これにより、画像処理部１３は、グローバル動きベクトルＧＭＶを、回転に係わる回転中心や画素のアスペクト比の問題を除去した上で、１方向の回転のみを含むアフィン変換式として、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを適切に分離してモデル化することができる。
以上の構成によれば、画像処理部１３は、グローバル動きベクトルＧＭＶがカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦからほぼ構成されると仮定して、未知の成分パラメータを用いて成分分離式にモデル化する。画像処理部１３は、成分パラメータを算出することにより、フォーカルプレーン歪み成分ＣＦを算出するようにした。
これにより、画像処理部１３は、簡易な成分分離式により、簡易な処理でフォーカルプレーン歪み成分ＣＦを算出することができる。
＜２．第２の実施の形態＞
図２２〜図２６に示す第２の実施の形態においては、図１〜図２１に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、図２２に示すように、画像処理部１３に対応する画像処理部１１３が台形歪み推定部１２８を有する点が第１の実施の形態と異なっている。また、第２の実施の形態では、動き検出処理、ＦＰ歪み補正量算出処理及び補正ベクトル生成処理の内容が第１の実施の形態と異なっている。
［２−１．動き検出処理］
動き検出部２２に対応する動き検出部１２２は、第１の実施の形態と同様にして、ローカル動きベクトルＬＭＶ及び当該ローカル動きベクトルＬＭＶの信頼度指標を生成する。
動き検出部１２２は、信頼度指標が採用閾値以上である場合には、グローバル動きベクトルＧＭＶの生成にローカル動きベクトルＬＭＶを使用する。一方、動き検出部１２２は、信頼度指標が採用閾値未満である場合には、グローバル動きベクトルＧＭＶの生成にローカル動きベクトルＬＭＶを使用しない。
これにより、動き検出部１２２は、信頼性の高いローカル動きベクトルＬＭＶのみを用いてグローバル動きベクトルＧＭＶを生成できるため、グローバル動きベクトルＧＭＶの精度を向上することができる。
動き検出部１２２は、全てのローカル動きベクトルＬＭＶの数（すなわちフレーム画像におけるブロック数）に対する使用したローカル動きベクトルＬＭＶの割合を信頼度情報とする。
フィルタリング処理部１２５は、信頼度情報がフィルタリング閾値以上であるか否かにより、第１の実施の形態と同様にしてカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦをフィルタリングするようになされている。
［２−２．ＦＰ歪み補正量算出処理］
ＦＰ歪み補正量算出部２６に対応するＦＰ歪み補正量算出部１２６は、ＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとする。ＦＰ歪み補正量算出部１２６は、図１６を用いて上述したＦＰ歪み累積値の発散を防止するため、フォーカルプレーン歪み成分ＣＦの信頼性を評価すると共に、並進速度が低い場合に、ＦＰ歪み累積値をリセットするようになされている。
上述したように、フォーカルプレーン歪み成分ＣＦと並進速度との間には、相関関係（法則）がある。ＦＰ歪み補正量算出部１２６は、供給されるカメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦを比較し、フォーカルプレーン歪み成分ＣＦと並進速度との間の法則が成立するか否かにより、フォーカルプレーン歪み成分ＣＦの信頼性を評価する。
ＦＰ歪み補正量算出部１２６は、ＦＰ歪み成分パラメータｅとモーション成分パラメータｖとの関係、及びＦＰ歪み成分パラメータｂとモーション成分パラメータｈとの関係が法則に合致するか否かをそれぞれ判別する。
ＦＰ歪み補正量算出部１２６は、例えば、各ＦＰ歪み成分パラメータ及びモーション成分パラメータの関係が法則に合致する範囲を表す関係情報を有している。ＦＰ歪み補正量算出部１２６は、法則を表す関係式やテーブルとして関係情報を予め記憶している。ＦＰ歪み補正量算出部１２６は、各ＦＰ歪み成分パラメータ及びモーション成分パラメータの関係が関係情報に当て嵌まるか否かにより、法則に合致するか否かを判別する。
ＦＰ歪み補正量算出部１２６は、ＦＰ歪み成分パラメータ及びモーション成分パラメータの関係が法則に合致しない場合には、ＦＰ歪み成分パラメータの信頼性が低いため、当該ＦＰ歪み成分パラメータの影響を低減する。
ＦＰ歪み補正量算出部１２６は、例えば、フォーカルプレーン歪み成分ＣＦに対し、１未満でなる係数を乗算することにより、法則に合致しないフォーカルプレーン歪み成分ＣＦのＦＰ歪み累積値に対する影響を低減する。また、ＦＰ歪み補正量算出部１２６は、例えば、フォーカルプレーン歪み成分ＣＦを単位行列にすることにより、法則に合致しないフォーカルプレーン歪み成分ＣＦのＦＰ歪み累積値に対する影響を完全に消滅させても良い。
これにより、ＦＰ歪み補正量算出部１２６は、信頼性の高いフォーカルプレーン歪み成分ＣＦを中心にＦＰ歪み累積値を算出できるため、ＦＰ歪み累積値における誤差を低減させ、当該ＦＰ歪み累積値が発散するのを防止し得るようになされている。
また、ＦＰ歪み補正量算出部１２６は、モーション成分パラメータｈ及びｖが所定のリセット閾値未満である場合には、フォーカルプレーン歪みが全く又は殆ど発生していないため、ＦＰ歪み累積値を「０」にリセットする。上述したように、フォーカルプレーン歪み成分ＣＦは、５フレーム程度で増減を繰り返し、その正負符号が逆転する。
ＦＰ歪み補正量算出部１２６は、モーション成分パラメータｈ及びｖの正負符号が変わるごとに、ほぼ定期的にＦＰ歪み累積値をリセットでき、当該ＦＰ歪み累積値が発散するのを防止し得るようになされている。
このように、ＦＰ歪み補正量算出部１２６は、信頼性の高いＦＰ歪み成分パラメータｅ及びｂのみを用いてＦＰ歪み累積値を算出できるため、当該ＦＰ歪み累積値における誤差を低減することができ、当該ＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとして使用できる。この結果、ＦＰ歪み補正量算出部１２６は、フレーム画像におけるフォーカルプレーン歪みの殆どを適切に補正させ得る。
また、ＦＰ歪み補正量算出部１２６は、並進速度がほぼ「０」になったことを検出し、ＦＰ歪み累積値をリセットする。これにより、ＦＰ歪み補正量算出部１２６は、ＦＰ歪み累積値の発散を適切に防止できるため、ＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとして使用できる。
次に、画像処理プログラムに従って実行されるＦＰ歪み補正量算出処理手順ＲＴ１０について、図２３のフローチャートを用いて説明する。
ＦＰ歪み補正量算出部１２６は、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦが供給されると、ＦＰ歪み補正量算出処理手順ＲＴ１０を開始し、ステップＳＰ１０１へ移る。
ステップＳＰ１０１において、ＦＰ歪み補正量算出部１２６は、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭの並進速度との関係が法則（相関関係）に則しているか否かについて判別する。
ここで否定結果が得られた場合、ＦＰ歪み補正量算出部１２６は、フォーカルプレーン歪み成分ＣＦが信頼できないため、次のステップＳＰ１０２へ移る。
ステップＳＰ１０２において、ＦＰ歪み補正量算出部１２６は、フォーカルプレーン歪み成分ＣＦの影響を低減又は消滅させると、次のステップＳＰ１０６へ移る。
これに対してステップＳＰ１０１において肯定結果が得られた場合、このことはフォーカルプレーン歪み成分ＣＦが信頼できることを表している。このときＦＰ歪み補正量算出部１２６は、次のステップＳＰ１０４へ移る。
ステップＳＰ１０４において、ＦＰ歪み補正量算出部１２６は、カメラモーション成分ＣＭにおける並進速度がリセット閾値未満であるか否かについて判別する。
ここで肯定結果が得られた場合、このことはフォーカルプレーン歪みが「０」又はほぼ「０」であることを表している。このときＦＰ歪み補正量算出部１２６は、次のステップＳＰ１０５へ移り、ＦＰ歪み累積値をリセットすると、終了ステップへ移ってＦＰ歪み補正量算出処理手順ＲＴ１０を終了する。
これに対してステップＳＰ１０４において否定結果が得られた場合、フォーカルプレーン歪みが発生しているため、次のステップＳＰ１０６へ移る。
ステップＳＰ１０６において、ＦＰ歪み補正量算出部１２６は、ＦＰ歪み累積値を算出すると、次のステップＳＰ１０７へ移る。このときＦＰ歪み補正量算出部１２６は、１つ前の処理フレーム画像において算出されたＦＰ歪み累積値に対し、フォーカルプレーン歪み成分ＣＦ又は影響の低減されたフォーカルプレーン歪み成分を加算する。
ステップＳＰ１０７において、ＦＰ歪み補正量算出部１２６は、ステップＳＰ１０６において算出されたＦＰ歪み累積値をＦＰ歪み補正量ＣＦｃとすると、終了ステップへ移ってＦＰ歪み補正量算出処理手順ＲＴ１０を終了する。
なお、ＦＰ歪み補正量算出部１２６は、並進速度ｈ及びｖのそれぞれに対して、ＦＰ歪み補正量算出処理を実行し、ＦＰ歪み成分パラメータｅ及びｂにそれぞれ対応するＦＰ歪み累積値をそれぞれＦＰ歪み補正量ＣＦｃとする。
［２−３．台形歪みの除去］
上述したように、カムコーダ１における手ぶれ補正機能により、ヨー方向及びピッチ方向における被写体とレンズユニット３との角度変化が抑制されている。しかしながら、カムコーダ１は、この角度変化を完全に相殺しているわけではなく、また垂直方向及び水平方向の手ぶれもレンズユニット３のヨー方向及びピッチ方向の駆動によって相殺している。
このため、フレーム画像データは、ヨー方向及びピッチ方向の角度変化を含有している。この角度変化は、フレーム画像において台形歪みとして表われてしまう。
そこで本実施の形態による画像処理部１１３は、グローバル動きベクトルＧＭＶにおける並進速度からヨー方向及びピッチ方向の角度変化を推定し、当該角度変化に基づいて台形歪み量Ａを算出する。画像処理部１１３は、処理フレーム画像に対して台形歪み量Ａを相殺することにより、フレーム画像データから台形歪みの影響を除去するようになされている。
［２−３−１．台形歪み推定処理］
（１１）式に示すように、成分分離式は、ヨー方向及びピッチ方向の成分を有していない。このためヨー方向及びピッチ方向の角度変化は、横方向及び縦方向の並進速度（すなわちモーション成分パラメータｈ及びｖ）として表われることになる。このため並進速度とヨー方向及びピッチ方向の角度変化とは、相関関係を有している。
そこで、画像処理部１１３の台形歪み推定部１２８は、モーション成分パラメータｈ及びｖに基づいて、ヨー方向及びピッチ方向の角度変化を推定し、当該角度変化に起因する台形歪み量を算出する台形歪み推定処理を実行する。
ここで、ヨー方向及びピッチ方向のみに起因する台形歪み量Ａは、角度パラメータω及びφ及び（２）式に示した射影変換式を用いることにより、（２４）式のようにモデル化することができる。この（２４）式において、（２）式におけるｃ１に該当する−ｃｏｓωｓｉｎφがヨー方向の角度変化を、Ｃ２に該当するｓｉｎφがピッチ方向の角度変化を表している。
Figure 0004915423
ここで、台形歪みは、手ぶれに応じてのみではなく、カメラワークに応じても生じる現象である。補正すべき台形歪みは、手ぶれのみに応じた台形歪み量Ａである。そこで、台形歪み推定部１２８は、手ぶれに起因して生じる並進速度（以下、これを手ぶれ並進速度と呼ぶ）から、手ぶれに応じた角度変化を推定する。
台形歪み推定部１２８は、横方向及び縦方向の並進速度のうち、手ぶれ並進速度ｈ−ｈｆ及びｖ−ｖｆを算出する。台形歪み推定部１２８は、手ぶれ並進速度ｈ−ｈｆ及びｖ−ｖｆに対し、指定係数ｍ及びｎ、並びに固定係数ｐ及びｑを乗算することにより、（２５）式に従って手ぶれに応じた角度変化ｙａｗ及びｐｉｔｃｈを推定する。
Figure 0004915423
なお、指定係数ｍ及びｎは、外部によって指定されるパラメータであり、台形歪み推定処理では、初期値として「１」が設定されている。固定係数ｐ及びｑは、手ぶれによる角度変化と手ぶれ並進速度との相関関係に基づいて統計的に、又は理論的に求められた係数である。
台形歪み推定部１２８は、（２５）式において得られた値を用いることにより、（２６）式に従って、角度パラメータω及びφを算出する。
Figure 0004915423
ただし、角度パラメータω及びφの値が誤っていると、フレーム画像が破綻する。このため、図２４に示すように、台形歪み推定部１２８は、角度パラメータω及びφの値が妥当な角度範囲内（−Ａｇ°〜＋Ａｇ°）であるか否かを判別する。
台形歪み推定部１２８は、角度パラメータω及びφの値が妥当な角度範囲内にある場合には、角度パラメータω及びφをそのまま使用する。一方、台形歪み推定部１２８は、角度パラメータω及びφの値が妥当な角度範囲内にない場合には、角度パラメータω及びφの値を「０」とみなすようにする。
台形歪み推定部１２８は、算出した角度パラメータω及びφの値を（２４）式に代入することにより、台形歪み量Ａを行列として算出する。台形歪み推定部１２８は、台形歪み量Ａを補正ベクトル生成部１２９へ供給する。
このように、台形歪み推定部１２８は、モーション成分パラメータｈ及びｖに基づいて台形歪み量Ａを推定するようになされている。
次に、画像処理プログラムに従って実行される台形歪み推定処理手順ＲＴ１１について、図２４のフローチャートを用いて説明する。
台形歪み推定部１２８は、モーション成分パラメータｖ及びｈが供給されると、台形歪み推定処理手順ＲＴ１１を開始し、ステップＳＰ１１１へ移る。
ステップＳＰ１１１において、台形歪み推定部１２８は、台形歪み量Ａを（２４）式のように射影変換によってモデル化すると、次のステップＳＰ１１２へ移る。
ステップＳＰ１１２において、台形歪み推定部１２８は、角度パラメータω及びφを算出すると、次のステップＳＰ１１３へ移る。
ステップＳＰ１１３において、台形歪み推定部１２８は、角度パラメータω及びφが妥当な角度範囲内であるか否かを判別する。ここで肯定結果が得られると、台形歪み推定部１２８は、次のステップＳＰ１１４へ移る。
これに対してステップＳＰ１１３において否定結果が得られると、角度パラメータω及びφが誤っている可能性が高いため、台形歪み推定部１２８は、次のステップＳＰ１１５へ移る。
ステップＳＰ１１５において、台形歪み推定部１２８は、角度パラメータω及びφの値を「０」に置き換え、次のステップＳＰ１１４へ移る。
ステップＳＰ１１４において、台形歪み推定部１２８は、（２４）式に角度パラメータω及びφの値を代入すると、終了ステップへ移って台形歪み推定処理手順ＲＴ１１を終了する。
［２−３−２．補正ベクトル生成処理］
上述したように、第１の実施の形態において、補正ベクトル生成部２９は、（１１）式によって表される成分分離式に基づいて、補正ベクトルＶｃを生成した。これに対して、本実施の形態における補正ベクトル生成部１２９は、（２７）式に示すように、台形歪み量Ａを含む成分分離式に基づいて、補正ベクトルＶｃを生成する。
Figure 0004915423
すなわち、（１７）式〜（２３）式と同様にして、（２７）式を表し、変形すると、補正ベクトルＶｃを、（２８）式のように表すことができる。なおＡ−１は、台形歪み量Ａの逆行列を表している。
Figure 0004915423
補正ベクトル生成部１２９には、モーション成分パラメータθ、ｓ、ｈ及びｖ、カメラワーク成分パラメータθｆ、ｓｆ、ｈｆ及びｖｆ、ＦＰ歪み成分パラメータｅｃ及びｂｃ、並びに台形歪み量Ａが供給される。補正ベクトル生成部１２９は、（２０）式及び（２８）式に従って、補正ベクトルＶｃを算出するようになされている。
このように、補正ベクトル生成部１２９は、台形歪み量Ａを用いることにより、フレーム画像における手ぶれ及びフォーカルプレーン歪みに加えて、台形歪みをも補正し得る補正ベクトルＶｃを生成する。
この結果、動き補償部３０では、グローバル動きベクトルＧＭＶに対して補正ベクトルＶｃを乗算することにより、フレーム画像における手ぶれ及びフォーカルプレーン歪みに加えて、台形歪みをも補正し得るようになされている。
言い換えると、画像処理部１１３は、ロール方向だけでなく、ヨー方向及びピッチ方向についての角度変化に起因する台形歪みを補正することができる。このため画像処理部１１３は、アフィン変換を用いた画像処理を実行しているにも拘らず、（２７）式に示したように、あたかも射影変換を用いて画像処理を実行したような効果を奏することができる。
［２−４．台形歪みの追加修正］
ところで、台形歪み量Ａは、ヨー方向及びピッチ方向の角度変化だけでなく、被写体とカムコーダ１との距離に応じても変化する値である。
従って、図２６（Ａ）に示すように、フレーム画像ＦＭ内にカムコーダ１との距離が相違する複数の被写体ＳＢ１〜ＳＢ３が存在した場合、当該被写体ＳＢ１〜ＳＢ３に対し、台形歪み量Ａがそれぞれ相違することになる。
そこで画像処理部１１３では、台形歪みを補正したフレーム画像ＦＭをモニタ部１１（図１）に表示し、ユーザの要望に応じて台形歪みを追加修正するようになされている。
画像処理部１１３は、操作部１２（図１）を介してユーザから台形歪みの追加修正処理を実行する旨の要求がなされると、図２６（Ｂ）に示すように、モニタ部１１に追加修正画面１５１を表示させる。
追加修正画面１５１には、左上にフレーム画像データに対応するフレーム画像ＦＭが表示されると共に、当該フレーム画像データを巻戻再生、早送再生及び通常再生させるための巻戻しボタン１５２、早送りボタン１５３、再生ボタン１５４が表示されている。
例えば操作部１２としてのマウスの移動により、カーソルＣＳを再生ボタン１５４上に重ね、再生ボタン１５４をフォーカスオンさせた状態で、ユーザの操作によって当該マウスがクリックされることにより、再生ボタン１５４が選択される。他のボタンについても、同様の操作により選択される。このとき画像処理部１１３は、フレーム画像データを再生することにより、フレーム画像ＦＭをモニタ部１１に順次表示させる。
フレーム画像ＦＭの下部には、台形歪み縮小ボタン１５６、台形歪み拡大ボタン１５７及び台形歪みインディケータ１５８が表示されている。画像処理部１１３は、台形歪み縮小ボタン１５６が選択されると、台形歪み量Ａを小さく設定する。
すなわち画像処理部１１３は、台形歪み縮小ボタン１５６が選択されると、台形歪み量Ａを小さく設定する旨の要求信号を台形歪み推定部１２８に供給する。台形歪み推定部１２８は、（２５）式における指定係数ｍ及びｎの値に対し、例えば「０．８」を乗算することにより、指定係数ｍ及びｎの値を小さく設定した状態で、台形歪み量Ａを計算する。この結果、補正ベクトル生成部１２９には、手ぶれ並進速度に対して相対的に小さい値でなる台形歪み量Ａが供給される。
補正ベクトル生成部１２９は、相対的に小さい値でなる台形歪み量Ａだけ台形歪みを補正するよう補正ベクトルＶｃを生成し、これを動き補償部３０に供給する。動き補償部３０は、補正ベクトルＶｃに基づいてフレーム画像データの動き補償処理を実行することにより、手ぶれ並進速度に対して相対的に小さい値で台形歪みを補正し、補正されたフレーム画像データをモニタ部１１に表示させる。
また、画像処理部１１３は、台形歪み拡大ボタン１５７が選択されると、同様にして、台形歪み量Ａを大きく設定する。この場合、台形歪み推定部１２８は、（２５）式における指定係数ｍ及びｎの値に対し、例えば「１．２」を乗算する。
すなわち、画像処理部１１３は、台形歪み量Ａをユーザに自由に設定させ得るようになされている。これにより、画像処理部１１３は、ユーザの選択に応じて、例えば被写体ＳＢ１〜ＳＢ３のいずれかの被写体ＳＢに生じる台形歪みにフォーカスして当該台形歪みを相殺したり、フレーム画像ＦＭの全体的な台形歪みを平均的に相殺することができる。言い換えると、画像処理部１１３は、台形歪みの補正の程度をユーザに自由に選択させ得るようになされている。
台形歪みインディケータ１５８には、台形歪み量Ａが初期値からどの程度拡大又は縮小されたかが棒グラフとして表示される。これにより、画像処理部１１３は、ユーザに現在の台形歪みの追加修正量を視認させ得る。
また、画像処理部１１３は、追加修正画面１５１の右下に台形歪み指定欄１５９を表示させる。画像処理部１１３は、当該台形歪み指定欄１５９にカーソルＣＳを重ねた状態で、操作部１２を介してユーザに数字を入力させることにより、指定係数ｍ及びｎの値をユーザに指定させ得るようになされている。
このように、画像処理部１１３は、被写体とカムコーダ１との距離に応じて変化するため確実な推定が困難な台形歪み量Ａをユーザに自由に選択させ得る。これにより、画像処理部１１３は、フレーム画像ＦＭにおける台形歪みを適切に調整してユーザの好みに応じたフレーム画像データを生成し得るようになされている。
次に、画像処理プログラムに従って実行される台形歪み追加修正処理手順ＲＴ１２について、図２７のフローチャートを用いて説明する。
操作部１２を介したユーザの操作入力に応じて、ユーザから台形歪みの追加修正処理を実行する旨の要求がなされると、画像処理部１１３は、台形歪み追加修正処理手順ＲＴ１２を開始し、ステップＳＰ１２１へ移る。
ステップＳＰ１２１において、画像処理部１１３は、追加修正画面１５１をモニタ部１１に表示させると、次のステップＳＰ１２２へ移る。
ステップＳＰ１２２において、画像処理部１１３は、ユーザの操作入力に応じて指定係数ｍ及びｎを変更すると、次のステップＳＰ１２３へ移る。
ステップＳＰ１２３において、画像処理部１１３は、現在、フレーム画像データを再生しているか、又はユーザからの再生指示がなされたか否かを判別し、否定結果が得られると、ステップＳＰ１２３においてユーザからの再生指示を待ち受ける。
これに対してステップＳＰ１２３において肯定結果が得られると、画像処理部１１３は、次のステップＳＰ１２４へ移り、台形歪み補正量算出処理手順ＲＴ１１（図２５）に従って台形歪み補正量算出処理を実行し、次のステップＳＰ１２５へ移る。
ステップＳＰ１２５において、画像処理部１１３は、補正ベクトル生成処理手順ＲＴ１０に従って補正ベクトル生成処理を実行し、次のステップＳＰ１２６へ移る。
ステップＳＰ１２６において、画像処理部１１３は、動き補償処理を実行する。この結果、モニタ部１１には、台形歪み量Ａが修正されたフレーム画像ＦＭが表示される。画像処理部１１３は、終了ステップへ移って台形歪み追加修正処理手順ＲＴ１２を終了する。
［２−５．動作及び効果］
以上の構成において、画像処理部１１３は、図２８に示すように、フレーム画像からなるフレーム画像データから、フレーム画像全体の動きを表すグローバル動きベクトルＧＭＶを並進速度として検出する（ステップＳＰ１３１）。画像処理部１１３は、グローバル動きベクトルＧＭＶの並進速度から、手ぶれに応じた手ぶれ並進速度を算出する（ステップＳＰ１３２）。画像処理部１１３は、並進速度及び角度変化の相関関係を利用して、検出されたグローバル動きベクトルＧＭＶから角度変化を推定する（ステップＳＰ１３３）。
これにより、画像処理部１１３は、ハード的なセンサを用いて角度変化を検出することができないポスト処理において、簡易な処理により、角度変化を算出することができる。
画像処理部１１３は、推定された角度変化に基づく射影変換式（（２４）式）により、角度変化に伴ってフレーム画像に発生する台形歪みの量である台形歪み量を算出する。これにより、画像処理部１１３は、簡易な処理で台形歪み量を算出することができる。
画像処理部１１３は、グローバル動きベクトルＧＭＶにおいて、カメラモーション成分ＣＭからユーザの意図した動きを除いたぶれである手ぶれに応じた並進速度である手ぶれ並進速度から、手ぶれに応じた角度変化を推定し、手ぶれに応じた台形歪み量Ａを算出する。
これにより、画像処理部１１３は、台形歪みのうち、手ぶれに応じて発生し、補正することが好ましい台形歪み量Ａを算出することができる。
画像処理部１１３は、算出された手ぶれに応じた台形歪み量Ａに基づいて、グローバル動きベクトルＧＭＶを補正する。これにより、画像処理部１１３は、フレーム画像が有する手ぶれに応じた台形歪みを低減できるため、フレーム画像データの品質を向上させ得る。
画像処理部１１３は、グローバル動きベクトルＧＭＶを、並進速度、拡縮速度及び１方向の角度変化からなるアフィン変換式として検出し、当該１方向とは異なる２方向の角度変化を推定する。
すなわち、画像処理部１１３は、グローバル動きベクトルＧＭＶを１方向の回転しか表さないアフィン変換式として処理して処理負荷を軽減すると共に、アフィン変換式でなし得ないヨー方向及びピッチ方向に起因する台形歪み補正を後付的に実行する。この結果、画像処理部１１３は、ロール方向、ヨー方向及びピッチ方向の３方向に対して台形歪みを補正することができる。このため、画像処理部１１３は、アフィン変換式としてグローバル動きベクトルＧＭＶを処理しつつ、（２７）式に示したような射影変換式を用いてグローバル動きベクトルＧＭＶをモデル化した場合と同様の効果を奏することができる。
画像処理部１１３は、ヨー方向及びピッチ方向の角度変化を推定する。これにより、画像処理部１１３は、並進速度ｈ及びｖを用いて当該並進速度ｈ及びｖと相関関係のあるヨー方向及びピッチ方向の角度変化ｙａｗ及びｐｉｔｃｈを推定することができる。
画像処理部１１３は、カメラモーション成分ＣＭを、少なくとも並進要素ＥＭａ及び拡縮要素ＥＭｃとして表し、フォーカルプレーン歪み成分ＣＦの累積値をフォーカルプレーン歪み補正量ＣＦｃとする。画像処理部１１３は、並進要素ＥＭａの絶対値がリセット閾値未満である場合に、フォーカルプレーン歪み成分ＣＦの累積値であるＦＰ歪み累積値をリセットする。
これにより、画像処理部１１３は、フォーカルプレーン歪み成分ＣＦの累積値を用いることができるため、フレーム画像におけるフォーカルプレーン歪みＣＦの大部分を適切に補正しつつ、ＦＰ歪み累積値のリセットにより、当該ＦＰ歪み累積値の発散を防止し得る。
画像処理部１１３は、カメラモーション成分ＣＭを、少なくとも並進要素ＥＭａ及び拡縮要素ＥＭｃとして表し、ＦＰ歪み累積値をフォーカルプレーン歪み補正量ＣＦｃとする。画像処理部１１３は、フォーカルプレーン歪み成分ＣＦのうち、並進要素ＥＭａとの相関関係が低いフォーカルプレーン歪み成分ＣＦの影響を低減又は消滅させる。
これにより、画像処理部１１３は、信頼性の高いフォーカルプレーン歪み成分ＣＦを中心にフォーカルプレーン歪み補正量ＣＦｃを生成できるため、当該フォーカルプレーン歪み補正量ＣＦｃの精度を向上させることができる。
以上の構成によれば、画像処理部１１３は、グローバル動きベクトルＧＭＶを並進速度として表し、当該並進速度から角度変化を推定する。これにより、画像処理部１１３は、グローバル動きベクトルＧＭＶを取り扱う処理を簡易にすると共に、推定した角度変化に基づいて、角度変化に伴う各種補正処理を実行することができる。
＜３．第３の実施の形態＞
第３の実施の形態においては、図２２〜図２８に示した第２の実施の形態と対応する箇所に同一符号を附し、同一部分についての説明を省略する。第２の実施の形態では、補正ベクトル生成部１２９は、台形歪み量Ａが算出された後、各成分パラメータの値を変更することなく補正ベクトルＶｃを生成した。第３の実施の形態では、台形歪み量Ａに基づいて、各成分パラメータの値を再計算する点が第２の実施の形態と異なっている。
［３−１．手ぶれ量の再計算］
上述したように、第１の実施の形態では、カムコーダ１におけるレンズユニット３がヨー方向及びピッチ方向に駆動することにより手ぶれ補正を実行していた。このため、画像処理部１３に供給されるフレーム画像データは、ヨー方向及びピッチ方向の角度変化が抑制されていた。
本実施の形態におけるフレーム画像データは、カムコーダ１Ｘ（図示しない）におけるレンズユニット３Ｘが、垂直方向及び水平方向にスライド駆動することにより手ぶれ補正を実行している。従って、画像処理部１３に対応する画像処理部２１３に供給されるフレーム画像データは、ヨー方向及びピッチ方向の角度変化が抑制されておらず、ヨー方向及びピッチ方向の影響がグローバル動きベクトルＧＭＶに大きく表われている。従って、手ぶれ量Ｍｓを計算するに当たっては、フォーカルプレーン歪みと同様に、台形歪みの影響を最小限に抑制することが好ましい。
そこで本実施の形態における画像処理部２１３は、台形歪み量Ａを算出後に、手ぶれ量Ｍｓを再計算するようになされている。
画像処理部２１３の台形歪み推定部２２８は、（２４）〜（２６）式に従って台形歪み量Ａを算出すると、（２７）式に（２４）式を代入する。ここで、ヨー方向及びピッチ方向の角度変化によって影響を受ける値は、主にモーション成分パラメータｈ及びｖである。従って、台形歪み推定部２２８は、成分パラメータθ、ｅｃ、ｂｃの値をそのまま用いる一方、モーション成分パラメータｈ及びｖを未知のパラメータとし、モーション成分パラメータｈ及びｖを再計算する。以下、再計算されたモーション成分パラメータを再計算パラメータｈｋ及びｖｋと呼ぶ。
台形歪み推定部２２８は、再計算パラメータｈｋ及びｖｋに対してＬＰＦ処理を施し、カメラワーク量Ｍｃを算出し、台形歪み量Ａと共に補正ベクトル生成部１２９へ供給する。
補正ベクトル生成部１２９は、モーション成分パラメータｈ及びｖの代りに再計算パラメータｈｋ及びｖｋを用いること以外は第２の実施の形態と同様にして、式（２０）及び式（２８）に従って、補正ベクトルＶｃを生成するようになされている。
これにより、画像処理部２１３は、台形歪みが低減された再計算パラメータｈｋ及びｖｋを用いて補正ベクトルＶｃを生成できるため、手ぶれ量Ｍｓにおける台形歪みの影響を低減させ、高精度に手ぶれを補正し得るようになされている。
なお、画像処理部２１３は、台形歪み追加修正処理において台形歪み量Ａが変更された場合、同様にして再計算パラメータｈｋ及びｖｋをさらに計算し直しても良く、最初に算出された再計算パラメータｈｋ及びｖｋをそのまま用いても良い。また、ユーザによっていずれの再計算パラメータｈｋ及びｖｋを用いるかを選択させることも可能である。
このように、画像処理部２１３は、縦方向及び横方向の手ぶれ並進速度とヨー方向及びピッチ方向の角度変化との相関関係を用いて台形歪み量Ａを算出する。画像処理部２１３は、当該相関関係に基づいて手ぶれ並進速度から再計算パラメータｈｋ及びｖｋを算出することにより、手ぶれ並進速度における台形歪みの影響を低減させ、高精度に手ぶれを補正し得るようになされている。
［３−２．動作及び効果］
以上の構成において、画像処理部２１３は、並進速度及び角度変化の相関関係を利用して、手ぶれに応じた並進速度ｈ−ｈｆ及びｖ−ｖｆから手ぶれに応じた角度変化を相殺する。これにより、画像処理部２１３は、手ぶれ並進速度から手ぶれに起因する角度変化を低減することができるため、手ぶれ量Ｍｓの算出精度を向上させることができる。
以上の構成によれば、画像処理部２１３は、並進速度及び角度変化の相関関係を利用して、並進速度に表われる角度変化分を除去する。これにより、画像処理部２１３は、手ぶれ量Ｍｓから台形歪み量Ａとして補正対象となった角度変化分を除去することができるため、手ぶれ量Ｍｓの算出精度を向上させ得る。
＜４．第４の実施の形態＞
［４−１．画像処理部の構成］
第４の実施の形態においては、図１〜図２６に示す第１〜３の実施の形態と対応する箇所に同一符号を附し、同一部分についての説明を省略する。本実施の形態による画像処理部３１３は、供給されるフレーム画像データが撮像されたカムコーダの機種に応じて、画像処理の内容を変更するようになされている。
例えば画像処理部３１３は、カムコーダ（図示しない）が接続されると、当該カムコーダに対し、当該カムコーダの機種名を表す機種情報を取得する。画像処理部３１３は、インターネットなどのネットワーク（図示しない）を介して当該カムコーダの機種名に対応する技術情報を取得する。この技術情報には、カムコーダの撮像素子の種類、手ぶれ補正方式及び固定係数情報が含まれている。
画像処理部３１３は、カムコーダの撮像素子がＣＣＤ（Charge Coupled Device）などのグローバルシャッタ方式であった場合、（１１）式におけるフォーカルプレーン歪み成分ＣＦを単位行列に置き換える。これにより、画像処理部３１３は、フォーカルプレーン歪みが明らかに生じない場合には、フォーカルプレーン歪みを補正しないようにでき、当該補正の際に生じる誤差によってフレーム画像が乱れることを未然に防止し得るようになされている。なお、画像処理部３１３は、フィルタリング処理部２５によってフォーカルプレーン歪み成分ＣＦを破棄したり、又は補正ベクトル生成部２９によってフォーカルプレーン歪み成分ＣＦを単位行列に置き換えるようにしても良い。
そして画像処理部３１３は、例えば第２の実施の形態に従って手ぶれ及び台形歪みの補正を実行する。このとき、画像処理部３１３は、固定係数情報が表す値を固定係数として使用する。これにより、画像処理部３１３は、カムコーダの特性に合致した固定係数を使用できるため、台形歪みを推定する精度を向上させることができる。
画像処理部３１３は、手ぶれ補正方式が第１及び第２の実施の形態と同様のレンズ回転駆動方式であった場合には、第２の実施の形態に従って手ぶれ、フォーカルプレーン歪み及び台形歪みの補正を実行する。このとき画像処理部３１３は、同様にして、固定係数情報が表す値を固定係数として使用する。
画像処理部３１３は、手ぶれ補正方式が第３の実施の形態と同様のレンズスライド駆動方式であった場合には、第３の実施の形態に従って手ぶれ、フォーカルプレーン歪み及び台形歪みの補正を実行する。このとき画像処理部３１３は、同様にして、固定係数情報が表す値を固定係数として使用する。
このように、画像処理部３１３は、カムコーダの機種に応じ、適切な画像処理を選択して実行することにより、手ぶれ、フォーカルプレーン歪み及び台形歪みなどの補正の精度を向上し得るようになされている。
［４−２．動作及び効果］
以上の構成において、画像処理部３１３は、フレーム画像データが撮像された撮像装置であるカムコーダに応じて、固定係数ｐ又はｑ若しくは固定係数ｐ及びｑの値を設定する。
これにより、画像処理部３１３は、カムコーダの特性に応じた適切な固定係数を用いることができるため、角度変化の推定の精度を向上させ得る。この結果、台形歪み量Ａの算出精度を向上させることができる。
画像処理部３１３は、カムコーダの手ぶれ補正の方式に応じて、画像処理を変更する。すなわち、画像処理部３１３は、手ぶれ補正方式がレンズ回転駆動方式である場合には、第２の実施の形態の画像処理を実行し、手ぶれ補正方式がレンズスライド駆動方式である場合には、第３の実施の形態の画像処理を実行する。
これにより、画像処理部３１３は、カムコーダの手ぶれ方式に応じた画像処理を適切に実行することができる。
画像処理部３１３は、フレーム画像データが、グローバルシャッタ方式で撮像されたものである場合には、フォーカルプレーン歪み成分を単位行列に置き換えるようにした。
これにより、画像処理部３１３は、フレーム画像データが、グローバルシャッタ方式で撮像された場合であっても、同様の処理を実行することにより、適切な画像処理を実行し得る。
以上の構成によれば、画像処理部３１３は、フレーム画像データが撮像されたカムコーダに応じて角度変化の推定量を変化させることにより、カムコーダの特性に応じて適切な角度変化を推定することができる。
＜５．他の実施の形態＞
なお上述した第１〜第４の実施の形態においては、フォーカルプレーン歪み成分ＣＦを用いてフォーカルプレーン歪みを補正するようにした場合について述べた。本発明はこれに限らず、フォーカルプレーン歪み成分ＣＦの使用方法に制限はない。例えばフォーカルプレーン歪み成分ＣＦから手ぶれ量を算出するようにしても良い。この場合であっても、手ぶれ量の補正により、フレーム画像データの品質を向上することができる。
また上述した第１〜第４の実施の形態においては、フォーカルプレーン歪み成分ＣＦをＦＰ歪み平行四辺形要素ＥＦｂ及びＦＰ歪み縦方向拡縮要素ＥＦａにモデル化するようにした場合について述べた。本発明はこれに限らず、例えば、カムコーダの特性により一方のみが発生しやすいような場合に、一方のみにモデル化するようにしても良い。
さらに上述した第１〜第４の実施の形態においては、フォーカルプレーン歪み成分ＣＦに基づく補正ベクトルＶｃにより、フレーム画像を補正するようにした場合について述べた。本発明はこれに限らず、補正係数を用いるなど、種々の方法でフレーム画像を補正するようにしても良い。
さらに上述した第１〜第４の実施の形態においては、（１１）式に従って、カメラモーション成分ＣＭ及びフォーカルプレーン歪み成分ＣＦの両方を算出するようにした場合について述べた。本発明はこれに限らず、少なくともフォーカルプレーン歪み成分ＣＦを算出すればよい。
さらに上述した第１の実施の形態においては、並進速度に基づいてフォーカルプレーン歪みの小さいフレーム画像を選択するようにした場合について述べた。本発明はこれに限らず、例えばフォーカルプレーン歪みの累積値に基づいてフォーカルプレーン歪みの小さいフレーム画像を選択するようにしても良い。
さらに上述した第２の実施の形態においては、ＦＰ歪み累積値のリセットと、法則に沿わないフォーカルプレーン歪み成分ＣＦの影響の低減又は消滅の両方を実行するようにした場合について述べた。本発明はこれに限らず、いずれか一方のみを実行するようにしても良い。また、本発明は、ＦＰ歪み成分パラメータと並進速度との相関関係の大小に応じて、当該ＦＰ歪み成分パラメータの値を適宜調整することも可能である。
さらに上述した第１〜第４の実施の形態においては、カメラモーション成分ＣＭを並進要素ＥＭａ、回転要素ＥＭｂ及び拡縮要素ＥＭｃにモデル化するようにした場合について述べた。本発明はこれに限らず、例えば並進要素ＥＭａ及び拡縮要素ＥＭｃにモデル化するようにしても良い。
さらに上述した第１〜第４の実施の形態においては、成分分離式を行列式で表すようにした場合について述べた。本発明はこれに限らず、一般的な方程式で表すようにしても良い。
さらに上述の実施の形態においては、回転要素ＥＭｂの前に原点補正行列ＭＣ１を乗算し、回転要素ＥＭｂの後に原点補正逆行列ＭＣ２を乗算するようにした場合について述べた。本発明はこれに限らず、この処理は必ずしも必要でない。例えば初めから原点が中心又は中心近傍に位置する場合には、この処理を省略できる。
さらに上述の実施の形態においては、回転要素ＥＭｂの前にピクセル比補正行列ＭＰ１を乗算し、回転要素ＥＭｂの後にピクセル比補正逆行列ＭＰ２を乗算するようにした場合について述べた。本発明はこれに限らず、この処理は必ずしも必要でない。例えば初めからピクセル比が１：１又は１：１近傍である場合には、この処理を省略できる。
さらに上述した第４の実施の形態においては、フレーム画像がグローバルシャッタ方式である場合には、フォーカルプレーン歪み成分を単位行列に置き換えるようにした場合について述べた。本発明はこれに限らず、台形歪み量Ａのみを補正する画像処理を実行するようにしても良い。
さらに上述した第１〜第４実施の形態においては、フィルタリング処理部２５が信頼度情報に基づいてフォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭをふるい分けするようにした場合について述べた。本発明はこれに限らず、フィルタリング処理は必ずしも必要ではない。また、フォーカルプレーン歪み成分ＣＦ及びカメラモーション成分ＣＭのいずれか一方に対してのみ実行しても良い。また、動き検出部２２は、信頼度指標の合計値を信頼度情報としても良い。
さらに上述した第２の実施の形態においては、追加修正画面１５１において、指定係数ｍ及びｎをユーザに変更させるようにした場合について述べた。本発明はこれに限らず、指定係数ｍ及びｎに対応して台形歪み縮小ボタン１５６及び台形歪み拡大ボタン１５７ボタンを２つずつ設け、選択係数ｍ又はｎを選択して変更させるようにしても良い。
さらに上述した第４の実施の形態においては、フレーム画像データの供給時に機種情報を取得するようにした場合について述べた。本発明はこれに限らず、カムコーダの機種名をユーザに指定させたり、固定係数をユーザによって指定させたりするようにしても良い。
さらに上述した第１〜第４の実施の形態においては、カムコーダから供給されるフレーム画像データが、既に手ぶれ補正されているようにした場合について述べた。本発明はこれに限らず、フレーム画像データにおける手ぶれ補正の有無について、特に制限はない。
さらに上述した第１〜第４の実施の形態においては、情報処理装置である画像処理端末１０が本発明の画像処理を実行するようにした場合について述べた。本発明はこれに限らず、撮像機能を有する撮像装置が本発明の画像処理を実行するようにしても良い。これにより、画像処理装置から、ハード的なセンサを省略することができる。また、ハード的なセンサと本発明の画像処理を組み合わせても良い。例えばジャイロセンサに応じてヨー方向とピッチ方向の角度変化のみを物理的に補正しながら、第１の実施の形態を実行することができる。
さらに、上述した第１〜第４の実施の形態においては、画像処理プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べたが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、画像処理プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。
さらに上述した第１〜第４の実施の形態においては、被写体を動画像データとして撮像するカメラとして、カムコーダを用いるようにした場合について述べた。本発明はこれに限らず、例えば携帯電話機の内蔵カメラやデジタルスチルカメラの動画機能などをカメラとして用いるようにしても良い。
さらに上述した第１の実施の形態においては、動き検出部としての動き検出部２２と、モデル化部及び成分算出部としての成分分離処理部２３とによって画像処理装置としての画像処理部１３を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による動き検出部と、モデル化部と、成分算出部とによって本発明の画像処理装置を構成するようにしても良い。
本発明は、例えば撮像されたフレーム画像データが編集されるパーソナルコンピュータやハードディスクレコーダなどの画像編集装置に利用することができる。
１……カムコーダ、１１……モニタ部、１２……操作部、１３……画像処理部、２２……動き検出部、２３……成分分離処理部、２５……フィルタリング処理部、２６……ＦＰ歪み補正量算出部、２７……カメラワーク量算出部、２９……補正ベクトル生成部、３０……動き補償部、ＦＭ……フレーム画像、ＬＭＶ……ローカル動きベクトル、ＧＭＶ……グローバル動きベクトル、ＳＢ……被写体、ＣＦ……フォーカルプレーン歪み成分ＣＦ……カメラモーション成分、ＥＦａ……ＦＰ歪み縦方向拡縮要素、ＥＦｂ……ＦＰ歪み平行四辺形要素、ＥＭａ……並進要素、ＥＭｂ……回転要素、ＥＭｃ……拡縮要素、ＭＣ１……原点補正行列、ＭＣ２……原点補正逆行列、ＭＰ１……ピクセル比補正行列、ＭＰ２……ピクセル比補正逆行列。

Claims (20)

  1. フレーム画像からなるフレーム画像データから、所定数の画素でなるブロック単位の動きを表すローカル動きベクトルを算出し、さらに当該ローカル動きベクトルの信頼度指標を用いて当該ローカル動きベクトルを重み付けすることにより、複数の成分パラメータを用いて表される、上記フレーム画像の全体的な動きを表すグローバル動きベクトルを算出する動きベクトル検出部と、
    カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記グローバル動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化部と、
    上記動きベクトル検出部により算出されたグローバル動きベクトルの複数の成分パラメータを、上記成分分離式に代入して、当該成分分離式において用いられた、上記カメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを算出することにより、上記グローバル動きベクトルにおけるフォーカルプレーン歪み成分を算出する成分算出部と
    を有する画像処理装置。
  2. 上記モデル化部は、
    上記成分分離式を行列式として表す
    請求項１に記載の画像処理装置。
  3. 上記モデル化部は、
    上記カメラモーション成分を、上記フレーム画像に対する縦方向及び横方向への並進速度を表す並進要素、拡縮方向への拡縮速度を表す拡縮要素及びロール方向への角度変化を表す回転要素として表す
    請求項２に記載の画像処理装置。
  4. 上記モデル化部は、
    上記回転要素の前に、原点を中心に移動させる原点補正行列及び画素のアスペクト比を１：１に変更するアスペクト比補正行列を乗算し、上記回転要素の後に上記原点を上記中心に移動させる前の位置に戻す原点補正逆行列及び上記画素を元のアスペクト比に戻すアスペクト比補正逆行列を乗算する
    請求項３に記載の画像処理装置。
  5. 上記モデル化部は、
    上記成分パラメータをｅ及びｂとするとき、上記フォーカルプレーン歪み成分を次式のようにモデル化する
    Figure 0004915423
     請求項２に記載の画像処理装置。
  6. 上記モデル化部は、
    上記成分パラメータをθ、ｈ、ｖ及びｓとするとき、上記カメラモーション成分を、次式のようにモデル化する
    Figure 0004915423
     請求項５に記載の画像処理装置。
  7. 上記モデル化部は、
    上記グローバル動きベクトルを、次式のようにモデル化する
    Figure 0004915423
     請求項６に記載の画像処理装置。
  8. 上記成分算出部によって算出された上記フォーカルプレーン歪み成分に基づいて、上記フレーム画像が有するフォーカルプレーン歪みを補正する補正部と
    をさらに有する請求項１に記載の画像処理装置。
  9. 上記モデル化部は、
    上記フォーカルプレーン歪み成分を、ＦＰ歪み平行四辺形要素及びＦＰ歪み縦方向拡縮要素として表す
    請求項８に記載の画像処理装置。
  10. 上記補正部は、
    上記成分算出部によって算出された上記フォーカルプレーン歪み成分に基づいて、上記フレーム画像に対する上記フォーカルプレーン歪みについての補正量を表すフォーカルプレーン歪み補正量を算出する補正量算出部と、
    上記補正量算出部によって算出されたフォーカルプレーン歪み補正量に基づいて、上記グローバル動きベクトルにおける上記フォーカルプレーン歪みを補正する補正ベクトルを生成する補正ベクトル生成部と、
    上記フレーム画像のうち、処理対象となる処理フレーム画像に対し、上記補正ベクトル生成部によって生成された上記補正ベクトルを適用する動き補償部と
    を有する請求項９に記載の画像処理装置。
  11. 上記補正量算出部は、
    上記フレーム画像のうち、上記処理フレーム画像と、当該処理フレーム画像より直前及び直後のフレーム画像との中から、上記フォーカルプレーン歪みが最も少ないフレーム画像を選択し、上記フォーカルプレーン歪みが上記選択されたフレーム画像と同レベルになるよう上記フォーカルプレーン歪み補正量を算出する
    請求項１０に記載の画像処理装置。
  12. 上記モデル化部は、
    上記カメラモーション成分を、少なくとも並進要素及び拡縮要素として表し、
    上記補正量算出部は、
    上記フォーカルプレーン歪み成分と相関関係を有する上記並進要素に基づいて、上記フォーカルプレーン歪みが最も少ないフレーム画像を選択する
    請求項１１に記載の画像処理装置。
  13. 上記モデル化部は、
    上記並進要素を、縦方向及び横方向の並進速度として表し、
    上記補正量算出部は、
    上記縦方向の並進速度が最も小さいカメラモーション成分を選択し、選択した当該カメラモーション成分に応じて、上記ＦＰ歪み縦方向拡縮要素に対応する上記フォーカルプレーン歪み補正量を算出し、
    上記横方向の並進速度が最も小さいカメラモーション成分を選択し、選択した当該カメラモーション成分に応じて、上記ＦＰ歪み平行四辺形要素に対応する上記フォーカルプレーン歪み補正量を算出する
    請求項１２に記載の画像処理装置。
  14. 上記補正量算出部は、
    上記フレーム画像が、グローバルシャッタ方式で撮像されたものである場合には、上記フォーカルプレーン歪み成分を単位行列に置き換える
    請求項１３に記載の画像処理装置。
  15. 上記モデル化部は、
    上記カメラモーション成分を、少なくとも並進要素及び拡縮要素として表し、
    上記補正量算出部は、
    上記フォーカルプレーン歪み成分の累積値を上記フォーカルプレーン歪み補正量とすると共に、上記並進要素の絶対値がリセット閾値未満である場合に、上記フォーカルプレーン歪み成分の累積値をリセットする
    請求項１４に記載の画像処理装置。
  16. 上記モデル化部は、
    上記カメラモーション成分を、少なくとも並進要素及び拡縮要素として表し、
    上記補正量算出部は、
    上記フォーカルプレーン歪み成分の累積値を上記フォーカルプレーン歪み補正量とすると共に、上記フォーカルプレーン歪み成分と上記並進要素との相関関係を表す関係情報をもとに、上記フォーカルプレーン歪み成分のうち、上記並進要素との相関関係が低いフォーカルプレーン歪み成分を判別し、上記並進要素との相関関係が低いフォーカルプレーン成分の影響を低減又は消滅させる
    請求項１５に記載の画像処理装置。
  17. 上記動き検出部は、
    上記動きベクトルの信頼度を表す信頼度情報を生成し、
    上記補正量算出部は、
    上記動き検出部によって生成された上記信頼度情報に基づいて、上記動きベクトルの信頼度が高いフォーカルプレーン成分のみを用いて上記フォーカルプレーン歪み補正量を生成する
    請求項８に記載の画像処理装置。
  18. フレーム画像からなるフレーム画像データから、所定数の画素でなるブロック単位の動きを表すローカル動きベクトルを算出し、さらに当該ローカル動きベクトルの信頼度指標を用いて当該ローカル動きベクトルを重み付けすることにより、複数の成分パラメータを用いて表される、上記フレーム画像の全体的な動きを表すグローバル動きベクトルを算出する動きベクトル検出ステップと、
    カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記グローバル動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、
    上記動きベクトル検出ステップで算出されたグローバル動きベクトルの複数の成分パラメータを、上記成分分離式に代入して、当該成分分離式において用いられた、上記カメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを算出することにより、上記グローバル動きベクトルにおけるフォーカルプレーン歪み成分を算出する成分算出ステップと
    を有するフォーカルプレーン歪み成分算出方法。
  19. コンピュータに対して、
    フレーム画像からなるフレーム画像データから、所定数の画素でなるブロック単位の動きを表すローカル動きベクトルを算出し、さらに当該ローカル動きベクトルの信頼度指標を用いて当該ローカル動きベクトルを重み付けすることにより、複数の成分パラメータを用いて表される、上記フレーム画像の全体的な動きを表すグローバル動きベクトルを算出する動きベクトル検出ステップと、
    カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記グローバル動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、
    上記動きベクトル検出ステップで算出されたグローバル動きベクトルの複数の成分パラメータを、上記成分分離式に代入して、当該成分分離式において用いられた、上記カメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを算出することにより、上記グローバル動きベクトルにおけるフォーカルプレーン歪み成分を算出する成分算出ステップと
    を実行させる画像処理プログラム。
  20. コンピュータに対して、
    フレーム画像からなるフレーム画像データから、所定数の画素でなるブロック単位の動きを表すローカル動きベクトルを算出し、さらに当該ローカル動きベクトルの信頼度指標を用いて当該ローカル動きベクトルを重み付けすることにより、複数の成分パラメータを用いて表される、上記フレーム画像の全体的な動きを表すグローバル動きベクトルを算出する動きベクトル検出ステップと、
    カメラの動きであるカメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを用いることにより、上記グローバル動きベクトルを、カメラモーション成分及びフォーカルプレーン歪み成分が分離された成分分離式にモデル化するモデル化ステップと、
    上記動きベクトル検出ステップで算出されたグローバル動きベクトルの複数の成分パラメータを、上記成分分離式に代入して、当該成分分離式において用いられた、上記カメラモーション及びフォーカルプレーン歪みの変化量をそれぞれ表す未知の成分パラメータを算出することにより、上記グローバル動きベクトルにおけるフォーカルプレーン歪み成分を算出する成分算出ステップと
    を実行させる画像処理プログラムが記録された記録媒体。
JP2009036897A 2009-02-19 2009-02-19 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 Expired - Fee Related JP4915423B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009036897A JP4915423B2 (ja) 2009-02-19 2009-02-19 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
US12/658,739 US8363116B2 (en) 2009-02-19 2010-02-12 Image processing device, focal plane distortion component calculation method, image processing program, and recording medium
CN2010101183887A CN101815163B (zh) 2009-02-19 2010-02-12 图像处理设备及程序和焦平面失真分量计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009036897A JP4915423B2 (ja) 2009-02-19 2009-02-19 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2010193300A JP2010193300A (ja) 2010-09-02
JP4915423B2 true JP4915423B2 (ja) 2012-04-11

Family

ID=42622276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009036897A Expired - Fee Related JP4915423B2 (ja) 2009-02-19 2009-02-19 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体

Country Status (3)

Country Link
US (1) US8363116B2 (ja)
JP (1) JP4915423B2 (ja)
CN (1) CN101815163B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031766A (ko) * 2013-09-16 2015-03-25 에스케이텔레콤 주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP4915424B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体
CN101729665B (zh) * 2009-12-11 2013-10-02 惠州Tcl移动通信有限公司 一种具有防抖功能的拍照手机及其在拍照中的防抖方法
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
TWI426775B (zh) * 2010-12-17 2014-02-11 Ind Tech Res Inst 攝影機再校正系統及其方法
JP2012222617A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム
TWI435286B (zh) * 2011-05-04 2014-04-21 Altek Corp 影像處理方法與裝置
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US8648919B2 (en) * 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
WO2013005316A1 (ja) * 2011-07-06 2013-01-10 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム
CN102915171A (zh) * 2011-08-04 2013-02-06 王振兴 移动轨迹产生方法
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US8903043B2 (en) * 2011-10-24 2014-12-02 Bruker Axs, Inc. Method for correcting timing skew in X-ray data read out of an X-ray detector in a rolling shutter mode
US9049374B2 (en) * 2011-11-28 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus with camera shake correction function
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
JP5925579B2 (ja) * 2012-04-25 2016-05-25 ルネサスエレクトロニクス株式会社 半導体装置、電子装置、及び画像処理方法
FI4296963T3 (fi) 2012-08-21 2025-03-31 Adeia Imaging Llc Menetelmä syvyyden tunnistamiseksi kameraryhmällä otetuista kuvista
WO2014068779A1 (ja) 2012-11-05 2014-05-08 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP5794705B2 (ja) * 2013-02-01 2015-10-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム
EP2963909A4 (en) * 2013-02-28 2016-10-19 Nikon Corp ELECTRONIC DEVICE
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) * 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP6044403B2 (ja) * 2013-03-18 2016-12-14 富士通株式会社 撮像装置、撮像方法、および撮像プログラム
DE102013216762B4 (de) * 2013-08-23 2017-08-17 BSH Hausgeräte GmbH Kältegerät mit einem Kameramodul
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
CN108074222A (zh) * 2017-12-25 2018-05-25 清华大学 基于混合相机系统的高速运动物体去模糊方法及装置
US20190297265A1 (en) * 2018-03-21 2019-09-26 Sawah Innovations Inc. User-feedback video stabilization device and method
CN109886866B (zh) * 2019-01-15 2023-06-13 珠海亿智电子科技有限公司 一种自适应仿射变换处理方法及装置
CN114600165B (zh) 2019-09-17 2025-08-15 波士顿偏振测定公司 用于使用偏振提示表面建模的系统和方法
DE112020004810B4 (de) 2019-10-07 2023-10-26 Boston Polarimetrics, Inc. Systeme und Verfahren zur Erfassung von Oberflächennormalen mit Polarisation
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP7542070B2 (ja) 2020-01-30 2024-08-29 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12340538B2 (en) 2021-06-25 2025-06-24 Intrinsic Innovation Llc Systems and methods for generating and using visual datasets for training computer vision models
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12293535B2 (en) 2021-08-03 2025-05-06 Intrinsic Innovation Llc Systems and methods for training pose estimators in computer vision

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6918698B2 (en) * 2001-12-12 2005-07-19 The Regents Of The University Of California Integrated crystal mounting and alignment system for high-throughput biological crystallography
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
US7835542B2 (en) * 2005-12-29 2010-11-16 Industrial Technology Research Institute Object tracking systems and methods utilizing compressed-domain motion-based segmentation
JP4340915B2 (ja) * 2006-02-01 2009-10-07 ソニー株式会社 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置
JP2008028500A (ja) * 2006-07-19 2008-02-07 Sony Corp 画像処理装置、方法、およびプログラム
JP4771901B2 (ja) 2006-09-19 2011-09-14 パナソニック株式会社 撮像装置、画像歪み補正方法及びプログラム
JP4212109B2 (ja) * 2007-03-20 2009-01-21 パナソニック株式会社 撮影装置および撮影方法
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP5045320B2 (ja) 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4915317B2 (ja) 2007-09-05 2012-04-11 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN100534132C (zh) * 2007-12-07 2009-08-26 西安电子科技大学 基于判别光流张量和hmm的视频语义单元检测方法
JP4544334B2 (ja) * 2008-04-15 2010-09-15 ソニー株式会社 画像処理装置および画像処理方法
JP4915424B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体
JP2011217044A (ja) * 2010-03-31 2011-10-27 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150031766A (ko) * 2013-09-16 2015-03-25 에스케이텔레콤 주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
KR102072014B1 (ko) * 2013-09-16 2020-01-31 에스케이 텔레콤주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Also Published As

Publication number Publication date
US20100214423A1 (en) 2010-08-26
CN101815163A (zh) 2010-08-25
JP2010193300A (ja) 2010-09-02
US8363116B2 (en) 2013-01-29
CN101815163B (zh) 2012-10-10

Similar Documents

Publication Publication Date Title
JP4915423B2 (ja) 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
JP4915424B2 (ja) 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体
JP2011217044A (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2048878B1 (en) Imaging device, imaging method, and program
JP5111088B2 (ja) 撮像装置及び画像再生装置
CN102572278B (zh) 利用自适应滤波的数字图像稳定化方法及装置
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
JP6140171B2 (ja) 受信されたビデオの安定化
CN102075681A (zh) 图像处理设备、图像处理方法、程序和记录介质
JP2010193301A (ja) 画像処理装置、角度変化推定方法、画像処理プログラム及び記録媒体
US20100166300A1 (en) Method of generating motion vectors of images of a video sequence
JP2017058660A (ja) 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法
JP2014143530A (ja) 情報処理装置と情報処理方法および撮像装置
JP2019029968A (ja) 撮像装置およびその制御方法
JP2010166512A (ja) 撮像装置
JP5143172B2 (ja) 撮像装置及び画像再生装置
JP6995490B2 (ja) 映像再生装置とその制御方法及びプログラム
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN107743190A (zh) 视频防抖方法
JP6570304B2 (ja) 映像処理装置、映像処理方法およびプログラム
JP2010193475A (ja) 撮像装置及び画像再生装置
JP2010011050A (ja) 動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理プログラム、記憶媒体及び、動画像処理システム
CN119946414B (zh) 一种视频防抖方法、装置、存储介质及处理器
JP2010010798A (ja) 動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理方法、動画像処理プログラム、記憶媒体及び、動画像処理システム
JP2010016548A (ja) 動画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees