JP6652300B2 - 画像処理装置、撮像装置および制御方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。

静止画や動画を撮影するための撮像装置において、撮影時の手振れにより発生する像ブレを補正する防振機能が広く普及している。撮影時の防振機能には、レンズを用いて光学的に像ブレを補正する光学防振と、撮像した映像信号の読み出し位置、または切り出し位置を変更することにより電子的に像ブレを補正する電子防振とがある。しかし、撮影時の防振性能には限界があり、少なからずブレ残りが発生してしまう。特に、装置に加わる振れが、手振れであるのか撮影者の意図的な動きによる振れであるのかを判断することは難しく、曖昧な動きの映像は補正されないままとなる場合が多い。

記録した映像を再生する際に、画像のベクトル量に基づいて、画像の切り出し位置を決定し、切り出した画像を拡大して再生することにより、電子的に像ブレを補正することが可能な再生防振機能を有する再生装置が提案されている。

特許文献１は、撮影時に検出した各フレーム毎の動きベクトルをメモリに記憶させておき、再生時に動きベクトルの情報に基づいて所望の像ブレ補正を行う再生装置を開示している。この再生装置によれば、未来方向に先読みすることができ、装置に加わる振れが手振れであるのか意図的な動きであるのかを判断可能となる。また、撮影時に一旦全ての撮影映像を仮記憶しておき、ユーザが指定した再生速度に応じて再生防振機能による像ブレ補正を施した映像を本記録する撮像装置も提案されている。

特開平６−１３９７４６号公報

従来技術では、再生防振機能を有さない再生装置で映像を再生すると、像ブレが残ったままの映像が再生されてしまう。また、撮影時に一旦全ての撮影映像を仮記憶しておき、ユーザが指定した再生速度に応じて再生防振機能による像ブレ補正を施した映像を本記録する撮像装置では、全ての撮影映像を仮記憶するための大容量のメモリが必要となる。したがって、メモリの容量によって、撮影時間が制限されてしまう。さらに、仮記憶した映像を本記録するためのレンダリング時間も必要となってしまうため、仮記憶した映像の長さ次第では、膨大なレンダリング時間が必要となる。

また、再生防振機能に共通に発生する課題として、画像を電子的に拡大するので、画質の劣化が発生してしまうことと、画像の切り出しを行うことにより被写体が望遠側に寄るので、画角変化による被写体の欠けが発生することが考えられる。

本発明は、大容量のメモリを必要とすることなく、再生防振機能と同等の機能を撮影時に実現することを可能にする画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、任意の数のフレームを含む映像を一時記憶する一時記憶手段と、第１のフレームに係る映像を第１の信号パスに出力し、前記一時記憶手段に一時記憶された前記第１のフレームより過去のフレームである第２のフレームに係る映像を第２の信号パスに出力する出力制御手段と、前記第１の信号パスに出力された前記第１のフレームに係る映像に基づいて、前記第２のフレームに係る映像に関する像ブレを補正するために用いる第１の補正量を算出する第１の補正量算出手段と、前記第１の補正量に基づいて、前記第２のフレームに係る映像から所定の領域を切り出すことによって、前記第２のフレームに係る映像に関する像ブレを補正する第１の像ブレ補正手段と、前記第１の像ブレ補正手段を有効とするか無効とするかを切り替える切り替え手段と、前記第１の信号パスに出力するフレームと前記第２の信号パスに出力するフレームとの時間差を制御する時間差制御手段と、を備え、前記時間差制御手段は、前記切り替え手段の切替え結果に応じて前記時間差を変更する。

本発明の画像処理装置によれば、大容量のメモリを必要とすることなく、再生防振機能と同等の機能を撮影時に実現することが可能になる。

本実施形態の画像処理装置の外観を示す図である。 デジタルビデオカメラの構成例を示す図である。 実施例１の画像処理装置の機能ブロック図である。 実施例２の画像処理装置の機能ブロック図である。 映像信号パスに出力するフレームの時間差の変更処理を示す図である。 映像データに係る表示画像と記録画像とを示す図である。 実施例３における表示画像の例を説明する図である。 実施例３における表示画像の他の例を説明する図である。 実施例４における表示画像の例を説明する図である。 実施例４における表示画像の他の例を説明する図である。

（実施例１）
図１は、本実施形態の画像処理装置の外観を示す図である。
図１に示す画像処理装置は、撮像装置の一例としてのレンズ交換式デジタルビデオカメラ（以下、単に「デジタルビデオカメラ」と記述する）１００である。なお、本発明は、本実施形態に限定されるものではなく、本発明は、一眼レフカメラや、レンズ一体型コンパクトカメラや、カメラ機能付き携帯電話等にも適用可能である。

図１に示すモニタ２８およびファインダ２９は、画像や各種情報を表示する表示部１０７（図２）に含まれる。トリガーボタン６１は、撮影指示を行うための操作ボタンである。電源／モードスイッチ７２は、電源オン、電源オフや撮影モード、再生モードを切り替えるための操作ボタンである。操作パネル７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材を有する。コネクタ１２は、デジタルビデオカメラ１００から外部モニタや外部記録装置に映像信号を出力するコネクタであり、外部出力Ｉ／Ｆ部１２０を構成する。また、バッテリーカバー１１は、装填したバッテリーを保持するカバーである。アクセスランプ１３は、記録用のカードスロットの状態を表示するランプであり、表示部１０７に含まれる。

図２は、図１に示すデジタルビデオカメラの構成例を示す図である。なお、デジタルビデオカメラ１００が有する各機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、各機能ブロックの１つ以上は、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、各機能ブロックの１つ以上は、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

デジタルビデオカメラ１００が有する各種の操作部、表示部１０７、外部出力部１２１は、デジタルビデオカメラ１００の表面に露出して設けられている。交換レンズ１０１は、複数のレンズ群を有する撮影レンズであり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備えるほか、絞りを含む。ＮＤフィルタ１０３は、レンズに備えられた絞りとは別に、入射光量を調整するために設けられている。

撮像素子１０２は、光電変換素子を有する複数の画素が二次元状に配列された構成を有する。撮像素子１０２は、交換レンズ１０１により結像された被写体光を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、映像に係る信号（ＲＡＷ画像データ）を出力する。

メモリＩ／Ｆ部１１６は、撮像素子１０２から出力された全画素分のＲＡＷ画像データをメモリ１１７に書き込み、また、メモリ１１７に保持されたＲＡＷ画像データを読み出して、画像処理部１１８および画像処理部１１９に出力する。メモリ１１７は、任意の数のフレームの全画素分のＲＡＷ画像データ（映像）を一時記憶する揮発性の一時記憶手段である。

画像処理部１１８、１１９は、メモリＩ／Ｆ部１１６から送られた全画素分のＲＡＷ画像データに対し、撮像素子１０２に起因するレベル差を補正する画像処理を行う。画像処理部１１８，１１９は、例えば、ＯＢ領域の画素を用いて、有効領域の画素のレベルを補正するほか、欠陥画素に対して周囲画素を用いた補正を行う。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤー、圧縮などの各処理を行う。画像処理部１１８，１１９は、撮像素子１０２から入力されたＲＡＷ画像データに対して上記処理を行って、画像データを出力する。

本体マイコン１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業領域に展開し、実行することにより、デジタルビデオカメラの全体の動作を制御する。また、本体マイコン１４０は、ＲＯＭに記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。具体的には、本体マイコン１４０は、画像処理部１１８，１１９が出力した画像データを参照して、被写体の動きベクトルを算出し、算出した動きベクトルをもとに像ブレを相殺する処理（電子防振処理）を行う。

ＲＡＭは、本体マイコン１４０の動作用の定数、変数、ＲＯＭから読み出したプログラム等を展開する。記録媒体Ｉ／Ｆ部１０４は、記録媒体１０５とデジタルビデオカメラとのインターフェースであり、記録媒体１０５に対して、画像処理部１１９から入力された画像データの記録や記録した画像データの読み出しを制御する。記録媒体１０５は、デジタルビデオカメラの本体での記録用の映像を記録する記録手段である。記録媒体１０５は、例えば半導体メモリ等で構成される。記録媒体１０５は、記録媒体Ｉ／Ｆ部１０４による制御に応じて、映像の記録や記録された映像の読み出しを実行する。

表示用Ｉ／Ｆ部１０６は、画像処理部１１８からの映像データおよびＧＰＵ１１５で描画したＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）に対して、重畳合成およびリサイズ処理を行う。表示用Ｉ／Ｆ部１０６は、重畳合成およびリサイズ処理された映像を表示部１０７へ出力する。表示部１０７に出力される映像は、デジタルビデオカメラの本体での確認用の映像である。本体マイコン１４０によって拡大表示モードが有効になっているときは、表示用Ｉ／Ｆ部１０６は、映像データの部分領域に対して重畳合成およびリサイズ処理を行う。その結果、拡大表示モードでは、通常時よりも拡大された映像が表示部１０７に表示されるため、撮影者がＭＦ調整操作をより正確に行いやすくなる。

表示部１０７は、表示用Ｉ／Ｆ部１０６から出力された画像データを画角確認用に表示するモニタやファインダである。ＧＰＵ１１５は、ビデオカメラの各種情報表示やメニュー画面をＶＲＡＭに描画するレンダリングエンジンである。ＧＰＵ１１５は、文字列や図形の描画機能のほか、拡大縮小描画機能や、回転描画機能、レイヤ合成機能を備えている。描画したＶＲＡＭは透過度を表すアルファチャネルを備えており、表示用Ｉ／Ｆ部１０６によって映像上にオンスクリーン表示することができる。

以下に説明するゲイン制御部１０９、シャッタ制御部１１０、ＮＤ制御部１１１および絞り制御部１１２は、いずれも露出制御のためのブロックである。画像処理部１１８または画像処理部１１９の出力した画像データの輝度レベルを本体マイコン１４０で算出した結果に基づいて、あるいは撮影者がマニュアル設定した動作パラメータに基づいて、本体マイコン１４０によってこれらの制御部の制御が行われる。この時、フレーム遅延の少ない画像処理部が出力した画像データから算出したほうが応答性に優れた制御となる。

ゲイン制御部１０９は、撮像素子１０２のゲインを制御する。シャッタ制御部１１０は、撮像素子１０２のシャッタスピードを制御する。ＮＤ制御部１１１は、ＮＤフィルタ１０３を介して、撮像素子１０２に入射する光量を制御する。

絞り制御部１１２は、交換レンズ１０１の絞りを制御する。フォーカス制御部１１３は、本体マイコン１４０で保持されるフォーカス駆動状態が、ＡＦ（オートフォーカス）であるか、ＭＦ（マニュアルフォーカス）であるかによって異なる動作を行う。フォーカス駆動状態がＭＦである場合は、フォーカス制御部１１３は制御を停止する。この場合、撮影者が交換レンズ１０１に組み込まれたフォーカスリング１３４を回転させることによって、任意のフォーカス調整を行うことができる。

フォーカス駆動状態がＡＦである場合は、本体マイコン１４０が、画像処理部１１８または画像処理部１１９から出力された画像データに基づいて、フォーカスの合焦情報を算出する。フォーカス制御部１１３が、算出された合焦情報に基づいて、交換レンズ１０１内部のフォーカスレンズを制御する。本体マイコン１４０が、画像データの部分領域にＡＦ枠を設定し、ＡＦ枠内の被写体のみに基づいてフォーカス合焦情報を算出することもできる。この時、フレーム遅延の少ない画像処理部が出力した画像データから算出したほうが、応答性に優れた制御となる。

ＡＦは、２つの動作モードを有する。一つは、ワンショットＡＦモードである。ワンショットＡＦモードは、ワンショットＡＦキー１２９が押下されたときだけＡＦ制御を行い、合焦成功または合焦失敗が確定した後はフォーカス制御部１１３の制御を停止するモードである。もう一つは、サーボＡＦモードないしコンティニュアスＡＦモードと呼ばれる、常にＡＦ制御を行うモードである。ただし、コンティニュアスＡＦモードであっても、ＡＦロックキー１３０の押下によってＡＦロック状態になっているときは、フォーカス制御部１１３の制御を停止する。２つのモードの切り替えは、メニュー画面内の設定変更によって行われる。

本体マイコン１４０が、画像処理部１１８または画像処理部１１９から出力された画像データに基づいて、被写体の動きベクトルを算出する。像ブレ補正制御部１１４は、算出された動きベクトルをもとに、像ブレを相殺するように交換レンズ１０１内部のシフトレンズを制御する光学式防振処理を行う。あるいは、像ブレ補正制御部１１４は、像ブレを相殺する方向に動画の各フレームで画像を切り出す電子式防振処理を行う。この時、フレーム遅延の少ない画像処理部が出力した画像データから算出したほうが応答性に優れた制御となる。

外部出力Ｉ／Ｆ部１２０は、画像処理部１１９からの映像データに対してリサイズ処理を行う。また、外部出力Ｉ／Ｆ部１２０は、外部出力部１２１の規格に適した信号変換および制御信号の付与を行い、外部出力部１２１へ出力する。外部出力部１２１は、記録用の映像データを外部装置に出力する端子である。外部出力部１２１は、例えばＳＤＩ端子やＨＤＭＩ（登録商標）端子である。外部出力部１２１には、モニターディスプレイや外部記録装置が接続可能である。

外部操作用Ｉ／Ｆ部１２２は、外部操作部１２３による制御指示を受信し、本体マイコン１４０へ通知するインターフェースである。例えば、外部操作用Ｉ／Ｆ部１２２は、赤外線リモコン受光部、無線ＬＡＮインターフェースや、ＬＡＮＣ（登録商標）である。

外部操作部１２３は、外部操作用Ｉ／Ｆ部１２２に対して制御指示を送信する。外部操作部１２３は、デジタルビデオカメラ１００や交換レンズ１０１に組み込まれたメニューキー１２４乃至ＡＦ／ＭＦスイッチ１３５といった操作部の操作に相当する指示を送信することができる。また、外部操作部１２３は、表示部１０７で表示するメニュー画面における設定変更情報を送信することができる。

メニューキー１２４乃至ＡＦ／ＭＦスイッチ１３５は、操作部であり、キー（ボタン）やダイヤル、タクトスイッチ、リング等の部材からなる。いずれの部材も、撮影者の操作を受け付け、本体マイコン１４０に対して制御指示を通知する役割を担っている。メニューキー１２４乃至ＳＴＡＲＴ／ＳＴＯＰキー１３３はデジタルビデオカメラ１００に組みつけられており、フォーカスリング１３４とＡＦ／ＭＦスイッチ１３５は、交換レンズ１０１に組みつけられている。これらの操作部の一部は、メニュー画面内の設定によって、キーの役割を交換したり、別の機能にアサインしたりすることも可能である。

メニューキー１２４は、表示部１０７にメニュー画面を表示する指示、またはすでに開いているメニュー画面を閉じる指示を行う。十字キー１２５およびダイヤル１２６は、メニュー画面内で項目を選択するためのカーソルを移動したり、フォーカスに関する枠表示を撮影者の望む方向へ移動したりする指示を行う。ＳＥＴキー１２７は、メニュー画面内でカーソルの当たっている項目を選択したり、各種の設定操作を確定したりする指示を行う。

キャンセルキー１２８は、メニュー画面で深い階層の選択を行っているときにひとつ前の階層へ戻ったり、各種の設定操作を破棄したりする指示を行う。ワンショットＡＦキー１２９は、ＡＦモードがワンショットＡＦであるときに、フォーカス制御部１１３によってＡＦを駆動する指示を行う。ＡＦロックキー１３０は、ＡＦモードがコンティニュアスＡＦであるときに、フォーカス制御部１１３による制御を停止したり、制御停止状態を解除したりする指示を行う。拡大キー１３１は、表示部１０７に表示される映像を拡大したり元に戻したりする指示を行う。ＤＩＳＰＬＡＹキー１３２は、本体マイコン１４０で保持されるＤｉｓｐレベルを変更する指示を行う。選択されたＤｉｓｐレベルに基づいて、表示部１０７に表示される各種情報表示が制限され、より詳細な情報を表示したり、映像をよりクリアに表示したりすることができる。

ＳＴＡＲＴ／ＳＴＯＰキー１３３は、記録媒体Ｉ／Ｆ部１０４による記録の開始と停止の指示を行う。フォーカスリング１３４は、フォーカス駆動状態がＭＦであるときに、交換レンズ１０１内のフォーカスレンズを移動し、フォーカス調整を行うことができる。ＡＦ／ＭＦスイッチ１３５は、フォーカス駆動状態、すなわちＡＦとＭＦを相互に切り替える指示を行う。

図３は、実施例１の画像処理装置の機能ブロック図である。
図３では、デジタルビデオカメラ１００の機能構成例のうち、電子防振に関する制御に関わる構成について説明する。

メモリＩ／Ｆ部１１６は、撮像素子１０２から出力された全画素分のＲＡＷ画像データをメモリ１１７に書き込む。また、メモリ１１７に保持されたＲＡＷ画像データを読み出して画像処理部１１８，１１９に出力する出力制御手段として機能する。メモリ１１７は、数フレームの全画素分のＲＡＷ画像データを格納する揮発性の記憶媒体である。メモリＩ／Ｆ部１１６は、画像処理部１１８に、画像処理部１１９に出力するフレームよりも新しい第１のフレーム（第Ｎ番目のフレーム）のＲＡＷ画像データを出力することで、このＲＡＷ画像データを第１の信号パスに出力する。第１の信号パスは、画像処理部１１８を介した映像信号パスである。表示部１０７は、第１の信号パスに接続されている。メモリＩ／Ｆ部１１６は、画像処理部１１９には、画像処理部１１８に出力するフレームよりも古い第２のフレーム（第（Ｎ−Ｍ）番目のフレーム）のＲＡＷ画像データを出力することで、このＲＡＷ画像データを第２の信号パスに出力する。第２の信号パスは、画像処理部１１９を介した映像信号パスである。記録媒体１０５と、外部出力部１２１は、第２の信号パスに接続される。なお、外部出力部１２１が、外部装置に確認用の映像を表示する外部表示手段として機能する構成を採ってもよい。この構成を採る場合、外部出力部１２１は、第１の信号パスに接続される。もちろん、デジタルビデオカメラ１００が、外部出力部１２１とは別に、第１の信号パスに接続される外部表示手段を備えていてもよい。

画像処理部１１８は、メモリＩ／Ｆ部１１６から出力された全画素分のＲＡＷ画像データに対し、撮像素子１０２に起因するレベル差を補正する画像処理を行う。その後、本体マイコン１４０が備える像ブレ補正値演算部２０３が、画像処理部１１８から出力された画像データに基づいて、被写体の動きベクトルを算出する。像ブレ補正値演算部２０３は、算出した動きベクトルに基づいて、像ブレを相殺するために用いる第２の補正量を算出する（第２の補正量算出手段として機能する）。そして、画像処理部１１８の内部に備えられた電子防振処理部２０１が、像ブレ補正値演算部２０３から第２の補正量を受信し、受信した第２の補正量に基づいて、像ブレを相殺するように電子防振処理を行う。具体的には、電子防振処理部２０１は、第１のフレームに係る映像から所定の領域を切り出すことによって、第１のフレームに係る映像に関する像ブレを補正する（第２の像ブレ補正手段として機能する）。電子防振処理部２０１は、像ブレがある程度相殺されたＲＡＷ画像データを表示用Ｉ／Ｆ部１０６に出力する。

表示用Ｉ／Ｆ部１０６は、画像処理部１１８によって像ブレがある程度相殺された映像データと、ＧＰＵ１１５で描画したＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）に対して、重畳合成およびリサイズ処理を行い、表示部１０７へ出力する。表示部１０７は、表示用Ｉ／Ｆ部１０６から出力された画像データを画角確認用に表示するモニタやファインダである。

画像処理部１１９は、メモリＩ／Ｆ部１１６から出力された全画素分のＲＡＷ画像データに対し、撮像素子１０２に起因するレベル差を補正する画像処理を行う。過去の像ブレ補正値演算部２０４は、画像処理部１１９に入力されている第（Ｎ−Ｍ）番目のフレームよりも未来のフレーム（第Ｎ番目のフレーム）に至るまでの像ブレ補正値演算部２０３による演算結果（動きベクトル）を受信する。そして、過去の像ブレ補正値演算部２０４は、受信した動きベクトルに基づいて、第（Ｎ−Ｍ）番目のフレームに係る映像の像ブレを補正するために用いる第１の補正値を演算する（第１の補正量算出手段として機能する）。その後、電子防振処理部２０２が、過去の像ブレ補正値演算部２０４によって算出された第１の補正量に基づいて、像ブレを相殺するように電子防振処理を行う。具体的には、電子防振処理部２０２は、第２のフレームに係る映像から所定の領域を切り出すことによって、第２のフレームに係る映像に関する像ブレを補正する（第１の像ブレ補正手段として機能する）。電子防振処理部２０２は、第２のフレームに係る映像の像ブレが適切に相殺されたＲＡＷ画像データを、記録媒体Ｉ／Ｆ部１０４および外部出力Ｉ／Ｆ部１２０に出力する。

記録媒体Ｉ／Ｆ部１０４は、画像処理部１１９によって像ブレが適切に相殺された後の映像データを記録媒体１０５に対して記録する。外部出力Ｉ／Ｆ部１２０は、画像処理部１１９からの映像データに対してリサイズ処理を行う。また、外部出力Ｉ／Ｆ部１２０は、外部出力部１２１の規格に適した信号変換および制御信号の付与を行い、例えばＳＤＩ端子やＨＤＭＩ（登録商標）端子のような外部出力部１２１へ出力する。

上述のように、本実施例では、撮影した映像を、記録媒体に記録するための映像信号パスと、像ブレ補正値を算出するための映像信号パスの２つの映像信号パスに分割可能な構成とした。また、記録媒体に記録するための映像信号パスには数秒分の画像を蓄積可能なメモリを用意し、もう一方の映像信号パスと時間軸的に異なるタイミングの映像を流す構成とした。これにより、もう一方の映像信号パスに流した数秒後までの未来の映像を基にして算出された像ブレ補正値に基づいて電子防振処理を施してから記録媒体に記録するという構成をとることが可能となった。

なお、本実施例では、ＲＡＷ画像データの段階でフレームメモリを設け、ＲＡＷ画像データに対しての画像処理部を２つ設ける構成としたが、電子防振の直前までの画像処理を１つの映像信号パスで構成する形態としても良い。この構成をとった上で、電子防振の直前にフレームメモリを設け、電子防振処理部のみ２つ設けることで、本実施例と同様の処理が実現可能となる。また、記録媒体１０５への映像信号パスにのみ電子防振処理部を設け、表示部１０７への映像信号パスには設けずに、過去の像ブレ補正値演算部２０４のみ残す構成としても良い。すなわち、電子防振処理部２０１と像ブレ補正値演算部２０３を削除した構成としても良い。さらに、本実施例では、動きベクトルに基づいた切り出し制御による電子防振処理としたが、回転方向に対しての画像変形処理も追加で行うことで、さらに適切な電子防振処理となる。

以上説明した構成により、デジタルビデオカメラ１００は、画像のベクトル量に基づいて、画像の切り出し位置を決定し、画像を拡大して再生することで、電子的に防振を行うことが可能な再生防振機能と同等の機能を撮影時に実現可能となる。すなわち、デジタルビデオカメラ１００は、未来方向に先読みした画像も含めた画像のベクトル量を取得可能となるので、像ブレと撮影者の意図的な動きを判断して、適切な像ブレ補正を行うことが可能となる。また、記録画素数よりも高画素な撮像素子を使用した場合、画像を電子的に拡大する必要がなくなるため、画質の劣化も発生しなくなる。さらに、全ての撮影映像を仮記録するための大容量の記録媒体も不要となるため、メモリの容量による撮影時間制限もなくなり、レンダリング時間も必要のない構成となるため、ユーザのストレスを軽減することが可能となる。

（実施例２）
図４は、実施例２の画像処理装置の機能ブロック図である。
図４に示すデジタルビデオカメラ１００の基本的な構成は、図３に示す構成と同様であるため説明を省略し、差分の構成のみ説明を行う。

本体マイコン１４０は、像ブレ補正有効無効切り替え部３０１を備える。像ブレ補正有効無効切り替え部３０１は、ユーザ操作にしたがって、像ブレ補正の有効／無効、つまり、電子防振処理部２０１，２０２を有効とするか無効とするかを切り替える切り替え手段として機能する。この例では、像ブレ補正有効無効切り替え部３０１は、電子防振処理部２０２を有効に切り替えた場合は、電子防振処理部２０１も有効とする。また、像ブレ補正有効無効切り替え部３０１は、電子防振処理部２０２を無効に切り替えた場合は、電子防振処理部２０１も無効とする。また、本体マイコン１４０は、フレームレート可変部３０２を備える。フレームレート可変部３０２は、ユーザ操作にしたがって、フレームレートを切り替える。

メモリＩ／Ｆ部１１６は、フレーム時間差変更部３０３を備える。フレーム時間差変更部３０３は、２つの映像信号パスに出力するフレームの時間差を制御する（時間差制御手段として機能する）。フレーム時間差変更部３０３は、例えば、画像処理部１１８に出力するフレームと画像処理部１１９に出力するフレームとの時間差を変更する。

ユーザが、像ブレ補正を無効にする操作をした場合、像ブレ補正有効無効切り替え部３０１は、電子防振処理部２０１，２０２を無効に切り替える。そして、フレーム時間差変更部３０３が、第１の信号パスに出力するフレームと、第２の信号パスに出力するフレームとの時間差をなくす。本体マイコン１４０が、像ブレ補正値演算部２０３、過去の像ブレ補正値演算部２０４を無効にしても良い。ユーザが、像ブレ補正を有効にする操作をした場合、像ブレ補正有効無効切り替え部３０１は、電子防振処理部２０１，２０２を有効に切り替える。そして、フレーム時間差変更部３０３が、第１の信号パスに出力するフレームと、第２の信号パスに出力するフレームとに時間差を設け、像ブレを相殺する制御を有効とする。

ユーザがフレームレートを切り替えた場合、本体マイコン１４０は、フレーム時間差変更部３０３を制御し、画像処理部１１８，１１９に出力するフレームの時間差を変化させる。本体マイコン１４０は、さらに、電子防振処理部２０１、電子防振処理部２０２による像ブレ補正を有効とし、像ブレを相殺する制御を有効とする。

図５は、実施例２における、２つの映像信号パスに出力するフレームの時間差を変更する処理の例を説明するフローチャートである。
この例では、デジタルビデオカメラ１００は、６０Ｐ，３０Ｐ，２４Ｐという３種類のフレームレートを選択可能であるものとする。また、未来方向への先読みフレーム数は、例えば、実時間で１秒間必要であるものとする。したがって、例えば、６０Ｐのフレームでは、６０フレーム分の先読みが必要とされる。

ステップＳ５０１において、本体マイコン１４０が、メニュー等の設定に基づいて、像ブレ補正が無効であるかを判断する。像ブレ補正が無効である場合は、処理がステップＳ５０２に進む。ステップＳ５０２において、本体マイコン１４０が、２つの映像信号パスのフレームの時間差が０となるように制御する。具体的には、本体マイコン１４０からメモリＩ／Ｆ部１１６のフレーム時間差変更部３０３を制御し、画像処理部１１８および画像処理部１１９に出力するフレームの時間差を０とする。

像ブレ補正が有効である場合は、処理がステップＳ５０３に進む。ステップＳ５０３において、本体マイコン１４０が、現在設定されているフレームレートが６０Ｐであるかを判断する。現在設定されているフレームレートが６０Ｐである場合は、処理がステップＳ５０４に進む。ステップＳ５０４において、本体マイコン１４０が、２つの映像信号パスのフレームの時間差が６０フレームとなるように制御する。

現在設定されているフレームレートが６０Ｐではない場合は、処理がステップＳ５０５に進む。ステップＳ５０５において、本体マイコン１４０が、現在設定されているフレームレートが３０Ｐであるかを判断する。現在設定されているフレームレートが３０Ｐである場合は、処理がステップＳ５０６に進む。そして、ステップＳ５０６において、本体マイコン１４０が、２つの映像信号パスのフレームの時間差が３０フレームとなるように制御する。

現在設定されているフレームレートが３０Ｐではなく、２４Ｐである場合は、ステップＳ５０７に進む。そして、ステップＳ５０７において、本体マイコン１４０が、２つの映像信号パスのフレームの時間差が２４フレームとなるように制御する。

実施例２では、実施例１と同様に、撮影した映像を、記録媒体に記録するための映像信号パスと、像ブレ補正値を算出するための映像信号パスの２つの映像信号パスに分割可能な構成とした。また、記録媒体に記録するための映像信号パスには数秒分の画像を蓄積可能なメモリを用意し、もう一方の映像信号パスと時間軸的に異なるタイミングの映像を流す構成とした。これにより、もう一方の映像信号パスに流した数秒後までの未来の映像を基にして算出された像ブレ補正値に基づいて電子防振処理を施してから記録媒体に記録するという構成をとることが可能となった。

また、実施例２では、像ブレ補正の有効無効を切り替え可能とし、その状態に応じてフレームの時間差を変化させる構成とした。これにより、外部出力部１２１からの映像信号を確認用映像としても利用するユーザが防振機能を無効とすることで、大幅に映像遅延が発生してしまうことを防止することが可能となる。さらに、実施例２では、フレームレートを変更可能とし、フレームレートに応じてフレームの時間差を変化させる、すなわち未来方向に先読みするフレーム数を変化させる構成とした。これにより、必要以上に外部出力部１２１への映像遅延が発生してしまうことを防止することが可能となる。

なお、実施例２では、ＲＡＷ画像データの段階でフレームメモリを設け、ＲＡＷ画像データに対しての画像処理部を２つ設ける構成としたが、電子防振の直前までの画像処理を１つの映像信号パスで構成する形態としても良い。この構成をとった上で、電子防振の直前にフレームメモリを設け、電子防振処理部のみ２つ設けることで、本実施例と同様の処理が実現可能となる。

また、記録媒体１０５への映像信号パスにのみ電子防振処理部を設け、表示部１０７への映像信号パスには設けずに、過去の像ブレ補正値演算部２０４のみ残す構成としても良い。すなわち、電子防振処理部２０１と像ブレ補正値演算部２０３を削除した構成としても良い。さらに、本実施例では、動きベクトルに基づいた切り出し制御による電子防振処理としたが、回転方向に対しての画像変形処理も追加で行うことで、さらに適切な電子防振処理となる。

（実施例３）
図６は、映像データに係る表示画像と記録画像とを示す図である。
デジタルビデオカメラ１００は、撮像素子１０２の読み出し範囲が３Ｍ領域であるものとする。また、表示部１０７、記録媒体１０５、外部出力部１２１に出力する画像は２Ｍ領域に切り出しした画像を使用するものとして説明を行う。また、表示部１０７は、表示画像を表示する際に、記録媒体１０５に記録される映像の領域よりも広い領域を表示する。

図６（Ａ）は、メモリＩ／Ｆ部１１６に入力されるＲＡＷ画像データに係る画像（撮影画像）を示す。図６（Ｂ）は、画像処理部１１８が表示用Ｉ／Ｆ部１０６を介して表示部１０７に出力する表示画像を示す。表示画像は、画像処理部１１８によって２Ｍ領域に切り出される。画像処理部１１８は、像ブレ補正値に基づいて、切り出し位置を変更する。図６（Ｂ）では、元画像の左寄りの領域が切り出されている。

図６（Ｃ）は、画像処理部１１９が記録媒体１０５、外部出力部１２１に出力する画像を示す。この画像は、２Ｍ領域に切り出され、その時の像ブレ補正値に基づいて切り出し位置が変更されている。図６（Ｃ）に示す画像は、図６（Ｂ）に示す表示画像よりも左寄りの領域が切り出されており、被写体である犬が欠ける画角となっている。

図６に示す例では、ユーザが被写体の確認に用いる表示画像と、実際に記録媒体１０５に記録される画像や外部出力部１２１に出力される画像とで、画角が異なってしまう。以下に説明する実施例３によれば、表示画像と、記録媒体１０５に記録される画像や外部出力部１２１に出力される画像との、画角の乖離を抑制できる。なお、以下に説明する処理は、表示部１０７の他、確認用の映像を外部装置に表示する外部表示手段にも適用できる。

図７は、実施例３における表示画像の例を説明する図である。
撮像素子１０２の読み出し範囲は、３Ｍ領域とする。また、表示部１０７、記録媒体１０５、外部出力部１２１に出力する画像は２Ｍ領域に切り出しした画像とする。図７（Ａ）は、撮像素子１０２が読み出した３Ｍ領域のＲＡＷ画像データを示す。画像処理部１１８は、図７（Ｂ）に示すように、２Ｍの表示画像を表示部１０７に出力する。画像処理部１０８では３Ｍから２Ｍへの縮小処理が行われる。図７（Ｂ）に示す表示画像における破線で囲った領域は、電子防振処理部２０１が切り出す領域に対応する。すなわち、表示部１０７及び外部表示手段の少なくともいずれか一方は、記録用の映像の画角領域に対応する領域を示す情報（破線）を表示画像に表示する。図７（Ｃ）は、画像処理部１１９が記録媒体１０５、外部出力部１２１に出力する２Ｍの画像を示す。画像処理部１０９では過去の像ブレ補正値演算部２０４で算出された像ブレ補正値を基に、電子防振処理部２０２で３Ｍから２Ｍへの切り出し処理が行われる。

図８は、実施例３における表示画像の他の例を説明する図である。
撮像素子１０２の読み出し範囲は、２Ｍ領域とする。表示部１０７、記録媒体１０５、外部出力部１２１に出力する画像も２Ｍ領域とする。図８（Ａ）は、撮像素子１０２が読み出した２Ｍ領域のＲＡＷ画像データを示す。画像処理部１１８は、図８（Ｂ）に示すように、表示部１０７に２Ｍの表示画像を出力する。表示画像における破線は、電子防振処理部２０１が切り出す領域に対応する。

図８（Ｃ）は、画像処理部１１９が記録媒体１０５、外部出力部１２１に出力する２Ｍの画像を示す。画像処理部１０９は、過去の像ブレ補正値演算部２０４で算出された像ブレ補正値を基に、電子防振処理部２０２で切り出した１．５Ｍ領域を２Ｍに拡大処理する。

実施例３では、表示部１０７及び外部表示手段の少なくともいずれか一方は、記録画像の画角領域よりも広い領域を表示し、表示画像に記録画角領域に対応する領域を示す情報（例えば、矩形の破線）を表示させる。したがって、ユーザは、記録画像の画角領域に対応する領域を判別可能となる。

（実施例４）
実施例３で表示画像に表示する破線で示す領域は、実際に記録される画角領域とは一致しない。実施例４では、記録画像の画角領域を有効領域として表示画像に表示する。これにより、主被写体が十分に有効領域の内側に入るようなカメラワークをユーザに促す必要がある。なお、以下に説明する処理は、表示部１０７の他、確認用の映像を外部装置に表示する外部表示手段にも適用できる。

図９は、実施例４における表示画像の例を説明する図である。
撮像素子１０２の読み出し範囲は、３Ｍ領域とする。表示部１０７、記録媒体１０５、外部出力部１２１に出力する画像は、２Ｍ領域に切り出しした画像とする。図９（Ａ）は、撮像素子１０２が読み出した３Ｍ領域のＲＡＷ画像データを示す。

画像処理部１１９は、図９（Ｂ）に示すように、２Ｍの表示画像を表示部１０７に出力する。画像処理部１０８では３Ｍから２Ｍへの縮小処理が行われる。図９（Ｂ）に示す表示画像における破線で囲った領域は、有効領域すなわち記録画像の画角が収まる領域を示す。図９（Ｃ）は、画像処理部１１９が記録媒体１０５、及び外部出力部１２１に出力する２Ｍの画像を示す。画像処理部１０９では過去の像ブレ補正値演算部２０４で算出された像ブレ補正値を基に、電子防振処理部２０２で３Ｍから２Ｍへの切り出し処理が行われる。

図１０は、実施例４における表示画像の他の例を説明する図である。
撮像素子１０２の読み出し範囲は２Ｍ領域とする。表示部１０７、記録媒体１０５、外部出力部１２１に出力する画像も２Ｍ領域とする。図１０（Ａ）は、撮像素子１０２が読み出した２Ｍ領域のＲＡＷ画像データを示す。

画像処理部１１８は、図１０（Ｂ）に示すように、２Ｍの表示画像を出力する。図１０（Ｂ）に示す表示画像における破線で囲った領域は、有効領域すなわち記録画像の画角が収まる領域を示す。図１０（Ｃ）は、画像処理部１１９が記録媒体１０５、外部出力部１２１に出力する２Ｍの画像を示す。画像処理部１０９は、過去の像ブレ補正値演算部２０４で算出した像ブレ補正値を基に、電子防振処理部２０２で切り出した１．５Ｍ領域を２Ｍに拡大処理して出力する。

実施例４では、表示部１０７及び外部表示手段の少なくともいずれか一方は、実際の記録画像領域よりも広い領域を表示し、表示画像に有効領域を表示する。これにより、ユーザは、主被写体をどの領域に収めれば良いかを判別可能となる。

以上説明した実施例１乃至実施例４によれば、電子的に像ブレ補正を行うことが可能な再生防振機能と同等の機能を撮影時に実現することが可能となる。すなわち、未来方向に先読みした画像も含めた画像のベクトル量を取得可能となるので、像ブレと撮影者の意図的な動きとを判別でき、適切な像ブレ補正を行うことが可能となる。また、全ての撮影映像を仮記録するための大容量の記録媒体も不要となるので、メモリの容量による撮影時間制限もなくなり、レンダリング時間も必要のない構成となる。さらに、記録画素数よりも高画素な撮像素子を使用した場合、画像を電子的に拡大する必要がなくなるため、画質の劣化も発生しなくなる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルビデオカメラ
１１６ メモリＩ／Ｆ部
１１８，１１９ 画像処理部

Claims (12)

1. 任意の数のフレームを含む映像を一時記憶する一時記憶手段と、
   第１のフレームに係る映像を第１の信号パスに出力し、前記一時記憶手段に一時記憶された前記第１のフレームより過去のフレームである第２のフレームに係る映像を第２の信号パスに出力する出力制御手段と、
   前記第１の信号パスに出力された前記第１のフレームに係る映像に基づいて、前記第２のフレームに係る映像に関する像ブレを補正するために用いる第１の補正量を算出する第１の補正量算出手段と、
   前記第１の補正量に基づいて、前記第２のフレームに係る映像から所定の領域を切り出すことによって、前記第２のフレームに係る映像に関する像ブレを補正する第１の像ブレ補正手段と、
   前記第１の像ブレ補正手段を有効とするか無効とするかを切り替える切り替え手段と、
   前記第１の信号パスに出力するフレームと前記第２の信号パスに出力するフレームとの時間差を制御する時間差制御手段と、を備え、
   前記時間差制御手段は、前記切り替え手段の切替え結果に応じて前記時間差を変更する
   ことを特徴とする画像処理装置。
2. 前記切り替え手段が、前記第１の像ブレ補正手段を有効に切り替えた場合は、前記時間差制御手段は、前記時間差を設け、
   前記切り替え手段が、前記第１の像ブレ補正手段を無効に切り替えた場合は、前記時間差制御手段は、前記時間差をなくす
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の信号パスに出力された前記第１のフレームに係る映像に基づいて、前記第１のフレームに係る映像に関する像ブレを補正するために用いる第２の補正量を算出する第２の補正量算出手段と、
   前記第２の補正量に基づいて、前記第１のフレームに係る映像から所定の領域を切り出すことによって前記第１のフレームに係る映像に関する像ブレを補正する第２の像ブレ補正手段とを備える
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の像ブレ補正手段を有効に切り替えた場合は、前記第２の像ブレ補正手段も有効とし、
   前記第１の像ブレ補正手段を無効に切り替えた場合は、前記第２の像ブレ補正手段も無効とする
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理装置の本体での確認用の映像を表示する表示手段または外部装置に確認用の映像を表示する外部表示手段を備え、
   前記表示手段または前記外部表示手段は、前記第１の信号パスに接続される
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像処理装置の本体での記録用の映像を記録する記録手段を備え、
   前記記録手段は、前記第２の信号パスに接続される
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 外部装置に記録用の映像を出力する外部出力手段を備え、
   前記外部出力手段は、前記第２の信号パスに接続される
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示手段または前記外部表示手段は、前記確認用の映像を表示する際に、前記第２の信号パスを介して記録される、記録用の映像の領域よりも広い領域を表示する
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記表示手段または前記外部表示手段は、前記確認用の映像を表示する際に、前記記録用の映像の画角に対応する領域を示す情報を前記確認用の映像に表示する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記表示手段または前記外部表示手段は、前記確認用の映像を表示する際に、前記記録用の映像の画角が収まる領域を示す情報を前記確認用の映像に表示する
    ことを特徴とする請求項８に記載の画像処理装置。
11. 被写体光を光電変換して前記映像に係る信号を出力する撮像手段を備える
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置として機能する撮像装置。
12. 任意の数のフレームを含む映像を一時記憶する一時記憶手段を備える画像処理装置の制御方法であって、
    第１のフレームに係る映像を第１の信号パスに出力し、前記一時記憶手段に一時記憶された前記第１のフレームより過去のフレームである第２のフレームに係る映像を第２の信号パスに出力する工程と、
    前記第１の信号パスに出力された前記第１のフレームに係る映像に基づいて、前記第２のフレームに係る映像に関する像ブレを補正するために用いる第１の補正量を算出する工程と、
    前記第１の補正量に基づいて、前記第２のフレームに係る映像から所定の領域を切り出すことによって、前記第２のフレームに係る映像に関する像ブレを補正する工程と、
    前記第２のフレームに係る映像に関する像ブレを補正する工程を有効とするか無効とするかを切り替える工程と、
    前記第２のフレームに係る映像に関する像ブレを補正する工程を有効とするか無効とするかに応じて、前記第１の信号パスに出力するフレームと前記第２の信号パスに出力するフレームとの時間差を制御する工程と、を有する
    ことを特徴とする制御方法。

Images