JP5635340B2 - 動画撮影装置、動画撮影方法、プログラムおよび画像処理装置 - Google Patents

Description

本発明は、動画撮影装置、動画撮影方法、プログラムおよび画像処理装置に関する。

動画像を撮影する動画撮影装置は、一定時間間隔で画像を撮影し、撮影した画像の信号（画像信号）をフレームごとに記録する。再生装置は、記録されたフレームをこのフレームレートで表示することにより、動画像を再生することができる。また、動画撮影装置は、被写体からの光線の焦点を撮像素子上に合わせるためのレンズを有している。また、動画撮影装置では、焦点調節のために、被写体の位置が変化することに対応してレンズの位置を制御する自動焦点調節（ＡＦ）機能が用いられている。

動画撮影装置は、自動焦点調節機能により、レンズの位置を変化させながら撮像素子が受けた画像のコントラストに基づく評価値を求め、当該評価値が極値をとる位置を合焦位置と定める。合焦位置とは撮像素子上に被写体からの光線の焦点を合わせることができるレンズの位置であり、被写体の位置によって異なる。

また、被写体の像面の移動速度を検出し、移動速度の変化に応じてフレームレートを可変とする動画撮影装置が知られている（例えば、特許文献１参照）。

特開２０１０−８８０４９号公報

しかしながら、動画撮影装置が焦点を調節する間においては、レンズの位置が動き、焦点が動く。また、自動焦点調節を開始する際には、評価値の傾きを検出するために、レンズの位置を一方向ではなく前後に動かす。そのため、焦点も前後に動く（図４（１）参照）。また、評価値の極値を検出するために、レンズの位置を、評価値の極値となる位置を通り過ぎた後に、評価値の極値となる位置に移動させる。そのため、焦点も前後に動く（図４（３）参照）。また、焦点が前後に動いた場合に撮影した動画像は、焦点が徐々に合う動画像と、焦点が徐々に合わない動画像とが繰り返し表示される「ぶれた動画像」となる。従って、動画撮影装置が撮影した動画像は「ぶれた動画像」となり、見苦しくなるという問題がある。

また、レンズの位置が合焦位置まで距離がある場合、レンズを合焦位置までは高速で一気に移動させ、合焦位置付近では低速でゆっくり焦点となる位置に合わせると、このときに撮影した動画像はより見やすい動画像となる。しかしながら、動画像の撮影時には合焦位置を判別することができないため、自動焦点調節中のレンズの移動速度は等速となる。そのため、動画撮影装置が撮影した動画像はより見やすい動画像ではないという問題がある。

本発明は上記の点に鑑みてなされたものであり、焦点調節中においても、より見やすい動画像を撮影することができる動画撮影装置、動画撮影方法、プログラムおよび画像処理装置を提供することを目的とする。

本発明は、撮影レンズを駆動させ、当該撮影レンズの位置を変化させることにより焦点調節を行う焦点調節部と、被写体像を撮影し、画像信号を生成する撮影部と、前記画像信号をフレームごとに記録する記録部と、前記焦点調節中に撮影した前記画像信号の前記フレームのうち、一部の前記フレームを間引く間引き処理を行う画像処理部と、を有し、前記画像処理部は、前記焦点調節部による焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くすることを特徴とする動画撮影装置である。

また、本発明の動画撮影装置において、前記焦点調節部が前記撮影レンズの駆動方向を変更した場合、前記画像処理部は、前記焦点調節部が前記撮影レンズを合焦方向と反対方向に駆動した際に撮影した前記フレームの間引き処理を行うことを特徴とする。

また、本発明の動画撮影装置において、前記間引き処理は、前記一部のフレームを削除し、次時刻のフレームとして次の非削除フレームを順次後続させる第１の間引き処理と、前記一部のフレームを削除し、削除されたフレームの代わりに直前または直後の非削除フレームを複製して配置する第２の間引き処理のいずれかであって、前記画像処理部は、前記撮影レンズの駆動方向を決定する移動開始位置回帰期間と、前記撮影レンズを合焦位置を通過するまで移動させる合焦位置進行期間と、前記撮影レンズが前記合焦位置を通過した後に、前記撮影レンズを前記合焦位置まで移動させる合焦位置回帰期間と、に応じて、前記第１の間引き処理と前記第２の間引き処理のいずれかを選択することを特徴とする。
また、本発明の動画撮影装置において、前記画像処理部は、被写体が動いている期間中は、前記間引き処理を停止することを特徴とする。
また、本発明は、撮影レンズを駆動させ、当該撮影レンズの位置を変化させることにより焦点調節を行うステップと、被写体像を撮影し、画像信号を生成するステップと、前記画像信号をフレームごとに記録するステップと、前記焦点調節中に撮影した前記画像信号の前記フレームのうち、一部の前記フレームを間引く間引き処理を行うステップと、を含み、前記間引き処理を行うステップでは、前記焦点調節を行うステップでの焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くすることを特徴とする動画撮影方法である。
また、本発明は、撮影レンズの位置を変化させることにより焦点調節を行いながら被写体像を撮影した画像信号を処理するプログラムであって、前記焦点調節中に撮影した前記画像信号のフレームのうち、一部の前記フレームを間引く間引き処理を行うステップをコンピュータに実行させるプログラムであって、前記間引き処理を行うステップでは、前記焦点調節を行うときの焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くすることを特徴とするプログラムである。
また、本発明は、撮影レンズの位置を変化させることにより焦点調節を行いながら被写体像を撮影した画像信号を処理する画像処理装置であって、前記焦点調節中に撮影した前記画像信号のフレームのうち、一部の前記フレームを間引く間引き処理を行い、前記間引き処理を行う際には、前記焦点調節を行うときの焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くすることを特徴とする画像処理装置である。

本発明によれば、焦点調節部は、撮影レンズを駆動させ、撮影レンズの位置を変化させることにより焦点調節を行う。また、撮影部は、被写体像を撮影し、画像信号を生成する。また、記録部は、画像信号をフレームごとに記録する。また、画像処理部は、焦点調節中に撮影した画像信号のフレームのうち、一部のフレームを間引く間引き処理を行う。これにより、レンズ位置を合焦位置に移動させる際に撮影したデジタル画像信号のフレームのうち、一部のフレームを間引く間引き処理を行うため、焦点調節中においても、より見やすい動画像を撮影することができる。

本発明の一実施形態における動画撮影装置の構成を示したブロック図である。 本実施形態における動画撮影装置の撮影動作手順の概略を示したフローチャートである。 本実施形態における動画撮影装置の焦点調節処理の処理手順の概略を示したフローチャートである。 本実施形態における焦点調整処理時の撮影レンズの位置と評価値との関係の一例を示した概略図である。 本実施形態において、焦点調節処理時に撮影したデジタル画像信号のフレームのうち一部のフレームを間引く間引き処理の一例を示した概略図である。 本実施形態において、焦点調節処理時に撮影したデジタル画像信号のフレームのうち一部のフレームを間引く間引き処理の一例を示した概略図である。 本実施形態のフレームの間引き処理において、非削除フレームを後続させる処理の一例を示した概略図である。 本実施形態のフレームの間引き処理において、非削除フレームを複製する処理の一例を示した概略図である。

以下、図面を参照しながら本発明の一実施形態について詳しく説明する。図１は、本実施形態における動画撮影装置１の構成を示したブロック図である。動画撮影装置１は、レンズユニット１１と本体２１とを備える。例えば、動画撮影装置１は、デジタル一眼レフカメラである。なお、レンズユニット１１は交換可能である。レンズユニット１１は、撮影レンズ１０１と、レンズ駆動部１０２と、レンズ位置制御部１０４と、データ記憶部１０５とを備える。

本体２１は、本体制御部２０１と、撮像素子２０２（撮影部）と、フロントエンド部２０３と、画像処理部２０４と、バッファメモリ２０５（記憶部）と、フラッシュメモリ２０６と、記憶媒体２０７と、合焦評価部２０８と、レンズ通信部２０９と、タイマー部２１０と、データ記憶部２１１と、焦点調節部２１２とを備える。

撮影レンズ１０１は、外部から入射した光線を透過するとともに屈折させ、撮像素子２０２の表面に照射する。レンズ駆動部１０２は、撮影レンズ１０１を支持する支持部材を有する。この支持部材は、移動方向が撮影レンズ１０１の光軸に平行となるように配置されている。レンズ駆動部１０２は、支持部材を移動させるモータ（電磁モータや超音波モータなど）と、モータを移動制御するための駆動回路を有する。駆動回路は、レンズ位置制御部１０４から入力された電力に基づいて、支持部材を移動させることにより撮影レンズ１０１の位置を移動させる。これにより、レンズ駆動部１０２は、撮影レンズ１０１を撮像素子２０２に接近又は遠ざかる方向に移動させることができる。

レンズ位置検出部１０３は、撮影レンズ１０１の位置を検出するエンコーダ装置を備える。エンコーダ装置は撮影レンズ１０１の位置の他、被写体距離及びズーム焦点距離を検出する。レンズ位置検出部１０３は、検出した撮影レンズ１０１の位置と、被写体距離情報と、ズーム焦点距離情報とをレンズ位置情報としてレンズ位置制御部１０４に出力する。

レンズ位置制御部１０４は、焦点調節部２１２において算出された駆動速度情報をレンズ通信部２０９及びインタフェース１０７を介して入力され、駆動速度情報に対応する駆動電圧情報をデータ記憶部１０５から読み出す。また、レンズ位置制御部１０４は、読み出した駆動電圧情報が示す電圧をレンズ駆動部１０２に供給する。また、レンズ位置制御部１０４は、レンズ位置検出部１０３から入力されたレンズ位置情報を、インタフェース１０７及びレンズ通信部２０９を介して焦点調節部２１２に出力する。

データ記憶部１０５は、駆動速度情報と駆動電圧情報とを対応付けて記憶する。データ記憶部１０５は、電源を断っても記憶内容が失われない不揮発性メモリであればよく、例えばEEPROM(electronically erasable Programmable Read-only Memory)を用いる。

インタフェース１０７は、レンズユニット１１と本体２１との両者間を接続する接続端子を有し、レンズユニット１１と本体２１との間で信号を送受信する。

本体制御部２０１は、本体２１が備える各部の制御を行う。撮像素子２０２は、撮影レンズ１０１の光軸上に配置される。撮像素子２０２は、結像される被写体の像を示す光線を光電変換してアナログ画像信号を生成し、これをフロントエンド部２０３に出力する。

フロントエンド部２０３は、撮像素子２０２から入力されるアナログ画像信号を、画像処理部２０４においてデジタル演算が可能となるようにゲイン調整したうえで、デジタル画像信号に変換する。ゲイン調整は、例えばＩＳＯ感度に応じて信号増幅する。また、フロントエンド部２０３は、変換したデジタル画像信号をフレームごとに画像処理部２０４と合焦評価部２０８とに出力する。

画像処理部２０４は、フロントエンド部２０３から入力されたデジタル画像信号を、フレームごとにバッファメモリ２０５に記録する。例えば、予め定められたデータ形式は、Motion JPEGやMPEG等である。

画像処理部２０４は、撮影レンズ１０１を合焦位置に移動させる際に撮影したデジタル画像信号のフレームのうち、一部のフレームを間引く間引き処理を実行する。間引き処理の詳細については後述する。

バッファメモリ２０５は、画像処理前の画像データや画像処理中の動画像データなどを一時的に記憶する。バッファメモリ２０５は、高速でデータの読み書きができる記憶素子であればよく、例えば、SDRAM（Synchronous Dynamic Random Access Memory）が用いられる。

フラッシュメモリ２０６と記憶媒体２０７とは、最終的に確定された動画像データを記憶する。フラッシュメモリ２０６は、動画撮影装置１に内蔵されるもの、例えばFlash ROM（Read-only Memory）が用いられる。記憶媒体２０７は、動画撮像装置１に着脱可能なもの、例えばメモリーカード、ハードディスクドライブ等が用いられる。何れも、電源の供給を断っても記憶された情報を保持するもの（不揮発性なもの）であればよい。

合焦評価部２０８は、フロントエンド部２０３から入力されたデジタル画像信号に基づきフレームごとに評価値を算出する。評価値は、光学系における合焦の程度を示す変数である。一般に、合焦状態で撮影した画像は、高周波数成分を多く含む点に注目したものである。評価値は、合焦状態で最大又は最小の極値を示す値となれば、いかなる変数を採用してもよい。例えば、撮影したデジタル画像信号から高域通過フィルタを用いて抽出した高周波成分のパワーの比率、輝度の大きさ、点像強度分布(PSF, Point Spread Function)の何れか又はこれらの任意の組み合わせを採用することができる。

本実施形態では、合焦評価部２０８は、評価値が合焦状態で最大値をとるものとして説明する。なお、本実施形態ではこれに限らず、評価値が合焦状態で最小値をとるものとしてもよく、評価値の大小関係を逆転させればよい。また、評価値を算出するためには、各フレームの一部の領域内のデジタル画像信号を用いても、各フレーム全体に含まれるデジタル画像信号を用いてもよい。

合焦評価部２０８は、算出した評価値に基づき撮影レンズ１０１を合焦位置に移動させるための駆動量情報Δｄを算出する。合焦評価部２０８は、タイマー部２１０から時刻情報を入力され、時刻情報と対応付けて評価値と駆動量情報とをデータ記憶部２１１と焦点調節部２１２とに記憶させる。

レンズ通信部２０９は、焦点調節部２１２から駆動速度情報を入力され、インタフェース１０７を介してレンズ位置制御部１０４に出力する。また、レンズ通信部２０９は、レンズ位置制御部１０４からインタフェース１０７を介してレンズ位置情報を入力され、焦点調節部２１２に出力する。なお、レンズ通信部２０９は、シリアル通信制御をハードウェア化した回路であり、レンズユニット１１とシリアル通信を高速に行う。タイマー部２１０は、逐次に時刻情報を生成し、画像処理部２０４と、合焦評価部２０８と、焦点調節部２１２とに出力する。

データ記憶部２１１は、本体制御部２０１を動作させるためのプログラムを記憶する。動画撮影装置１が利用者の操作による動作開始信号を検知したとき、本体制御部２０１はデータ記憶部２１１が記憶するプログラムを読み出して実行する。また、データ記憶部２１１は、画像処理部２０４における画像処理や焦点調節部２１２における撮影レンズ１０１の位置の制御に必要な参照データを記憶する。なお、データ記憶部２１１は、電源を断っても記憶内容が失われない不揮発性メモリであればよく、例えばEEPROMを用いる。

焦点調節部２１２は、合焦評価部２０８から入力された駆動量情報と、レンズ位置制御部１０４からインタフェース１０７及びレンズ通信部２０９を介して入力されたレンズ位置情報とに基づき、撮影レンズ１０１を移動させる駆動速度情報を算出する。なお、焦点調節部２１２は、レンズユニット１１の特性（レンズユニット１１が備える撮影レンズ１０１の位置と焦点距離との関係を示す特性）を記憶する記憶部を備えており、焦点調節部２１２は、この記憶部に記憶されたレンズ特性に基づいてレンズ駆動速度情報を算出する。また、焦点調節部２１２は、算出した駆動速度情報を、レンズ通信部２０９とインタフェース１０７とを介してレンズ位置制御部１０４に出力する。これにより、レンズ位置制御部１０４は、入力された駆動速度情報に対応する電力をレンズ駆動部１０２に供給し、後述するように撮影レンズ１０１を合焦位置に到達するまで移動させることができる。

次に、動画撮影装置１の動作について説明する。図２は、本実施形態における動画撮影装置１の撮影動作手順の概略を示したフローチャートである。撮影動作開始後、画像処理部２０４は、撮影したデジタル画像信号をフレームごとにバッファメモリ２０５に一時的に記録する（ステップＳ２０１）。合焦評価部２０８は、評価値が合焦状態にあるときの評価値よりも低下した場合に、被写体の焦点位置が移動したと判定する（ステップＳ２０２）。

ステップＳ２０２において、焦点調節部２１２が被写体の焦点位置が移動したと判定した場合（ステップＳ２０２；Ｙ）、動画撮影装置１は後述する焦点調節処理を実行する。このとき、画像処理部２０４は、焦点調節中に撮影した画像信号について後述する間引き処理を実行する（ステップＳ２０３）。その後、ステップＳ２０４に進む。

ステップＳ２０２において、焦点調節部２１２が、被写体の焦点位置が移動しなかったと判定した場合（ステップＳ２０２；Ｎ）にはステップＳ２０４に進む。

画像処理部２０４は、一時的に記憶した画像信号又は間引き処理を行った画像信号をバッファメモリ２０５から読み出し、フラッシュメモリ２０６又は記憶媒体２０７に記憶させる（ステップＳ２０４）。

次に、焦点調節処理の処理手順について説明する。一般的に光学系の焦点が合うほど撮像素子から得られる画像信号は高い周波数成分を多く含むようになる。従って、撮像素子から得られる画像信号に含まれる高い周波数成分を観測し、そのレベルが大きくなるように光学系を構成する撮影レンズを移動させることにより、被写体に焦点が合う位置にレンズを移動させることができる。このような焦点調節処理を山登りＡＦと称する。本実施形態では、山登りＡＦを用いる。

図３は、本実施形態における動画撮影装置１の焦点調節処理の処理手順の概略を示したフローチャートである。焦点調節処理は、（１）移動方向の決定と、（２）合焦位置の検出と、（３）合焦位置への移動との各過程を含んでいる。なお、撮影レンズ１０１を合焦位置に移動させる間に撮影した動画像は、見苦しい動画像であることがある。そのため、この間に撮影したデジタル画像信号のフレームのうち一部のフレームについて間引き処理を実行する。

以下、各過程ごとに実行する処理について説明する。
（１）移動方向の決定
焦点調節部２１２は、合焦評価部２０８から入力された駆動量に基づいて撮影レンズ１０１の駆動速度情報を算出する。また、焦点調節部２１２は、算出した駆動速度情報を、レンズ位置制御部１０４に出力する。これにより、撮影レンズ１０１は、合焦位置に接近する方向、又は遠ざかる方向の何れか一方向に移動する。また、焦点調節部２１２は、撮影レンズ１０１の移動開始を示す移動開始情報を対応付けてデータ記憶部２１１に記憶させる（ステップＳ３０１）。なお、移動開始前の撮影レンズ１０１の位置を、焦点調節開始位置とする。

焦点調節部２１２は、データ記憶部２１１が記憶する移動開始時における評価値を読み出し、現時刻の評価値が移動開始時の評価値よりも増加したか否か判定する（ステップＳ３０２）。焦点調節部２１２が、現時刻における評価値が移動開始時の評価値よりも増加したと判定した場合（ステップＳ３０２；Ｙ）には、駆動速度の正負、即ち撮影レンズ１０１の移動方向を変更せずに撮影レンズ１０１を移動させる（ステップＳ３０５）。

焦点調節部２１２が、現時刻における評価値が移動開始時よりも減少すると判定した場合（ステップＳ３０２；Ｎ）には、焦点調節部２１２は、駆動速度の正負、即ち撮影レンズ１０１の移動方向を反転させる（ステップＳ３０３）。その後、焦点調節部２１２は、撮影レンズ１０１の位置が移動開始位置に回帰したこと、つまり評価値が移動開始時の値と等しくなったことを検出する。このとき、焦点調節部２１２は、撮影レンズ１０１が移動開始位置を通過したことを示す移動開始位置通過情報と時刻情報を関連付けてデータ記憶部２１１に記憶させる。

画像処理部２０４は、移動開始時から移動方向が反転し、撮影レンズ１０１の位置が移動開始位置に回帰するまでの期間（以下、移動開始位置回帰期間）に撮影したデジタル画像信号のフレームについて間引き処理を実行する（ステップＳ３０４）。画像処理部２０４は、移動開始位置回帰期間を検知するために、移動開始情報及び移動開始位置通過情報に各々対応する時刻情報をデータ記憶部２１１から読み出しておく。焦点調節部２１２は、前述の正負を反転させた駆動速度に基づき撮影レンズ１０１を移動させる（ステップＳ３０５）。

（２）合焦位置の検出
焦点調節部２１２は、評価値をデータ記憶部２１１から読み出し、現時刻における評価値が前時刻よりも減少したか否か判定する（ステップＳ３０６）。焦点調節部２１２が、現時刻における評価値が前時刻より増加したと判定した場合（ステップＳ３０６；Ｎ）には、焦点調節部２１２は、駆動速度の正負を変更させず撮影レンズ１０１をそのまま移動させる（ステップＳ３０５）。焦点調節部２１２が、現時刻における評価値が前時刻よりも減少したと判定した場合（ステップＳ３０６；Ｙ）には、焦点調節部２１２は、駆動速度の正負を反転させ、撮影レンズ１０１の移動方向を反転させる（ステップＳ３０７）。このときの前時刻における評価値が最大値となる。つまり、このときの前時刻における撮影レンズ１０１の位置が合焦位置となる。焦点調節部２１２は、撮影レンズ１０１が合焦位置を通過したことを示す合焦位置通過情報と前時刻における時刻情報とを対応付けてデータ記憶部２１１に記憶させる。なお、撮影レンズ１０１の位置が移動開始位置に回帰した時刻から合焦位置を通過するまでの期間を合焦位置進行期間と称する。

（３）合焦位置への移動
焦点調節部２１２は、正負が反転した駆動速度に基づき、撮影レンズ１０１を合焦位置で停止するまで移動させる（ステップＳ３０８）。そのために、例えば、データ記憶部２１１は、現時刻の撮影レンズ１０１の位置から合焦位置（即ち、前時刻の撮影レンズ１０１の位置）までの距離と駆動速度の正負を反転した後、合焦位置において撮影レンズ１０１が停止するまでに要する移動時間との対応関係を予め記憶しておく。焦点調節部２１２は、現時刻の撮影レンズ１０１の位置と、前時刻の撮影レンズ１０１の位置との距離に対応する移動時間をデータ記憶部２１１から読み出す。

焦点調節部２１２は、移動時間の間、正負が反転させた駆動速度を駆動速度情報としてレンズ位置制御部１０４に出力する。移動時間が経過した後、焦点調節部２１２は、駆動速度を零とする駆動速度情報をレンズ位置制御部１０４に出力する。これにより、撮影レンズ１０１は、合焦位置に回帰して停止する。焦点調節部２１２は、撮影レンズ１０１の位置が合焦位置に回帰したこと、即ち評価値が再度最大値になったことを検知し、合焦位置到達情報とその時点の時刻情報とを関連付けてデータ記憶部２１１に記憶させる。なお、撮影レンズ１０１の位置が合焦位置を通過してから回帰するまでの期間を合焦位置回帰期間と称する。

画像処理部２０４は、合焦位置回帰期間内に撮影したデジタル画像信号のフレームのうち、一部のフレームを間引く間引き処理を実行する（ステップＳ３０９）。なお、画像処理部２０４は、合焦位置通過情報及び合焦位置到達情報に各々対応する時刻をデータ記憶部２１１から読み出すことにより、合焦位置回帰期間を検知する。その後、焦点調節処理を終了する。

次に、焦点調節処理が実行されている間の撮影レンズ１０１の位置と評価値の関係について図４を用いて説明する。図４は、動画撮影処理１による焦点調整処理時の撮影レンズ１０１の位置と評価値との関係の一例を示した概略図である。図４の縦軸は評価値を示し、横軸は撮影レンズ１０１の位置を示す。矢印は、(1)移動方向の決定と、(2)合焦位置の検出と、(3)合焦位置への移動との各過程における撮影レンズ１０１の位置の変化を示す。また、区間(a)は移動開始位置回帰期間、区間(b)は合焦位置進行期間、区間(c)は合焦位置回帰期間、の各期間において撮影レンズ１０１の位置がとりうる範囲を示す。

ここで、(1)移動方向の決定において、撮影レンズ１０１が移動開始当初から合焦位置に接近する場合には（実線矢印）、撮影レンズ１０１が合焦位置に到達するまで、評価値は単調に増加する。また、(2)合焦位置の検出において、撮影レンズ１０１が合焦位置を通過すると評価値が減少する。また、(3)合焦位置への移動において、撮影レンズ１０１の移動方向が反転すると、合焦位置に達するまで再度評価値が増加する。

一方、(1)移動方向の決定において、撮影レンズ１０１が移動開始当初、合焦位置から遠ざかる場合には（破線矢印）、撮影レンズ１０１の移動方向が反転するまで評価値は減少する。移動方向が反転し、移動開始位置に回帰した後の評価値の変化は、上記と同様である。

つまり、(a)移動開始位置回帰期間では、評価値の傾きを検出するために、撮影レンズ１０１の位置を一方向ではなく前後に動かす。そのため、焦点も前後に動く。また、(c)合焦位置回帰期間では、評価値の極値を検出するために、撮影レンズ１０１の位置を、評価値の極値となる位置を通り過ぎた後に、評価値の極値となる位置に移動させる。そのため、焦点も前後に動く。また、焦点が前後に動いた場合に撮影した動画像は、焦点が徐々に合う動画像と、焦点が徐々に合わない動画像とが繰り返し表示される「ぶれた動画像」となる。従って、(a)移動開始位置回帰期間および(c)合焦位置回帰期間において、動画撮影装置１が撮影した動画像は「ぶれた動画像」となり、見苦しくなる可能性がある。

また、(b)合焦位置進行期間において、撮影レンズ１０１の位置が合焦位置まで距離がある場合、撮影レンズ１０１を合焦位置までは高速で一気に移動させ、合焦位置付近では低速でゆっくり焦点となる位置に合わせると、このときに撮影した動画像は見やすい動画像となる。しかしながら、動画像の撮影時には合焦位置を判別することができないため、自動焦点調節中の撮影レンズ１０１の移動速度は等速となる。そのため、動画撮影装置１が撮影した動画像は見やすい動画像ではない可能性がある。

そこで、本実施形態では、画像処理部２０４が、焦点調節処理中に撮影したデジタル画像信号のフレームのうち一部のフレームを間引く間引き処理を実行することで、動画撮影装置１は、より見やすい動画像を撮影することができる。以下、焦点調節処理時に撮影したデジタル画像信号のフレームのうち一部のフレームを間引く間引き処理について説明する。

図５は、(a)移動開始位置回帰期間および(c)合焦位置回帰期間において、動画撮影装置１が撮影したデジタル画像信号のフレームのうち一部のフレームを間引く間引き処理の一例を示した概略図である。図示する例では、焦点調節処理時のうち、(a)移動開始位置回帰期間および(c)合焦位置回帰期間において撮影したデジタル画像のフレームを全て間引いている（削除している）。これにより、(a)移動開始位置回帰期間および(c)合焦位置回帰期間において撮影した「ぶれた動画像」を無くすことができ、動画撮影装置１は、より見やすい動画像を撮影することができる。なお、(a)移動開始位置回帰期間および(c)合焦位置回帰期間において撮影したデジタル画像のフレームを全て間引くのではなく、一部のみを間引くようにしてもよい。

図６は、(b)合焦位置進行期間において、動画撮影装置１が撮影したデジタル画像信号のフレームのうち一部のフレームを間引く間引き処理の一例を示した概略図である。図示する例では、焦点調節処理時のうち、(b)合焦位置進行期間において撮影したデジタル画像のフレームのうち、一部のフレームを間引いている。また、図示する例では、撮影レンズ１０１の位置が合焦位置から遠ざかるほど間引き率を高くし、撮影レンズ１０１の位置が合焦位置に近づくにつれて間引き率を低くしている。これにより、撮像装置１は、レンズを合焦位置までは高速で一気に移動させ、合焦位置付近では低速でゆっくり焦点となる位置に合わせるように撮影した動画像と同様の動画像を撮影することができる。

なお、間引き率を与えるために、例えば、データ記憶部２１１は予め、撮影レンズ１０１の位置から合焦位置までの距離と間引き率の対応関係を予め記憶しておく。例えば、撮影レンズ１０１の位置から合焦位置までの距離が動画撮影装置１の設計上の最大値をとる場合に最大間引き率となり、撮影レンズ１０１の位置が合焦位置と一致した場合に間引き率を０となるように、撮影レンズ１０１の位置から合焦位置までの距離と間引き率とが比例する関係を予め記憶しておく。

そして、画像処理部２０４は、バッファメモリ２０５から間引き処理を行う期間におけるデジタル画像信号を読み出し、データ記憶部２１１から間引き処理を行う期間内の時刻ごとに対応する撮影レンズ１０１の位置と評価値とを読み出す。画像処理部２０４は、読み出した評価値が最大となる撮影レンズ１０１の位置を合焦位置と決定する。これにより画像処理部２０４は、現在の撮影レンズ１０１の位置から合焦位置までの距離を決定する。そして、画像処理部２０４は、その距離に対応する間引き率を、データ記憶部２１１が記憶する撮影レンズ１０１の位置から合焦位置までの距離と間引き率の対応関係に基づいて算出する。そして、画像処理部２０４は、算出した間引き率に基づいて対応する時刻のフレームについて間引き処理を実行する。これにより、撮影レンズ１０１の位置が合焦位置に近づくにつれて間引き率を低くすることができる。なお、画像処理部２０４は、合焦位置を決定した後で間引き処理を実行する。例えば、画像信号の記録が終了し、動画撮像装置１が利用者の操作による撮影停止信号を検知した後で、画像処理部２０４は間引き処理を実行する。

次に、間引き処理の処理方法について説明する。以下、間引き処理の処理方法として、(i)対象区間内の一部のフレームを削除し、次時刻のフレームとして次の非削除フレームを順次後続させる処理方法と、(ii)対象区間内の一部のフレームを削除し、削除されたフレームの代わりに直前又は直後に非削除フレームを複製して配置する処理方法とについて、図７及び図８を用いて詳しく説明する。

図７は、フレームの間引き処理において非削除フレームを後続させる処理(i)の一例を示した概略図である。例えば、間引き率を総フレーム数の間引き後のフレーム数に対する倍数と定め、仮に４とする。図７（Ａ）に示すように、１番目のフレームを削除しないものとすると、画像処理部２０４は、２〜４番目のフレームを削除し、５番目のフレームを削除せずに１番目のフレームに後続させる。同様に、画像処理部２０４は、６〜８番目のフレームを削除し、９番目のフレームを削除せずに５番目のフレームに後続させる。このように間引き処理を行った後の動画像に含まれるフレームは、図７（Ｂ）に示すように、フレーム１，５，９となる。

上述した処理を繰り返すことにより、(i)の間引き処理を施した動画像を再生すると、早送りと同様な効果が得られる。また、間引き率が高いほど早送りの速度が速くなる。そのため、レンズの位置が合焦位置まで距離がある場合において、撮影レンズ１０１の位置が合焦位置から遠ざかるほど間引き率を高くし、撮影レンズ１０１の位置が合焦位置に近づくにつれて間引き率を低くすると、レンズを合焦位置までは高速で一気に移動させ、合焦位置付近では低速でゆっくり焦点となる位置に合わせるように撮影した動画像と同様の動画像を撮影ことができる。すなわち、見やすい動画像を撮影することができる。

図８は、フレームの間引き処理において非削除フレームを複製する処理(ii)の一例を示した概略図である。この例においても、間引き率を仮に４とする。図８（Ａ）に示すように、１番目のフレームを削除しないものとすると、画像処理部２０４は、２〜４番目のフレームを削除する。そして、画像処理部２０４は、削除した２〜４番目のフレームの代わりに、１番目のフレームを複製したフレーム１ａ〜１ｃを生成して充当する。同様に、５番目のフレームを削除しないものとすると、画像処理部２０４は、６〜８番目のフレームを削除する。そして、画像処理部２０４は、削除した６〜８番目のフレームの代わりに、５番目のフレームを複製したフレーム５ａ〜５ｃを生成して充当する。このように間引き処理を行った後の動画像に含まれるフレームは、図８（Ｂ）に示すように、フレーム１，１ａ，１ｂ，１ｃ，５，５ａ，５ｂ，５ｃとなる。

上述した処理を繰り返すことにより、(ii)の処理を施した動画像を再生すると、非削除フレームによる画像が継続して表示される。これにより、再生速度を変更することなくフレームを間引くことができる。

また、撮影レンズ１０１の位置が移動する期間(a)-(c)毎に、間引き処理の種別(i)又は(ii)を使い分けることにより、更に見やすい動画像を撮影することができる。また、撮影レンズ１０１の位置が移動する期間(a)-(c)のうち、一部の期間において撮影したデジタル画像信号のフレームについてのみ、間引き処理を実行するようにしてもよい。また、動画撮影装置１が有する撮影モードにより間引き処理を実行するか否か、又は間引き処理の種別を変更できるようにしてもよい。例えば、焦点距離が短い広角レンズを用いる場合、撮影レンズ１０１の位置の調整に要する時間がごく短時間に過ぎないため、間引き処理を実行しない設定とするなど、最適な処理を実行するようにしてもよい。

なお、画像処理部２０４が、動いている被写体を撮影したデジタル画像信号のフレームについて間引き処理を行うと、被写体の動作を正しく再生することができない場合がある。例えば、動いている被写体を撮影したデジタル画像信号のフレームについて、上記の(i)の処理を行った場合、被写体の動きが断片的となる場合がある。また、動いている被写体を撮影したデジタル画像信号のフレームについて、上記の(ii)の処理を行った場合、被写体の動きが一時的に停止したように見える場合がある。そこで、被写体が動いている間に撮影した画像のフレームについては、間引き処理を行わないこととしてもよい。そのために、焦点調節部２１２は、入力されたレンズ位置情報に含まれる被写体距離情報に基づいて被写体が動いているか否か検知し、被写体移動情報として時刻情報と対応付けてデータ記憶部２１１に記憶する。そして、画像処理部２０４は、データ記憶部２１１から被写体移動情報と時刻情報を対応付けて読み出し、被写体が動いていることを検知した期間に撮影したデジタル画像信号のフレームについては、間引き処理を実行しないこととするようにしてもよい。

上述したとおり、本実施形態によれば、動画撮影装置１は、撮影レンズ１０１の位置を合焦位置に移動させる際に撮影したデジタル画像信号のフレームのうち、一部のフレームを間引く間引き処理を行うため、より見やすい動画像を撮影することができる。また、撮影レンズ１０１の位置が合焦位置から遠ざかるほど間引き率を高くし、撮影レンズ１０１の位置が合焦位置に近づくにつれて間引き率を低くすると、レンズを合焦位置までは高速で一気に移動させ、合焦位置付近では低速でゆっくり焦点となる位置に合わせるように撮影した動画像と同様の動画像を撮影することができる。すなわち、見やすい動画像を撮影することができる。また、撮影レンズ１０１の位置が焦点調節開始位置に近い区間において間引き率を高くした場合、(a)移動開始位置回帰期間において撮影した「ぶれた動画像」を無くすことができるため、動画撮影装置１は、より見やすい動画像を撮影することができる。また、撮影レンズ１０１の位置が合焦位置に近い区間において間引き率を高くした場合、(c)合焦位置回帰期間において撮影した「ぶれた動画像」を無くすことができるため、動画撮影装置１は、より見やすい動画像を撮影することができる。

なお、上述した実施形態における動画撮影装置の一部、例えば、レンズ位置制御部１０４、本体制御部２０１、画像処理部２０４、合焦評価部２０８、タイマー部２１０及び焦点調節部２１２の一部又は全部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画撮影装置又は動画撮影装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における動画撮影装置及び動画撮影装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。動画撮影装置及び動画撮影装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…動画撮影装置、１１…レンズユニット、１０１…撮影レンズ、１０２…レンズ駆動部、１０３…レンズ位置検出部、１０４…レンズ位置制御部、１０５…データ記憶部、１０７…インタフェース、２１…本体、２０１…本体制御部、２０２…撮像素子、２０３…フロントエンド部、２０４…画像処理部、２０５…バッファメモリ、２０６…フラッシュメモリ、２０７…記憶媒体、２０８…合焦評価部、２０９…レンズ通信部、２１０…タイマー部、２１１…データ記憶部、２１２…焦点調節部

Claims (7)

1. 撮影レンズを駆動させ、当該撮影レンズの位置を変化させることにより焦点調節を行う焦点調節部と、
   被写体像を撮影し、画像信号を生成する撮影部と、
   前記画像信号をフレームごとに記録する記録部と、
   前記焦点調節中に撮影した前記画像信号の前記フレームのうち、一部の前記フレームを間引く間引き処理を行う画像処理部と、
   を有し、
   前記画像処理部は、前記焦点調節部による焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くする
   ことを特徴とする動画撮影装置。
2. 前記焦点調節部が前記撮影レンズの駆動方向を変更した場合、前記画像処理部は、前記焦点調節部が前記撮影レンズを合焦方向と反対方向に駆動した際に撮影した前記フレームの間引き処理を行う
   ことを特徴とする請求項１に記載の動画撮影装置。
3. 前記間引き処理は、前記一部のフレームを削除し、次時刻のフレームとして次の非削除フレームを順次後続させる第１の間引き処理と、前記一部のフレームを削除し、削除されたフレームの代わりに直前または直後の非削除フレームを複製して配置する第２の間引き処理のいずれかであって、
   前記画像処理部は、前記撮影レンズの駆動方向を決定する移動開始位置回帰期間と、前記撮影レンズを合焦位置を通過するまで移動させる合焦位置進行期間と、前記撮影レンズが前記合焦位置を通過した後に、前記撮影レンズを前記合焦位置まで移動させる合焦位置回帰期間と、に応じて、前記第１の間引き処理と前記第２の間引き処理のいずれかを選択する
   ことを特徴とする請求項１に記載の動画撮影装置。
4. 前記画像処理部は、被写体が動いている期間中は、前記間引き処理を停止する
   ことを特徴とする請求項１に記載の動画撮影装置。
5. 撮影レンズを駆動させ、当該撮影レンズの位置を変化させることにより焦点調節を行うステップと、
   被写体像を撮影し、画像信号を生成するステップと、
   前記画像信号をフレームごとに記録するステップと、
   前記焦点調節中に撮影した前記画像信号の前記フレームのうち、一部の前記フレームを間引く間引き処理を行うステップと、
   を含み、
   前記間引き処理を行うステップでは、前記焦点調節を行うステップでの焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くする
   ことを特徴とする動画撮影方法。
6. 撮影レンズの位置を変化させることにより焦点調節を行いながら被写体像を撮影した画像信号を処理するプログラムであって、
   前記焦点調節中に撮影した前記画像信号のフレームのうち、一部の前記フレームを間引く間引き処理を行うステップ
   をコンピュータに実行させるプログラムであって、
   前記間引き処理を行うステップでは、前記焦点調節を行うときの焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くする
   ことを特徴とするプログラム。
7. 撮影レンズの位置を変化させることにより焦点調節を行いながら被写体像を撮影した画像信号を処理する画像処理装置であって、
   前記焦点調節中に撮影した前記画像信号のフレームのうち、一部の前記フレームを間引く間引き処理を行い、
   前記間引き処理を行う際には、前記焦点調節を行うときの焦点調節期間が長い場合、前記撮影レンズの位置が合焦位置への駆動開始位置に近い区間において、前記フレームを間引く間引き率を高くする
   ことを特徴とする画像処理装置。

Images