JP5219678B2 - 撮像装置 - Google Patents

Description

本発明は、撮像した動画像を符号化して圧縮記録する撮像装置に関するものである。

近年、画像圧縮技術が進み、高精細なハイビジョン映像が手軽に市販のビデオカメラなどの撮像装置にて撮影できるようになりつつある。

従来の撮像装置について、図７を用いて説明する。図７において、１０１は固定されている第１固定レンズ群、１０２は変倍を行う変倍レンズ群（以下、ズームレンズ）、１０３は絞り、１０４は固定されている第２固定レンズ群である。１０５は焦点調節機能と変倍による焦点面の移動を補正するいわゆるコンペ機能を兼ね備えたレンズ群（以下、フォーカスレンズ）である。上記第１固定レンズ群１０１からフォーカスレンズ１０５により撮像光学系が構成される。

１０６はＣＣＤやＣＭＯＳなどより成る撮像素子である。１０７はアナログ信号処理部であり、撮像素子１０６で得られた信号に所定の処理を施してアナログ撮像信号を生成するものである。このアナログ信号処理部１０７は、例えばＣＤＳ（ｃｏ−ｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路等から構成されている。

１０８はカメラ信号処理部であり、内蔵しているＡ／Ｄ変換器によりアナログ信号処理部１０７で生成されたアナログ撮像信号をデジタル信号に変換し、ガンマ補正、ホワイトバランス等、所定の信号処理をしたデジタル映像信号を生成する。１２５は符号化処理部であり、カメラ信号処理部１０８で生成されたデジタル映像信号をＪＰＥＧやＭＰＥＧなどの符号化方式で符号化する。１０９は符号化処理部１２５で符号化された動画や静止画を記録する記録部であり、記録媒体としては磁気テープの他に、ＤＶＤ、ハードディスク、半導体メモリなどが使われている。

１１０は表示処理部であり、カメラ信号処理部１０８からのデジタル映像信号を表示部１１１に合わせた映像信号に処理し、ビューファインダ（ＥＶＦ）や液晶パネル（ＬＣＤ）等の表示部１１１に撮影画像として表示させる。

１１２はアナログ信号処理部１０７のＡＧＣ回路で増幅された映像信号が入力するＡＦゲート１１２であり、フォーカスレンズ１０５の合焦のために最適な信号を取り出す範囲を全画面のうちから設定する。このゲートの大きさは可変であり、また複数設けられる場合もある。１１３は焦点検出に用いられる高周波成分、低周波成分及び輝度差成分（映像信号の輝度レベルの最大値と最小値の差分）を抽出するＡＦ（オートフォーカス）信号処理部である。１１５はアナログ信号処理部１０７のＡＧＣ回路で増幅された映像信号が入力する絞り制御部である。

１１４はカメラシステム制御用マイコン（以下、カメラマイコン）であり、カメラ信号処理部１０８の駆動制御や出力信号制御を行うと同時に、ＡＦ信号処理部１１３の出力信号に基づいてフォーカスレンズ１０５を制御する。また、操作スイッチ１２３の操作情報を読み込んでズーム／フォーカスの制御も行う。操作スイッチ１２３は、操作者がフォーカスモードをＡＦとＭＦ（マニュアルフォーカス）との間で切り換えるＡＦ／ＭＦ切換スイッチ、フォーカスレンズをマニュアルで動かすＭＦボリューム、倍率を変えるズームボリュームなどを備えたスイッチ群である。そして、この操作スイッチ１２３としては、一つのスイッチで各機能を切り換えて操作するタイプもあれば、機能毎にスイッチを備えるタイプもある。

カメラマイコン１１４は、操作スイッチ１２３に含まれるＡＦ／ＭＦ切換スイッチの状態がＡＦであれば、ＡＦ信号処理部１１３の出力信号レベルに基づく駆動命令を後述のモータ駆動用ドライバ１１９に出力する。また、ＭＦであれば、ＭＦボリュームの操作量に応じた駆動命令をモータ駆動用ドライバ１１９に出力する。また、ズームボリュームの操作量に応じた駆動命令を後述のモータ駆動用ドライバ１１８に出力する。なお、ＭＦボリュームやズームボリュームは、ダイヤルキーやシーソーキーなどの操作キーでもよいし、レンズ鏡筒に嵌合したリング部材のものでもよい。

１１８及び１１９は、それぞれズームレンズ１０２及びフォーカスレンズ１０５に対してカメラマイコン１１４から出力される駆動命令に従って駆動エネルギーを後述のモータ１２０，１２１に出力するための電流波形変更可能なモータ駆動用ドライバである。１２０はズームレンズ１０２を駆動するためのズームモータであり、１２１はフォーカスレンズ１０５を駆動するためのフォーカスモータである。

絞り１０３は、適性露光量を維持するように絞り制御部１１５により駆動される。絞り制御部１１５はアナログ信号処理部１０７の出力信号のレベルを検出し、このレベルが一定レベル（適性露光量）でないときは一定レベルにするための絞り量制御信号を発生する。この絞り量制御信号は、ＩＧドライバ１１６に出力されてＩＧメータ１１７によって適性露光量となるように絞り１０３が駆動される。エンコーダ１２２は、ＩＧメータ１１７の絞り状態を検出し、絞り制御部１１５にフィードバックする。

図７のように構成されたカメラシステムにおいて、カメラマイコン１１４は、ＡＦ信号処理部１１３の出力信号レベルが最大となるように、フォーカスレンズ１０５を移動させることにより、自動焦点調節（ＡＦ動作）を行う。

ここで、上記ＡＦ動作について説明する。ビデオカメラのＡＦ装置は、ＴＶＡＦ方式が主である。被写体像を撮像素子等により光電変換して得られた映像信号から画面の鮮鋭度を検出し、その値、すなわちＡＦ評価値が最大となるようにフォーカスレンズ１０５を移動制御して焦点調節を行うものである。ＡＦ評価値としては、一般に、ある帯域のバンドパスフィルタにより抽出された映像信号の高周波成分を用いている。この映像信号の高周波成分は、通常、被写体像を撮影した場合、図８のようにそのＡＦ評価値が最大になる点が合焦点（合焦位置）となる。

次に、図９のフローチャートを用いて、カメラマイコン１１４による動画撮影時のＴＶＡＦ制御について説明する。

図９において、カメラマイコン１１４は、ステップ＃３０１より動画ＡＦ処理を開始し、まず、ステップ＃３０２にて、フォーカスレンズ１０５を微小駆動する。次に、ステップ＃３０３にて、その微小駆動により合焦したか否かを判定し、合焦していれば後述のステップ＃３１３へ進み、合焦していなければステップ＃３０４へ進む。

合焦していないとしてステップ＃３０４へ進むと、カメラマイコン１１４は、上記の微小駆動により合焦方向を判別できたか否かを判定する。その結果、合焦方向を判別できなかった場合はステップ＃３０２に戻り、同様の動作を繰り返す。一方、合焦方向を判別できた場合はステップ＃３０５へ進み、いわゆる山登り駆動により、ＡＦ評価値が大きくなる方向へ高速でフォーカスレンズ１０５を移動させる。そして、次のステップ＃３０６にて、山登り駆動によりＡＦ評価値がピークを越えたか否かを判定し、ピークを越えていなければステップ＃３０５へ戻り、山登り駆動を継続する。

上記ステップ＃３０６にてピークを越えた事を判定するとステップ＃３０７へ進み、カメラマイコン１１４は、山登り駆動中のＡＦ評価値のピークに戻すためにフォーカスレンズ１０５を逆方向に駆動する。そして、次のステップ＃３０８にて、ＡＦ評価値がピーク（図８の合焦点）に達したか否かを判定し、ピークに達していない場合はステップ＃３０７に戻り、ＡＦ評価値のピークに戻す動作を継続する。一方、ピークに達している場合、ステップ＃３０２に戻り、フォーカスレンズ１０５を微小駆動することにより、次の動画の合焦位置をサーチする。

上記ステップ＃３０３にて合焦したと判定した場合は、カメラマイコン１１４は、上記したようにステップ＃３１３へ進み、フォーカスレンズ１０５を停止する。そして、次のステップ＃３０９にて、合焦した際のＡＦ評価値を記憶しておき、再起動判定の処理部分に入る。続くステップ＃３１０では、上記ステップ＃３０９で保持したＡＦ評価値を取得し、次のステップ＃３１１にて、上記ステップ＃３１０で取得したＡＦ評価値と前回のＡＦ評価値とを比較する。そして、所定レベル以上の差があれば再起動する必要があると判定してステップ＃３０２に戻り、微小駆動動作を再開する。一方、再起動する必要がないと判定した場合はステップ＃３１２へ進み、フォーカスレンズ１０５をそのまま停止した状態で維持し、以後の動画に対応するためにステップ＃３１０へ戻り、再起動判定処理を継続する。

以上のように、カメラマイコン１１４は、再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながら、フォーカスレンズ１０５の駆動制御を行うことにより、ＡＦ評価値を常に最大にするように制御する構成となっている。

次に、図９のステップ＃３０２にて実行される微小駆動動作について、図１０のフローチャートを用いて説明する。なお、下記の説明においてＭｏｄｅ（モード）とは、フォーカスレンズ１０５の動きに応じて微小駆動動作の処理を切り換えるための変数であり、０〜３の４つの整数値を取る巡回カウンタ値である。各Ｍｏｄｅは、至近側のレンズ位置における処理（Ｍｏｄｅ＝０）、フォーカスレンズを無限に駆動する処理（Ｍｏｄｅ＝１）、無限側のレンズ位置における処理（Ｍｏｄｅ＝２）、フォーカスレンズを至近に駆動する処理（Ｍｏｄｅ＝３）、の４つの処理からなる。

ステップ＃４０１より微小駆動動作の処理を開始し、まずステップ＃４０２にて、現在のＭｏｄｅ（モード）が０か否かを判定し、０であればステップ＃４０３へ進み、後述の至近側のレンズ位置における処理を行い、０でなければステップ＃４１２へ進む。

《至近側のレンズ位置における処理》
ステップ＃４０３では、ＡＦ評価値を取り込む。このＡＦ評価値は後述のＭｏｄｅ＝２で無限側にフォーカスレンズ１０５がいる時にＣＣＤ等の撮像素子１０６に蓄積された電荷から作られた映像信号によるものになる。そして、次のステップ＃４０４にて、上記ステップ＃４０３で取り込んだＡＦ評価値を無限側ＡＦ評価値として保存し、ステップ＃４０５へ進む。

次のステップ＃４０５では、所定回数１（山登り方向を判定するための任意の回数）、連続して合焦方向と判定される方向が同一であればステップ＃４０８へ進み、そうでなければステップ＃４０６へ進む。ステップ＃４０６へ進むと、これまでの所定期間におけるフォーカスレンズ１０５の平均位置を合焦点として演算する。そして、次のステップ＃４０７にて、所定回数２（合焦と判定するための任意の繰り返し回数）、フォーカスレンズ１０５が同一エリアで往復を繰り返していればステップ＃４０９へ進み、合焦判定できたとする。その後はステップ＃４１１へ進み、処理を終了して図９のステップ＃３１３へ進み、合焦停止・再起動判定へ移行する。

また、上記ステップ＃４０７にて所定回数２、フォーカスレンズ１０５が同一エリアで往復を繰り返していないと判定した場合はステップ＃４１０へ進む。そして、ここではＭｏｄｅを加算（４以上になった場合は０に戻し、０，１，２，３の巡回カウンタ値を決定する）してステップ＃４１１へ進み、本処理を抜け、図９のステップ＃３０３へ進む。

上記ステップ＃４１０→ステップ＃４１１に至る処理で、図１０の処理を終了した場合には、図９のステップ＃３０３，３０４で共にＮＯと判定され、再びステップ＃３０２の微少駆動処理（図１０のステップ＃４０１から）を継続することになる。

上記ステップ＃４０５にて所定回数１、連続して合焦方向と判定される方向が同一であるとしてステップ＃４０８へ進んだ場合、該ステップ＃４０８にて方向判定できたとする。その後はステップ＃４１１へ進み、処理を終了し、図９のステップ＃３０５へ進み、山登り駆動へ移行する。

上記ステップ＃４０２にて現在のＭｏｄｅが０でないと判定した場合は上記したようにステップ＃４１２へ進み、ここでは現在のＭｏｄｅが１か否かを判定する。その結果、１であればステップ＃４１３へ進み、後述のレンズを無限に駆動する処理を行い、そうでなければステップ＃４１８へ進む。

《レンズを無限に駆動する処理》
ステップ＃４１３では、振動振幅、中心移動振幅を演算する。ここでは詳しく述べないが、焦点深度を基準に、焦点深度が浅い時は振幅を小さく、焦点深度が深いときは振幅を大きくするのが一般的である。次のステップ＃４１４では、前述のＭｏｄｅ＝０における無限側ＡＦ評価値と後述のＭｏｄｅ＝２における至近側ＡＦ評価値を比較し、無限側ＡＦ評価値が至近側ＡＦ評価値よりも大きければステップ＃４１５へ進む。一方、無限側ＡＦ評価値が至近側ＡＦ評価値よりも小さければステップ＃４１６へ進む。

ステップ＃４１５へ進むと、駆動振幅を、
駆動振幅＝振動振幅＋中心移動振幅
とする。また、ステップ＃４１６へ進むと、駆動振幅を、
駆動振幅＝振動振幅
とする。その後は何れの場合もステップ＃４１７へ進む。

ステップ＃４１７では、無限方向へ、上記ステップ＃４１５あるいはステップ＃４１６で決められた振幅で駆動する。その後は前述したステップ＃４０５以降の動作を行う。

現在のＭｏｄｅが１でないとしてステップ＃４１２からステップ＃４１８へ進むと、ここでは現在のＭｏｄｅが２であるか否かを判定する。その結果、Ｍｏｄｅが２であればステップ＃４１９へ進み、後述の無限のレンズ位置における処理、そうでなければステップ＃４２１へ進む。

《無限側のレンズ位置における処理》
ステップ＃４１９では、ＡＦ評価値を取り込む。このＡＦ評価値は前述のＭｏｄｅ＝０で至近側にフォーカスレンズ１０５がいる時に撮像素子１０６に蓄積された電荷から作られた映像信号によるものになる。次のステップ＃４２０では、上記ステップ＃４１９で取り込んだＡＦ評価値を至近側ＡＦ評価値として保存する。その後は前述したステップ＃４０５以降の動作を行う。

《レンズを至近に駆動する処理》
ステップ＃４２１では、振動振幅、中心移動振幅を演算する。ここでは詳しく述べないが被写体深度を基準に、被写体深度が浅い時は振幅を小さく、被写体深度が深いときは振幅を大きくするのが一般的である。次のステップ＃４２２では、前述のＭｏｄｅ＝０における無限側ＡＦ評価値と前述のＭｏｄｅ＝２における至近側ＡＦ評価値を比較し、至近側ＡＦ評価値が無限側ＡＦ評価値よりも大きければステップ＃４２３へ進む。一方、至近側ＡＦ評価値が無限側ＡＦ評価値よりも小さければステップ＃４２４へ進む。

ステップ＃４２３へ進むと、駆動振幅を、
駆動振幅＝振動振幅＋中心移動振幅
とする。また、ステップ＃４２４へ進むと、駆動振幅を、
駆動振幅＝振動振幅
とする。その後はいずれの場合もステップ＃４２５へ進む。

ステップ＃４２５では、無限方向へ、上記ステップ＃４２３あるいはステップ＃４２４で決められた振幅で駆動する。その後は前述したステップ＃４０５以降の動作を行う。

上記フォーカスレンズ動作の時間経過を示したのが、図１１である。図１１において、横軸は時間、縦軸はレンズ位置である。図１１の上部に示した、下に凸の周期は映像信号の垂直同期信号を示している。

ここで、Ａの間にＣＣＤ等の撮像素子１０６に蓄積された電荷（斜線楕円）に対するＡＦ評価値ＥＶａが時刻Ｔａで取り込まれ、Ｂの間に撮像素子１０６に蓄積された電荷（斜線楕円）に対するＡＦ評価値ＥＶｂが時刻Ｔｂで取り込まれる。時刻Ｔｃでは、ＡＦ評価値ＥＶａ、ＥＶｂを比較し、ＥＶｂ＞ＥＶａであれば振動中心を移動させ、一方、ＥＶａ＞ＥＶｂであれば振動中心を移動させない。

次に、図７の符号化処理部１２５における符号化処理について説明する。ビデオカメラなどの撮像装置では、ＤＶＤやハードディスクなどの蓄積メディアへの動画像記録の圧縮方式として、ＭＰＥＧ符号化方式が用いられている。ＭＰＥＧ符号化方式は、蓄積メディア系への適用を目的とされた動画像符号化の標準規格である。ＭＰＥＧは、テレビ電話／テレビ会議用符号化規格のＨ．２６１と比較して、動き補償予測やＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）などの符号化アルゴリズムを持つ点では同じである。しかし、蓄積メディアによる映像再生として、高速再生、スロー再生、逆再生などのトリックモード再生やランダムアクセスを実現するための特殊な構造、すなわちＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造を持つ点で異なっている。

ＭＰＥＧによる画像符号化データの構造（シンタックス）を、図１２に示す。

まず、画像フォーマット（画像サイズ、アスペクト比、画像レートなど）を指定するシーケンス・ヘッダと、ビデオデータの最後を示すシーケンス・エンドと、その間に複数のＧＯＰを持つシーケンス層からなり、映像プログラムを表現している。一つのＧＯＰがランダムアクセスの１単位となり、この単位で先述のトリックモード再生を可能にしている。下位のＧＯＰ層は、ＧＯＰヘッダの後にＮ枚のピクチャフレームを持つ構造になっている。

Ｎ枚のピクチャフレームは、次の３タイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）のいずれかで構成され、ピクチャ層を形成する。

Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ：フレーム内符号化画像）は、その画像内の情報だけを使って符号化する。フレーム間予測を用いないので、他の参照画像を必要とせず、復号時にはＩピクチャの情報だけで画像を復元できる。ランダムアクセスや高速再生の際には、このＩピクチャを用いる。Ｉピクチャは、リフレッシュフレームあるいはキーフレームとも呼ばれる。

Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ：順方向予測符号化画像）は、前のＩピクチャまたはＰピクチャから順方向予測を用いて作成される。

Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ：双方向予測符号化画像）は、時間的に前後に位置するＩピクチャまたはＰピクチャから双方向予測を用いて作成される。

図１３は、ＧＯＰ構造の一例を示す図である。ＧＯＰ内のピクチャ数（Ｎパラメータ）を“１５”とし、ＩピクチャとＰピクチャとの間隔（Ｍパラメータ）を“３”とした場合の例である。

図１３において、Ｉピクチャは参照画像を必要としないフレーム内符号化処理される画像である。Ｐピクチャは、既に符号化済みのＩピクチャまたはＰピクチャを参照画像とした順方向の予測符号化画像であり、Ｂピクチャは前後のＩピクチャまたはＰピクチャを参照画像とした双方向の予測符号化画像である。

Ｉピクチャは、原画像のブロック毎にＤＣＴ演算、量子化及び可変長符号化を行う。これに対して、Ｐピクチャ及びＢピクチャは参照画像との間の動き補償予測の誤差信号に対してのみ、ＤＣＴ演算、量子化及び可変長符号化を行うため、予測誤差信号が小さければ、優れた圧縮効率になる。

図１４は、符号化／復号化時のＧＯＰのフレーム配列を示す図である。

図１４では、原画像（入力画像）の画像順が符号化処理の段階で入れ替わり、出力画像を復号化する段階で元の配列順に戻ることを示している。すなわち、双方向予測を行うＢピクチャを符号化／復号化するには、前後のフレームを予測に用いるため、その予測画像となるＩピクチャまたはＰピクチャを先に符号化していなければならない。なお、ＧＯＰの規定としては、
（１）メディア上のＧＯＰの最初のフレームは、必ずＩピクチャであること、
（２）原画像及び復元画像の並びにおいて、ＧＯＰの最後はＩピクチャあるいはＰピクチャであること、
である。

ＧＯＰ内のピクチャ数（Ｎパラメータ）、及びＩピクチャとＰピクチャの間隔（Ｍパラメータ）については制限はない。但し、一般的には、Ｎパラメータは１２あるいは１５を、また、Ｍパラメータには２から３程度の値が利用されている。Ｎパラメータを大きくすると、ランダムアクセスの単位を大きくでき、Ｍパラメータを大きくすると、予測時の圧縮効果が落ち圧縮率が悪くなる。

ＭＰＥＧ符号化で動画像の圧縮記録を行う技術としては、被写体の動きを検出して激しい動きが検出された場合に、ＧＯＰの周期に基づく符号化を変更し、Ｉピクチャを挿入して新たなＧＯＰを生成することで画質向上を図る手法が提案（特許文献１）されている。
特開２０００−１９７００３号公報

しかしながら、従来技術においては、画像の符号化処理とフォーカスレンズや防振用レンズ、絞りなどのレンズユニットの動きとの関わりについては、何も考慮されることはなかった。

近年では、ＡＶＣＨＤなどのハイビジョン映像の画像圧縮規格も標準化され、市販のビデオカメラを用いてＤＶＤなどの蓄積メディアに手軽に高精細なハイビジョン映像を撮影記録できるようになった。その結果、誰もが身近に大画面モニタでハイビジョン映像を見ることが可能となっている。

一方、ぶれやぼけ、点滅などの大きな明るさ変化のある映像を大画面モニタで一定時間見ていると、映像酔いや眼精疲労、さらにはてんかんなどの発作症状を起こすことが懸念されている。従来普及していたＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）映像は大画面モニタで見ることが少なく、映像内にぶれやぼけ、点滅などがあっても、すぐに映像酔い等につながることは稀であった。しかし、ハイビジョン映像になって大画面モニタで見る機会が増えると、ＳＤ映像では目立たなかったぶれやぼけも大きな動きとして目に入り、映像酔いや眼精疲労などにつながることが今後増えてくると予想される。

ぶれやぼけの目立つ原因としては、撮影者の撮影状態や被写体条件に大きく影響されるが、画像符号化時のレンズの動きによっても影響があると考えられる。それは、Ｉピクチャにぶれやぼけが含まれてしまうと、同じＧＯＰ内で予測符号化されるＰピクチャ、Ｂピクチャに伝播されるやすく、ＧＯＰの周期で映像変化が生じやすくなるからである。すなわち、Ｉピクチャとなる画像の取り込み時に、フォーカスレンズや防振用レンズ、絞りなどが動いていると、Ｉピクチャにぶれやぼけが含まれやすくなり、逆に、レンズの各ユニットが停止していると、Ｉピクチャにはぶれやぼけは含まれにくくなる。その結果、ＧＯＰの周期でぶれやぼけの多い画像群と少ない画像群が生じ、再生時に映像の周期的なピントずれや明るさのちらつき（以下、ピントや明るさの変化）になると考えられる。今までは、レンズの動きにより生じる映像の動き（ぶれやぼけ）が圧縮画像に影響することについては考慮されていなかったため、上記のように、復号化した再生画像にピントや明るさの変化が生じ、それが映像酔いや眼精疲労などにつながる可能性があった。

（発明の目的）
本発明の目的は、ピントや明るさの変化を低減させて、視聴者が映像酔いや眼精疲労を起こさないようにすることのできる撮像装置を提供しようとするものである。

上記目的を達成するために、本発明は、焦点調節用のレンズと明るさ調節用の絞りとを具備する撮像光学系と、前記撮像光学系を介して形成される光学像を光電変換して映像信号を出力する信号処理手段と、前記撮像光学系を駆動する駆動手段と、前記信号処理手段から出力された映像信号を符号化する画像符号化手段と、前記画像符号化手段による符号化処理におけるＩピクチャに対応する光学像を取得する際に前記駆動手段による前記撮像光学系の駆動を制限するとともに当該Ｉピクチャに対応する光学像の取得後は前記制限を解除するように制御するフローを前記焦点調節用のレンズを微小駆動する際に行い、当該微小駆動から前記焦点調節用のレンズを山登り駆動する制御に移行した際には前記フローを行わない制御手段とを有することを特徴とする撮像装置とするものである。

本発明によれば、ピントや明るさの変化を低減させて、視聴者が映像酔いや眼精疲労を起こさないようにすることができる撮像装置を提供できるものである。

本発明を実施するための最良の形態は、以下の実施例１ないし３に示す通りである。

図１は本発明の実施例１に係る撮像装置のシステム構成を示すブロック図である。なお、図７と同一の構成要素には同一の符号を付し、その説明は省略する。

図１において、１２４は撮影モード切換スイッチであり、“通常撮影モード”と、画像符号化の影響によるピントや明るさの変化を低減するようにレンズ駆動と同期させて画像符号化処理する“映像酔い低減モード”などの撮影モードを切り換えるためのものである。

図１のように構成された撮像装置において、カメラマイコン１１４は、図６と同様にＡＦ信号処理部１１３の出力信号レベルが最大となるように、フォーカスレンズ１０５を移動させることにより、ＡＦ制御を行っている。

カメラマイコン１１４は、さらに、符号化処理部１２５から符号化動作に関わる情報、すなわち、現フレームをＩ／Ｐ／Ｂピクチャのどのピクチャ形式で符号化するかを取得し、フォーカスレンズ１０５の駆動及び絞りの駆動を制御する。

図２は、上記の撮像装置において、画像の符号化処理とフォーカスレンズ１０５の動きを同期させたカメラマイコン１１４による制御を示すフローチャートである。

カメラマイコン１１４は、ステップ＃５０１より処理を開始し、まず、ステップ＃５０２にて、録画が開始されたか否かを判定し、録画が開始されていなければこのステップ＃５０２で待機する。その後、録画が開始されるとステップ＃５０３へ進み、撮影モード切換スイッチ１２４の状態を判定し、映像酔い低減モードであればステップ＃５０４へ進み、通常モードなど別のモードであればステップ＃５１０へ進む。

映像酔い低減モードであるとしてステップ＃５０４へ進むと、ＡＦ動作モードが微小駆動モードであるか否かを判定し、微小駆動モードであればステップ＃５０５へ進み、微小駆動モードでなければステップ＃５１０へ進む。ステップ＃５０５では、次のフレームがＩピクチャに符号化する画像の取り込みタイミングであるか否かを判定する。なお、ステップ＃５０５中の１Ｖ前とは、映像信号の垂直同期周期で、１周期前のことを意味する。すなわち、Ｉピクチャの符号化の１周期前のタイミングか否かを判定している。その結果、次のフレームがＩピクチャに符号化する画像の取り込みタイミングであればステップ＃５０６へ進み、ＡＦ微小駆動モードの状態を保留したままフォーカスレンズ１０５を合焦位置へ駆動する。なおここで駆動する位置は、図１０に示すＡＦ微小駆動モードにおけるステップ＃４０６にて算出した合焦位置とする。その後はステップ＃５１０へ進む。

上記ステップ＃５０５にて次のフレームがＩピクチャに符号化する画像の取り込みタイミングでないと判定した場合はステップ＃５０７へ進み、現フレームがＩピクチャに符号化する画像の取り込みタイミングであるか否かを判定する。その結果、現フレームがＩピクチャに符号化する画像の取り込みタイミングであればステップ＃５０８へ進み、レンズ位置を上記ステップ＃５０６で駆動した合焦位置に停止させておく。その後はステップ＃５１０へ進む。

上記ステップ＃５０７にて現フレームがＩピクチャに符号化する画像の取り込みタイミングでないと判定した場合はステップ＃５０９へ進み、ＡＦ微小駆動動作を行う（図１０と同じ処理）。その後はステップ＃５１０へ進む。

次のステップ＃５１０では、録画が停止されたか否かを判定し、停止されたらばステップ＃５０２に戻る。一方、停止されていなければステップ＃５０３に戻り、上述の録画中の処理を繰り返す。

なお、上記ステップ＃５０４において、ＡＦ動作が微小駆動モードであるか否かだけを判定したが、それは他のＡＦ動作モードであれば画像符号化とレンズ駆動の同期を取る必要はないと判定できるからである。すなわち、ＡＦ動作モードが山登り駆動モードであれば、ボケた状態でフォーカスレンズ１０５を高速駆動中であることから、画像符号化に対する影響は考慮せず、合焦位置を早く見つけることを優先するべきである。しかし、再起動判定モードであれば、フォーカスレンズ１０５は合焦位置に停止中であることから同期させる必要はない。

上記ステップ＃５０２において録画開始を判定し、録画中にのみ画像符号化とレンズ制御の同期化を行っているが、それは画像の符号化を行うのが記録媒体への記録時のみだからである。従って、レンズ制御は、記録開始と共に画像の符号化が開始されるタイミングで同期させればよい。

図３は、本実施例１の制御における画像符号化とレンズの動きを視覚化した図であり、符号化する画像のピクチャフレームの配列順序と、それに同期したフォーカスレンズ１０５の動きを表している。

図３では、図１３に示した構造と同じく、ＧＯＰ構造のＮパラメータを１５、Ｍパラメータを３として符号化している例を示す。図３の上部に示したピクチャフレームの配置は、図１４（ａ）と同様の入力画像の配列構造を示している。また、下部に示したＡＦ動作は、実線がフォーカスレンズの位置（動き）を示し、点線が振幅中心、すなわち演算された合焦位置を示している。

図３に示すように、Ｉピクチャとなる画像の取得タイミングで、フォーカスレンズ１０５を合焦位置（振幅中心）に止めるようにＡＦ制御を行う。なお、図３に示した説明では、例としてＮパラメータを１５及びＭパラメータを３に設定したが、これらのパラメータを別の値に設定しても、本発明の制御は同様に実施可能である。

以上の実施例１に係る撮像装置は、以下の構成要素から成る。焦点調節用のフォーカスレンズ１０５と明るさ調節用の絞り１０３を具備する撮像光学系と、撮像光学系を介して形成される光学像を光電変換して画像（映像）信号を出力する信号処理手段（撮像素子１０６、カメラ信号処理部１０８）を有する。さらに、フォーカスレンズ１０５を駆動するレンズ駆動手段（カメラマイコン１１４、モータ駆動用ドライバ１１９、フォーカスモータ１２１）と、信号処理手段から出力された画像信号を符号化する画像符号化手段（符号化処理部１２５）を有する。さらに、上記の画像符号化処理とレンズ駆動手段によるレンズ駆動（撮像光学系駆動）を同期させるように制御する制御手段（カメラマイコン１１４）とを有する。

詳しくは、上記画像符号化処理とレンズ駆動を同期させるとは、画像符号化処理において、フレーム内符号化処理されるＩピクチャとなる画像を取得するタイミングで、フォーカスレンズ１０５を合焦位置に停止させることである。また、画像符号化手段が取得画像をフレーム内符号化処理するように制御されるのは、合焦動作時の駆動周期中において焦点調節用のレンズが停止するタイミングである。

よって、ピントや明るさの変化の少ない画像をフレーム内符号化画像として取り込むことができる。つまり、画像符号化の影響によるピントや明るさの変化を低減し、復号化した画像を大画面モニタで視聴しても、視聴者が映像酔いや眼精疲労を起こしにくくできる。

換言すれば、画像の符号化処理とレンズ駆動を同期させて、復号化した再生画像においてピントや明るさの変化を低減させ、視聴者が映像酔いや眼精疲労を起こさないようにした撮像装置を提供可能となる。

さらには、符号化した画像信号を記録手段である記録部１０９に記録（録画）するときのみ、画像符号化処理と撮像光学系の駆動（実施例１では、フォーカスレンズ駆動）を記録開始と共に同期させる。このことにより、復号化した再生画像において、ピントや明るさの変化を低減させて、視聴者が映像酔いや眼精疲労を起こさない撮像装置とすることができる。

さらには、映像酔い低減モードが選択された時にのみ、画像符号化処理と撮像光学系の駆動（実施例１では、フォーカスレンズ駆動）を同期させる。このことにより、復号化した再生画像において、ピントや明るさの変化を低減させて、視聴者が映像酔いや眼精疲労を起こさない撮像装置とすることができる。

次に、本発明の実施例２に係る撮像装置について説明する。なお、撮像装置の構成は上記実施例１と同様であるので、その説明は省略する。

上記実施例１では、画像の符号化処理において、Ｉピクチャ取得タイミングに同期させて、フォーカスレンズ１０５を停止させるようにしていた。これに対し、本発明の実施例２では、Ｉピクチャ取得タイミングに同期させて、絞り１０３の駆動（動き）を停止させるものである。

図４は、本実施例２の撮像装置において、符号化処理と絞り１０３の動きを同期させたカメラマイコン１１４における制御を示すフローチャートである。

レンズマイコン１１４は、ステップ＃６０１より処理を開始し、まず、ステップ＃６０２にて、録画が開始されたかを判定し、録画が開始されていなければこのステップ＃６０２で待機する。その後、録画が開始されるとステップ＃６０３へ進み、撮影モード切換スイッチ１２４の状態を判定し、映像酔い低減モードであればステップ＃６０４へ進み、通常モードなど別のモードであればステップ＃６０７へ進む。

映像酔い低減モードであるとしてステップ＃６０４へ進むと、Ｉピクチャに符号化する画像の取り込みタイミングであるか否かを判定し、画像の取り込みタイミングであればステップ＃６０５へ進み、絞り１０３の動きを停止させる。その後はステップ＃６０７へ進む。

また、上記ステップ＃６０４にて画像の取り込みタイミングでないと判定した場合はステップ＃６０６へ進み、通常のアイリス制御（絞り制御）を行う。その後はステップ＃６０７へ進む。

次のステップ＃６０７では、録画停止されたかどうかを判定し、停止されたならばステップ＃６０２に戻る。一方、停止されていなければステップ＃６０４に戻り、上述の録画中の処理を繰り返す。

上記実施例２によれば、画像符号化手段でフレーム内符号化処理される画像の取得タイミングと同期させて、撮像光学系に含まれる絞り１０３の駆動を停止させるようにしている。よって、上記実施例１と同様、ピントや明るさの変化の少ない画像をフレーム内符号化画像として取り込むことができる。つまり、画像符号化の影響によるピントや明るさの変化を低減し、復号化した画像を大画面モニタで視聴しても、視聴者が映像酔いや眼精疲労を起こしにくくできる。

換言すれば、フレーム内符号化を行う画像の取得タイミングと同期させて、絞り１０３の動きを停止させることにより、復号化した再生画像において、ピントや明るさの変化を低減させて、視聴者が映像酔いや眼精疲労を起こさない撮像装置を提供可能となる。

さらには、符号化した画像信号を記録手段である記録部１０９に記録（録画）するときのみ、画像符号化処理と撮像光学系の駆動（実施例２では、絞り１０３の駆動）を記録開始と共に同期させる。このことにより、上記と同様の効果を得ることができる。

さらには、映像酔い低減モードが選択された時にのみ、画像符号化処理と撮像光学系の駆動（実施例２では、絞り１０３の駆動）を同期させる。このことにより、上記と同様の効果を得ることができる。

次に、本発明の実施例３に係る撮像装置について説明する。なお、撮像装置の構成は上記実施例１と同様であるので、その説明は省略する。

本発明の実施例３では、上記実施例１とは逆に、ＡＦ微小駆動モード時のフォーカスレンズ１０５の駆動周期に同期させて、画像符号化処理におけるＩピクチャ取得タイミングを制御するものである。

図５および図６は、本実施例３の制御における画像符号化とレンズの動きを視覚化した図であり、フォーカスレンズ１０５の動きと、それに同期して符号化する画像のピクチャフレームの配列順序を示している。

図５および図６の下部に示したＡＦ動作は、図３と同様、実線がフォーカスレンズ１０５の位置（動き）を示し、点線が振幅中心、すなわち演算された合焦位置を示している。図５および図６の上部には、符号化される入力画像のピクチャフレームの配列構造を示している。

図５は、フォーカスレンズ１０５の微小駆動動作において、周期的（映像の垂直同期信号の周期に対して６Ｖごと）に振幅中心、すなわち合焦位置にフォーカスレンズ１０５を停止させている。画像符号化処理は、このフォーカスレンズ１０５の動作周期に同期して６Ｖごとの画像をＩピクチャとしてフレーム内符号化する。すなわち、図５に示した例では、ＧＯＰ構造は、Ｎパラメータが６、Ｍパラメータが３となっている。

しかし、図５に示した例では、ＡＦ微小駆動モードの動作途中に一旦フォーカスレンズ１０５を合焦位置に移動して止めるため、ＡＦ動作としては従来性能に比べて応答性において劣ることが予想される。

そこで、ＡＦ性能は維持したまま符号化画像のピントのぶれを無くす方法を、図６に示す。図６では、フォーカスレンズ１０５の微小駆動動作において、常に振幅中心に対して振動振幅分至近側あるいは無限側に振幅させている。これは、図１０で示したのと同様な動きで、周期的に振幅中心に停止させることはしない。

画像符号化処理は、このフォーカスレンズ１０５の動作に対して、該フォーカスレンズ１０５の停止動作に同期させて画像をＩピクチャとしてフレーム内符号化する。すなわち、図６に示した例では、ＧＯＰ構造は、Ｎパラメータが１２、Ｍパラメータが３となる。この場合、フォーカスレンズの停止位置は合焦位置に対して振動振幅分ずれた位置ではあるが、振動振幅は基本的に焦点深度内の値が設定される。このことから、Ｉピクチャとしてフレーム内符号化される画像はボケの無い画像であり、かつ、フォーカスレンズが動いている最中の画像ではないため、ピントぶれも無くすことができる。

以上の実施例３では、駆動手段が撮像光学系の駆動を停止させるタイミングと同期させて、取得した画像をフレーム内符号化するように画像符号化手段を制御するようにしている。よって、ピントや明るさの変化の少ない画像をフレーム内符号化画像として取り込むことができる。つまり、画像符号化の影響によるピントや明るさの変化を低減し、復号化した画像を大画面モニタで視聴しても、視聴者が映像酔いや眼精疲労を起こしにくくできる。

換言すれば、フォーカスレンズ１０５を合焦位置に停止させるタイミングに同期させて、Ｉピクチャとなる画像を取得することにより、フレーム内符号化されるＩピクチャはピントのブレが少ない画像にすることができる。その結果、画像符号化の影響によるピントのブレを低減し、復号化した画像を大画面モニタで視聴しても、視聴者が映像酔いや眼精疲労を起こしにくい撮像装置を提供可能となる。

なお、本発明では、動画像の符号化処理としてＭＰＥＧ方式を用いて説明したが、画像フレームに基づく予測符号化を用いた符号化処理であれば、本発明を適用することができる。

本発明の各実施例に係る撮像装置のシステム構成を示すブロック図である。 本発明の実施例１に係る撮像装置の主要部分の動作を示すフローチャートである。 本発明の実施例１に係る撮像装置の制御における画像符号化とレンズの動きを視覚化した図である。 本発明の実施例２に係る撮像装置の制御における画像符号化とレンズの動きを視覚化した図である。 本発明の実施例３に係る撮像装置の制御における画像符号化とレンズの動きを視覚化した図である。 同じく本発明の実施例３に係る撮像装置の制御における画像符号化とレンズの動きを視覚化した図である。 従来の撮像装置のシステム構成を示すブロック図である。 ＴＶＡＦ方式におけるオートフォーカスの原理を示すグラフである。 従来のＴＶＡＦ方式のアルゴリズムを示すフローチャートである。 ＴＶＡＦ方式の微小駆動動作を示すフローチャートである。 ＴＶＡＦ方式微小駆動のフォーカスレンズ動作の時間経過を示した図である。 ＭＰＥＧのデータ構造を示す図である。 ＭＰＥＧのＧＯＰ構造の一例を示す図である。 画像符号化／復号化時のＧＯＰのフレーム配列を示す図である。

符号の説明

１０３ 絞り
１０５ フォーカスレンズ
１０６ 撮像素子
１０８ カメラ信号処理部
１０９ 記録部
１１４ カメラマイコン
１１５ 絞り制御部
１１９ モータ駆動用ドライバ
１２３ 操作スイッチ
１２４ 撮影モード切換スイッチ
１２５ 符号化処理部

Claims (9)

1. 焦点調節用のレンズと明るさ調節用の絞りとを具備する撮像光学系と、
   前記撮像光学系を介して形成される光学像を光電変換して映像信号を出力する信号処理手段と、
   前記撮像光学系を駆動する駆動手段と、
   前記信号処理手段から出力された映像信号を符号化する画像符号化手段と、
   前記画像符号化手段による符号化処理におけるＩピクチャに対応する光学像を取得する際に前記駆動手段による前記撮像光学系の駆動を制限するとともに当該Ｉピクチャに対応する光学像の取得後は前記制限を解除するように制御するフローを前記焦点調節用のレンズを微小駆動する際に行い、当該微小駆動から前記焦点調節用のレンズを山登り駆動する制御に移行した際には前記フローを行わない制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記画像符号化手段でフレーム内符号化処理される画像の取得タイミングに同期させて、前記撮像光学系の駆動を停止させることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像光学系の駆動を停止させるとは、前記撮像光学系に含まれる焦点調節用のレンズの動きを停止させることを特徴とする請求項２に記載の撮像装置。
4. 前記撮像光学系の駆動を停止させるとは、前記撮像光学系に含まれる明るさ調節用の絞りの動きを停止させることを特徴とする請求項２に記載の撮像装置。
5. 前記制御手段は、前記駆動手段が前記撮像光学系の駆動を停止させるタイミングに同期させて、取得した画像がフレーム内符号化処理される前記画像符号化手段を制御することを特徴とする請求項１に記載の撮像装置。
6. 前記画像符号化手段が取得画像をフレーム内符号化処理するように制御されるのは、合焦動作時の駆動周期中において焦点調節用のレンズが停止するタイミングであることを特徴とする請求項５に記載の撮像装置。
7. 前記焦点調節用のレンズを停止させる位置は、合焦位置であることを特徴とする請求項３または６のいずれかに記載の撮像装置。
8. 符号化された画像信号を記録媒体に記録する記録手段を有し、
   前記画像符号化手段の符号化処理と前記駆動手段の撮像光学系駆動を同期させるように制御するのは、前記記録手段に符号化された画像信号を記録するときのみであり、記録開始と共に同期させることを特徴とする請求項１に記載の撮像装置。
9. 通常撮影モードと映像酔い低減モードとが切り換えられる撮影モード切換手段を有し、前記制御手段は、前記映像酔い低減モードが選択された時にのみ、前記画像符号化手段の符号化処理と前記駆動手段の撮像光学系駆動を同期させるように制御することを特徴とする請求項１に記載の撮像装置。

Images