JP6557451B2 - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特にＲＡＷ画像を記録、再生する技術に関する。

ビデオカメラ等の撮像装置の多くは、撮像素子で生成された映像信号をデジタルデータに変換し、各種信号処理を施した後に非可逆圧縮方式で符号化されたデータを記録媒体に記録する手法がとられている。しかし、映画撮影に使用されるような一部の業務用カメラでは、撮像素子で生成された映像信号を可逆圧縮方式もしくは無圧縮方式であるＲＡＷ形式の画像データ（以下、ＲＡＷ画像データ）で記録する手法がとられているものも存在する。これは、記録後に現像処理を行うことによって、ユーザが様々なパラメータを指定した現像処理を可能にし、ユーザの意図した映像を生成するためである。

ＲＡＷ画像データを記録する際に、付加情報（メタデータ）として、現像パラメータを同時に記録し、現像処理の際に利用可能とする技術が一般的である。例えば電子ズームによる拡大処理に関しては、拡大倍率をメタデータとして保存し、ＲＡＷ画像データはそのまま記録する技術が知られている（特許文献１）。また、４Ｋやスーパーハイビジョンと呼ばれる高解像度の映像データを扱うニーズが増加し、記録されるＲＡＷ画像データのデータ量も飛躍的に増加する傾向にある。これに対して、多くのユーザにとって必要十分といえる画像サイズにリサイズすることでデータ量を削減する技術も知られている（特許文献２）

特開２００９−１４７７４３号公報 特開２００７−１６６５５１号公報

ところで、ＲＡＷ画像データを記録する際には、撮像素子から出力されるオプティカルブラック領域（以下、ＯＢ領域）の画素を利用したノイズ除去やクランプ処理（黒レベルの設定）、または欠陥画素の補正といった必要最低限の画像補正が行われていた。しかし、４Ｋやスーパーハイビジョンといった高解像度の映像信号による演算量の増加に伴い、必要最低限の画像補正すらも記録後の現像処理で行う構成とすることで、映像信号の処理量を抑制し、撮像装置の回路規模の縮小等を実現することが望まれている。

必要最低限の画像補正を記録後の現像処理で行う構成とするには、ＯＢ領域を含むＲＡＷ画像データを記録する必要がある。しかし、デジタルズームやアスペクト比の切り替え、電子防振による動的な切り出し位置の変更等のリサイズ処理を行う場合、ＯＢ領域のデータの取り扱いが課題となる。特にデジタルズームによる動的な画角切り替えや電子防振による動的な切り出し位置変更が発生する場合にＯＢ領域を動的に変化させてしまうと、撮像素子の品質によってはフレーム間で画像補正の変化が大きく現れてしまうことが想定される。上述の特許文献１および特許文献２には、ＲＡＷ画像データを変倍処理する技術は開示されているが、ＯＢ領域を含むＲＡＷ画像データに変倍処理を適用する技術は開示されていない。

本発明は、上記課題に鑑みてなされ、その目的は、ＲＡＷ画像データ生成に係る処理量を低減しつつ、リサイズ処理に伴う現像時の補正品質の低下を抑制することが可能な撮像装置およびその制御方法ならびにプログラムを提供することである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、複数の画素が二次元状に配列された画素配列を備え、画素配列の補正画素領域から取得される補正画素領域画像データおよび画素配列の有効画素領域から取得される有効画素領域画像データを含む画像データを出力する撮像素子と、撮像素子から出力された画像データに対するリサイズ処理を施す処理手段と、処理手段が有効画素領域画像データに対するリサイズ処理を施し、補正画素領域画像データに対するリサイズ処理を施さないように制御し、さらに処理手段がリサイズ処理を施された有効画素領域画像データとリサイズ処理を施されない補正画素領域画像データとを組み合わせることにより１フレームの画像データを生成するように制御する制御手段と、１フレームの画像データを外部に出力する出力手段と、を有することを特徴とする。

本発明によれば、ＲＡＷ画像データ生成に係る処理量を低減しつつ、リサイズ処理に伴う現像時の補正品質の低下を抑制することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのビデオカメラの外観図 本実施形態に係るビデオカメラの機能構成例を示すブロック図（ａ）および信号分配部の内部構成を示す図（ｂ） ＯＢ領域を有するＲＡＷ画像データを模式的に示す図（ａ）とそのデータ配列の例を示す図（ｂ） 実施形態１に係るリサイズ処理により生成されたＲＡＷ画像データを模式的に示す図 実施形態１に係るリサイズ処理により生成されたＲＡＷ画像データのデータ配列の例を示す図 実施形態１に係るリサイズ処理の一連の動作を示すフローチャート 実施形態２に係るリサイズ処理により生成されたＲＡＷ画像データを模式的に示す図 実施形態２に係るリサイズ処理の一連の動作を示すフローチャート 実施形態３に係るリサイズ処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、ＲＡＷ形式の画像データ（以下、ＲＡＷ画像データ）を記録可能な任意のビデオカメラに本発明を適用した例を説明する。しかし、本発明は、ビデオカメラに限らず、ＲＡＷ画像データを記録することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。

なお、本実施形態では、オプティカルブラック領域（以下、ＯＢ領域）の画素とは、光学的に遮光された状態の撮像素子から出力される信号を補正するために用いられる画素をいうものとする。また、リサイズ処理とは、アスペクト比の切り替えやデジタルズームによるズーム倍率の変更、電子防振による切り出し位置の変更等を実現するため、一旦保持した画像データの全画素から一部の画素を選択して画像データを生成する処理をいうものとする。

（１ ビデオカメラ１００の構成）
図１および図２（ａ）は、本実施形態の撮像装置の一例としてビデオカメラ１００の外観図および機能構成例を示している。なお、図２（ａ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１に示すモニタ２８およびファインダ２９は、画像や各種情報を表示する図２（ａ）に示す表示部１０７に含まれる。

トリガーボタン６１は、撮影指示を行うため操作ボタンであり、電源／モードスイッチ７２は、電源オン、電源オフや撮影モード、再生モードを切り替えるための操作ボタンであり、トリガーボタン６１と同様、操作部１１５に含まれる。また、操作パネル７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材からなり、同様に操作部１１５に含まれる。

コネクタ１２は、ビデオカメラ１００から外部モニタや外部記録装置に映像信号を出力するコネクタであり、外部出力Ｉ／Ｆ部１２０を構成する。また、バッテリーカバー１１は、装填したバッテリーを保持するカバーである。

アクセスランプ１３は、記録用のカードスロットの状態を表示するランプであり表示部１０７に含まれる。

次に、図２（ａ）を参照して、各機能ブロックについて説明する。

光学系１０１は、複数のレンズ群からなる撮影レンズであり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備えるほか、絞りやＮＤ（Neutral Density）フィルタを含む。

撮像素子１０２は、光電変換素子を有する画素が複数、二次元状に配列された構成を有する。撮像素子１０２は、光学系１０１により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位の画像信号（ＲＡＷ画像データ）を出力する。撮像素子１０２は、ＣＣＤ（Charge-Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどにより構成される。後述するように、撮像素子１０２から出力される画素には、被写体光学像の信号強度を表す有効画像領域の画素のほか、撮像素子から出力された画素の補正（ノイズ除去やクランプ処理）を行うために用いられるＯＢ領域の画素が含まれる。

信号分配部１０３は、撮像素子１０２からのＲＡＷ画像データであるデジタル信号を２つに分配する。信号分配部１０３で分配した信号の１つは、全画素を含むＲＡＷ画像データであり、これはリサイズ処理部１２１を介して記録媒体Ｉ／Ｆ部１０４に出力される。もう一方は、データ量の小さいＲＡＷ画像データであり、表示用画像処理部１０６に出力される。

記録媒体Ｉ／Ｆ部１０４は、記録媒体１０５とビデオカメラ１００とのインターフェースであり、記録媒体１０５に対して、信号分配部１０３から入力されたＲＡＷ画像データの記録や記録したＲＡＷ画像データの読み出しを制御する。

記録媒体１０５は、撮影された映像あるいは画像データを記録するための半導体メモリ等で構成される記録媒体であり、記録媒体Ｉ／Ｆ部１０４による制御に応じてＲＡＷ画像データの記録や記録されたＲＡＷ画像データの読み出しを実行する。

表示用画像処理部１０６は、撮像素子に起因するレベル差を補正する。例えば、ＯＢ領域の画素を用いて、有効領域の画素のレベルを補正するほか、欠陥画素に対して周囲画素を用いた補正を行う。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤー、圧縮などの各処理を行う。表示用画像処理部１０６は、信号分配部１０３から入力されたＲＡＷ画像データに対して上記処理を行うと、表示部１０７やゲイン制御部１０８その他の制御部へ補正した画像データを出力する。

表示部１０７は、表示用画像処理部１０６から出力された画像データを画角確認用に表示するモニタやファインダである。また、ビデオカメラの各種情報を表示するほか、アクセスランプ１３に状態表示を行う。

以下に説明するゲイン制御部１０８、シャッター制御部１０９、絞り制御部１１０およびフィルタ制御部１１１は、それぞれ表示用画像処理部１０６の出力した画像データを参照してその輝度レベルを算出する。

ゲイン制御部１０８は、算出した輝度レベルをもとに、撮像素子１０２の内部でかけるゲインの値を算出して撮像素子１０２のゲインを制御する。シャッター制御部１０９は、算出した輝度レベルをもとに、撮像素子１０２に設定すべきシャッタースピードの値を算出し、撮像素子１０２のシャッタースピードを制御する。絞り制御部１１０は、算出した輝度レベルをもとに、光学系１０１で設定すべき絞りの値を算出して光学系１０１の絞りを制御する。フィルタ制御部１１１は、例えば算出した輝度レベルをもとに、光学系１０１で設定すべきＮＤ（Neutral Density）フィルタの値を算出し、ＮＤフィルタを介して光学系１０１に入射する光量を制御する。

フォーカス制御部１１２は、表示用画像処理部１０６から出力された画像データを参照してフォーカスの合焦情報を算出し、算出したフォーカスの合焦情報をもとに光学系１０１内部のフォーカスレンズを制御する。

ズーム制御部１１３は、操作部１１５より入力された焦点距離情報に基づいて光学系１０１内部のズームレンズを制御する。防振制御部１１４は、表示用画像処理部１０６から出力された画像データを参照して被写体の動きベクトルを算出し、算出した動きベクトルをもとに手ブレを相殺するように光学系１０１内部のシフトレンズを制御する光学式防振処理を行う。あるいは、防振制御部１１４は手ブレによる像ブレを相殺する方向に動画の各フレームで画像を切り出す電子式防振処理を行う。

操作部１１５は、上述のトリガーボタン６１や操作パネル７０などからなり、ユーザは操作部１１５に対して操作指示を行うことにより、撮影指示、アスペクト比の切り替えやデジタルズーム等の各種操作、焦点距離の調整等を行う。操作部１１５は、例えばアスペクト比の切り替えやデジタルズームを調整する操作指示を受けると制御部１２２に通知する。

メモリＩ／Ｆ部１１６は、信号分配部１０３から出力された全画素分のＲＡＷ画像データをメモリ１１７に書き込み、また、メモリ１１７に保持されたＲＡＷ画像データを読み出して制御用画像処理部１１８に出力する。メモリ１１７は、数フレームの全画素分のＲＡＷ画像データを格納する揮発性の記憶媒体である。

制御用画像処理部１１８は、メモリＩ／Ｆ部１１６から送られた全画素分のＲＡＷ画像データに対し、制御に必要な画像処理を行う。制御用画像処理部１１８により補正されたデータは、フォーカス制御部１１２や防振制御部１１４に出力される。

外部出力用画像処理部１１９は、記録媒体Ｉ／Ｆ部１０４から出力されたＲＡＷ画像データに対して外部出力用の画像処理を行う。記録媒体Ｉ／Ｆ部１０４から出力されたＲＡＷ画像データには、記録媒体Ｉ／Ｆ部１０４を介して読み出した記録媒体１０５に記録されたＲＡＷ画像データが含まれる。外部出力用画像処理部１１９は、例えば、ＯＢ領域のデータを用いて有効領域の画素のレベルを補正する処理や、欠陥画素に対して周囲画素を用いて補正する処理を行って補正した画像データを生成する。また、周辺光量落ち補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤー、圧縮などの各処理を行う。

外部出力Ｉ／Ｆ部１２０は、外部出力用画像処理部１１９からの映像データを外部に出力するインターフェースである。例えば、補正後の画像データを外部の表示モニタや外部の記録媒体に出力する。

リサイズ処理部１２１は、信号分配部１０３から順次出力された画素データについて、一旦全画素のＲＡＷ画像データを保持し、保持した画素データに対して所定のリサイズ処理を行って生成したＲＡＷ画像データを出力する。

制御部１２２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、ビデオカメラ１００の全体の動作を制御する。また、制御部１２２は、ＲＯＭに記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ＲＡＭは、制御部１２２の動作用の定数、変数、ＲＯＭから読み出したプログラム等を展開する。また、制御部１２２は、操作部１１５から、例えばアスペクト比の切り替えやデジタルズーム等を調整する操作指示を受けると、リサイズ処理部１２１によるリサイズ処理を制御する。

図２（ｂ）は、本実施形態におけるビデオカメラ１００における信号分配部１０３の内部構成を示している。画素信号保持部２０１は、撮像素子１０２から出力されるＲＡＷ画像データのうち、順次出力される数画素分のデータを一時的に保持する。保持したデータは、水平画素加算部２０２およびリサイズ処理部１２１に入力され、リサイズ処理部１２１から出力されるデータは記録媒体Ｉ／Ｆ部１０４やメモリＩ／Ｆ部１１６に入力される。

水平画素加算部２０２は、画素信号保持部２０１から順次送られてくる画素データのうち、４画素分のデータを加算して１画素分のデータを生成する。これによりＲＡＷ画像データの水平画素数は１／４となる。垂直画素加算部２０３は、水平画素加算部２０２から入力されるＲＡＷ画像データのうち、４行分のデータを内部のメモリに保持した後、連続する同じ列の４画素を加算して表示用画像処理部１０６に出力する。これによりＲＡＷ画像データの垂直画素数は１／４となる。

（ＲＡＷ画像データの構成とリサイズ処理の概要）
次に、図３を参照して、ＯＢ（オプティカルブラック）領域を有するＲＡＷ画像データの構成を説明する。図３（ａ）は、ＲＡＷ画像データを模式的に示す図である。ＲＡＷ画像データは、垂直オプティカルブラック（ＶＯＢ）領域３０１および水平オプティカルブラック（ＨＯＢ）領域３０２の補正用の画素群、有効画素領域３０３ならびに領域３０４（現像時の画像補正には使用されないＯＢ領域）の画素群からなる。それぞれのＲＡＷ画像データに付加されるメタデータには、それぞれの領域の左上のアドレス情報（ｘ，ｙ）と垂直サイズ（Height）、水平サイズ（Width）が記録される。ＲＡＷ画像データを読み込んで現像する際には、このメタデータを利用して各領域を切り分けることが可能であり、現像時にＯＢ領域の画素を利用したノイズ除去やクランプ処理を実行することが可能となる。

図３（ｂ）は、ＲＡＷ画像データのデータ配列を模式的に示している。１画素毎のデータが水平ライン１ライン分連続して配置され、さらにこのラインが垂直ライン数分配置されている。データ量としては（ＨＯＢ領域の水平サイズ（hobWidth）＋有効画素領域の水平サイズ（Width））×（ＶＯＢ領域の垂直サイズ（vobHeight）＋有効画素領域の垂直サイズ（Height））×1画素のデータ量となる。

このようなＲＡＷ画像データに対して、リサイズ処理を行なう例を図４および図５を参照して説明する。本実施形態では、ＯＢ領域（即ちＶＯＢ領域３０１およびＨＯＢ領域３０２）に対するリサイズ処理を行わずに有効画素領域３０３のみにリサイズ処理を施し、現像時の画像補正品質を落とすことなくＲＡＷ画像データのデータ量の削減する例を説明する。

本実施形態におけるリサイズ処理を適用したＲＡＷ画像データについて、図４を参照して説明する。

図４（ａ）は、図３（ａ）に対してデジタルズームが発生した際に、リサイズ処理部１２１におけるリサイズ処理によって生成されたＲＡＷ画像データを模式的に示している。この例では、リサイズ処理部１２１は、ＶＯＢ領域３０１およびＨＯＢ領域３０２にはリサイズ処理を行わず、有効画素領域３０３に対してのみデジタルズーム倍率に基づいたリサイズ処理を行って有効画素領域４０１を生成している。一方、図４（ｂ）は図３（ａ）に対してアスペクト比の切り替えが発生した際に、リサイズ処理により生成されたＲＡＷ画像データを模式的に示している。リサイズ処理部１２１は、図４（ａ）と同様にＶＯＢ領域３０１およびＨＯＢ領域３０２にはリサイズ処理を行わず、有効画素領域３０３のみにアスペクト比に基づいたリサイズ処理を行って有効画素領域４０２を生成している。

有効画素領域３０３のみにリサイズ処理を行ってデータ量を削減しているため、リサイズを行った後のデータ配列は、図３（ｂ）で示したＲＡＷ画像データのデータ配列とは異なる形式をとる必要がある。このため図５を参照して、本実施形態に係る２つのデータ配列の例を説明する。但し、リサイズ処理を施していないＶＯＢ領域３０１およびＨＯＢ領域３０２のデータと、リサイズ処理を施した有効画素領域のデータが含まれるものであれば、データ配列はこれらに限られない。

図５（ａ）は、図３（ａ）になるべく近い形式を採用したデータ配列の例である。具体的には、リサイズ処理によって不要となった有効画素領域３０３の一部と、現像時の画像補正には使用されないＯＢ領域３０４のデータを図３（ａ）に示したデータ配列から削除している。リサイズ処理部１２１は、先頭のデータに垂直アドレス０（１ライン目）のＶＯＢ領域の左端のアドレス（vobX, vobY）の画素データから配置し、その後順に水平ライン１ライン分連続したデータが配置される。次はさらに垂直アドレス１（２ライン目）のＶＯＢ領域のデータが配置される。ＶＯＢ領域の配置が終わった後のラインには、ＨＯＢ領域と有効画素領域のデータが配置される。リサイズ処理部１２１は、リサイズ処理によって有効画素領域の垂直サイズ（Height）がｍライン分に縮小した場合、まず各有効画素領域のラインに対応しないＨＯＢ領域（ＨＯＢ１〜ＨＯＢｎ−１）を配置する。その後、それぞれ対応するＨＯＢ領域と有効画素領域（例えばＨＯＢｎと有効画素領域０）の組み合わせを詰めて配置し、有効画素領域ｍの組み合わせまで配置し終えると残りのＨＯＢ領域を配置する。なお、ＶＯＢ領域の幅（hobWidth）に対してＨＯＢ領域および有効画素領域の配置を調整するために適宜ダミーの画素を挿入してもよい。このようなデータ配列にデータを配置することで、生成されたＲＡＷ画像データを現像処理する回路やソフトウェアモジュールについては、通常ＯＢ領域を用いた補正処理を行う回路やソフトウェアモジュールを流用し易くなる利点がある。

図５（ｂ）は、図３（ｂ）で述べたＲＡＷ画像データのデータ配列とは異なり、領域ごとに分割してデータ配列を形成する例である。リサイズ処理部１２１は、初めにＶＯＢ領域のすべてのデータを配置する。この点は図５（ａ）に示すデータ配列と共通である。次にリサイズ処理部１２１は、ＨＯＢ領域および有効画素領域についても領域ごとに配置する。一方の領域、例えばＨＯＢ領域のデータのみを最終ラインまで配置し、その後に他方の領域、例えば有効画素領域のみのデータを配置する。ＨＯＢ領域のみを連続して最終ラインまで配置した点が、図３（ｂ）や図５（ａ）に示したＲＡＷ画像データのデータ配列とは異なっている。このようなデータ配列にデータを配置することで、データの配列が単純化されて各領域のデータの取り出しが容易になり処理の高速化が図られる。

（リサイズ処理に係る一連の動作）
次に、図６を参照して、リサイズ処理に係る一連の動作を説明する。

なお、撮影が開始され、信号分配部１０３を介して撮像素子１０２から出力されたＲＡＷ画像データの画素がリサイズ処理部１２１に入力されている状態で、制御部１２２からリサイズ処理の実行指示があった場合に本処理が開始される。本処理は、制御部１２２がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開し、実行することによりリサイズ処理部１２１を制御する。

Ｓ６０１においてリサイズ処理部１２１は、信号分配部１０３を介して入力するＲＡＷ画像データについて、画像を構成するＲＡＷ画像データの画素が読み込まれたかを判定する。全ての画素が読み込まれていると判定し、ＲＡＷ画像データを取得できた場合は処理をＳ６０２に進め、全ての画素が読み込まれていないと判定した場合、再びＳ６０１に処理を戻して読み込みが完了するのを待つ。

Ｓ６０２においてリサイズ処理部１２１は、有効画素領域やＨＯＢ領域等の各領域について、リサイズ処理後に有効となる領域を特定する。具体的には、操作部１１５の操作や電子防振のためのリサイズ要求（画角や切り出し位置の変更要求）の入力を受けると、制御部１２２はリサイズ要求の内容からリサイズ処理後の各領域の左上座標、垂直サイズおよび水平サイズを算出している。このため、リサイズ処理部１２１は、この算出された各領域の左上座標、垂直サイズおよび水平サイズを取得して、各領域についてリサイズ処理後に有効となる領域を特定する。本実施形態では、有効画素領域３０３がリサイズ処理によって有効となる領域が変化するが、ＶＯＢ領域３０１およびＨＯＢ領域３０２の有効となる領域は変更されない。

Ｓ６０３においてリサイズ処理部１２１は、ＲＡＷ画像データの各画素についてループ処理を行う。ループ処理はＲＡＷ画像データの画素数だけ繰り返される。ループ処理は、ＲＡＷ画像データの左上の画素から開始されて順次右の画素に対して処理が進められ、１ライン分の処理が完了すると次のラインに処理が進められる。Ｓ６０３においてリサイズ処理部１２１は、Ｓ６０６から処理が戻るとＲＡＷ画像データの画素数分処理が完了したかを判定し、完了していると判定した場合は処理をＳ６０７に進め、完了していないと判定した場合は処理をＳ６０４に進める。

Ｓ６０４においてリサイズ処理部１２１は、処理対象の画素がリサイズ処理後の領域に含まれるかを判定してＲＡＷ画像データの生成に用いる画素を選択する。リサイズ処理部１２１は、まず処理対象の画素の座標位置から処理対象の画素が有効画素領域３０３、ＶＯＢ領域３０１等のいずれに属するかを特定し、Ｓ６０２において特定した情報に基づいて、リサイズ処理後の領域に含まれるかを判定する。例えば、リサイズ処理部１２１は、処理対象の画素が有効画素領域３０３の画素である場合、この画素がリサイズ処理後の有効画素領域４０１の領域に含まれるかを判定する。また、リサイズ処理部１２１は、処理対象の画素がＶＯＢ領域３０１あるいはＨＯＢ領域３０２の画素であるときは、この画素はリサイズ処理後の対応する領域に含まれるかを判定する。本実施形態においては、処理対象の画素がＶＯＢ領域３０１あるいはＨＯＢ領域３０２の画素であるときは、リサイズ処理後の領域に含まれる。リサイズ処理部１２１は、処理対象の画素が、リサイズ処理後の領域に含まれると判定した場合、Ｓ６０５に処理を進め、含まれない場合はＳ６０６に処理を進める。

Ｓ６０５においてリサイズ処理部１２１は、リサイズ処理後の領域に含まれると判定されて選択された処理対象の画素を、リサイズ後のＲＡＷ画像データに配置する。

Ｓ６０６においてリサイズ処理部１２１は、再び処理をＳ６０３に戻してループ処理を実行させる。

Ｓ６０７においてリサイズ処理部１２１は、上述の処理により画素が配置されたリサイズ処理後のＲＡＷ画像データを出力して、一連の処理を終了する。

このようにＲＡＷ画像データに対するリサイズ処理を行うことにより、図５（ａ）に示したＲＡＷ画像データの配列に画素を配置することができる。なお、図５（ｂ）に示したＲＡＷ画像データの配列は、Ｓ６０３〜Ｓ６０６の処理を領域ごとに実行することにより生成することもできるし、上記一連の処理により出力されたＲＡＷ画像データの並べ替えを行って各画素を配置してもよい。

上述のように本実施形態では、ＲＡＷ画像データに対してリサイズ処理を行う際に、有効画素領域に対するリサイズ処理を行ったうえで、生成したＲＡＷ画像データにはＯＢ領域の画素を全て残すようにした。このようにすることで、撮像素子から出力されるＯＢ領域の画素を利用したクランプ処理等の画像補正をもＲＡＷ画像データを再生する装置側で処理できるため、撮像装置側の回路規模の縮小を実現して、消費電力の削減や本体温度上昇を抑制できる。また、ＯＢ領域を全てＲＡＷ画像データに含めるようにしたことで、リサイズ処理により上記補正に必要となるＯＢ領域の画素を削除することがなく、ＲＡＷ画像データを再生する装置側における補正処理における安定化を図ることができる。換言すれば、上述の構成により、ＲＡＷ画像データ生成に係る処理量を低減しつつ、リサイズ処理に伴う現像時の補正品質の低下を抑制することができる。

（実施形態２）
次に、実施形態２について説明する。実施形態１に係るリサイズ処理では、リサイズ処理部１２１は、ＲＡＷ画像データのＯＢ領域の画素を全て残すようにしたが、実施形態２に係るリサイズ処理では、有効画素領域に対するリサイズ処理に合わせてＯＢ領域を削除する点が異なる。リサイズ処理のための設定を制御する処理以外、処理は共通であり、本実施形態のビデオカメラ１００の機能構成は実施形態１と共通の構成であるため、重複する説明は省略し、相違点について重点的に説明する。

本実施形態におけるＲＡＷ画像データについて図７を参照して説明する。図７（ａ）は、図３（ａ）に対してデジタルズームによるリサイズ処理を施して生成したＲＡＷ画像データを模式的に示している。この例では、有効画素領域は水平／垂直ラインの双方に対してリサイズ処理を行うのに対し、ＶＯＢ領域には水平方向のみにリサイズ処理を、ＨＯＢ領域には垂直方向のみにリサイズ処理を行う。これにより、リサイズ処理前のＶＯＢ領域３０１およびＨＯＢ領域３０２がそれぞれＶＯＢ領域７０１およびＨＯＢ領域７０２となる。このようにすることで、リサイズ処理された後の有効画素領域に対応するＶＯＢ領域およびＨＯＢ領域を残しつつ、生成したＲＡＷ画像データのデータ量を削減している。

図７（ｂ）は、図３（ａ）に対してアスペクト比の切り替えによるリサイズ処理を施して生成したＲＡＷ画像データを模式的に示している。この例では、有効画素領域に対する垂直方向のリサイズ処理を行われるのに対し、有効画素領域の水平サイズ（Width）は変化しない。このため、ＨＯＢ領域に対して垂直方向のみリサイズ処理が行われ、かつＶＯＢ領域は縮小されない。このような処理により生成したＲＡＷ画像データのデータ量を削減している。

本実施形態では、有効画素領域と対応するようにＯＢ領域をリサイズ処理してＲＡＷ画像データを生成しているため、図３（ｂ）で述べたＲＡＷ画像データのデータ配列と同じ形式をとることができる。しかし、さらにデータ量を減らすために、実施形態１で説明した図５（ａ）あるいは図５（ｂ）の形式のように現像時の画像補正で不要となる領域３０４を削除しても良い。なお、ＶＯＢ領域については水平方向、ＨＯＢ領域については垂直方向のみリサイズ処理しているのは、現像時のノイズ除去やクランプ処理に使用するＯＢ領域の情報量が減少ことを回避するためである。

本実施形態に係るリサイズ処理の一連の動作を、図８に示すフローチャートを参照して説明する。なお、撮影が開始され、信号分配部１０３を介して撮像素子１０２から出力されたＲＡＷ画像データの画素がリサイズ処理部１２１に入力されている状態で、ユーザが操作部１１５に対して操作指示を行った場合に本処理が開始される。本処理は、制御部１２２がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開し、実行することにより実現される。

Ｓ８０１において制御部１２２は、操作部１１５から通知された操作指示を入力して、入力した操作指示がリサイズ要求であるかを判定する。制御部１２２は、リサイズ要求であると判断した場合は処理をＳ８０２に進め、リサイズ要求でないと判定したときは、再び処理をＳ８０１に戻してリサイズ要求の指示を待つ。

Ｓ８０２において制御部１２２は、ユーザ操作に伴うリサイズ要求が垂直方向のリサイズ（垂直リサイズ）を含むかを判定する。制御部１２２は、通知された操作内容から通知されたリサイズ要求が、垂直リサイズを含んでいると判定した場合、Ｓ８０３に処理を進め、含んでいないと判定した場合は処理をＳ８０４に進める。

Ｓ８０３において制御部１２２は、ＨＯＢ領域のリサイズ処理を行うための、垂直リサイズ処理のための領域情報を設定する。具体的には、リサイズ処理後のＨＯＢ領域の左上座標（ｘ，ｙ）、垂直サイズ（hobHeight）および水平サイズ（hobWidth）を算出してＲＡＭに記憶する。ＲＡＭに記録した情報は、後に読み出してリサイズ処理部１２１に入力され、リサイズ処理のＳ６０２において用いられる。

Ｓ８０４において制御部１２２は、ユーザ操作に伴うリサイズ要求が水平方向のリサイズ（水平リサイズ）を含むかを判定する。制御部１２２は、通知された操作内容から通知されたリサイズ要求が、水平リサイズを含んでいると判定した場合、Ｓ８０５に処理を進め、含んでいないと判定した場合は処理をＳ８０６に進める。

Ｓ８０５において制御部１２２は、ＶＯＢ領域の水平リサイズ処理を行うための、水平リサイズ処理のための領域情報を設定する。具体的には、リサイズ処理後のＶＯＢ領域の左上座標（ｘ，ｙ）、垂直サイズ（vobHeight）および水平サイズ（vobWidth）を算出してＲＡＭに記憶する。

Ｓ８０６において制御部１２２は、有効画素領域のリサイズ処理を行うための、有効画素領域に対する領域情報を設定する。具体的には、リサイズ処理後のＨＯＢ領域の左上座標（ｘ，ｙ）、垂直サイズ（Height）および水平サイズ（Width）を算出してＲＡＭに記憶する。

Ｓ８０７においてリサイズ処理部１２１は、制御部１２２の指示により上記ステップにて設定した情報に基づいて図６に示したリサイズ処理を実行する。制御部１２２はＲＡＭに記憶した領域情報を読み出してリサイズ処理部１２１に入力する。リサイズ処理部１２１によるリサイズ処理が完了すると、制御部１２２は、本実施形態に係る一連の処理を終了する。

なお、本実施形態において、リサイズ要求が操作部１１５から通知されるものとして説明したが、ユーザ操作に関わらず、防振処理のために防振制御部１１４あるいは制御部１２２自身がリサイズ要求を通知するものを含んでもよい。

上述のように本実施形態では、有効画素領域にリサイズ処理を行う場合に、ＯＢ領域に対してもＶＯＢ領域については水平方向、ＨＯＢ領域については垂直方向のリサイズ処理を行うようにした。このようにすることで、ＲＡＷ画像データ生成に係る処理量を低減しつつ、リサイズ処理に伴う現像時の補正品質の低下を抑制できることに加えて、生成するＲＡＷ画像データのデータ量を削減することができる。

（実施形態３）
次に実施形態３について説明する。実施形態３では、リサイズ要求の内容に応じて、例えばリサイズ要求の内容がアスペクト比の切り替えであった場合に、ＯＢ領域のリサイズ処理を制御する。リサイズ処理に対する設定を制御する処理以外、処理は共通であり、本実施形態のビデオカメラ１００の機能構成は実施形態１と共通の構成であるため、重複する説明は省略し、相違点について重点的に説明する。

図９は、本実施形態におけるリサイズ処理を示し、図８と異なる点は、Ｓ９０１における制御部１２２の処理である。

Ｓ９０１において制御部１２２は、リサイズ要求の操作内容がアスペクト比の切り替えであるかを判定する。そして制御部１２２は、操作内容がアスペクト比の切り替えである場合、ＯＢ領域のリサイズ処理を行うためにＳ８０２以降に処理を進め、アスペクト比の切り替えでないと判定した場合、Ｓ８０６において有効画素領域のみに対するリサイズ処理を行う。但し、ＯＢ領域のリサイズ処理を行うのは、必ずしも操作内容がアスペクト比の切り替えである場合に限らず、リサイズ要求の操作内容に応じてＯＢ領域のリサイズ処理が制御される限り、操作内容がデジタルズームによるリサイズであってもよい。また、いずれの操作内容に対してＯＢ領域のリサイズ処理を行うかについて、予め定められていてもよいし、ユーザにより設定および変更できるようにしてもよい。Ｓ９０１以降の処理は図８に示した処理と同様である。

以上説明したように本実施形態では、有効画素領域にリサイズ処理が入る場合、リサイズ要求の内容に応じてＯＢ領域をリサイズ処理するようにした。このようにすることで、ＲＡＷ画像データ生成に係る処理量を低減しつつ、リサイズ処理に伴う現像時の補正品質の低下を抑制できることや、生成するＲＡＷ画像データのデータ量を削減可能なことに加えて、操作内容に応じたリサイズ処理の制御が可能になる。

（その他の実施形態）
なお、本発明の実施形態ではＶＯＢ領域が有効画素領域の上側、ＨＯＢ領域が有効画素領域の左側にある例について説明した。しかし、本発明はＶＯＢ領域が有効画素領域の上下およびＨＯＢ領域が有効画素領域の左右にそれぞれ存在する場合にも同様の構成で適用可能である。また、本発明の実施形態では動画を例にしたが、静止画に適用しても同様の効果が得られる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２…撮像素子、１０４…記録媒体Ｉ／Ｆ部、１０５…記録媒体、１１５…操作部、１２１…リサイズ処理部、１２２…制御部

Claims (12)

1. 複数の画素が二次元状に配列された画素配列を備え、前記画素配列の補正画素領域から取得される補正画素領域画像データおよび前記画素配列の有効画素領域から取得される有効画素領域画像データを含む画像データを出力する撮像素子と、
   前記撮像素子から出力された前記画像データに対するリサイズ処理を施す処理手段と、
   前記処理手段が前記有効画素領域画像データに対するリサイズ処理を施し、前記補正画素領域画像データに対するリサイズ処理を施さないように制御し、さらに前記処理手段がリサイズ処理を施された前記有効画素領域画像データとリサイズ処理を施されない前記補正画素領域画像データとを組み合わせることにより１フレームの画像データを生成するように制御する制御手段と、
   前記１フレームの画像データを外部に出力する出力手段と、
   を有することを特徴とする撮像装置。
2. 前記処理手段は、前記画像データの水平方向または垂直方向におけるサイズを変更することにより、前記画像データにリサイズ処理を施すことを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段は、設定されたアスペクト比またはズーム倍率に応じて前記画像データにリサイズ処理を施すことを特徴とする請求項１または２に記載の撮像装置。
4. 前記１フレームの画像データにおいて、リサイズ処理を施された前記有効画素領域画像データとリサイズ処理を施されない前記補正画素領域画像データが同じラインに配置されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 複数の画素が二次元状に配列された画素配列を備え、前記画素配列の補正画素領域から取得される補正画素領域画像データおよび前記画素配列の有効画素領域から取得される有効画素領域画像データを含む画像データを出力する撮像素子と、
   前記撮像素子から出力された前記画像データの一部を切り出す切り出し処理を施す処理手段と、
   前記処理手段が前記有効画素領域画像データに対する切り出し処理を施し、前記補正画素領域画像データに対する切り出し処理を施さないように制御し、さらに前記処理手段が切り出し処理を施された前記有効画素領域画像データと切り出し処理を施されない前記補正画素領域画像データとを組み合わせることにより１フレームの画像データを生成するように制御する制御手段と、
   前記１フレームの画像データを外部に出力する出力手段と、
   を有することを特徴とする撮像装置。
6. 前記撮像素子は、前記画像データをＲＡＷ形式で出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記ＲＡＷ形式の画像データは、無圧縮もしくは可逆圧縮された画像データであることを特徴とする請求項６に記載の撮像装置。
8. 前記補正画素領域は、水平補正画素領域および垂直補正画素領域を備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記１フレームの画像データにおいて、前記有効画素領域画像データおよび前記補正画素領域画像データは、前記有効画素領域画像データと前記補正画素領域画像データのうち、いずれか一方の全ての画素データを配置した後に他方の全ての画素データが配置されることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 複数の画素が二次元状に配列された画素配列を備え、前記画素配列の補正画素領域から取得される補正画素領域画像データおよび前記画素配列の有効画素領域から取得される有効画素領域画像データを含む画像データを出力する撮像素子を有する撮像装置の制御方法であって、
    処理手段が、前記撮像素子から出力された前記画像データに対するリサイズ処理を施す処理工程と、
    制御手段が、前記処理工程において前記有効画素領域画像データに対するリサイズ処理を施し、前記補正画素領域画像データに対するリサイズ処理を施さないように制御し、さらに前記処理工程においてリサイズ処理を施された前記有効画素領域画像データとリサイズ処理を施されない前記補正画素領域画像データとを組み合わせることにより１フレームの画像データを生成するように制御する制御工程と、
    出力手段が、前記１フレームの画像データを外部に出力する出力工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 複数の画素が二次元状に配列された画素配列を備え、前記画素配列の補正画素領域から取得される補正画素領域画像データおよび前記画素配列の有効画素領域から取得される有効画素領域画像データを含む画像データを出力する撮像素子を有する撮像装置の制御方法であって、
    処理手段が、前記撮像素子から出力された前記画像データの一部を切り出す切り出し処理を施す処理工程と、
    制御手段が、前記処理工程において前記有効画素領域画像データに対する切り出し処理を施す場合に前記補正画素領域画像データに対する切り出し処理を施さないように制御し、さらに、前記処理工程において切り出し処理を施された前記有効画素領域画像データと切り出し処理を施されない前記補正画素領域画像データとを組み合わせることにより１フレームの画像データを生成するように制御する制御工程と、
    出力手段が、前記１フレームの画像データを外部に出力する出力工程と、
    を有することを特徴とする撮像装置の制御方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images