JP6558976B2 - 撮像装置、その制御方法及びプログラム並びに撮像素子 - Google Patents

Description

本発明は、撮像装置、その制御方法及びプログラム並びに撮像素子に関する。

撮像センサの高画質化や高フレームレート化に伴い、撮像センサと、撮像センサにより撮像された画像データを処理するＤＳＰ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)との間のインタフェースの伝送速度の向上が求められている。このような状況に対して、特許文献１には、撮像センサとＤＳＰの間を接続する複数の伝送路に、画素データにヘッダ情報を付加したパケットを生成して画像データを送信し、画像データを効率的に伝送する技術が開示されている。

特開２０１２−１２０１５８号公報

ところで、動画撮影時のライブビュー拡大表示等の特定の撮影モードでは、ユーザの操作に応じて撮影している画像データの一部を拡大して表示する場合がある。このように撮影している画像の表示領域を変化させるためには、撮像センサから伝送される画像データのうち記録や表示に利用する随時変動する領域（読み出し領域）の一部を取り出して拡大表示等の処理を行う必要がある。このため、ＤＳＰは、得られる読み出し領域に対して、拡大表示等を行う領域を求める演算を随時行う必要がある。従って、高画質化や高フレームレート化に伴って、読み出し領域の一部を処理するためのＤＳＰの処理負担が増大することが想定される。また、特許文献１に開示された技術では、撮像センサからＤＳＰに伝送されるヘッダ情報はフレームの開始・終了や画素データの属するライン番号を示す等の制御情報に限定されている。従って、読み出し領域の全部または一部の領域に対する処理については考慮されておらず、当該処理をＤＳＰで行うためには、制御部からＤＳＰに対する制御が別途必要となり、処理が複雑化することが想定される。

本発明は、上述の従来技術の問題点に鑑みてなされたものである。本発明は、撮影している画像データの一部の領域に対する処理を行う場合に、撮像センサから伝送された画像データに対する処理負担を軽減することが可能な撮像装置、その制御方法及びプログラム並びに撮像素子を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、被写体の画像データを生成する撮像手段と、記録される領域を示す記録領域情報と、表示される領域を示す表示領域情報とを、ヘッダ情報として画像データに付加する情報付加手段と、記録領域情報と表示領域情報とが付加された画像データを出力する出力手段と、記録のために記録領域情報によって特定される記録領域を画像データから抽出し、表示のために表示領域情報によって特定される表示領域を画像データから抽出する画像処理手段と、を有することを特徴とする。

本発明によれば、撮影している画像データの一部の領域に対する処理を行う場合に、撮像センサから伝送された画像データに対する処理負担を軽減することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図 本実施形態に係る撮像センサ１０２の画素領域を模式的に示す図 本実施形態に係る伝送データのフレームフォーマットの一例を示す図 本実施形態に係るヘッダ情報の内容および情報量を示すテーブル 本実施形態に係る画像領域と読み出し領域の関係を示す図（ａ）および読み出し領域と表示領域の関係を示す図（ｂ） 実施形態１に係る撮像センサ１０２と信号処理部１０３の機能構成例を示すブロック図（ａ）および実施形態２に係る信号処理部１０３の機能構成例を示すブロック図（ｂ） 本実施形態に係る伝送および表示処理の一連の動作を示すフローチャート 実施形態３に係る撮像装置５００の機能構成を示すブロック図 実施形態３に係るＡＦＥ５０１の機能構成例を示すブロック図 実施形態４に係る撮像装置６００の機能構成を示すブロック図 実施形態４に係るＤＦＥ６０１と信号処理部６０２の機能構成例を示すブロック図 その他の実施形態に係る積層型の撮像センサの一例を示す図 その他の実施形態に係る撮像装置の一例としての携帯電話機の機能構成例を示すブロック図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、撮影中の画像の一部の領域に対する処理が可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、当該処理を行うことが可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（１ デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮影レンズ１０１は、被写体からの光を撮像センサ１０２に結像させる撮影光学系である。撮像センサ１０２は、撮像素子を含み、光電変換素子を有する画素が複数、２次元的に配列された構成を有し、撮影レンズ１０１により結像された被写体像を各画素で光電変換する。撮像センサ１０２に特に限定はないが、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが使用される。撮像センサ１０２は内部にＡ／Ｄ変換部を有し、画素単位のアナログ信号をデジタル信号に変換して画像データを生成する。また、後述するように、撮像センサ１０２は画像データをヘッダ情報等の付加情報を付加したパケットデータにして、信号処理部１０３に伝送する。

信号処理部１０３は、ＤＳＰなどの専用回路からなり、撮像センサ１０２から入力した画像データに対して現像処理や階調補正等の各種画像処理や圧縮・伸張処理などを行う。信号処理部１０３は、撮像センサ１０２から画像データを入力すると、別途後述するように画像データに付加された付加情報を参照して、例えば拡大表示のために画像データ内の所定の領域を抽出する処理を行う。

記録媒体１０４は、撮影された画像データを記録する半導体メモリや磁気ディスク等から構成される。

表示部１０５は、撮影した画像や各種メニュー画面などを表示し、液晶ディスプレイ（ＬＣＤ）などが使用される。表示部１０５は、タッチパネルを備え、メニュー画面に対するユーザの操作を検出する不図示の操作部としても機能する。

制御部１０６は、例えばＣＰＵあるいはＭＰＵであり、不図示のＲＯＭに格納されたプログラムを不図示のメモリの作業エリアに展開し、実行することにより、デジタルカメラ１００全体を制御する。ＲＡＭ１０７は、画像データなどを一時記憶する記憶媒体であり、信号処理部１０３と接続されている。

（２ 画像データの伝送方法）
撮像センサ１０２における画素領域の一例について、図２を参照して説明する。有効画素領域２０１には、被写体からの光を光電変換して入射光量に応じた信号を出力する有効画素が配置されている。撮像センサ１０２には、有効画素のほか、被写体からの光を遮光されたオプティカルブラック画素（ＯＢ画素）が配置されており、このＯＢ画素は有効画素の出力を補正するための基準となる信号を出力する。水平ＯＢ画素領域２０２および垂直ＯＢ画素領域２０３は、それぞれＯＢ画素が配置されている領域である。水平ＯＢ画素領域２０２は、その垂直方向（列に沿った方向）の画素数が有効画素領域２０１の垂直方向の画素数と等しい領域であり、例えば有効画素領域２０１の水平方向（行に沿った方向）の端部（例えば左側）に隣接して配置されている。垂直ＯＢ画素領域２０３は、その水平方向の画素数が、有効画素領域２０１と水平ＯＢ画素領域２０２の水平方向の画素数の和と等しく、有効画素領域２０１の垂直方向の端部（例えば上側）に接して配置されている。そして、有効画素領域２０１、水平ＯＢ画素領域２０２、垂直ＯＢ画素領域２０３から画素領域２００が構成される。

次に、撮像センサ１０２と信号処理部１０３の間で１フレームの画像データを伝送するために用いられるフォーマットの例について図３を参照して説明する。

水平方向（行に沿った方向）の画素の並びをラインとすると、パケットには、有効画素およびＯＢ画素を含む１ラインを構成する画素データが格納される。従って、１フレームの画像データ全体の伝送は、有効画素領域の垂直方向（列に沿った方向）の画素数以上の数のパケットを用いて行われる。

図３の上段および中段には、画素データをラインごとに伝送する際に付加されるヘッダ情報と、当該ヘッダ情報および１ライン分の画素データを含んだデータを１つのパケットとした場合のパケット構造を示している。また、図２で示した画素領域から出力された画素データとパケット構造との対応を模式的に示すと、図３の下段のようになる。

画素データ３０３の前後にはヘッダ情報３０２およびフッタ情報３０４が付加される。さらにヘッダ情報３０２の前にはパケットの開始を示す開始コード３０１と、フッタ情報３０４の後ろにはパケットの終了を表す終了コード３０５などの制御コードが付加される。フッタ情報３０４が付加されない場合、画素データの後ろに終了コード３０５などの制御コードが付加され、終了コード３０５が付加されない場合、次フレームの開始コードが終了コードとして使用される。

ヘッダ情報３０２には、フレーム情報３１０、ライン情報３１１、スキップ位置情報３１２、表示領域情報３１３などの各ラインの画素データに関する付加的な情報が含まれる。図４には、ヘッダ情報３０２に含まれる各情報の内容と情報量を示している。

フレーム情報３１０は、パケットに格納された画素データのフレームに関する情報であり、「フレーム開始」または「フレーム終了」を示す情報で構成される。「フレーム開始」は、フレームの先頭を表す１ビットの情報であり、画像データの１ライン目の画素データを含むパケットの「フレーム開始」には１の値が設定される。また、１ライン目以外のラインを含むパケットの「フレーム開始」には０の値が設定される。「フレーム終了」は、フレームの終端を表す１ビットの情報である。有効画素領域の終端ラインの画素データを含むパケットの「フレーム終了」には１の値が設定され、終端ライン以外のラインの画素データを含むパケットの「フレーム終了」には０の値が設定される。

ライン情報３１１は、パケットに格納された画素データのラインに関する情報であり、「ライン有効」と「ライン番号」とから構成される。「ライン有効」は、パケットに格納されている画素データが有効画素領域のラインの画素データであるか否かを表す１ビットの情報である。有効画素領域のラインの画素データが格納されたパケットの「ライン有効」には１の値が設定され、有効画素領域のライン以外の画素データが格納されたパケットの「ライン有効」には０の値が設定される。「ライン番号」は、画素データにより構成されるラインのライン番号を表す１３ビットの情報である。

スキップ位置情報３１２は、信号処理部１０３に伝送された画像データから画素データを読み出すためのスキップ位置に関する情報であり、「垂直スキップ開始」、「垂直スキップ終了」、「水平スキップ開始」および「水平スキップ終了」から構成される。各情報は１３ビットの情報であり、「垂直スキップ開始」はスキップ位置の垂直方向（列に沿った方向）の開始位置を、「垂直スキップ終了」はスキップ位置の垂直方向（列に沿った方向）の終了位置を表す。同様に、「水平スキップ開始」はスキップ位置の水平方向（行に沿った方向）の開始位置を、「水平スキップ終了」はスキップ位置の水平方向（行に沿った方向）の終了位置を表す。

表示領域情報３１３は、表示領域に含まれる画素データを示す情報であり、「垂直表示開始」、「垂直表示終了」、「水平表示開始」および「水平表示終了」から構成される。表示領域情報の各情報は１３ビットの情報であり、「垂直表示開始」は、表示領域の垂直方向（列に沿った方向）の開始位置を、「垂直表示終了」は、表示領域の垂直方向（列に沿った方向）の終了位置を表す。また、「水平表示開始」は、表示領域の水平方向（行に沿った方向）の開始位置を表し、「水平表示終了」は、表示領域の水平方向（行に沿った方向）の終了位置を表す。

拡張情報３１４は、拡張用に設けられた３２ビットの領域からなる「予約」で構成され、ヘッダ情報全体のデータ量は１９バイトになる。

さらに、図２で示した画素領域に対応する画素データから、図３および図４で示したヘッダ情報に基づいて読み出し領域および表示領域を特定する方法について、図５を参照して説明する。図５（ａ）は、撮像センサの画素領域２００と、ヘッダ情報３０２のスキップ位置情報３１２で特定される読み出し領域を示している。

読み出し領域３００は、記録媒体１０４に記録するために信号処理部１０３によって抽出される領域である。読み出し領域３００のうちの有効読み出し領域２０４は、ヘッダ情報３０２のスキップ位置情報、即ち「垂直スキップ開始」、「垂直スキップ終了」、「水平スキップ開始」および「水平スキップ終了」のそれぞれが示す４点の位置で囲まれた領域として特定される。また、有効読み出し領域２０４に対応する垂直ＯＢ読み出し領域２０６は、垂直ＯＢ読み出し領域２０６ａと垂直ＯＢ読み出し領域２０６ｂから構成される。垂直ＯＢ読み出し領域２０６ａは、垂直ＯＢ画素領域のうち「水平スキップ開始」、「水平スキップ終了」のそれぞれの位置が示す水平方向の範囲によって特定される。また、垂直ＯＢ読み出し領域２０６ｂは、水平ＯＢ画素領域の上側に配置された、水平方向の画素数が水平ＯＢ画素領域の水平方向の画素数と等しい領域として特定される。水平ＯＢ読み出し領域２０５は、水平ＯＢ画素領域２０２のうち「垂直スキップ開始」、「垂直スキップ終了」のそれぞれの位置が示す垂直方向の範囲によって特定される。このようにして、読み出し領域３００は、有効読み出し領域２０４、水平ＯＢ読み出し領域２０５および垂直ＯＢ読み出し領域２０６がそれぞれ特定されることにより抽出される。

次に、読み出し領域３００と表示領域４００の関係を、図５（ｂ）を参照して説明する。表示領域４００は、例えば動画撮影時のライブビュー拡大表示等の特定の撮影モードにおいて、読み出し領域３００の一部を取り出して拡大表示する際に用いられる領域である。表示領域４００は、読み出し領域３００とヘッダ情報３０２の表示領域情報３１３とで特定される。表示領域４００は、表示領域情報３１３の「垂直表示開始」、「垂直表示終了」、「水平表示開始」および「水平表示終了」のそれぞれが示す４点の位置で囲まれた領域として決定される。

（３ 撮像センサ１０２の機能構成と画像データの送信）
上述した伝送方法により画像データを送信するための、撮像センサ１０２の機能構成例とパケットの生成処理について図６（ａ）を参照して説明する。

撮像部１０２ａは、画素領域２００に入射した被写体像を光電変換して画素単位のアナログ信号を出力する。Ａ／Ｄ変換部１０２ｂは、得られたアナログ信号をデジタル信号に変換して出力し、画像データ生成部１０２ｃは、得られたデジタル信号を画素領域２００に対応する画像データとして生成する。

ヘッダ生成部１０２ｄは、１ライン分の画素データにヘッダ情報として付加される、図４に示したスキップ位置情報等の各情報を、制御部１０６から通知される制御情報に基づいて生成する。制御部１０６から通知される制御情報は、例えば読み出し領域に関する制御情報や表示領域に関する制御情報がある。読み出し領域に関する制御情報には、例えば電子防振機能のための読み出し領域の制御情報であってよい。また、表示領域に関する制御情報には、例えばライブビュー拡大表示における表示倍率に関する制御情報があってよい。ヘッダ生成部１０２ｄは、例えば、電子防振機能のための読み出し領域に関する制御情報に基づいて、読み出し領域３００を特定するスキップ位置情報を決定する。また、ライブビュー拡大表示における表示倍率を示す制御情報に基づいて表示領域４００を特定する表示領域情報を決定する。

パケット生成部１０２ｅは、ヘッダ生成部１０２ｄで生成されたヘッダ情報を１ライン分の画素データに付加したパケットを生成する。出力部１０２ｆは、パケット生成部１０２ｅにより生成されたパケットを信号処理部１０３に出力する。

（４ 信号処理部１０３の機能構成とパケットの処理）
次に、上述した伝送方法により画像データを受信するとともに信号処理を施すための、信号処理部１０３の機能構成例とパケットの処理について図６（ａ）を参照して説明する。

入力部１０３ａは、上述した伝送方式により伝送される１ライン分の画素データを含むパケットを受信する。ヘッダ抽出部１０３ｂは、入力部１０３ａで受信したパケットからヘッダ情報を抽出して解析し、後の処理に必要なヘッダ情報および画素データを出力する。

読み出し領域抽出部１０３ｃは、ヘッダ情報のスキップ位置情報に基づいて読み出し領域の画素データを抽出する。また、読み出し領域抽出部１０３ｃは、抽出した画素データから読み出し領域に対応する画像データを生成して、表示領域抽出部１０３ｄおよび記録補正部１０３ｆに出力する。

表示領域抽出部１０３ｄは、読み出し領域抽出部１０３ｃにおいて抽出された読み出し領域のうち、ヘッダ情報３０２の表示領域情報に基づいて表示領域４００を抽出する。このように、読み出し領域および表示領域を特定する情報を付加した画像データを撮像センサ１０２から送信することにより、信号処理部１０３において表示領域４００を求める演算が不要となる。また、制御部１０６においては、読み出し領域３００あるいは表示領域４００を制御するための制御情報を信号処理部１０３に通知する必要が無くなる。従って、信号処理部１０３では、例えば制御部１０６による表示領域４００に対する制御が不要となり制御が単純化される。

表示補正部１０３ｅは、表示領域抽出部１０３ｄにおいて抽出された表示領域の画素データに対して、例えば表示部１０５の表示特性に対応した補正処理を行って補正後の画像データを出力する。

記録補正部１０３ｆでは、読み出し領域抽出部１０３ｃにおいて抽出された読み出し領域データに対して、例えば、記録に適した補正処理を行って補正後の画像データを出力する。

このようにヘッダ情報に読み出し領域および表示領域を特定する情報を付加することにより、信号処理部１０３は、表示用の画像と記録用の画像とを容易に抽出可能になり、さらに記録用および表示用の個別の補正処理を容易に適用することが可能になる。

（画像データの伝送および表示処理に係る一連の動作）
次に、図７を参照して、画像データの伝送および表示処理に係る一連の動作を説明する。なお、デジタルカメラ１００がライブビュー表示を行っている状態で、例えば不図示の操作部に対するユーザ操作が検出された場合に本処理が開始される。

Ｓ７０１において、制御部１０６は、ユーザ操作が表示部１０５に表示する表示領域を変更する指示であるかを判定する。制御部１０６は、操作部から通知された操作情報に基づいてユーザ操作が表示領域を変更する操作であるかを判定し、表示領域を変更する場合はＳ７０２に処理を進め、表示領域を変更しない場合はＳ７０３に処理を進める。

Ｓ７０２において、制御部１０６は、表示領域を変更するための制御情報を撮像センサ１０２に通知する。表示領域を変更するための制御情報は、例えばライブビュー拡大表示における表示倍率に関する制御情報であり、例えばユーザ操作の指示に対応した表示倍率に更新する。そして、制御部１０６は、当該制御情報を撮像センサ１０２に通知する。なお、制御部１０６は、電子防振機能等のための読み出し領域３００の変更を別途判定し、当該変更のための通知を撮像センサ１０２に別途通知している。

Ｓ７０３において、撮像センサ１０２は、制御部１０６の指示に基づいて、撮像処理を行う。撮像センサ１０２は適切な時間間隔で被写体からの光を露光して画像データを生成する。

Ｓ７０４において、撮像センサ１０２は、読み出し領域３００に対して表示領域４００が変化したかを判定する。より具体的には、撮像センサ１０２のヘッダ生成部１０２ｄは、制御部１０６から取得した表示領域を変更するための制御情報に基づいて、表示領域４００を特定する。ヘッダ生成部１０２ｄは、制御部１０６から別途通知された読み出し領域の制御情報に基づいて読み出し領域３００も決定しているため、読み出し領域３００に応じた表示領域４００を特定することができる。ヘッダ生成部１０２ｄは、読み出し領域３００と表示領域４００のいずれかが変化している場合、読み出し領域３００に対する表示領域４００が変化していると判定し、Ｓ７０５に処理を進める。一方、当該領域が変化していないと判定した場合、Ｓ７０６に処理を進める。

Ｓ７０５において、撮像センサ１０２は、ヘッダ情報３０２に格納するスキップ位置情報あるいは表示領域情報を更新する。

Ｓ７０６において、撮像センサ１０２は、ヘッダ情報３０２および当該ヘッダ情報を含むパケットを生成する。ヘッダ生成部１０２ｄは、スキップ位置情報あるいは表示領域情報を格納したヘッダ情報３０２を生成する。また、ヘッダ生成部１０２ｄは、ライブビュー拡大表示等が行われないことにより、表示領域４００と読み出し領域３００が同一の場合には、表示領域情報が読み出し領域３００と同一となる表示領域情報を格納したヘッダ情報３０２を生成する。その後、パケット生成部１０２ｅは、当該ヘッダ情報を含むパケットを生成する。

Ｓ７０７において、撮像センサ１０２は、生成したパケットを信号処理部１０３に送信する。撮像センサ１０２は、所定のタイミングごとに例えば１ライン分のパケットの送信を１フレーム分の画像が送信されるまで繰り返す。

Ｓ７０８において、信号処理部１０３は、撮像センサ１０２が送信したパケットを順次受信し、Ｓ７０９において、信号処理部１０３は、受信した各パケットから読み出し領域３００の画素データを抽出する。より具体的には、信号処理部１０３の読み出し領域抽出部１０３ｃは、ヘッダ情報のスキップ位置情報に基づいて読み出し領域３００の画素データを抽出する。

Ｓ７１０において、信号処理部１０３の表示領域抽出部１０３ｄは、読み出し領域３００からヘッダ情報で特定される表示領域４００の画素データを抽出する。

Ｓ７１１において、信号処理部１０３の表示補正部１０３ｅは、抽出された表示領域の画素データから表示画像を生成して補正処理を行う。具体的には、抽出した画素データを基に表示画像の画素数に適合させるための補間処理や、表示画像に対する補正処理を行なう。

Ｓ７１２において、信号処理部１０３の表示補正部１０３ｅは、表示のための補正処理を完了すると、表示画像を表示部１０５に出力する。そして、制御部１０６は、信号処理部１０３が表示画像を出力すると、一連の処理を終了する。

なお、上述の一連の処理では、伝送された画像データを表示する処理について説明したが、伝送された画像データを記録する処理についても適用できる。即ち、Ｓ７０７において抽出された読み出し領域の画素データに対して、記録補正部１０３ｆが記録用の補正処理を行い、記録媒体１０４に出力すればよい。

以上説明したように本実施形態では、撮影している画像データの表示領域４００を変更する場合に、撮像センサ１０２は読み出し領域および表示領域を示す情報を画素データのヘッダ情報に格納して伝送するようにした。そして、信号処理部１０３は、受信した画素データのヘッダ情報に基づいて読み出し領域および表示領域を抽出するようにした。このようにすることで、撮影している画像データの一部の領域に対する処理を行う場合に、撮像センサから伝送された画像データに対する処理負担を軽減することが可能になる。即ち、信号処理部１０３において表示領域４００を求める演算が不要となる。また、制御部１０６が表示領域を変更するための制御情報を撮像センサ１０２に通知するようにした。このようにすることで、制御部１０６による信号処理部１０３に対する制御が不要となり表示領域の制御を単純化することが可能になる。さらに、ヘッダ情報を参照して抽出した読み出し領域３００と表示領域４００に対して、別個の補正処理を適用するようにした。このことにより、ヘッダ情報を参照するだけで容易に異なる補正処理を適用できる。換言すれば、ヘッダ情報の示す領域に応じて補正パラメータを切り替えることができる。

（実施形態２）
次に実施形態２について説明する。実施形態２に係るデジタルカメラ１００は、信号処理部１０３内部の構成が実施形態１と異なる。即ち、実施形態１の補正部は、図６（ａ）で示した記録媒体１０４および表示部１０５のそれぞれに対応する補正部を備えるが、実施形態２では、図６（ｂ）に示すように単一の補正部１０３ｇのみを備える。実施形態２に係るデジタルカメラは、補正部以外の構成は同一であるため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図６（ｂ）は、実施形態２に係る信号処理部１０３の機能構成を示すブロック図である。表示用の画像データと記録用の画像データに対して画像処理を切り替える必要がない場合、補正部１０３ｇで同一の画像処理が行われる。この場合、読み出し領域と表示領域が異なる場合においても、単一の補正部において、時分割で画像処理を行う構成としてもよい。このようにすることで、実施形態１と同様、撮影している画像データの一部の領域に対する処理を行う場合に、撮像センサから伝送された画像データに対する処理負担を軽減することが可能である。さらに、補正部を共通化し回路規模を削減することができる。

（実施形態３）
次に実施形態３について説明する。実施形態３に係るデジタルカメラ５００は、基本的な構成は、実施形態１と同様であるが、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）５０１を備える点が実施形態１と異なる。

図８は、デジタルカメラ５００の全体構成を示した図であり、図９は、図８における撮像センサ５０２とＡＦＥ５０１の機能構成例を示すブロック図である。撮像センサ５０２は、撮像部５０２ａのみを有し、この機能ブロックは実施形態１における撮像センサ１０２の撮像部１０２ａに対応する。撮像センサ５０２は、光電変換した画素単位のアナログ信号を出力する。

ＡＦＥ５０１は、Ａ／Ｄ変換部５０１ａ、画像データ生成部５０１ｂ、ヘッダ生成部５０１ｃ、パケット生成部５０１ｄ，出力部５０１ｅを備える。符号５０１ａ〜５０１ｅの各構成は、実施形態１において説明した符号１０２ｂ〜１０２ｆの各構成とそれぞれ対応する。ＡＦＥ５０１は、制御部１０６により制御され、撮像センサ５０２から受けた画素単位のアナログ信号をデジタル信号に変換する。そして、実施形態１における符号１０２ｂ〜１０２ｆの各構成で行われる処理と同一の処理を行って、画像データを信号処理部１０３へ送信する。本実施形態によれば、実施形態１と同様、撮影している画像データの一部の領域に対する処理を行う場合に、撮像センサから伝送された画像データに対する処理負担を軽減することが可能である。さらに、Ａ／Ｄ変換処理およびヘッダ生成処理を撮像センサ以外で行うことで、アナログ信号を出力する撮像センサを用いることができる。また、撮像センサの外部に画像データの伝送処理用の機能ブロックを備えることで、簡易な撮像センサに対して本発明の伝送処理および表示制御を適用することが可能になる。

（実施形態４）
次に実施形態４について説明する。実施形態４に係るデジタルカメラ６００は、基本的な構成は、実施形態１と同様であるが、ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）６０１を備える点が異なる。

図１０は、デジタルカメラ６００の機能構成例を示している。撮像センサ１０２から伝送されたパケットはＤＦＥ６０１を用いて処理されたうえで信号処理部６０２による補正処理が行われる。ＤＦＥ６０１の機能構成例を図１１に示している。ＤＦＥ６０１は、実施形態１で説明した信号処理部１０３の符号１０３ａ〜１０３ｄの各構成に対応する、入力部６０１ａ、ヘッダ抽出部６０１ｂ、読み出し領域抽出部６０１ｃ、表示領域抽出部６０１ｄを備える。表示領域抽出部６０１ｄで抽出された表示領域データは、まず第１補正部６０１ｅで表示特性に応じた階調補正等の補正処理が行われる。その後、ＤＦＥ６０１から出力され、信号処理部６０２の第２補正部１０３ｈで、例えば表示画素数に合わせる拡大処理に伴う画像処理が行われる。また、読み出し領域抽出部６０１ｃで抽出された読み出し領域データは、まず第３補正部６０１ｆで記録特性に応じた階調補正等の画像処理が行われる。その後、ＤＦＥ６０１から出力され、信号処理部６０２の第４補正部１０３ｉで、例えば記録媒体１０４の要件に合わせた所定の画像処理が行われる。なお、ＤＦＥ６０１で行う処理の一部をＤＳＰで行う構成としてもよい。

本実施形態によれば、実施形態１と同様、撮影している画像データの一部の領域に対する処理を行う場合に、撮像センサから伝送された画像データに対する処理負担を軽減することが可能である。さらに、複数の画像処理を組み合わせ可能な構成にすることで、画像データに対する複数の画像処理を補正内容やデータパスに応じて切り替えることが可能となり、画像処理の効率を向上できる。

（その他の実施形態）
また、本発明は、以下に示す他の実施形態に対しても適用可能である。例えば、図１２に示す積層型の撮像センサ１２００に対して本発明を適用できる。図１２に示す様に、本実施形態の撮像センサ１２００は、第１の半導体チップ１２０１と第２の半導体チップ１２０２がチップレベルで互いに積層されている。図１２（ａ）は斜投影図、図１２（ｂ）は各チップの上面図を示している。第１の半導体チップ１２０１には、例えば実施形態１における撮像部１０２ａの画素領域２００に対応する画素部１２０３を含む領域が含まれ、高速ロジックプロセス用の第２の半導体チップ１２０２には、例えば実施形態１におけるＡ／Ｄ変換部１０２ｂに対応する列Ａ／Ｄ変換回路や水平走査回路などデジタルデータを含む高速処理が可能な部分１２０４および１２０５が含まれる。上述の図１の構成において、例えば、撮像センサ１０２に含まれる撮像部１０２ａが第１の半導体チップ１２０１に対応する。また、撮像センサ１０２に含まれるＡ／Ｄ変換部１０２ｂ、画像データ生成部１０２ｃ、ヘッダ生成部１０２ｄ、パケット生成部１０２ｅ、出力部１０２ｆの各機能ブロックが第２の半導体チップ１２０２に配置されるように構成すれば良い。なお、第１の半導体チップ１２０１と第２の半導体チップへの各機能ブロックの配置は、上記した構成に限定されるものではない。また、積層される半導体チップも２つに限らず、３つ以上の半導体チップを積層する構成でもかまわない。

さらに、本発明は、撮像装置の一例としての図１３に示す携帯電話機１３００にも適用可能である。図１３は、携帯電話機１３００の機能構成を示すブロック図である。携帯電話機１３００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。通信部１０１０は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部１０２０は、音声通話時において、マイクロフォン１０３０からの音声データを発信に適した形式に変換して通信部１０１０に送る。また、音声処理部１０２０は、通信部１０１０から送られた通話相手からの音声データを復号し、スピーカ１０４０に送る。撮像部１０５０は、被写体の画像を撮影し、画素データを出力する。撮像部１０５０は例えば実施形態１において上述した撮像センサ１０２を含む。ここで、撮像センサ１０２は、上述した積層型の撮像センサであっても良い。また、撮像部１０５０は上述したパケットを生成して画像処理部１０６０に送信する。画像処理部１０６０は、実施形態１で上述した信号処理部１０３を含み、画像の撮影時においては、撮像部１０５０から送信された画素データを処理し、表示および記録に適した画像をそれぞれ表示部１０７０およびメモリＩＦ１１１０に出力する。また、画像処理部１０６０は、記録された画像の再生時には、再生された画像を処理して表示部１０７０に送る。表示部１０７０は、数インチ程度の液晶表示パネルを備え、制御部１０９０からの指示に応じて各種の画面を表示する。不揮発メモリ１０８０は、アドレス帳の情報や、電子メールのデータ、撮像部１０５０により撮影された画像データ等のデータを記憶する。

制御部１０９０はＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って携帯電話機１３００の各部を制御する。制御部１０９０は、各実施形態において上述した制御部１０６を含み、撮像部１０５０および画像処理部１０６０を制御する。操作部１１００は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備え、例えばライブビュー表示の操作も行うことができる。メモリＩＦ１１１０は、メモリカードなどの記録媒体１１２０に対して各種のデータを記録再生する。外部ＩＦ１１３０は、不揮発メモリ１０８０や記録媒体１１２０に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ１１３０は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。

次に、携帯電話機１３００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部１１００の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ１０８０に記憶されたアドレス帳を表示部１０７０に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部１０９０は通信部１０１０に対し、通話相手に発信する。通話相手に着信すると、通信部１０１０は音声処理部１０２０に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。

また、電子メールを送信する場合、ユーザは、操作部１１００を用いて、メール作成を指示する。メール作成が指示されると、制御部１０９０はメール作成用の画面を表示部１０７０に表示する。ユーザは操作部１１００を用いて送信先アドレスや本文を入力し、送信を指示する。制御部１０９０はメール送信が指示されると、通信部１０１０に対しアドレスの情報とメール本文のデータを送る。通信部１０１０は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部１０１０は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部１０７０に表示する。

次に、携帯電話機１３００における撮影機能について説明する。ユーザが操作部１１００を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部１０５０は静止画データ或いは動画データを撮影して画像処理部１０６０に送る。画像処理部１０６０は撮影された静止画データや動画データを処理し、不揮発メモリ１０８０に記憶する。また、画像処理部１０６０は、撮影された静止画データや動画データをメモリＩＦ１１１０に送る。メモリＩＦ１１１０は静止画や動画データを記録媒体１１２０に記憶する。

また、携帯電話機１３００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ１０８０や記録媒体１１２０に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。

また、携帯電話機１３００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ１１３０によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部１１００を操作して、不揮発メモリ１０８０や記録媒体１１２０に記憶された画像ファイルを選択し、送信を指示する。制御部１０９０は、選択された画像ファイルを不揮発メモリ１０８０或いは記録媒体１１２０から読み出し、外部機器に送信するよう、外部ＩＦ１１３０を制御する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２…撮像センサ、１０３…信号処理部、１０４…記録媒体、１０５…表示部、１０６…制御部

Claims (13)

1. 被写体の画像データを生成する撮像手段と、
   記録される領域を示す記録領域情報と、表示される領域を示す表示領域情報とを、ヘッダ情報として前記画像データに付加する情報付加手段と、
   前記記録領域情報と前記表示領域情報とが付加された前記画像データを出力する出力手段と、
   記録のために前記記録領域情報によって特定される記録領域を前記画像データから抽出し、表示のために前記表示領域情報によって特定される表示領域を前記画像データから抽出する画像処理手段と、を有することを特徴とする撮像装置。
2. 前記画像処理手段は、前記抽出した画像データの前記記録領域又は前記表示領域に対して所定の補正処理を行う、ことを特徴とする請求項１に記載の撮像装置。
3. 前記表示領域に対して領域を変更する指示を入力する入力手段をさらに有し、
   前記情報付加手段は、前記領域を変更する指示に基づく制御情報を取得し、該制御情報に基づいて、前記表示領域情報を付加することを特徴とする請求項１に記載の撮像装置。
4. 前記入力手段は、前記表示領域に対する前記領域を変更する指示となるユーザ操作を入力し、
   前記情報付加手段は、前記ユーザ操作に基づく制御情報を取得し、該制御情報に基づいて前記表示領域情報を付加することを特徴とする請求項３に記載の撮像装置。
5. 前記画像処理手段は、前記補正された画像データの前記記録領域を記録媒体に対して出力するか、前記補正された画像データの前記表示領域を表示手段に対して出力する、ことを特徴とする請求項２に記載の撮像装置。
6. 前記記録領域情報と前記表示領域情報のそれぞれは、列に沿った方向の開始位置、列に沿った方向の終了位置、行に沿った方向の開始位置、行に沿った方向の終了位置の少なくとも１つを含むことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記ユーザ操作は、ライブビューにおける拡大表示に関する操作を含むことを特徴とする請求項４に記載の撮像装置。
8. 画像処理手段に画像データを提供する撮像素子であって、
   被写体の画像データを生成する撮像手段と、
   記録される領域を示す記録領域情報と、表示される領域示す表示領域情報とを、ヘッダ情報として前記画像データに付加する情報付加手段と、
   前記記録領域情報と前記表示領域情報とが付加された前記画像データを出力する出力手段と、を有し、
   前記画像処理手段は、記録のために前記記録領域情報によって特定される記録領域を前記画像データから抽出し、表示のために前記表示領域情報によって特定される表示領域を前記画像データから抽出することを特徴とする撮像素子。
9. 前記情報付加手段は、記録領域と表示領域とを取得するための制御情報を取得し、前記取得した制御情報に基づいて、前記記録領域情報と前記表示領域情報を付加する、ことを特徴とする請求項８に記載の撮像素子。
10. 前記記録領域情報と前記表示領域情報のそれぞれは、列に沿った方向の開始位置、列に沿った方向の終了位置、行に沿った方向の開始位置、行に沿った方向の終了位置の少なくとも１つを含むことを特徴とする請求項８または９に記載の撮像素子。
11. 前記撮像素子は、複数の半導体チップが積層された積層型の撮像素子である、ことを特徴とする請求項８ないし１０のいずれか１項に記載の撮像素子。
12. 撮像手段が、被写体の画像データを生成する撮像工程と、
    情報付加手段が、記録される領域を示す記録領域情報と、表示される領域を示す表示領域情報とを、ヘッダ情報として前記画像データに付加する情報付加工程と、
    出力手段が、前記記録領域情報と前記表示領域情報とが付加された前記画像データを出力する出力工程と、
    画像処理手段が、記録のために前記記録領域情報によって特定される記録領域を前記画像データから抽出し、表示のために前記表示領域情報によって特定される表示領域を前記画像データから抽出する画像処理工程と、を有することを特徴とする撮像装置の制御方法。
13. コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images