JP6872956B2 - 撮像システム及び撮像システムの制御方法 - Google Patents

Description

本発明は、撮像システム及び撮像システムの制御方法に関するものである。

近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置に用いられる撮像素子の高機能化が進んでいる。

特許文献１では、アナログの画像信号をデジタル信号に変換するアナログデジタル（ＡＤ）変換回路を複数備えた撮像装置において、一部のＡＤ変換回路をランダムに動作させながら、画像信号を読み出す技術が提案されている。この技術によると、撮像装置の全画素の信号を読み出す場合に比べて、ＡＤ変換にかかる電力及びデータ量を削減することができる。

特開２０１６−３９３９３号公報

しかしながら、特許文献１に記載の技術では、撮像装置の全画素の信号を読み出す場合に比べて、消費電力を抑えることはできるが、画質の劣化が大きいという課題がある。

本発明は上記問題点を鑑みてなされたものであり、撮像素子からの画像の読み出しにおいて、画質の劣化を抑えつつ、効果的に消費電力を削減することを目的とする。

上記目的を達成するために、本発明の撮像システムは、複数の画素が行列状に配置された画素領域と、前記画素領域から読み出された画像信号を処理する複数の処理手段と、複数の異なる画素密度かつ不均一な画素パターンで前記複数の画素から読み出しを行うとともに、前記画素領域のすべての画素の信号が少なくとも１度は読み出されるようにフレームごとに異なる複数の読み出し画素パターンを生成する生成手段と、前記画素領域を分割した複数の分割領域それぞれに対して、前記複数の画素密度のいずれかを設定する設定手段と、前記設定手段により設定された画素密度に対応した読み出し画素パターンで前記複数の分割領域それぞれから画像信号を読み出すように制御する制御手段と、前記異なる複数の読み出し画素パターンに基づいて読み出した複数フレームの画像に基づいて、前記画素領域のすべての画素の信号に相当する復元画像を生成する復元手段と、を有し、
前記設定手段は、前記複数の分割領域のうち、より高い画質で撮影を行う分割領域の画素密度がより高くなるように、前記複数の分割領域それぞれに対して画素密度を設定する。

本発明によれば、撮像素子からの画像の読み出しにおいて、画質の劣化を抑えつつ、効果的に消費電力を削減することができる。

本発明の第１の実施形態における撮像装置の全体構成を示すブロック図。 第１の実施形態における圧縮パラメータ設定部による圧縮率の設定例を示す図。 第１の実施形態における圧縮率に応じた読み出しパターンの例を示す図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における読み出しパターン生成部の構成を示すブロック図。 第１の実施形態における任意の１行分の読み出しパターンの生成方法を説明する図。 第１の実施形態における単位画素の構成の一例を示す回路図。 第１の実施形態におけるリセット及び読み出し時の駆動タイミングチャート。 第１の実施形態における各行のリセット及び読み出しのタイミングと読み出しパターン生成のタイミングを示す図。 第１の実施形態における画像と撮像素子の読み出し画素及び非読み出し画素の対応の一例を示す図。 第１の実施形態において、複数フレーム撮影を行った場合に、各画素がどのフレームで読み出されるか、の一例を示す図。 第１の実施形態の撮像装置における動画撮影時の処理の流れを説明するフローチャート。 第１の実施形態における読み出しパターンの別の例を示す図。 第２の実施形態における撮像素子の構成を示す図。 第２の実施形態における単位画素と読み出し回路との関係を説明する図。 第３の実施形態における撮像装置の全体構成を示すブロック図。 第３の実施形態における圧縮パラメータ設定部による圧縮率の設定例を示す図。 第３の実施形態の撮像装置における動画撮影時の処理の流れを説明するフローチャート。 第４の実施形態における撮像装置の全体構成を示すブロック図。 第４の実施形態における圧縮パラメータ設定部による圧縮率の設定例を示す図。 第４の実施形態の撮像装置における動画撮影時の処理の流れを説明するフローチャート。 第５の実施形態における撮像装置の全体構成を示すブロック図。 第５の実施形態における圧縮パラメータ設定部による圧縮率の設定例を示す図。 第５の実施形態の撮像装置における動画撮影時の処理の流れを説明するフローチャート。 第６の実施形態における撮像システムの全体構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
本発明における第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の全体構成を示すブロック図である。図１において、撮影レンズ１０２は、レンズ駆動部１０３によって駆動され、ズーム制御、フォーカス制御、絞り制御などが行われて、被写体の光学像を撮像素子１００に結像させる。撮像素子１００は、撮影レンズ１０２により結像された被写体の光学像を信号として取り込むとともに、後述するように圧縮画像データを出力することができる。信号処理部１０１は、撮像素子１００より出力される信号に各種の補正処理を行う。

全体制御・演算部１０４は、各種演算処理と撮像装置全体の制御を行う。被写体検出部１０９は、信号処理部１０１またはメモリ部１０５から入力された画像データから被写体を検出する。圧縮パラメータ設定部１１０は、撮像素子１００から圧縮画像データを出力する際に使用する圧縮パラメータを生成する。なお、圧縮パラメータの詳細については後述する。被写体検出部１０９及び圧縮パラメータ設定部１１０は、全体制御・演算部１０４内に設けられている。

メモリ部１０５は、画像データを一時的に記憶する為に用いられ、表示部１０６は、各種情報や撮影画像を表示する。記録部１０７は、画像データの記録または読み出しを行う為の着脱可能な半導体メモリ等である。操作部１０８は、ボタン、ダイヤルなどで構成され、ユーザからの操作入力を受け付ける。なお、表示部１０６がタッチパネルである場合には当該タッチパネルも操作部１０８に含まれる。

次に、第１の実施形態における圧縮パラメータ及び圧縮パラメータを用いた画像データ読み出しの概念について説明する。

図２は、被写体検出部１０９による被写体検出結果に基づく、圧縮パラメータ設定部１１０の圧縮率の設定例を示す図である。被写体検出部１０９は、事前に撮影された画像２００を基に被写体を検出する。具体的には、所定の画素単位の領域毎にエッジ抽出等を行い、領域毎に被写体の有無を検出する。図２に示す例では、画像２００を横８、縦６の領域に分割し、分割領域毎に被写体の有無を検出している。

そして、圧縮パラメータ設定部１１０は、この被写体検出結果を基に、分割領域毎に画素信号を出力する際の圧縮率を設定する。図２に示す例では、領域２０１は被写体像が検出された領域であり、後述する高密度の読み出しパターンで画素信号を読み出す領域（以下、「低圧縮領域」と呼ぶ。）となる。領域２０３は、被写体像が検出されなかった領域であり、後述する低密度の読み出しパターンで画素信号を読み出す領域（以下、「高圧縮領域」と呼ぶ。）となる。領域２０２は、被写体像が検出されなかった領域のうち、低圧縮領域に隣接する領域であり、低圧縮領域と高圧縮領域の中間の密度の読み出しパターンで画素信号を読み出す領域（以下、「中圧縮領域」と呼ぶ。）となる。

ここで、図２に示す各領域が、低圧縮領域、中圧縮領域、高圧縮領域のどれであるかを示す情報を圧縮率情報と呼ぶ。また、図５を参照して後述する読み出しパターン生成部４０６で、擬似乱数列を生成する際に必要となる任意の値をシード値と呼ぶ。圧縮パラメータ設定部１１０は、被写体検出結果を基に、各分割領域の圧縮率情報を決定し、さらに、シード値も決定する。この圧縮率情報とシード値とを合わせて、以下、圧縮パラメータと呼ぶ。こうして圧縮パラメータ設定部１１０で設定された圧縮パラメータは撮像素子１００に送信される。

図３は、撮像素子１００から画素信号を出力する際の圧縮率情報に応じた読み出しパターンを説明する図である。図３（ａ）に示す読み出しパターン３０１は、低圧縮領域の読み出しパターンの例であり、網掛けされている画素が画素信号を読み出す画素、白の画素が画素信号を読み出さない画素を表す。なお、図３において、読み出しパターン３０１を５×５画素の例で示したが、読み出しパターンの画素数は任意の数でよい。

また、同じ低圧縮領域であっても、読み出しパターン３０６、３０７に示すように分割領域毎や撮影する画像毎に読み出しパターンを変えることで、周期性の低いパターンが設定される。

また、図３（ｂ）に示す読み出しパターン３０２は、中圧縮領域の読み出しパターンの例であり、図３（ｃ）に示す読み出しパターン３０３は、高圧縮領域の読み出しパターンの例である。図３に示すように、高圧縮領域ほど画素信号を読み出す画素の密度が低くなる。

このように、第１の実施形態に係る撮像装置は、被写体検出部１０９の被写体検出結果に応じて、撮像素子１００から画素領域内の場所毎に異なる圧縮率の圧縮画像を出力する。

なお、第１の実施形態では、低圧縮領域、中圧縮領域、高圧縮領域の３種類の領域を設定したが、領域の種類の数はこれに限るものではなく、また、各領域の読み出し画素の密度は任意に設定してよい。また、全画面撮影モードやクロップ撮影モードなど撮像装置の撮影モードに応じて、これらを変えてもよい。

次に、撮像素子１００から図３に示した読み出しパターンで圧縮画像データを出力する方法について説明する。

図４は、撮像素子１００の全体構成を示す図である。撮像素子１００は画素領域４００、読み出し回路４０１、垂直走査回路４０２、水平走査回路４０３、タイミング発生回路（ＴＧ）４０４、デジタル出力部４０５、読み出しパターン生成部４０６を含んで構成される。

画素領域４００には、単位画素４０７が行列状に配置されている。ここでは、説明を簡単にするために１２×８画素の配列を示してあるが、実用上はさらに多数の画素が配置される。各画素は列毎に垂直信号線４０８を介して読み出し回路４０１に接続される。垂直走査回路４０２は、画素領域４００の画素を１行単位で選択し、選択行の画素に対して駆動信号を送出する。読み出し回路４０１は、列毎に増幅アンプ４０９及びアナログデジタル（ＡＤ）変換回路４１０を備える。増幅アンプ４０９は、垂直信号線４０８を介して各画素から行単位で出力された画素信号を増幅する。ＡＤ変換回路４１０は、増幅アンプ４０９で増幅されたアナログの画素信号をデジタル信号に変換する。ＡＤ変換回路４１０は、例えば、不図示の比較回路とカウンタ回路で構成される。比較回路は時間に依存して電圧値が変化するランプ信号と、入力された画素信号との比較を行い、両者の大小関係が逆転するタイミングでカウンタ回路に信号を送出する。カウンタ回路は比較回路からの信号を受けて、計数したカウント値をデジタル信号として保持する。なお、増幅アンプ４０９を省略し、単位画素４０７からのアナログの画素信号が、垂直信号線４０８を介して直接ＡＤ変換回路４１０に入力される構成にしてもよい。

読み出しパターン生成部４０６には、圧縮パラメータ設定部１１０で設定した圧縮率情報及びシード値を含む圧縮パラメータが入力される。そして、圧縮パラメータを基に行毎の読み出しパターンを生成する。この行毎の読み出しパターンは、読み出し回路４０１で行毎に読み出し動作を行う際に、図３に示したような読み出しパターンで画像信号を出力するために用いられる。

ＡＤ変換回路４１０で変換されたデジタル信号は、水平走査回路４０３からの水平走査パルスに基づいて、順次、デジタル出力線４１１を介してデジタル出力部４０５に出力される。ここで、水平走査パルスが供給される列は、読み出しパターン生成部４０６で生成した行毎の読み出しパターンで読み出し画素に指定されている列のみとなる。一方、行毎の読み出しパターンで非読み出し画素に指定されている列の増幅アンプ４０９及びＡＤ変換回路４１０には、パワーセーブ信号線４１２を介してパワーセーブ信号が供給される。パワーセーブ信号が供給された列の増幅アンプ４０９及びＡＤ変換回路４１０は、それぞれの電源電圧または電流の供給が停止されて、パワーセーブ状態（オフ）となり、画素信号は出力されないようになる。これらの行毎の読み出しパターン及びパワーセーブ信号は行単位で切り替えて供給される。なお、増幅アンプ４０９及びＡＤ変換回路４１０の少なくとも一方をパワーセーブ状態（オフ）にする構成でもよい。

デジタル出力部４０５は、読み出し回路４０１から出力されたデジタル信号に補正処理などを行って、撮像素子１００の外部に出力する。ＴＧ４０４は、読み出し回路４０１、垂直走査回路４０２、水平走査回路４０３に制御信号を送出する。

図５に読み出しパターン生成部４０６の構成を示す。読み出しパターン生成部４０６は、圧縮パラメータ設定部１１０から入力された圧縮パラメータ（分割領域毎の圧縮率情報及びシード値）を基に読み出しパターンを生成する。

読み出しパターン生成部４０６は、疑似乱数発生器５０１と閾値比較部５０２を備える。疑似乱数発生器５０１は、圧縮パラメータ設定部１１０から供給された所定のシード値を基に、線形合同法やＸｏｒｓｈｉｆｔ法等を用いて擬似乱数列を生成する。閾値比較部５０２は、圧縮パラメータ設定部１１０から供給された分割領域毎の圧縮率情報に応じて定められた閾値と、疑似乱数発生器５０１で生成した擬似乱数列とを大小比較し、０、１の２値から成る読み出しパターンを生成する。ここで、０は非読み出し画素、１は読み出し画素であることを示す。

図６は、ある１行分（例えば、図２の２段目の分割領域に含まれる１行分）の読み出しパターンを生成した例である。図６（ａ）は、疑似乱数発生器５０１で生成した１行分の擬似乱数列の例である。ここで、生成された擬似乱数列は８ｂｉｔ（０〜２５５）の値であり、横軸は列方向に沿った読み出し行の画素を表す。図６（ｂ）は圧縮パラメータ設定部１１０で設定した分割領域毎の圧縮率情報である。この圧縮率情報に応じて、閾値比較部５０２で用いる閾値の例を図６（ａ）中に破線で示している。

閾値比較部５０２では、擬似乱数列と破線で示した閾値とを大小比較し、疑似乱数が閾値未満の場合には０（非読み出し）、閾値以上の場合には１（読み出し）となる読み出しパターンを生成する。図６（ａ）に示すように、圧縮率が高い高圧縮領域では閾値を高くして、閾値以上となる擬似乱数の数を少なくし、圧縮率が低くなるほど閾値を低くして、閾値以上となる擬似乱数の数を増やすようにする。このようにして生成された読み出しパターンの例を図６（ｃ）に示す。図６に示す１行分の読み出しパターンの生成は、対象となる行が読み出される前に行われる。なお、この詳細については、図９を参照して後述する。

以上のように、読み出しパターンの生成に疑似乱数発生器５０１を用いることにより、周期性の少ないパターンを生成して用いることができるため、撮影画像へのモアレの発生を抑制することができる。ここで、疑似乱数発生器５０１で生成される擬似乱数列の周期性が短い場合には、疑似乱数発生器に入力するシード値を行毎に異なる値にすればよい。これにより、周期性の少ない読み出しパターンを生成することができる。

また、同一の疑似乱数発生回路及びシード値を用いれば、同一の擬似乱数列を再度生成することができる。したがって、後述する圧縮画像を復元する際に必要となる読み出しパターンの情報を、記録しておかなくても、再び生成することができる。

なお、本実施形態では、疑似乱数発生器５０１を用いて読み出しパターンの生成を行う構成としているが、この読み出しパターンは、周期性の少ないパターンであれば、あらかじめ定めておいた固定値を用いてもよい。また、本実施形態では、読み出しパターンの生成を行毎に行っているが、所定の領域毎に生成してもよい。

図７は、単位画素４０７の構成の一例を示す回路図である。単位画素４０７は、フォトダイオード（ＰＤ）７０１、転送スイッチ７０２、フローティングディフュージョン部（ＦＤ）７０３、増幅部７０４、リセットスイッチ７０５、選択スイッチ７０６を含んで構成される。

ＰＤ７０１は、撮影レンズを通して入射した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。転送スイッチ７０２は、転送パルス信号ＰＴＸによって制御され、ＰＤ７０１で発生した電荷をＦＤ７０３に転送する。ＦＤ７０３は、ＰＤ７０１から転送された信号電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部７０４は、増幅トランジスタであり、ＦＤ７０３に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。増幅トランジスタは、垂直信号線４０８に接続された電流源７０７とソースフォロアを構成している。

リセットスイッチ７０５は、リセットパルス信号ＰＲＥＳによって制御され、ＦＤ７０３の電位を基準電位ＶＤＤにリセットする。また、転送パルス信号ＰＴＸとリセットパルス信号ＰＲＥＳとを同時にオンすることで、ＰＤ７０１を基準電位ＶＤＤにリセットすることができる。選択スイッチ７０６は、垂直選択パルス信号ＰＳＥＬによって制御され、増幅部７０４で増幅された画素信号を垂直信号線４０８に出力する。

次に第１の実施形態における撮像素子１００の駆動方法について説明する。図８は、垂直走査回路４０２が、ある行を選択した際のリセット及び読み出し時の駆動タイミングチャートである。なお、各制御信号がＨレベルのときに図７の対応するスイッチがオンとなる。

時刻ｔ８０１において、リセットパルス信号ＰＲＥＳ及び転送パルス信号ＰＴＸがＨとなり、転送スイッチ７０２及びリセットスイッチ７０５がオンとなる。これにより、ＰＤ７０１がリセットスイッチ７０５及び転送スイッチ７０２を介してリセットされる。その後、転送パルス信号ＰＴＸがＬとなったときから蓄積動作を開始し、ＰＤ７０１では、受光量に応じて発生した信号電荷が蓄積される。また、リセットパルス信号ＰＲＥＳもＬに制御される。

所定の蓄積時間が経過した後、時刻ｔ８０２で選択行の垂直選択パルス信号ＰＳＥＬがＨとなり、選択行の画素の選択スイッチ７０６がオンし、選択行の画素が垂直信号線４０８に接続される。次に、時刻ｔ８０３でリセットパルス信号ＰＲＥＳがＨとなり、リセットスイッチ７０５がオンし、ＦＤ７０３がリセットレベルになる。この時、垂直信号線４０８に出力される画素信号はリセットレベル信号であり、これをＮ信号と呼ぶ。

時刻ｔ８０４では、垂直信号線４０８に出力されたＮ信号が増幅アンプ４０９で増幅され、ＡＤ変換回路４１０に入力される。そして、このＮ信号はデジタル信号に変換され、ＡＤ変換回路４１０内で保持される。この時刻ｔ８０４で行うＮ信号をデジタル信号に変換する動作をＮ変換と呼ぶ。ここで、上記のＮ変換は、読み出しパターン生成部４０６で生成した読み出しパターンにおいて、読み出し画素となっている列のみで行われる。非読み出し画素となっている列では、増幅アンプ４０９及びＡＤ変換回路４１０にパワーセーブ信号が供給され、パワーセーブ状態になっており、Ｎ変換は行われない。

次に、時刻ｔ８０５において、転送パルス信号ＰＴＸをＨにする。これにより、画素の転送スイッチ７０２がオンし、ＰＤ７０１で光電変換により発生した信号電荷がＦＤ７０３に転送される。垂直信号線４０８にはＰＤ７０１で発生した電荷量に応じた信号が出力される。これをＳ信号と呼ぶ。

時刻ｔ８０６では、垂直信号線４０８に出力されたＳ信号が増幅アンプ４０９で増幅され、ＡＤ変換回路４１０に入力される。そして、このＳ信号はデジタル信号に変換され、ＡＤ変換回路４１０内で先に保持されていたＮ信号とともに保持される。この時刻ｔ８０６で行うＳ信号をデジタル信号に変換する動作をＳ変換と呼ぶ。ここで、上記のＳ変換は、読み出しパターン生成部４０６で生成した読み出しパターンにおいて、読み出し画素となっている列のみで行われる。非読み出し画素となっている列では、増幅アンプ４０９及びＡＤ変換回路４１０にパワーセーブ信号が供給され、パワーセーブ状態になっており、Ｓ変換は行われない。

次に、時刻ｔ８０７〜ｔ８０８において、読み出しパターン生成部４０６で生成した読み出しパターンにおいて、読み出し画素に指定されている列に、水平走査回路４０３から水平走査パルスが送出される。これにより、読み出し画素となっている列のＡＤ変換回路４１０内に保持されていたデジタルのＳ信号及びＮ信号が、列毎に順次デジタル出力部４０５へ出力される。この水平走査が最終列まで繰り返されることで、選択行のＳ信号、Ｎ信号の出力が完了する。そして、デジタル出力部４０５において、Ｓ信号から対応するＮ信号を減算する処理を行い、撮像素子１００の外部に出力される。この減算処理により固定パターンノイズが除去されたＳ信号を得ることができる。

図９に各行のリセット及び読み出しのタイミングと読み出しパターン生成のタイミングを示す。期間９０１は、図８のｔ８０１に示すリセット動作を行うタイミングを表している。期間９０３は図８のｔ８０２〜ｔ８０９で示す読み出し動作を行うタイミングを表している。期間９０２は、読み出しパターン生成部４０６で読み出しの対象となる行の読み出しパターンを生成するタイミングを表している。期間９０３に示すように対象となる行の読み出しを行う直前に９０２で示す読み出しパターンの生成を行う。また、期間９０３で読み出し動作を行っている間に、期間９０４に示すように次行の読み出しパターンの生成を行う。そして、期間９０５で示すように次の行の読み出し動作を開始するタイミングで、水平走査回路４０３に供給する読み出しパターンが更新される。この動作を最終行まで繰り返すことで、全行の読み出しが完了する。

図１０は、図８及び図９を参照して上述した駆動方法により撮像素子１００から出力した圧縮画像データの例を示す。図１０は図２に示した被写体検出結果に基づく圧縮率情報を使って出力した圧縮画像データの例である。被写体像が検出された領域２０１（低圧縮領域）では、画素信号を出力する画素の密度が高く、被写体像が検出されなかった領域２０３（高圧縮領域）では、画素信号を出力する画素の密度が低い。中圧縮領域２０２では、低圧縮領域と高圧縮領域の中間の密度で画素信号が出力される。

この圧縮画像データは、メモリ部１０５に一時的に保存され、全体制御・演算部１０４において、補間処理や現像処理を行った後、表示部１０６で表示に用いられたり、記録部１０７で不揮発性メモリ等に記録されたりする。なお、圧縮画像データをメモリ部１０５に格納する際に各画素信号のアドレス情報が必要となる。そのためには、全体制御・演算部１０４にも、撮像素子１００内の読み出しパターン生成部４０６と同一の読み出しパターン生成部を設ければよい。そこで、圧縮画像データの撮影処理に用いた圧縮パラメータ（圧縮率情報及びシード値）を用いて、撮影時と同一の読み出しパターンを生成することで、各画素信号のアドレス情報を得ることができる。

以上で述べたように、被写体像が検出されない領域は高圧縮領域として、読み出し画素の密度を少なくし、読み出し時に増幅アンプ４０９やＡＤ変換回路４１０のパワーセーブを行う画素の割合を増やすことで、消費電力の増加を抑えることができる。また、被写体像が検出された領域では、低圧縮領域として、読み出し画素の密度を高くすることで、画質の劣化を抑えることができる。

次に、図１０に示すような圧縮画像データを複数フレームにわたって取得し、それらの圧縮画像データから復元画像を生成する方法について、説明する。ここで、復元画像とは、撮像素子１００の全画素の信号を出力した場合に相当する画像データを指す。

図１１は、図８及び図９で述べた駆動方法により、複数フレームの撮影を行った場合に、各画素の信号がどのフレームで読み出されるか、の一例を示す図であり、画素Ａ〜Ｆの６つの画素の例を示してある。図１１において、画素Ａ、Ｂは高圧縮領域の画素であり、画素Ｃ、Ｄは中圧縮領域、画素Ｅ、Ｆは低圧縮領域の画素である。なお、被写体検出結果に応じて、途中の撮影フレームから、各領域の圧縮率を変更してもよい。

図１１に示すように各画素は、周期性の少ない読み出しパターンで複数フレーム読み出し動作を行うことで、時間軸方向にも周期性の少ないパターンとなる。ここで、すべての画素が少なくとも１度は読み出される期間を「１露光サイクル」と呼ぶ。メモリ部１０５には、１露光サイクル分の圧縮画像データが保持される。また、１露光サイクル内で同一の画素から複数回画素信号を読み出した場合は、それらの信号を加算して、メモリ部１０５に保持する。

ここで、メモリ部１０５に保持された１露光サイクル分の圧縮画像データをＩ（ｘ，ｙ）、１露光サイクル分の読み出しパターンをＳ（ｘ，ｙ，ｔ）、復元画像をＥ（ｘ，ｙ，ｔ）とする。また、ｘ、ｙはそれぞれ水平、垂直の画素アドレス、ｔは撮影フレームを表す。このとき、これらの値には以下の式（１）に示す関係がある。

ここで、上記式の演算を行うことにより復元画像Ｅを求めることができる。したがって、１露光サイクル分の圧縮画像データから、すべての画素の信号に相当する復元画像を複数フレームにわたって得ることができる。したがって、上記の撮影及び復元処理は動画撮影に適している。なお、上記の復元処理は、全体制御・演算部１０４で行われる。

次に、図１２のフローチャートを参照して、第１の実施形態における撮像装置の動画撮影時の制御の流れについて説明する。始めに、Ｓ１２０１で被写体検出に用いる画像データを取得する。ここでは、撮像素子１００から、予め定めておいた読み出しパターンで画像信号を出力し、メモリ部１０５に格納する。なお、Ｓ１２０１では、撮像素子１００の全画素から画素信号を出力するようにしてもよい。

Ｓ１２０２では、被写体検出部１０９において、Ｓ１２０１で取得した画像データを用いて、被写体像の検出を行う。なお、後述するＳ１２０５で圧縮画像の復元を行っていた場合は、復元した画像データを用いて被写体像の検出を行う。Ｓ１２０３では、Ｓ１２０２の被写体検出結果を基に、圧縮パラメータ設定部１１０で圧縮パラメータを設定する。Ｓ１２０４では、Ｓ１２０３で設定した圧縮パラメータを用いて、撮像素子１００から圧縮画像データを出力する。ここでは、１露光サイクル分の圧縮画像データを取得し、メモリ部１０５に保持する。Ｓ１２０５では、全体制御・演算部１０４において、Ｓ１２０４で取得した１露光サイクル分の圧縮画像から復元画像データを生成する。Ｓ１２０６では、撮影終了の判定を行い、撮影を継続する場合は、Ｓ１２０２に戻る。

以上で述べたように、被写体像が検出されない領域は高圧縮領域として、読み出し画素の密度を少なくし、読み出し時に増幅アンプやＡＤ変換回路のパワーセーブを行う画素の割合を増やすことで、消費電力の増加を抑えることができる。また、被写体像が検出された領域では、低圧縮領域として、読み出し画素の密度を多くすることで、画質の劣化を抑えることができる。このように、分割領域毎に圧縮率を変えることで、画質の劣化を抑えつつ、効果的に消費電力を削減することができる。

なお、第１の実施形態では、図３に示したように画素毎に周期性の少ない読み出しパターンを用いて圧縮画像データを取得する例について説明した。撮像素子１００が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色からなるベイヤ配列（色配列）のカラーフィルタを備えている場合は、図１３の枠１３０１で示すベイヤ配列の４つの画素をセットとして、周期性の少ない読み出しパターンを生成するようにしてもよい。図１３のような色配列単位の読み出しパターンを用いることで、撮影中に被写体が移動した場合でも、偽色の発生を抑えることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では列毎に増幅アンプ４０９、ＡＤ変換回路４１０を備えた撮像素子１００を用いて、行順次に画素信号を読み出してＡＤ変換する構成について説明した。これに対し、第２の実施形態では、画素毎に増幅アンプ、ＡＤ変換回路を備えた構成について説明する。第２の実施形態における構成では、全画素同時に画素信号を読み出してＡＤ変換することができるため、より高速な読み出しが可能となる。

図１４は、第２の実施形態における撮像素子１００の構成を示す図である。なお、撮像素子以外の構成は第１の実施形態と同様のため、説明を省略する。また、図１４において、第１の実施形態で説明した図４と同様の構成については、同じ番号を付し、詳細な説明は省略する。

第２の実施形態における撮像素子１００は、画素領域基板１４０１と読み出し回路基板１４０２を互いに積層させた構成を有する。各基板間の配線は、シリコン貫通電極等を用いて電気的に接続される。

画素領域基板１４０１は、単位画素１４０３が行列状に配置された画素領域と画素駆動回路１４０４を備える。画素駆動回路１４０４は、画素領域の全画素に一括して駆動信号を送出する。

読み出し回路基板１４０２は、ＴＧ４０４、デジタル出力部４０５、垂直選択回路１４０７、水平選択回路１４０８、読み出し回路１４０５及び読み出しパターン生成部１４０６を備える。読み出し回路１４０５は単位画素毎に設けられている。また、読み出しパターン生成部１４０６は１行分の読み出し回路毎に１つ設けてある。ただし、読み出し回路１４０５及び読み出しパターン生成部１４０６の構成はこれに限定されない。例えば、複数の単位画素毎に１つの読み出し回路１４０５を共有してもよい。また、読み出しパターン生成部１４０６も複数行毎に１つずつ設ける構成や、全画素に対して１つ設ける構成でもよい。垂直選択回路１４０７と水平選択回路１４０８は、両者の組み合わせにより、一つの読み出し回路を選択し、選択された読み出し回路に保持された画像信号は、デジタル出力部４０５に出力される。

図１５は、単位画素１４０３と読み出し回路１４０５の関係を説明する図である。画素領域基板１４０１に形成された単位画素１４０３は、シリコン貫通電極１５０１を介して読み出し回路基板１４０２に形成された読み出し回路１４０５に接続される。なお、単位画素１４０３は、図７に示した単位画素４０７から選択スイッチ７０６を取り除いた構成を有するため、詳細な説明は省略する。読み出し回路１４０５は、増幅アンプ４０９及びＡＤ変換回路４１０を備える。読み出しパターン生成部１４０６は、第１の実施形態と同様に圧縮パラメータ設定部１１０からの圧縮パラメータに基づいて読み出しパターンを生成する。そして、読み出しパターン生成部１４０６は、生成した読み出しパターンに基づいて読み出さない画素に接続された読み出し回路１４０５の増幅アンプ４０９及びＡＤ変換回路４１０にパワーセーブ信号線１５０２を介してパワーセーブ信号を供給する。このとき、パワーセーブ信号が供給された読み出し回路１４０５はパワーセーブ状態となり、画素信号は出力されない。

第２の実施形態では、単位画素１４０３毎に読み出し回路１４０５を備える構成であるが、図１４に示すように、画素領域と読み出し回路１４０５とを別々の基板に形成することで、ＰＤ７０１の面積を確保することができる。これにより、画素の開口率の低下を防止できる。

第２の実施形態の撮像装置の駆動タイミングは第１の実施形態の図８に示した行単位の駆動タイミングを全行同時に行ったものとなるため、詳細な説明は省略する。

上記の通り第２の実施形態によれば、第１の実施形態と同様の効果に加えて、より高速な読み出しが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１の実施形態では、被写体検出部１０９を用いて画像データから被写体を検出し、被写体の有無に応じて分割領域毎に画像データの圧縮率を変更した。これに対し、第３の実施形態では、動体検出部１６０１を用いて被写体の動き情報を検出し、この動体検出結果に応じて分割領域毎に画像データの圧縮率を変更する。

図１６は、第３の実施形態における撮像装置の全体構成を示すブロック図である。なお、図１６において、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。第３の実施形態における全体制御・演算部１０４は、動体検出部１６０１及び圧縮パラメータ設定部１６０２を備える。動体検出部１６０１は、被写体検出部１０９で検出した被写体の変化を検出し、変化があった被写体を動体として検出する。そして、圧縮パラメータ設定部１６０２は、動体検出部１６０１の動体検出結果に応じて、圧縮パラメータを設定する。

図１７は、動体検出結果に応じて圧縮パラメータ設定部１６０２で圧縮率情報を設定した例である。動体検出領域及びその移動方向にあたる領域１７０１は、低圧縮領域に設定される。動体が検出されなかった領域１７０３は、高圧縮領域に設定される。また動体が検出されなかった領域のうち、低圧縮領域に近い領域１７０２は、中圧縮領域に設定される。そして、第１の実施形態と同様に圧縮率情報に応じて、撮像素子１００の分割領域からは、図３に示すような読み出しパターンで画素信号が出力される。

図１８に、第３の実施形態の撮像装置における動画撮影時の処理の流れを説明するフローチャートを示す。なお、図１８において、第１の実施形態で説明した図１２と同様の処理には同じステップ番号を付し、説明を省略する。Ｓ１８０１では、動体検出部１６０１において、Ｓ１２０２で検出した被写体を複数フレームにわたって比較し、被写体の変化を検出する。そして、変化のあった被写体を動体として検出する。Ｓ１８０２では、Ｓ１８０１の動体検出結果に応じて、圧縮パラメータを設定する。そして、この圧縮パラメータを用いて、Ｓ１２０４において、撮像素子１００から圧縮画像データを出力する。

以上説明したように、第３の実施形態によれば、動体が検出された分割領域では圧縮率を低く設定して読み出し画素の密度を高くし、動体が検出されなかった分割領域では圧縮率を高く設定して読み出し画素の密度を低くする。これにより、画質の劣化を抑えつつ、効果的に消費電力を削減することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態では、撮影画像から被写体の周波数情報を検出し、その周波数に応じて分割領域毎の圧縮率を設定する構成について説明する。

図１９は、第４の実施形態における撮像装置の全体構成を示すブロック図である。なお、図１９において、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。第４の実施形態における全体制御・演算部１０４は、周波数検出部１９０１及び圧縮パラメータ設定部１９０２を備える。周波数検出部１９０１は、画像信号を離散フーリエ変換や離散コサイン変換等により周波数領域へ変換し、領域毎の周波数を検出する。そして、圧縮パラメータ設定部１９０２は、周波数検出部１９０１の周波数検出結果に応じて、圧縮パラメータを設定する。

図２０は、周波数検出結果に応じて圧縮パラメータ設定部１９０２で圧縮率情報を設定した例である。高周波成分を含む領域２００１は、低圧縮領域に設定される。高周波成分を含まない領域２００３は、高圧縮領域に設定される。また、両者の中間の周波数成分を含む領域２００２は、中圧縮領域に設定される。そして、第１の実施形態と同様に圧縮率情報に応じて、撮像素子１００の分割領域からは、図３に示すような読み出しパターンで画素信号が出力される。

図２１に、第４の実施形態における撮像装置の制御の流れを説明するフローチャートを示す。なお、図２１において、第１の実施形態で説明した図１２と同様の処理には同じステップ番号を付し、説明を省略する。Ｓ２１０１では、周波数検出部１９０１において、画像信号を離散フーリエ変換や離散コサイン変換等により周波数領域へ変換し、分割領域毎に周波数を検出する。Ｓ２１０２では、Ｓ２１０１の周波数検出結果に応じて、圧縮パラメータを設定する。そして、この圧縮パラメータを用いて、Ｓ１２０４において、撮像素子１００から圧縮画像データを出力する。

以上説明したように、第４の実施形態によれば、高周波成分を含む分割領域では圧縮率を低く設定して読み出し画素の密度を高くし、高周波成分を含まない分割領域では圧縮率を高く設定して読み出し画素の密度を低くする。これにより、画質の劣化を抑えつつ、効果的に消費電力を削減することができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。第５の実施形態では、焦点検出部２２０１で被写体の焦点状態を検出し、その焦点検出結果に応じて分割領域毎の圧縮率を設定する構成について説明する。

図２２は、第５の実施形態における撮像装置の全体構成を示すブロック図である。なお、図２２において、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。第５の実施形態における全体制御・演算部１０４は、焦点検出部２２０１及び圧縮パラメータ設定部２２０２を備える。焦点検出部２２０１は、撮像素子１００内に設けた不図示の焦点検出用画素の信号を利用した位相差検出方式などを用いて被写体像の焦点位置を検出する。そして、圧縮パラメータ設定部２２０２は、焦点検出部２２０１の焦点検出結果に応じて、圧縮パラメータを設定する。

図２３は、焦点検出結果に応じて圧縮パラメータ設定部２２０２で圧縮率情報を設定した例である。合焦領域２３０１は、低圧縮領域に設定される。一方、非合焦領域では、デフォーカス量に応じて、中圧縮領域２３０２と高圧縮領域２３０３に設定される。そして、第１の実施形態と同様に圧縮率情報に応じて、撮像素子１００の分割領域からは、図３に示すような読み出しパターンで画素信号が出力される。

図２４に、第５の実施形態の撮像装置における動画撮影時の処理の流れを説明するフローチャートを示す。なお、図２４において、第１の実施形態で説明した図１２と同様の処理には同じステップ番号を付し、説明を省略する。Ｓ２４０１では、焦点検出部２２０１において、位相差検出方式などを用いて被写体像の焦点検出を行う。Ｓ２４０２では、Ｓ２４０１の焦点検出結果に応じて、圧縮パラメータを設定する。なお、Ｓ２４０１の焦点検出結果を基にレンズを駆動させた場合は、レンズ駆動によるデフォーカス量の変化を加味して圧縮率を設定すればよい。そして、この圧縮パラメータを用いて、Ｓ１２０４では、撮像素子１００から圧縮画像データを出力する。

以上説明したように、第５の実施形態によれば、合焦領域では圧縮率を低く設定して、読み出し画素の密度を高くし、非合焦領域では圧縮率を高く設定して、読み出し画素の密度を低くする。これにより、画質の劣化を抑えつつ、効果的に消費電力を削減することができる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。第６の実施形態では、無線通信等を用いて撮影した圧縮画像を画像受信装置に送信し、画像受信装置で圧縮画像を復元する構成について述べる。

図２５は、第６の実施形態における撮像システムの全体構成を示すブロック図である。第６の実施形態における撮像システムは、撮像装置である画像送信装置２５０１と、画像受信装置２５０２から構成される。なお、画像送信装置２５０１及び画像受信装置２５０２において、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。

撮像素子１００は、撮影レンズ１０２で結像された被写体の光学像を光電変換して信号として取り込むものであり、第１及び第２の実施形態で説明した撮像素子１００と同様の構成を有する。撮像素子１００の読み出しパターン生成部４０６は、画像受信装置２５０２から送信された分割領域毎の圧縮率情報及びシード値を含む圧縮パラメータを基に読み出しパターンを生成する。撮像素子１００は生成した読み出しパターンに基づいて圧縮画像データを出力する。メモリ部２５０５は、撮影された圧縮画像データを一時的に記憶する。全体制御・演算部２５０３は、画像受信装置２５０２から送信された撮影命令やＩＳＯ感度や露光時間、絞り値等を含む撮影パラメータに基づいて、撮像素子１００やレンズ駆動部１０３を制御する。また、画像受信装置２５０２から送信された圧縮パラメータを撮像素子１００に送出する。

送受信部２５０４，２５０８は、無線通信等により、画像送信装置２５０１と、画像受信装置２５０２との間でデータの送受信を行う。送受信部２５０４は、メモリ部２５０５に一時的に保存されていた圧縮画像データを画像受信装置２５０２に送信する。また、画像受信装置２５０２からは、撮影命令、撮影パラメータ、圧縮パラメータ等を画像送信装置２５０１に送信する。

画像受信装置２５０２の全体制御・演算部２５０７は、圧縮パラメータ設定部２５１０と復元部２５１１を備える。圧縮パラメータ設定部２５１０は、第１及び第３乃至第５実施形態で上述したようにして分割領域毎の圧縮率情報及びシード値を含む圧縮パラメータを生成する。更に、分割領域毎の圧縮率情報を、表示部１０６に表示した事前撮影画像等を基に、ユーザが低圧縮率で取得したい被写体がある領域を操作部１０８を使って入力することで、設定する。圧縮パラメータ設定部２５１０で生成した圧縮パラメータは送受信部２５０８を介して、画像送信装置２５０１に送信され、圧縮画像データの撮影処理に用いられる。

メモリ部２５０９は、画像送信装置２５０１から送信された圧縮画像データを一時的に記憶する。復元部２５１１は、メモリ部２５０９に一時的に記憶された圧縮画像データから復元画像を生成する。復元画像は表示部１０６で表示に用いられたり、記録部１０７で不揮発性メモリ等に記録されたりする。また、復元部２５１１は、読み出しパターン生成部２５１２を備える。この読み出しパターン生成部２５１２は、撮像素子１００が備える読み出しパターン生成部４０６と同様の疑似乱数発生器を備える。これにより、画像送信装置２５０１に送信した圧縮率情報及びシード値を基に、圧縮画像データの撮影処理時に用いた読み出しパターンを生成することができ、この読み出しパターンを用いて、圧縮画像データの復元を行うことができる。したがって、画像送信装置２５０１から読み出しパターンを送信しなくても、圧縮画像データの復元を行うことができる。

なお、画像送信装置２５０１側で、第１〜第５の実施形態で説明したように、被写体検出や動体検出、周波数検出及び焦点検出などを行って、圧縮パラメータを設定する場合は、画像送信装置２５０１から圧縮画像データと共に圧縮パラメータを画像受信装置２５０２側に送信する構成にすればよい。

上記の通り本第６の実施形態によれば、画質の劣化を抑えつつ、効果的に消費電力を削減することができる。また、画像受信装置２５０２側の読み出しパターン生成部２５１２で圧縮画像データの撮影処理に使用した読み出しパターンを生成することができ、圧縮画像データを復元することができる。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。

１００：撮像素子、１０１：信号処理部、１０４，２５０３，２５０７：全体制御・演算部、１０５：メモリ部、１０８：操作部、１０９：被写体検出部、１１０，１６０２，１９０２，２２０２，２５１０：圧縮パラメータ設定部、４００：画素領域、４０１：読み出し回路、４０２：垂直走査回路、４０３：水平走査回路、４０４：タイミング発生回路、４０５：デジタル出力部、４０６，１４０６：読み出しパターン生成部、４０７，１４０３：単位画素、４０９：増幅アンプ、４１０：ＡＤ変換回路、４１１：デジタル出力線、４１２：パワーセーブ信号線、５０１：擬似乱数発生器、５０２：閾値比較部、１４０４：画素駆動回路、１６０１：動体検出部、１９０１：周波数検出部、２２０１：焦点検出部、２５０４，２５０８：送受信部、２５１１：復元部

Claims (15)

1. 複数の画素が行列状に配置された画素領域と、
   前記画素領域から読み出された画像信号を処理する複数の処理手段と、
   複数の異なる画素密度かつ不均一な画素パターンで前記複数の画素から読み出しを行うとともに、前記画素領域のすべての画素の信号が少なくとも１度は読み出されるようにフレームごとに異なる複数の読み出し画素パターンを生成する生成手段と、
   前記画素領域を分割した複数の分割領域それぞれに対して、前記複数の画素密度のいずれかを設定する設定手段と、
   前記設定手段により設定された画素密度に対応した読み出し画素パターンで前記複数の分割領域それぞれから画像信号を読み出すように制御する制御手段と、
   前記異なる複数の読み出し画素パターンに基づいて読み出した複数フレームの画像に基づいて、前記画素領域のすべての画素の信号に相当する復元画像を生成する復元手段と、を有し、
   前記設定手段は、前記複数の分割領域のうち、より高い画質で撮影を行う分割領域の画素密度がより高くなるように、前記複数の分割領域それぞれに対して画素密度を設定することを特徴とする撮像システム。
2. 前記制御手段は、前記複数の分割領域それぞれの読み出し画素パターンに基づいて、前記画素領域から信号を読み出さない画素に対応する前記処理手段の供給電力を低下させる制御手段を更に有することを特徴とする請求項１に記載の撮像システム。
3. 前記複数の処理手段は、列毎に設けられていることを特徴とする請求項１または２に記載の撮像システム。
4. 前記複数の処理手段は、画素毎に設けられていることを特徴とする請求項１または２に記載の撮像システム。
5. 前記処理手段は、増幅手段及びアナログデジタル変換手段の少なくともいずれかを有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
6. 被写体を検出する検出手段を更に有し、
   前記設定手段は、前記検出手段による被写体の検出結果に基づいて、より高い画質で撮影を行う分割領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
7. 動体を検出する検出手段を更に有し、
   前記設定手段は、前記検出手段による動体の検出結果に基づいて、より高い画質で撮影を行う分割領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
8. 撮影画像の周波数を検出する検出手段を更に有し、
   前記設定手段は、前記撮影画像の周波数に基づいて、より高い画質で撮影を行う分割領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
9. 焦点状態を検出する検出手段を更に有し、
   前記設定手段は、前記検出手段による焦点状態の検出結果に基づいて、より高い画質で撮影を行う分割領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
10. 前記設定手段は、ユーザにより指定された分割領域に基づいて、より高い画質で撮影を行う分割領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
11. 前記生成手段は、擬似乱数列と、前記画素密度に応じて異なる閾値とを用いて、前記読み出し画素パターンを生成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像システム。
12. 少なくとも２つ以上の撮影モードを備え、前記設定手段は、前記撮影モードに応じて、前記画素密度の種類の数と、前記画素密度とを決定することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像システム。
13. 前記画素領域は、予め決められた色配列に従って配置されるカラーフィルタをさらに備え、
    前記生成手段は、前記色配列の単位で、読み出し画素パターンを生成することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像システム。
14. 前記生成手段は、擬似乱数列と、前記画素密度に応じて異なる閾値とを用いて、前記読み出し画素パターンを生成し、
    前記復元手段は、前記生成手段と同じ擬似乱数列を生成する手段を備えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像システム。
15. 複数の画素が行列状に配置された画素領域と、前記画素領域から読み出された画像信号を処理する複数の処理手段と、複数の異なる画素密度かつ不均一な画素パターンで前記複数の画素から読み出しを行うとともに、前記画素領域のすべての画素の信号が少なくとも１度は読み出されるようにフレームごとに異なる複数の読み出し画素パターンを生成する生成手段と、を有する撮像システムの制御方法であって、
    前記画素領域を分割した複数の分割領域のうち、より高い画質で撮影を行う分割領域の画素密度がより高くなるように、前記複数の分割領域それぞれに対して、複数の異なる画素密度のいずれかを設定し、
    前記設定された画素密度に対応した読み出し画素パターンで前記複数の分割領域それぞれから画像信号を読み出すように制御し、
    前記異なる読み出し画素パターンに基づいて読み出した複数フレームの画像に基づいて、前記画素領域のすべての画素の信号に相当する復元画像を生成する
    ことを特徴とする撮像システムの制御方法。

Images