JP6248468B2 - 撮像装置および電子機器 - Google Patents

Description

本発明は、撮像素子および撮像装置に関する。

裏面照射型撮像チップと信号処理チップが、複数画素をまとめたセル単位ごとにマイクロバンプを介して接続された撮像ユニットが知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００６−４９３６１号公報

しかしながら、画素からの画素信号は撮像ユニットとは別チップである画像処理チップにより画像処理される。よって、撮像ユニットと画像処理チップとの間の信号線の信号出力帯域を増大させないと処理速度が低下するという課題がある。

本発明の第１の態様においては、第1基板に設けられた、複数の画素を有する撮像部と、第１基板と積層している第２基板に設けられた、撮像部からの信号を圧縮する信号圧縮部と、を備える撮像素子が提供される。

本発明の第２の態様においては、複数の画素を有する撮像部と、撮像部からの信号を圧縮し、画素毎、または複数の画素毎の信号に対応して設けられている、複数の信号圧縮部とを備える撮像素子が提供される。

本発明の第３の態様においては、複数の画素を有する撮像部と、撮像部からの信号を圧縮する複数の信号圧縮部と、を備え、複数の信号圧縮部は信号の圧縮率が各々設定可能である撮像素子が提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。 撮像チップの画素配列と単位ブロックを説明する図である。 撮像チップの単位ブロックに対応する回路図である。 本実施形態に係る撮像装置の構成を示すブロック図である。 信号処理チップの一例としての具体的構成を示すブロック図である。 画像処理部４７０の機能ブロックを示す。 演算回路４１５の機能ブロックを示す。 撮像素子１００の動作フローの一例を示す。 縮小画像１７０の一例である。 システム制御部５０１の動作フローの一例を示す。 着目領域を特定する他の例である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの単位ブロックに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。

図２は、撮像チップ１１３の画素配列と単位ブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３の撮像領域１２０には２０００万個以上もの画素がマトリックス状に配列されている。図２の例においては、隣接する４画素×４画素の１６画素が一つの単位ブロック１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位ブロック１３１を形成する概念を示す。単位ブロック１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

撮像領域１２０の部分拡大図に示すように、単位ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップ１１３の単位ブロック１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、単位ブロック１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図示するように、本実施形態においては、単位ブロック１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位ブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位ブロック１３１毎に別個に設けられる。

このように単位ブロック１３１を基準として回路を構成することにより、単位ブロック１３１ごとに撮像条件を異ならせることができる。例えば、隣接する単位ブロック１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位ブロック１３１に１回の電荷蓄積を行わせている間に、他方の単位ブロック１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位ブロック１３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。また、撮影感度を異ならせることもできる。

図４は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図４では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ５２０を代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。

撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、予め定められた形式の画像データを生成する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は撮像素子１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。

駆動部５０２は、一部または全部が撮像チップ１１３に搭載されてもよいし、一部または全部が信号処理チップ１１１に搭載されてもよい。システム制御部５０１の一部が撮像チップ１１３または信号処理チップ１１１に搭載されてもよい。

図５は、信号処理チップ１１１の一例としての具体的構成を示すブロック図である。信号処理チップ１１１は、駆動部５０２の機能を担う。

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４、個別回路部４５０Ａ等と、これらの各制御部を統括制御する駆動制御部４２０とを含む。信号処理チップ１１１は、さらに、信号処理チップ１１１側に配された画像処理部４７０、および、駆動制御部４２０と撮像装置５００本体のシステム制御部５０１と間のＩ／Ｆ回路４１８を含む。これらセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４、駆動制御部４２０および画像処理部４７０は、信号処理チップ１１１に対して一つずつ設けられる。

一方、個別回路部４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、単位ブロック１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅごとに設けられる。個別回路部４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、同一の構成を有するので、以下、個別回路部４５０Ａについて説明する。個別回路部４５０Ａは、ＣＤＳ回路４１０、マルチプレクサ４１１、Ａ／Ｄ変換回路４１２、デマルチプレクサ４１３、メモリ４１４および演算回路４１５を含む。

演算回路４１５は、Ｉ／Ｆ回路４１８を介してシステム制御部５０１との間で信号を送受信する。本実施形態において、信号処理チップ１１１とシステム制御部５０１側の画像処理部５１１とは別パッケージであって、互いに信号線４９０で電気的に接続されている。よって、演算回路４１５は、Ｉ／Ｆ回路４１８および信号線４９０を介して画像処理部５１１と信号を送受信する。

個別回路部４５０Ａは対応する単位ブロック１３１Ａの画素が配された領域に重畳した領域に配されていることが好ましい。これにより、各チップを面方向に大きくすることなく、複数の単位ブロック１３１Ａのそれぞれに個別回路部４５０Ａを設けることができる。

駆動制御部４２０は、タイミングメモリ４３０を参照して、システム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。特に、駆動制御部４２０は、単位ブロック１３１Ａ等のそれぞれに対して別個の制御パラメータで制御する場合に、単位ブロック１３１Ａを特定する情報ともに各制御部に当該制御パラメータを引き渡す。駆動制御部４２０は、１枚の画像取得制御において撮影指示の信号をシステム制御部５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部５０１から指示を受けること無く、蓄積制御を完了させることができる。

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位ブロック１３１を特定する特定パルスの送出を実行する。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することができる。

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位ブロック１３１Ａ等に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、主にＡ／Ｄ変換回路４１２に対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、ＣＤＳ回路４１０およびマルチプレクサ４１１を経てＡ／Ｄ変換回路４１２に入力される。ＣＤＳ回路４１０は画素信号からノイズを取り除く。

Ａ／Ｄ変換回路４１２は、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応するメモリ４１４にデジタルデータの画素値として格納される。

メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、演算回路４１５に積算処理を実行させる場合には、画像処理部５１１が積算処理を実行しなくて良いので、機能分担と並行処理により、画像処理の高速化を図ることができる。

信号処理チップ１１１は、フラッシュＲＡＭ等により形成されるタイミングメモリ４３０を有する。タイミングメモリ４３０は、いずれの単位ブロック１３１Ａ等に対して何回の電荷蓄積を繰り返すかについての蓄積回数情報等の制御パラメータを、単位ブロック１３１Ａ等を特定する情報に対応づけて格納する。制御パラメータのいずれかは、個別回路部４５０Ａ等の演算回路４１５により算出されて、上記タイミングメモリ４３０に格納される。

駆動制御部４２０は、撮像チップ１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ４３０を参照する。例えば、駆動制御部４２０は、各単位ブロック１３１の蓄積回数情報を参照して、デマルチプレクサ４１３から出力される画素信号をメモリ４１４の対応アドレスに格納する。

駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号をメモリ４１４から読み出し、画像処理部５１１へ引き渡す。メモリ４１４は、各画素に対応する画素信号を格納できるメモリ空間を有する。

画像処理部４７０は、個別回路部４５０Ａ、４５０Ｂ等のそれぞれ演算回路４１５から画素信号を取得して、縮小画像を生成する。画像処理部４７０は、当該縮小画像に基づいて、個別回路部４５０Ａ、４５０Ｂ等に対応する単位ブロック１３１の画素信号の圧縮率を特定して、それぞれの演算回路４１５に送信する。

上記の通り、単位ブロック１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。同様に、各制御部から単位ブロックへの信号線についても、バンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

図６は、画像処理部４７０の機能ブロックを示す。画像処理部４７０は、縮小画像生成部４７２と、領域決定部４７４と、圧縮率設定部４７８とを有する。

縮小画像生成部４７２は、各個別回路部４５０Ａ等のメモリ４１４に格納された画素信号を取得し、撮像領域に含まれる画素よりも少ない画素数の縮小画像を生成する。この場合に例えば、縮小画像生成部４７２は、画素を間引く、隣接画素同士で平均値を代表値とする等によって縮小画像を生成する。

領域決定部４７４は、縮小画像の顕著性を判断し、当該縮小画像における顕著性が高い着目領域に対応する単位ブロック１３１と、それ以外の周辺領域に対応する単位ブロック１３１とを特定する。例えば、領域決定部４７４は、縮小画像にガウシアンフィルタを階層的に施し、当該階層間の差をとることで、周辺領域と性質の異なる領域を着目領域として特定する。

圧縮率設定部４７８は、着目領域に対応する単位ブロック１３１に適用する圧縮率と、周辺領域に対応する単位ブロック１３１に適用する圧縮率とを設定する。この場合に、周辺領域に対応する単位ブロック１３１に適用する圧縮率が、着目領域に対応する単位ブロック１３１に適用する圧縮率よりも高く設定されることが好ましい。

図７は、演算回路４１５の機能ブロックを示す。図７に示す演算回路４１５は、一例としてＪＰＥＧの非可逆圧縮に準じた圧縮回路を有する。すなわち、演算回路４１５は上述した機能に加えて、ＤＣＴ（離散コサイン変換）部と、量子化部４５４と、量子化テーブル４５６と、符号化部４５８と、符号化テーブル４６０とを有する。

ＤＣＴ部４５２は、各画素位置での画素値で表されている画像信号を、周波数成分で表すときの各周波数成分に対するＤＣＴ係数を算出する。この場合にＤＣＴ部４５２は、４Ｘ４または８Ｘ８等の予め定められた画素数を単位としてＤＣＴ係数を算出する。単位ブロック１３１の画素数は、ＤＣＴ部４５２がＤＣＴ係数を算出する画素数の単位の整数倍であることが好ましい。さらに単位ブロック１３１のＸ方向およびＹ方向の画素数は、それぞれ、ＤＣＴ係数を算出する画素数の単位のＸ方向およびＹ方向の画素数の整数倍であることがより好ましい。

量子化テーブル４５６は、ＤＣＴ係数を量子化する量子化ステップを周波数成分ごとに指定したテーブルである。量子化テーブル４５６において、低い周波数成分の省略が少なく、高い周波数成分の省略が多くなるように量子化ステップが指定されている。当該量子化テーブル４５６は、圧縮率設定部４７８で設定された圧縮率に基づいて生成される。量子化部４５４は、量子化テーブル４５６の各量子化ステップに基づいて、ＤＣＴ部４５２で算出されたＤＣＴ係数を量子化する。

符号化テーブル４６０は、出現頻度が高いほどビット数の少ない符号を割り当てる符号化の規則を示すテーブルである。符号化部４５８は、量子化部４５４で量子化されたＤＣＴ係数を、符号化テーブル４６０で指定された符号化の規則に従って、符号化する。さらに、符号化部４５８は、符号化された画素信号を出力する。この場合に符号化部４５８は、上記量子化テーブル４５６、符号化テーブル４６０等そのものまたはそれらを識別する識別情報を、上記画素信号のヘッダ情報としてメモリ４１４へ出力する。

図８は、撮像素子１００の動作フローの一例を示す。当該動作フローはスルー画表示（またはライブビューと呼ばれることもある）、または、レリーズボタンの半押しがなされたことにより開始する。また、図９は、縮小画像１７０の一例である。

駆動制御部４２０は、スルー画表示用または圧縮率設定用として、センサ制御部４４１等を駆動して画素からの画素信号を取得し、メモリ４１４に格納する（Ｓ１００）。この場合に駆動制御部４２０は、単位ブロック１３１毎に画素信号の蓄積および読み出しを制御する。

縮小画像生成部４７２は、各個別回路部４５０Ａ等のメモリ４１４に格納された画素信号を取得し、縮小画像を生成する（Ｓ１０２）。この場合に縮小画像生成部４７２は、画像領域に含まれる全ての単位ブロック１３１に含まれる画素信号を取得してもよいし、いくつかの単位ブロック１３１からの画素信号の取得を省略してもよい。

領域決定部４７４は、縮小画像の顕著性を判断し（Ｓ１０４）、顕著性が高い着目領域に対応する単位ブロック１３１と、それ以外の周辺領域に対応する単位ブロック１３１とを特定する（Ｓ１０６）。例えば、図９に示す縮小画像１７０が得られた場合に、被写体１７１が含まれる太枠内を着目領域１７３とし、その他を周辺領域１７５と特定する。

圧縮率設定部４７８は、着目領域１７３に対応する単位ブロック１３１と、周辺領域１７５に対応する単位ブロック１３１とに対して異なる圧縮率を設定する（Ｓ１０８）。この場合に、圧縮率設定部４７８は、着目領域１７３に対応する単位ブロック１３１の演算回路４１５に、低い圧縮率の量子化テーブル４５６を設定する。一方、圧縮率設定部４７８は、周辺領域１７５に対応する単位ブロック１３１の演算回路４１５に、高い圧縮率の量子化テーブル４５６を設定する。これに代えて、各演算回路４１５が同一の量子化テーブル４５６を有しており、圧縮率設定部４７８が量子化テーブル４５６の全体に乗ずる係数を着目領域１７３と周辺領域１７５とに対してそれぞれ設定してもよい。

レリーズボタンが押し下げられるまで待機し（Ｓ１１０：Ｎｏ）、レリーズボタンが押し下げられた場合に、駆動制御部４２０は、本撮影用として、センサ制御部４４１等を駆動して画素からの画素信号を取得し、メモリ４１４に格納する（Ｓ１１２）。さらに、各単位ブロック１３１の演算回路４１５は、設定された圧縮率で当該単位ブロック１３１の画素信号を圧縮する（Ｓ１１４）。

図７に示す例において、圧縮率は、量子化テーブル４５６に反映される。すなわち、着目領域１７３に対応する単位ブロック１３１の演算回路４１５には低い圧縮率の量子化テーブル４５６が設定されるので、当該単位ブロック１３１の画素信号は低い圧縮率で圧縮される。一方、周辺領域１７５に対応する単位ブロック１３１の演算回路４１５には高い圧縮率の量子化テーブル４５６が設定されるので、当該単位ブロック１３１の画素信号は高い圧縮率で圧縮される。

各演算回路４１５は、対応する単位ブロック１３１の圧縮された画素信号と共に、圧縮に用いた量子化テーブル４５６等を含むヘッダ情報を、メモリ４１４へ出力する（Ｓ１１６）。これにより、図８のフローが終了する。

図１０は、システム制御部５０１の動作フローの一例を示す。当該動作フローはレリーズボタンが押し下げられて、撮像素子１００から画素信号が入力された場合に開始する。

画像処理部５１１は、Ｉ／Ｆ回路４１８および信号線４９０を介して各単位ブロック１３１に対応する画素信号をメモリ４１４から取得する（Ｓ１２０）。この場合に、画像処理部５１１は、単位ブロック１３１の画素信号に対応付けられたヘッダ情報も併せて取得する。

画像処理部５１１は、各単位ブロック１３１に対応する画素信号を、圧縮されたときの圧縮率に対応して伸長する（Ｓ１２４）。この場合に、画像処理部５１１は、各単位ブロック１３１の画素信号に対応付けられたヘッダ情報に基づいて、量子化テーブルを特定し、当該量子化テーブルを用いて画素信号を伸長する。当該伸長処理の全体は、図７の各部の動作を逆にたどるのと同等である。これにより、画像処理部５１１は一枚分の画像の画素信号を得る。

画像処理部５１１は一枚分の画像の画素信号に対して、予め定められた画像処理を実行して（Ｓ１２４）、画像処理後に得られた画像を記録部５０５等に記録する。予め定められた画像処理には、画素の補間、画像のフォーマットを変更する処理等の処理が含まれる。これにより、図１０のフローが終了する。

以上、本実施形態によれば、撮像領域１２０が設けられた撮像チップ１１３と画素信号を圧縮する個別回路部４５０Ａ等が設けられた信号処理チップ１１１とが積層されているので、高速で圧縮処理を行うことができる。特に、撮像領域１２０と個別回路部４５０Ａ等とが物理的に近くなるので、信号の減衰が小さくＳ／Ｎ比の劣化を防ぐことができる。

さらに、個別回路部４５０Ａが単位ブロック１３１ごとに設けられているので、より高速で圧縮処理を行うことができる。単位ブロック１３１ごとに圧縮率を設定することにより、処理速度と画質とのバランスを設定することができる。また、撮像領域１２０からの画素信号を圧縮をしてから外部の画像処理部５１１に受け渡すので、撮像素子１００と画像処理部５１１との間の信号出力帯域を増大させることなく、高い画質の画素信号を受け渡すことができる。

上記ヘッダ情報に量子化テーブル自体に代えて当該テーブルを特定する情報が含まれている場合に、画像処理部５１１は、内蔵している複数の量子化テーブルから当該情報により特定される量子化テーブルを読み出してもよい。また、量子化テーブルに代えてまたはこれに加えて、符号化テーブルで圧縮率を設定してもよい。さらに、信号処理チップ１１１と画像処理部５１１との間の画素信号の受け渡しにおいて、ＪＰＥＧ以外の圧縮・伸長方式を用いる場合に適用してもよい。

縮小画像は、ＲＧＢのいずれか一色から構成されてもよいし、ＲＧＢの各画素における輝度値から構成されてもよい。また、圧縮を色毎に行ってもよい。さらに、画像処理部４７０において縮小画像生成部４７２を設けずに、領域決定部４７４が、撮像領域１２０の全体の画素からの画素信号に基づいて顕著性を判断してもよい。

顕著性の判断は、ガウシアンフィルタを用いるのに代えて、高周波数成分の大きさ、輝度値の大きさ、色相の度合、動きの有無等で判断してもよい。これに代えてまたはこれに加えて、顔を判定して顔を含む領域を着目領域としてもよい。これに代えてまたはこれに加えて、撮像領域１２０の中央部を含む領域を着目領域としてもよい。

演算回路４１５は、撮像領域全体に対して１個であってもよい。または、演算回路４１５は、画素ごとに設けられてもよい。この場合には個別回路部４５０Ａ等自体が画素ごとに設けられてもよい。

図１１は、着目領域を特定する他の例である。図１１において図８と同じ動作には同じ参照番号を付して、説明を省略する。

縮小画像生成部４７２は、ステップＳ１０２で生成した縮小画像を信号線４９０を介して画像処理部５１１へ出力する（Ｓ１３０）。画像処理部５１１はステップＳ１０４と同様の方法により顕著性を判断し（Ｓ１３２）、着目領域１７３を特定する（Ｓ１３４）。画像処理部５１１は、着目領域１７３を特定する情報を信号線４９０を介して圧縮率設定部４７８に出力する（Ｓ１３６）。この場合に画像処理部５１１は例えば、着目領域１７３に含まれる単位ブロック１３１を識別する情報を圧縮率設定部４７８に出力する。

以上、図１１のように、圧縮率の設定は、システム制御部５０１側で実行されてもよい。この場合には、図６の領域決定部４７４および圧縮率設定部４７８は、信号処理チップ１１１側の画像処理部４７０に設けなくてもよい。

着目領域は、表示部５０６を用いて撮像者により特定されてもよい。この場合に、縮小画像生成部４７２により生成された縮小画像が表示部５０６に表示され、タッチパネル、十字キー等の操作によって、着目領域１７３が特定される。領域決定部４７４は、特定された着目領域１７３に含まれる単位ブロック１３１を特定する。なお、表示部５０６に縮小画像を表示するのに代えて、画像処理部５１１で生成された撮像画像が表示されてもよい。

さらに、着目領域１７３は、表示部５０６以外の表示装置を用いて撮像者により特定されてもよい。この場合に、当該表示装置は、撮像装置５００と通信接続された電子機器、例えばスマートフォンに備えられる。当該電子機器は縮小画像生成部４７２により生成された縮小画像を受信し、表示装置に表示さする。さらに当該電子機器のタッチパネル、十字キー等への撮像者からの操作によって、着目領域１７３が特定される。電子機器は着目領域を特定する情報を撮像装置５００に送信する。撮像装置５００の領域決定部４７４は、特定された着目領域１７３に含まれる単位ブロック１３１を特定する。なお、表示装置に縮小画像を表示するのに代えて、画像処理部５１１で生成された撮像画像が表示されてもよい。

上記ステップＳ１００およびＳ１１２の少なくとも一方において、着目領域１７３の単位ブロック１３１と、周辺領域１７５の単位ブロック１３１とで、撮像条件を異ならせてもよい。異ならせる撮影条件は、フレームレート、電荷蓄積時間、撮影感度等を含む。撮像条件がフレームレートである場合に、着目領域１７３のフレームレートを、周辺領域１７５のフレームレートよりも大きくすることが好ましい。撮像条件が撮影感度である場合に、着目領域１７３の撮影感度を、周辺領域１７５の撮影感度よりも高くすることが好ましい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１２０ 撮像領域、１３１ 単位ブロック、１３１Ａ 単位ブロック、１３１Ｂ 単位ブロック、１３１Ｃ 単位ブロック、１３１Ｄ 単位ブロック、１３１Ｅ 単位ブロック、１７０ 画像、１７１ 被写体、１７３ 着目領域、１７５ 周辺領域、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４１０ ＣＤＳ回路、４１１ マルチプレクサ、４１２ Ａ／Ｄ変換回路、４１３ デマルチプレクサ、４１４ メモリ、４１５ 演算回路、４１８ Ｉ／Ｆ回路、４２０ 駆動制御部、４３０ タイミングメモリ、４４１ センサ制御部、４４２ ブロック制御部、４４３ 同期制御部、４４４ 信号制御部、４５０Ａ 個別回路部、４５０Ｂ 個別回路部、４５０Ｃ 個別回路部、４５０Ｄ 個別回路部、４５０Ｅ 個別回路部、４５２ ＤＣＴ部、４５４ 量子化部、４５６ 量子化テーブル、４５８ 符号化部、４６０ 符号化テーブル、４７０ 画像処理部、４７２ 縮小画像生成部、４７４ 領域決定部、４７８ 圧縮率設定部、４９０ 信号線、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部、５２０ 撮影レンズ

Claims (12)

1. 光を電荷に変換する光電変換部を含む画素と、前記画素に接続され、前記光電変換部で変換された電荷により生成された信号を出力するための信号線と、を有する撮像領域が第１方向と前記第１方向と交差する第２方向とに複数配置された撮像部と、
   前記撮像部に複数配置された前記撮像領域それぞれの撮像条件の設定を制御する制御部と、
   前記制御部により第１撮像条件に設定された、複数の前記撮像領域のうち第１撮像領域の前記信号線に出力された前記信号を第１圧縮率で圧縮し、前記制御部により前記第１撮像条件とは異なる第２撮像条件に設定された、複数の前記撮像領域のうち第２撮像領域の前記信号線に出力された前記信号を前記第１圧縮率とは異なる第２圧縮率で圧縮する信号圧縮部と、
   を備える撮像装置。
2. 前記撮像領域は、複数の前記画素を有する請求項１に記載の撮像装置。
3. 前記撮像領域は、前記画素が前記第１方向と前記第２方向とに複数配置されている請求項２に記載の撮像装置。
4. 前記撮像部に複数配置された前記撮像領域の前記信号線それぞれに接続され、前記信号線に出力された前記信号を記憶する記憶部を備え、
   前記信号圧縮部は、前記記憶部に記憶された前記信号から生成される画像により設定された圧縮率で圧縮を行う請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記撮像部は、第１基板に設けられ、
   前記記憶部は、前記第１基板とは異なる第２基板に設けられる請求項４に記載の撮像装置。
6. 前記第１基板は、前記第２基板に積層されている請求項５に記載の撮像装置。
7. 前記記憶部は、前記第２基板において前記第１方向と前記第２方向とに配置されている請求項６に記載の撮像装置。
8. 前記信号圧縮部は、前記第２基板に設けられている請求項５から請求項７のいずれか一項に記載の撮像装置。
9. 前記制御部は、前記撮像条件として前記撮像部のフレームレートを制御する請求項１から請求項８のいずれか一項に記載の撮像装置。
10. 前記制御部は、前記撮像条件として前記光電変換部の電荷蓄積時間を制御する請求項１から請求項９のいずれか一項に記載の撮像装置。
11. 前記制御部は、前記撮像条件として前記撮像部の撮像感度を制御する請求項１から請求項１０のいずれか一項に記載の撮像装置。
12. 請求項１から請求項１１のいずれか一項に記載の撮像装置を備える電子機器。

Images