JP7803283B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

特許文献１には、１つの画面を複数のブロックに分割し、各ブロック毎に動き検出してそれぞれ露光時間を制御する撮像装置が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００６－１９７１９２号公報

本発明の第１の態様においては、撮像装置を提供する。撮像装置は、入射光に応じて画素信号を出力する複数の画素を有し、複数の画素はそれぞれが少なくとも２つの画素を含む複数のブロックに分割され、ブロック毎に露光条件が設定された撮像素子と、隣接するブロックに設定された露光条件に基づいて、撮像素子上の受光位置を変化させる撮像制御部と、複数の受光位置において生成される複数の画像を合成する画像処理部とを備える。

本発明の第２の態様においては、入射光に応じて画素信号を出力する複数の画素を有し、複数の画素はそれぞれが少なくとも２つの画素を含む複数のブロックに分割され、ブロック毎に露光条件が設定される撮像素子を用いる撮像方法を提供する。撮像方法は、隣接するブロックに設定された露光条件に基づいて、撮像素子上の受光位置を変化させる段階と、複数の受光位置において生成される複数の画像を合成する段階とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る撮像素子１００の断面図である。 撮像チップ１１３の画素配列およびブロック１３１を説明する図である。 撮像チップ１１３のブロック１３１に対応する回路図である。 撮像素子１００の機能的構成を示すブロック図である。 撮像素子１００の機能的構成を示すブロック図である。 本実施形態に係る撮像装置５００の構成を示すブロック図である。 駆動モードの概念図である。 ブロック境界におけるノイズ量の傾斜を表す概念図である。 駆動モードで撮像した場合のブロック境界におけるノイズ量の傾斜を表す概念図である。 露光時間と駆動位置との関係を表す概念図である。 駆動位置の設定例を示す。 駆動位置の設定例を示す。 駆動位置の設定例を示す。 露光条件に応じて撮像した画像の具体例を示す図である。 図１１Ａと同じ露光条件に応じて、撮像素子１００を駆動して撮像した場合の画像の具体例を示す図である。 本実施形態に係る撮像方法の一例を示すフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有する接続部であるバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配された複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には接続部である複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて接合されることにより、撮像チップ１１３と信号処理チップ１１１とが電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、接続部である複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて接合されることにより、信号処理チップ１１１とメモリチップ１１２とが電気的に接続される。

なお撮像素子１００は、撮像チップ１１３、信号処理チップ１１１及びメモリチップ１１２がチップ化される前のウエハの状態で接合を行い、接合されたウエハをダイシングすることにより形成される。

ウエハ同士を接合する際、活性化装置によりウエハの表面にプラズマを照射して、ウエハの接合面を活性化する。表面が活性化されたウエハは、接触により生じる水素結合、ファンデルワールス結合、および、共有結合等により接合され、積層基板を形成する。二つのウエハが相互の接触により水素結合をしている場合は、積層基板を形成した後、アニール炉のような加熱装置に積層基板を搬入して加熱することにより、ウエハ間に共有結合を生じさせる。

尚、活性化とは、ウエハの接合面が他のウエハの接合面と接触した場合に、水素結合、ファンデルワールス結合、共有結合等を生じて、溶融することなく固相で接合される状態にすべく、少なくとも一方の基板の接合面を処理する場合を含む。すなわち、活性化とは、ウエハの表面にダングリングボンド（未結合手）を生じさせることによって、結合を形成しやすくすることを含む。

より具体的には、活性化装置では、例えば減圧雰囲気下において処理ガスである酸素ガスを励起してプラズマ化し、酸素イオンを二つの基板のそれぞれの接合面となる表面に照射する。例えば、ウエハがＳｉ上にＳｉＯ膜を形成した基板である場合には、この酸素イオンの照射によって、積層時に接合面となるウエハ表面におけるＳｉＯの結合が切断され、ＳｉおよびＯのダングリングボンドが形成される。ウエハの表面にこのようなダングリングボンドを形成することを活性化という場合がある。

ダングリングボンドが形成された状態の基板を、例えば大気に晒した場合、空気中の水分がダングリングボンドに結合して、基板表面が水酸基（ＯＨ基）で覆われる。基板の表面は、水分子と結合しやすい状態、すなわち親水化されやすい状態となる。つまり、活性化により、結果として基板の表面が親水化しやすい状態になる。また、固相の接合では、接合界面における、酸化物等の不純物の存在、接合界面の欠陥等が接合強度に影響する。よって、接合面の清浄化を活性化の一部と見做してもよい。

更に、ウエハの活性化は、図示しない親水化装置を用いて、ウエハの接合面となる表面に純水等を塗布することによってウエハの表面を親水化してもよい。この親水化により、ウエハの表面は、ＯＨ基が付着した状態、すなわちＯＨ基で終端された状態となる。

積層基板を加熱処理することにより、二つのウエハの接合面のそれぞれに設けられたバンプ１０９が互いに一体化されて、ウエハ間で電気的接続が形成される。バンプ１０９を、例えば、インジウム、錫－銀合金のように低温で溶融する材料で形成することにより、２００度以下の低い温度で積層基板をリフロー処理できる。または、バンプ１０９を銅のように導電性を有する金属で形成した場合、加熱処理によって膨張することによりウエハ間のバンプ１０９同士が圧接し、固相拡散により接合される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの画素ブロックに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。また、ＴＳＶ１１０は、メモリチップ１１２に設けられた回路と撮像チップ１１３に設けられた回路とを電気的に接続するために用いられてもよい。

このように、撮像チップ１１３および信号処理チップ１１１は、それぞれの対向する面およびバンプ１０９により接合される。また信号処理チップ１１１およびメモリチップ１１２は、それぞれの対向する面で互いに接合されると共に、バンプ１０９および信号処理チップ１１１に設けられたＴＳＶ１１０で互いに接続される。尚、信号処理チップ１１１およびメモリチップ１１２を、それぞれの対向する面で互いに接合すると共に、バンプ１０９およびＴＳＶ１１０の少なくとも一方で互いに接続してもよい。

図２は、撮像チップ１１３の画素配列およびブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。これらの画素は、少なくとも二つの画素を含むブロックに分割される。本実施形態においては、隣接する４画素×４画素の１６画素が一つのブロックを形成する。図の格子線は、隣接する画素が集合的にブロック１３１を形成する概念を示す。

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップ１１３のブロック１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、ブロック１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。

ここで、画素の露光開始から露光終了後の画素信号出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされ、露光を開始する。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、露光が終了する。露光終了までに蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から露光終了後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図示するように、本実施形態においては、ブロック１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、ブロック１３１を形成する全ての画素は、同一のタイミングで露光を開始し、同一のタイミングで露光を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されて、選択的に出力配線３０９に出力される。

このようにブロック１３１を基準として回路を構成することにより、ブロック１３１ごとに露光時間を制御することができる。ブロックごとに露光時間を制御できるので、隣接するブロック１３１同士で、異なった露光時間による画素信号をそれぞれ出力させることができる。さらには、全てのブロック１３１について共通の露光時間を設定しておき、あるブロック１３１については、１回分の露光と画素信号出力を実行させ、隣接するブロック１３１については、２回分の露光と画素信号出力を繰り返させるといった制御もできる。後者のような、共通の単位時間による露光および画素信号出力の繰り返し制御を単位時間制御という。なお、単位時間制御を行う場合であって、露光の開始時点および終了時点を、全てのブロック１３１で同期させるのであれば、リセット配線３０６は、撮像チップ１１３上の全てのリセットトランジスタ３０３に対して共通接続されて良い。

図４は、撮像素子１００の機能的構成を示すブロック図である。ここでは特に、画素信号の流れを説明する。

アナログのマルチプレクサ４１１は、ブロック１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換は、入力されるアナログ画素信号を、１２ｂｉｔのデジタル画素信号に変換する。Ａ／Ｄ変換された画素信号は、同じく信号処理チップ１１１に形成された、演算回路４１５に引き渡される。演算回路４１５は、受け取った画素信号に、後段の画像処理のために必要な演算処理を施して、デマルチプレクサ４１３へ引き渡す。

デマルチプレクサ４１３は、受け取った画素信号をそれぞれの画素に対応する画素メモリ４１４に格納する。画素メモリ４１４のそれぞれは、演算処理を実行した後の画素信号を格納できる容量を有する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、演算処理に用いる画素信号を、デマルチプレクサ４１３を介して画素メモリ４１４から読み出す。あるいは、外部からの引渡要求に従って、デマルチプレクサ４１３を介して画素メモリ４１４から読み出した画素信号を、後段の画像処理部に引き渡す。なお、演算回路４１５は、メモリチップ１１２に設けられても良い。

また、図では１ブロック分の画素信号の流れを示すが、実際にはこれらがブロックごとに存在して、並列で動作する。ただし、演算回路４１５はブロックごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのブロックに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。

図５は、撮像素子１００の機能的構成を示すブロック図である。ここでは主に信号処理チップ１１１の具体的構成と、システム制御部５０１による制御について説明する。

信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、撮像装置全体の統合制御を担うシステム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す制御回路である。

センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスおよび転送パルスを送出することにより、露光の開始および終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。

同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一のブロック１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。

信号制御部４４４は、主にＡ／Ｄ変換器４１２ｂに対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、マルチプレクサ４１１を経てＣＤＳ回路４１２ａおよびＡ／Ｄ変換器４１２ｂに入力される。Ａ／Ｄ変換器４１２ｂは、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、演算回路４１５に引き渡され、演算処理が施される。演算処理が施された画素信号は、メモリチップ１１２のデマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。

後述する撮像装置５００のシステム制御部５０１は、ユーザからの指示を受けて、撮像素子１００へ送信する撮像指示を生成する撮像指示部の機能を担う。駆動制御部４２０は、システム制御部５０１の撮像制御部５１２からブロック１３１毎に設定された露光条件を受け取る。露光条件とは、取得する画像の明るさを変化させる条件で、例えば、露光時間、絞り値、ＩＳＯ感度等である。駆動制御部４２０は、ブロック１３１毎の露光条件に従って、センサ制御部４４１に制御信号を送出する。

駆動制御部４２０は、撮像制御部５１２からの引渡要求に従って、対象画素信号を演算回路４１５およびデマルチプレクサ４１３を介して画素メモリ４１４から読み出し、システム制御部５０１の画像処理部５１１へ引き渡す。画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。

図６は、本実施形態に係る撮像装置５００の構成を示すブロック図である。撮像装置５００は、撮像素子１００、撮影レンズ５２０、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。

駆動部５０２は、撮像素子１００および撮影レンズ５２０を駆動する。駆動するとは、駆動対象が撮像開始時に位置するｘｙ平面上で、駆動対象を移動させることを指す。駆動部５０２は、例えば、モータまたは圧電素子等のアクチュエータである。駆動部５０２による駆動方向は、ｘｙ平面内に限らず、例えば、ｚ軸を中心とした回転方向に撮像素子１００を回転駆動してもよい。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。

撮影レンズ５２０は、光軸Ｏに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、光学系の一例である。撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図６では、撮影レンズ５２０を瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであってもよい。

画像処理部５１１は、撮像素子１００の駆動制御部４２０から画素信号を受け取る。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、画像処理部５１１は、撮像された複数の画像から特徴点を検出し、特徴点に基づいて複数の画像を合成して最終的な画像データを生成する。また、画像処理部５１１は、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。なお、画像処理部５１１は、システム制御部５０１とは独立したＡＳＩＣとして構成されても良く、メモリチップ１１２に設けられてもよい。

撮像制御部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。撮像制御部５１２は、シーンの輝度分布に応じて、ブロック１３１毎に露光条件を設定する。また、撮像制御部５１２は、それぞれのブロック１３１に設定された露光条件に応じて、シャッタの開閉タイミングを決定する。

本例の撮像制御部５１２は、ブロック１３１毎に設定された露光条件に基づいて、撮像素子１００上の受光位置を変化させる。ここで、撮像素子１００上の受光位置を変化させるとは、撮影レンズ５２０を介して入射光が到達する撮像チップ１１３上の位置を変化させることを指す。

撮像制御部５１２は、駆動部５０２を制御することによって、撮像素子１００および撮影レンズ５２０の少なくともいずれかを駆動することにより、撮像素子１００上の受光位置を変化させる。撮像制御部５１２は、撮像素子１００および撮影レンズ５２０のいずれか一方を駆動してもよく、両方を駆動してもよい。撮像素子１００および撮影レンズ５２０のいずれを駆動対象とするかは、ユーザ入力に従って設定されてよい。

撮像制御部５１２は、隣接するブロック１３１に設定された露光条件に基づいて駆動量を算出する。駆動量の算出方法については後述する。次に、撮像制御部５１２は、撮像期間における駆動回数、駆動タイミングおよび対応する複数の駆動位置を決定する。ここでは露光条件の一例として、露光時間が用いられる。駆動回数および駆動タイミングは、最も短い露光時間が設定されたブロック１３１の露光時間および撮像回数に基づいて設定されてよい。駆動位置は、算出された駆動量および駆動回数に基づいて決定されてよい。

モード選択部５１３は、撮像装置５００の撮像モードを選択する。モード選択部５１３は、ブロック１３１毎に設定された露光条件に基づいて、撮像素子１００上の受光位置を変化させる駆動モード、または撮像素子１００上の受光位置を変化させない標準モードのいずれかを選択する。モード選択部５１３は、隣接するブロックに設定された露光時間に関する値の差が閾値を超える場合に、駆動モードを選択し、閾値以下の場合に、標準モードを選択してよい。

標準モードが選択された場合、撮像制御部５１２は、ブロック１３１毎に設定した露光条件を駆動制御部４２０に引き渡す。駆動制御部４２０は、取得した露光条件に従ってそれぞれの画素を露光させるように、センサ制御部４４１を制御する。一方、駆動モードが選択された場合、撮像制御部５１２は、ブロック１３１毎に設定した露光条件とともに、駆動位置および駆動タイミングを示す駆動情報を駆動制御部４２０に引き渡す。駆動制御部４２０は、駆動情報に従って撮像素子１００上の受光位置を変化させつつ、露光条件に従ってそれぞれの画素を露光させるように、センサ制御部４４１を制御する。

なお、モード選択部５１３は、撮像制御部５１２の一部であってもよい。あるいは、撮像制御部５１２およびモード選択部５１３は、メモリチップ１１２に設けられてもよい。この場合、撮像制御部５１２およびモード選択部５１３は、システム制御部５０１から情報を受け取り、受け取った情報に基づいて演算した結果を駆動制御部４２０に引き渡す。

図７は、駆動モードの概念図である。一例として、駆動タイミング１～Ｎに、撮像素子１００が駆動位置０から駆動位置１～Ｎに駆動される場合を説明する。なお、撮影レンズ５２０が駆動位置１～Ｎに駆動される場合も、撮像素子１００が駆動される場合と同様に撮像素子１００上の受光位置が変化するという効果が得られるので、説明を省略する。

駆動位置０は、撮像開始時に撮像素子１００が位置する基準位置であり、駆動位置１～Ｎは、駆動位置０に撮像素子１００が位置するｘｙ平面と同一平面上の点である。つまり、駆動位置１～Ｎは、駆動位置０を基準とした撮像素子１００の相対位置である。駆動タイミング１において、撮像素子１００は駆動位置０から駆動位置１に移動し、駆動タイミング２において、撮像素子１００は次の駆動位置２に移動する。このように、撮像終了までに駆動をＮ回繰り返し、撮像素子１００は、駆動位置０からＮまで順に移動する。

このように、駆動タイミング毎に撮像素子１００の位置が変化するので、撮像素子１００上の受光位置も相対的に変化する。例えば、駆動位置０における受光位置が、あるブロック１３１の境界近傍の画素であった場合、ある駆動位置における受光位置は、隣接するブロック１３１内の画素となることがある。

図８Ａは、ブロック境界におけるノイズ量の傾斜を表す概念図である。露光中に発生するノイズは、画質に影響を与える。各画素で発生するノイズ量は、撮像期間中の撮像回数に主に依存するため、画素が属するブロック１３１に設定された露光条件から事前に推定することができる。

図８Ａにおいて、横軸は、撮像チップ１１３のｘ軸方向位置、縦軸は画素で発生するノイズ量σ^２である。ブロック１３１のうち、ｘ軸方向において隣接するブロック１およびブロック２において、各画素で発生するノイズ量をそれぞれσ^２ _１、σ^２ _２とする。各ブロック１３１において、画素に設定される露光条件は一致しているので、σ^２ _１、σ^２ _２はそれぞれ一定である。

ここで、ブロック１およびブロック２の境界を中心として、ｘ軸の正方向および負方向に距離ｓずつ、すなわち距離２ｓの範囲をブロック境界領域とする。撮像素子１００の駆動を行わない場合、距離２ｓは、ブロック１の画素とブロック２の画素との間の最小距離、すなわち、両ブロックの境界で接するブロック１の画素およびブロック２の画素の中心間距離である。このとき、ブロック境界領域におけるノイズ量の傾斜ｋは、次の式で与えられる。

上記の式から、距離２ｓが一定の場合、隣接するブロックのノイズ量σ^２ _１、σ^２ _２の差が大きいほど、ブロック境界における傾斜ｋが大きいことがわかる。傾斜ｋが大きいと、画像上のブロック境界が目立ち、画質が低下するおそれがある。なお、「撮像素子１００のブロック境界」とは、撮像素子１００において隣接するブロック１３１の境界を意味し、画像上のブロック境界とは、撮像素子１００の隣接するブロックにそれぞれ対応する画像上の領域の境界を意味する。

撮像制御部５１２は、撮像中に撮像素子１００を駆動することにより、撮像素子１００において受光する位置を変化させる。撮像制御部５１２は、隣接するブロックに設定された露光時間の差に応じて撮像素子１００の駆動量を決定する。撮像制御部５１２は、撮像素子１００の駆動量を決定するにあたり、各ブロック１３１の目標駆動距離ｓ_{ｔａｒｇｅｔ}を算出する。目標駆動距離ｓ_{ｔａｒｇｅｔ}は、傾斜ｋの閾値をＫ_{ｔｈｒｅｓｈｏｌｄ}とすると、次の式で与えられる。

ここで、傾斜ｋの閾値Ｋ_{ｔｈｒｅｓｈｏｌｄ}は、傾斜ｋのとり得る最大値であり、予め定められた値であってよい。目標駆動距離ｓ_{ｔａｒｇｅｔ}は、駆動位置０と各駆動位置との間の距離の目標値であり、傾きｋを閾値Ｋ_{ｔｈｒｅｓｈｏｌｄ}以下とするために必要とされる撮像素子１００の駆動範囲である。撮像制御部５１２は、駆動位置０からそれぞれのブロック１３１について算出した目標駆動距離ｓ_{ｔａｒｇｅｔ}の最大値の範囲内で、複数の駆動位置を設定してよい。

また撮像制御部５１２は、最も長い露光時間が設定されたブロック１３１の露光時間における駆動量が１つの画素の大きさ以下となるように駆動位置を決定する。駆動量は、撮像素子１００がある駆動位置から別の駆動位置まで駆動されるときの移動距離である。画素の大きさは、撮像チップ１１３が位置するｘｙ平面における、ｘ軸方向またはｙ軸方向における１つの画素の辺の長さである。

図８Ｂは、駆動モードで撮像した場合のブロック境界におけるノイズ量の傾斜を表す概念図である。例えば、撮像素子１００がｘ軸の正方向および負方向に距離ｓ'ずつ駆動されると、ブロック境界領域の距離は２ｓ'となる。ブロック境界領域において、ノイズ量は、σ^２ _２以上σ^２ _１以下の範囲で、傾斜ｋで緩やかに変化する。このように、撮像素子１００を駆動することによって、ブロック境界領域においてノイズ量が均され、画像上のブロック境界が目立たなくなる。

目標駆動距離ｓ_{ｔａｒｇｅｔ}の最大値は、予め定められた値であってよい。距離２ｓ'を大きくすることにより、ノイズ量の傾斜ｋが小さくなり、画像上のブロック境界が目立たなくなるという効果が得られる一方で、隣接するブロック１３１の明るさに顕著な差がある場合に次のような問題がある。

例えば、ブロック１が明領域、ブロック２が暗領域に対応する場合、ブロック１に設定される露光時間はブロック２に設定される露光時間より短い。ブロック１の画素の中で、ブロック２との境界近傍に位置する画素は、駆動位置０でブロック２に含まれていた位置に駆動されると、暗領域の弱い入射光を短い露光時間で受光するため、画素信号を正しく生成できないおそれがある。そこで、目標駆動距離ｓ_{ｔａｒｇｅｔ}の最大値を設定することにより、傾斜ｋを小さくしつつ、露光条件の適切性を保持することができる。目標駆動距離ｓ_{ｔａｒｇｅｔ}は、ブロック１３１のｘ軸方向またはｙ軸方向における長さ以下であってよい。

図９は、露光時間と駆動位置との関係を表す概念図である。図９において、横軸は時間軸を示す。ブロック１、ブロック２およびブロック３はブロック１３１の一例であり、白抜きの矢印は、対応するブロックの露光時間および駆動タイミングを表す。ブロック１は明領域に対応し、ブロック３は暗領域に対応し、ブロック２はブロック１およびブロック３の中間の明るさの領域に対応する。露光時間は、ブロック１からブロック３の順に短い時間が設定される。

各ブロックの撮像回数は、最も長い露光時間が設定されたブロック３の露光時間に基づいて決定される。図９の例では、ブロック３は、露光時間が撮像期間の１／２であるから撮像回数は２回である。ブロック１は、露光時間がブロック３の１／４であるから撮像回数はブロック３の４倍、すなわち８回である。同様に、ブロック２は、露光時間がブロック３の１／２であるから撮像回数はブロック３の２倍、すなわち４回である。

撮像制御部５１２は、ブロック１の撮像回数に基づいて、駆動回数および駆動タイミングを決定する。図９の例では、駆動回数は、ブロック１の撮像回数から１を引いた７回であり、駆動タイミングは、ブロック１の露光時間経過時と同じである。駆動位置の数はブロック１の撮像回数と同じ８個であり、撮像素子１００は、撮像開始から終了までの間に、初期位置である駆動位置０から駆動位置７まで駆動される。

撮像制御部５１２は、最も長い露光時間が設定されたブロック３の露光時間における駆動量が１つの画素の大きさ以下となるように駆動位置を決定する。図９の例では、ブロック３の１回目の撮像中に、撮像素子１００は駆動位置０～３に位置するので、撮像制御部５１２は、駆動位置０から駆動位置３までの駆動量が１つの画素の大きさ以下となるように駆動位置を決定する。次に、ブロック３の２回目の撮像開始時に、撮像素子１００は駆動位置４に駆動されるが、駆動位置０から駆動位置４までの駆動量は１つの画素の大きさを超えてよく、ブロック３の２回目の撮像中に、撮像素子１００は駆動位置４～７に位置するので、撮像制御部５１２は、駆動位置４から駆動位置７までの駆動量が１つの画素の大きさ以下となるように駆動位置を決定する。

ブロック１では駆動タイミングと露光時間経過時とが一致するが、ブロック１より長い露光時間が設定された他のブロック２および３では、露光中に駆動タイミングが到来する。つまり、撮像制御部５１２は、ブロック２および３の画素の露光中に、撮像素子１００を次の駆動位置へと駆動する。このように、暗領域に対応するブロックであっても、撮像素子１００の駆動の際に露光を中断しないので、十分な量の入射光を受光し、正確な画素信号を生成することができる。

また、撮像制御部５１２は、１つの画素内での駆動位置の数をブロック１の露光回数よりも多くして、撮像素子１００をより細かく移動させてもよい。また、撮像制御部５１２は、複数の駆動位置をつなげることにより駆動ルートを作成し、または、駆動位置を設定することなく駆動ルートを設定し、駆動ルートに沿って撮像素子１００を連続的に移動させてもよい。このような場合でも、撮像制御部５１２は、最も長い露光時間が設定されたブロック３の露光時間における駆動量が１つの画素の大きさ以下となるように駆動位置を決定する。

あるいは、撮像制御部５１２は、ブロック１の露光時間が経過する毎に撮像素子１００を駆動せず、ブロック３の露光時間において同じ位置で撮像を行うように駆動位置を決定してもよい。図９の例において、駆動位置１～４が同じ位置であり、駆動位置５～７が同じ位置である場合、撮像素子１００は、ブロック３の１回目の撮像中に駆動位置０から１に駆動され、ブロック３の１回目の撮像中に駆動位置１から５に駆動される。この場合、ブロック１は２～５回目の撮像を同じ駆動位置１で行い、６～８回目の撮像を同じ駆動位置５で行う。ブロック２は、１回目の撮像中に駆動位置０から１に駆動され、その後駆動位置１で撮像を行い、３回目の撮像中に駆動位置５に駆動され、その後４回目の撮像までを駆動位置５で行う。

図１０Ａは、駆動位置の設定例を示す。図１０Ａは、図９の例におけるブロック１～３を含む撮像素子１００の駆動位置を設定する例である。撮像制御部５１２は、ブロック１３１毎に設定された露光条件から撮像素子１００の駆動量を算出し、駆動回数および駆動タイミングを決定する。撮像制御部５１２は、駆動位置０からの距離が目標駆動距離ｓ_{ｔａｒｇｅｔ}以内となるように、駆動回数に対応する駆動位置を決定する。

図１０Ａの例において、駆動位置の数は１６個であり、撮像制御部５１２は、駆動位置１～１５を決定する。ここで、駆動位置０から駆動位置３に駆動されるまでの時間は、ブロック３の露光時間に等しい。撮像制御部５１２は、駆動位置０から駆動位置３までの移動距離が画素の大きさを超えないように、駆動位置１～３を決定する。

同様に、撮像制御部５１２は、駆動位置４から駆動位置７までの移動距離が画素の大きさを超えないように、駆動位置４～７を決定する。さらに、撮像制御部５１２は、駆動位置１～３および駆動位置４～７と同様に、ただし、最後の駆動位置１５が駆動位置０に近づくように、駆動位置８～１１および駆動位置１２～１５を決定する。

このように、最も長い露光時間が設定されたブロックの露光時間における駆動量が１つの画素の大きさを超えないようにすることで、駆動による画像のぶれを抑制することができる。

図１０Ｂは、駆動位置の他の設定例を示す。図１０Ｂの例において、撮像制御部５１２は、駆動位置のｘ座標が図１０Ｂに記載の式で表される正規分布を満たし、ｙ座標も同様に正規分布を満たすように駆動位置１～Ｎを決定する。換言すると、撮像制御部５１２は、目標駆動距離ｓ_{ｔａｒｇｅｔ}の範囲内で、駆動位置１～Ｎをランダムに決定してよい。

図１０Ｃは、駆動位置の他の設定例を示す。図１０Ｃの例において、撮像制御部５１２は、渦巻き状となるように駆動位置１～Ｎを決定する。撮像素子１００は、１回目の撮像で駆動位置０から駆動位置Ｎまで駆動された後、２回目の撮像開始までに、駆動位置ｎから駆動位置０まで最短経路で（図１０Ｃではｘ軸上を通って）戻ってもよく、あるいは、２回目の撮像において、駆動位置Ｎ、Ｎ－１、Ｎ－２、・・・、１、０と、１回目の撮像における駆動と逆方向に駆動されてもよい。図１０Ｃにおいては、駆動位置０から駆動位置Ｎまでのｘ軸上の距離が目標駆動距離ｓ_{ｔａｒｇｅｔ}となる。

図１１Ａは、露光条件に応じて撮像した画像の具体例を示す図である。図１１Ａおいて、左側の図は、ある被写体の撮像において設定された露光条件を示す。被写体は、夜間の高層ビルである。露光時間設定は、ブロックの色が明るい（白に近い）ほど短秒露光（明領域）であり、暗い（黒に近い）ほど長秒露光（暗領域）であることを意味する。矢印が指すブロックは、被写体である高層ビルの最上階で点灯する航空障害灯を含む領域に対応し、航空障害灯の明るさに影響されて、明領域に対応する短秒露光ブロックと設定されている。隣接するブロックはいずれも被写体の夜空の領域（暗領域）に対応し、長秒露光ブロックと設定されている。

図１１Ａおいて、右側の図は、撮像素子１００を駆動せずに撮像した結果得られた画像を示す。矢印は、上述した航空障害灯のブロックに対応する領域であり、夜空に対応する領域の中で、画像上のブロック境界が不自然に目立つ画像となっている。

図１１Ｂは、図１１Ａと同じ露光条件に応じて、撮像素子１００を駆動して撮像した場合の画像の具体例を示す図である。駆動された結果、隣接するブロックとのノイズ量の差が均されて、画像上のブロック境界の目立たない自然な画像が得られたことがわかる。

図１２は、本実施形態に係る撮像方法の一例を示すフロー図である。ここでは一例として、撮像方法の動作主体をシステム制御部５０１の画像処理部５１１、撮像制御部５１２またはモード選択部５１３として説明するが、これに限定されない。撮像装置５００に含まれる他の機能ブロックが主体であってもよい。

ステップＳ１３１０において、撮像制御部５１２は、ブロック１３１毎に露光条件を設定する。

ステップＳ１３２０において、撮像制御部５１２は、撮像素子１００上の露光位置を決定する。撮像制御部５１２は、隣接するブロックに設定された露光条件に基づいて、ブロック１３１毎のノイズ量または信号とノイズとの比（ＳＮ比）を算出する。また、撮像制御部５１２は、各ブロック１３１のノイズ量またはＳＮ比に基づいて、ブロック１３１間のノイズ量の差またはＳＮ比の差を算出し、これに基づいて、撮像素子１００の駆動量を決定する。

撮像制御部５１２は、手振れ補正を考慮して駆動量を決定してよい。撮像制御部５１２は、手振れ量を算出し、算出した駆動量から手振れ量を差し引くことによって、駆動量を補正する。例えば加速度センサ等の計測部を撮像装置５００に設け、計測部により手振れ量を計測してもよい。また、撮像制御部５１２は、撮像装置５００が手振れ防止機構を有する場合、手振れ防止機構による手振れ防止のための移動量を考慮して駆動量を決定してもよい。撮像制御部５１２は、手振れ防止機構による移動量を、算出した駆動量から差し引くことによって、駆動量を補正する。このように、より適切な駆動量の範囲内で駆動することができる。

ステップＳ１３２０の前に、モード選択部５１３は、撮像制御部５１２から露光条件を取得し、撮像モードを選択してよい。モード選択部５１３は、隣接するブロックに設定された露光時間に関する値の差が閾値を超える場合に、駆動モードを選択し、閾値以下の場合に、標準モードを選択してよい。駆動モードが選択された場合、処理はステップＳ１３２０に進み、標準モードが選択された場合、処理はステップＳ１３３０に進んでよい。

ステップＳ１３３０において、撮像制御部５１２は、露光条件と、駆動位置および駆動タイミングを示す駆動情報とを撮像素子１００の駆動制御部４２０に送信し、駆動制御部４２０の制御下で撮像を実行する。ここで、モード選択部５１３が標準モードを選択した場合には、撮像制御部５１２は、駆動制御部４２０に露光条件のみを送信してよい。

画像処理部５１１は、複数の受光位置において生成される複数の画像の合成および位置合わせを実行し、画像を生成する。複数の画像の合成は、対応する位置を撮像したそれぞれの画素の画素値の合計値を算出することによって行ってもよく、平均値を算出することによって行ってもよい。

このように、本例によれば、画像上のブロック境界が目立たないようにすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、１３１ ブロック、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ 出力配線、３１０ Ｖｄｄ配線、３１１ 負荷電流源、４１１ マルチプレクサ、４１２ 信号処理回路、４１３ デマルチプレクサ、４１４ 画素メモリ、４１５ 演算回路、４２０ 駆動制御部、４４１ センサ制御部、４４３ 同期制御部、４４４ 信号制御部、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 撮像制御部、５１３ モード選択部、５２０ 撮影レンズ

Claims (8)

1. 入射光に応じて画素信号を出力する複数の画素を有し、前記複数の画素はそれぞれが少なくとも２つの画素を含む複数のブロックに分割され、ブロック毎に露光時間を含む露光条件が設定された撮像素子と、
   ブロック毎に設定された露光条件のうち、第１ブロックに設定された第１露光時間と、前記第１ブロックと隣接する第２ブロックに設定された第２露光時間とに基づいて、前記撮像素子、または、前記入射光を前記複数の画素に導く光学系、のうち少なくとも一方を駆動することにより、前記撮像素子上の受光位置を変化させる撮像制御部と、
   複数の前記受光位置において生成される複数の画像を合成する画像処理部と
   を備え、
   前記撮像制御部は、
   前記第１露光時間と、前記第２露光時間とに基づいて、前記撮像素子または前記光学系の駆動量の範囲を決定し、
   前記駆動量の範囲内で、前記撮像素子または前記光学系を駆動し、前記撮像素子上の受光位置を変化させる、
   撮像装置。
2. 測光を行う測光部をさらに備え、
   前記測光部による測光に基づいて輝度分布を検出し、前記輝度分布に基づいてブロック毎の露光条件を設定する
   請求項１に記載の撮像装置。
3. 前記撮像制御部は、前記第１露光時間から推定される前記第１ブロックのノイズ量と、前記第２露光時間から推定される前記第２ブロックのノイズ量との差に基づいて、前記駆動量の範囲を決定する、請求項１または２に記載の撮像装置。
4. 前記撮像制御部は、前記第１ブロックのノイズ量と前記第２ブロックのノイズ量との差が大きいほど、前記駆動量の範囲が広くなるように前記駆動量の範囲を決定する、請求項３に記載の撮像装置。
5. 最も長い露光時間が設定されたブロックの露光時間における前記撮像素子または前記光学系の駆動量は、１つの画素の大きさ以下である
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記第２ブロックには、前記第１ブロックより長い露光時間が設定され、
   前記撮像制御部は、前記第２ブロックの露光中に、前記第１ブロックの露光時間が経過するごとに前記受光位置を変化させる
   請求項１から５のいずれか一項に記載の撮像装置。
7. 前記撮像制御部は、手振れ量を差し引いて前記駆動量を補正する
   請求項１から６のいずれか一項に記載の撮像装置。
8. 入射光に応じて画素信号を出力する複数の画素を有し、前記複数の画素はそれぞれが少なくとも２つの画素を含む複数のブロックに分割され、ブロック毎に露光時間を含む露光条件が設定される撮像素子を用いる撮像方法であって、
   ブロック毎に設定された露光条件のうち、第１ブロックに設定された第１露光時間と、前記第１ブロックと隣接する第２ブロックに設定された第２露光時間とに基づいて、前記撮像素子、または、前記入射光を前記複数の画素に導く光学系、のうち少なくとも一方を駆動することにより、前記撮像素子上の受光位置を変化させる段階と、
   複数の前記受光位置において生成される複数の画像を合成する段階と
   を備え、
   前記撮像素子上の受光位置を変化させる段階は、
   前記第１露光時間と、前記第２露光時間とに基づいて、前記撮像素子または前記光学系の駆動量の範囲を決定する段階と、
   前記駆動量の範囲内で、前記撮像素子または前記光学系を駆動し、前記撮像素子上の受光位置を変化させる段階と、を含む
   撮像方法。