JP6289425B2 - 撮像素子およびその製造方法、撮像装置、撮像方法ならびにプログラム - Google Patents

Description

本発明は、撮像素子および撮像装置に関し、特に撮像信号の階調処理に関するものである。

近年、４Ｋ解像度に代表される超高精細映像の利用が一般となり、８Ｋ ＵＨＤＴＶ（８Ｋ Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）に関連する技術の進展も著しい。撮像装置においても従来からの高画素化・高フレームレート化の要請に加え、１画素当りの情報量を大きくして１０ｂｉｔ超とすることへの要請が高まりつつある。

このような要請に応えるためには、フレーム期間等により制限される所定の時間内に、撮像素子が出力する撮像信号を、１０ｂｉｔを大きく超える多ｂｉｔデジタル撮像信号にＡＤ変換（アナログ／デジタル変換）する必要がある。そして、ＡＤ変換した多ｂｉｔデジタル撮像信号を、所定の時間内に撮像装置の画像処理部へ伝送する必要がある。

ＡＤ変換した多ｂｉｔデジタル撮像信号を画像処理部に伝送する手段としては、例えば、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等の高速差動シリアル伝送方式が用いられる。このとき、多ｂｉｔデジタル撮像信号を所定の時間内に画像処理部に伝送するためには、その伝送周波数を大きくしたり伝送ピン数を増やしたりして伝送帯域幅を向上させる必要がある。あるいは、多ｂｉｔデジタル撮像信号を圧縮する等して伝送するデータ量を低減する必要がある。

例えば、特許文献１には、撮像素子から出力された映像信号を可逆圧縮処理する圧縮部と、圧縮処理された映像信号を伸長処理する伸長部と、前記伸長処理された映像信号を一つのフレーム画像に合成する合成部と、を備える撮像装置が開示されている。このような特許文献１によれば、多ｂｉｔデジタル撮像信号を可逆圧縮処理することによって、撮像装置の画像処理部へ伝送するデータ量を低減することができる。

特開２０１１−１１９８６８号公報 特開２００９−１４１８６１号公報

しかしながら、従来よりも多ｂｉｔとなったデジタル撮像信号を画像処理部に伝送するためには、伝送周波数を大きくしたり伝送ピン数を増やしたりする必要があるため高コスト、かつ製造難度の高い撮像装置となってしまう。また、特許文献１のように、多ｂｉｔデジタル撮像信号を圧縮する場合でも、空間情報やフレーム間の時間情報を利用した圧縮処理は回路規模が大きくなり、さらには画像処理部での伸長処理が必須となるため、撮像装置は結局高コストとなってしまう。本発明はこれを鑑み、コストを抑えてデジタル撮像信号の伝送データ量を低減することができる撮像素子を提供することを目的とする。

本発明の撮像素子は、複数の画素を有する画素部と、前記複数の画素からの画像信号をデジタル信号に変換するＡＤ変換器と、互いに異なる非線形な入出力特性を持つ複数の階調変換特性のいずれかで前記デジタル信号に対する階調変換を施す階調変換部と、前記階調変換部により前記デジタル信号に対する階調変換を施す際の階調変換特性を、前記複数の階調変換特性のうちから選択する選択部と、前記選択部により選択された階調変換特性で前記階調変換部により階調変換が施されたデジタル信号を外部に出力する出力部と、を備え、前記階調変換部は、前記デジタル信号を所定のビット数に変換して出力し、入力ビット数よりも出力ビット数の方が小さいことを特徴とする。

本発明の撮像素子によれば、コストを抑えてデジタル撮像信号の伝送データ量を低減することができる。

本発明の第１実施形態に係る撮像素子の構成を示すブロック図である。 本発明の第１実施形態に係る撮像素子を適用した撮像装置の構成を示すブロック図である。 本発明に係る理想的な表示装置の表示輝度とコントラストステップの関係を示す階調特性の一例である。 本発明の第１実施形態に係る撮像素子の駆動方法を示すタイミングチャート図である。 本発明の第１実施形態に係る撮像素子における階調変換部の入出力特性を示す図である。 本発明の第１実施形態に係る撮像素子における階調処理部の動作シーケンスを示すフローチャート図である。 本発明の第１実施形態に係る撮像素子の出力信号を示すタイミングチャート図である。 本発明の第２実施形態に係る撮像素子の構成を示すブロック図である。 本発明の第２実施形態に係る撮像素子におけるＡＤ変換器の構成を示す等価回路図である。 本発明の第２実施形態に係る撮像素子における階調処理部の動作シーケンスを示すフローチャート図である。 本発明の第３実施形態に係る撮像素子における階調処理部の動作シーケンスを示すフローチャート図である。 本発明の第４実施形態に係る撮像素子の構成を示すブロック図である。 本発明の第４実施形態に係るデジタル撮像信号の明るさを表す模式図である。 本発明の第４実施形態に係る撮像素子の構成を示す斜視図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

（第１実施形態）
前述のように、１画素当りの情報量を従来よりも大きくするためには、まず第１に、撮像素子が出力する撮像信号を、限られた時間内に多ｂｉｔデジタル撮像信号にＡＤ変換する必要がある。例えば、特許文献２には、互いに縦続接続された複数のＡＤ変換回路を含み、サンプルホールド信号をパイプライン形式でＡＤ変換するＡＤ変換手段とを備えたパイプライン型ＡＤ変換装置に関わる技術が開示されている。このような特許文献２によれば、所定の時間内に８Ｋ ＵＨＤＴＶの要請に耐える多ｂｉｔデジタル撮像信号に変換することも可能となろう。

そして第２に、ＡＤ変換した多ｂｉｔデジタル撮像信号を、限られた時間内に撮像装置の画像処理部へ伝送する必要がある。しかし前述のように、１０ｂｉｔを大きく超え従来よりも多ｂｉｔとなったデジタル撮像信号を画像処理部に伝送するには、広い伝送帯域幅を要し高コストかつ製造難度の高い装置となってしまう。

ところで、人間の視覚特性に基づく輝度変化の弁別閾は、輝度により異なることが明らかにされている。傾向としては、低輝度ほどわずかなコントラストステップを認識し、高輝度ほど鈍感になっていく。そこで、本実施形態では、このような人間の視覚特性に基づいて、表示装置の階調特性や撮影シーンの輝度情報等に応じてデジタル撮像信号の階調変換の入出力特性を選択する方法について説明する。

まず、本発明の第１実施形態に係る撮像素子の構成について、図１から図７を用いて説明する。図１は、本発明の第１実施形態に係る撮像素子２０１の構成を示すブロック図の一例である。図１に示す本実施形態の撮像素子２０１は、撮像部１０および階調処理部１１を備えて構成される。ここで、撮像部１０は、複数の画素１、複数のＡＤ変換器２、水平走査回路１０１、垂直走査回路１０２、およびタイミング発生回路１０３を備えている。また、階調処理部１１は、階調選択部１１０、複数の階調変換部１１１〜１１３、およびＰ／Ｓ変換部１１４を備えている。

撮像部１０は、行方向及び列方向に２次元状に配列された複数の画素１を有して構成される。図１において、画素１（ｐｑ）は、第ｐ行かつ第ｑ列に存在する画素を表している。図１では、画素１（００）のみ構成要素を図示し、その他の画素については構成要素の図示を省略しているが、各画素１（ｐｑ）とも同様の構成を有している。以下、第ｐ行、第ｑ列の画素１（ｐｑ）を代表して説明するが、他の画素についても同様である。画素１（ｐｑ）は、フォトダイオード３、転送トランジスタ４、増幅トランジスタ５、選択トランジスタ６、およびリセットトランジスタ７を有して構成される。

フォトダイオード３は、撮影光学系（後述の図２参照）を介して入射した光を光電変換し、光強度に応じた電荷を発生する。転送トランジスタ４は、フォトダイオード３に生じた電荷を転送ノードに転送する。ここで転送ノードとは、転送トランジスタ４のドレイン、リセットトランジスタ７のソース、および増幅トランジスタ５のゲートの３つの端子の接続点において形成されるフローティングディフュージョン領域のことである。この転送ノードには、フォトダイオード３から転送された電荷が保持される。増幅トランジスタ５は、転送ノードに保持された電荷量に応じた信号を増幅して出力する。選択トランジスタ６は、列出力線１０４に接続する画素１を選択する。リセットトランジスタ７は、転送ノードに保持された電荷を所定の電源によりリセットする。

垂直走査回路１０２は、転送トランジスタ４，選択トランジスタ６，およびリセットトランジスタ７を、それぞれ所定のタイミングで垂直方向（列方向）に順次制御する等して、列方向の画素選択を行う。選択トランジスタ６のソース端子は、同じ列の列出力線１０４に接続されており、フォトダイオード３で発生した電荷量に応じた電圧を、同じ列のＡＤ変換器２に出力する。なお、図１に示すＶＬｑ（ｑ＝０、１、…）は、第ｑ列の列出力線１０４の電圧値を表している。また、ＡＤｑ（ｑ＝０、１、…）は、第ｑ列のＡＤ変換器２を表している。

ＡＤ変換器２は、比較器２１およびカウンタ回路２２を有して構成される。比較器２１は、列出力線１０４の電圧値ＶＬｑと、時間に比例して増減するＲＡＭＰ信号とを比較する。カウンタ回路２２は、比較器２１からの出力をＥｎａｂｌｅ端子に入力し、列出力線の電圧値ＶＬｑとＲＡＭＰ信号との比較結果に応じてカウントしたりカウントを停止したりする。これにより、フォトダイオード３に発生した電荷量に応じた信号値が、カウンタ回路２２のカウント値として保持される。

水平走査回路１０１は、カウンタ回路２２が保持するカウント値を水平方向（行方向）に順次選択して水平出力線１０５に出力する。これにより、第ｐ行の一行分のデジタル撮像信号ＨＬｐが読み出される。第ｐ行以外についても同様である。タイミング発生回路１０３は、水平走査回路１０１、垂直走査回路１０２、ＡＤ変換器２等に対してタイミング信号を出力する。タイミング信号は、後述のＲＯＭ等に記憶された、いくつかのパターンを選択することで実現してもよい。タイミング発生回路１０３の駆動パターンは、システム制御部（後述の図２参照）により制御される。

第１階調変換部１１１は、水平出力線１０５に転送されたデジタル撮像信号ＨＬｐを順次、所定の入出力特性を持つＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）に入力し、階調変換して出力する。第２階調変換部１１２および第３階調変換部１１３についても同様である。複数の階調変換部１１１〜１１３は互いに異なる非線型な入出力特性を有しており、階調選択部１１０によっていずれか１つが選択される。Ｐ／Ｓ変換部１１４は、公知のパラレルシリアル変換手段であり、階調変換部１１１〜１１３により階調変換された画像信号をＬＶＤＳ等の高速シリアル伝送フォーマットに変換して出力端子１２に出力する。

次に、本実施形態の撮像素子２０１を適用し得る撮像装置について説明する。図２は、本発明の第１実施形態に係る撮像素子２０１を適用した撮像装置の構成を示すブロック図の一例である。図２に示す本実施形態の撮像装置は、撮影光学系２００、撮像素子２０１、画像メモリ２０２、画像処理部２０３、システム制御部２０４、ＲＯＭ２０５、および記録回路２０６を備えている。また、表示回路２０７、表示装置２０８、階調特性受信部２０９、レンズ駆動回路２１０、および記録媒体２１１を備えている。

システム制御部２０４は、撮像装置を全体的に制御する。システム制御部２０４によって実行されるプログラムの全部または一部は、ＲＯＭ２０５に格納され、制御モード毎に必要なプログラムが読み出されて実行される。また、システム制御部２０４は、レンズ駆動回路２１０を駆動制御することにより、撮影光学系２００のフォーカスを調整する。撮像素子２０１は、フォーカス調整された撮影光学系２００により結像した光を受光して光電変換するとともに、前述の通りＡＤ変換および階調変換する。階調変換された画像信号は画像処理部２０３に順次に転送され、フレーム毎にまとめて画像メモリ２０２に一時記憶される。１枚あるいは複数枚のフレームが画像メモリ２０２に一時記憶された後、画像処理部２０３によって所定の画像処理が行われる。画像処理部２０３が行う画像処理には、例えば撮像素子２０１で施されないホワイトバランス、３面同時化、ノイズリダクション、シャープネス調節等の画像処理が含まれる。画像処理された画像はさらに、記録回路２０６においてＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の圧縮が行われた後、記録媒体２１１に記録される。

なお、画像処理された画像は、表示回路２０７により８Ｋ ＵＨＤＴＶ、４Ｋ、ＨＤＴＶ等の解像度やフレームレート、輝度域および色域等の表示フォーマット調整を行った後、表示装置２０８に表示することもできる。表示装置２０８は、撮像装置と一体に構成されていてもよいし、本撮像装置とは別に構成されてもよい。後者の場合は、表示装置２０８とは接続端子を介して接続される。

また、階調選択部１１０は、システム制御部２０４の制御により、第１階調変換部１１１、第２階調変換部１１２および第３階調変換部１１３の中からいずれか１つを選択する。例えば、本実施形態では、表示装置２０８から表示回路２０７を介して受信した表示装置２０８の表示輝度範囲やコントラストステップに関わる階調特性に基づいて、最も適した入出力特性を有する階調変換部１１１、１１２または１１３を選択する。あるいは階調特性の情報を、階調特性受信部２０９を介して受信することも可能である。この場合、階調特性受信部２０９は撮像装置のＵ／Ｉ（ユーザーインターフェース）等で構成してもよい。

表示装置２０８のコントラストステップは、一般にその表示輝度Ｌに依存して変化する。とりわけＩＴＵ−Ｒ Ｒｅｃ．ＢＴ１８８６に規定されている下式（１）のように、最大値で規格化された入力信号レベル、すなわち撮像素子２０１の出力端子１２の信号レベルＶ（０≦Ｖ≦１）のγ乗を基調として表示する。
Ｌ＝ａ（Ｖ＋ｂ）^γ （１）
ここでａ、ｂは所定の定数である。この場合、コントラストステップは、上式（１）の微分値を用いて
（ｄＬ／ｄＶ）／Ｌ
＝（ａγ（Ｖ＋ｂ）^γ−１）／Ｌ
＝（ａγ（Ｖ＋ｂ）^γ−１）／（ａ（Ｖ＋ｂ）^γ）
＝γ／（Ｖ＋ｂ） （２）
と表すことができる。このように、コントラストステップは、一般にはγ値に比例するのでγ値で代用することも可能である。

ここで、最小表示輝度Ｌｂを、Ｖ＝０としても生じる表示装置の輝度とする。すなわち、Ｌｂ＝ａ（ｂ）^γである。また、最大表示輝度Ｌｗを、Ｖ＝１を超えては表示できない表示装置の最高輝度とする。すなわち、Ｌｗ＝ａ（１＋ｂ）^γである。このＬｂおよびＬｗから、定数ａ、ｂの値を、下式（３）および下式（４）のように求めることができる。
ａ＝（Ｌｗ^１／γ−Ｌｂ^１／γ）^γ （３）
ｂ＝Ｌｂ^１／γ／（Ｌｗ^１／γ−Ｌｂ^１／γ） （４）

階調選択部１１０は、例えばγ値で代用されるコントラストステップと、最小表示輝度Ｌｂ、最大表示輝度Ｌｗで規定される表示輝度範囲とを含む表示装置２０８の階調特性の情報を、システム制御部２０４を介して受信する。そして、表示輝度範囲Ｌｗ〜Ｌｂにおいて上式（１）の逆関数と最も一致度の高い入出力特性を、階調変換部１１１〜１１３から選択する。

ところで、人間の視覚特性に基づき空間周波数ｕと表示輝度Ｌに依存する関数として、下式（５）に示すコントラストセンシティビティ関数Ｓ（Ｌ，ｕ）が知られている。

図３は、条件を仮定した理想的な表示装置における表示輝度とコントラストステップの関係を示した階調特性の一例である。図３の縦軸は、上式（５）のコントラストセンシティビティ関数Ｓ（Ｌ，ｕ）の逆数を示しており、横軸は、表示輝度Ｌ（ｃｄ／ｃｍ^２）を示している。なお、この入出力特性はγ値のみでは表現することができない。いずれにしても一般的な傾向としては、表示装置２０８の表示輝度範囲内である数ｃｄ／ｃｍ^２以下の輝度に対して多くの階調を割り当てる一方、表示輝度範囲外となる数十ｃｄ／ｃｍ^２以上の輝度に対して割り当てる階調を減らすようにするとよい。ユーザーは、階調特性受信部２０９を介して、階調選択部１１０に対して指示することにより、複数の階調変換部１１１〜１１３の中から最適なものを選択することもできる。

このとき選択する階調変換部１１１〜１１３の入出力特性としては、例えば、ＩＴＵ−Ｒ Ｒｅｃ．ＢＴ２０２０やＩＴＵ−Ｒ Ｒｅｃ．ＢＴ７０９等に規定されている輝度の０．４５乗を基調とした階調変換を用いることができる。あるいは、映画表現でよく用いられる対数（ＬＯＧ）を基調とした階調変換を用いることもできる。さらには、特に階調変換の必要がない場合は線型変換を選択することもできる。

なお、階調処理部１１は、撮像部１０とは別の基板に形成してもよいが、例えば、撮像部１０の特に画素１（ｐｑ）の光入射面の反対側に積層させて形成してもよい。その場合、画素１（ｐｑ）を形成する基板と階調処理部１１等を形成する基板とを別工程で作成した後、それらの基板を貼り合わせる。そして、階調処理部１１等を形成した基板を支持基板として画素１（ｐｑ）の光入射面を研磨して露出させる、いわゆる裏面入射型（裏面照射型）撮像素子２０１として作成するのが好適である。またその場合、撮像部１０の垂直走査回路１０２、水平走査回路１０１等は、画素１（ｐｑ）を形成した基板に存在する必要はない。例えば、階調処理部１１等とともに支持基板側に形成しておいて前記貼り合わせの際に所定の電気的コンタクトによって画素１（ｐｑ）を構成する各種トランジスタ等の駆動を制御するよう構成しても良い。

続いて、撮像部１０の駆動方法と階調処理部１１の動作シーケンスについて説明する。図４は、本発明の第１実施形態に係る撮像部１０の１行分の画素を並列にＡＤ変換する際の、撮像素子２０１の駆動方法を示したタイミングチャートの一例である。

横軸は時刻ｔを表し、縦軸は信号の大きさを表している。制御信号ＳＥＬ、ＲＥＳ、ＴＸは、それぞれ画素１（ｐｑ）内の選択トランジスタ６、リセットトランジスタ７、転送トランジスタ４のゲート端子に印加される。これらのトランジスタは、ゲート端子に印加される各制御信号の電圧が、Ｈｉｇｈである場合にＯＮとなり、Ｌｏｗである場合にＯＦＦとなる。また、第ｑ列の列出力線１０４の電圧ＶＬｑ、ＲＡＭＰ信号、比較器２１の出力ＣＯＭＰ、カウンタ回路２２のカウント値ＣＮＴ、水平走査回路１０１が発生する水平走査信号ＨＳＲの信号レベルの変化を表す。

時刻ｔ０からｔ１において、制御信号ＲＥＳがＨｉｇｈとなり、リセットトランジスタ７がＯＮされる。これにより、転送ノードが所定の電源電圧にリセットされる。続いて時刻ｔ１において、制御信号ＲＥＳがＬｏｗとなることで、リセットトランジスタ７がＯＦＦされる、これにより、転送ノードが浮遊状態となり所定の時間経過後の時刻ｔ２には電圧値が安定する。この間制御信号ＳＥＬはＨｉｇｈとなっているので、転送ノードの電圧は選択トランジスタ６を介して列出力線１０４に伝達されている。すなわち、図４における列出力線１０４の電圧値ＶＬｑは、転送ノードの電圧値の時間変化を表している。なお、第ｑ列の列出力線１０４の電圧値ＶＬｑは、時刻ｔ１からｔ２においてリセットトランジスタ７のゲートがＯＮされるのに応じてＨｉｇｈとなっているが、以後の動作には特段の影響はない。

列出力線１０４の電圧値ＶＬｑが安定した時刻ｔ２において、基準レベルＮを測定するためにＲＡＭＰ信号を発生させる。そして、ＲＡＭＰ信号と列出力線１０４の電圧値ＶＬｑとが等しくなるまでの経過時間をカウントすることで、信号電荷転送前の基準レベルＮのＡＤ変換値を測定する。時刻ｔ２においては、ＶＬｑ＜ＲＡＭＰであるので比較器２１の出力電圧ＣＯＭＰはＨｉｇｈとなっている。カウンタ回路２２は、比較器２１の出力電圧ＣＯＭＰをＥｎａｂｌｅ信号として動作する。時刻ｔ３において、ＶＬｑ＞ＲＡＭＰとなるので、比較器２１の出力電圧ＣＯＭＰがＬｏｗに変化する。この結果、カウンタ回路２２は停止状態となり基準レベルＮのＡＤ変換を自動的に終了する。時刻ｔ４からｔ５において、制御信号ＴＸがＨｉｇｈとなる。これにより、転送トランジスタ４がＯＮされ、フォトダイオード３で光電変換された電荷が転送ノードに転送される。この結果、転送ノードに転送された電荷による電圧降下が、列出力線１０４の電圧値ＶＬｑとして現れる。

列出力線１０４の電圧値ＶＬｑが安定した時刻ｔ６において、信号レベルＳを測定するためにＲＡＭＰ信号を発生させる。そして、列出力線１０４の電圧値ＶＬｑと等しくなるまでの経過時間をカウントすることで、信号電荷に対応する信号レベルＳのＡＤ変換値を測定する。時刻ｔ６までにカウンタ回路２２が基準レベルＮまでダウンカウントされていれば、時刻ｔ６からカウント開始する際に基準レベルＮと信号電荷に対応する信号レベルＳの和をアップカウントすることになる。したがって、時刻ｔ７において、ＶＬｑ＞ＲＡＭＰとなりカウントが終了すると、信号レベルＳがカウンタ回路２２のカウント値として保持される。なお、理由は後述するが、ＡＤ変換の精度引いてはｂｉｔ幅としては２４ｂｉｔ程度あることが望ましい。ＡＤ変換の精度およびｂｉｔ幅は、ＲＡＭＰ信号の傾きの大きさやカウント中のマスタークロック周波数等により決定される。

時刻ｔ８において制御信号ＳＥＬがＬｏｗとなり、選択トランジスタ６がＯＦＦされる。これにより列出力線１０４への出力を終了する。その後、時刻ｔ８からｔ９において水平走査信号を発生し、カウンタ回路２２に記録されたＡＤ変換済みの信号レベルＳを水平方向に順次選択する。その結果、１行分のデジタル撮像信号が列順次に水平出力線１０５に転送される。

次に、図５および図６を用いて、階調処理部１１の動作シーケンスを説明する。図５は、本発明の第１実施形態に係る撮像素子２０１における階調変換部１１１〜１１３の入出力特性を示す図である。横軸はデジタル撮像信号として入力される入力信号レベルを表している。縦軸は出力レベルを表す。上段の図５（ａ）は横軸・縦軸ともに線型目盛りで表現し、下段の図５（ｂ）は横軸・縦軸とも対数目盛りで表現している。

図５において、破線ｆ１は第１階調変換部１１１の入出力特性を示している。破線ｆ１は、よく知られた、入力の０．４５乗を基調とする入出力特性であり、入力を２^２２ＬＳＢまでの２２ｂｉｔ値とし、出力を２^１２ＬＳＢまでの１２ビット値としている。また、一点鎖線ｆ２は、第２階調変換部１１２の入出力特性を示している。一点鎖線ｆ２は、映画表現等でよく知られる、入力の対数（ＬＯＧ）を基調とする入出力特性であり、入力を２^２４ＬＳＢまでの２４ｂｉｔ値とし、出力を２^１２ＬＳＢまでの１２ビット値としている。破線ｆ１で示す第１階調変換部１１１の入出力特性と比較すると、低輝度において傾き（入力による微分値）が大きく、第１階調変換部１１１の入出力特性よりも多くの階調を割り当てている。一方、２^２２ＬＳＢを超える高輝度においては、割り当てられる階調数は小さくなるものの、２^１２ＬＳＢにクリップされることなく変化量を持っている。映画表現においては、表示輝度５０ｃｄ／ｃｍ^２以下で詳細な階調が求められる一方、ハイライトを多く含むシーン等において編集の余地を残すように高輝度にもわずかながら階調変化を残すことが求められる。ここで、横軸は表示装置２０８の表示輝度と比例関係にあると仮定し、例えば横軸２^２２ＬＳＢが１０００ｃｄ／ｃｍ^２に相当するものとすると、縦軸の１ＬＳＢに対応する横軸は２９０ＬＳＢ程度であるから０．０７ｃｄ／ｃｍ^２となる。つまり第１階調変換部１１１の入出力特性は、１０００ｃｄ／ｃｍ^２を最大表示輝度、０．０７ｃｄ／ｃｍ^２を最小表示輝度とする表示装置２０８を用いる場合に好適なものである。また、前述ＩＴＵ−Ｒ Ｒｅｃ．ＢＴ１８８６に規定されている上式（１）に示された階調特性の逆関数と最も一致度が高い。一方、一点鎖線ｆ２で示す第２階調変換部１１２の入出力特性のように対数（ＬＯＧ）を基調とすると、ハイライトにもある程度の階調を割り当てることが可能となるが、上式（１）の階調特性の逆関数との一致度は低い。同様に、図５において、実線ｆ３は第３階調変換部１１３の入出力特性を示している。実線ｆ３で示す第３階調変換部１１３の入出力特性は、最大表示輝度が４０００ｃｄ／ｃｍ^２と高く、最小表示輝度も０．００２ｃｄ／ｃｍ^２と低い。したがって、第３階調変換部１１３の入出力特性は、高性能な表示装置２０８に好適な入出力特性である。通常、このように幅広い表示輝度レンジを持つ表示装置で最小階調１ＬＳＢ変化した際の粗いステップを目立たなくするためには、その分だけ信号の量子化精度を向上し、かつｂｉｔ幅を大きくする必要がある。このとき、輝度に関わらず一様に十分な階調精度を用意しておくことは、デジタル信号の伝送において無駄が多い。そこで、第３階調変換部１１３の入出力特性を用いる場合は、図３に説明した人間が知覚する最小のコントラストステップに沿うようにしつつ、２^１２ＬＳＢまでの出力値に収め、ｂｉｔ幅１２の画像信号に変換する。

図６は、本発明の第１実施形態に係る撮像素子２０１における階調処理部１１の動作シーケンスを示すフローチャートの一例である。ステップＳ６０１において、表示装置２０８の階調特性に関する情報を受信する。受信する情報には、先に挙げた最小表示輝度Ｌｂおよび最大表示輝度Ｌｗで規定される表示輝度範囲や、コントラストステップに関する情報がある。ステップＳ６０２において、最小表示輝度をチェックする。最小表示輝度が０．０７ｃｄ／ｃｍ^２を超えない場合はステップＳ６０３に進み、超える場合はステップＳ６０７に進む。ステップＳ６０３においては、最大表示輝度をチェックする。最大表示輝度が１０００ｃｄ／ｃｍ^２を超える場合はステップＳ６０４に進み、超えない場合はステップＳ６０５に進む。

ステップＳ６０４において、第３階調変換部１１３、すなわち表示輝度範囲の広い表示装置に適する入出力特性を選択する。ステップＳ６０７において、第１階調変換部１１１、すなわち表示輝度範囲の狭い表示装置に適する入出力特性を選択する。

ステップＳ６０５において、第２階調変換部１１２の逆関数との一致度を求める。すなわち第２階調変換部１１２の逆関数は輝度の指数関数であるから、このコントラストステップ（一定数となる。）と表示装置２０８のコントラストステップの差分を算出して最小表示輝度から最大表示輝度までを積分する。ここでは、特に低輝度の階調性を重視して１０００ｃｄ／ｃｍ^２以下の輝度積分値に重みを付けて算出してもよい。この積分値を誤差として所定の閾値と比較し、閾値未満であればステップＳ６０６に進み、閾値以上であればステップＳ６０４に進む。ステップＳ６０６において、第２階調変換部１１２、すなわち低輝度に多くの階調を割り当てつつ、４０００ｃｄ／ｃｍ^２の情報を維持した入出力特性を選択する。

ステップＳ６０８において、撮影が開始されると、ステップＳ６０９において、上記ステップＳ６０４、ステップＳ６０６およびステップＳ６０７において選択された入出力特性により、撮影された映像のフレームに対して階調変換を実行する。撮影が開始されない場合は、ステップＳ６０１に戻って、上記の処理を繰り返す。ステップＳ６１０において撮影が終了した場合は、階調処理部１１の動作シーケンスを終了する。撮影が終了とならず次のフレームの撮影が開始した場合は当該フレームの階調変換を実行する。

ところで、階調変換部１１１〜１１３のような非線型な入出力特性でありながら出力２^１２ＬＳＢまでを量子化誤差を少なく変換するためには、入力信号すなわち撮像素子２０１のＡＤ変換精度引いてはｂｉｔ幅にも相応の要求が生じる。理論的には、階調変換部１１１〜１１３の各微分係数（傾き）の最大値が概ね１ＬＳＢ以下に収まることが望ましい。階調変換部１１１〜１１３のうち最も微分係数の大きい第２階調変換部１１２、すなわち対数（ＬＯＧ）を基調とした入出力特性によれば、ｂｉｔ幅２３〜２４ｂｉｔのＡＤ変換を行えば上記要求を満たすことができる。また、第３階調変換部１１３の入出力特性によれば、出力１ＬＳＢ付近の極めて低輝度においてｂｉｔ幅２１〜２４ｂｉｔのＡＤ変換を行えば上記要求を満たすことができる。

このように階調変換を施した信号は、Ｐ／Ｓ変換部１１４によって、ＬＶＤＳ等の高速差動シリアル伝送フォーマットに変換される。いずれの階調変換部１１１〜１１３を介した場合でもｂｉｔ幅１２ｂｉｔ信号であるため、図７に示すような伝送フォーマットに変換される。図７において、データラインＤａｔａのＤ１１は画素信号の最上位ｂｉｔ、Ｄ０は最下位ｂｉｔを表している。データラインＤａｔａからはクロックラインＬＶＣＬＫの立ち上がりおよび立下りの両方に同期して、Ｄ１１〜Ｄ０の各々が１であるか０であるかの情報として最上位から順に伝送される。例えばクロックラインＬＶＣＬＫが２５０ＭＨｚであったとすると、クロックの立ち上がりと立下りで合わせて２ｂｉｔ分のデータが伝送するので、伝送速度は５００Ｍｂｐｓとなる。これは、いわゆるダブルデータレート（ＤＤＲ）方式である。

仮に、階調処理部１１がなく、前述のように最小表示輝度から最大表示輝度の幅が広い２４ｂｉｔ分のデータを階調変換することなく伝送する場合は、同じ伝送速度であれば２倍のデータを伝送するため２倍の時間がかかってしまう。そこで、同じ時間で伝送するためには２倍の伝送速度すなわち１Ｇｂｐｓを要することとなる。それは半導体の微細プロセスや極性変化時のスルーレートを高めるための電流増もしくはプリエンファシス回路の追加もしくは２倍に並列化するための端子増等、高コストを招く。また、画像処理部２０３との間でインピーダンス整合を考慮した基板設計が必要となる等、製造上の難易度が上昇する。

そこで、本実施形態では、撮像部１０内のＡＤ変換器２からのｂｉｔ幅２４ｂｉｔのデジタル撮像信号を、階調変換部１１１〜１１３によってｂｉｔ幅１２ｂｉｔの画像信号に階調変換してから出力端子１２に出力する。これにより、１画素当たりのデータ伝送量を低減することができる。それゆえ、出力端子１２を多数並列化したりＬＶＤＳデータレートの大幅な増加を伴ったりせずに画像処理部２０３に伝送することができる。しかも、異なる入出力特性を持つ複数の階調変換部１１１〜１１３を備えてそれらを任意に選択できるので、表示装置２０８またはユーザーからの要請により必要な階調特性を反映して階調変換を実行することができる。そして、繰り返しの階調変換やそれに伴う情報の欠落を防止することができる。なお、本実施形態では、階調変換部１１１〜１１３への入力ｂｉｔ幅および階調変換部１１１〜１１３からの出力ｂｉｔ幅は、必ずしも上述の値に限定されるものではない。階調変換部１１１〜１１３からの出力ｂｉｔ幅が、階調変換部１１１〜１１３への入力ｂｉｔ幅よりも小さくなってさえいればよい。

以上のように、本実施形態では、デジタル撮像信号をよりｂｉｔ幅の小さい画像信号に階調変換する互いに異なる非線型な入出力特性を有する複数の階調変換部を備えている。そして、階調選択部は、画像信号を表示する表示装置の階調特性に基づいて、デジタル撮像信号の階調変換に用いる階調変換部を複数の階調変換部から選択する。これにより、コストを抑えてデジタル撮像信号の伝送データ量を低減することができる。

１画素当たりの伝送データ量が低減できれば、高速差動シリアル伝送にかかる時間を短縮できるので、伝送帯域幅を抑制することができる。また、表示装置の階調特性や撮影シーンの輝度情報等に応じて、最適な入出力特性を有する階調変換部を選択することができる。更に、帯域幅の増加を抑制しながら、高階調画像変換によるダイナミックレンジ伸長処理を行う撮像装置にも適用できる。

（第２実施形態）
本発明の第２実施形態に係る撮像素子の構成について、図８から図１０を用いて説明する。第１実施形態では、表示装置の階調特性の情報に基づいて最適な階調変換部１１１〜１１３を選択する方法について説明した。本実施形態ではさらに、撮影した映像の輝度情報に応じて最適な階調変換部１１１〜１１３を選択する方法について説明する。

例えば、撮影した画像に数十ｃｄ／ｃｍ^２以上となる高輝度情報が多く含まれる場合は、その情報を削ってまで数ｃｄ／ｃｍ^２未満の中・低輝度情報に多くの階調を割り当てることは無駄が多い。そこで、本実施形態では、撮影した画像の輝度情報に関わらず一律に階調変換を行うのではなく、シーン適応的に階調を選択して画像処理部に出力することを考える。すなわち、本実施形態では、階調特性受信部２０９を介した指示や表示装置２０８の階調特性の情報に基づいてだけでなく、撮影シーンの解析によって得られる輝度情報等に応じて、最適な入出力特性を有する階調変換部を選択する方法について説明する。

図８は、本発明の第２実施形態に係る撮像素子２０１ｂの構成を示すブロック図の一例である。本実施形態の撮像素子２０１ｂは、図１に示した第１実施形態の撮像素子２０１と比較して、階調処理部１１ｂが輝度判定メモリ１１５と高輝度判定部１１６とを更に備えている点が異なっている。また、撮像部１０ｂのＡＤ変換器２ｂの構成が異なっている。また、階調選択部１１０が選択した階調変換部１１１、１１２または１１３を特定するためのフラグを、付加して出力端子１２に出力するための信号線を有している点が異なっている。その他については第１実施形態と同じであるので説明は省略する。輝度判定メモリ１１５は、ＡＤ変換器２ｂが出力する階調変換前のデジタル撮像信号を一時記憶する。高輝度判定部１１６は、輝度判定メモリ１１５に記憶されたデジタル撮像信号に基づいて撮影中の画像の輝度判定を行い、階調選択部１１０に出力する。具体的な輝度判定方法については後述する。

図９は、本発明の第２実施形態に係る撮像素子２０１ｂにおけるＡＤ変換器２ｂの構成を示す等価回路図である。本実施形態のＡＤ変換器２ｂは、第１実施形態のＡＤ変換器２と比較して、制御信号ＬＡＴにより制御されるスイッチ２４と、スイッチ２４を介して比較器２１の出力に接続された１ｂｉｔの０／１ラッチ回路２３を設けている点が異なっている。制御信号ＬＡＴは全列共通に与えられる。ラッチ回路２３は、制御信号ＬＡＴを制御するタイミングより、任意の時刻における比較器２１の出力値を記憶することが可能である。したがって、例えば図４に示すタイミングチャートの時刻ｔ６−ｔ８間の特定の時刻における値を記憶することにより、その特定の時刻においても比較器２１の出力がＬｏｗに反転していないような明るい画素を検知することができる。

例えば、ラッチ回路２３に記憶された値が１（Ｈｉｇｈ）のままである画素を、撮像素子２０１ｂの図示しない加算器によって水平方向（行方向）および垂直方向（列方向）に加算する。これにより、当該フレームで輝度が所定の閾値を超えた画素をカウントすることができるので、ＡＤ変換器２ｂを高輝度カウンタとして利用できる。こうして得られた高輝度情報は、高輝度判定部１１６に送信される。

図１０は、本発明の第１実施形態に係る撮像素子２０１ｂにおける階調処理部１１ｂの動作シーケンスを示すフローチャートの一例である。ステップＳ１００１において、撮影を開始する。ステップＳ１００２において、階調特性受信部２０９を介してユーザー指定の階調特性を受信する。受信する階調特性の情報としては、例えばユーザーが求める最小表示輝度等がある。ステップＳ１００３において、最小表示輝度が０．０７ｃｄ／ｃｍ^２を超えない場合はステップＳ１００４に進み、超える場合はステップＳ１００８に進む。ステップＳ１００４において、ＡＤ変換が終了した行から順次画像信号を輝度判定メモリ１１５に一時記憶しておく。

ステップＳ１００５において、ＡＤ変換器２ｂの構成を利用した高輝度カウンタの結果を所定の閾値と比較する。高輝度カウンタ値が所定の閾値を超えており、高輝度画素数が多いと判定された場合はステップＳ１００６に進み、高輝度カウンタ値が閾値を超えず、高輝度画素数が多くないと判定された場合はステップＳ１００７に進む。このような閾値判定は、高輝度判定部１１６にて行われ、階調選択部１１０にその選択結果が送信される。

ステップＳ１００６において、第３階調変換部１１３、すなわち表示輝度範囲の広い表示装置に適する入出力特性を選択する。ステップＳ１００７において、第２階調変換部１１２、すなわち表示輝度範囲は広いが第３階調変換部１１３よりも低輝度に多くの階調を割り当てた入出力特性を選択する。高輝度画素数が少ないにも関わらず第３階調変換部１１３のように低輝度から高輝度まで万遍なく多くの階調を割り当てると、画素数の少ない高輝度が多くの階調を使用することとなり無駄が多くなる。そこで、対数（ＬＯＧ）を基調とする入出力特性を選択することで、画素数の少ない高輝度の階調数を減じて無駄を少なくするとともに、画素数の多い低輝度から中輝度により多くの階調を割り当てることができる。ステップＳ１００８において、第１階調変換部１１１、すなわち表示輝度範囲の狭い表示装置に適する入出力特性を選択する。

ステップＳ１００９において、ステップＳ１００６、ステップＳ１００７またはステップＳ１００８において選択された１つの階調変換部により、輝度判定メモリ１１５に一時記憶されたデジタル撮像信号の階調変換を実行する。ステップＳ１０１０において撮影が終了した場合は、フレームの終了時に選択した階調変換部１１１、１１２または１１３を特定するためのフラグを付加して出力するとともに、階調処理部１１ｂの動作シーケンスを終了する。こうして、フレーム間で異なる入出力特性を持つ階調変換部を選択した場合も、画像処理部２０３や表示回路２０７で再度の画像処理を行う際に、撮像素子２０１ｂで実行された階調変換特性を加味することができる。撮影が終了とならない場合はステップＳ１００１に戻る。このように、本実施形態によれば、第１実施形態の効果を維持しながら、より撮影シーンに適した入出力特性を持つ階調変換を実行することが可能である。

なお、前述の高輝度カウンタは、必ずしも例示したＡＤ変換器２ｂの構成に限定されるものではなく、例えば、ＡＤ変換器２ｂ内の電流モニターを設けてその電流値を高輝度カウンタとして用いることもできる。これは、明るい画素が多ければ比較器２１が反転してカウンタ回路２２が停止するまでの時間が長くなり消費電力がわずかに大きくなるためである。このわずかな増加成分によって高輝度画素数の判定を行うこともできる。また、輝度判定メモリ１１５に一時記憶された画像を高輝度判定部１１６によって解析し、輝度が所定の閾値以上の高輝度画素数または所定の閾値未満の低輝度画素数をカウントしてもよい。また、本実施形態に示したＡＤ変換器２ｂの構成によって低輝度カウンタを構成しても良いし、それを前述高輝度カウンタと組み合わせて３つの階調変換部１１１〜１１３からシーンに適した入出力特性を選択するように動作させても良い。

以上のように、本実施形態では、輝度判定メモリに記憶されたデジタル撮像信号の輝度を判定する輝度判定部を備えている。また、階調選択部は、輝度判定部による判定結果に基づいて階調変換部を選択する。これにより、撮影シーンに応じて、最適な入出力特性を有する階調変換部を選択することができ、より撮影シーンに適した入出力特性を持つ階調変換を実行することが可能である。

（第３実施形態）
本発明の第３実施形態に係る撮像素子の構成について、図１１を用いて説明する。第２実施形態では、より撮影シーンに適した入出力特性を持つ階調変換を実行することができるものの、階調変換前のデジタル撮像信号を一時記憶するための輝度判定メモリ１１５を構成しているため撮像素子２０１の規模が大きくなってしまう。また、撮像素子２０１の外部に伝送する帯域を向上するよりは簡易であるものの、輝度判定メモリ１１５と水平出力線１０５間の伝送帯域を確保しなくてはならない。

そこで本実施形態では、撮像素子２０１内部に大規模な輝度判定メモリ１１５を設けることなく撮影シーンに適した入出力特性を持つ階調変換を実行し得る階調処理部１１の動作シーケンスについて説明する。本実施形態は、第１実施形態と比較して、図６に示す階調処理部１１の動作シーケンスを示すフローチャートが異なっている。その他については第１実施形態と同じであるので説明は省略する。

図１１は、本発明の第３実施形態に係る撮像素子２０１における階調処理部１１の動作シーケンスを示すフローチャートの一例である。ステップＳ１１０１において、撮影を開始する。ステップＳ１１０２において、階調特性受信部２０９を介してユーザー指定の階調特性を受信する。受信する階調情報としては、例えばユーザーが求める最小表示輝度等がある。

ステップＳ１１０３において、最小表示輝度が０．０７ｃｄ／ｃｍ^２を超えない場合はステップＳ１１０３に進み、超える場合はステップＳ１１０９に進む。ステップＳ１１０４において、ＡＤ変換が終了した行から順次、選択されている階調変換部１１１、１１２または１１３によって階調変換する。そして、Ｐ／Ｓ変換部１１４によってＬＶＤＳ等の高速シリアル伝送フォーマットに変換し、出力端子１２を介して撮像装置の画像処理部２０３に伝送する。伝送された画像信号は、撮像装置の画像メモリ２０２に一時記憶しておく。ここで、最初のフレームについては後述の画像解析が実行されていないので、既定の階調変換部（例えば第１階調変換部１１１）を選択した状態で階調変換を実行する。

ステップＳ１１０５において、撮像装置の画像メモリ２０２に一時記憶された画像を画像処理部２０３が解析する。ステップＳ１１０６において、画像処理部２０３による画像解析の結果、高輝度画素数を所定の閾値と比較する。高輝度画素数が所定の閾値を超えた場合はステップＳ１１０７に進み、閾値を超えない場合はステップＳ１１０８に進む。このような閾値判定は、撮像装置のシステム制御部２０４にて行われ、撮像素子２０１の階調選択部１１０にその比較結果が送信される。

ステップＳ１１０７において、第３階調変換部１１３、すなわち表示輝度範囲の広い表示装置に適する入出力特性を選択する。ステップＳ１１０８において、第２階調変換部１１２、すなわち表示輝度範囲は広いが第３階調変換部１１３よりも低輝度に多くの階調を割り当てた対数（ＬＯＧ）を基調とする入出力特性を選択する。ステップＳ１１０９において、第１階調変換部１１１、すなわち表示輝度範囲の狭い表示装置に適する入出力特性を選択し、現在のフレームの階調変換を実行する。

ステップＳ１１１０において撮影が終了した場合は、フレームの終了時に選択した階調を特定するためのフラグを付加して出力し、階調処理部１１の動作シーケンスを終了する。こうして、フレーム間で異なる入出力特性を持つ階調変換部１１１〜１１３を選択した場合も、画像処理部２０３や表示回路２０７で再度の画像処理を行う際に、撮像素子２０１で実行された階調変換特性を加味することができる。撮影が終了とならない場合は、ステップＳ１１０１に戻って、上記の処理を繰り返す。２回目以降のステップＳ１１０４においては、上記ステップＳ１１０７、ステップＳ１１０８およびステップＳ１１０９において選択された一つの入出力特性により、次フレームのデジタル撮像信号の階調変換を実行することができる。

このように、前フレームの高輝度画素数情報を反映してシーンに適する入出力特性を持つ階調変換部１１１〜１１３を選択するので、フレーム間の輝度変化が緩やかな場合に、特に適用することができる。画像メモリ２０２での輝度情報解析には、前述のように閾値を比較する以外にもヒストグラム解析およびそれらの組み合わせを挙げることができる。また、画像領域ごとに求めた輝度平均値を使用しても良い。

以上のように、本実施形態では、階調選択部は、画像メモリに記憶された画像の輝度判定結果に基づいて階調変換部を選択する。撮影シーンに応じて、最適な入出力特性を有する階調変換部を選択することができ、撮像素子に輝度判定メモリ等を有さず規模の拡大を抑えることができる。

（第４実施形態）
本発明の第４実施形態に係る撮像素子の構成について、図１２から１４を用いて説明する。本実施形態では、第１〜第３の実施形態の変形例を説明する。図１２は本実施形態における撮像素子２０１ｃの構成を示すブロック図の一例である。第１〜第３実施形態で説明した撮像素子と共通の構成要素については同一の符号を付して詳細の説明を省略する。以下では、本実施形態特有の箇所や本実施形態のみに使用する構成要素について説明する。

図１２に示す撮像部１０ｃと階調処理部１１ｃは別体の半導体基板であり、４つの貫通電極ＶＩＡ０〜ＶＩＡ３によって互いに電気的に接続されている。貫通電極としては、例えばＴＳＶ（Ｔｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ）等を用いることができる。

図１２では、撮像部１０ｃにおいて、４つの画素１（００）、１（０１）、１（１０）および１（１１）を有する画素領域で一つの貫通電極ＶＩＡ０を共有している。そして、これら４つの画素を順に、階調処理部１１ｃのＡＤ変換器ＡＤ０を用いてアナログ／デジタル変換する構成としている。同様に、ＶＩＡ１〜ＶＩＡ３についても、それぞれ４つの画素により共有され、それぞれ階調処理部１１ｃのＡＤ変換器ＡＤ１〜ＡＤ３を用いてアナログ／デジタル変換する構成としている。

タイミング発生回路１０３は、貫通電極ＶＩＡｑおよびＡＤ変換器ＡＤｑを共有する４つの画素毎に順次選択制御する。例えば、ＶＩＡ０およびＡＤ０は、画素１（００）を選択し、第１実施形態の図４に示すタイミングチャートの時刻ｔ０〜ｔ８にしたがって、画素１（００）が光電変換した信号をデジタル撮像信号に変換する。同様に、ＶＩＡ１〜ＶＩＡ３およびＡＤ１〜ＡＤ３においても、それぞれ画素１（０２）、画素１（２０）、画素１（２２）を選択しデジタル撮像信号に変換する。

階調処理部１１ｃには４つの貫通電極ＶＩＡ０〜ＶＩＡ３に対応して、階調処理部１１＿０〜１１＿３がそれぞれ設けられており、対応するＡＤ変換器ＡＤ０〜ＡＤ３に接続されている。さらに、異なる３つの入出力特性を持つ階調変換部１１１〜１１３、階調選択部１１０、輝度判定メモリ１１５、高輝度判定部１１６およびＰ／Ｓ変換部１１４も備えている。これらを貫通電極およびＡＤ変換器の共有単位毎に並列に動作させると、より高速にデジタル撮像信号を階調変換することができる。なお、第２実施形態と同様、ＡＤ変換器ＡＤ０は、制御信号ＬＡＴを閾値制御信号とする高輝度カウンタを備えて高輝度判定部１１６による判定に使用する。また、階調選択部１１０が選択した階調変換部１１１、１１２または１１３の特定フラグを、貫通電極およびＡＤ変換器の共有単位毎に付加することもできる。

以上の構成により、画像領域毎に異なる入出力特性を持つ階調変換部を選択することも可能となる。例えば、画素１（００）〜画素１（３３）に対して白、グレー、黒を含むデジタル撮像信号が、図１３に示す画素分布で得られた場合を仮定する。画素１（００）はほぼ白で、画素１（３３）はほぼ黒である。２つの画素の間に存在する１４の画素はいずれもグレーであり緩やかな輝度勾配を持つものとする。このようなシーンに対しては、ＡＤ変換器ＡＤ０の高輝度カウンタがカウントを増加させやすく、結果として高輝度に多くの階調を割り当てた第３階調変換部１１３を選択する。反対に、ＡＤ変換器ＡＤ３の高輝度カウンタはカウントを増加させにくく、結果として低輝度に多くの階調を割り当てた第２階調変換部１１２もしくは第１階調変換部１１１を選択する。ＡＤ変換器ＡＤ１とＡＤ２の高輝度カウンタは以上の中間のカウント値になり、その結果にしたがっていずれかの階調変換部を選択する。

出力端子１２に階調変換済みの画像信号とともに、画像領域毎に選択した階調変換部１１１、１１２または１１３の特定フラグを付加して出力すると、このフラグ情報を踏まえて撮像装置の画像処理部２０３で領域合成することが可能である。例えば撮像素子からは階調変換済みでｂｉｔ幅１２ｂｉｔとして画像処理部２０３への伝送に必要な帯域を下げながら、画像処理部２０３で最大レンジを２^１２ＬＳＢよりも高階調の画像に変換するダイナミックレンジ伸長処理を行うことも可能となる。

図１４は、本発明の第４実施形態に係る撮像素子２０１ｃの撮像部１０ｃと階調処理部１１ｃとの積層構造を示す斜視図である。撮像に必要な受光面を備える撮像部１０ｃに比べてより微細化された半導体のプロセスを使用すれば、階調処理部１１ｃ側のスペースの余裕はさらに高まる。そこで、生じた余裕スペースを利用して、高輝度判定部１１６に入力する情報を処理するための回路を新たに付加することも可能となる。例えば、輝度範囲別に空間周波数毎の情報量を演算し、最も情報量の多い輝度範囲を特定する等の画像解析用回路も本発明の実施に効果的である。更に、帯域幅の増加を抑制しながら、高階調画像変換によるダイナミックレンジ伸長処理を行う撮像装置にも適用できる。

以上のように、本実施形態では、画素部は複数の画素領域に領域分割され、複数の階調変換部および階調選択部を有する階調処理部を、画素領域のそれぞれに対応して複数備える。これにより、画像領域毎に異なる入出力特性を持つ階調変換部を選択することも可能となる。また、複数の階調変換部および階調選択部を有する階調処理部を含む半導体基板と、画素部が領域分割された画素領域を含む半導体基板とが、積層状に重ねて配置されている。これにより、生じた余裕スペースを利用して、高輝度判定部１１６に入力する情報を処理するための回路を新たに付加することも可能となる。

（その他の実施形態）
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像素子は、図１、図８、図１２に示した構成に限定されるものではない。また、撮像装置の構成も、図２に示した構成に限定されるものではない。また、上記実施形態では、階調処理部１１が、３つの第１階調変換部１１１、第２階調変換部１１２および第３階調変換部１１３を有して構成される場合の例を示したが、本発明はこのような構成に限定されるものではない。階調処理部１１が、Ｎを２以上の自然数としてＮの階調変換部を有して構成される場合でも同様の効果が得られることは言うまでもない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１・・・画素
２・・・ＡＤ変換器
１０・・・撮像部
１１・・・階調処理部
１２・・・出力端子
１１０・・・階調選択部
１１１・・・第１階調変換部
１１２・・・第２階調変換部
１１３・・・第３階調変換部
１１４・・・Ｐ／Ｓ変換部
１１５・・・輝度判定メモリ
１１６・・・高輝度判定部
２０１・・・撮像素子
２０２・・・画像メモリ
２０３・・・画像処理部
２０８・・・表示装置

Claims (18)

1. 複数の画素を有する画素部と、
   前記複数の画素からの画像信号をデジタル信号に変換するＡＤ変換器と、
   互いに異なる非線形な入出力特性を持つ複数の階調変換特性のいずれかで前記デジタル信号に対する階調変換を施す階調変換部と、
   前記階調変換部により前記デジタル信号に対する階調変換を施す際の階調変換特性を、前記複数の階調変換特性のうちから選択する選択部と、
   前記選択部により選択された階調変換特性で前記階調変換部により階調変換が施されたデジタル信号を外部に出力する出力部と、を備え、
   前記階調変換部は、前記デジタル信号を所定のビット数に変換して出力し、入力ビット数よりも出力ビット数の方が小さいことを特徴とする撮像素子。
2. 請求項１に記載の撮像素子において、
   前記複数の階調変換特性の各々は、入力ビット数が略等しい前記デジタル信号における複数の輝度領域の各々に対して前記デジタル信号を前記所定のビット数に変換して出力する際に割り当てられる階調数がそれぞれ異なるような入出力特性を持つことを特徴とする撮像素子。
3. 請求項１または２に記載の撮像素子において、
   前記選択部は、前記画像信号に基づく画像を表示する表示装置の階調特性に基づいて、前記階調変換特性を選択することを特徴とする撮像素子。
4. 請求項３に記載の撮像素子において、
   前記階調特性は、前記表示装置の表示輝度範囲またはコントラストステップに関する情報を含むことを特徴とする撮像素子。
5. 請求項１から４のいずれか１項に記載の撮像素子において、
   前記選択部は、外部入力に基づいて、前記階調変換特性を選択することを特徴とする撮像素子。
6. 請求項１から４のいずれか１項に記載の撮像素子において、
   前記デジタル信号の輝度を判定する輝度判定部を更に備え、
   前記選択部は、前記輝度判定部による判定結果に基づいて、前記階調変換特性を選択することを特徴とする撮像素子。
7. 請求項６に記載の撮像素子において、
   前記デジタル信号を記憶する輝度判定メモリを更に備え、
   前記輝度判定部は、前記輝度判定メモリに記憶された前記デジタル信号の輝度を判定することを特徴とする撮像素子。
8. 請求項７に記載の撮像素子において、
   前記輝度判定メモリに記憶された前記デジタル信号のうち、輝度が予め定めた閾値以上である画素数または前記閾値未満である画素数をカウントする高輝度カウンタを更に備え、
   前記輝度判定部は、前記高輝度カウンタによるカウント値に基づいて、前記輝度判定メモリに記憶された画像の輝度を判定することを特徴とする撮像素子。
9. 請求項６から８のいずれか１項に記載の撮像素子において、
   前記画素部は複数の画素領域に領域分割され、
   前記輝度判定部は、前記複数の画素領域毎に前記デジタル信号の輝度を判定し、
   前記選択部は、前記輝度判定部による判定結果に基づいて、前記複数の画素領域の各々において異なる階調変換特性を選択することを特徴とする撮像素子。
10. 請求項１から８のいずれか１項に記載の撮像素子において、
    前記画素部は複数の画素領域に領域分割され、
    前記階調変換部および前記選択部を有する階調処理部を、前記画素領域のそれぞれに対応して複数備えることを特徴とする撮像素子。
11. 請求項１０に記載の撮像素子において、
    前記ＡＤ変換器を前記画素領域のそれぞれに対応して複数備えることを特徴とする撮像素子。
12. 請求項１から１１のいずれか１項に記載の撮像素子において、
    前記選択部は、選択した前記階調変換特性を特定するためのフラグを前記画像信号に付加することを特徴とする撮像素子。
13. 請求項１から１２のいずれか１項に記載の撮像素子において、
    前記階調変換部を含む半導体基板と前記画素部を含む半導体基板とが積層状に重ねて配置され、少なくとも１以上の貫通電極により互いに電気的に接続されていることを特徴とする撮像素子。
14. 請求項１から４のいずれか１項に記載の撮像素子と、
    前記画像信号の輝度を判定する画像処理部と、を備え、
    前記選択部は、前記画像処理部による判定結果に基づいて、前記階調変換特性を選択することを特徴とする撮像装置。
15. 複数の画素からの画像信号をデジタル信号にＡＤ変換するステップと、
    前記デジタル信号に対する階調変換を施す際の階調変換特性を、互いに異なる非線形な入出力特性を持つ複数の階調変換特性のうちから選択するステップと、
    選択した前記階調変換特性を用いて、前記デジタル信号に対する階調変換を施すステップと、
    選択した前記階調変換特性を用いて階調変換が施されたデジタル信号を外部に出力するステップとを有し、
    前記階調変換を施すステップでは、前記デジタル信号を所定のビット数に変換して出力し、入力ビット数よりも出力ビット数の方が小さいことを特徴とする撮像方法。
16. 請求項１０に記載の撮像素子の製造方法であって、
    前記階調処理部を含む半導体基板と前記画素領域を含む半導体基板とを積層状に重ねて配置するステップと、
    前記階調処理部を含む半導体基板と前記画素領域を含む半導体基板とを少なくとも１以上の貫通電極により互いに電気的に接続するステップと、
    を有することを特徴とする撮像素子の製造方法。
17. コンピュータに、
    複数の画素からの画像信号をデジタル信号にＡＤ変換するステップと、
    前記デジタル信号に対する階調変換を施す際の階調変換特性を、互いに異なる非線形な入出力特性を持つ複数の階調変換特性のうちから選択するステップと、
    選択した前記階調変換特性を用いて、前記デジタル信号に対する階調変換を施すステップと、
    選択した前記階調変換特性を用いて階調変換が施されたデジタル信号を外部に出力するステップとを実行させるためのプログラムであって、
    前記階調変換を施すステップでは、前記デジタル信号を所定のビット数に変換して出力し、入力ビット数よりも出力ビット数の方が小さいことを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。