WO2013008596A1

WO2013008596A1 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2013008596A1
Application number: PCT/JP2012/065825
Authority: WO
Inventors: 笠井　政範; 豪浅山
Original assignee: ソニー株式会社
Priority date: 2011-07-14
Filing date: 2012-06-21
Publication date: 2013-01-17
Also published as: US9344637B2; JP2013021660A; RU2013157361A; EP2733927A1; US20140267828A1; BR112014000337A2; CN103650480A

Abstract

高感度画素と低感度画素の各画素情報を適用したワイドダイナミックレンジ画像を効率的に生成可能とした装置、方法を実現する。異なる感度の画素からの出力画素信号として、複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報を画素部から出力し、これらの画素情報を画素情報合成部において合成して出力画素値を決定してダイナミックレンジの広い出力画像を出力する。画素情報合成部では、例えば被写体の輝度に応じて高感度画素情報または低感度画素情報に対する重みを変更して、高感度画素情報と低感度画素情報との重み付き加算を行い、出力画像の画素値を決定して出力する。

Description

画像処理装置、撮像装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ダイナミックレンジの広い画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

　ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

　このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

　しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

　このような処理を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。

　例えば特許文献１（特開２０００－５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０－６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

　例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。

　時間ｔ０～ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。

　しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。

　そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２～ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２～短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。

　なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。

　このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。

　しかしながら、上記の特許文献１に記載された構成は、いずれも長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。

　このように、露光時間を変えた複数枚の画像を利用することで、広ダイナミックレンジ画像（ＨＤＲ画像）を生成可能であるが、この複数画像に基づく処理には、例えば以下の課題がある。
　課題１：複数回の撮影を行うことが必要であり、さらに、これらの画像を格納するメモリを必要とする点。
　課題２：撮影タイミングが異なる複数の画像を合成したり、長時間露光の撮影データを用いるため、カメラのブレに弱い点。

特開２０００－５０１５１号公報

　本開示は例えば、このような状況に鑑みてなされたものであり、１回の撮影画像に基づいて広ダイナミックレンジ画像を生成可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　画素または画素領域単位の露光時間制御を実行する制御部と、
　前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素部と、
　前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成部を有し、
　前記画素部は、
　前記制御部の露光制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力し、
　前記画素情報合成部は、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出する画像処理装置にある。

　さらに、本開示の画像処理装置の一実施態様において、前記制御部は、前記画素部の列単位で露光時間制御を実行し、前記画素部は、長時間露光のなされる高感度画素列の異なる複数の高感度画素の画素値を加算した高感度画素情報と、短時間露光のなされる低感度画素列の異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、前記出力画像の画素値の算出処理において、長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報とに対して被写体明るさに応じた重みを設定した加算処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、長時間露光領域から入力する高感度画素情報が既定の閾値以上である場合、前記高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値未満である場合、前記低感度画素情報の重みをゼロまたは小さく設定し、長時間露光領域から入力する高感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する。

　さらに、本開示の画像処理装置の一実施態様において、前記制御部は、前記画素部の列単位のシャッタ制御により、列単位の露光時間制御を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記制御部は、前記画素部の２列単位で長時間露光領域と短時間露光領域とを交互設定した露光時間制御を実行し、前記画素部は、前記長時間露光領域に含まれる複数画素の画素値を加算した高感度画素情報と、前記短時間露光領域に含まれる複数画素の画素値を加算した低感度画素情報とを出力する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像の各画素の画素値のビット削減処理を実行する諧調変換部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像に対する信号処理を実行する信号処理部を有する。

　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像に対する符号化処理を実行するコーデックを有する。

　さらに、本開示の画像処理装置の一実施態様において、前記制御部は、前記画素部の画素単位で露光時間制御を実行し、前記画素部は、長時間露光のなされる異なる複数の高感度画素の画素値を加算した高感度画素情報と、短時間露光のなされる異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素部は、２×２画素領域に含まれる長時間露光のなされる２つの高感度画素の画素値を加算した高感度画素情報と、２×２画素領域に含まれる短時間露光のなされる２つの低感度画素の画素値を加算した低感度画素情報を出力する。

　さらに、本開示の画像処理装置の一実施態様において、前記画素部は、ベイヤー配列を有する。

　さらに、本開示の第２の側面は、
　撮像部と、
　請求項１から１１いずれかに記載の処理を実行する画像処理部を有する撮像装置にある。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　制御部が、画素または画素領域単位の露光時間制御を実行する制御ステップと、
　画素部が、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素情報出力ステップと、
　画素情報合成部が、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成ステップを実行し、
　前記画素情報出力ステップは、
　前記制御部の実行する露光時間制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力するステップであり、
　前記画素情報合成ステップは、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出するステップである画像処理方法にある。

　さらに、本開示の第４の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　制御部に、画素または画素領域単位の露光時間制御を実行させる制御ステップと、
　画素部に、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力させる画素情報出力ステップと、
　画素情報合成部に、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出させる画素情報合成ステップを実行させ、
　前記画素情報出力ステップにおいては、
　前記制御部の実行する露光時間制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力させ、
　前記画素情報合成ステップにおいては、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例によれば、高感度画素と低感度画素の各画素情報を適用したワイドダイナミックレンジ画像を効率的に生成可能とした装置、方法が実現される。
　具体的には、異なる感度の画素からの出力画素信号として、複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報を画素部から出力し、これらの画素情報を画素情報合成部において合成して出力画素値を決定してダイナミックレンジの広い出力画像を出力する。画素情報合成部では、例えば被写体の輝度に応じて高感度画素情報または低感度画素情報に対する重みを変更して、高感度画素情報と低感度画素情報との重み付き加算を行い、出力画像の画素値を決定して出力する。
　本開示の一実施例によれば、画素部に感度の異なる画素が配置され、更に感度の異なる複数の画素から、解像度を低下させた画素情報を生成する構成とすることで、フレームメモリを必要とせずにワイドダイナミックレンジ画像を生成することができる。また、同一感度同士のアナログ加算が可能であることから、フレームレートの上昇も可能となる。

複数の画像撮影による広ダイナミックレンジ画像の撮影処理例について説明する図である。撮像装置の構成例について説明する図である。撮像デバイスの構成と処理例について説明する図である。画素情報合成処理の具体例について説明する図である。高感度画素と低感度画素の明るさと出力との対応関係と、低感度画素の出力の調整処理としてのゲイン制御について説明する図である。実施例１に係る画像処理装置における撮像デバイスの画素部の回路構成について説明する図である。実施例１に係る画像処理装置における撮像シーケンスについて説明するタイミングチャートを示す図である。複数画素の画素値加算出力処理について説明する図である。画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。画像処理装置における撮像デバイスの画素情報合成部における出力画素の決定アルゴリズムの一例について説明する図である。実施例２に係る画像処理装置における撮像デバイスの画素部の回路構成について説明する図である。実施例２に係る画像処理装置における撮像シーケンスについて説明するタイミングチャートを示す図である。実施例２に係る画像処理装置における撮像デバイスの画素部の回路構成について説明する図である。実施例２に係る画像処理装置における撮像シーケンスについて説明するタイミングチャートを示す図である。実施例３に係る画像処理装置における撮像デバイスの画素部の回路構成について説明する図である。実施例３に係る画像処理装置における撮像シーケンスについて説明するタイミングチャートを示す図である。実施例３に係る画像処理装置における撮像デバイスの画素部の回路構成について説明する図である。実施例３に係る画像処理装置における撮像シーケンスについて説明するタイミングチャートを示す図である。実施例４に係る画像処理装置における撮像デバイスの構成と処理について説明する図である。実施例４に係る画像処理装置の撮像デバイスに設定された諧調変換部の実行する処理の具体例について説明する図である。実施例５に係る画像処理装置における撮像デバイスの構成と処理について説明する図である。画素部の画素配列の例について説明する図である。画素情報合成処理の具体例について説明する図である。実施例６に係る画像処理装置における撮像デバイスの画素部の回路構成について説明する図である。実施例６に係る画像処理装置における撮像シーケンスについて説明するタイミングチャートを示す図である。画素部の画素配列と、画素情報合成処理の具体例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
　１．撮像装置の構成例について
　２．撮像デバイスの構成例について
　３．その他の実施例について
　　３－１．実施例２
　　３－２．実施例３
　　３－３．実施例４
　　３－４．実施例５
　　３－６．実施例６
　４．本開示の構成のまとめ

　　［１．撮像装置の構成例について］
　まず、本開示の画像処理装置の一例である撮像装置の全体構成例について図２を参照して説明する。
　図２は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。

　制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

　　［２．撮像デバイスの構成例について］
　次に、撮像デバイス１０２の構成例について図３を参照して説明する。
　図３は、本開示の一実施例の撮像デバイス１０２の構成を示す図である。
　撮像デバイス１０２は、図３に示すように画素部１５１、演算部１６０を有する。
　演算部１６０はＡＤ変換部１６１、画素情報合成部１６２、出力部１６３を有する。
　なお、演算部１６０は、画素部１５１と同一のチップ上の構成、すなわちオンチップにある設定としてもよいし、画素部１５１と異なるチップや装置内に設定する構成としてもよい。

　画素部１５１は、多数の画素各々に被写体光に基づく電荷を蓄積し、高解像度画像である高画素数の画像データを出力する。
　なお、画素部１５１は、長時間露光を行う高感度画素と、短時間露光を行う低感度画素を有する構成となっている。

　画素部１５１の構成と、撮像デバイス１０２における演算部１６０の処理によって生成される出力画像の構成例について図４を参照して説明する。

　図４（ａ）に示すように画素部１５１は、例えば、ＲＧｂＧｒＢ配列からなるベイヤー配列である。
　画素部１５１は、制御部１０５の制御によって、露光時間が画素単位で制御され、
　露光時間の長い設定とされる高感度画素、
　露光時間の短い設定とされる低感度画素、
　これらの２種類の画素に区分される。

　図に示すように縦方向のラインに従って、
　２列単位で、高感度画素と低感度画素が交互に設定される。
　なお、図４（ａ）に示すように、水平方向を（ｘ）、垂直方向を（ｙ）として、列番号をｘ座標で表し、行番号をｙ座標で表している。

　撮像デバイス１０２の演算部１６０は、これらの高感度画素情報と低感度画素情報を入力して、異なる感度の画素情報を合成して出力画像の１つの画素値を設定する。
　図４に示す例では、２種類の感度を持つ４つの画素から１つの画素情報を出力する例を示している。つまり、撮像デバイス１０２は、画素部１５１の本来の画素数を１／４に削減した画像、すなわち、図４（ｂ）に示す画素数削減画像２２０を生成して出力する。

　図３に示す撮像デバイス１０２の演算部１６０には、画素部１５１から、高感度画素情報１８１と、低感度画素情報１８２が入力される。
　演算部１６０のＡ／Ｄ変換部１６１はこれらの入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値をがぞ情報合成部１６２に入力する。

　画素情報合成部１６２では、例えば図４に示すように、図４（ａ）に示す画素部の３×３画素領域２１１から、同一色（本例ではＧｂ）の４つの画素信号に基づいて出力画像の１つの画素値（Ｇｂ）を算出する。このような画素値合成処理を実行して画素数削減画像２２０を生成して出力部１６３を介して出力する。
　合成対象となる４つの画素は、
　２つが高感度画素であり、２つが低感度画素から選択される。

　画素情報合成部１６２における具体的な処理例について、図４を参照して説明する。
　図４を参照して、Ｇｂ画素の画素値算出処理例について説明する。
　画素情報合成部１６２は、４つの画素情報から１つの画素情報を生成する際に、図４に示すように、
　高感度のアナログ加算後信号｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝と、
　低感度のアナログ加算後信号｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝と、
　の重みづけ平均を算出する。

　具体的には、画素数削減画像のＧｂの画素値Ｇｂ（ｏｕｔ）を、下式（式１）に従って算出する。
　Ｇｂ（ｏｕｔ）＝｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝×α＋｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝×（Ｇａｉｎ）×β・・・（式１）
　ただし、
　Ｇａｉｎ：高感度画素と低感度画素との感度比を補償するゲイン値、
　α，β：α＋β＝１を満足する重み係数としての乗算パラメータ、
　である。
　なお、α、βはも各色、Ｒ，Ｇｂ，Ｇｒ，Ｂごとに異なる値を用いてもよい。また被写体の明るさに応じて変えても良い。

　Ｒ，Ｇｂ，Ｇｒ，Ｂの各々について、上記式（式１）と同様、
　高感度画素２画素のアナログ加算値と、
　低感度画素２画素のアナログ加算値の感度補償された値とを、
　予め設定した乗算パラメータα、βによる乗算結果の加算処理を行って算出する。
　すなわち、高感度画素２画素のアナログ加算値と、低感度画素２画素のアナログ加算値の感度補償された値との重み付き平均を算出し、算出値を図４（ｂ）に示す画素数削減画像の出力画素値、例えば図４に示すＧｂ（ｏｕｔ）２２１の画素値として設定する。

　なお、（式１）中のＧａｉｎは、上記のように感度差を補償するための係数である。例えば、低感度画素：高感度画素の感度比が１：４である場合、図５に示すように、被写体明るさが同じ場合、低感度画素の画素値（出力）は、高感度画素の１／４となる。この低感度画素を、高感度画素とした場合の推定画素値を算出するため、低感度画素からの出力に４倍のゲインを与える。

　図５に示すように、被写体の明るさが、明るくなり点ａを超える明るさになると、高感度画素は飽和してしまい、ａ以上の明るさの被写体をすべて飽和画素値として出力してしまう。
　一方、低感度画素においては、ａ以上の明るさの被写体においても、画素値は飽和せず、被写体の明るさに応じた画素値出力を生成できる。

　例えば被写体が暗い画素領域では、ノイズの少ない高感度画素の画素値を選択して出力、あるいは高感度画素の画素値と低感度画素の画素値の合成に際して、高感度画素の重みを高くした合成処理によって算出した画素値を出力する。
　また、被写体が明るい場合は、飽和していない低感度画素の画素値を選択して出力、あるいは高感度画素の画素値と低感度画素の画素値の合成に際して、低感度画素の重みを高くした合成処理によって算出した画素値を出力する。
　このような処理を実行することで、明るさに対する線形性が保たれた画素値を出力可能となり、暗い被写体から明るい被写体までの明るさを正確に表現した、ワイドダイナミックレンジ画像を出力することができる。

　図３に示す撮像デバイス１９２の演算部１６０における画素情報合成部１６２は、例えば図４に示す３×３画素領域２１１に含まれる２つの高感度画素と２つの低感度画素の画素値を用いて、このような処理を行うことでワイドダイナミックレンジ画像を出力する。

　具体的には、例えば、上記の（式１）、すなわち、
　Ｇｂ（ｏｕｔ）＝｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝×α＋｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝×（Ｇａｉｎ）×β・・・（式１）
　において、
　高感度画素の加算値：｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝、
　低感度画素の加算値：｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝、
　これらに対する重み係数である乗算パラメータα、βを、図５を参照して説明したように被写体明るさに応じて変更して出力画素値（Ｇｏｕｔ）を算出する。
　なお、図４に示す設定では、明るさの判定は、３×３画素領域単位で実行し、その単位で重み係数である乗算パラメータα、βは、３×３画素領域単位で設定すればよい。

　次に、図６を参照して、図３に示す撮像デバイス１０２の画素部１５１の詳細構成例について説明する。

　図６は画素部１５１の詳細である。画素部１５１は、例えばＭＯＳ型イメージセンサー（ＣＭＯＳセンサー）によって構成される。
　図６には、画素部１５１の５×３＝１５画素のみを示している。
　ｘ方向に５画素、ｙ方向に３画素である。
　図に示す左上端のＧｂ（１，１）画素２５１は、図４（ａ）に示す左上端の画素Ｇｂ（１，１）に対応する。
　図６に示す点線枠で示す４つのＧｂ画素、
　Ｇｂ（１，１）２５１、
　Ｇｂ（１，３）２５２、
　Ｇｂ（３，１）２５３、
　Ｇｂ（３，３）２５４、
　これらは、図４（ａ）に示す左上端の３×３画素領域２１１に含まれる４つのＧｂ画素に対応する。

　画素部１５１は、先に図４を参照して説明したように、制御部１０５の制御によって、露光時間が画素単位で制御され、
　露光時間の長い設定とされる高感度画素、
　露光時間の短い設定とされる低感度画素、
　これらの２種類の画素が、縦方向のラインに従って２列単位で交互に設定される。

　Ｇｂ（１，１）２５１と、Ｇｂ（１，３）２５２の２画素は、長時間露光がなされる高感度画素である。
　Ｇｂ（３，１）２５３と、Ｇｂ（３，３）２５４の２画素は、短時間露光がなされる低感度画素である。

　このような露光制御構成を実現するため、各画素の制御トランジスタＴ１に接続される信号線が、１行につき、Ｌ１、Ｈ１の２本配線される。
　信号線Ｌ１，Ｈ１は、それぞれ、各画素の露光開始時間の制御信号を各画素に伝送する信号線である。

　図７は図６に記載した画素部に対する制御信号の転送タイミングと、各画素の露光時間制御処理について説明するタイミングチャートである。
　通常ＣＭＯＳセンサーは、シャッタ動作とリード動作に大別された動作を行う。シャッタ動作とは、撮影（露光）をスタートさせる際の動作で、フォトダイオードの物理状態としては、リセット処理（ＲＳＴ信号ＯＮ、Ｌ１またはＨ１信号ＯＮ）による電子を空に設定すると同時に、受光量に応じた電子の蓄積を開始させる処理（その後、ＲＳＴ信号ＯＦＦ、Ｌ１またはＨ１信号ＯＦＦ）が行われる。このシャッタ動作によって露光が始まる。

　露光終了は、リード動作によってタイミングが決定されて実行される。
　リード動作は、画素値の読み取り対象となる画素の選択信号である選択信号（ＳＥＬ）をＯＮとし、さらに、このタイミングでフローティングディフュージョン（ＦＤ）のリセット処理のための（ＲＳＴ）をＯＮとして、露光開始以前のノイズ等に基づくＦＤ蓄積電荷を取り除き、選択信号（ＳＥＬ）のＯＮ期間中に、各画素の制御トランジスタ（Ｔ１）を動作させる信号線（Ｌ１とＨ１）をＯＮとすることで、選択信号（ＳＥＬ）と信号線（Ｌ１，Ｈ１）の両信号がＯＮとなった画素の画素値の読み出しが実行される。

　前述したように、本開示の撮像デバイス１０２の画素部１５１は、図４を参照して説明したように、縦方向にストライプ状に高感度画素と低感度画素を例えば２列単位で交互に設定する構成を持つ。

　図７に示すタイミングチャートでこれが実現される。
　なお、画素部１５１からの画素値読み出し処理は、以下のシーケンスで実行する。
　（Ｓ１）第１行と第３行を同時に読み出して、同一列の２つの画素値を加算して出力、
　（Ｓ２）第２行と第４行を同時に読み出して、同一列の２つの画素値を加算して出力、
　（Ｓ３）第５行と第７行を同時に読み出して、同一列の２つの画素値を加算して出力、
　（Ｓ４）第６行と第８行を同時に読み出して、同一列の２つの画素値を加算して出力、
　　　：　　　　　　　　　　　　　　　　　　　　　　　：
　以下、このように、１行おきの２つの行の同一列の同一色の画素の画素値を同時に読み出してこれらを加算して出力する。

　本例では、２列単位で高感度画素と低感度画素が設定されており、上記の各ステップ（Ｓ１），（Ｓ２），（Ｓ３），・・・において、
　２つの高感度画素の画素値加算と、
　２つの低感度画素の画素値加算が実行され、
　これらの高感度画素加算値と低感度画素加算値が出力されることになる。

　図７に示すタイミングチャートは、第１行と第３行の処理シーケンスとしてのシャッタ動作とリード動作の実行例を示している。
　まず、時間（ｔ１）において、
　第１行のリセット信号（ＲＳＴ１）、
　第３行のリセット信号（ＲＳＴ３）、
　第１行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１を動作させる制御信号（Ｈ１）、
　第３行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１を動作させる制御信号（Ｈ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、Ｈ１とＨ３に接続された第１行と第３行の高感度画素の制御トランジスタ（Ｔ１）がＯＮとなり、第１行と第３行の高感度画素列に設定されたフォトダイオード内の電子が空になり、被写体光に応じた新たな電荷蓄積が開始される（高感度画素シャッタ動作）。

　次いで、時間（ｔ２）において、
　第１行のリセット信号（ＲＳＴ１）、
　第３行のリセット信号（ＲＳＴ３）、
　第１行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１を動作させる制御信号（Ｌ１）、
　第３行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１を動作させる制御信号（Ｌ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、Ｌ１とＬ３に接続された第１行と第３行の低感度画素の制御トランジスタ（Ｔ１）がＯＮとなり、第１行と第３行の低感度画素列に設定されたフォトダイオード内の電子が空になり、被写体光に応じた新たな電荷蓄積が開始される（低感度画素シャッタ動作）。

　次に、リード動作を実行する。
　まず、時間（ｔ３）において、
　同時読み出しによる加算対象行である第１行第３行について、
　第１行、第３行のリセット信号（ＲＳＴ１，ＲＳＴ３）、
　第１行、第３行の選択信号（ＳＥＬ１，ＳＥＬ３）、
　これらを同時にＨｉｇｈ（ＯＮ）として、フローティングディフュージョン（ＦＤ）のリセット（ＲＳＴ）を行う。
　この処理によって、ＦＤに蓄積されたノイズ等に起因する電荷を排除する。

　次いで、第１行、第３行の選択信号（ＳＥＬ１，ＳＥＬ３）をＨｉｇｈ（ＯＮ）に設定した期間内の時間（ｔ４）において、
　第１行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１を動作させる制御信号（Ｈ１）、
　第３行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１を動作させる制御信号（Ｈ３）、
　第１行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１を動作させる制御信号（Ｌ１）、
　第３行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１を動作させる制御信号（Ｌ３）、
　これらをすべてＨｉｇｈ（ＯＮ）にする。

　第１行と第３行の画素値は、１本の出力ラインを介して同一列の画素値が加算されて出力される。
　すなわち、
　図６に示す高感度画素列である第１列からは、出力ライン（Ｏｕｔ１）を介して、第１行、第１列のＧｂ画素２５１［Ｇｂ（１，１）］と第３行、第１列のＧｂ画素２５２［Ｇｂ（１，３）］との２つの高感度画素の加算画素値が出力される。
　また、図６に示す低感度画素列である第３列からは、出力ライン（Ｏｕｔ３）を介して、第１行、第３列のＧｂ画素２６１［Ｇｂ（３，１）］と第３行、第３列のＧｂ画素２６２［Ｇｂ（３，３）］との２つの低感度画素の加算画素値が出力される。

　画素の加算結果の出力構成について図８を参照して説明する。
　図８は、図６に示す高感度画素列である第１列の２つの画素、すなわち、
　第１行、第１列のＧｂ画素２５１［Ｇｂ（１，１）］、
　第３行、第１列のＧｂ画素２５２［Ｇｂ（１，３）］、
　これらの画素を示している。
　図７に示す時間（ｔ４）の信号設定により、縦方向の２つの画素が図８のようにアクティブな状態となる。結果としてＡＭＰトランジスタの電流を加算することになり、アナログレベルでの画素加算が実行される。

　具体的には、以下の処理が実行される。
　第１行、第１列のＧｂ画素２５１［Ｇｂ（１，１）］からは画素値ａが出力ライン（Ｏｕｔ１）上に出力される。
　第３行、第１列のＧｂ画素２５２［Ｇｂ（１，３）］からは画素値ｂが出力ライン（Ｏｕｔ１）上に出力される。
　結果として、出力ライン（Ｏｕｔ１）からは、これら２つの画素の加算値、
　ａ＋ｂ
　が出力される。

　図８に示す画素加算出力処理例は、第１列の高感度画素の加算出力処理例であるが、第３列においても低感度画素同士の画素値加算が実行され、出力ライン（Ｏｕｔ３）からは２つの低感度画素の画素値加算結果が出力される。

　また、その他のすべての同一タイミングの出力が実行される行の組み合わせ、すなわち、
　第１行と第３行、
　第２行と第４行、
　第５行と第７行、
　第６行と第８行、
　　：
　これらの全ての１行おきの２行の同一列の同一色の画素値は加算されて出力される。

　このように、２つの画素の画素値の加算信号が、図３に示す画素部１５１から出力される。
　図３に示す高感度画素情報１８１は、このような複数の高感度画素の加算信号であり、低感度画素情報１８２も複数の低感度画素の加算信号である。

　図７に示すタイミングチャートでのポイントは、同一行でシャッタ時期、すなわち、露光開始時間を異なる時間に設定できることにある。
　高感度画素列と低感度画素列とでシャッタ時期をずらすことで露光時間を異ならせることができ、同一行で感度を変えることが可能になる。
　また、縦方向には感度が同一になっているため、上記したようなアナログレベルの加算が可能になる。アナログレベルの加算は、ＣＭＯＳセンサーのフレームレート向上に寄与することができる。なお、ここでは２画素加算の例を示したが、３画素以上の加算も可能である。

　図９は、４画素から一つの画素情報を生成する処理例を説明する図である。
　図３に示す画素部１５１からは、
　高感度のアナログ加算後信号｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝、
　低感度のアナログ加算後信号｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝、
　これらが出力される。
　図３に示す高感度画素情報１８１、低感度画素情報１８２である。
　図９に示す例では、
　高感度画素情報：Ｇｂ（１）＝Ｇｂ（１，１）＋Ｇｂ（１，３）
　低感度画素情報：Ｇｂ（３）＝Ｇｂ（３，１）＋Ｇｂ（３，３）
　となる。

　図３に示す演算部１６０のＡＤ変換部１６１は、これらの加算信号：Ｇｂ（１），Ｇｂ（３）をデジタル値に変換して画素情報合成部１６２に入力する。

　画素情報合成部１６２は、これらの加算画素情報：Ｇｂ（１），Ｇｂ（３）から１つの出力画素値：Ｇｂ（Ｏｕｔ）を生成する。
　図９に示すように、画素情報合成部１６２は、
　Ｇｂ（Ｏｕｔ）＝α×Ｇｂ（１）＋β×Ｇｂ（３）×（Ｇａｉｎ）・・・（式２）
　上記式２に従って、出力画素値：Ｇｂ（Ｏｕｔ）を算出して出力部１６３を介して出力する。
　ただし、
　Ｇａｉｎ：高感度画素と低感度画素との感度比を補償するゲイン値、
　α，β：α＋β＝１を満足する重み係数としての乗算パラメータ、
　である。
　上記（式２）は先に説明した（式１）、すなわち、
　Ｇｂ（ｏｕｔ）＝｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝×α＋｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝×（Ｇａｉｎ）×β・・・（式１）
　上記式と同様の式である。

　このように本開示の撮像装置では、画素部１５１で、縦方向にアナログ加算を行い、その後、演算部１６０の画素情報合成部１６２において、横方向でデジタル的な加算を行う。

　図１０も、図９と同様、画素部の４画素から出力画像の一つの画素情報を生成する処理例を説明する図である。
　（Ｓ１１）画素部において実行する同じ感度の２画素のアナログ値加算処理、
　（Ｓ１２）画素情報合成部において実行する高感度画素の加算結果［Ｇ（１）］と、低感度画素の加算結果［Ｇ（３）］とを重み係数の乗算とゲイン調整を行って加算して出力画素の画素値［Ｇ（Ｏｕｔ）］を算出する処理、
　これらの処理によって出力画像の画素値算出が実行されることを説明している。

　図１１は、図３に示す演算部１６０の画素情報合成部１６２が生成する合成画像、すなわち画素情報合成画像の生成処理の例を説明する図である。
　前述のように、図３に示す演算部１６０の画素情報合成部１６２は、複数の画素の画素値を適用して、出力画像の１つの画素の画素値を決定する。

　画素情報合成部１６２は、合成画像の画素値算出式である（式１）、すなわち、
　Ｇｂ（ｏｕｔ）＝｛Ｇｂ（１，１）＋Ｇｂ（１，３）｝×α＋｛Ｇｂ（３，１）＋Ｇｂ（３，３）｝×（Ｇａｉｎ）×β・・・（式１）
　上記式に従って、撮影画像の複数の画素値から１つの画素値を算出する。

　先に説明したように、上記式中の係数：α、βは、例えば被写体の明るさに応じて変更する設定としてよい。例えば、明るい被写体に対しては、高感度画素の画素値が飽和状態、すなわち最大画素値となり、正確な画素値を反映できない場合がある。このような場合は、α＝０として、高感度画素のＧｂ（１，１）とＧｂ（１，３）の画素値を適用せず、β＝１として、低感度画素のＧｂ（３，１）とＧｂ（３，３）の画素値のみを適用して出力画素値を算出する処理を実行する。

　図１１は、このような処理態様について、３つの処理態様を示している。すなわち、
　（１）明るい被写体（高感度画素が飽和値）
　（２）中位の被写体（高感度画素が飽和値以下で、高感度画素、低感度画素とも既定の許容ＳＮ比以上）
　（３）暗い被写体（高感度画素が飽和値以下で、低感度画素が既定の許容ＳＮ比未満）
　これらの被写体の撮影領域に対応する合成処理の態様を説明する図である。

　各処理態様について説明する。
　（１）明るい被写体（高感度画素が飽和値）
　図１１（１）に示すように被写体が明るく、高感度画素が飽和値である場合は、高感度画素の画素値は、画素部の各画素において蓄積可能な最大電荷量に対応する最大画素値となり、正確な画素値を反映できない状態にある。

　このような場合は、高感度画素の画素値は、画素情報合成画像の出力画素の画素値算出に適用しない。この図１１（１）に示す例では、先に説明した（式１）における係数：α、βの設定は以下のような設定となる。
　すなわち、α＝０、β＝１として、高感度画素の画素値を適用せず、低感度画素の画素値のみを適用して出力画素値を算出する処理を実行する。

　（２）中位の被写体（高感度画素が飽和値以下で、高感度画素、低感度画素とも既定の許容ＳＮ比以上）
　図１１（２）に示すように、明るさが中位の被写体、すなわち、高感度画素が飽和値以下で、高感度画素、低感度画素とも既定の許容ＳＮ比以上である場合は以下の処理を行う。
　高感度画素、低感度画素とも正確な画素値を反映していると判断できるため、どちらかを選択して利用して画素情報合成画像の画素値として設定してもよいし、すべてを利用したブレンド処理を実行して画素情報合成画像の画素値を算出してもよい。

　この場合、先に説明した（式１）における係数：α、βの設定は、
　α＋β＝１
　上記制約を満たす範囲で、様々な設定が可能である。一例として、例えば、
　α＝β＝０．５
　このような設定として、高感度画素２画素と低感度画素２画素の計４画素の平均値を画素情報合成画像における１つの出力画素の画素値として設定してもよい。

　（３）暗い被写体（高感度画素が飽和値以下で、低感度画素が既定の許容ＳＮ比未満）
　図１１（３）に示すように、暗い被写体、すなわち、高感度画素が飽和値以下で、低感度画素が既定の許容ＳＮ比未満である場合は以下の処理を行う。
　低感度画素の画素値は、予め定めた許容ＳＮ比未満であり、正確な画素値を反映していると言えない。このような場合は、低感度画素の画素値を適用せず、高感度画素の画素値のみに基づいて画素情報合成画像の出力画素値を算出する。

　この場合、先に説明した（式１）における係数：α、βの設定は、
　α＝０
　β＝１
　とする。
　すなわち、低感度画素の画素値を利用せず、高感度画素の画素値のみを適用して画素情報合成画像の出力画素値を算出する。

　出力画素に対する入力画素の寄与度に対応する重み係数の設定例について図１２を参照して説明する。
　図１２（１）には、
　高感度画素情報に対する乗算パラメータである重み係数：Ｗ_Ｈ（＝α）、
　低感度画素情報に対する乗算パラメータである重み係数：Ｗ_Ｌ（＝β）、
　これらの設定例を示している。

　図１２（１）に示すように、
　出力画素値は、Ｇｂ画素を例として説明すると、
　Ｇｂ（Ｏｕｔ）＝（高感度画素情報（Ｇｂ（１））×Ｗ_Ｈ＋（低感度画素情報（Ｇｂ（３））×（ゲイン）×Ｗ_Ｌ
　となる。
　なお、
　高感度画素情報（Ｇｂ（１））は、同一列の２つの高感度画素の画素値加算結果である。
　低感度画素情報（Ｇｂ（３））は、同一列の２つの低感度画素の画素値加算結果である。
　Ｗ_Ｈ：入力画素の高感度画素に対応する重み係数（＝α）、
　Ｗ_Ｌ：入力画素の低感度画素に対応する重み係数（＝β）、
　ただし、Ｗ_Ｈ＋Ｗ_Ｌ＝１の関係を満たす係数、
　である。

　図１２（１）には、入力画素の高感度画素に対応する重み係数Ｗ_Ｈと、低感度画素に対応する重み係数Ｗ_Ｌの設定例を示している。
　ここでは、低感度画素の画素値に応じて、異なる係数を利用する設定としている。
　具体的には、例えば図１２（１）に示す以下の設定の係数を利用する。
　なお、各画素の画素値は１０ｂｉｔ（０～１０２３）の出力であるとする。
　低感度画素の画素値（ｄａｔａ）に応じて以下の設定とする。
　（ａ）０≦ｄａｔａ＜５０の場合：Ｗ_Ｈ＝１．０、Ｗ_Ｌ＝０
　（ｂ）５０≦ｄａｔａ＜１００の場合：Ｗ_Ｈ＝０．５、Ｗ_Ｌ＝０．５
　（ｃ）１００≦ｄａｔａ＜１０２３の場合：Ｗ_Ｈ＝０、Ｗ_Ｌ＝１．０

　この係数設定は、以下のような想定に基づくものである。
　（ａ）０≦ｄａｔａ＜５０の場合
　このように、低感度画素の画素値（ｄａｔａ）が小さい場合、被写体の明るさが低く、低感度画素の画素値のＳＮ比が低いと推定される。この場合、低感度画素の画素値（ｄａｔａ）の信頼度が低いと判断され、また、近傍の高感度画素の画素値が飽和していないと推定される。このような場合は、低感度画素の画素値に対する乗算係数：Ｗ_Ｌを０として、高感度画素の画素値に対する乗算係数：Ｗ_Ｈを１として、高感度画素の画素値のみに依存した合成画素の画素値［Ｇｂ（Ｏｕｔ）］を算出する。

　（ｂ）５０≦ｄａｔａ＜１００の場合
　このように、低感度画素の画素値（ｄａｔａ）が中程度である場合、被写体の明るさが中程度であり、低感度画素の画素値のＳＮ比が良好であると推定される。この場合、低感度画素の画素値（ｄａｔａ）の信頼度が高いと判断され、また、近傍の高感度画素の画素値も飽和していないと推定される。このような場合は、低感度画素の画素値と高感度画素の画素値をブレンドする。すなわち、低感度画素の画素値に対する乗算係数：Ｗ_Ｌを０．５として、高感度画素の画素値に対する乗算係数：Ｗ_Ｈも０．５として、高感度画素と低感度画素の２つの画素値の平均により合成画素の画素値［Ｇｂ（Ｏｕｔ）］を算出する。

　（ｃ）１００≦ｄａｔａ＜１０２３の場合
　このように、低感度画素の画素値（ｄａｔａ）が高い場合、被写体の明るさが極めて明るいと判断される。この場合、低感度画素の画素値のＳＮ比は良好であり、低感度画素の画素値（ｄａｔａ）の信頼度が高いと判断されるが、近傍の高感度画素の画素値は飽和している可能性が高いと推定される。このような場合は、高感度画素の画素値に対する乗算係数：Ｗ_Ｈを０として、低感度画素の画素値に対する乗算係数：Ｗ_Ｌを１として、低感度画素の画素値のみに依存した合成画素の画素値［Ｇｂ（Ｏｕｔ）］を算出する。

　このように、低感度画素情報を利用して係数の設定を行うことができる。なお、ここでは簡便化のため３種類としたが、低感度画素情報に基づいて重みを算出する関数を予め設定して、図３に示す画素情報合成部１６２が画素部１５１から入力する低感度画素情報１８２に基づいて既定の関数を適用した演算を実行して係数Ｗ_Ｈ、Ｗ_Ｌを算出する構成としてもよい。

　図１２（２）には、ある画素の出力画素値の算出に適用した重み係数を隣接する画素の出力画素値の算出に適用する重み係数として利用する処理例を示している。一般的に画素の輝度はある範囲の画素領域においてなだらかに変化する場合が多い。このような性質を利用して、例えばＧｂ画素の出力画素値の算出に適用した重み例数をＧｂ画素に隣接するＢ画素の算出、あるいはＲ画素の算出の場合にもおなじ重み係数を利用する設定としてもよい。

　重み係数を色に応じて変化させずに安定化させることは、高感度、低感度、どちらの画素情報を主に利用するかを所定領域ないで統一させることになる。これは出力画像の領域単位の露光時間を安定化させることにつながり、撮影している物体が動いた場合など、露光期間のずれによる偽色の発生を防ぐことができる。

　また、図８を参照した説明において言及したように２画素を超える数の画素加算も可能であるが、この場合、横方向に関しては、まずは２画素ずつで合成を行い、その後、縦横のアスペクト比を揃えるように、横方向に対してデジタルリサンプリング処理を行えば良い。

　　［３．その他の実施例について］
　　（３．１．実施例２）
　先に説明した実施例では、各画素の回路構成は、図６を参照して説明したように、全ての画素が同じ回路構成を有している。具体的には、
　制御トランジスタ（Ｔ１）、
　アンプトランジスタ（ＡＭＰ）、
　リセットトランジスタ（ＲＳＴ）、
　選択トランジスタ（ＳＥＬ）、
　これらの各トランジスタを各画素単位で設定した回路構成である。

　しかし、これらの各トランジスタについては、一部のトランジスタを複数画素で１つの設定として複数画素で共通に利用する構成が可能である。
　一例について図１３を参照して説明する。
　図１３に示す画素部構成は、ＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタを４つの縦に並んだ画素に１つの設定として、これらのトランジスタを共有した構成である。図１３は、共有画素構造による画素アレイの一例を示す図である。

　図１３（ａ）に示す画素部の縦列に隣接する４つの画素ブロック３０１の回路構成が図１３（ｂ）に示す回路である。
　これら４つの画素Ｇｂ（１，１）、Ｒ１、Ｇｂ（１，３）、Ｒ２に対して、ＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタが１つ対応付けられている。

　この構造で、例えば、Ｇｂ（１，１）画素とＧｂ（１，３）画素を加算する場合、図１４に示すタイミングチャートのように、読み出しの際にＧｂ（１，１）画素の制御トランジスタＴ１と、Ｇｂ（１，３）画素の制御トランジスタＴ３を、時間（ｔ２）において、同時に、"Ｈ"（ＯＮ）にすればよい。

　この処理により、Ｇｂ（１，１）画素とＧｂ（１，３）画素、それぞれのフォトダイオードの電子が、図１３（ｂ）のＦＤ３１１に合算され、この加算信号がＳＥＬトランジスタを介して読み出されることになる。

　図１５は、図１３を参照して説明したトランジスタの共有構成、すなわち、ＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタを４つの縦に並んだ画素ブロックに１つの設定としてトランジスタを共有した構成における画素アレイを示している。画素ブロックは、画素ブロック３２１のように、点線枠で示している。

　先に説明した図６の構成と同様、図１５の回路においても画素の制御トランジスタＴｎに接続される信号線は、１行につき、ＬＴ１、ＨＴ１の２本配線されている。この構成で、２列単位の高感度画素と低感度画素の設定が実現されている。

　図６の構成との差異は、リセット信号線（ＲＳＴ）と選択信号線（ＳＥＬ）が、各列の４画素からなる画素ブロックに対して１つの設定としている点である。
　例えば画素プロック３２１は、第１列に含まれる４つの画素からなるが、この４画素から構成される画素ブロック３２１に対して、１本のリセット信号線（ＲＳＴ）と選択信号線（ＳＥＬ）が接続された構成となっている。

　これは、図１３（Ｂ）を参照して説明したように、１つの列の４つの画素からなる画素ブロック単位でＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタを１つの設定としたトランジスタ共有構成に対応するものである。
　このような構成とすることで、トランジスタおよび配線構成が簡略化される。

　図１６は、図１３や図１５に記載したトランジスタ共有型の画素部に対する制御信号の転送タイミングと、各画素の露光時間制御処理について説明するタイミングチャートである。
　先に図７を参照して説明したように、通常ＣＭＯＳセンサーは、シャッタ動作とリード動作に大別された動作を行う。シャッタ動作とは、撮影（露光）をスタートさせる際の動作で、フォトダイオードの物理状態としては、リセット処理（ＲＳＴ信号ＯＮ、ＬＴ１またはＨＴ１信号ＯＮ）による電子を空に設定すると同時に、受光量に応じた電子の蓄積を開始させる処理（その後、ＲＳＴ信号ＯＦＦ、ＬＴ１またはＨＴ１信号ＯＦＦ）が行われる。このシャッタ動作によって露光が始まる。

　前述したように、本開示の撮像デバイス１０２の画素部１５１は、縦方向にストライプ状に高感度画素と低感度画素を例えば２列単位で交互に設定する構成を持つ。
　なお、画素部１５１からの画素値読み出し処理は、以下のシーケンスで実行する。
　（Ｓ１）第１行と第３行を同時に読み出して、同一列の２つの画素値を加算して出力、
　（Ｓ２）第２行と第４行を同時に読み出して、同一列の２つの画素値を加算して出力、
　（Ｓ３）第５行と第７行を同時に読み出して、同一列の２つの画素値を加算して出力、
　（Ｓ４）第６行と第８行を同時に読み出して、同一列の２つの画素値を加算して出力、
　　　：　　　　　　　　　　　　　　　　　　　　　　　：
　以下、このように、１行おきの２つの行の同一列の同一色の画素の画素値を同時に読み出してこれらを加算して出力する。

　図１６に示すタイミングチャートは、第１行と第３行の処理シーケンスとしてのシャッタ動作とリード動作の実行例を示している。
　まず、時間（ｔ１）において、
　第１行と第３行に共通するリセット信号（ＲＳＴ１）、
　第１行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１を動作させる制御信号（ＨＴ１）、
　第３行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ３を動作させる制御信号（ＨＴ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、ＨＴ１とＨＴ３に接続された第１行と第３行の高感度画素の制御トランジスタ（Ｔ１，Ｔ３）がＯＮとなり、第１行と第３行の高感度画素列に設定されたフォトダイオード内の電子が空になり、被写体光に応じた新たな電荷蓄積が開始される（高感度画素シャッタ動作）。

　次いで、時間（ｔ２）において、
　第１行と第３行に共通するリセット信号（ＲＳＴ１）、
　第１行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１を動作させる制御信号（ＬＴ１）、
　第３行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ３を動作させる制御信号（ＬＴ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、ＬＴ１とＬＴ３に接続された第１行と第３行の低感度画素の制御トランジスタ（Ｔ１，Ｔ３）がＯＮとなり、第１行と第３行の低感度画素列に設定されたフォトダイオード内の電子が空になり、被写体光に応じた新たな電荷蓄積が開始される（低感度画素シャッタ動作）。

　次に、リード動作を実行する。
　まず、時間（ｔ３）において、
　同時読み出しによる加算対象行である第１行第３行について、
　第１行と第３行に共通のリセット信号（ＲＳＴ１）、
　第１行と第３行に共通の選択信号（ＳＥＬ１）、
　これらを同時にＨｉｇｈ（ＯＮ）として、フローティングディフュージョン（ＦＤ）（図１３のＦＤ３１１）のリセット（ＲＳＴ）を行う。
　この処理によって、４画素単位で設定された図１３（ｂ）に示すＦＤ３１１に蓄積されたノイズ等に起因する電荷を排除する。

　次いで、第１行と第３行に共通する選択信号（ＳＥＬ１）をＨｉｇｈ（ＯＮ）に設定した期間内の時間（ｔ４）において、
　第１行の低感度画素列のみに対して低感度画素のトランジスタＴ１を動作させる制御信号（ＬＴ１）、
　第１行の高感度画素列のみに対して高感度画素のトランジスタＴ１を動作させる制御信号（ＨＴ１）、
　第３行の低感度画素列のみに対して低感度画素のトランジスタＴ１を動作させる制御信号（ＬＴ３）、
　第３行の高感度画素列のみに対して高感度画素のトランジスタＴ１を動作させる制御信号（ＨＴ３）、
　これらをすべてＨｉｇｈ（ＯＮ）にする。

　第１行と第３行の画素値は、１本の出力ラインを介して同一列の画素値が加算されて出力される。
　すなわち、
　図１５に示す第１列の画素ブロック３２１等が含まれる高感度画素列からは、出力ライン（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ５，Ｏｕｔ６・・・）を介して、第１行と第３行の２つの高感度画素の加算画素値が出力される。
　また、図１５に示す低感度画素列からは、出力ライン（Ｏｕｔ３，Ｏｕｔ４，Ｏｕｔ７，Ｏｕｔ８・・・）を介して、第１行と第３行の２つの低感度画素の加算画素値が出力される。

　ここでは、縦方向の２画素加算について説明したが、縦方向４画素を加算する場合は、画素を共有する２画素ずつをまずＦＤ部で加算し、その後、実施例１のようにＡＭＰトランジスタを二つ同時に動作させることで、合計４画素分の加算が可能となる。同様にして、６画素、８画素・・・の加算も可能である。

　トランジスタを複数画素で共有した画素部構成とした場合の本実施例における画素部からの縦方向の画素値加算読み出し処理は以上の通りである。
　この後の横方向の加算処理は、先に説明した実施例１と同様の処理として実行される。

　　（３－２．実施例３）
　次に、実施例２と同様、トランジスタを複数画素で共有した画素部構成のもう１つの例について、実施例３として図１７以下を参照して説明する。

　実施例３として図１７に示す画素部構成は、
　アンプトランジスタ（ＡＭＰ）、
　リセットトランジスタ（ＲＳＴ）、
　選択トランジスタ（ＳＥＬ）、
　これらの３つのトランジスタを、
　高感度画素列の４つの高感度画素と、
　低感度画素列の４つの低感度画素、
　これらの８つの画素からなる画素ブロック単位で１つの設定としたトランジスタ共有構成である。

　図１７（ａ）に示す画素ブロック３５１が、
　高感度画素列の４つの高感度画素と、
　低感度画素列の４つの低感度画素、
　これらの８つの画素からなる画素ブロックであり、この画素ブロックの回路構成が図１７（ｂ）に示す構成となる。

　図１７（ｂ）に示すように、高感度画素列３６１は４つの高感度画素を含み、低感度画素列３６２には４つの低感度画素が含まれる。
　これらの計８つの画素に対して、
　アンプトランジスタ（ＡＭＰ）、
　リセットトランジスタ（ＲＳＴ）、
　選択トランジスタ（ＳＥＬ）、
　これらのトランジスタを１つの設定として８つの画素で共有する構成としている。

　これら８つの画素は、出力ライン（Ｏｕｔ）も共有している。従って、高感度画素列３６１の２画素の加算画素値の出力と、低感度画素列３６２の２画素の加算画素値の出力は、１つの出力ライン（Ｏｕｔ）を介して交互に、すなわち排他的に実行される。

　読み出し動作のタイミングチャートを図１８に示す。
　図１８に示すように、
　時間ｔ１において、
　８つの画素からなる画素ブロックに共通するリセット信号（ＲＳＴ）、
　８つの画素からなる画素ブロックに共通する選択信号（ＳＥＬ）、
　これらを同時にＨｉｇｈ（ＯＮ）として、図１７（ｂ）に示すフローティングディフュージョン（ＦＤ）３７１のリセット（ＲＳＴ）を行う。
　この処理によって、ＦＤ３７１に蓄積されたノイズ等に起因する電荷を排除する。

　時間ｔ２において、
　高感度画素列の加算処理対象となる２つの画素の制御トランジスタＴ１Ａ，Ｔ３ＡをＨｉｇｈとして、これらの画素の加算画素値が出力信号線（Ｏｕｔ）を介して出力される。

　その後、時間ｔ３において、
　８つの画素からなる画素ブロックに共通するリセット信号（ＲＳＴ）をＨｉｇｈ（ＯＮ）として、図１７（ｂ）に示すフローティングディフュージョン（ＦＤ）３７１のリセット（ＲＳＴ）を行う。
　この処理によって、ＦＤ３７１に蓄積されたノイズ等に起因する電荷を排除する。

　その後、時間ｔ４において、
　低感度画素列の加算処理対象となる２つの画素の制御トランジスタＴ１Ｂ，Ｔ３ＢをＨｉｇｈとして、これらの画素の加算画素値が出力信号線（Ｏｕｔ）を介して出力される。

　このように高感度画素列の加算画素値の出力と低感度画素列の加算画素値の出力は１本の出力ラインを介して交互に実行される。

　図１９は、図１７を参照して説明したトランジスタの共有構成、すなわち、ＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタを８つの画素ブロックに１つの設定としてトランジスタを共有した構成における画素アレイを示している。画素ブロックは、画素ブロック３８１のように、点線枠で示している。

　先に説明した図６の構成や図１５の構成と同様、図１７の回路においても画素の制御トランジスタＴｎに接続される信号線は、１行につき、ＬＴ１、ＨＴ１の２本配線されている。この構成で、２列単位の高感度画素と低感度画素の設定が実現されている。

　図６や図１５の構成との差異は、リセット信号線（ＲＳＴ）と選択信号線（ＳＥＬ）が、高感度画素４画素と低感度画素４画素からなる計８画素の画素ブロックに対して１つの設定としている点である。
　例えば画素プロック３７１は、第１列に含まれる４つの高感度画素と第２列の４つの低感度画素の計８画素からなるが、この８画素から構成される画素ブロック３８１に対して、１本のリセット信号線（ＲＳＴ）と選択信号線（ＳＥＬ）が接続された構成となっている。

　これは、図１７（Ｂ）を参照して説明したように、４つの高感度画素と４つの低感度画素の計８画素からなる画素ブロック単位でＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタを１つの設定としたトランジスタ共有構成に対応するものである。
　このような構成とすることで、トランジスタおよび配線構成が簡略化される。

　図２０は、図１７や図１９に記載したトランジスタ共有型の画素部に対する制御信号の転送タイミングと、各画素の露光時間制御処理について説明するタイミングチャートである。

　本構成では、図１８を参照して説明したように高感度画素の２画素加算値と低感度画素の２画素加算値の同時読み出しができない。
　従って読み出しシーケンスは、
　（Ｓ１）第１行と第３行の高感度画素を同時に読み出して、同一列の２つの高感度画素の画素値を加算して出力、
　（Ｓ２）第１行と第３行の低感度画素を同時に読み出して、同一列の２つの低感度画素の画素値を加算して出力、
　（Ｓ３）第２行と第４行の高感度画素を同時に読み出して、同一列の２つの高感度画素の画素値を加算して出力、
　（Ｓ４）第２行と第４行の低感度画素を同時に読み出して、同一列の２つの低感度画素の画素値を加算して出力、
　　　　：　　　　　　　　　　　　　　　　　　　　　　　：
　以下、このような処理が、１行おきの２つの行単位で高感度画素読み出しと低感度画素読み出しが交互に行われることになる。

　図２０に示すタイミングチャートは、第１行と第３行の処理シーケンスとしてのシャッタ動作とリード動作の実行例を示している。
　まず、時間（ｔ１）において、
　第１行と第３行に共通する８画素単位で設定されたリセット信号（ＲＳＴ１）、
　第１行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１Ａを動作させる制御信号（ＨＴ１）、
　第３行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ３Ａを動作させる制御信号（ＨＴ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、ＨＴ１とＨＴ３に接続された第１行と第３行の高感度画素の制御トランジスタ（Ｔ１Ａ，Ｔ３Ａ）がＯＮとなり、第１行と第３行の高感度画素列に設定されたフォトダイオード内の電子が空になり、その後、これらの信号をＯＦＦにすることで、被写体光に応じた新たな電荷蓄積が開始される（高感度画素シャッタ動作）。

　次いで、時間（ｔ２）において、
　第１行と第３行に共通する８画素単位で設定されたリセット信号（ＲＳＴ１）、
　第１行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１Ｂを動作させる制御信号（ＬＴ１）、
　第３行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ３Ｂを動作させる制御信号（ＬＴ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、ＬＴ１とＬＴ３に接続された第１行と第３行の低感度画素の制御トランジスタ（Ｔ１Ｂ，Ｔ３Ｂ）がＯＮとなり、第１行と第３行の低感度画素列に設定されたフォトダイオード内の電子が空になり、その後、これらの信号をＯＦＦにすることで、被写体光に応じた新たな電荷蓄積が開始される（低感度画素シャッタ動作）。

　次に、リード動作を実行する。
　まず、時間（ｔ３）において、
　同時読み出しによる加算対象行である第１行第３行について、
　第１行と第３行に共通の８画素単位で設定されたリセット信号（ＲＳＴ１）、
　第１行と第３行に共通の８画素単位で設定された選択信号（ＳＥＬ１）、
　これらを同時にＨｉｇｈ（ＯＮ）として、フローティングディフュージョン（ＦＤ）（図１７のＦＤ３７１）のリセット（ＲＳＴ）を行う。
　この処理によって、８画素単位で設定された図１７（ｂ）に示すＦＤ３７１に蓄積されたノイズ等に起因する電荷を排除する。

　次いで、第１行と第３行に共通する８画素単位で設定された選択信号（ＳＥＬ１）をＨｉｇｈ（ＯＮ）に設定した期間内の時間（ｔ４）において、
　第１行の高感度画素列のみに対してトランジスタＴ１Ａを動作させる制御信号（ＨＴ１）、
　第３行の高感度画素列のみに対してトランジスタＴ１Ａを動作させる制御信号（ＨＴ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　この処理によって、第１行と第３行の高感度画素の画素値は、１本の出力ラインを介して画素値が加算されて出力される。

　次いで、第１行と第３行に共通する８画素単位で設定された選択信号（ＳＥＬ１）をＨｉｇｈ（ＯＮ）に設定した期間内の時間（ｔ５）において、
　第１行の低感度画素列のみに対してトランジスタＴ１Ｂを動作させる制御信号（ＬＴ１）、
　第３行の低感度画素列のみに対してトランジスタＴ３Ｂを動作させる制御信号（ＬＴ３）、
　これらをＨｉｇｈ（ＯＮ）にする。
　この処理によって、第１行と第３行の低感度画素の画素値は、１本の出力ラインを介して画素値が加算されて出力される。

　このように第１行と第３行の画素値は、高感度画素の加算値と低感度画素の加算値が、１本の出力ラインを介して時間差を持って出力される。

　本実施例でも縦方向の２画素加算について説明したが、縦方向４画素を加算する場合は、画素を共有する２画素ずつをまずＦＤ部で加算し、その後、実施例１のようにＡＭＰトランジスタを二つ同時に動作させることで、合計４画素分の加算が可能となる。同様にして、６画素、８画素・・・の加算も可能である。

　トランジスタを複数画素で共有した画素部構成とした場合の本実施例における画素部からの縦方向の画素値加算読み出し処理は以上の通りである。
　この後の横方向の加算処理は、さきに説明した実施例１と同様の処理として実行される。

　　（３－３．実施例４）
　次に、本発明の実施例４として、図２１に示すように、撮像デバイス１０２の演算部１６０の画素情報合成部１６２の後に、階調変換部４０１を構成した実施例について説明する。

　図２１は、実施例４に係る撮像デバイス１０２の構成を示す図である。この図２１に示す構成は、先に実施例１として説明した図３に示す撮像デバイス１０２の演算部１６０の画素情報合成部１６２の後に諧調変換部４０２を設けた構成である。その他の構成は図３に示す実施例１の構成と同じである。なお、画像処理装置（撮像装置）の全体構成は、実施例１と同様、先に図２を参照して説明した構成を持つ。

　図２１に示す撮像デバイス１０２において、画素部１５１は、前述の実施例と同様のＲＧｂＧｒＢ画素からなるベイヤー配列を有し、制御部１０５の制御の下、例えば２列単位で長時間露光と短時間露光が実行される。

　画素部１５１は、制御部１０５の制御（シャッタ制御）により、画素領域単位（例えば列単位）で異なる露光時間に設定され、長時間露光画素からは長時間露光に基づく蓄積電化である高感度画素情報１８１が出力される。また、短時間露光画素からは短時間露光に基づく蓄積電化である低感度画像情報１８２を出力する。

　演算部１６０は、画素部１５１から出力される高感度画素情報１８１と、低感度画像情報１８２を入力し、これらの入力情報に基づいて画素情報合成部１６２において１つの画素情報合成画像を生成する。この合成処理は、先の実施例説明した合成処理と同様の処理として行われる。すなわち同一色の高感度画素情報と低感度画素情報を入力して、先に説明した（式１）等を適用して画素情報合成画像の画素値算出を実行して画素情報合成画像を生成する。

　本実施例４では、この画素情報合成部１６２の後に、階調変換部４０１を設けている。
　階調変換部４０１は、画素情報合成部１６２の生成した画素情報合成画像（例えば図４（ｂ））の各画素の画素値の諧調を変換する。具体的には、例えば画素情報合成部１６２の生成した画素情報合成画像の各画素の画素値が１４ｂｉｔ（０～１６３８３）の諧調を有する場合、各画素の画素値を１０ｂｉｔ（０～１０２３）の諧調に変換して出力するといった処理を行う。すなわち、各画素のビット数を削減した画像を生成して出力する。

　長時間露光画像と短時間露光画像の合成により生成するワイドダイナミックレンジ画像は、各画素の情報であるビット数が増加する傾向にある。例えば、通常状態が１０ｂｉｔの撮像素子において、内部で１６倍の感度比を持たせ、１６倍のワイドダイナミックレンジ画像を生成した場合、そのビット数は、１４ｂｉｔとなる。このようなビット数が増加した画像は、後段の信号処理部であるＤＳＰが処理できない場合がある。このような事態を防止するため、階調変換部４０１は、後段の信号処理部であるＤＳＰが処理できるビットレベルまで各画素のビット数を圧縮する諧調変換処理を実行する。

　階調変換部４０１の実行するビット数圧縮処理例について図２２を参照して説明する。図２２は、横軸が階調変換部４０１の入力画像の各画素の諧調［１４ｂｉｔ（０～１６３８３）を示し、縦軸が諧調変換後の出力画像における各画素の諧調［１０ｂｉｔ（０～１０２３）］を示している。このように、階調変換部４０１は、画素情報合成部１６２の出力する多諧調の画素値をより少ないビット数に削減する処理を行う。

　この諧調変換後の画像データ、例えば各画素が１０ｂｉｔデータからなる画像を次段の信号処理部１０３（ＤＳＰ）に提供することで、信号処理部１０３（ＤＳＰ）において問題なく処理が可能となる。
　なお、階調変換部４０１の実行するビット数圧縮処理は、例えば関数を利用してビット数を低減する。この関数は最初から決められたものでも良いし、画像に応じた関数を外部から入力もしくは内部で算出してもよい。

　　（３－４．実施例５）
　次に、本開示の画像処理装置の実施例５として、実施例４において説明した諧調変換部の後に、デモザイクやノイズリダクション（ＮＲ）といったカメラ信号処理を実行する信号処理部や、画像圧縮（ＪＰＥＧなど）処理を実行するコーデックを備えた実施例について図２３を参照して説明する。

　図２３は、実施例５に係る撮像デバイス１０２の構成を示す図である。この図２３に示す構成は、先に実施例１として説明した図３に示す撮像デバイスの演算部１６０の画素情報合成部１６２の後に、
　諧調変換部４０１、
　デモザイクやノイズリダクション（ＮＲ）といったカメラ信号処理を実行する信号処理部４０２、
　画像圧縮（ＪＰＥＧなど）処理を実行するコーデック４０３、
　これらの各構成部を追加した構成である。なお、画像処理装置（撮像装置）の全体構成は、実施例１と同様、先に図２を参照して説明した構成、あるいは図２の構成から信号処理部１０３を省略した構成を持つ。

　図２の構成の信号処理部１０３で実行する処理を、図２３中の信号処理部４０２で全て実行する場合は、後段の信号処理部１０３を省略することができる。それぞれの信号処理部において異なる処理を実行する場合は、２つの信号処理部を備えた構成としてもよい。

　図２３に示す撮像デバイス１０２において、画素部１５１からの出力、画素情報合成部１６２までの処理は前述の実施例と同様の処理となる。
　諧調変換部４０１の処理は、先に説明した実施例４と同様の処理である。

　本実施例５では、さらに、デモザイクやノイズリダクション（ＮＲ）といったカメラ信号処理を実行する信号処理部４０２と、画像圧縮（ＪＰＥＧなど）処理を実行するコーデック４０３を備えている。このような機能を搭載することで、撮像素子の後段の信号処理部を省略、または簡易化することができる。

　　（３－５．実施例６）
　次に、本開示の画像処理装置の実施例６として、撮像デバイス１０２の画素部１５１の画素配列、具体的には、画素部１５１に設定されるカラーフィルタ配列の変更例について説明する。

　上述した各実施例では、例えば図４に示すように、Ｇｂ，Ｂ，Ｒ，Ｇｒの４つの異なる画素からなる２×２の４画素を最小単位として、この最小単位を繰り返して配置した構成を持つ画素部１５１を持つ撮像装置における処理について説明した。

　本開示の処理は、この他の画素配列（カラーフィルタ配列）に対しても適用可能である。
　例えば、図２４は本実施例６における撮像デバイス１０２の画素部１５１の画素配列（カラーフィルタ配列）を示している。
　図２４に示す画素部１５１の画素配列は、
　２×２のＧｂ画素、
　２×２のＢ画素、
　２×２のＲ画素、
　２×２のＧｒ画素、
　これらの計４×４画素を最小単位として、この最小単位を繰り返し配置した構成を有する。図２４に示すように同一の色が２×２に配置されているのが特徴である。

　図２４に示す画素配列における高感度画素と低感度画素の設定について図２５を参照して説明する。
　本実施例においては、図２５（ａ）に示すように列方向にジグザグ状に高感度画素と低感度画素が設定されている。図に示す白い画素領域が高感度画素であり、グレーの画素領域が低感度画素である。

　例えば、図２５（ａ）の左上端の４つのＧｂ画素の設定［座標（ｘ，ｙ）］は以下の通りである。
　Ｇｂ（１，１）：高感度画素
　Ｇｂ（２，１）：低感度画素
　Ｇｂ（１，２）：低感度画素
　Ｇｂ（２，２）：高感度画素

　このように各列において高感度画素と低感度画素が交互に設定され、各行においても高感度画素と低感度画素が交互に設定された構成となっている。
　図に示すように、例えば第１列と、第２列においてｙ方向に高感度画素のみをたどると、上から、
　第１行では、第１列が高感度画素、
　第２行では、第２列が高感度画素、
　第３行では、第１列が高感度画素、
　第４行では、第２列が高感度画素、
　　　：
　このようにジグザグ状に高感度画素が配列されている。

　同様に、第１列と、第２列においてｙ方向に低感度画素のみをたどると、上から、
　第１行では、第２列が低感度画素、
　第２行では、第１列が低感度画素、
　第３行では、第２列が低感度画素、
　第４行では、第１列が低感度画素、
　　　：
　このようにジグザグ状に低感度画素が配列されている。

　本構成では、同一色の画素が２×２画素単位で設定され、この４画素中に２つの高感度画素と２つの低感度画素が含まれる構成となっている。
　撮像デバイス１０２の演算部１６０は、これらの高感度画素の画素値によって生成される高感度画素情報と低感度画素の画素値によって生成される低感度画素情報を入力し、これらの異なる感度の画素情報を合成して出力画像の１つの画素値を算出する。
　具体的には、同一色の２×２画素領域、例えば図２５に示す左上端のＧｂ画素領域である２×２画素領域５１１に含まれる２つの高感度Ｇｂ画素と２つの低感度Ｇｂ画素から１つのＧｂ画素値を算出して、図２５（Ｂ）に示す出力画像５２０の１つの画素５２１の画素値を算出する。
　撮像デバイス１０２は、画素部１５１の本来の画素数を１／４に削減した画像、すなわち、図２５（ｂ）に示す画素数削減画像５２０を生成して出力する。
従って、

　先に説明した図４に示す構成では、３×３の画素領域２１１に含まれる同一色の２つの高感度画素と２つの低感度画素を利用して出力画素値を決定していたが、本実施例では、出力画素値を算出する演算の単位は、２×２の画素領域とすることができる。

　本実施例の画素部の回路構成は、先に実施例３に係る画像処理装置における撮像デバイスの画素部の回路構成として説明した図１７に示す構成と同様の構成となる。
　図２６は、本実施例における撮像デバイスの画素部の回路構成について説明する図である。
　先に図１７を参照して説明したトランジスタの共有構成と同様、ＡＭＰトランジスタ、ＲＳＴトランジスタ、ＳＥＬトランジスタを８つの画素ブロックに１つの設定としてトランジスタを共有した構成である。

　トランジスタの共有単位となる画素ブロックは、画素ブロック５８１のように、点線枠で示している。
　画素の制御トランジスタＴｎに接続される信号線は、１行につき、ＬＴ１、ＨＴ１の２本配線されている。この構成で、列方向にジグザグ状に高感度画素と低感度画素の設定が実現されている。

　図２７は、図１７や図２６に記載したトランジスタ共有型の画素部に対する制御信号の転送タイミングと、各画素の露光時間制御処理について説明するタイミングチャートである。
　本構成は、先に説明した実施例３と同様の１７を参照して説明したトランジスタの共有構成を有するため、図１８に示すタイミングチャートに従った読み出し処理が実行されることになり、高感度画素の２画素加算値と低感度画素の２画素加算値の同時読み出しができない。

　従って、本実施例における読み出しシーケンスは、以下の設定で実行されることになる。
　（Ｓ１）第１行と第２行の高感度画素を同時に読み出して、斜めに位置する２つの高感度画素の画素値を加算して出力、
　（Ｓ２）第１行と第２行の低感度画素を同時に読み出して、斜めに位置する２つの低感度画素の画素値を加算して出力、
　（Ｓ３）第３行と第４行の高感度画素を同時に読み出して、斜めに位置する２つの高感度画素の画素値を加算して出力、
　（Ｓ４）第３行と第４行の低感度画素を同時に読み出して、斜めに位置する２つの低感度画素の画素値を加算して出力、
　　　　：　　　　　　　　　　　　　　　　　　　　　　　：
　以下、このような処理が、２つの行単位で高感度画素読み出しと低感度画素読み出しが交互に行われることになる。

　本実施例において、制御部１０５は、画素部１５１の画素単位で露光時間制御を実行し、画素部１５１は、長時間露光のなされる異なる複数の高感度画素の画素値を加算した高感度画素情報と、短時間露光のなされる異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する。
　具体的には、画素部１５１は、２×２画素領域に含まれる長時間露光のなされる２つの高感度画素の画素値を加算した高感度画素情報と、２×２画素領域に含まれる短時間露光のなされる２つの低感度画素の画素値を加算した低感度画素情報を出力する。

　図２７に示すタイミングチャートは、第１行と第２行の処理シーケンスとしてのシャッタ動作とリード動作の実行例を示している。
　まず、時間（ｔ１）において、
　第１行と第２行に共通する８画素単位で設定されたリセット信号（ＲＳＴ１）、
　第１行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ１Ａを動作させる制御信号（ＨＴ１）、
　第２行の高感度画素列のみに対する露光開始信号として高感度画素の制御トランジスタＴ２Ｂを動作させる制御信号（ＨＴ２）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、ＨＴ１とＨＴ２に接続された第１行と第２行の高感度画素の制御トランジスタ（Ｔ１Ａ，Ｔ２Ｂ）がＯＮとなり、第１行と第２行の高感度画素列に設定されたフォトダイオード内の電子が空になり、その後、これらの信号をＯＦＦにすることで、被写体光に応じた新たな電荷蓄積が開始される（高感度画素シャッタ動作）。

　次いで、時間（ｔ２）において、
　第１行と第２行に共通する８画素単位で設定されたリセット信号（ＲＳＴ１）、
　第１行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ１Ｂを動作させる制御信号（ＬＴ１）、
　第２行の低感度画素列のみに対する露光開始信号として低感度画素の制御トランジスタＴ２Ａを動作させる制御信号（ＬＴ２）、
　これらをＨｉｇｈ（ＯＮ）にする。
　これらの処理により、信号線、ＬＴ１とＬＴ２に接続された第１行と第２行の低感度画素の制御トランジスタ（Ｔ１Ｂ，Ｔ２Ａ）がＯＮとなり、第１行と第２行の低感度画素列に設定されたフォトダイオード内の電子が空になり、その後、これらの信号をＯＦＦにすることで、被写体光に応じた新たな電荷蓄積が開始される（低感度画素シャッタ動作）。

　次に、リード動作を実行する。
　まず、時間（ｔ３）において、
　同時読み出しによる加算対象行である第１行第２行について、
　第１行と第２行に共通の８画素単位で設定されたリセット信号（ＲＳＴ１）、
　第１行と第２行に共通の８画素単位で設定された選択信号（ＳＥＬ１）、
　これらを同時にＨｉｇｈ（ＯＮ）として、フローティングディフュージョン（ＦＤ）（図１７のＦＤ３７１）のリセット（ＲＳＴ）を行う。
　この処理によって、８画素単位で設定された図１７（ｂ）に示すＦＤ３７１に蓄積されたノイズ等に起因する電荷を排除する。

　次いで、第１行と第２行に共通する８画素単位で設定された選択信号（ＳＥＬ１）をＨｉｇｈ（ＯＮ）に設定した期間内の時間（ｔ４）において、
　第１行の高感度画素列のみに対してトランジスタＴ１Ａを動作させる制御信号（ＨＴ１）、
　第２行の高感度画素列のみに対してトランジスタＴ２Ｂを動作させる制御信号（ＨＴ２）、
　これらをＨｉｇｈ（ＯＮ）にする。
　この処理によって、第１行と第２行の高感度画素の画素値は、１本の出力ラインを介して画素値が加算されて出力される。

　次いで、第１行と第２行に共通する８画素単位で設定された選択信号（ＳＥＬ１）をＨｉｇｈ（ＯＮ）に設定した期間内の時間（ｔ５）において、
　第１行の低感度画素列のみに対してトランジスタＴ１Ｂを動作させる制御信号（ＬＴ１）、
　第２行の低感度画素列のみに対してトランジスタＴ２Ａを動作させる制御信号（ＬＴ２）、
　これらをＨｉｇｈ（ＯＮ）にする。
　この処理によって、第１行と第２行の低感度画素の画素値は、１本の出力ラインを介して画素値が加算されて出力される。

　このように第１行と第２行の画素値は、高感度画素の加算値と低感度画素の加算値が、１本の出力ラインを介して時間差を持って出力される。
　トランジスタを複数画素で共有した画素部構成とした場合の本実施例における画素部からの縦方向の画素値加算読み出し処理は以上の通りである。
　この後の、加算された高感度画素と、加算された低感度画素から画像合成を行うが、これは、実施例１の横方向の加算処理と同様の処理として実行される。

　図２８は本実施例６の変形例である。制御トランジスタとこれに接続される制御信号線を変更することで、図２８のような列方向のジグザグ状の感度配列を与えることも可能である。
　図２８に示す画素配列は、図２４、図２５を参照して説明したと同様、同一色の画素が２×２画素単位で設定されている。
　ただし、高感度画素と低感度画素の設定態様が異なっている。
　図に示すように、第２行以下は、２行単位で、ジグザグ状に高感度画素と低感度画素が配列されている。

　例えば第１列と、第２列においてｙ方向に高感度画素のみをたどると、上から、
　第１行では、第１列が高感度画素、
　第２行では、第２列が高感度画素、
　第３行では、第２列が高感度画素、
　第４行では、第１列が高感度画素、
　　　：
　このように第２行以下は、２行単位で、ジグザグ状に高感度画素が配列されている。

　同様に、第１列と、第２列においてｙ方向に低感度画素のみをたどると、上から、
　第１行では、第２列が低感度画素、
　第２行では、第１列が低感度画素、
　第３行では、第１列が低感度画素、
　第４行では、第２列が低感度画素、
　　　：
　このように第２行以下は、２行単位で、ジグザグ状に低感度画素が配列されている。

　本構成においても、同一色の画素が２×２画素単位で設定され、この４画素中に２つの高感度画素と２つの低感度画素が含まれる構成となっている。
　撮像デバイス１０２の演算部１６０は、これらの高感度画素情報と低感度画素情報を入力して、異なる感度の画素情報を合成して出力画像の１つの画素値を設定する。
　具体的には、同一色の２×２画素領域、例えば図２８に示す左上端のＧｂ画素領域である２×２画素領域６１１に含まれる２つの高感度Ｇｂ画素と２つの低感度Ｇｂ画素から１つのＧｂ画素値を算出して、図２８（Ｂ）に示す出力画像６２０の１つの画素６２１の画素値を算出する。

　この実施例６の変形例における演算処理は、前述の実施例６の処理と同様であり、２×２画素に含まれる同一色の高感度画素と低感度画素の各画素値から出離ょーく画素値を算出する処理として実行される。

　　［４．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）画素または画素領域単位の露光時間制御を実行する制御部と、
　前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素部と、
　前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成部を有し、
　前記画素部は、
　前記制御部の露光制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力し、
　前記画素情報合成部は、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出する画像処理装置。

　（２）前記制御部は、前記画素部の列単位で露光時間制御を実行し、前記画素部は、長時間露光のなされる高感度画素列の異なる複数の高感度画素の画素値を加算した高感度画素情報と、短時間露光のなされる低感度画素列の異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する前記（１）に記載の画像処理装置。
　（３）前記画素情報合成部は、前記出力画像の画素値の算出処理において、長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報とに対して被写体明るさに応じた重みを設定した加算処理を実行する前記（１）または（２）に記載の画像処理装置。

　（４）前記画素情報合成部は、長時間露光領域から入力する高感度画素情報が既定の閾値以上である場合、前記高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する前記（１）～（３）いずれかに記載の画像処理装置。
　（５）前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値未満である場合、前記低感度画素情報の重みをゼロまたは小さく設定し、長時間露光領域から入力する高感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する前記（１）～（４）いずれかに記載の画像処理装置。

　（６）前記制御部は、前記画素部の列単位のシャッタ制御により、列単位の露光時間制御を実行する前記（１）～（５）いずれかに記載の画像処理装置。
　（７）前記制御部は、前記画素部の２列単位で長時間露光領域と短時間露光領域とを交互設定した露光時間制御を実行し、前記画素部は、前記長時間露光領域に含まれる複数画素の画素値を加算した高感度画素情報と、前記短時間露光領域に含まれる複数画素の画素値を加算した低感度画素情報とを出力する前記（１）～（６）いずれかに記載の画像処理装置。

　（８）前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像の各画素の画素値のビット削減処理を実行する諧調変換部を有する前記（１）～（７）いずれかに記載の画像処理装置。
　（９）前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像に対する信号処理を実行する信号処理部を有する前記（１）～（８）いずれかに記載の画像処理装置。

　（１０）前記画像処理装置は、さらに、前記画素情報合成部の生成した出力画像に対する符号化処理を実行するコーデックを有する前記（１）～（９）いずれかに記載の画像処理装置。
　（１１）前記制御部は、前記画素部の画素単位で露光時間制御を実行し、前記画素部は、長時間露光のなされる異なる複数の高感度画素の画素値を加算した高感度画素情報と、短時間露光のなされる異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する前記（１）～（１０）いずれかに記載の画像処理装置。

　（１２）前記画素部は、２×２画素領域に含まれる長時間露光のなされる２つの高感度画素の画素値を加算した高感度画素情報と、２×２画素領域に含まれる短時間露光のなされる２つの低感度画素の画素値を加算した低感度画素情報を出力する前記（１）～（１１）いずれかに記載の画像処理装置。
　（１３）前記画素部は、ベイヤー配列を有する前記（１）～（１２）いずれかに記載の画像処理装置。

　さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例によれば、高感度画素と低感度画素の各画素情報を適用したワイドダイナミックレンジ画像を効率的に生成可能とした装置、方法が実現される。
　具体的には、異なる感度の画素からの出力画素信号として、複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報を画素部から出力し、これらの画素情報を画素情報合成部において合成して出力画素値を決定してダイナミックレンジの広い出力画像を出力する。画素情報合成部では、例えば被写体の輝度に応じて高感度画素情報または低感度画素情報に対する重みを変更して、高感度画素情報と低感度画素情報との重み付き加算を行い、出力画像の画素値を決定して出力する。
　本開示の一実施例によれば、画素部に感度の異なる画素が配置され、更に感度の異なる複数の画素から、解像度を低下させた画素情報を生成する構成とすることで、フレームメモリを必要とせずにワイドダイナミックレンジ画像を生成することができる。また、同一感度同士のアナログ加算が可能であることから、フレームレートの上昇も可能となる。

　　１０　輝度閾値レベル
　　１１　高輝度領域
　　１２　低輝度領域
　１０１　光学レンズ
　１０２　撮像デバイス
　１０３　信号処理部
　１０５　制御部
　１２０　出力画像
　１５１　画素部
　１６０　演算部
　１６１　ＡＤ変換部
　１６２　画素情報合成部
　１６３　出力部
　１８１　高感度画素情報
　１８２　低感度画素情報
　４０１　諧調変換部
　４０２　信号処理部
　４０３　コーデック

Claims

　画素または画素領域単位の露光時間制御を実行する制御部と、
　前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素部と、
　前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成部を有し、
　前記画素部は、
　前記制御部の露光制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力し、
　前記画素情報合成部は、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出する画像処理装置。
　前記制御部は、前記画素部の列単位で露光時間制御を実行し、
　前記画素部は、
　長時間露光のなされる高感度画素列の異なる複数の高感度画素の画素値を加算した高感度画素情報と、
　短時間露光のなされる低感度画素列の異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する請求項１に記載の画像処理装置。
　前記画素情報合成部は、
　前記出力画像の画素値の算出処理において、
　長時間露光領域から入力する高感度画素情報と、短時間露光領域から入力する低感度画素情報とに対して被写体明るさに応じた重みを設定した加算処理を実行する請求項１に記載の画像処理装置。
　前記画素情報合成部は、長時間露光領域から入力する高感度画素情報が既定の閾値以上である場合、前記高感度画素情報の重みをゼロまたは小さく設定し、短時間露光領域から入力する低感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する請求項１に記載の画像処理装置。
　前記画素情報合成部は、短時間露光領域から入力する低感度画素情報が既定の閾値未満である場合、前記低感度画素情報の重みをゼロまたは小さく設定し、長時間露光領域から入力する高感度画素情報のみを利用または重みを大きく設定した演算処理により出力画像の画素値を算出する請求項１に記載の画像処理装置。
　前記制御部は、
　前記画素部の列単位のシャッタ制御により、列単位の露光時間制御を実行する請求項１に記載の画像処理装置。
　前記制御部は、前記画素部の２列単位で長時間露光領域と短時間露光領域とを交互設定した露光時間制御を実行し、
　前記画素部は、前記長時間露光領域に含まれる複数画素の画素値を加算した高感度画素情報と、前記短時間露光領域に含まれる複数画素の画素値を加算した低感度画素情報とを出力する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画素情報合成部の生成した出力画像の各画素の画素値のビット削減処理を実行する諧調変換部を有する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画素情報合成部の生成した出力画像に対する信号処理を実行する信号処理部を有する請求項１に記載の画像処理装置。
　前記画像処理装置は、さらに、
　前記画素情報合成部の生成した出力画像に対する符号化処理を実行するコーデックを有する請求項１に記載の画像処理装置。
　前記制御部は、前記画素部の画素単位で露光時間制御を実行し、
　前記画素部は、
　長時間露光のなされる異なる複数の高感度画素の画素値を加算した高感度画素情報と、
　短時間露光のなされる異なる複数の低感度画素の画素値を加算した低感度画素情報を出力する請求項１に記載の画像処理装置。
　前記画素部は、
　２×２画素領域に含まれる長時間露光のなされる２つの高感度画素の画素値を加算した高感度画素情報と、
　２×２画素領域に含まれる短時間露光のなされる２つの低感度画素の画素値を加算した低感度画素情報を出力する請求項１１に記載の画像処理装置。
　前記画素部は、ベイヤー配列を有する請求項１に記載の画像処理装置。
　撮像部と、
　請求項１から１３いずれかに記載の処理を実行する画像処理部を有する撮像装置。
　画像処理装置において実行する画像処理方法であり、
　制御部が、画素または画素領域単位の露光時間制御を実行する制御ステップと、
　画素部が、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力する画素情報出力ステップと、
　画素情報合成部が、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出する画素情報合成ステップを実行し、
　前記画素情報出力ステップは、
　前記制御部の実行する露光時間制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力するステップであり、
　前記画素情報合成ステップは、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出するステップである画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　制御部に、画素または画素領域単位の露光時間制御を実行させる制御ステップと、
　画素部に、前記制御部の制御下での撮影処理によって複数の異なる露光時間の画素情報を出力させる画素情報出力ステップと、
　画素情報合成部に、前記画素部の出力する複数の異なる露光時間の画素情報を入力し、該複数の画素情報を利用した演算処理を実行して出力画像の画素値を算出させる画素情報合成ステップを実行させ、
　前記画素情報出力ステップにおいては、
　前記制御部の実行する露光時間制御に基づいて設定された複数の高感度画素の画素値を加算した高感度画素情報と、複数の低感度画素の画素値を加算した低感度画素情報とを出力させ、
　前記画素情報合成ステップにおいては、
　前記高感度画素情報と、低感度画素情報との重み付き加算処理を実行して出力画像の画素値を算出させるプログラム。