JP6808409B2 - イメージセンサおよび撮像装置 - Google Patents

Description

本発明はイメージセンサおよび撮像装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置に用いられる撮像素子の多機能化が進んでいる。撮像素子の多機能化を達成する手段として、光を電気に変換する光電変換素子を含む画素部で構成されている撮像部と、撮像部から出力される撮像信号に対して画像処理を行うための画像処理部とを備える撮像素子が提案されている。

例えば特許文献１では、イメージセンサチップを信号処理チップの上に積層した撮像素子に関する技術が開示されている。

特開２００６−４９３６１号公報

しかしながら、特許文献１に記載された撮像素子の信号処理チップは、同半導体モジュール中にあるイメージセンサチップからの出力を信号処理を処理するために設けられているものである。そのため、撮像素子から出力された画像データに対して再度各種画像処理を行うためには、撮像素子外部に別途画像処理チップを設けなければならず、余分な構成要素が増えてしまう。

本発明は上記問題点を鑑みてなされたものであり、撮像素子の外部にある画像データを入力し、撮像素子の内部で画像処理できるようにすることを目的とする。

上記目的を達成するために、第１の基板と第２の基板が互いに積層された本発明のイメージセンサは、前記第１の基板が、複数の光電変換素子が配置された受光部と、前記受光部により生成されたアナログ画像信号を第１の画像データに変換するＡＤ変換部とを備え、前記第２の基板が、前記イメージセンサの外部から第２の画像データが入力される入力部と、前記第１の画像データまたは前記第２の画像データに画像処理を施す画像処理部と、前記画像処理部により画像処理を施された前記第１の画像データまたは前記第２の画像データを、前記イメージセンサの外部に出力するための出力部とを備える。

本発明によれば、撮像素子の外部にある画像データを入力し、撮像素子の内部で画像処理することができる。

本発明の第１の実施形態における撮像素子の構成を示すブロック図。 第１の実施形態における撮像素子の画像処理部の構成を示すブロック図。 第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における通常撮影時の処理を示すフローチャート。 第１の実施形態における画像入力時の処理を示すフローチャート。 第１の実施形態における撮影画像と入力画像の画像合成処理を示すフローチャート。 第２の実施形態における撮像装置の概略構成を示すブロック図。 第２の実施形態における第２の撮像素子の構成を示すブロック図。 第２の実施形態における第２の撮像素子で撮影した画像を第１の撮像素子で画像処理する際の撮影処理を示すフローチャート。 第２の実施形態における第１の撮像素子で動画像を撮影し、第２の撮像素子で静止画像を撮影する際の撮影処理を示すフローチャート。 第２の実施形態における第１および第２の撮像素子で静止画像を撮影して合成する際の撮影処理を示すフローチャート。 第２の実施形態の第１および第２撮像素子で動画像を撮影して合成する際の撮影処理を示すフローチャート。 第２の実施形態の第２撮像素子を、第１の撮像素子による撮影の補助手段として用いる場合の撮影処理を示すフローチャート。 第３の実施形態における撮像素子の構成を示すブロック図。 第３の実施形態の撮像素子の第１の基板の概略構成を示すブロック図。 第３の実施形態における撮像素子の画像処理部の構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
まず、本発明の第１の実施形態における撮像素子について説明する。第１の実施形態の撮像素子は、撮像素子の外部から画像信号を入力し、入力した画像信号に対して撮像素子内部で画像処理を施す機能を有する。

以下、図１および図２を用いて、第１の実施形態における撮像素子の構成について詳細に説明する。図１は、本発明の第１の実施形態における撮像素子の構成を示すブロック図である。

図１において、撮像素子３０２は、第１の基板１０１（撮像部）と第２の基板１０２（処理部）が積層された構造を有する。第１の基板１０１と第２の基板１０２は、第１の基板１０１中の接続部１０６と第２の基板１０２中の接続部１０７の間で、マイクロバンプやビアなどにより接合され、電気的に接続されている。また、不図示ではあるが、第１の基板１０１中の制御回路１０３と第２の基板１０２中の画像処理部１０８も、通信可能に電気的に接続されている。

第１の基板１０１は、受光部１０４、アナログ／デジタル（ＡＤ）変換部１０５、接続部１０６、制御回路１０３を備える。受光部１０４には、光を電気に変換する光電変換素子を含む複数の画素が行方向および列方向に２次元配置されている。ＡＤ変換部１０５は、受光部１０４の画素で生成されたアナログ画像信号をデジタル信号に変換し、接続部１０６は、ＡＤ変換部１０５から出力されたデジタル画像信号（画像データ）を第２の基板１０２に転送する。制御回路１０３は、受光部１０４およびＡＤ変換部１０５における各種駆動を制御する。

第２の基板１０２は、接続部１０７、画像処理部１０８、メモリ部１０９、出力部１１１および入力部１１２を含むインターフェース部１１０を備える。接続部１０７は、第１の基板１０１から転送される画像信号を受け取る。画像処理部１０８は、第１の基板１０１やメモリ部１０９、入力部１１２から転送されるデジタル画像信号（画像データ）に対し、信号増幅、基準レベル調整、欠陥補正、現像処理等の各種画像処理を施す。また、上記の各種画像処理を施す機能に加え、撮影したデジタル画像信号（画像データ）と入力部１１２から転送されるデジタル画像信号（画像データ）を用いて、差分画像、加算画像、平均画像等の各種合成画像を生成する機能や、複数の画像データを結合して動画像を生成する機能を有する。更に画像処理部１０８は、入力部１１２から転送される画像データをもとに、被写体の輝度値等を算出する機能を有する。なお、画像処理部１０８の構成については、図２を用いて詳細に後述する。

メモリ部１０９は、画像処理部１０８や入力部１１２からの画像データを一時的に格納する。入力部１１２は、撮像素子３０２の外部からの画像データを入力して、画像処理部１０８やメモリ部１０９に転送し、出力部１１１は、画像処理部１０８から出力された画像データを撮像素子３０２の外部へ出力する。なお、第１の実施形態においては、画像データをインターフェース部１１０から撮像素子３０２の外部へ出力する端子と、画像データを撮像素子３０２の外部からインターフェース部１１０に入力する端子は共通とする。インターフェース部１１０内部において、画像データ入力時はインターフェース部１１０の端子は入力部１１２に接続され、画像データ出力時はインターフェース部１１０の端子は出力部１１１に接続される。撮像素子３０２は、第１の基板１０１（撮像部）と第２の基板１０２（処理部）とそれらに含まれる各構成要素が１つにパッケージされている。

図２は、第１の実施形態における撮像素子３０２の画像処理部１０８の構成を示すブロック図である。図２において、信号増幅部２０１は、入力されたデジタル画像信号（画像データ）に所定のゲインを掛ける。基準レベル調整部２０２は、受光部１０４での入射光が無いダーク状態の時のデジタル画像信号（画像データ）の信号レベルが所定の値となるように調整する。補正部２０３は、画像データに対し、欠陥補正処理やダークシェーディング補正処理などの各種補正処理を施す。

現像処理部２０４は、画像データに対しホワイトバランス調整等を行った後、現像処理を行う。画像合成部２０５は、受光部１０４で撮影されＡＤ変換部１０５より読み出された画像データと入力部１１２やメモリ部１０９から転送された画像データを用いて、差分画像、加算画像、平均画像等の各種合成画像を生成する。

信号解析部２０６は、入力部１１２やメモリ部１０９から転送された画像データを解析し、その結果をもとに、信号増幅部２０１における信号増幅率を設定したり、制御回路１０３を介して、受光部１０４およびＡＤ変換部１０５における各種駆動設定を行う。

図３は、上記構成を有する撮像素子３０２を備える撮像装置の概略構成を示すブロック図である。図３において、レンズおよび絞りなどからなる光学系３０１は駆動回路３０４により駆動され、光学系３０１を介して入射した入射光を、撮像素子３０２が電気信号に変換する。タイミング信号発生回路３０３は、撮像素子３０２を動作させる信号を発生する。本実施形態においてタイミング信号発生回路３０３が発生する信号には垂直及び水平同期信号、撮像素子３０２内の各種設定パラメータを設定するための設定用信号等が含まれる。

撮像素子３０２は、図１を用いて説明したとおり、入射光から変換された電気信号に対し、信号増幅、基準レベル調整、欠陥補正処理、ダークシェーディング補正処理、現像処理等の各種画像処理を施し、画像信号を生成する機能を有する。更に、撮像素子３０２は、記録回路３０５から画像データを入力し、各種画像処理を施す機能も有する。記録回路３０５は、撮像素子３０２から出力された画像データや、撮像素子３０２に入力する画像データ等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

制御回路３０６は撮像素子３０２、タイミング信号発生回路３０３、駆動回路３０４等の撮像装置全体を統括的に駆動・制御する。操作回路３０７は撮像装置に備え付けられた操作部材からの信号を受け付け、制御回路３０６に対してユーザーの命令を反映する。表示回路３０８は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

なお、本実施形態では、撮像装置のタイミング信号発生回路３０３や制御回路３０６を撮像素子３０２とは独立して設ける構成例について説明した。しかしながらこのような構成に限定されるものではなく、タイミング信号発生回路３０３や制御回路３０６の少なくとも１部の機能を撮像素子３０２に内蔵するように構成してもかまわない。

次に、図４から図６を用いて、撮像素子３０２を有する撮像装置において行われる第１の実施形態における各種撮影処理および画像生成処理について詳細に説明する。

図４は、第１の実施形態における通常撮影時の処理を示すフローチャートである。図４において、まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ４０１）。続いて、光学系３０１等を制御し、撮像素子３０２の受光部１０４の露光を行う（Ｓ４０２）。所定の蓄積時間の経過後、受光部１０４で生成された電気信号をＡＤ変換部１０５においてデジタル画像信号（画像データ）に変換し、画像処理部１０８に読み出す（Ｓ４０３）。

続いて、画像処理部１０８に入力された画像データに対し、信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正処理、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ４０４）。最後に、画像処理部１０８から出力された画像データを出力部１１１から撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力し（Ｓ４０５）、本撮影処理を終了する。

図５は、第１の実施形態における画像入力時の処理を示すフローチャートである。図５を用いて説明する画像入力時の処理は、例えば、過去に撮像装置によって撮影され、外部で保存されていたＲＡＷ画像データに対し、再度、撮像装置内の撮像素子３０２を用いて所望の現像パラメーターで再現像する場合等に利用することができる。

また、撮像素子３０２の外部から入力される画像データは、画像処理部１０８で各種画像処理を施されて出力部１１１から出力された後、記録回路３０５における不揮発性メモリあるいはメモリカード等の記録媒体への記録や、表示回路３０８による画像の表示に用いられる。さらに、各種分析や解析に用いてもかまわない。例えば、監視カメラの用途として、人物認識や顔認識を行ってもよい。また、自動車等の自動運転のための車載カメラの用途として、歩行者の検出、標識、白線、道路上の障害物や他の自転車等の物体認識、文字認識等を行ってもよい。なお、信号処理は入力された画像すべてに対して実行する必要はなく、被写体認識等を行った結果を用いて領域を限定して行うようにしてもよい。また、入力部１１２等により必要な領域のみ切り出すようにしてもよい。

図５において、まず、記録回路３０５に保存されているＲＡＷ画像データを、入力部１１２を介して撮像素子３０２に入力する（Ｓ５０１）。続いて、撮像素子３０２に入力された画像データに対して、画像処理部１０８の現像処理部２０４において、操作回路３０７を通じてなされるユーザーからの指示等に従い、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ５０２）。なお、画像処理を施される入力画像データは、撮影時に画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３において信号増幅、基準レベル調整、欠陥補正処理、ダークシェーディング補正処理等が施されていたものとする。そして、これらの画像処理後に撮像素子３０２から出力され、記録回路３０５にて保管されていた場合、再度、撮像素子３０２に入力した際には、上記画像処理を省くことができる。

最後に、画像処理部１０８から出力された各種画像処理が施された画像データを、出力部１１１から撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力し（Ｓ５０３）、本処理を終了する。

なお、図４のフローチャートで説明した撮像処理および撮影画像データに対する画像処理部１０８による画像処理のタイミングと、図５のフローチャートで説明した入力画像データに対する画像処理部１０８による画像処理のタイミングは異ならせることが望ましい。画像処理部１０８による撮影画像データの画像処理と入力画像データの画像処理を同時に行わず分散させることにより、画像処理部１０８の処理負荷を軽減するとともに、最大消費電力量を抑制することができる。

図６は、第１の実施形態における撮影画像と入力画像の画像合成処理を示すフローチャートである。図６を用いて説明する撮影画像と入力画像の画像合成処理は、例えば、撮像素子３０２が撮影した画像に対し、過去に撮影して撮像素子３０２の外部で保存していた画像と撮像素子３０２にて新たに撮像した画像とを合成する場合等に利用することができる。

図６において、まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ６０１）。続いて、記録回路３０５に保存されている画像データを入力部１１２を介して撮像素子３０２内部に入力し、メモリ部１０９にて保管する（Ｓ６０２）。なお、入力画像データは、この後に撮影され画像処理部１０８に読み出される撮影画像データと合成処理を行うため、撮影画像データと同じ状態の画像データである必要がある。

具体的には、画像処理部１０８に読み出される合成前の撮影画像データは、圧縮等の処理がなされていないＲＡＷ画像データであるため、入力画像データも同様の状態である必要がある。また、撮影画像データと入力画像データの合成は、撮影画像データに対し、画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３において信号増幅、基準レベル調整、欠陥補正処理、ダークシェーディング補正処理等がなされた後に行う。そのため、入力画像データも同様の処理が撮影時に施されて出力され保管されていた画像データであることが望ましい。

その後、光学系３０１等を制御し、撮像素子３０２の受光部１０４の露光を行う（Ｓ６０３）。所定の蓄積時間の経過後、受光部１０４で生成された電気信号をＡＤ変換部１０５においてデジタル画像信号に変換し、撮影画像データとして、画像処理部１０８に読み出す（Ｓ６０４）。

続いて、画像処理部１０８の画像合成部２０５において、撮影画像データと、メモリ部１０９に保管された入力画像データを合成する（Ｓ６０５）。その際、蓄積時間や感度設定などの撮影画像データの撮影条件に、入力画像データの撮影条件を合わせるため、入力画像データに対し適切なゲインをかける等の処理も同時に行う。

そして、合成された画像データに対し、画像処理部１０８の現像処理部２０４において、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ６０６）。最後に、画像処理部１０８から出力された画像データを出力部１１１から撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力し（Ｓ６０７）、本処理を終了する。

上記の通り第１の実施形態によれば、撮像素子に画像データ入力部を設け、入力した画像データを撮像素子内部の画像処理部にて様々な画像処理を施すことが可能な構成とした。これにより、ひとたび撮像素子から出力された画像の再現像や、過去に撮影し保管しておいた画像と、新たに撮影した画像との画像合成等の複数の画像を用いた処理を、外部の画像処理回路を用いずに行うことができる。

以上、図１〜図６を用いて第１の実施形態に係る撮像装置について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、図５および図６を用いて説明した、画像入力時の処理においては、入力する画像データとして、本撮像装置によって撮影された画像を用いるものとして説明した。しかしながら、本発明はこれに限定されるものではなく、他の撮像装置によって撮影し、出力された画像を入力可能とする構成でもよい。

また、図６を用いて説明した、撮影画像と入力画像の画像合成処理においては、画像合成処理の一例として、撮影画像データと入力画像データとの単純な合成画像を生成するものとして説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、ハイダイナミックレンジ合成処理（ＨＤＲ合成処理）のように、撮影画像データと入力画像データに対し、それぞれ所定のゲインを掛けた後に合成画像を生成するような処理を行っても構わない。

なお、入力画像の撮影条件と撮影画像の撮影条件の差は、入力画像データに対し適切なゲインをかける等の処理を行うことで調節するものに限定されず、例えば、異なる撮影条件の入力画像データを複数種類入力してメモリ部１０９に格納しておき、撮影毎にそのときの撮影条件に応じて適切な入力画像データを選択して使用するような構成であっても構わない。また、ランダムノイズ低減のために、撮影画像データおよび入力画像データに対する平均画像データを生成するような処理を行っても構わない。

また、例えば、撮影画像と入力画像の画像合成処理においては、撮影画像データと入力画像データとの差分画像を生成するものでも構わない。例えば、車載カメラ等に適用して２つの画像の差分をとることにより、道路上の障害物、自転車や歩行者を検出してもよい。また、撮像素子３０２が撮影した画像データに対し、過去に撮影して撮像素子３０２の外部で保存していた黒画像データを用いて、撮像素子３０２の画像処理部１０８において黒引き処理を行う場合等に利用することもできる。例えば天体撮影時の黒引き処理の場合、撮影画像データである天体撮影画像から入力画像データである黒画像を引いた差分画像を生成することができる。

なお、ここでは差分画像生成のために入力される画像信号を１種類１枚としているが、これに限定されるものではない。例えば、複数の異なる撮影条件の黒画像データを入力してメモリ部１０９に格納しておき、撮影毎にその時の撮影条件に応じて適切な黒画像データを選択して使用するような構成であっても構わない。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図７は、第２の実施形態における撮像装置の概略構成を示すブロック図である。図７に示すように、第２の実施形態における撮像装置は、図３に示す撮像装置に、光学系８０１と第２の撮像素子８０２とを加えた構成を有する。それ以外の構成は、図３に示すものと同様であるため説明を省略するが、撮像素子３０２については、第２の撮像素子８０２と区別するために、第２の実施形態では、第１の撮像素子３０２と呼ぶ。

図８は、第２の実施形態における第２の撮像素子の構成を示すブロック図である。図８において、第２の撮像素子８０２は、受光部７０２、アナログ／デジタル（ＡＤ）変換部７０３、出力部７０４、制御回路７０１を備える。受光部７０２には、光を電気に変換する光電変換素子を含む複数の画素が行方向および列方向に２次元配置されている。ＡＤ変換部７０３は、受光部７０２の画素で生成されたアナログ画像信号をデジタル信号（画像データ）に変換し、出力部７０４は、ＡＤ変換部７０３から出力されたデジタル画像信号（画像データ）を撮像素子８０２の外部へ出力する。制御回路７０１は、受光部７０２およびＡＤ変換部７０３における各種駆動を制御する。

図１に示す第１の撮像素子３０２とは異なり、第２の撮像素子８０２は画像処理部を有さない。そのため、第２の実施形態においては、レンズおよび絞りなどからなる光学系８０１を介して入射した入射光を第２の撮像素子８０２が電気信号に変換して出力し、第１の撮像素子３０２に入力する。そして、第１の撮像素子３０２の画像処理部１０８により、各種画像処理を行う。

また、第２の実施形態では、タイミング信号発生回路３０３は、第１の撮像素子３０２および第２の撮像素子８０２を動作させる信号を発生し、駆動回路３０４は、光学系３０１および光学系８０１を駆動する。本実施形態においてタイミング信号発生回路３０３が発生する信号には垂直及び水平同期信号、撮像素子３０２及び撮像素子８０２内の各種設定パラメータを設定するための設定用信号等が含まれる。さらに、タイミング信号発生回路３０３が発生する信号の送信先を特定するためのアドレス情報等を含めるようにしてもよい。このように信号に送信先を特定するアドレス情報を含めることによって信号線を共通化することが可能となる。なお、図８において、第１の撮像素子３０２と第２の撮像素子８０２はタイミング信号発生回路３０３及び制御回路３０６に対して並列に接続されている。しかし、これらの構成限られず、直列に接続する構成としてもよい。この場合、タイミング信号発生回路３０３より入力された信号等は第１の撮像素子３０２経由で第２の撮像素子８０２に供給されることとなる。このような構成とすることで２個以上の撮像素子を接続する場合に制御用の接続回路を簡略化することが可能となる。

次に、図９から図１３を用いて、第２の実施形態において、撮像装置において行われる各種撮影処理および画像生成処理について詳細に説明する。なお、第２の実施形態において、第１の撮像素子３０２のみを用いて行う通常撮影時の処理は、図４を用いて説明した第１の実施形態における通常撮影時の処理と同じであるため、説明を割愛する。

図９は、第２の撮像素子８０２から出力される画像データを第１の撮像素子３０２に入力し、第１の撮像素子３０２内部で各種画像処理を施して画像データを出力する際の撮影処理を示すフローチャートである。

図９において、まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、第２の撮像素子８０２に対して、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ９０１）。続いて、光学系８０１等を制御し、第２の撮像素子８０２の受光部７０２の露光を行う（Ｓ９０２）。所定の蓄積時間の経過後、受光部７０２で生成された電気信号をＡＤ変換部７０３においてデジタル画像信号（画像データ）に変換し、出力部７０４から第２の撮像素子８０２の外部に出力する（Ｓ９０３）。なお、第２の撮像素子８０２は画像処理部を備えていないため、出力される画像データは、各種画像補正等が施されていない画像データである。

第２の撮像素子８０２から出力された画像データは、第１の撮像素子３０２に入力される（Ｓ９０４）。続いて、第１の撮像素子３０２に入力された画像データに対し、画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正処理、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ９０５）。最後に、画像処理部１０８から出力された画像データを出力部１１１から第１の撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力し（Ｓ９０６）、撮影処理を終了する。

図１０は、第２の実施形態における、第１の撮像素子３０２で静止画像を撮影し、第２の撮像素子８０２で動画像を撮影する際の撮影処理を示すフローチャートである。ここでは一例として、第２の撮像素子８０２でライブビュー画像もしくは動画像を撮影している最中に、第１の撮像素子３０２で静止画像を撮影する場合について説明する。なお、第１の撮像素子３０２でライブビュー画像もしくは動画像を撮影し、その間に、第２の撮像素子８０２で静止画像を撮影するように構成しても構わない。

図１０において、まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、第２の撮像素子８０２に対して、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ１００１）。続いて、光学系８０１等を制御し、第２の撮像素子８０２の受光部７０２の露光を行い、ライブビュー撮影もしくは動画撮影を開始する（Ｓ１００２）。

受光部７０２で生成された各フレーム毎の電気信号を、ＡＤ変換部７０３においてデジタル画像信号（画像データ）に変換し、出力部７０４から第２の撮像素子８０２の外部に出力する（Ｓ１００３）。なお、第２の撮像素子８０２は画像処理部を備えていないため、出力される画像データは、各種画像補正等が施されていない画像データである。

第２の撮像素子８０２から出力された画像データは、第１の撮像素子３０２に入力される（Ｓ１００４）。続いて、第１の撮像素子３０２に入力された画像データに対し、画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正処理、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ１００５）。そして、画像処理部１０８から出力された画像データを出力部１１１から、動画撮影時は第１の撮像素子３０２の外部の記録回路３０５に、ライブビュー撮影時は表示回路３０８に出力する（Ｓ１００６）。

ライブビュー撮影もしくは動画撮影中に、ユーザーにより操作回路３０７を通じて静止画撮影の指示がなされた場合（Ｓ１００７でＹＥＳ）、第１の撮像素子３０２による静止画撮影を開始する。

まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、第１の撮像素子３０２に対して、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ１００８）。続いて、光学系３０１等を制御し、第１の撮像素子３０２の受光部１０４の露光を行う（Ｓ１００９）。所定の蓄積時間の経過後、受光部１０４で生成された電気信号がＡＤ変換部１０５においてデジタル画像信号（画像データ）に変換され、画像処理部１０８に読み出される（Ｓ１０１０）。

続いて、画像処理部１０８に入力された画像信号に対し、信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正処理、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ１０１１）。そして、画像処理部１０８から出力された画像信号を出力部１１１から第１の撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力する（Ｓ１０１２）。

静止画撮影後、および、静止画撮影の指示がなされていない場合（Ｓ１００７でＮＯ）、引き続きライブビュー撮影もしくは動画撮影を継続するかを判定する（Ｓ１０１３）。継続する場合はＳ１００１に戻り、次のフレームのライブビュー撮影もしくは動画撮影を行い、継続しない場合は一連の撮影動作を終了する。

図１１は、第２の実施形態における、第１の撮像素子３０２と第２の撮像素子８０２でそれぞれ撮影した静止画像を合成する際の撮影処理を示すフローチャートである。この撮影方法は、例えば、２つの撮像素子を用いて３Ｄ表示用の視差を有する複数の画像を生成する場合等に利用することができる。また、車載カメラなどに用いる場合、２つの撮像素子を用いて得られる視差画像に基づいて被写体の測距を行うように構成しても構わない。すなわち、２つの撮像素子から得られる視差画像から三角測量の原理で対象物までの距離を計測することができる。

図１１において、まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、第１の撮像素子３０２および第２の撮像素子８０２に対して、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ１１０１）。続いて、光学系３０１，８０１等を制御し、第１の撮像素子３０２の受光部１０４および、第２の撮像素子８０２の受光部７０２の露光を行う（Ｓ１１０２）。所定の蓄積時間の経過後、第１の撮像素子３０２の受光部１０４で生成された電気信号は、ＡＤ変換部１０５においてデジタル画像信号（画像データ）に変換され、撮影画像データとして画像処理部１０８に読み出される（Ｓ１１０３）。また第２の撮像素子８０２の受光部７０２で生成された電気信号は、ＡＤ変換部７０３においてデジタル画像信号（画像データ）に変換され、出力部７０４から第２の撮像素子８０２の外部に出力され（Ｓ１１０３）、撮像素子３０２に入力される（Ｓ１１０４）。なお、第２の撮像素子８０２から出力され、撮像素子３０２に入力される画像データは、撮像素子８０２は画像処理部を備えていないため、各種画像補正等が施されていない画像である。

その後、第１の撮像素子３０２で撮影された画像データと、第２の撮像素子８０２で撮影された画像データを、それぞれ画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正等の各種画像処理を施す。各種画像処理を施した後、画像処理部１０８の画像合成部２０５において合成する（Ｓ１１０５）。続いて、合成された画像データに対し、同じく画像処理部１０８の現像処理部２０４において、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ１１０６）。

最後に、画像処理部１０８から出力された画像データを出力部１１１から撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力し（Ｓ１１０７）、撮影処理を終了する。

図１２は、第２の実施形態における、第１の撮像素子３０２と第２の撮像素子８０２で同一の被写体の動画像を撮影して合成する際の撮影処理を示すフローチャートである。この撮影方法は、例えば、２つの撮像素子の出力する画像データを交互に読み出して合成することで、高速フレームレートの動画像を生成する場合に利用することができる。

図１２において、まず、操作回路３０７を通じてなされるユーザーからの指示等に従い、第１の撮像素子３０２および第２の撮像素子８０２に対して、感度、絞り値、露光時間等の撮影条件を初期設定する（Ｓ１２０１）。続いて、光学系３０１，８０１等を制御し、第１の撮像素子３０２の受光部１０４および、第２の撮像素子８０２の受光部７０２を露光して、動画像撮影を開始する（Ｓ１２０２）。なお、第１の撮像素子３０２による動画像撮影と、第２の撮像素子８０２による動画像撮影は、同じフレームレートで位相を半周期ずらして行うものとする。

第１の撮像素子３０２の受光部１０４による１フレーム分の蓄積が完了した時点で、受光部１０４で生成された電気信号は、ＡＤ変換部１０５においてデジタル画像信号（画像データ）に変換され、撮影画像データとして画像処理部１０８に読み出される（Ｓ１２０３）。続いて、画像処理部１０８に読み出された画像データに対し、画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ１２０４）。信号処理を施された画像データは、一旦メモリ部１０９に記録される（Ｓ１２０５）。

続いて、第２の撮像素子８０２の受光部７０２による１フレーム分の蓄積が完了した時点で、受光部７０２で生成された電気信号を、ＡＤ変換部７０３においてデジタル画像信号に変換し、出力部７０４から第２の撮像素子８０２の外部に出力する（Ｓ１２０６）。なお、第２の撮像素子８０２は画像処理部を備えていないため、出力される画像データは、各種画像補正等が施されていない画像である。

第２の撮像素子８０２から出力された画像データは、第１の撮像素子３０２に入力される（Ｓ１２０７）。続いて、入力部１１２に入力された第２の撮像素子８０２からの画像データに対し、画像処理部１０８の信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正、フレーム間ノイズリダクション処理、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ１２０８）。信号処理を施された画像データは、先に記録された第１の撮像素子３０２による画像データに続いて、メモリ部１０９に記録される（Ｓ１２０９）。

その後、引き続き動画像撮影を継続するかを判定する（Ｓ１２１０）。継続する場合はＳ１２０３に戻り、上述した処理を繰り返す。継続しない場合は、第１の撮像素子３０２の受光部１０４および、第２の撮像素子８０２の受光部７０２における露光を止めて動画像撮影を終了する（Ｓ１２１１）。そして、メモリ部１０９に記録した動画像データを出力部１１１から第１の撮像素子３０２の外部の記録回路３０５に出力し（Ｓ１２１２）、一連の撮影動作を終了する。

図１３は、第２の実施形態における、第１の撮像素子３０２による撮影の撮影条件を定めるための補助手段として、第２の撮像素子８０２を用いる場合の撮影処理を示すフローチャートである。例えば、第２の撮像素子８０２の出力信号に基づいて、第１の撮像素子３０２内の画像処理部１０８で被写体の測光値を算出し、算出した測光値に基づいて、第１の撮像素子３０２による撮影の撮影条件を定める場合に利用することができる。

図１３において、まず、第２の撮像素子８０２に対して、感度、露光時間等の測定条件を初期設定する（Ｓ１３０１）。続いて、光学系８０１等を制御し、第２の撮像素子８０２の受光部７０２の露光を行い、撮影を開始する（Ｓ１３０２）。受光部７０２で生成された各フレーム毎の電気信号を、ＡＤ変換部７０３においてデジタル画像信号（画像データ）に変換し、出力部７０４から第２の撮像素子８０２の外部に出力する（Ｓ１３０３）。なお、第２の撮像素子８０２は画像処理部を備えていないため、出力される画像データは、各種画像補正等が施されていない画像である。

第２の撮像素子８０２から出力された画像データは、第１の撮像素子３０２に入力される（Ｓ１３０４）。続いて、画像処理部１０８の信号解析部２０６において、第２の撮像素子８０２からの画像データを解析して、例えば、被写体の輝度値を算出する（Ｓ１３０５）。そして、その算出結果をもとに、感度、絞り値、露光時間等の第１の撮像素子３０２による撮影の撮影条件を設定する（Ｓ１３０６）。続いて、光学系３０１等を制御し、第１の撮像素子３０２の受光部１０４の露光を行う（Ｓ１３０７）。所定の蓄積時間の経過後、受光部１０４で生成された電気信号がＡＤ変換部１０５においてデジタル画像信号（画像データ）に変換され、画像処理部１０８に読み出される（Ｓ１３０８）。

続いて、画像処理部１０８に入力された画像データに対し、信号増幅部２０１、基準レベル調整部２０２、補正部２０３、現像処理部２０４において、信号増幅、基準レベル調整、欠陥補正、ホワイトバランス調整、現像処理等の各種画像処理を施す（Ｓ１３０９）。最後に、画像処理部１０８から出力された画像データを出力部１１１から第１の撮像素子３０２の外部の記録回路３０５もしくは表示回路３０８に出力し（Ｓ１３１０）、撮影処理を終了する。

上記の通り第２の実施形態によれば、第１の実施形態で説明した撮像素子に加えて別の撮像素子を備えることにより、別の撮像素子により撮影され生成された画像データに対して、撮像素子内の画像処理回路を用いて画像処理を施すことができる。即ち、２つの撮像素子の画像データに対する画像処理を、外部の画像処理回路を用いずに実現することが可能となる。

また、画像処理回路が撮像素子の内部にあることで、撮像素子の外部にある１つの画像処理回路が複数の撮像素子からの画像データを入力しなければならない場合と比べて、以下の利点がある。即ち、複数の撮像素子からの画像データを合成して出力する際に、高速化の点でも、回路の必要端子数の点でも有利となる。

なお、本実施形態では、第１の撮像素子３０２に画像処理部を設け、第２の撮像素子８０２には画像処理部を設けない構成例について説明した。しかしながらこのような構成に限定されるものではなく、例えば、第２の撮像素子８０２にも第１の撮像素子３０２と同様な画像処理部および入力部を設け、片方の撮像素子の画像処理部のみを用いて画像処理を行う場合には、他方の撮像素子に設けられている画像処理部を動作させず、電力供給を行わない、或いは省電力制御を行ってもかまわない。

また、本実施形態では、撮像装置の制御回路３０６を第１の撮像素子３０２や第２の撮像素子８０２とは独立して設ける構成例について説明した。しかしながらこのような構成に限定されるものではなく、制御回路３０６の少なくとも１部の構成を第１の撮像素子３０２や第２の撮像素子８０２に内蔵するように構成してもかまわない。例えば、タイミング信号発生回路３０３を撮像素子３０２に内蔵する場合、第２の撮像素子８０２への信号は第１の撮像素子から供給されることとなり、第２の撮像素子８０２は第１の撮像素子３０２によって制御されることとなる。

さらに、２つの撮像素子のいずれか一方で可視光を撮像し、他方で赤外線などの非可視光を撮像するようにしても良い。或いは、２つの撮像素子のいずれか一方（例えば可視光を撮像する撮像素子）でカラー画像を撮影し、他方（例えば非可視光を撮像する撮像素子）で白黒画像を撮影するように構成しても構わない。

なお、第１の撮像素子３０２と第２の撮像素子８０２はタイミング信号発生回路３０３及び制御回路３０６に対して直列に接続する構成としてもよい。この場合、第２の撮像素子８０２より出力される画像データは第１の撮像素子３０２経由で記録回路３０５等に記録されることとなる。このような構成において、第２の撮像素子８０２より出力される画像データを表示回路３０８に表示する場合、第１の撮像素子３０２内で処理を行うことによって表示タイミングが遅延する懸念がある。この遅延タイミングを低減するために、第１の撮像素子３０２において、入力部１１２と出力部１１１をバイパスするデータスルー制御を可能とするようにしてもよい。このような構成とすることで２個以上の撮像素子を直列で接続する場合に記録又は表示タイミングの遅延を低減することが可能となる

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態における撮像素子１４００は第１および第２の実施形態における撮像素子３０２と異なる構成を有する。なお、第３の実施形態における撮像装置は、第１の実施形態で図３を参照して説明した撮像装置、または、第２の実施形態で図８を用いて説明した撮像装置において、撮像素子３０２が、後述する撮像素子１４００に置き換わった構成を有する。それ以外は、第１および第２の実施形態で説明した構成と同様であるため、説明を省略する。

図１４は、第３の実施形態における撮像素子１４００の構成を示すブロック図である。図１４において、撮像素子１４００は、第１の基板１４０１と第２の基板１４０２が積層された構造を有する。第１の基板１４０１と第２の基板１４０２は、第１の基板１４０１中の１以上の画素毎に備えられた接続部１４０４と、接続部１４０４と同数の第２の基板１４０２中の接続部１４０５との間で、複数の貫通電極１４０６によってそれぞれ電気的に接続されている。この貫通電極は、例えばＴｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ（ＴＳＶ）等である。

第１の基板１４０１は、受光部１４１１、接続部１４０４、制御回路１４１０を備える。受光部１４１１は、光を電気に変換する光電変換素子を含む複数の画素１４０３が行方向および列方向に２次元配置されており、受光部１４１１で生成した信号を、接続部１４０４を介して第２の基板１４０２に転送する。制御回路１４１０は、受光部１４１１における各種駆動を制御する。なお、第３の実施形態の説明においては、図１４に示す通り、２×２の４つの画素１４０３あたり１つの接続部１４０４を備えるものとする。

第２の基板１４０２は、接続部１４０５、画像処理部１４０８、メモリ部１０９、入力部１１２および出力部１１１からなるインターフェース部１１０を備える。なお、メモリ部１０９およびインターフェース部１１０の入力部１１２および出力部１１１は、図１を参照して説明したものと同様であるため、ここでは説明を省略する。接続部１４０５は、第１の基板から転送される画像信号を受け取る。

画像処理部１４０８は、第１の基板１４０１から接続部１４０５を介して転送されるアナログ信号をデジタル信号に変換する。また、画像処理部１４０８は、ＡＤ変換された画像データやメモリ部１０９および入力部１１２から転送される画像データに対し、信号増幅、基準レベル調整、欠陥補正、現像処理等の各種画像処理を行う。画像処理部１４０８は、２×２の４つの画素１４０３毎に１つ対応するように備えられた複数の部分画像処理部１４０７を備える。なお、画像処理部１４０８の構成については、図１６を用いて詳細に後述する。

次に図１５を用いて、第３の実施形態における撮像素子１４００の受光部１０４周辺の構成について詳細に説明する。図１５は、第３の実施形態における、撮像素子１４００の第１の基板１４０１の概略構成を示すブロック図である。

図１５に示すように、撮像素子１４００の第１の基板１４０１は、複数の画素１４０３が行列状に配置されている受光部１４１１と、制御回路１４１０と、駆動信号線１５０１を有している。制御回路１４１０からは、各画素１４０３に向けて、駆動信号線１５０１を通じて駆動パルスが送出される。なお、駆動信号線１５０１は、簡略化のため、１行ないし２行毎に１本ずつ図示してあるが、実際には、各画素１４０３毎に駆動を制御可能とするのに適切な、複数の駆動信号線が接続される。また、２×２の４つの画素１４０３が同一の接続部１４０４に接続される。制御回路１４１０は、各画素１４０３で生成される信号が、接続部１４０４を共有する他の画素１４０３からの信号と混合されないように制御し、順に第２の基板１４０２に出力する。なお、図１５においては、８行８列の画素１４０３をもって受光部１４１１とする構成としたが、実際には数千行、数千列という単位で形成される。

なお、第１の実施形態において、図１および図２を用いて説明した撮像素子３０２と同じ構成要素については、同一の符号を付して詳細の説明を省略する。

図１６は、第３の実施形態における撮像素子１４００の画像処理部１４０８の構成を示すブロック図である。第３の実施形態においては、画像処理部１４０８は、複数の部分画像処理部１４０７と、補正部１６０３、画像合成部１６０５および現像処理部１６０４で構成される。部分画像処理部１４０７は、第３の実施形態で示す例では、２×２の４つの画素１４０３毎に１つ対応するように備えられ、それぞれ、接続部１４０５、ＡＤ変換部１６００、信号増幅部１６０１、基準レベル調整部１６０２、信号解析部１６０６で構成される。ＡＤ変換部１６００は、接続部１４０５を介して読み出される各画素１４０３からのアナログ画像信号をデジタル信号（画像データ）に変換する。その他の構成要素は、図２を用いて説明した第１の実施形態の撮像素子３０２の画像処理部１０８の構成要素と同様であるため、説明は割愛する。

なお、補正部１６０３における各種補正処理、画像合成部１６０５における画像合成処理、および、現像処理部１６０４における現像処理は、複数の部分画像処理部１４０７において各種画像処理を施された画像データをまとめて１つの画像データとした後に行う。

次に、第３の実施形態における撮影処理の一例について詳細に説明する。ここでは、第２の実施形態で説明した図８に示す構成を有する撮像装置において、第１の撮像素子３０２の代わりに撮像素子１４００を用いるものとし、第２の撮像素子８０２と区別するために、第１の撮像素子１４００と呼ぶ。以下に、第１の撮像素子１４００の撮影条件を定めるための補助手段として、第２の撮像素子８０２を用いる場合の処理を、図１３のフローチャートを参照して説明する。この処理は、例えば、第２の撮像素子８０２の出力信号に基づいて、第１の撮像素子１４００内の画像処理部１０８で被写体の測光値を算出し、算出した測光値に基づいて、第１の撮像素子１４００による撮影の撮影条件を定める場合に利用することができる。

なお、第２の撮像素子８０２による画像取得および、その出力信号を撮像素子１４００に入力する処理Ｓ１３０１〜Ｓ１３０５は、第２の実施形態における処理と同様であるため、説明を省略する。

次に、画像処理部１４０８の信号解析部１６０６において、第２の撮像素子８０２からの画像データを解析して、例えば、被写体の輝度値を各画素１４０３毎に算出する（Ｓ１３０５）。そして、その算出結果をもとに、感度、絞り値、露光時間等の第１の撮像素子１４００による撮影の撮影条件を設定する（Ｓ１３０６）。

この際に、第３の実施形態においては、信号解析部１６０６の解析結果をもとに、第１の撮像素子１４００内における電荷蓄積時間等の撮影条件を輝度値に応じて異ならせ、より広いダイナミックレンジに対応するように動作させることが可能である。具体的には、被写体の輝度値が高いと推定される画素１４０３に対しては、制御回路１０３を介して、撮像素子１４００の露光時に電荷蓄積時間が短くなるように制御を行う。逆に、被写体の輝度値が低いと推定される画素１４０３に対しては、電荷蓄積時間が長くなるように制御を行う。このように制御することで、通常の撮影時よりもダイナミックレンジが広い画像を取得することが可能である。また同様に、信号解析部１６０６における被写体輝度の解析結果をもとに、部分画像処理部１４０７中の信号増幅部における増幅率を、各画素１４０３に対応する被写体輝度毎に制御することでも、同様の効果を得ることができる。

その後、第１の撮像素子１４００による画像取得から画像データ出力までの処理（Ｓ１３０７〜Ｓ１３１０）は、第２の実施形態で説明した処理と同一のため、説明を割愛する。

以上、図１４〜図１６を用いて第３の実施形態に係る撮像装置について説明してきたが、本発明はこれに限定されることはなく、様々な形態を取ることが可能である。

例えば、図１４および図１５を用いて説明した撮像素子１４００の構成においては、２×２の４つの画素１４０３が、接続部１４０４、接続部１４０５、貫通電極１４０６、部分画像処理部１４０７を共有する構成として説明した。しかしながら、本発明はこれに限定されるものではなく、より多くの画素１４０３で共有するような構成でも構わないし、逆に、１つの画素１４０３で占有するような構成でも構わない。

また例えば、図１６を用いて説明した画像処理部１４０８の構成の説明においては、基準レベル調整部１６０２や信号解析部１６０６は、各部分画像処理部１４０７毎に備える構成であると説明した。しかしながら、本発明はこれに限定されるものではなく、それらは、画像処理部１０８内に１つ備えるような構成であっても構わない。

また、図１〜図１６を用いて、第１から第３の実施形態に係る撮像装置について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、図１を用いて説明した撮像素子３０２においては、撮像素子３０２は、２枚の基板が積層された構造として説明した。しかしながら、本発明はこれに限定されるものではなく、１枚の基板上に受光部１０４、画像処理部１０８等の全ての要素が含まれるような構造であってもよいし、逆に３枚以上の基板が積層された構造でも構わない。

また例えば、図３および図８を用いて説明した撮像装置においては、撮像素子が生成する画像データに対する各種画像処理は全て撮像素子３０２内の画像処理部１０８で行うものとし、撮像素子外部に画像処理回路は備えない構成として説明した。しかしながら、本発明はこれに限定されるものではなく、撮像素子３０２とは別に画像処理回路を備え、撮影した画像データに対する各種画像処理を、撮像素子内の画像処理部１０８と撮像素子外部の画像処理回路とで分担するような構成であってもよい。

また例えば、図１を用いて説明した撮像素子３０２においては、インターフェース部１１０において、端子数削減のために、画像データをインターフェース部１１０から撮像素子３０２の外部へ出力する端子と、画像データを撮像素子３０２の外部からインターフェース部１１０に入力する端子を共通とする構成として説明した。しかしながら、本発明はこれに限定されるものではなく、入力端子と出力端子をそれぞれ独立に、別々に備えるような構成でも構わない。特に第２の実施形態のように第１の撮像素子３０２に画像信号が入力される頻度が高い構成や用途においては、あえて入力端子と出力端子を共通とせず、別々に備える構成の方が望ましい。

１０３，１４０３：制御回路、１０４，１４０４：受光部、１０５：ＡＤ変換部、１０６，１０７：接続部、１０８，１４０８：画像処理部、１０９：メモリ部、１１０：インターフェース部、１１１：出力部、１１２：入力部、２０５，１６０５：画像合成部、２０６，１６０６：信号解析部、３０２，１４００：撮像素子、３０６，１４０３：制御回路、７０２：受光部、７０４：出力部、８０２：第２の撮像素子、１４０３：画素、１４０４，１４０５：接続部、１４０６：貫通電極、１４０７：部分画像処理部

Claims (29)

1. 第１の基板と第２の基板が互いに積層されたイメージセンサであって、
   前記第１の基板が、
   複数の光電変換素子が配置された受光部と、
   前記受光部により生成されたアナログ画像信号を第１の画像データに変換するＡＤ変換部とを備え、
   前記第２の基板が、
   前記イメージセンサの外部から第２の画像データが入力される入力部と、
   前記第１の画像データまたは前記第２の画像データに画像処理を施す画像処理部と、
   前記画像処理部により画像処理を施された前記第１の画像データまたは前記第２の画像データを、前記イメージセンサの外部に出力するための出力部とを備える
   ことを特徴とするイメージセンサ。
2. 前記第１の基板と前記第２の基板とが１つにパッケージされていることを特徴とする請求項１に記載のイメージセンサ。
3. 前記受光部による撮像のタイミングと、前記入力部に前記第２の画像データが入力されるタイミングが異なることを特徴とする請求項１または２に記載のイメージセンサ。
4. 前記ＡＤ変換部から得られた前記第１の画像データを前記画像処理部に供給する供給部を前記入力部とは独立して備えることを特徴とする請求項１乃至３のいずれか１項に記載のイメージセンサ。
5. 前記入力部から入力される前記第２の画像データは、少なくとも表示、記録、分析のいずれかに用いられることを特徴とする請求項１乃至４のいずれか１項に記載のイメージセンサ。
6. 前記画像処理部は、前記入力部に入力された前記第２の画像データの現像処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載のイメージセンサ。
7. 前記画像処理部は、前記ＡＤ変換部から得られた前記第１の画像データと、前記入力部から入力された前記第２の画像データとを合成する合成処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載のイメージセンサ。
8. 前記画像処理部は、前記ＡＤ変換部から得られた前記第１の画像データと、前記入力部から入力された前記第２の画像データにそれぞれ異なるゲインをかけて合成することを特徴とする請求項７に記載のイメージセンサ。
9. 前記画像処理部は、前記ＡＤ変換部から得られた前記第１の画像データと、前記入力部から入力された前記第２の画像データを平均して合成することを特徴とする請求項７に記載のイメージセンサ。
10. 前記画像処理部は、前記ＡＤ変換部から得られた前記第１の画像データから、前記入力部から入力された前記第２の画像データを差し引くことを特徴とする請求項１乃至６のいずれか１項に記載のイメージセンサ。
11. 予め決められた数の光電変換素子毎に前記画像処理部を備えることを特徴とする請求項１乃至１０のいずれか１項に記載のイメージセンサ。
12. 前記予め決められた数の光電変換素子毎に備えられた複数の接続部を有し、
    前記画像処理部は、前記複数の接続部それぞれに対して備えられていることを特徴とする請求項１１に記載のイメージセンサ。
13. 前記入力部を構成する端子と、前記出力部を構成する端子とを、共通の端子により構成したことを特徴とする請求項１乃至１２のいずれか１項に記載のイメージセンサ。
14. 前記第１の基板と前記第２の基板は、電気的に接合されていることを特徴とする請求項１乃至１３のいずれか１項に記載のイメージセンサ。
15. 請求項１乃至１４のいずれか１項に記載のイメージセンサと、
    該イメージセンサから出力された画像データの表示処理部と、
    記録処理部と、
    を有する撮像装置。
16. 第１の基板と第２の基板が互いに積層され、前記第１の基板が、複数の光電変換素子が配置された受光部と、前記受光部により生成されたアナログ信号を第１の画像データに変換するＡＤ変換部とを備え、前記第２の基板が、外部から第２の画像データが入力される入力部と、前記第１の画像データまたは前記第２の画像データに画像処理を施す画像処理部と、前記画像処理部により画像処理を施された第１の画像データまたは第２の画像データを外部に出力するための出力部とを備えた第１のイメージセンサと、
    複数の光電変換素子が配置された受光部と、前記受光部により生成されたアナログ信号を前記第２の画像データに変換するＡＤ変換部とを有する撮像部を備えた第２のイメージセンサと、を有し、
    前記画像処理部は、前記第２のイメージセンサから前記第１のイメージセンサの前記入力部に入力された前記第２の画像データに画像処理を施すことを特徴とする撮像装置。
17. 前記第１のイメージセンサおよび前記第２のイメージセンサを制御する制御部をさらに有することを特徴とする請求項１６に記載の撮像装置。
18. 前記第１の基板と前記第２の基板とが１つにパッケージされていることを特徴とする請求項１６または１７に記載の撮像装置。
19. 前記受光部による撮像のタイミングと、前記入力部に前記第２の画像データが入力されるタイミングが異なることを特徴とする請求項１６乃至１８のいずれか１項に記載の撮像装置。
20. 前記入力部から入力される前記第２の画像データは、少なくとも表示、記録、分析のいずれかに用いられることを特徴とする請求項１６乃至１９のいずれか１項に記載の撮像装置。
21. 前記画像処理部は、前記入力部に入力された前記第２の画像データの現像処理を行うことを特徴とする請求項１６乃至２０のいずれか１項に記載の撮像装置。
22. 前記画像処理部は、前記ＡＤ変換部から得られた前記第１の画像データの現像処理を施すことを特徴とする請求項１６乃至２１のいずれか１項に記載の撮像装置。
23. 前記画像処理部は、前記ＡＤ変換部から得られた前記第１の画像データと、前記入力部から入力された前記第２の画像データとを合成する合成処理を行うことを特徴とする請求項１６乃至２１のいずれか１項に記載の撮像装置。
24. 前記第１のイメージセンサにより静止画を撮影し、前記第２のイメージセンサにより動画を撮影することを特徴とする請求項１６乃至１９のいずれか１項に記載の撮像装置。
25. 前記第１のイメージセンサにより動画を撮影し、前記第２のイメージセンサにより静止画を撮影することを特徴とする請求項１６乃至１９のいずれか１項に記載の撮像装置。
26. 前記第１のイメージセンサと前記第２のイメージセンサは、予め決められた視差をもって、同じ被写体を撮影することを特徴とする請求項１６乃至１９のいずれか１項に記載の撮像装置。
27. 前記第１のイメージセンサおよび前記第２のイメージセンサにより、フレームの位相が互いに異なる動画を撮影することを特徴とする請求項１６乃至１９のいずれか１項に記載の撮像装置。
28. 前記第１のイメージセンサの前記第１の基板と前記第２の基板は、電気的に接合されていることを特徴とする請求項１６乃至２７のいずれか１項に記載の撮像装置。
29. さらに画像データの表示処理部と、記録処理部とを有することを特徴とする請求項１６乃至２８のいずれか１項に記載の撮像装置。

Images