JP5181999B2 - 固体撮像素子、光学装置、信号処理装置及び信号処理システム - Google Patents

Description

本発明は、固体撮像素子、固体撮像素子を備えた光学装置、光学装置が接続される信号処理装置、光学装置と信号処理装置を備えた信号処理システムに関する。詳しくは、固体撮像素子から読み出される画素信号で、外部から入力される光を変調して、光信号として出力できるようにしたものである。

回路基板の高速化、高集積化が進み、信号遅延、ＥＭＩの発生等の問題への対応が急務になってきている。電気配線により問題になっていた信号遅延、信号劣化、及び配線から放射される電磁干渉ノイズについて解決され、かつ高速伝送が可能である光配線技術が注目されている。

基板内の光による高速信号伝送の技術については、光インターコネクションと称される技術が提案されている（例えば、特許文献１参照）。特許文献１では、二次元光導波路層と、発振モードを切り替えられる半導体レーザと、半導体レーザからの出射光の光路を切り替える光路交換構造体を有する。

光路交換構造体は、半導体レーザの発振モードの切り替えに応じて、光導波路層における放射角を変化させ、出射光が光導波路層を伝播するように配置される。これにより、二次元光導波路層における光伝送信号において、伝播状態を選択することが可能になり、発光素子、受光素子の配置の自由度を大きくし、柔軟に光信号伝送の再構成を実現している。

このような光インターコネクションの技術を、特に平面ディスプレイの駆動等に用いるＴＦＴへ応用した技術としては、大型化、大容量表示化にともなう信号の遅延に、光を信号伝送に用いる技術が検討されている。

一方、カメラ本体部に着脱可能に構成されたレンズに固体撮像素子を備えると共に、固体撮像素子から出力される信号を光でカメラ本体部に伝達できるようにした技術が提案されている（例えば、特許文献２参照）。

特開２００４−２１９８８２号公報 特開２００６−１９６９７２号公報

しかし、特許文献２に記載の技術では、撮像素子が実装されている基板に発光素子が実装されており、発光素子で発生する熱が、撮像素子に影響を及ぼす可能性があった。

本発明は、このような課題を解決するためになされたもので、外部から入力される光を、画素部から読み出される画素信号で変調して、光信号として出力できるようにした固体撮像素子、固体撮像素子を備えた光学装置、光学装置が接続される信号処理装置、光学装置と信号処理装置を備えた信号処理システムを提供することを目的とする。

上述した課題を解決するため、本発明の固体撮像素子は、光を電気信号に変換する画素部と、画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、外部から入力された光を、Ａ／Ｄ変換部でディジタル化された信号で変調して、画素部から読み出された信号に基づく信号光を出力する光変調部と、画素部とＡ／Ｄ変換部と光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、信号の読み出しを制御する制御部を備え、画素部、Ａ／Ｄ変換部、光変調部、タイミング発生部及び制御部が単一の基板に集積形成され、１チップ化され、タイミング発生部から画素部に同期信号を供給する配線と、タイミング発生部からＡ／Ｄ変換部に同期信号を供給する配線と、タイミング発生部から光変調部に同期信号を供給する配線を、等長配線としたものである。

本発明の光学装置は、入射された光を電気信号に変換する固体撮像素子と、固体撮像素子に光を入射させる光学素子を備え、固体撮像素子は、光を電気信号に変換する画素部と、画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、外部から入力された光を、Ａ／Ｄ変換部でディジタル化された信号で変調して、画素部から読み出された信号に基づく信号光を出力する光変調部と、画素部とＡ／Ｄ変換部と光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、信号の読み出しを制御する制御部を備え、画素部、Ａ／Ｄ変換部、光変調部、タイミング発生部及び制御部が単一の基板に集積形成され、１チップ化され、タイミング発生部から画素部に同期信号を供給する配線と、タイミング発生部からＡ／Ｄ変換部に同期信号を供給する配線と、タイミング発生部から光変調部に同期信号を供給する配線を、等長配線としたものである。

本発明の信号処理装置は、入射された光を電気信号に変換する固体撮像素子及び固体撮像素子に光を入射させる光学素子を有し、固体撮像素子は、光を電気信号に変換する画素部と、画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、外部から入力された光を、Ａ／Ｄ変換部でディジタル化された信号で変調して、画素部から読み出された信号に基づく信号光を出力する光変調部と、画素部とＡ／Ｄ変換部と光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、信号の読み出しを制御する制御部とを有し、画素部、Ａ／Ｄ変換部、光変調部、タイミング発生部及び制御部が単一の基板に集積形成され、１チップ化され、タイミング発生部から画素部に同期信号を供給する配線と、タイミング発生部からＡ／Ｄ変換部に同期信号を供給する配線と、タイミング発生部から光変調部に同期信号を供給する配線を、等長配線とした光学装置が接続され、固体撮像素子の光変調部に入力される光を出力する発光部と、固体撮像素子の光変調部から出力される信号光が入力される受光部と、固体撮像素子に画素部からの信号の読み出しを制御する読み出し制御部と、画素部から読み出されて固体撮像素子から光通信で入力される信号に処理を行う信号処理部とを備えたものである。

本発明の信号処理システムは、入射された光を電気信号に変換する固体撮像素子及び固体撮像素子に光を入射させる光学素子を有した光学装置と、光学装置が接続される信号処理装置を備え、固体撮像素子は、光を電気信号に変換する画素部と、画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、外部から入力された光を、Ａ／Ｄ変換部でディジタル化された信号で変調して、画素部から読み出された信号に基づく信号光を出力する光変調部と、画素部とＡ／Ｄ変換部と光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、信号の読み出しを制御する制御部とを備え、画素部、Ａ／Ｄ変換部、光変調部、タイミング発生部及び制御部が単一の基板に集積形成され、１チップ化され、タイミング発生部から画素部に同期信号を供給する配線と、タイミング発生部からＡ／Ｄ変換部に同期信号を供給する配線と、タイミング発生部から光変調部に同期信号を供給する配線を、等長配線とし、信号処理装置は、固体撮像素子の光変調部に入力される光を出力する発光部と、固体撮像素子の光変調部から出力される信号光が入力される受光部と、固体撮像素子に画素部からの信号の読み出しを制御する読み出し制御部と、画素部から読み出されて固体撮像素子から光通信で入力される信号に処理を行う信号処理部とを備えたものである。

本発明では、固体撮像素子に光が入射することで光電変換された電気信号は、タイミング発生部で生成した同期信号に同期させて画素部から読み出され、Ａ／Ｄ変換部に入力される。Ａ／Ｄ変換部に入力された信号はディジタル信号に変換され、タイミング発生部で生成した同期信号に同期させて出力されて、光変調部に入力される。光変調部では、信号処理装置から固体撮像素子に入力された一定の光が、Ａ／Ｄ変換部から入力されたディジタル信号で変調され、画素部から読み出された画素信号に基づく信号光が、タイミング発生部で生成した同期信号に同期させて出力される。さらに、画素部、Ａ／Ｄ変換部、光変調部、タイミング発生部及び制御部が単一の基板に集積形成され、１チップ化されており、タイミング発生部から画素部に同期信号を供給する配線と、タイミング発生部からＡ／Ｄ変換部に同期信号を供給する配線と、タイミング発生部から光変調部に同期信号を供給する配線が、等長配線とされている。

本発明の固体撮像素子によれば、外部から入力される光を、画素部から読み出される画素信号に基づき変調する光変調部を備えることで、固体撮像素子に光を自発光する発光素子を備えることなく、光通信による信号の出力を実現できる。また、信号の入出力を同期信号で同期させることで、画素部に光が入射されることで光電変換された電気信号を、光信号に変換して出力できる。これにより、光通信に起因する熱の発生が抑えられ、画素部に対する熱の影響を小さくできる。また、光通信に起因する消費電力を小さくできる。

従って、固体撮像素子から読み出される信号を、熱の影響を抑えて高速伝送することが可能となる。また、各要素を１チップ化すれば、省スペース化が実現できる。また、設計が容易となり、電気による信号の伝送経路を短くできることから高速伝送がより容易に実現できる。

本発明の光学装置によれば、上述した固体撮像素子を備えることで、固体撮像素子で撮像された光の像を、高速伝送で出力できる。本発明の信号処理装置によれば、上述した光学装置が接続されることで、固体撮像素子で撮像された光の像が高速伝送で入力され、大容量のデータを取得できる。

本発明の信号処理システムによれば、上述した光学装置と信号処理装置を備えることで、固体撮像素子で撮像された光の像が高速伝送可能となり、固体撮像素子の画素数の増大、フレームレートの増大に伴う転送データの大容量化に対応することができる。

以下、図面を参照して本発明の固体撮像素子、固体撮像素子を備えた光学装置、光学装置が接続される信号処理装置、光学装置と信号処理装置を備えた信号処理システムの実施の形態について説明する。

＜第１の実施の形態の固体撮像素子の概要＞
図１は、第１の実施の形態の固体撮像素子の概要を示す機能ブロック図である。第１の実施の形態の固体撮像素子１Ａは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、またはＣＣＤ（Charge Coupled Device）イメージセンサで構成される。固体撮像素子１Ａは、光を電気信号に変換して出力する画素部１０Ａと、画素部１０Ａから出力される電気信号をディジタル信号に変換するＡ／Ｄ変換部１１Ａを備える。画素部１０Ａは、光を電気に変換する画素が２次元または１次元に配列され、入射された光の強度に応じた電気信号が出力される。

固体撮像素子１Ａは、Ａ／Ｄ変換部１１Ａでディジタル化された電気信号を、光信号に変換して出力する光通信部１２Ａを備える。光通信部１２Ａは、外部から入力された光Ｌを変調して、信号光Ｌｓを出力する光変調部１２０を備える。光変調部１２０は、外部から入力されて透過または反射する光を、電圧の変化等による電気信号に基づいて変調する機能を有する。

光通信部１２Ａでは、外部からの一定の光Ｌが光変調部１２０に入力されると共に、Ａ／Ｄ変換部１１Ａでディジタル信号に変換された電気信号が光変調部１２０に入力される。これにより、光変調部１２０は、外部から入力された光Ｌを、Ａ／Ｄ変換部１１Ａから入力された電気信号に基づいて変調することで、画素部１０Ａから読み出される画素データに基づく信号光Ｌｓを出力する。

固体撮像素子１Ａは、動作モードに応じた駆動クロック（ＣＬＫ）を生成し、画素部１０Ａ、Ａ／Ｄ変換部１１Ａ及び光通信部１２Ａの各機能ブロックに供給するタイミングジェネレータ（ＴＧ）１３Ａを備える。また、固体撮像素子１Ａは、制御信号等の入出力が行われる制御Ｉ／Ｏ１４Ａと、電源を供給するＤＣ−ＤＣ部１５Ａと、画素データの読み出しを制御する制御部１６Ａを備える。制御部１６ＡとＤＣ−ＤＣ部１５Ａとタイミングジェネレータ１３Ａは、バス１７に接続されて、制御信号やデータの送受が行われる。固体撮像素子１Ａは、画素信号を光通信で伝送するため、画素信号を電気信号で外部へ伝送するための電極は不要となる。このため、制御Ｉ／Ｏ１４Ａに接続される図示しない電極は、少なくとも電源線とＧＮＤ線と制御線の３本で構成することが可能である。

制御部１６Ａは、ＤＣ−ＤＣ部１５Ａを制御して、固体撮像素子１Ａの電源のオンとオフを切り替える。また、制御部１６Ａは、駆動クロックをタイミングジェネレータ１３Ａで生成して画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａに供給し、駆動クロックに同期させて画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａを動作させる。

画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａは、タイミングジェネレータ１３Ａから供給される駆動クロックで、信号の入出力を同期させる。画素部１０Ａでは、入射される光の像に応じた画素データが、電気信号として読み出される。Ａ／Ｄ変換部１１Ａでは、画素部１０Ａから読み出された画素データが入力され、ディジタル信号に変換されて出力される。光通信部１２Ａでは、Ａ／Ｄ変換部１１Ａでディジタル信号に変換された電気信号が光変調部１２０に入力され、外部から光変調部１２０に入力された光Ｌが、画素部１０Ａから読み出された電気信号に基づき変調されて信号光Ｌｓが出力される。

＜第１の実施の形態の光学装置の概要＞
図２は、光学装置と信号処理装置を備えた信号処理システムの概要を示す機能ブロック図で、まず、固体撮像素子を備えた光学装置の概要について説明する。第１の実施の形態の光学装置２Ａは、上述した固体撮像素子１Ａと、レンズ部２０と、固体撮像素子１Ａとレンズ部２０等が実装されるハウジング２１を備える。レンズ部２０は光学素子の一例で、１枚のレンズまたは複数枚のレンズを組み合わせて構成される。

光学装置２Ａは、固体撮像素子１Ａの画素部１０Ａが、レンズ部２０の焦点位置に合うように構成され、レンズ部２０から入射した光の像が、固体撮像素子１Ａの画素部１０Ａに結像される。

光学装置２Ａは、撮像対象物との距離によらず、レンズ部２０の焦点位置を固体撮像素子１Ａの画素部１０Ａに合わせるため、例えば、固体撮像素子１Ａに対してレンズ部２０を光軸方向に移動させる焦点合わせ機構を備えている。

＜第１の実施の形態の信号処理装置の概要＞
次に、図２を参照して信号処理装置の概要について説明する。第１の実施の形態の信号処理装置３Ａは、光信号を電気信号に変換する光通信部３０Ａと、制御信号等の入出力が行われる制御Ｉ／Ｏ３１Ａを備え、上述した光学装置２Ａと接続される。信号処理装置３Ａは、光学装置２Ａが接続されると、光通信部３０Ａが固体撮像素子１Ａの光通信部１２Ａと光学的に結合される。また、制御Ｉ／Ｏ３１Ａが固体撮像素子１Ａの制御Ｉ／Ｏ１４Ａと接続される。

信号処理装置３Ａは、ユーザによる操作を受ける操作部３２Ａと、操作部３２Ａでの操作に基づいて、光学装置２Ａの固体撮像素子１Ａに画素データの読み出しを指示する読み出し制御部３３Ａを備える。

信号処理装置３Ａは、制御Ｉ／Ｏ３１Ａから光学装置２Ａの固体撮像素子１Ａに画素データの読み出しを指示し、自機の光通信部３０Ａと固体撮像素子１Ａの光通信部１２Ａとの間で光通信を行って、固体撮像素子１Ａから画素データを取得する。

光通信部３０Ａは、固体撮像素子１Ａの光変調部１２０に入力される光Ｌを出力する発光部３００と、光変調部１２０から出力される信号光Ｌｓが入力される受光部３０１を備える。発光部３００は、半導体レーザ（ＬＤ）等の発光素子を有し、一定の連続した光Ｌを出力する。受光部３０１は、フォトダイオード（ＰＤ）等の受光素子を有し、信号処理装置３Ａの発光部３００から出力した光Ｌを、固体撮像素子１Ａの光変調部１２０で変調した信号光Ｌｓが入力されて、光信号で入力される画素データを電気信号に変換して出力する。

信号処理装置３Ａは、固体撮像素子１Ａと光通信を行って取得した画素データに所定の信号処理を行い、画像データを生成する信号処理部３４Ａを備える。また、信号処理装置３Ａは、固体撮像素子１Ａから取得した画素データを保持するデータ保持部３５Ａと、信号処理部３４Ａで生成された画像データから画像を表示する表示部３６Ａを備える。

信号処理装置３Ａは、自機及び光学装置２Ａに電源を供給する電源３７Ａと、電源の供給を制御する電源制御部３８Ａを備える。電源制御部３８Ａは、信号処理装置３Ａの電源をオンとする操作、及び電源をオフとする操作に基づき、信号処理装置３Ａに対する電源の供給の有無と、光学装置２Ａに対する電源の供給の有無を、所定の順番で切り替える電源供給制御を行う。

＜第１の実施の形態の信号処理システムの概要＞
次に、図２を参照して信号処理システムの概要について説明する。第１の実施の形態の信号処理システム４Ａは、上述した光学装置２Ａと信号処理装置３Ａを備え、例えば、光学装置２Ａが信号処理装置３Ａに対して着脱可能で交換できるように構成される。

信号処理システム４Ａは、信号処理装置３Ａに光学装置２Ａが接続されると、信号処理装置３Ａの光通信部３０Ａと、光学装置２Ａを構成する固体撮像素子１Ａの光通信部１２Ａが光学的に結合される。また、信号処理装置３Ａの制御Ｉ／Ｏ３１Ａと、固体撮像素子１Ａの制御Ｉ／Ｏ１４Ａが接続される。

これにより、信号処理システム４Ａは、固体撮像素子１Ａの光通信部１２Ａと、信号処理装置３Ａの光通信部３０Ａによって、光学装置２Ａと信号処理装置３Ａとの間でデータが光信号で入出力される。

また、信号処理システム４Ａは、信号処理装置３Ａの制御Ｉ／Ｏ３１Ａと、固体撮像素子１Ａの制御Ｉ／Ｏ１４Ａによって、信号処理装置３Ａと光学装置２Ａとの間で制御信号が入出力される。

信号処理システム４Ａは、信号処理装置３Ａの操作部３２Ａでユーザの操作を受け、操作部３２Ａでの操作に基づいて、信号処理装置３Ａの読み出し制御部３３Ａが、画素データの読み出しを指示する制御信号を出力する。

信号処理システム４Ａは、信号処理装置３Ａの制御Ｉ／Ｏ３１Ａと、光学装置２Ａの制御Ｉ／Ｏ１４Ａによって、画素データの読み出しを指示する制御信号が光学装置２Ａの固体撮像素子１Ａに入力される。

信号処理システム４Ａは、画素データの読み出しを指示する制御信号が光学装置２Ａの固体撮像素子１Ａに入力されると、固体撮像素子１Ａの制御部１６Ａが、タイミングジェネレータ１３Ａで駆動クロックを生成する。

タイミングジェネレータ１３Ａで生成された駆動クロックは、画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａに供給され、画素部１０Ａでは画素データが電気信号として読み出される。Ａ／Ｄ変換部１１Ａでは、画素部１０Ａから読み出された画素データが入力され、ディジタル信号に変換されて出力される。光通信部１２Ａでは、Ａ／Ｄ変換部１１Ａでディジタル信号に変換された電気信号が光変調部１２０に入力され、外部から光変調部１２０に入力された光Ｌが、画素部１０Ａから読み出された電気信号に基づき変調されて信号光Ｌｓが出力される。

信号処理システム４Ａは、固体撮像素子１Ａの光通信部１２Ａと、信号処理装置３Ａの光通信部３０Ａによって、固体撮像素子１Ａで読み出された画素データが、光通信で信号処理装置３Ａに入力される。

信号処理システム４Ａは、固体撮像素子１Ａで読み出された画素データが、光通信で信号処理装置３Ａに入力されると、信号処理装置３Ａの光通信部３０Ａが、光信号で入力される画素データを電気信号に変換して出力する。

信号処理システム４Ａは、信号処理装置３Ａの光通信部３０Ａで電気信号に変換された画素データに、信号処理装置３Ａの信号処理部３４Ａが所定の信号処理を行って画像データを生成し、例えば表示部３６Ａに画像を表示する。

＜固体撮像素子の光通信部の構成例＞
図３は、固体撮像素子の光通信部の一例を示す構成図、図４は、印加電圧と光の吸収量の関係を示すグラフである。固体撮像素子１Ａの光通信部１２Ａは、光変調部１２０として、電界吸収型光変調器１２０Ａを備える。電界吸収型光変調器１２０Ａは、量子井戸と呼ばれる半導体の微細構造に電界を印加すると、半導体のバンド構造が変化し、光の吸収量が変化する現象を利用している。

電界吸収型光変調器１２０Ａは、多重量子井戸構造を有する導波路層５０１を、Ｐ層５０２ａとＮ層５０２ｂで挟む構成である。電界吸収型光変調器１２０Ａにおける導波路層５０１の光吸収量は、バイアス電圧によって、図４に示すように吸収帯域がシフトする。これにより、例えばλ２の波長の光を導波路層５０１に入力した場合、印加電圧があると光が吸収され、印加電圧が無いと光が透過し、導波路層５０１に入力された光が、印加される電圧に応じて損失が変化することで強度変調される。

固体撮像素子１Ａでは、Ａ／Ｄ変換部１１Ａから出力される電気信号に応じた電圧を電界吸収型光変調器１２０Ａに印加することで、光の変調を実現する。そこで、固体撮像素子１Ａの光通信部１２Ａは、信号処理装置３Ａに光学装置２Ａが接続されると、信号処理装置３Ａの発光部３００から出力された光Ｌが電界吸収型光変調器１２０Ａの導波路層５０１に入力されるように構成される。また、電界吸収型光変調器１２０Ａの導波路層５０１を透過して変調された信号光Ｌｓが、信号処理装置３Ａの受光部３０１に入力されるように構成される。更に、Ａ／Ｄ変換部１１Ａでディジタル信号に変換されて出力される電気信号による電圧が、電界吸収型光変調器１２０ＡのＰ層５０２ａとＮ層５０２ｂに印加されるように構成される。

これにより、固体撮像素子１Ａの光通信部１２Ａは、信号処理装置３Ａの発光部３００から電界吸収型光変調器１２０Ａに入力された光Ｌが、画素部１０Ａから読み出されてディジタル化された電気信号Ｄｓに基づき変調され、信号光Ｌｓとして出力される。

図５は、固体撮像素子の光通信部の他の例を示す構成図である。固体撮像素子１Ａの光通信部１２Ａは、光変調部１２０として、マッハツェンダ型光変調器１２０Ｂを備える。マッハツェンダ型光変調器１２０Ｂは、電圧を印加することによって屈折率が変わる電気光学効果（ポッケルス効果）を利用している。電気光学効果を利用した光変調器では、印加する電圧によって、光の位相を変調することができる。

マッハツェンダ型光変調器１２０Ｂでは、電気光学効果で生じる光の位相差を利用して、マッハツェンダ干渉計を構成する２本の導波路で光路長差を生じさせることで光を干渉させ、光のオンとオフを実現している。

マッハツェンダ型光変調器１２０Ｂは、ニオブ酸リチウム（ＬｉＮｂＯ₃）等の強誘電体結晶の基板５０３に、分岐部５０４ａと結合部５０４ｂにより第１の導波路５０５ａと第２の導波路５０５ｂに分岐結合される光導波路５０５を備える。また、電圧を印加する電極５０６を備える。なお、マッハツェンダ型光変調器１２１Ｃは、ＧａＡｓ（ガリウム砒素）やＩｎＰ（インジウムリン）等の半導体材料を用いて構成しても良い。半導体材料によるマッハツェンダ型光変調器１２１Ｃは、半導体プロセスによりＩｎＰ基板上に作成され、ＬｉＮｂＯ₃によるマッハツェンダ型変調器に比べて、より小型化が可能である。

マッハツェンダ型光変調器１２０Ｂは、第１の導波路５０５ａと第２の導波路５０５ｂを通過する光の位相がπだけずれるような電圧Ｖ１を印加すると、分岐部５０４ａで分岐した光は、位相がπだけずれて結合部５０４ｂで合波される。位相がπだけずれて合波した光は、干渉により互いに打ち消しあい、出力は０となる。

一方、第１の導波路５０５ａと第２の導波路５０５ｂを通過する光の位相にずれが生じないような電圧Ｖ０を印加すると、分岐部５０４ａで分岐した光は、同位相で結合部５０４ｂで合波される。同位相で合波した光は、干渉により強めあい、出力は１となる。

このように、マッハツェンダ型光変調器１２０Ｂは、位相がπずれる電圧を印加することで、光のオン／オフ制御が実現される。

固体撮像素子１Ａでは、Ａ／Ｄ変換部１１Ａから出力される電気信号に応じた電圧をマッハツェンダ型光変調器１２０Ｂに印加することで、光の変調を実現する。そこで、固体撮像素子１Ａの光通信部１２Ａは、信号処理装置３Ａに光学装置２Ａが接続されると、信号処理装置３Ａの発光部３００から出力された光Ｌがマッハツェンダ型光変調器１２０Ｂの光導波路５０５の入力端に入力されるように構成される。また、マッハツェンダ型光変調器１２０Ｂの第１の導波路５０５ａと第２の導波路５０５ｂを通過して変調され、光導波路５０５の出力端から出力された信号光Ｌｓが、信号処理装置３Ａの受光部３０１に入力されるように構成される。更に、Ａ／Ｄ変換部１１Ａでディジタル信号に変換されて出力される電気信号による電圧が、マッハツェンダ型光変調器１２０Ｂの電極５０６に印加されるように構成される。

これにより、固体撮像素子１Ａの光通信部１２Ａは、信号処理装置３Ａの発光部３００からマッハツェンダ型光変調器１２０Ｂに入力された光Ｌが、画素部１０Ａから読み出されてディジタル化された電気信号Ｄｓに基づき変調され、信号光Ｌｓとして出力される。

図６は、固体撮像素子の光通信部の他の例を示す構成図である。固体撮像素子１Ａの光通信部１２Ａは、光変調部１２０として、ミラー部１２０Ｃを備える。ミラー部１２０Ｃは、ＭＥＭＳ（Micro Electro Mechanical Systems）技術を利用して形成されたマイクロミラーデバイス（DMD; Digital Micromirror Device）である。

ミラー部１２０Ｃは、例えばシリコン（Ｓｉ）の基板５０７上に、反射ミラー５０８と、反射ミラー５０８に取り付けられるヨーク５０９と、反射ミラー５０８をヨーク５０９に固定するミラーサポートホスト５１０を備える。反射ミラー５０８とヨーク５０９は、ヒンジ５１１により基板５０７に支持される。ヨーク５０９の先端には緩衝板５０９ａが形成される。ヒンジ５１１は、変形かつ復元する弾性を有する。基板５０７にはアドレス電極５１２が形成される。アドレス電極５１２は、ヨーク５０９及び反射ミラー５０８と対向する。ヨーク５０９と反射ミラー５０８は、バイアスリセットバス５１３に機械的及び電気的に接続される。

ミラー部１２０Ｃは、バイアス電圧を印加すると共に、アドレス電極５１２に電圧を印加すると、静電引力が反射ミラー５０８とアドレス電極５１２の間、及びヨーク５０９とアドレス電極５１２の間に作用して静電トルクを発生する。これにより、反射ミラー５０８とヨーク５０９は、緩衝板５０９ａが着地、停止するまで回転して、反射ミラー５０８が傾けられる。バイアス電圧が無印加の場合には、ヒンジ５１１の復元力で、反射ミラー５０８とヨーク５０９は水平位置で安定する。

このように、ミラー部１２０Ｃは、反射ミラー５０８に入力される光が反射される方向が、電圧の印加の有無で変化し、受光側では、反射ミラー５０８の角度によって受光量が変わるので、光のオン／オフ制御が実現される。

固体撮像素子１Ａでは、Ａ／Ｄ変換部１１Ａから出力される電気信号に応じた電圧をミラー部１２０Ｃに印加することで、光の変調を実現する。そこで、固体撮像素子１Ａの光通信部１２Ａは、信号処理装置３Ａに光学装置２Ａが接続されると、信号処理装置３Ａの発光部３００から出力された光Ｌがミラー部１２０Ｃの反射ミラー５０８に入力されるように構成される。また、反射ミラー５０８で反射される光が、電圧が印加されていないときの反射ミラー５０８の角度では、例えば信号処理装置３Ａの受光部３０１に入力され、電圧が印加されたときの角度では入力されないように構成される。更に、Ａ／Ｄ変換部１１Ａでディジタル信号に変換されて出力される電気信号による電圧が、ミラー部１２０Ｃに印加されるように構成される。

これにより、固体撮像素子１Ａの光通信部１２Ａは、信号処理装置３Ａの発光部３００からミラー部１２０Ｃに入力された光Ｌが、画素部１０Ａから読み出されてディジタル化された電気信号Ｄｓに基づき変調され、信号光Ｌｓとして出力される。

＜第１の実施の形態の信号処理システムの電源供給制御例＞
図７は、電源オン時の処理の流れを示すフローチャート、図８は、電源オフ時の処理の流れを示すフローチャートで、次に、電源オン時及び電源オフ時の電源供給制御例について説明する。

まず、電源オン時の処理について、各図を参照して説明する。信号処理システム４Ａでは、電源オン時に信号処理装置３Ａから光学装置２Ａの固体撮像素子１Ａの順で電源が入れられ、かつ、信号処理装置３Ａの光通信部３０Ａでは、受光部３０１から発光部３００の順で電源が入れられるように電源供給制御が行われる。

すなわち、図示しない電源のスイッチで、信号処理システム４Ａの電源をオンにする操作が行われると、図７のステップＳＡ１の処理で、信号処理装置３Ａに電源が供給される。信号処理装置３Ａに電源が供給されると、信号処理装置３Ａの電源制御部３８Ａは、図７のステップＳＡ２の処理で、信号処理装置３Ａの受光部３０１に電源を供給する。

信号処理装置３Ａの電源制御部３８Ａは、自機の受光部３０１への電源の供給を開始した後、図７のステップＳＡ３の処理で、光学装置２Ａの固体撮像素子１Ａに電源を供給する。

図２に示す構成の信号処理システム４Ａでは、電源３７Ａが信号処理装置３Ａに備えられており、信号処理装置３Ａの制御Ｉ／Ｏ３１Ａと、固体撮像素子１Ａの制御Ｉ／Ｏ１４Ａによって、信号処理装置３Ａから光学装置２Ａへの電源の供給が行われる。

固体撮像素子１ＡのＤＣ−ＤＣ部１５Ａは、信号処理装置３Ａから電源の供給を受けると、図７のステップＳＡ４の処理で、固体撮像素子１Ａの光変調部１２０に電源を供給する。詳細には、光通信部１２Ａの図示しない駆動部に電源が供給され、その後に、光変調部１２０に電源が入る。これにより、光変調部１２０の駆動部の出力段が不定の状態で光変調部１２０に電源が供給されることによる出力段の故障を防ぐことができる。その後、図７のステップＳＡ５の処理で、画素部１０Ａをはじめとする撮像動作に関わる機能ブロックに電源を供給する。固体撮像素子１Ａの電源投入時にこの順番を守ることで、光通信部１２Ａが駆動可能な状態となる前に光通信部１２Ａに画素データが入力されることで発生する、光通信部１２Ａの駆動部の入力段の故障や破壊を防ぐことができる。

信号処理装置３Ａの電源制御部３８Ａは、固体撮像素子１Ａに電源が供給されて、光変調部１２０に電源が供給されると、図７のステップＳＡ６の処理で、信号処理装置３Ａの発光部３００に電源を供給する。

これにより、信号処理装置３Ａの受光部３０１、固体撮像素子１Ａの光変調部１２０、信号処理装置３Ａの発光部３００の順で電源が入れられる。

上述したように、受光部側から発光部側の順で電源が入れられると、信号処理装置３Ａの読み出し制御部３３Ａは、図７のステップＳＡ７の処理で、画素データの読み出しを指示する制御信号を出力して、固体撮像素子１Ａからの画素データの読み出しを開始する。

次に、電源オフ時の処理について、各図を参照して説明する。信号処理システム４Ａでは、電源オフ時に光学装置２Ａの固体撮像素子１Ａから信号処理装置３Ａの順で電源の供給が停止され、かつ、信号処理装置３Ａの光通信部３０Ａでは、発光部３００から受光部３０１の順で電源の供給が停止されるように電源供給制御が行われる。

すなわち、図示しない電源のスイッチで、信号処理システム４Ａの電源をオフにする操作が行われると、信号処理装置３Ａの電源制御部３８Ａは、図８のステップＳＢ１の処理で、信号処理装置３Ａの発光部３００への電源供給を停止する。信号処理装置３Ａの電源制御部３８Ａは、自機の発光部３００への電源供給を停止すると、光学装置２Ａに固体撮像素子１Ａの電源供給停止処理を行う制御信号を出力する。固体撮像素子１ＡのＤＣ−ＤＣ部１５Ａは、電源供給停止処理の制御信号により、図８のステップＳＢ２の処理で、固体撮像素子１Ａの画素部１０Ａ等、撮像動作に関わる機能ブロックへの電源供給を停止する。画素部１０Ａ等への電源供給を停止した後、ステップＳＢ３の処理で、固体撮像素子１Ａの光変調部１２０への電源供給を停止する。固体撮像素子１Ａの電源供給停止時にこの順番を守ることで、光通信部１２Ａが駆動されない状態となってから光通信部１２Ａに画素データが入力されることで発生する、光通信部１２Ａの駆動部の入力段の故障や破壊を防ぐことができる。光通信部１２Ａでは、光変調部１２０への電源供給を停止した後に、駆動部への電源供給が停止される。これにより、電源投入時と同様に、光変調部１２０の駆動部の出力段が不定の状態で光変調部１２０に電源が供給され続けることによる出力段の故障を防ぐことができる。

信号処理装置３Ａの電源制御部３８Ａは、固体撮像素子１Ａの光変調部１２０への電源供給を停止させた後、図８のステップＳＢ４の処理で、固体撮像素子１Ａへの電源供給を停止する。

信号処理装置３Ａの電源制御部３８Ａは、固体撮像素子１Ａへの電源供給を停止した後、図８のステップＳＢ５の処理で、信号処理装置３Ａの受光部３０１への電源供給を停止する。

これにより、信号処理装置３Ａの発光部３００、固体撮像素子１Ａの光変調部１２０、信号処理装置３Ａの受光部３０１の順で電源の供給が停止される。

上述したように、発光部側から受光部側の順で電源供給が停止されると、信号処理装置３Ａの電源制御部３８Ａは、図８のステップＳＢ６の処理で、信号処理装置３Ａへの電源供給を停止する。

図９は、発光部の一例を示す構成図である。発光部３００は、例えば面発光型半導体レーザ（ＶＣＳＥＬ）３００Ａが用いられる。面発光型半導体レーザ３００Ａは、ｐ型電極３００ａとｎ型電極３００ｂの間に、上方ブラック反射ミラー（ＤＢＲミラー）３００ｃと、活性層３００ｄと、下方ブラック反射ミラー（ＤＢＲミラー）３００ｅと、ｎ型半導体基板３００ｆが積層される。面発光型半導体レーザ３００Ａは、活性層３００ｄの上下に、誘電体多層膜で構成された上方ブラック反射ミラー３００ｃと下方ブラック反射ミラー３００ｅが形成されることで、ミラー間で共振器が構成される。

次に、面発光型半導体レーザ３００Ａの動作原理について説明する。
（１）ｐ型電極３００ａとｎ型電極３００ｂに電圧を印加し外部から電流を流すことにより、活性層３００ｄにおけるエネルギー準位において、反転分布状態を生じさせる。
（２）活性層３００ｄにおいて、エネルギーギャップに対応するエネルギーを持つ光子が自然放出し、そのホトンが誘導放出を引き起こすことにより、光を増幅する。
（３）活性層３００ｄの上下のミラーにより光は反射され、その一部は再び活性層３００ｄ内へ導かれ、誘導放出により増幅される。
（４）増幅された光の一部がｐ型電極３００ａ側の端面を通過して外部に出射される。

これにより、面発光型半導体レーザ３００Ａは、電圧を印加し所定の電流を流すことにより、連続した一定の光Ｌが出力される。なお、発光部３００としては、端面発光型の半導体レーザでも良い。

半導体レーザで構成される発光部３００は、過大電流が入力すると、ミラー近傍の溶解や破壊が発生する。また、例えば、半導体レーザの駆動のために電流を吸い込むタイプの駆動回路においては、半導体レーザだけに先に電源が入ることで、意図しない電流が流れると、破損する可能性がある。このため、発光部３００内においても、図７のステップＳＡ６で説明した電源オン時には、光通信部１２Ａの光変調部１２０と図示しない駆動部における電源オン時の制御と同様に、図示しない駆動回路に電源を供給した後に、半導体レーザに電源を供給する。また、図８のステップＳＢ１で説明した電源オフ時には、光通信部１２Ａの光変調部１２０と図示しない駆動部における電源オフ時の制御と同様に、半導体レーザへの電源供給を停止した後に駆動回路への電源供給を停止する。

図１０は、受光部の一例を示す機能ブロック図である。受光部３０１は、フォトダイオード３０１ａと、増幅器であるトランスインピーダンスアンプ３０１ｂと、リミッティングアンプ３０１ｃを備える。フォトダイオード３０１ａは電圧（逆バイアス電圧）が印加され、入射した光に応じた電流を出力する。トランスインピーダンスアンプ３０１ｂは、フォトダイオード３０１ａから入力される微弱な電流信号を増幅し、電圧信号に変換する。リミッティングアンプ３０１ｃは、トランスインピーダンスアンプ３０１ｂからの微小信号を、その大きさによらず一定の電圧振幅になるように増幅して出力する。

一般に、フォトダイオード３０１ａの直後に使用されるトランスインピーダンスアンプ３０１ｂは、高速、高感度のため、入力段に保護回路が無い。一方、リミッティングアンプ３０１ｃは、電圧入力であるので静電対策が施されている。

これにより、フォトダイオードに意図しない強度の光が入力すると、増幅器が破壊する可能性がある。また、想定された規格を超える電圧が印加されると、フォトダイオードが破壊する可能性がある。このため、図７及び図８のフローチャートで説明した処理で電源のオンとオフを制御する。

図７及び図８の処理では、電源オン時には、信号処理装置３Ａから固体撮像素子１Ａの順で電源が入る。また、信号処理装置３Ａでは、読み出し制御部３３Ａ等の制御系の電源が入れられてから、光通信部３０Ａの電源が入れられる。更に、光通信部３０Ａでは、受光部３０１の電源が入れられてから、発光部３００の電源が入れられる。また、発光部３００は、固体撮像素子１Ａの光変調部１２０の電源が入れられてから、電源が入れられる。発光部３００は、図示しない駆動回路の電源が入れられた後に半導体レーザの電源が入れられる。更に、固体撮像素子１Ａでは、制御部１６Ａ等の電源が入れられてから、光通信部１２Ａの駆動部の電源が入れられた後、光変調部１２０の電源が入れられる。その後、撮像動作に関わる画素部１０Ａをはじめとする機能ブロックの電源が入れられる。

図７及び図８の処理では、電源オフ時には、固体撮像素子１Ａから信号処理装置３Ａの順で電源が切られる。また、信号処理装置３Ａでは、光通信部３０Ａの電源が切られてから、読み出し制御部３３Ａ等の電源が切られる。更に、光通信部３０Ａでは、発光部３００の電源が切られてから、受光部３０１の電源が切られる。また、発光部３００は、固体撮像素子１Ａの光変調部１２０の電源が切られる前に、電源が切られる。発光部３００は、半導体レーザの電源が切られてから駆動回路の電源が切られる。更に、固体撮像素子１Ａでは、撮像動作に関わる画素部１０Ａ等の機能ブロックの電源が切られ、その後、光通信部１２Ａの電源が切られる。光通信部１２Ａでは、光変調部１２０の電源が切られてから、駆動部の電源が切られる。そして、光通信部１２Ａの電源が切られてから、制御部１６Ａ等の電源が切られる。

これにより、信号処理装置３Ａでは、光通信部３０Ａを制御できる状態でなければ、光通信部３０Ａに電源が供給されない。また、受光部３０１で光を受信できる状態でなければ、発光部３００は駆動されない。更に、固体撮像素子１Ａで光変調部１２０を制御できる状態でなければ、発光部３００は駆動されない。

従って、信号処理装置３Ａの光通信部３０Ａにおいて、発光部３００の半導体レーザだけに先に電源が入ることで意図しない電流が流れて、破壊することを防ぐことができる。また、信号処理装置３Ａの光通信部３０Ａにおいて、受光部３０１のフォトダイオードに意図しない強度の光が入力して、増幅器が破壊することを防ぐことができる。更に、想定された規格を超える電圧が印加されて、フォトダイオードが破壊することを防ぐことができる。

＜第１の実施の形態の固体撮像素子の具体例＞
図１１は、第１の実施の形態の固体撮像素子の具体例を示す機能ブロック図である。以下の説明では、固体撮像素子１Ａは、ＣＭＯＳイメージセンサで構成される。

ＣＭＯＳイメージセンサを構成する固体撮像素子１Ａの画素部１０Ａは、画素１００が２次元配列される画素アレイ１０１と、画素データを読み出す画素１００をＸＹアドレス方式で選択する垂直走査回路１０２及び水平走査回路１０３を備える。

垂直走査回路（Row Decoder/Driver）１０２は、画素アレイ１０１の行方向において画素データを読み出す画素１００を選択する。また、動作モード毎に行の選択パターンを生成して、生成された選択パターンに基づき画素データを読み出す画素１００を選択する。

水平走査回路（Column Decoder/Driver）１０３は、画素アレイ１０１の列方向において画素データを読み出す画素１００を選択する。また、動作モード毎に列の選択パターンを生成して、生成された選択パターンに基づき画素データを読み出す画素１００を選択する。更に、水平方向の画素加算等の演算を行って、各画素１００から出力された信号の並びを並列直列変換する。

固体撮像素子１Ａは、画素データからノイズを除去するカラム（Column）ＣＤＳ回路１０４を備える。ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路とは、信号の中に含まれる基準（リセット）レベルと信号レベルをサンプリングし、減算を行って差分を算出する動作を行う回路である。カラムＣＤＳ回路１０４は、画素アレイ１０１から画素データを出力する列信号線１０５に接続されたＣＤＳ回路で、画素１００毎に増幅等のばらつきを除去する。カラムＣＤＳ回路１０４では、回路内部でアナログ信号のまま処理が行われる。

固体撮像素子１Ａは、画素部１０Ａの上述した垂直走査回路１０２と水平走査回路１０３がバス１７に接続される。また、上述したＡ／Ｄ変換部１１Ａと、光変調部１２０と、タイミングジェネレータ１３Ａと、ＤＣ−ＤＣ部１５Ａと、制御部１６Ａがバス１７に接続される。

そして、タイミングジェネレータ１３Ａで生成される駆動クロックφｈが水平走査回路１０３とカラムＣＤＳ回路１０４に供給される。また、駆動クロックφＡＤＣがＡ／Ｄ変換部１１Ａに供給される。更に、駆動クロックφＯｐｔが光変調部１２０に供給される。

固体撮像素子１Ａは、画素部１０Ａと、Ａ／Ｄ変換部１１Ａと、光変調部１２０と、タイミングジェネレータ１３Ａと、ＤＣ−ＤＣ部１５Ａと、制御部１６Ａが、シリコン等の基板１８上に集積形成される。固体撮像素子１Ａは、半導体の製造プロセスを利用してこれら構成要素が集積形成されて１チップ化されている。また、固体撮像素子１Ａでは、基板１８の表面または裏面に、図１で説明した制御Ｉ／Ｏ１４Ａと接続される図示しない電極が形成される。

図１２及び図１３では、各画素の構成と画素信号の読み出し構成を示し、図１２は、画素アレイの具体例を示す回路構成図、図１３は、各画素の構造モデル例を示す断面構造図である。画素１００は、光を電気（信号電荷）に変換するフォトダイオード（ＰＤ）１０６と、電気信号を増幅するＦＤアンプ１０７と、行選択スイッチを構成する行選択トランジスタ（Ｔｒ）１０８を備える。各画素１００は、垂直走査回路１０２により行選択線１０９で行選択トランジスタ１０８のオンとオフが切り替えられ、ＦＤアンプ１０７で増幅された電気信号が列信号線１０５に出力される。

ＦＤアンプ１０７は、電荷検出部（ＦＤ）１１０と、リセットトランジスタ１１１と、増幅トランジスタ１１２を備え、蓄積期間の間に光電変換された電荷の増幅機能を持つ。

すなわち、ＦＤアンプ１０７は、蓄積期間が完了すると、信号を出力する前に電荷検出部１１０がリセットゲート（Ｒｓｔ）を構成するリセット線１１３でリセットされる。リセットされた電荷検出部１１０の電圧が、増幅トランジスタ１１２のゲートに接続されているので、信号の無い状態であるリセットレベルが、増幅トランジスタ１１２のソースから列信号線１０５に出力される。

その直後にフォトダイオード１０６から読み出しゲート（Ｒｄ）を構成する行読み出し線１１４により電荷検出部１１０に信号電荷が読み出され、転送を終えてから行読み出し線１１４が閉じられると、電荷検出部１１０の電圧が、フォトダイオード１０６に入射した光の強さに相当する分変化するので、信号のある状態である信号レベルが、増幅トランジスタ１１２から列信号線１０５に出力される。

なお、図１３に示すフォトダイオード１０６は、Ｎ層領域１０６ａの表面にＰ層領域１０６ｂが形成される埋め込みフォトダイオードと称される構成で、Ｐ層領域１０６ｂが暗電流の発生を抑制し、暗電流によるＦＰＮ（Fixed Pattern Noise）が改善されている。

＜第１の実施の形態の信号処理システムの具体例＞
図１４は、第１の実施の形態の信号処理システムの具体例を示す機能ブロック図である。固体撮像素子１ＡとしてＣＭＯＳイメージセンサが用いられる信号処理システム４Ａとして、カメラシステム４０１Ａが構成される。

カメラシステム４０１Ａは、図２で説明した光学装置２Ａとしてレンズユニット４０２Ａを備えると共に、信号処理装置３Ａとしてカメラ本体部４０３Ａを備える。カメラ本体部４０３Ａは、図２で説明した構成に加えて、撮像を行うシャッタ４０４と、測光及び測距を行うＡＥ／ＡＦ検出部４０５と、補助光を出射するストロボ４０６と、ストロボ制御部４０７を備える。カメラシステム４０１Ａは、カメラ本体部４０３Ａの信号処理部３４Ａでデモザイク処理及びカメラ信号処理が行われる。

＜カメラシステムにおける画素信号の読み出し動作＞
次に、カメラシステム４０１Ａにおける画素信号の読み出し動作について、各図を参照して説明する。

（１）レンズユニット４０２Ａに入射した光の像は、レンズ部２０により結像されて、固体撮像素子１Ａの画素部１０Ａに入射する。
（２）画素部１０Ａの画素１００に光が入射されることで光電変換が行われ、電荷の蓄積が開始される。
（３）電子シャッタまたはメカニカルシャッタによる露光制御の時間に応じて、蓄積時間の制御が行われ、電荷の蓄積期間が完了する。
（４）垂直走査回路１０２によって信号を読み出す行選択線１０９を選択する。
（５）電荷検出部１１０をリセット線１１３でリセットして、リセットレベルを読み出す。読み出されたリセットレベルはＦＤアンプ１０７で増幅される。
（６）リセットレベルをカラムＣＤＳ回路１０４に保持する。
（７）フォトダイオード１０６から行読み出し線１１４により電荷検出部１１０に信号電荷を読み出す。読み出された信号電荷はＦＤアンプ１０７で増幅される。
（８）信号レベルをカラムＣＤＳ回路１０４に保持する。
（９）カラムＣＤＳ回路１０４において、信号レベルとリセットレベルを減算する。
（１０）水平走査回路１０３により列選択を順次行うことで、カラムＣＤＳ回路１０４から列毎の画素信号を得る。
（１１）得られた画素信号をＡ／Ｄ変換部１１ＡでＡ／Ｄ変換し、固体撮像素子１Ａの光通信部１２Ａに転送する。
（１２）固体撮像素子１Ａの光通信部１２Ａでは、カメラ本体部４０３Ａから光変調部１２０に入力された光Ｌが、Ａ／Ｄ変換部１１Ａから入力されたディジタル信号に従って変調されて、信号光Ｌｓが出力される。

上述した（４）〜（１２）の手順を、垂直走査回路１０２により行毎に順次行うことで、固体撮像素子１Ａに入射された光の像から、画像（静止画）が得られる。

＜カメラシステムにおける動作モード例＞
図１５は、カメラシステムで実行される動作モードの一例を示す状態遷移図ある。カメラシステム４０１Ａで実行される動作モードには、後述するドラフトモードや静止画モードの他に、例えば、隣接数画素間での演算をする画素演算モードがある。画素演算モードは、微分や積分の他、特徴量抽出、重心抽出、計数、計測等にも利用できる。更に、動作モードには、間引き選択の代替としての画素加算モード、フレーム加算モード、顔認識等に代表される認識パラメータを算出する認識モード等もある。次に、カメラシステム４０１Ａで実行される動作モードについて、ここではドラフトモードと静止画モードを例に説明する。カメラシステム４０１Ａは、低解像度で動画を出力するドラフトモードＭ１と、高解像度で静止画を出力する静止画モードＭ２が実行される。カメラシステム４０１Ａは、撮像前の構図を決める動作等では、ドラフトモードＭ１を実行し、シャッタが押されることによるシャッタトリガで、静止画モードＭ２を実行し、ドラフトモードＭ１から静止画モードＭ２に遷移する。静止画モードＭ２で撮像が行われ、静止画の取り込みが終了すると、ドラフトモードＭ１を実行し、静止画モードＭ２からドラフトモードＭ１に遷移する。

＜ドラフトモードの動作例＞
図１６は、ドラフトモードにおけるデータの流れを示すデータフロー図、図１７は、ドラフトモードにおける固体撮像素子での処理の一例を示すフローチャートであり、次に、ドラフトモードの詳細について説明する。

まず、ドラフトモードにおけるデータの流れについて説明すると、カメラシステム４０１Ａは、全画素の中から所定の画素を選択して画素データの読み出しを指示し、固体撮像素子１Ａでは、レンズ部２０から入射した光の像が画素部１０Ａで光電変換される。読み出しが指示された画素から読み出された信号電荷はＦＤアンプ１０７で増幅され、カラムＣＤＳ回路１０４でノイズ除去される。画素部１０Ａから読み出された画素データは、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換される。カメラ本体部４０３Ａの発光部３００から固体撮像素子１Ａの光変調部１２０に入力される光Ｌは、Ａ／Ｄ変換部１１Ａから出力されるディジタル信号で変調され、画素データに応じた信号光Ｌｓが出力される。

固体撮像素子１Ａとカメラ本体部４０３Ａとの間では、光通信部１２Ａと光通信部３０Ａによってデータの光通信が行われ、固体撮像素子１Ａの光変調部１２０で変調された信号光Ｌｓは、カメラ本体部４０３Ａの受光部３０１に入力される。

カメラ本体部４０３Ａの受光部３０１に入力された画素データの光信号は、電気信号に変換され、信号処理部３４Ａでデモザイク処理及びカメラ信号処理が行われて、表示部３６Ａに表示される。

次に、ドラフトモードを実行する固体撮像素子１Ａでの処理について説明すると、固体撮像素子１Ａは、図１７のステップＳＣ１の処理で、カメラ本体部４０３Ａの読み出し制御部３３Ａにより、ドラフトモードでの画素読み出しの指示を受ける。

固体撮像素子１Ａの制御部１６Ａは、図１７のステップＳＣ２の処理で、タイミングジェネレータ１３Ａに指定された画素読み出しのタイミングを指示する。制御部１６Ａは、図１７のステップＳＣ３の処理で、垂直走査回路１０２にドラフトモードの設定を行う。また、制御部１６Ａは、図１７のステップＳＣ４の処理で、水平走査回路１０３にドラフトモードの設定を行う。

ステップＳＣ３，ＳＣ４の処理では、画素の間引き、画素の加算等の設定が行われ、垂直走査回路１０２では、ドラフトモードで読み出される行の選択パターンが生成され、生成された選択パターンに基づき画素データを読み出す画素が選択される。水平走査回路１０３では、ドラフトモードで読み出される列の選択パターンが生成され、生成された選択パターンに基づき画素データを読み出す画素が選択される。

制御部１６Ａは、図１７のステップＳＣ５の処理で、光通信部１２Ａにドラフトモードに応じた駆動を設定する。固体撮像素子１Ａでは、ドラフトモードの設定により、読み出し総画素数の減少の程度が大きく変わるので、水平走査のタイミングで、出力されるデータのビットレートを逐次制御する必要がある。このため、逐次制御されるビットレートに応じて光変調部１２０の駆動設定が行われる。

＜静止画モードの動作例＞
図１８は、静止画モードにおけるデータの流れを示すデータフロー図である。また、図１９は、静止画モードにおけるカメラ本体部での処理の一例を示すフローチャート、図２０は、静止画モードにおける固体撮像素子での処理の一例を示すフローチャートであり、次に、静止画モードの詳細について説明する。

まず、静止画モードにおけるデータの流れについて説明すると、カメラシステム４０１Ａは、全画素を所定の順番で選択して画素データの読み出しを指示し、固体撮像素子１Ａでは、レンズ部２０から入射した光の像が画素部１０Ａで光電変換される。読み出しが指示された画素から読み出された信号電荷はＦＤアンプ１０７で増幅され、カラムＣＤＳ回路１０４でノイズ除去される。画素部１０Ａから読み出された画素データは、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換される。カメラ本体部４０３Ａの発光部３００から固体撮像素子１Ａの光変調部１２０に入力される光Ｌは、Ａ／Ｄ変換部１１Ａから出力されるディジタル信号で変調され、画素データに応じた信号光Ｌｓが出力される。

固体撮像素子１Ａの光変調部１２０で変調された信号光Ｌｓは、カメラ本体部４０３Ａの光通信部３０Ａに入力され、受光部３０１で電気信号に変換されて、データ保持部３５で保持される。データ保持部３５で保持された１画面分の画素データは、信号処理部３４Ａでデモザイク処理及びカメラ信号処理が行われて、表示部３６Ａに表示される。

次に、静止画モードを実行するカメラ本体部４０３Ａでの処理について説明すると、カメラ本体部４０３Ａは、図１９のステップＳＤ１の処理で、読み出し制御部３３Ａがシャッタ４０４の押下を取得する。ここで、カメラ本体部４０３Ａは、シャッタ４０４が半押しと称される状態で、ＡＥ／ＡＦ検出部４０５が測光及び測距を行って、撮影時のカメラパラメータの設定及び制御が行われる。そして、シャッタタイミングに応じて露光を制御して、全画素の読出しが開始される。

カメラ本体部４０３Ａは、図１９のステップＳＤ２の処理で、測光結果に基づきストロボ制御部４０７がストロボ４０６の駆動を行う。なお、ストロボ４０６の発光を禁止する設定では、ステップＳＤ２の処理は行われない。

カメラ本体部４０３Ａは、図１９のステップＳＤ３の処理で、読み出し制御部３３Ａが固体撮像素子１Ａの制御部１６Ａに静止画モードを実行して全画素の読み出しを指示する。カメラ本体部４０３Ａは、図１９のステップＳＤ４の処理で、読み出し制御部３３Ａが固体撮像素子１Ａの制御部１６Ａから全画素の読み出し完了通知を受ける。カメラ本体部４０３Ａは、固体撮像素子１Ａから全画素の読み出し完了通知を受けると、図１９のステップＳＤ５の処理で、読み出し制御部３３Ａが固体撮像素子１Ａの制御部１６Ａにドラフトモードの実行を指示する。

次に、静止画モードを実行する固体撮像素子１Ａでの処理について説明する。固体撮像素子１Ａは、カメラ本体部４０３Ａの読み出し制御部３３Ａにおける図１９のステップＳＤ３の処理に従い、図２０のステップＳＥ１の処理で、静止画モードでの全画素読み出しの指示を受ける。

固体撮像素子１Ａの制御部１６Ａは、図２０のステップＳＥ２の処理で、タイミングジェネレータ１３Ａに全画素読み出しのタイミングを指示する。制御部１６Ａは、図２０のステップＳＥ３の処理で、垂直走査回路１０２に全画素読み出しの設定を行う。また、制御部１６Ａは、図２０のステップＳＥ４の処理で、水平走査回路１０３に全画素読み出しの設定を行う。

制御部１６Ａは、図２０のステップＳＥ５の処理で、光通信部１２Ａに全画素読み出しに応じた駆動の設定を行う。これにより、固体撮像素子１Ａでは、画素部１０Ａにおいて所定の順番で各画素から画素データの読み出しが行われ、図２０のステップＳＥ６の処理で、全画素の読み出しが終了する。

固体撮像素子１Ａで全画素の読み出しが終了すると、図１９のステップＳＤ４の処理で、カメラ本体部４０３Ａの読み出し制御部３３Ａに全画素の読み出し完了が通知され、図１９のステップＳＤ５の処理で、ドラフトモードの実行が指示される。

固体撮像素子１Ａは、カメラ本体部４０３Ａの読み出し制御部３３Ａにおける図１９のステップＳＤ５の処理に従い、図２０のステップＳＥ７の処理で、ドラフトモードでの画素読み出しの指示を受ける。

固体撮像素子１Ａの制御部１６Ａは、図２０のステップＳＥ８の処理で、タイミングジェネレータ１３Ａに指定された画素読み出しのタイミングを指示する。制御部１６Ａは、図２０のステップＳＥ９の処理で、垂直走査回路１０２にドラフトモードの設定を行う。また、制御部１６Ａは、図２０のステップＳＥ１０の処理で、水平走査回路１０３にドラフトモードの設定を行う。更に、制御部１６Ａは、図２０のステップＳＥ１１の処理で、光通信部１２Ａにドラフトモードに応じた駆動の設定を行う。

＜各動作モードにおける信号の具体例＞
図２１は、ドラフトモードと静止画モードにおける各信号のタイミングチャート、図２２は、ドラフトモードにおける各信号のタイミングチャート、図２３は、静止画モードにおける各信号のタイミングチャートである。

ドラフトモードＭ１では、制御部１６Ａがタイミングジェネレータ１３Ａにドラフトモードのタイミングを指示する。これにより、タイミングジェネレータ１３Ａにより、図２１（ａ）に示す垂直同期信号と図２１（ｂ）に示す水平同期信号が生成される。更に、制御部１６Ａは、垂直走査回路１０２及び水平走査回路１０３にそれぞれドラフトモードの設定を行うことで、図２１（ｃ）に示す番号で、信号を読み出す画素が選択される。

そして、図２１（ｄ）に示すシャッタトリガが入力されると、測光及び測距が行われ、ドラフトモードＭ１での１画面分の読み出しが終了すると静止画モードＭ２を実行する。静止画モードＭ２では、制御部１６Ａがタイミングジェネレータ１３Ａに全画素読み出しのタイミングを指示する。これにより、タイミングジェネレータ１３Ａにより、図２１（ａ）に示す垂直同期信号と図２１（ｂ）に示す水平同期信号が生成される。更に制御部１６Ａは、垂直走査回路１０２と水平走査回路１０３にそれぞれ全画素読み出しの設定を行う。

ドラフトモードＭ１において、ある水平走査期間Ｈ１に注目すると、図２２（ａ）に示す水平同期信号に対して、駆動クロックとして図２２（ｂ）に示す水平走査クロックφｈが生成される。また、図２２（ｃ）に示す番号で、信号を読み出す画素が選択される。これにより、図２２（ｄ）に示すデータＤが読み出され、図２２（ｅ）に示すシリアルデータが得られる。

静止画モードＭ２において、ある水平走査期間Ｈ２に注目すると、図２３（ａ）に示す水平同期信号に対して、駆動クロックとして図２３（ｂ）に示す水平走査クロックφｈが生成される。また、図２３（ｃ）に示す番号で、信号を読み出す画素が選択される。これにより、図２３（ｄ）に示すデータＤが読み出され、図２３（ｅ）に示すシリアルデータが得られる。なお、データのシリアル化については後述する。

＜画素データの読み出しの同期タイミングを確保する方法例＞
次に、光通信部と、画素部及びＡ／Ｄ変換部等の電気動作部で、画素データの読み出しの同期タイミングを確保する方法について説明する。

固体撮像素子１Ａは、図１１に示すように、動作モードに応じてタイミングジェネレータ１３Ａで生成された駆動クロックが、画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａに供給される。画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａは、タイミングジェネレータ１３Ａから供給される駆動クロックで、信号の入出力を同期させている。

図２４は、画素データの読み出しの同期タイミングを確保する第１の方法例を示すタイミングチャートである。同期タイミングを確保する第１の方法では、Ａ／Ｄ変換部１１Ａの出力のタイミングで、光通信部１２Ａの光変調部１２０を駆動する。

図２４（ａ）に示すＡ／Ｄ変換部１１Ａに入力される駆動クロックφＡＤＣに対して、図２４（ｂ）に示すように、Ａ／Ｄ変換部１１Ａから出力される信号は遅延している。Ａ／Ｄ変換部１１Ａでの処理の遅延は、回路構成によって遅延量が固定されている。そこで、図２４（ｃ）に示すように、Ａ／Ｄ変換部１１Ａでの固定遅延量に基づき予め位相をずらした駆動クロックφＯｐｔをタイミングジェネレータ１３Ａで生成し、光通信部１２Ａに供給する。

図２５は、画素データの読み出しの同期タイミングを確保する第２の方法例を示すタイミングチャートである。同期タイミングを確保する第２の方法では、水平走査回路１０３での水平走査でデータが出力されるタイミングで、Ａ／Ｄ変換部１１Ａは入力信号をラッチする。

図２５（ａ）に示す水平走査回路１０３に入力される駆動クロックφｈに対して、水平走査回路１０３から出力される信号は遅延している。そこで、図２５（ｂ）に示すように、水平走査回路１０３で列の値が出力されるタイミングと一致させた駆動クロックφＡＤＣをタイミングジェネレータ１３Ａで生成し、Ａ／Ｄ変換部１１Ａに供給する。

図２６は、画素データの読み出しの同期タイミングを確保する第３の方法例を示すタイミングチャートである。同期タイミングを確保する第３の方法では、上述した第１の方法と第２の方法を組み合わせて最適化したものである。

図２６（ａ）に示す水平走査回路１０３に入力される駆動クロックφｈに対して、図２６（ｂ）に示すように、水平走査回路１０３の出力とタイミングを一致させた駆動クロックφＡＤＣをタイミングジェネレータ１３Ａで生成し、Ａ／Ｄ変換部１１Ａに供給する。また、図２６（ｃ）に示すように、Ａ／Ｄ変換部１１Ａに入力される駆動クロックφＡＤＣに対して、Ａ／Ｄ変換部１１Ａでの固定遅延量に基づき予め位相をずらした駆動クロックφＯｐｔをタイミングジェネレータ１３Ａで生成し、光通信部１２Ａに供給する。

同期タイミングを確保する第３の方法では、画素部１０Ａでの遅延とＡ／Ｄ変換部１１Ａでの遅延をそれぞれ考慮して、光通信部１２Ａに供給される駆動クロックφＯｐｔが生成されるので、光通信による高速変調での同期タイミングを、確実に守ることができる。

＜画素データの読み出しの同期タイミングを確保する構成例＞
図２７は、画素データの読み出しの同期タイミングを確保する構成例を示す固体撮像素子の機能ブロック図である。上述した図２４〜図２６の方法で生成した駆動クロックを、画素部１０ＡとＡ／Ｄ変換部１１Ａと光通信部１２Ａの各機能ブロックで、遅延を生じさせずに供給するためには、配線長を等しくすれば良い。

配線１３０Ｈは、タイミングジェネレータ１３Ａから水平走査回路１０３に駆動クロックφｈを供給する配線である。配線１３０ＡＤは、タイミングジェネレータ１３ＡからＡ／Ｄ変換部１１Ａに駆動クロックφＡＤＣを供給する配線である。配線１３０ＯＰは、タイミングジェネレータ１３Ａから光通信部１２Ａに駆動クロックφＯｐｔを供給する配線である。これら配線１３０Ｈ、配線１３０ＡＤ及び配線１３０ＯＰを等長配線とすることで、配線長の差に伴う駆動クロックの遅延を防ぐ。

＜光通信される画素データをシリアル化する構成例＞
図２８は、シリアルインタフェースを備えた固体撮像素子の一例を示す機能ブロック図、図２９は、シリアルインタフェースを備えた信号処理システムの一例を示す機能ブロック図である。また図３０は、シリアルインタフェースを備えた信号処理システムにおけるデータの流れを示すデータフロー図である。

固体撮像素子１Ａから光通信で画素データを出力する際に、データをシリアル化することで、多ビットのデータを１つの伝送チャネル、または、データのビット数より少ない数の伝送チャネルで伝送可能となる。このため、光通信部１２Ａは、Ａ／Ｄ変換部１１Ａでディジタル信号に変換されて光変調部１２０に入力される画素データをシリアルデータに変換するシリアルインタフェース（Ｉ／Ｆ）１２１を備える。

信号処理装置３Ａは、固体撮像素子１Ａからシリアルデータで信号光が入力されることで、受光部３０１から出力されるシリアルデータから画素データを検出して、パラレルデータに変換するパラレルインタフェース（Ｉ／Ｆ）３０２を備える。なお、以下の説明で、パラレルインタフェース３０２を備えた信号処理装置３Ａは、上述したカメラ本体部４０３Ａであっても良い。

固体撮像素子１Ａは、レンズ部２０から入射した光の像が画素部１０Ａで光電変換される。読み出しが指示された画素から読み出された信号電荷はＦＤアンプ１０７で増幅され、カラムＣＤＳ回路１０４でノイズ除去される。画素部１０Ａから読み出された画素データは、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換され、シリアルインタフェース１２１でシリアルデータ化される。カメラ本体部４０３Ａの発光部３００から固体撮像素子１Ａの光変調部１２０に入力される光Ｌは、シリアルインタフェース１２１から出力される画素データのディジタル信号で変調され、画素データに応じた信号光Ｌｓが出力される。

固体撮像素子１Ａの光変調部１２０で変調された信号光Ｌｓは、信号処理装置３Ａの光通信部３０Ａに入力され、受光部３０１で電気信号に変換される。受光部３０１から出力されるシリアルデータからパラレルインタフェース３０２で画素データが検出されてパラレルデータに変換され、信号処理部３４Ａで信号処理が行われて、表示部３６Ａに表示される。

図３１は、画素データをシリアル化して光通信する固体撮像素子と信号処理装置における光通信部の一例を示す機能ブロック図、図３２は、画素データをシリアル化して光通信する固体撮像素子と信号処理装置での信号処理例を示すタイミングチャートである。図３１の例では、シリアル化した画素データと、クロック信号を別の伝送チャネルで伝送する例を示す。

固体撮像素子１Ａの光通信部１２Ａは、シリアルインタフェースとして、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換された画素データDATA_TXをシリアルデータに変換するパラレル／シリアル変換部１２１Ａを備える。

また、光通信部１２Ａは、信号処理装置３Ａから入力された一定の光Ｌを、シリアル化された画素データSDATA_TXで変調して出力する光変調部１２０Ｓと、クロック信号φSCLK_TXで変調して出力する光変調部１２０ＣＬを備える。

信号処理装置３Ａの光通信部３０Ａは、固体撮像素子１Ａの光変調部１２０Ｓに入力される光Ｌを出力する発光部３００Ｓと、光変調部１２０ＣＬに入力される光Ｌを出力する発光部３００ＣＬを備える。

信号処理装置３Ａの光通信部３０Ａは、シリアル化され光信号に変換された画素データSDATA_TXが光通信によるデータ線ＬｓＤで入力され、入力された光信号をシリアル化された電気信号としての画素データSDATA_RXに変換する受光部３０１Ｓを備える。また、光通信部３０Ａは、光信号に変換されたクロック信号φSCLK_TXが光通信によるクロック線ＬｓＣＬで入力され、入力された光信号を電気信号としてのクロック信号φSCLK_RXに変換する受光部３０１ＣＬを備える。

更に、光通信部３０Ａは、パラレルインタフェースとして、受光部３０１ＣＬから出力されるクロック信号φSCLK_RXで、受光部３０１Ｓから出力される画素データSDATA_RXから画素データDATA_RXを検出するシリアル／パラレル変換部３０２Ａを備える。

固体撮像素子１Ａは、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換された画素データDATA_TXと、タイミングジェネレータ１３Ａで生成されるクロック信号CLK_TXである駆動クロックφＯｐｔが、パラレル／シリアル変換部１２１Ａに入力される。

パラレル／シリアル変換部１２１Ａは、タイミングジェネレータ１３Ａから入力される図３２（ａ）に示す駆動クロックφＯｐｔで、Ａ／Ｄ変換部１１Ａから入力される図３２（ｂ）に示す画素データDATA_TXをシリアル化する。パラレル／シリアル変換部１２１Ａは、図３２（ｃ）に示すクロック信号φSCLK_TXと、図３２（ｄ）に示すシリアル化された画素データSDATA_TXを出力する。

パラレル／シリアル変換部１２１Ａは、シリアル化された画素データSDATA_TXを光変調部１２０Ｓに出力すると共に、クロック信号φSCLK_TXを光変調部１２０ＣＬに出力する。シリアル化された画素データSDATA_TXは、信号処理装置３Ａから入力された光Ｌを変調することで、光変調部１２０Ｓで光信号に変換されて出力される。また、クロック信号φSCLK_TXは、信号処理装置３Ａから入力された光Ｌを変調することで、光変調部１２０ＣＬで光信号に変換されて出力される。

固体撮像素子１Ａの光変調部１２０Ｓから出力された光信号は、信号処理装置３Ａの受光部３０１Ｓに入力され、受光部３０１Ｓで電気信号に変換されてシリアル化されている画素データSDATA_RXが出力される。固体撮像素子１Ａの光変調部１２０ＣＬから出力された光信号は、信号処理装置３Ａの受光部３０１ＣＬに入力され、受光部３０１ＣＬで電気信号に変換されてクロック信号φSCLK_RXが出力される。

信号処理装置３Ａは、図３２（ｅ）に示すクロック信号φSCLK_RXと、図３２（ｆ）に示す画素データSDATA_RXが、シリアル／パラレル変換部３０２Ａに入力される。

シリアル／パラレル変換部３０２Ａは、受光部３０１Ｓから入力される画素データSDATA_ RXから、受光部３０１ＣＬから入力されるクロック信号φSCLK_RXで画素データを検出し、図３２（ｇ）に示すクロック信号φCLK_RXと、図３２（ｈ）に示す画素データDATA_RXを出力する。

＜複数の光変調部で画素データの読み出しの同期タイミングを確保する構成例＞
図３３は、複数の光変調部で画素データの読み出しの同期タイミングを確保する構成例を示す固体撮像素子の機能ブロック図である。配線１３０Ｈは、タイミングジェネレータ１３Ａから水平走査回路１０３に駆動クロックφｈを供給する配線である。配線１３０ＡＤは、タイミングジェネレータ１３ＡからＡ／Ｄ変換部１１Ａに駆動クロックφＡＤＣを供給する配線である。配線１３０ＯＰは、タイミングジェネレータ１３Ａから光通信部１２Ａのパラレル／シリアル変換部１２１Ａに駆動クロックφＯｐｔを供給する配線である。これら配線１３０Ｈ、配線１３０ＡＤ及び配線１３０ＯＰを等長配線とすることで、配線長の差に伴う駆動クロックの遅延を防ぐ。

また、パラレル／シリアル変換部１２１Ａと光変調部１２０Ｓとの間の配線１２２Ａと、光変調部１２０ＣＬとの間の配線１２２Ｂを等長配線とする。更に、Ａ／Ｄ変換部１１Ａとパラレル／シリアル変換部１２１Ａとの間の配線１２３を等長配線とする。

図３４は、画素データをシリアル化して光通信する固体撮像素子と信号処理装置における光通信部の他の例を示す機能ブロック図、図３５は、固体撮像素子と信号処理装置との間でシリアル化して光通信される信号のタイミングチャートである。図３４の例では、シリアル化した画素データに同期信号を重畳して、１つの伝送チャネルで伝送する例を示す。

固体撮像素子１Ａの光通信部１２Ａは、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換された画素データDATAと、タイミングジェネレータ１３Ａで生成された同期信号を重畳するエンコード部１２４を備える。

また、光通信部１２Ａは、同期信号が重畳された画素データをスクランブルするデータスクランブル部１２５と、同期信号が重畳されてスクランブルされた画素データをシリアルデータに変換するパラレル／シリアル変換部１２６を備える。更に、光通信部１２Ａは、信号処理装置３Ａから入力された一定の光Ｌを、画素データに同期信号が重畳されたシリアルデータで変調して出力する光変調部１２０を備える。

信号処理装置３Ａの光通信部３０Ａは、固体撮像素子１Ａの光変調部１２０に入力される光Ｌを出力する発光部３００を備える。また、光通信部３０Ａは、画素データに同期信号が重畳されたシリアルデータで変調された信号光Ｌｓが、固体撮像素子１Ａの光変調部１２０から入力され、入力された光信号を電気信号に変換する受光部３０１を備える。

更に、光通信部３０Ａは、画素データに同期信号が重畳されたシリアルデータからクロックを再生し、画素データを検出するシリアル／パラレル変換部３０３を備える。また、光通信部３０Ａは、同期信号が重畳された画素データをデスクランブルするデスクランブル部３０４と、同期信号を検出するデコード部３０５を備える。

固体撮像素子１Ａは、タイミングジェネレータ１３Ａの信号を元に垂直走査回路１０２では図３５（ａ）に示す垂直同期信号φＶで駆動される。また、水平走査回路１０３では図３５（ｂ）に示す水平同期信号φＨで駆動される。

ある水平走査期間Ｈ１に注目すると、図３５（ｃ）に示す水平同期信号φＨに対して、図３５（ｄ）に示す水平走査クロックφｈが生成される。また、図３５（ｅ）に示す番号で、信号を読み出す画素が選択される。これにより、図３５（ｆ）に示すデータＤが読み出される。

固体撮像素子１Ａは、Ａ／Ｄ変換部１１ＡでＡ／Ｄ変換された画素データがエンコード部１２４に入力される。また、垂直走査回路１０２で駆動される垂直同期信号φＶと、水平走査回路１０３で駆動される水平同期信号φＨと、フィールドを選択するフィールド信号Ｆがエンコード部１２４に入力される。

エンコード部１２４は、図３５（ｇ），図３５（ｈ）に示すように、画素データが無い区間Ｅに、フィールド信号Ｆ、垂直同期信号φＶ、水平同期信号φＨを示すデータを含める。

図３６は、エンコード部の一例を示す機能ブロック図である。エンコード部１２４は、例えば８ｂ／１０ｂ方式を採用する。８ｂ／１０ｂ方式は、８ビットのデータを変換テーブルに従って１０ビットに変換し、シリアルデータの中にクロックを重畳させる。

図３７は、シリアル／パラレル変換部におけるクロック再生部の一例を示す機能ブロック図である。クロック再生部３０３Ａは、例えば位相同期回路（PLL; Phase-locked loop）で構成され、入力されたシリアルデータＤ１のエッジを利用して、クロックＣＬＫを再生する。

クロック再生部３０３Ａは、入力された２つの信号の位相差を電圧に変換して出力する位相比較器３０６と、位相補償を行うループフィルタ３０７を備える。また、クロック再生部３０３Ａは、入力された電圧によって出力パルスの周波数を制御する発振器（VCO； voltage controlled oscillator）３０８と、入力された周波数をＮ分割して出力する分周器３０９を備える。

図３８は、デコード部の一例を示す機能ブロック図である。デコード部３０５は、エンコード部１２４に対応して１０ｂ／８ｂ方式を採用する。１０ｂ／８ｂ方式は、１０ビットのデータを変換テーブルに従って変換して、元の８ビットのデータを得る。

図３９は、固体撮像素子でエンコード部に入力されるデータの生成例を示す動作説明図であり、次に、エンコード部１２４に８ｂ／１０ｂ方式を用いる場合、Ａ／Ｄ変換部１１Ａの出力から８ビットのデータを生成する方法について説明する。Ａ／Ｄ変換部１１Ａから出力されるデータが８ビット以上の場合、図３９の例では、１２ビットのデータＤ０〜Ｄ１１を、８ビットと４ビットのデータに分けて出力する。

図４０〜図４２は、信号処理装置でデコード部から出力されるデータの生成例を示す動作説明図であり、次に、エンコード部１２４に８ｂ／１０ｂ方式を用いる場合、デコード部３０５から１２ビットのデータを生成する方法について説明する。固体撮像素子からは、例えば本来１２ビットであるデータが、８ビットに分割されて送信される。このため、デコード部３０５は、元々の１２ビットのパラレル信号として、バスに出力する必要がある。図４０〜図４２の例では、デコード部３０５から出力されるデータが、８ビット以上の場合、８ビットもしくは、４ビット分のデータをバッファ３０５Ａで保持し、１２ビット分揃ったら出力する。図４０では、データ１のうち、［１１−４］ビットの受信が終了したので、デコード部３０５でバッファ３０５Ａに保持する。図４１では、次の８ビットを受信することで、データ１の残りの［３−０］ビットを受信するので、バッファ３０５Ａに格納してあったデータと合わせて、データ１の１２ビットを出力する。同時に、データ２の［１１−８］ビットを受信するので、その４ビット分をバッファ３０５Ａに格納する。図４２では、更に次の８ビットを受信することで、データ２の残りの［７−０］ビットを受信するので、バッファ３０５Ａに格納してあったデータと合わせて、データ２の１２ビットを出力する。この時点で、バッファ３０５Ａで保持するデータは無くなる。

＜光通信部を光変調部で構成した固体撮像素子の効果例＞
光通信部を外部からの光を変調して出力する光変調部で構成した固体撮像素子では、信号処理装置に発光部を備えることで、固体撮像素子に光を自発光する発光素子を備えることなく、固体撮像素子と信号処理装置との間で光通信を実現できる。

自発光型の発光素子は、駆動電流の一部が光ではなく熱に変換されて熱源となる。光変調部は、自発光型の発光素子に比べて発熱量が小さく、消費電力が小さい。これにより、光通信部を光変調部で構成した固体撮像素子では、駆動電流による熱の発生を小さくできると共に、消費電力を小さくできる。また、駆動電流による電磁波の発生を小さくできる。また、電気光学効果等は応答時間が非常に早い現象であり、光変調部は自発光型の発光素子と比べて、周波数チャーピングを抑えてより高速変調が可能であるので、１ｃｈあたりの読み出し速度の高速化が可能である。

このように、光通信部を外部からの光を変調して出力する光変調部で構成した固体撮像素子は、シンプルな構成を実現できる。これにより、低コスト化、低電力化、低ノイズを実現できる。

光変調部に入力される光を出力する光源は、一定の光を出力できれば良いことから、発光部を実現する光源の自由度が広がる。例えば、汎用、安価なものから、高性能で高価なものの中で、用途に合わせた発光素子を選択できる。また、発光部を備える信号処理装置は、固体撮像素子側に比べて実装スペースに余裕があることから、嵩高なもの等、大きさに対する自由度も広がる。

更に、固体撮像素子側で変調された信号光が入力される受光部は、固体撮像素子での読み出し速度に応じた高速型や、変調光量に応じた受光素子及び増幅素子の選択が可能で、受光部の自由度も広がって、最適な構成を実現しやすくなる。

また、発光部と受光部の配置や、固体撮像素子との配置関係が自由になる。例えば、ある遠隔点Ａに備えた発光部から、別の遠隔点Ｂにある固体撮像素子の変調部に光を入力し、更に別の遠隔点ｃに備えた受光部で信号を読み出すことができる。更に、別の遠隔点ｄに別光源の発光部を備え、別光源から上述した固体撮像素子の光変調部に光を入力し、別の遠隔点ｆ、または上述した上述した遠隔点ｃの受光部で信号を読み出せるようにすることもできる。

＜信号処理システムの応用例＞
図４３〜図４５は、第１の実施の形態の信号処理システムの応用例を示す機能ブロック図である。図４３では、信号処理システムとして測距装置４０１Ｂが構成される。測距装置４０１Ｂは、光学装置２０Ａに、測距対象物を照射する発光部４１０と、発光制御部４１１と、データ比較演算部４１２を備える。また、信号処理装置３Ａに、距離データ算出部４１３を備える。

測距装置４０１Ｂは、発光部４１０で測距対象物を照射した光の反射光が画素部１０Ａに入射され、画素部１０Ａから読み出された電気信号で、距離の変化に伴う位相の変化がデータ比較演算部４１２で求められる。データ比較演算部４１２での演算結果が光通信で固体撮像素子１Ａから信号処理装置３Ａに送られ、距離データ算出部４１３で距離が求められる。

図４４では、信号処理システムとして画像形成装置４０１Ｃが構成される。画像形成装置４０１Ｃは、コピー機、スキャナ、ファクシミリ装置、あるいはこれら機能を併せ持つ複合機、更にはネットワークに接続されるネットワーク複合機等である。

画像形成装置４０１Ｃは、光学装置２Ａに画素部としてラインセンサ４１４を備える。ラインセンサ４１４は、画素が１次元に配列されたものである。また、図示しない感光ドラムを露光する露光ライト４１５と、発光制御部４１６を備える。

図４５では、信号処理システムとして監視カメラ４０１Ｄが構成される。監視カメラ４０１Ｄは、信号処理装置３Ａに、固体撮像素子１Ａから送られる画像を認識する認識部４１７と、外部に情報を報知するネットワークＩ／Ｆ部４１８を備える。

本発明は、固体撮像素子を備えた光学装置に適用される。

第１の実施の形態の固体撮像素子の概要を示す機能ブロック図である。 光学装置と信号処理装置を備えた信号処理システムの概要を示す機能ブロック図である。 固体撮像素子の光通信部の一例を示す構成図である、 印加電圧と光の吸収量の関係を示すグラフである。 固体撮像素子の光通信部の他の例を示す構成図である。 固体撮像素子の光通信部の他の例を示す構成図である。 電源オン時の処理の流れを示すフローチャートである。 電源オフ時の処理の流れを示すフローチャートである。 発光部の一例を示す構成図である。 受光部の一例を示す機能ブロック図である。 第１の実施の形態の固体撮像素子の具体例を示す機能ブロック図である。 画素アレイの具体例を示す回路構成図である。 各画素の構造モデル例を示す断面構造図である。 第１の実施の形態の信号処理システムの具体例を示す機能ブロック図である。 カメラシステムで実行される動作モードの一例を示す状態遷移図である。 ドラフトモードにおけるデータの流れを示すデータフロー図である。 ドラフトモードにおける固体撮像素子での処理の一例を示すフローチャートである。 静止画モードにおけるデータの流れを示すデータフロー図である。 静止画モードにおけるカメラ本体部での処理の一例を示すフローチャートである。 静止画モードにおける固体撮像素子での処理の一例を示すフローチャートである。 ドラフトモードと静止画モードにおける各信号のタイミングチャートである。 ドラフトモードにおける各信号のタイミングチャートである。 静止画モードにおける各信号のタイミングチャートである。 画素データの読み出しの同期タイミングを確保する第１の方法例を示すタイミングチャートである。 画素データの読み出しの同期タイミングを確保する第２の方法例を示すタイミングチャートである。 画素データの読み出しの同期タイミングを確保する第３の方法例を示すタイミングチャートである。 画素データの読み出しの同期タイミングを確保する構成例を示す固体撮像素子の機能ブロック図である。 シリアルインタフェースを備えた固体撮像素子の一例を示す機能ブロック図である。 シリアルインタフェースを備えた信号処理システムの一例を示す機能ブロック図である。 シリアルインタフェースを備えた信号処理システムにおけるデータの流れを示すデータフロー図である。 画素データをシリアル化して光通信する固体撮像素子と信号処理装置における光通信部の一例を示す機能ブロック図である。 画素データをシリアル化して光通信する固体撮像素子と信号処理装置での信号処理例を示すタイミングチャートである。 複数の光変調部で画素データの読み出しの同期タイミングを確保する構成例を示す固体撮像素子の機能ブロック図である。 画素データをシリアル化して光通信する固体撮像素子と信号処理装置における光通信部の他の例を示す機能ブロック図である。 固体撮像素子と信号処理装置との間でシリアル化して光通信される信号のタイミングチャートである。 エンコード部の一例を示す機能ブロック図である。 シリアル／パラレル変換部におけるクロック再生部の一例を示す機能ブロック図である。 デコード部の一例を示す機能ブロック図である。 固体撮像素子でエンコード部に入力されるデータの生成例を示す動作説明図である。 信号処理装置でデコード部から出力されるデータの生成例を示す動作説明図である。 信号処理装置でデコード部から出力されるデータの生成例を示す動作説明図である。 信号処理装置でデコード部から出力されるデータの生成例を示す動作説明図である。 第１の実施の形態の信号処理システムの応用例を示す機能ブロック図である。 第１の実施の形態の信号処理システムの応用例を示す機能ブロック図である。 第１の実施の形態の信号処理システムの応用例を示す機能ブロック図である。

符号の説明

１Ａ・・・固体撮像素子、１０Ａ・・・画素部、１１Ａ・・・Ａ／Ｄ変換部、１２Ａ・・・光通信部、１３Ａ・・・タイミングジェネレータ、１４Ａ・・・制御Ｉ／Ｏ、１５Ａ・・・ＤＣ−ＤＣ部、１６Ａ・・・制御部、１７・・・バス、２Ａ・・・光学装置、２０Ａ・・・レンズ部、２１・・・ハウジング、３Ａ・・・信号処理装置、３０Ａ・・・光通信部、３１Ａ・・・制御Ｉ／Ｏ、３２Ａ・・・操作部、３３Ａ・・・読み出し制御部、３４Ａ・・・信号処理部、３５Ａ・・・データ保持部、３６Ａ・・・表示部、３７Ａ・・・電源、３８Ａ・・・電源制御部、４Ａ・・・信号処理システム、１００・・・画素、１０１・・・画素アレイ、１０２・・・垂直走査回路、１０３・・・水平走査回路、１０４・・・カラムＣＤＳ回路、１０５・・・列信号線、１０６・・・フォトダイオード、１０７・・・ＦＤアンプ、１０８・・・行選択トランジスタ、１０９・・・行選択線、１１０・・・電荷検出部、１１１・・・リセットトランジスタ、１１２・・・増幅トランジスタ、１１３・・・リセット線、１１４・・・行読み出し線、１２０・・・光変調部、１２１・・・シリアルインタフェース、１２２Ａ，１２２Ｂ・・・配線、１２３・・・配線、１２４・・・エンコード部、１２５・・・データスクランブル部、１２６・・・パラレル／シリアル変換部、１３０Ｈ，１３０ＡＤ，１３０ＯＰ・・・配線、３００・・・発光部、３０１・・・受光部、３０２・・・パラレルインタフェース、３０３・・・シリアル／パラレル変換部、３０４・・・デスクランブル部、３０５・・・デコード部、４０１Ａ・・・カメラシステム、４０２Ａ・・・レンズユニット、４０３Ａ・・・カメラ本体部、４０４・・・シャッタ、４０５・・・ＡＥ／ＡＦ検出部、４０６・・・ストロボ、４０７・・・ストロボ制御部

Claims (12)

1. 光を電気信号に変換する画素部と、
   前記画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、
   外部から入力された光を、前記Ａ／Ｄ変換部でディジタル化された信号で変調して、前記画素部から読み出された信号に基づく信号光を出力する光変調部と、
   前記画素部と前記Ａ／Ｄ変換部と前記光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、
   信号の読み出しを制御する制御部を備え、
   前記画素部、前記Ａ／Ｄ変換部、前記光変調部、前記タイミング発生部及び前記制御部が単一の基板に集積形成され、１チップ化され、
   前記タイミング発生部から前記画素部に同期信号を供給する配線と、前記タイミング発生部から前記Ａ／Ｄ変換部に同期信号を供給する配線と、前記タイミング発生部から前記光変調部に同期信号を供給する配線を、等長配線とした
   固体撮像素子。
2. 前記画素部から読み出される信号の、前記画素部に供給される同期信号に対する遅延量と、前記Ａ／Ｄ変換部から出力される信号の、前記Ａ／Ｄ変換部に供給される同期信号に対する遅延量のいずれか、または両方に基づき、前記光変調部に供給される同期信号が生成される
   請求項１記載の固体撮像素子。
3. 前記制御部は、電源のオン時には、前記光変調部に電源を供給した後、前記画素部に電源を供給し、
   電源のオフ時には、前記画素部への電源の供給を停止した後、前記光変調部への電源の供給を停止する電源供給制御を行う
   請求項１記載の固体撮像素子。
4. 前記画素部は、光電変換が行われる画素が配列され、前記制御部は、前記画素部の全画素の中から所定の画素を選択して信号を読み出す動作モードと、前記画素部の全画素を所定の順番で選択して信号を読み出す動作モードが切り替えられる
   請求項１記載の固体撮像素子。
5. 前記画素部から読み出され、前記Ａ／Ｄ変換部でディジタル化された信号を、シリアルデータに変換するシリアルインタフェースを備えた
   請求項１記載の固体撮像素子。
6. 前記画素部は、各画素から読み出された信号のノイズ成分を除去するノイズ除去部を備えた
   請求項１記載の固体撮像素子。
7. 入射された光を電気信号に変換する固体撮像素子と、
   前記固体撮像素子に光を入射させる光学素子を備え、
   前記固体撮像素子は、
   光を電気信号に変換する画素部と、
   前記画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、
   外部から入力された光を、前記Ａ／Ｄ変換部でディジタル化された信号で変調して、前記画素部から読み出された信号に基づく信号光を出力する光変調部と、
   前記画素部と前記Ａ／Ｄ変換部と前記光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、
   信号の読み出しを制御する制御部を備え、
   前記画素部、前記Ａ／Ｄ変換部、前記光変調部、前記タイミング発生部及び前記制御部が単一の基板に集積形成され、１チップ化され、
   前記タイミング発生部から前記画素部に同期信号を供給する配線と、前記タイミング発生部から前記Ａ／Ｄ変換部に同期信号を供給する配線と、前記タイミング発生部から前記光変調部に同期信号を供給する配線を、等長配線とした
   光学装置。
8. 入射された光を電気信号に変換する固体撮像素子及び前記固体撮像素子に光を入射させる光学素子を有し、
   前記固体撮像素子は、
   光を電気信号に変換する画素部と、
   前記画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、
   外部から入力された光を、前記Ａ／Ｄ変換部でディジタル化された信号で変調して、前記画素部から読み出された信号に基づく信号光を出力する光変調部と、
   前記画素部と前記Ａ／Ｄ変換部と前記光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、
   信号の読み出しを制御する制御部とを有し、
   前記画素部、前記Ａ／Ｄ変換部、前記光変調部、前記タイミング発生部及び前記制御部が単一の基板に集積形成され、１チップ化され、
   前記タイミング発生部から前記画素部に同期信号を供給する配線と、前記タイミング発生部から前記Ａ／Ｄ変換部に同期信号を供給する配線と、前記タイミング発生部から前記光変調部に同期信号を供給する配線を、等長配線とした光学装置が接続され、
   前記固体撮像素子の前記光変調部に入力される光を出力する発光部と、
   前記固体撮像素子の前記光変調部から出力される信号光が入力される受光部と、
   前記固体撮像素子に前記画素部からの信号の読み出しを制御する読み出し制御部と、
   前記画素部から読み出されて前記固体撮像素子から光通信で入力される信号に処理を行う信号処理部と
   を備えた信号処理装置。
9. 入射された光を電気信号に変換する固体撮像素子及び前記固体撮像素子に光を入射させる光学素子を有した光学装置と、
   前記光学装置が接続される信号処理装置を備え、
   前記固体撮像素子は、
   光を電気信号に変換する画素部と、
   前記画素部から読み出される信号をディジタル信号に変換するＡ／Ｄ変換部と、
   外部から入力された光を、前記Ａ／Ｄ変換部でディジタル化された信号で変調して、前記画素部から読み出された信号に基づく信号光を出力する光変調部と、
   前記画素部と前記Ａ／Ｄ変換部と前記光変調部で、信号の入出力を同期させる同期信号を生成するタイミング発生部と、
   信号の読み出しを制御する制御部とを備え、
   前記画素部、前記Ａ／Ｄ変換部、前記光変調部、前記タイミング発生部及び前記制御部が単一の基板に集積形成され、１チップ化され、
   前記タイミング発生部から前記画素部に同期信号を供給する配線と、前記タイミング発生部から前記Ａ／Ｄ変換部に同期信号を供給する配線と、前記タイミング発生部から前記光変調部に同期信号を供給する配線を、等長配線とし、
   前記信号処理装置は、
   前記固体撮像素子の前記光変調部に入力される光を出力する発光部と、
   前記固体撮像素子の前記光変調部から出力される信号光が入力される受光部と、
   前記固体撮像素子に前記画素部からの信号の読み出しを制御する読み出し制御部と、
   前記画素部から読み出されて前記固体撮像素子から光通信で入力される信号に処理を行う信号処理部とを備えた
   信号処理システム。
10. 前記信号処理装置で電源がオンにされると、前記信号処理装置の前記受光部に電源を供給した後、前記固体撮像素子に電源を供給し、前記固体撮像素子の前記光変調部に電源を供給してから前記画素部に電源を供給した後、前記信号処理装置の前記発光部に電源を供給し、
    前記信号処理装置で電源がオフにされると、前記信号処理装置の前記発光部への電源の供給を停止した後、前記固体撮像素子の前記画素部への電源の供給を停止してから前記光変調部への電源の供給を停止し、前記固体撮像素子への電源の供給を停止した後に、前記信号処理装置の前記受光部への電源の供給を停止する電源供給制御を行う
    請求項９記載の信号処理システム。
11. 前記固体撮像素子は、前記画素部の全画素の中から所定の画素を選択して信号を読み出す動作モードと、前記画素部の全画素を所定の順番で選択して信号を読み出す動作モードが切り替えられ、
    前記信号処理装置は、操作部での操作に基づき前記固体撮像素子で実行される動作モードを切り替える指示を出力する。
    請求項９記載の信号処理システム。
12. 前記固体撮像素子は、前記画素部から読み出され、前記Ａ／Ｄ変換部でディジタル化された信号を、シリアルデータに変換するシリアルインタフェースを備え、
    前記信号処理装置は、前記固体撮像素子から入力されたシリアルデータを変換するパラレルインタフェースを備えた
    請求項９記載の信号処理システム。

Images