JP4539924B2 - 撮像装置及びその信号読み出し方法 - Google Patents

Description

本発明は、対象物の画像を捉える撮像機能と、その撮像範囲内にあって標準的な画像フレーム周波数よりも高い周波数で点滅又は強度変調された情報光を受信する機能と、を兼ね備える撮像装置、及びその信号読み出し方法に関する。

最近、各種電子機器の識別情報等の各種情報を点滅光として発する光ビーコンと高速イメージセンサを搭載したカメラとを組み合わせたＩＤ認識カメラシステム（ＩＤカムと呼ばれる場合もある）が提案されている。例えば特許文献１に記載のシステムでは、ＩＤ認識カメラで撮影した画像をシーン画像として出力するとともに、光ビーコンの点滅データを全画素でデコードしてＩＤ画像を作成することができるようになっている。また、こうしたＩＤ認識カメラシステムの具体的な用途として、音声案内システム（例えば特許文献２参照）や自動写真撮影システム（例えば特許文献３参照）などが提案されている。

上記ＩＤ認識カメラシステムでは、ＩＤ認識カメラで撮影した撮影画像の表示上に、その撮影画像に含まれる複数の光ビーコンの識別情報を各光ビーコンの検出位置又はその近傍にオーバーレイ表示し、ユーザーが所望の識別情報を適宜取捨選択してその情報を利用できるようにしている。こうしたシステムを利用することにより、ユーザーの手元の情報端末から離れた位置にある複数の電子機器や表示器の１つを選択して、それを通信相手としてデータ通信を行ったり制御を行ったりすることが可能である。

また、最近、可視光を利用した各種の情報伝送・通信が注目されており、屋外や屋内の照明、交通信号機、電子機器の表示等を光ビーコンとして利用してデータ通信を行うことが検討され始めている（例えば非特許文献１など参照）。

上述したような光ビーコンを利用したシステムでは、通常の２次元画像である撮影画像に含まれる光ビーコンによる識別情報を取り出すための特殊な撮像装置が必要になる。一般に、通常の撮像装置に用いられるイメージセンサの信号読み出し速度は標準的な画像フレーム周波数に適合するように決められており、フレーム周波数は典型的には３０Ｈｚ（ｆｐｓ）である。これに対し、光ビーコンの点滅（或いは強度変調）の周波数は識別情報の伝送レートに依存するが、十分な情報量を確保するためには最低でも数百Ｈｚ程度、好ましくは１ｋＨｚ〜１００ｋＨｚ程度以上の周波数とすることが望ましい。即ち、光ビーコンの周波数は画像フレーム周波数よりもかなり高いため、通常のイメージセンサの画素信号の読み出し方法では対応が困難である。

従来より、上述したようなシステムに対応したイメージセンサが提案されている。例えば非特許文献２に記載の装置では、フレーム周波数を標準的な画像フレーム周波数よりも遙かに高い１０ｋｆｐｓ以上に上げるという高速読み出しを行うことでＩＤ信号を取得している。この方法の利点は、通常のイメージセンサとほぼ同等の画素回路が利用できるため、画素サイズが従来と殆ど変わらず高画素化に適していることである。しかしながら、信号読み出し回路の動作周波数がフレーム周波数の増加に伴って高くなるため、画素信号の読み出しアンプなどに流す電流が増大し、消費電力がかなり大きくなる。例えば非特許文献２に記載のイメージセンサの消費電力は最大２Ｗ程度と、同等の画素数を有する一般的なイメージセンサと比較するとかなり大きなものとなっている。そのため、小型の情報端末機器にこうした機能を搭載しようとする場合、使用時間が短くなって実用性に乏しくなる。また、消費電力が大きいとイメージセンサの放熱に十分配慮しなければならず、機器の設計が難しくなる。さらにまた、信号読み出し回路の周波数帯域がかなり上がることから読み出しノイズが増加する上、電荷蓄積時間が短くなることから信号レベルが低下し読み出し信号のＳ／Ｎ比が劣化するという問題もある。

一方、例えば非特許文献３に記載の装置では、各画素セル内に光ビーコンによるＩＤ信号の光強度変調成分を検出するためのアナログ回路をそれぞれ設けることで、光ビーコンからの放出光を受けた画素セル内で識別情報を取得できるようにしている。この方法の利点は、画素セル内にゲインの高いアンプを内蔵していることから、微小な信号変化であっても高いＳ／Ｎ比で以て変調成分を検出することができることである。しかしながら、一般的なイメージセンサの画素回路に比べて１個の画素回路を構成するトランジスタの数がかなり多くなることから、画素サイズが大きくなり高画素化が困難になる。また、各画素セル内のアナログ回路を動作させるために常時アンプに電流を流す必要があり、１画素当たりの消費電力が従来よりも大幅に増加する。これも高画素化を阻害する要因の１つである。

特開２００３−３２３２３９号公報 特開２００３−３４５３７６号公報 特開２００３−３４８３９０号公報 「可視光通信とは」、[Online]、可視光通信コンソーシアム、[平成１６年１０月１５日検索]、インターネット＜URL: http://www.vlcc.net/about.html＞ 宮内、ほか、「高速ＣＭＯＳイメージセンサを用いた二次元送受信器による並列光空間通信の提案」、信学技法、ＣＳ２００４−１８、２００４ 大池、ほか、「複合現実感応用に向けた高速・低輝度ＩＤビーコン検出イメージセンサ」、映情学会誌、Ｖｏｌ．５８、Ｎｏ６、ｐｐ８３５−８４１、２００４

本発明は上記課題を解決するために成されたものであり、その主な目的は、撮像範囲内に存在する光ビーコンによる識別情報を取得する際に、画素信号の読み出し速度が通常の画像信号のみの場合の読み出し速度に比べて大幅に上がってしまう、即ち１画素当たりの読み出し時間が大幅に短くなってしまうことを抑制するとともに、各画素回路のトランジスタの数の増加も抑えることにより、特にイメージセンサでの消費電力を抑制しつつ高画素化を図ることができる撮像装置及びその信号読み出し方法を提供することである。

上記課題を解決するために成された第１発明は、標準的な画像フレーム周波数よりも高い周波数を有する情報光の発光源を含む撮像範囲を撮影し、その撮像範囲の画像情報と前記情報光による特定情報とを取得するための撮像装置において、ｍ行×ｎ列（ｍ、ｎはともに２以上の整数）の２次元状に複数の画素セルが配列された画素セルアレイ部を含むイメージセンサから画素信号を読み出す信号読み出し方法であって、
全画素セルの中で前記情報光を受光している１乃至複数の受信画素セルと、それ以外の撮像画素セルとを区分し、
１フレーム画像を構成するための撮像画素セルによる画素信号を順次読み出す第１期間を複数に分割し、その分割された各期間の間に前記受信画素セルによる画素信号を読み出すための第２期間をそれぞれ挿入し、
前記分割された全ての期間において全撮像画素セルによる画素信号を一巡読み出す期間中に、同一の受信画素セルによる画素信号の読み出しを複数回繰り返し行うようにしたことを特徴としている。

また上記課題を解決するために成された第２発明は、上記第１発明に係る信号読み出し方法により画素信号を順次読み出すための撮像装置であって、
a)ｍ行×ｎ列（ｍ、ｎはともに２以上の整数）の２次元状に配列され、それぞれ受光した光を電荷信号に変換して蓄積する光電変換部を含む複数の画素セルから成る画素セルアレイ部と、
b)全画素セルの中で前記情報光を受光している１乃至複数の受信画素セルの位置を識別する情報を記憶しておくための位置情報記憶手段と、
c)前記画素セルアレイ部に対して或る読み出し行が指定されたときに、前記位置情報記憶手段の情報に基づいてその行の各列毎に受信画素セルであるか否かを判定し、その判定結果を元にその列の画素セルによる画素信号を読み出すか否かを決める列選択情報を生成する列選択制御手段と、
d)該列選択制御手段により読み出し選択が為されなかった列の画素セルに出力電流が流れることを禁止する出力電流制御手段と、
を備えることを特徴としている。

一般に、画素セルアレイ部の中で情報光を受光している領域の割合は小さく、それ故に、ｍ×ｎ個の全画素セルの中で、受信画素セルの数は撮像画素セルの数よりも格段に少ないとみなすことができる。そのため、第１発明に係る信号読み出し方法において、１フレームの画像を構成するための撮像画素セルによる画素信号を全て読み出すための第１期間を分割した複数の期間の間に適宜に挿入された複数の第２期間の中で、同一の受信画素セルによる画素信号の読み出しを複数回繰り返し行うようにしても、通常の画像信号のみの読み出しを行う場合と比較して実効的な読み出し速度をそれほど上げずに済む。なお、標準的な画像１フレーム期間内での同一の受信画素セルによる画素信号の読み出し回数は、情報光の周波数に応じて予め設定すればよい。

このように第１発明に係る撮像装置の信号読み出し方法によれば、画素信号の読み出し速度をそれほど上げることなく、通常の２次元画像の撮像と、その撮像範囲に含まれる光ビーコンなどの情報光による特定情報の取得とを並行して行うことができ、高速化に伴う撮像装置の消費電力の増加を抑制することができる。

第１発明に係る撮像装置の信号読み出し方法の一態様として、前記第１期間の分割単位は画素セルアレイ部の行単位であるとすることができる。この場合、或る１行に含まれる撮像画素セルの画素信号の読み出しと、少なくとも１個以上の受信画素セルによる画素信号の読み出しとを交互に行う。

また第１発明に係る撮像装置の信号読み出し方法の別の態様として、前記第１期間の分割単位は画素セルアレイ部の１行をさらに複数に分割したものとすることができる。この場合、或る１行の分割領域に含まれる撮像画素セルの画素信号の読み出しと、少なくとも１個以上の受信画素セルによる画素信号の読み出しとを交互に行う。

一方、或る１回の第２期間内に読み出し対象とする受信画素セルについては、例えば、１個の情報光に対する情報光受光領域に含まれる１行分の受信画素セルの画素信号を読み出すものとすることができる。即ち、この場合、前記分割単位に含まれる撮像画素セルの画素信号の読み出しと、１個の情報光に対する情報光受光領域に含まれる１行分の受信画素セルの画素信号の読み出しとを交互に行うことになる。

なお、上述の如く、全画素セルの中で受信画素セルの数が撮像画素セルの数よりも格段に少ないとみなすことができない場合、全ての受信画素セルの画素信号を多数回繰り返し読み出そうとすると読み出し速度が上がってしまう。実際上、情報光受光領域のサイズが大きかったとしても、その領域に属する画素セルで受信する情報の内容自体は同じものであるから、適宜その数を減らしても何ら問題は生じない。そこで、１個の情報光受光領域に含まれる受信画素セルの個数が多い場合に、一部の受信画素セルの間引き処理を実行する又は複数の受信画素セルの画素信号を統合することにより、読み出し対象の受信画素セルの数を減らすようにするとよい。これによって、無意味な受信画素セルの読み出しを行わずに済み、読み出し速度の上昇を抑えることができる。

また第２発明に係る撮像装置では、画素セルアレイ部に対して或る読み出し行が指定されたときに、画素信号を読み出すべき列が列選択制御手段により決定されると、出力電流制御手段は、読み出し選択が為されなかった列の画素に出力電流が流れることを禁止する。即ち、画像信号を得るために撮像画素セルの画素信号を読み出す期間においては、受信画素セルである画素セルを含む列に出力電流が流れず、逆に、特定情報を得るために受信画素セルの画素信号を読み出す期間においては、撮像画素セルである画素セルを含む列には出力電流が流れない。出力電流が流れないとそれら画素セル内の画素読み出しアンプやその列の出力回路のアンプは非動作状態となり消費電力は殆どゼロになるため、効率的に消費電力を節約して低消費電力化を図ることができる。

第２発明に係る撮像装置の一態様として、前記位置情報記憶手段は１個の情報光受光領域に対応付けて１行×ｎ列又はｐ行（２≦ｐ＜ｍ）×ｎ列の記憶領域を有し、画素セルアレイ部の各列にその情報受光領域に属する受信画素セルが存在するか否かによって該列に対応する１ビットの記憶領域の二値信号レベル（「Ｈ」レベル又は「Ｌ」レベル）を定める構成とするとよい。

この構成によれば、位置情報記憶手段の記憶領域のサイズを小さくすることができるので、画素セルアレイ部を含むイメージセンサのチップ上にこの機能を搭載することが容易になる。特に各列についてｐ行分まとめて１ビットの記憶領域を対応付けることにより、水平分解能は下がるものの位置情報記憶手段の記憶領域の容量を減らすのに有効である。

また第２発明に係る撮像装置において、前記画素セルアレイ部内の各画素セルはその内部の光電変換部の蓄積電位を画素単位でリセットするための電位リセット手段を備える構成とすることが好ましい。

この構成によれば、画素セルアレイ部の行単位ではなく１行内の任意の画素セルの光電変換部を任意の時点でリセットすることができるので、受信画素セルと撮像画素セルとで電荷蓄積時間を独立に且つ任意に設定することができる。

また具体的には、前記電位リセット手段は、画素セルアレイ部の列毎に配設された列リセット信号線を介して供給される列リセット信号によりオン／オフするトランジスタと、画素セルアレイ部の行毎に配設された行リセット信号線を介して供給される行リセット信号によりオン／オフするトランジスタとが直列接続された構成とすることができる。即ち、Ｘ、Ｙアドレス方式で各画素のリセットを行うものとする。

この構成によれば、従来の一般的なＣＭＯＳイメージセンサの画素回路で用いられる３Ｔｒ（又は４Ｔｒ）回路に、高々１個のトランジスタを追加するだけで画素セル毎のリセットが可能となる。したがって、画素回路のサイズが通常のイメージセンサに比べてそれほど大きく成らずに済み、高画素化を容易に達成することができる。

さらに第２発明に係る撮像装置では、画素セルアレイ部の列毎に、該列に含まれる複数の画素セルから出力される画素信号をその信号レベルに応じて異なるゲインで以て増幅する可変ゲイン増幅手段を備える構成とすることが好ましい。

即ち、上述したように受信画素セルと撮像画素セルとで電荷蓄積時間が異なる場合には画素信号の信号レベルの大幅な相違が避けらないが、可変ゲイン増幅手段により入力の信号レベルが低い場合にゲインを上げるようにすることで、撮像画素セルによる画素信号の信号レベルと受信画素セルによる画素信号の信号レベルとの差を補正することができる。それによって、例えば通常の撮像画像と光ビーコンの位置を示す識別情報画像との合成処理を容易に行うことができる。

本発明よる信号読み出し方法の基本原理を説明するためのイメージセンサの画素構成の模式図。 従来の一般的な画像信号の読み出し方法を説明するためのイメージセンサの画素構成の模式図。 ＩＤ受信速度とそのほかの各種パラメータとの関係の概算式を示す図。 本実施例によるイメージセンサを含む撮像装置を模式的に示したブロック構成図。 図４中のイメージセンサの１個の画素セルの回路構成図。 図４中のイメージセンサ内の出力部の概略構成図。 図６中の１個の可変ゲインアンプの構成図。 本実施例の撮像装置の処理動作を説明するための要部のブロック構成図。 本実施例の撮像装置を用いて画像信号とＩＤ情報とを並行して取得する場合の概略的なタイミング図。 本実施例の撮像装置において画素信号の読み出し動作を説明するための詳細なタイミング図。 本発明による撮像装置の信号読み出し方法を適用する空間光通信システムを示す全体概略図。 図１１のシステムにおいて情報端末のディスプレイに表示される画像を模式的に示す図。 各通信ノードの光ビーコンから出射される光に含まれる各種信号の周波数スペクトル図。

まず、本発明に係る撮像装置を適用する空間光通信システムの一例について、図面を参照して説明する。

図１１はこの空間光通信システムの概略図である。図示しないユーザーの手元には空間光通信機能を有する携帯電話である情報端末１があり、この情報端末１に対して光ビーコンによるＩＤ信号（本発明における特定情報）の送信を行い得る通信ノードとして、パソコン２、デジタルカメラ３、携帯型音楽プレーヤ４が配置されている。この光ビーコンは、例えば各電子機器の電源オン／オフ状態を示す表示ＬＥＤ等を利用することができる。

図１３は、各通信ノードの光ビーコンから出射される光に含まれる各種信号の周波数スペクトルを示す図である。パイロット信号は標準的な画像フレーム周波数である３０Ｈｚの１／２よりも低い周波数であるｆpで点滅する（又は強弱する）信号であり、全ての通信ノードに同様のパイロット信号が利用される。このパイロット信号の主たる目的は、情報端末１に自らの存在位置を認識させることにある。一方、ＩＤ情報はパイロット信号の周波数ｆ_pよりも十分に高い例えば１ｋＨｚ程度の周波数ｆ_IDを中心とした周波数帯域を有し、同一のものが存在しないように全ての通信ノードに割り当てられた、例えばＩＰｖ６に相当するような長いビット長の固有アドレスやその機器の動作条件を示すデータなどの情報を含む。

なお、画像データや音声データなどを高速で送受信するために、光ビーコンの出射光においてＩＤ信号よりも更に高い周波数帯域に信号を重畳してもよいが、そうしたデータは必ずしも光通信に依らず、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の電波通信を利用して送るようにしてももよい。

ユーザーは、或る通信ノードとのデータ通信を行いたい場合、或いは或る通信ノードの制御を行いたい場合などに、情報端末１のカメラをその通信ノードに向ける。すると、情報端末１のディスプレイ５の画面上には、図１２に示すようにカメラの撮像範囲に含まれる２次元画像が表示される。また、その撮像範囲に含まれる起動中の通信ノードの光ビーコンが後述するような方法により検出され、その光ビーコンの位置近傍に各通信ノードを選択するための識別情報（ここでは連番）６がオーバーレイ表示される。即ち、ここでオーバーレイ表示された通信ノードが、情報端末１との間でデータ通信が可能な、或いは情報端末１から制御可能な通信ノードである。したがって、ユーザーは情報端末１で所定の操作を行って通信ノードを選択し、その通信ノードに対して所定の指令を送ることができる。

本発明に係る撮像装置は上記情報端末１に内蔵され、撮像画像を再現するための画像信号と、各通信ノードの光ビーコンに由来するＩＤ情報とを取得する機能を有する。後述するように撮像装置はイメージセンサを含むが、このイメージセンサからの画素信号の読み出し方法に大きな特徴の１つがある。そこで、この信号読み出し方法の基本原理について、図１及び図２を参照して以下に説明する。

図１及び図２はいずれもイメージセンサの画素構成を模式的に示した図であり、図１は本発明よる画素信号の読み出し方法を示し、図２は従来の一般的な画素信号の読み出し方法を示すものである。図１及び図２において、（ａ）は画素信号の読み出し順序を数字で示しており、（ｂ）は読み出し順序を軌跡（線）で示している。

ここでは、説明を容易にするために、全部で６４個の画素セル１２が列（Ｘ）方向に８列、行（Ｙ）方向に８行の、８行×８列の２次元状に配置されている場合について考える。実用上、画素セルの数はこれよりも格段に多いことは言うまでもない。各列にはＸ０〜Ｘ７なる列アドレスが付与され、各行にはＹ０〜Ｙ７なる行アドレスが付与されており、各画素セルの位置は列（Ｘ）アドレスと行（Ｙ）アドレスとの組み合わせにより、例えば（Ｘ０，Ｙ０）、（Ｘ３，Ｙ７）等と表すことで各画素セルを特定することとする。後で詳しく述べるが、各画素セルはそれぞれ光電変換部としてフォトダイオードを備え、この画素セルアレイ部に照射された光は各フォトダイオードによって光電変換され、画素セル単位で電気信号（画素信号）を発生する。

従来の一般的な信号の読み出し方法では、所定の電荷蓄積期間に全画素でそれぞれ光電変換によって発生した電荷を蓄積し、その後の読み出し期間に、図２に示すように、行アドレスの小さいものから１行ずつ順番に、且つ１行の中では列アドレスの小さいものから順番に画素信号を読み出してゆく。標準的には画像のフレーム周波数は３０Ｈｚであるから、３０Ｈｚの１フレーム期間内で電荷蓄積期間と読み出し期間とを設けて、読み出し期間中に全画素信号を読み出し、外部に設けた画像処理回路において１枚の画像を再現する。したがって、フレーム周期毎、つまり標準的には３３．３ｍｓ毎に１枚の画像が得られることになる。

これに対し、本発明に係る撮像装置で撮像する対象は、撮像範囲内の任意の位置に、周波数が画像フレーム周波数よりも遙かに高い（通常数百Ｈｚ〜数ｋＨｚ程度）周波数で点滅又は光強度が変化する、ＩＤ情報を含む光ビーコンが存在している。撮像画像内における光ビーコンの位置は例えば上述したように周波数帯域分割で重畳されているパイロット信号により認識可能であるものとする。例えばパイロット信号が上述したように画像フレーム周波数の１／２以下（現実には１／４以下が望ましい）の周波数で点滅している場合、時間的に連続する画像の差分をとることにより又は各画素において周波数フィルタリングを行うことによりパイロット信号を検出することができ、その検出結果から光ビーコンから発せられた光（以下、ＩＤ光と称す）の受光範囲を認識することができる。

図１（ａ）に示すように、ここで挙げた例では、撮像範囲内に異なる２個のＩＤ光が存在しており、その１つであるＩＤ受光領域ＩＤ＃１は（Ｘ２，Ｙ３）、（Ｘ３，Ｙ３）、（Ｘ２，Ｙ４）、（Ｘ３，Ｙ４）の４個の画素セルに跨る。一方、他の１つのＩＤ受光領域ＩＤ＃２は（Ｘ５，Ｙ４）、（Ｘ６，Ｙ４）、（Ｘ５，Ｙ５）、（Ｘ６，Ｙ５）の４個の画素セルに跨る。

本発明に係る信号読み出し方法では、上述したような通常の画像を再現するための画像信号を取得するのと並行してＩＤ光に含まれるＩＤ情報を取得するために、特徴的な読み出しを行う。簡潔に言えば、全画素セルの中でＩＤ受光領域に属する画素セル（本発明における受信画素セル）とそれ以外の通常の撮像のみの領域に属する画素セル（本発明における撮像画素セル）とを区分し、１フレーム分の画像を再現するための撮像画素セルの画素信号を一巡して読み出す期間内に、時分割で同一の受信画素セルの画素信号を読み出す期間を複数設定する。

この例では、受信画素セルは、ＩＤ受光領域ＩＤ＃１に属する（Ｘ２，Ｙ３）、（Ｘ３，Ｙ３）、（Ｘ２，Ｙ４）、（Ｘ３，Ｙ４）の４個の画素セルと、ＩＤ受光領域ＩＤ＃２に属する（Ｘ５，Ｙ４）、（Ｘ６，Ｙ４）、（Ｘ５，Ｙ５）、（Ｘ６，Ｙ５）の４個の画素セルとの合計８個である。一方、撮像画素セルはそれ以外の５６個の画素セルである。そして、全画素セルを列アドレスＸ０〜Ｘ３とＸ４〜Ｘ７の２つに分割する。列アドレスＸ０〜Ｘ３に含まれる分割領域をＰ１、列アドレスＸ４〜Ｘ７に含まれる分割領域をＰ２とする。

ここでの基本的な読み出し規則は次の通りである。
（１）同一分割領域（Ｐ１又はＰ２）に属する撮像画素セルの１行分は列アドレスの小さなほうから順に連続的に読み出す。
（２）同一分割領域に属する撮像画素セルの１行分を読み終えた後には、今度は、１個のＩＤ受光領域に属する受信画素セルの１行分を列アドレスの小さなほうから順に読み出す。
（３）１個のＩＤ受光領域に属する受信画素セルの１行分を読み終えた後には、直近に読み終えた撮像画素セルを含む分割領域とは異なる分割領域に移行して、その続きから読み出しを行う。したがって、撮像画素セルの１行分の読み出しが終了している場合には次の行に移り、撮像画素セルの１行分の読み出しが終了していない場合にはその行の続きを読むことになる。
（４）受信画素セルの読み出しは同一ＩＤ受光領域を優先し、１個のＩＤ受光領域における受信画素セルの読み出しが終了したならば次のＩＤ受光領域における受信画素セルの読み出しに移り、全てのＩＤ受光領域の受信画素セルの読み出しが一通り終了したならば１個目のＩＤ受光領域の読み出しに戻るというように繰り返す。

即ち、図１に示すようにまず行アドレスがＹ０である撮像画素セルについて、列アドレスの順にＸ０、Ｘ１、Ｘ２、Ｘ３と画素信号を読み出す。これで分割領域Ｐ１に属する撮像画素セルの１行分の読み出しが終了するので、次にＩＤ受光領域ＩＤ＃１に属する受信画素セルの１行分として（Ｘ２、Ｙ３）、（Ｘ３，Ｙ３）の２個の画素セルの画素信号を読み出す。これで１個のＩＤ受光領域に属する受信画素セルの１行分の読み出しが終了するので、次に分割領域Ｐ２に移行し、先の読み出しの続きとして行アドレスＹ０の撮像画素セルについて、列アドレスの順にＸ４、Ｘ５、Ｘ６、Ｘ７と画素信号を読み出す。その後、今度は、先のＩＤ受光領域ＩＤ＃１に属する受信画素セルの２行目である（Ｘ２、Ｙ４）、（Ｘ３，Ｙ４）の２個の画素セルの画素信号を読み出す。

このようにして撮像画素セルによる画素信号と受信画素セルによる画素信号とを順次読み出してゆき、（Ｘ３，Ｙ２）の画素セルの画素信号を読み出すと、次には、既に１度読み出しを行っているＩＤ受光領域ＩＤ＃１に属する受信画素セルの１行分として（Ｘ２、Ｙ３）、（Ｘ３，Ｙ３）を再び読み出し、それ以降も上記規則に則った手順で全ての画素セルの画素信号を少なくとも１回は読み出す。したがって、１フレームの画像を構成する画素信号を読み出す期間中に、同一のＩＤ受光領域ＩＤ＃１、ＩＤ＃２に属する受信画素セルの画素信号を複数回繰り返して読み出すことになる。

読み出しが終了した受信画素セルのフォトダイオードはすぐにリセットされ、再び受光光量に応じた電荷を蓄積し始める。したがって、ＩＤ受光領域ＩＤ＃１、ＩＤ＃２に属する受信画素セルの画素信号は画像フレーム周波数よりも短い周期で（高い周波数で）電荷蓄積と信号読み出しとが繰り返されることになる。図１の例では、１フレーム画像の画像信号の読み出しの間にＩＤ受光領域ＩＤ＃１、ＩＤ＃２に属する受信画素セルの画素信号はそれぞれ４回ずつ読み出されることになる。つまり、受信画素セルの画素信号に対しては、通常画像のフレーム周波数に相当するフレーム周波数が実効的に高くなったことと等価である。

このとき、従来であれば、１フレーム画像期間内に１回しか読み出しが実行されない画素セルから４回読み出しが実行されるわけであるから、標準的な画像フレーム周波数である３０Ｈｚ毎に１枚の画像を得るためには、１画素当たりの読み出し速度は従来よりも高速化する必要がある。しかしながら、ＩＤ受光領域に属する画素セルの数が全画素セルの数に比較して十分に小さいという条件の下では、読み出し速度の増加は十分に抑制することができる。

換言すれば、例えばＩＤ受光領域が異常に大きい、或いは、同時に存在するＩＤ光の数が非常に多い、といった場合には、ＩＤ受光領域に属する受信画素セルの数が全画素セルの数に対して無視できなくなり、読み出し速度を大幅に上げる必要が生じる可能性がある。一方、ＩＤ情報の伝送レートはＩＤ情報の読み出し頻度に依存するから、上記の例で言えば、画像１フレーム分の画素信号を読み出す期間中に同一ＩＤ受光領域に属する受信画素セルの読み出し回数を多くするほどＩＤ情報の伝送レートを上げることができる。

即ち、ＩＤ情報の伝送レート（受信速度）と、画像信号のフレーム周波数、同時に受信可能なＩＤ光の個数、ＩＤ受光領域の大きさなどとはトレードオフの関係にあり、適宜に選択する必要がある。図３にＩＤ受信速度とそのほかの各種パラメータとの関係の概算式と撮像装置の設計例の数値を示す。詳しくは後で述べるが、本発明による信号読み出し方法によれば、読み出し速度自体をそれほど上げることなく、画像情報と並行してＩＤ情報を取得することができる。

なお、上記説明では、全画素セルを列方向に２つに分割して分割領域Ｐ１、Ｐ２を設定したが、さらに分割数を増やしてもよい。また、分割を行わず１行単位で撮像画素セルと受信画素セルとを交互に読み出すようにしてもよい。即ち、例えば行アドレスＹ０に属する全ての撮像画素セルの画素信号を読み出したならば、次にＩＤ受光領域ＩＤ＃１の１行目に属する受信画素セルの画素信号を読み出し、続いて行アドレスＹ１に属する全ての撮像画素セルの画素信号を読み出す、というように読み出し順序を定めてもよい。また、１行分の撮像画素セルに対してＩＤ受光領域に属する複数行の受信画素セルを対応付けるようにしてもよい。例えば行アドレスＹ０に属する全ての撮像画素セルの画素信号を読み出したならば、次にＩＤ受光領域ＩＤ＃１の１行目及び２行目に属する受信画素セルの画素信号を読み出し、その後に行アドレスＹ１に属する全ての撮像画素セルの画素信号を読み出す、というようにしてもよい。

次に、上述したような読み出し動作を実際に行うための撮像装置の一実施例について説明する。図４は本実施例によるイメージセンサを含む撮像装置を模式的に示したブロック構成図、図５はイメージセンサの１個の画素セルの回路構成図、図６はイメージセンサ内の出力部の概略ブロック構成図、図７は出力部内の１個の可変ゲインアンプの構成図である。

イメージセンサ１０は、画素セルアレイ部１１、行デコーダ１３、出力部１４、列デコーダ１５、ＩＤマップテーブル回路１６などを含む。画素セルアレイ部１１には、画素セル１２が列（Ｘ）方向にｎ列、行（Ｙ）方向にｍ行の、ｍ行×ｎ列の２次元状に配置されている。ｍ、ｎの値は任意であるが、ここでは一例としてｎ＝３２０、ｍ＝２４０であるものとする。このｍの値が先の図３中の画素の行数に対応するものである。

行デコーダ１３は画素セルアレイ部１１に対して、行選択信号（Ｒｏｗ−ｓｅｌ）線Ｂ１を介して同一行に属する複数の画素セル１２を選択するとともに、行リセット信号（Ｒｏｗ−ｒｓｔ）線Ｂ２を介して同一行に属する複数の画素セル１２をリセットし得る機能を有する。一方、出力部１４は、画素セルアレイ部１１内の各列毎に設けられたサンプルホールド回路などを含み、各画素セルから出力された画素信号を画素出力信号（Ｐｘｌ−ｏｕｔ）線Ｂ４を介して受け取り、１本の水平出力信号（Ｏｕｔ）線Ｂ９を介して順番に出力する。列デコーダ１５は出力部１４からの直列的な信号の出力を制御する。さらにＩＤマップテーブル回路１６は画素セルアレイ部１１におけるＩＤ受光領域の位置情報を保持しておくための一種のメモリとその制御回路とを含む。

このイメージセンサ１０の外部には、上述したイメージセンサ１０の各部に制御信号を供給する制御部２１と、イメージセンサ１０から直列的に出力される画素信号を受けて所定のデータ処理を行うデータ処理部２２と、が配置されている。データ処理部２２は、画素信号のうちの撮像画素セルによる画素信号に基づいて１画像フレーム毎に１枚の画像を再現するとともに、受信画素セルによる画素信号に基づいてＩＤ情報を復元する。データ処理部２２は例えばＤＳＰ等の専用のハードウエアで構成することも可能であるが、適宜のインターフェイス回路を介してＣＰＵを中心とするコンピュータに取り込み、コンピュータによる演算処理によってデータ処理を行ってもよい。また、制御部２１やデータ処理部２２の機能の一部をイメージセンサ１０と同一チップ上に搭載してもよい。即ち、実際に装置を構成する際のチップ構成等に制限はない。

図５に示すように、１個の画素セル１２は、１個のフォトダイオード３１と４個のＭＯＳトランジスタ３２、３３、３４、３５とを含む。フォトダイオード３１はアノードが接地され、カソードには行リセット用スイッチである第１トランジスタ３２とソースフォロアアンプとして機能する第３トランジスタ３４のゲート端子とが接続されている。第１トランジスタ３２は第２トランジスタ３３を介してリセット電圧信号（Ｖ−ｒｓｔ）線Ｂ５に接続され、第１トランジスタ３２のゲート端子は行リセット信号線Ｂ２に、第２トランジスタ３３のゲート端子は列リセット信号（Ｃｌｍ−ｒｓｔ）線Ｂ３に接続されている。リセット電圧信号線Ｂ５には通常、電源電圧Ｖｄｄよりも若干低い直流電圧Ｖｒが供給されるが、リセット電圧信号線Ｂ５を電源電圧Ｖｄｄの供給線に接続してもよい。

第３トランジスタ３４の出力であるソース端子は、第４トランジスタ３５を介して画素出力信号線Ｂ４に接続されており、その第４トランジスタ３５のゲート端子は行選択信号線Ｂ１に接続されている。行リセット用スイッチである第１トランジスタ３２と列リセット用スイッチである第２トランジスタ３３とは直列接続されているため、行リセット信号（Ｒｏｗ−ｒｓｔ）と列リセット信号（Ｃｌｍ−ｒｓｔ）とが両方共に「Ｈ」レベルになったときに、その画素セル１２のフォトダイオード３１が選択的にリセットされる。これによって、全画素セル中の任意の１個の画素セルのリセットが可能となっている。

この画素セル１２の基本的な光電変換動作及び信号出力動作は次の通りである。即ち、行リセット信号（Ｒｏｗ−ｒｓｔ）と列リセット信号（Ｃｌｍ−ｒｓｔ）とが両方共に「Ｈ」レベルになって第１、第２トランジスタ３２、３３がオンしたときに、フォトダイオード３１のカソード側の電位（以下、これをフォトダイオード電位という）はリセット電圧信号線Ｂ５で供給される電圧Ｖｒに一旦リセットされる。第１、第２トランジスタ３２、３３の少なくともいずれか一方がオフした状態でフォトダイオード３１に光が入射すると、その受光強度に応じた光電流がフォトダイオード３１に流れ、その電流による放電のためにフォトダイオード電位は徐々に低下する。このときの電位の低下速度は受光強度に依存しており、受光強度が大きいほど低下速度が速くなる。

第４トランジスタ３５がオフしているときにはこの画素セル１２は画素出力信号線Ｂ４と切り離されているが、行選択信号線Ｂ１に供給される行選択信号（Ｒｏｗ−ｓｅｌ）が「Ｈ」レベルになって第４トランジスタ３５がオンすると、その時点でのフォトダイオード電位に応じてソースフォロアアンプである第３トランジスタ３４に流れる電流信号が画素出力信号線Ｂ４に供給され得る状態となる。但し、実際に出力電流が流れるか否かは、後述するようにその画素出力信号線Ｂ４に負荷が接続されるか否かに依る。

なお、上記画素セル１２において、第３トランジスタ３４により構成されるソースフォロアアンプは基本的には単なるバッファアンプである。したがって、この画素セル１２の基本的な構成は、いわゆる３Ｔｒ型のＣＭＯＳイメージセンサの画素に列リセット用のトランジスタを１個だけ追加したものであって、その画素サイズは従来の一般的なＡＰＳ方式のＣＭＯＳイメージセンサの画素とほぼ同等にすることができる。これにより、画素セルを高密度で配列して、同一面積で画素数の大きな画素セルアレイ部１１を構成することができる。

図６に示すように、出力部１４においては各列毎に出力回路ユニット４０が設けられている。出力回路ユニット４０は、バイアス電圧信号（Ａｍｐ−ｂｉａｓ）線Ｂ６で与えられる電圧信号に応じて負荷電流源として機能するトランジスタ４１、該トランジスタ４１を負荷として画素出力信号線Ｂ４に接続するか否かを切り替える負荷切替えスイッチ４２、可変ゲインアンプ４３、サンプルホールド回路４４、出力選択スイッチ５０を含む。或る１列に属する２４０個の画素セル１２の全てに共通に接続された画素出力信号線Ｂ４を介して供給される電流信号は、負荷切替えスイッチ４２がオンした状態でトランジスタ４１により電圧信号に変換され、さらに可変ゲインアンプ４３を通して必要に応じて増幅された後にサンプルホールド回路４４に送られる。

可変ゲインアンプ４３では、図７に示すように、例えばコンパレータを利用した比較器４３２により入力電圧を所定の基準電圧と比較し、入力電圧が基準電圧以上である場合（画素の出力が出力振幅の１／１６よりも十分に小さい場合）にはゲイン切替えスイッチ４３６をオフすることで第２帰還コンデンサ４３５を切り離し、増幅部４３１によるゲインを１６倍に設定する。一方、入力電圧が基準電圧未満である場合には、ゲイン切替えスイッチ４３６をオンすることで入力コンデンサ４３３の容量と第１、第２帰還コンデンサ４３４、４３５の並列容量とを同一にして、増幅部４３１によるゲインを１倍に設定する。

既に述べたように受信画素セルの画素信号は撮像画素セルの画素信号よりも読み出しが頻繁に行われるが、その分だけ電荷蓄積時間が短く画素信号のレベルが低くなる。そこで、画素信号のレベルが十分に低い場合に可変ゲインアンプ４３でゲインを１６倍に上げることによって信号レベルを高め、それによって撮像画素セルによる画素信号と受信画素セルによる画素信号とのレベル差をできるだけ小さくするようにし、且つ入力電圧振幅が大きい場合の増幅部４３１の飽和も防止している。図示しないが、いずれのゲインが選択されたのかを示す情報は画素信号と対応付けて一旦記憶され、その画素信号が後述するように出力される際に並行して出力され、データ処理部２２はこのゲイン選択情報をデータ処理の際に利用する。一例として、増幅部４３１にはソース接地アンプなどの反転アンプを用いることができる。

なお、ここでは可変ゲインアンプ４３は入力電圧振幅の判定を２段階でしか行っていないが、３段階以上の判定を行ってより細かくゲインを切り替える構成としてもよい。その場合、比較器４３２として、異なる閾値を有するコンパレータを複数用いるか、或いは、１個のコンパレータに異なる複数の基準電圧を順番に入力し、そのコンパレータの出力値が反転するタイミングにより入力電圧振幅を判断する構成とするとよい。

サンプルホールド回路４４には、画像信号サンプリング用スイッチ４５と画像信号ホールド用コンデンサ４６とを含む画像信号用のサンプルホールド部と、ＩＤ信号サンプリング用スイッチ４７とＩＤ信号ホールド用コンデンサ４８とを含むＩＤ情報用のサンプルホールド部とが独立に設けられ、各列のスイッチ４５は画像サンプリング信号（Ｓ／Ｈ−ｉｍｇ）線Ｂ７による信号により、各列のスイッチ４７はＩＤサンプリング信号（Ｓ／Ｈ−ｉｄ）線Ｂ８による信号によりオン／オフ動作が制御される。またホールドされている電圧を出力する際に、コンデンサ４６、４８のいずれかを選択する画像／ＩＤ選択スイッチ４９は、読み出し選択信号（Ｒｅａｄ−ｓｗ）線Ｂ１０により切替えが制御される。

各出力回路ユニット４０の出力選択スイッチ５０は、列デコーダ１５から与えられる出力列選択信号（Ｃｌｍ−ｓｅｌ）によりオン／オフ動作が制御されており、各出力回路ユニット４０のサンプルホールド回路４４のコンデンサ４６又は４８にホールドされている電圧信号が１つずつ選択されて、水平出力信号線Ｂ９を通して外部に出力されるようになっている。

ＩＤマップテーブル回路１６は、図８に示すように、ＩＤ受光領域が存在する位置情報を保持する記憶領域を含むメモリ回路１６１と、このメモリ回路１６１の記憶領域のアドレスを制御するＩＤ行デコーダ１６２及びＩＤ列デコーダ１６３を備える。

具体的には、メモリ回路１６１には、１個のＩＤ受光領域（ＩＤ光）に対してｎビット（列アドレスの数）の記憶領域が用意される。この例では同時に処理するＩＤ光の個数Ｎを７に設定しているため、７×ｎビットの記憶領域が用意されている。但し、後述するような手法によればＮ以上のＩＤ光の処理を行うこともできる。１ビットの記憶領域は例えば１個のＤラッチ（ＤＬ）により構成することができる。上記ｎビットの記憶領域の各ビットはそれぞれ画素セルアレイ部１１の各列に一対一で対応付けられており、１ビットのＤＬにおいて「Ｈ」レベルはその列に受信画素セルを含むことを意味し、「Ｌ」レベルはその列の全てが受信画素セルでない撮像画素セルであることを意味する。

このメモリ回路１６１の記憶領域に保持される情報は、受信画素セルの存在位置に関する行方向（図８での水平方向）の位置情報のみである。受信画素セルの列方向（図８での垂直方向）の位置情報についてはイメージセンサ１０の外部の制御部２１に保持され、或る行の画素セルの画素信号を読み出そうとする際に、その行に受信画素セルが存在するか否かを示す情報はＩＤ選択信号（ｉｄ−ｓｅｌ＃１〜＃７）としてＩＤ行デコーダ１６２に与えられる。実際には、１行に複数のＩＤ受光領域が存在する可能性があるため（例えば図８の例では、行アドレスＹ１の行にＩＤ受光領域ＩＤ＃１、ＩＤ＃２の２個が存在する）、ＩＤ選択信号線をＮ本（図８の例では７本）並列に設けている。例えば或るＩＤ選択信号が「Ｈ」レベルであることは、そのときの読み出し行に、そのＩＤ選択信号線で示されるＩＤ受光領域が存在することを意味する。

ＩＤマップテーブル回路１６では、メモリ回路１６１の記憶領域のデータパターンに基づいて、画素セルアレイ部１１の各列に対して受信画素セル（ＩＤ受光領域のいずれであるのかは問わない）が存在するか否かを判定する。この判定結果は１ビット信号で表現され、例えば判定結果が「Ｈ」レベルのときにはその列に少なくとも１個の受信画素セルが存在し、「Ｌ」レベルのときには、行デコーダ１３で指定される１行の、その列に受信画素セルが全く存在しないことを意味する。判定結果は列と同じ数、つまりｎ個存在する。或る列に対する判定結果は、その列における或る１個のＤＬの出力とそれに対応する１つのＩＤ選択信号（ｉｄ−ｓｅｌ＃１〜＃７）との論理積（ＡＮＤ演算）を全ての（Ｎ個）の組み合わせについて論理和（ＯＲ演算）をとることにより表すことができる。したがって、Ｎ個のＡＮＤゲート素子と１個のＮ入力のＯＲゲート素子との組み合わせ、或いはそれと等価の機能を有する論理回路によって具現化することができる。

またＩＤマップテーブル回路１６は、通常撮像モードとＩＤ取得モードとの２つの動作モードを有しており、この動作モードは１ビットのモード選択信号（ｉｄｍｔ−ｍｄ）で制御部２１により指定される。例えばモード選択信号が「Ｈ」レベルであるときに通常撮像モード、「Ｌ」レベルであるときにＩＤ取得モードとする。ＩＤマップテーブル回路１６では、上述した受信画素セルの存在判定結果と動作モードとから１ビットの列リセット信号を生成する。これがその列の列リセット信号線Ｂ３に出力される。列リセット信号が「Ｈ」レベルであるとき、出力部１４においてその列の負荷切替えスイッチ４２はオンして負荷であるトランジスタ４１が画素出力信号線Ｂ４に接続されるため、画素セル１２から電流信号が流れ、さらに可変ゲインアンプ４３に内蔵されたスイッチがオンして回路に電流が供給されることでそのアンプ４３に出力が発生する。また、同時に、画素セル１２に対しても列リセット信号を与える。

具体的には、通常撮像モードのときには（モード選択信号＝「Ｈ」）、或る列に受信画素セルが存在する（存在判定結果＝「Ｈ」）とその列の画素セルによる画素信号は読み出さず（列リセット信号＝「Ｌ」）、 逆に受信画素セルが存在しなければ（存在判定結果＝「Ｌ」）その列の画素セルによる画素信号を読み出すようにする（列リセット信号＝「Ｈ」）。一方、ＩＤ取得モードのときには（モード選択信号＝「Ｌ」）、或る列に受信画素セルが存在する（存在判定結果＝「Ｈ」）とその列の画素セルによる画素信号を読み出し（列リセット信号＝「Ｈ」）、逆に受信画素セルが存在しなければ（存在判定結果＝「Ｌ」）その列の画素セルによる画素信号を読み出さないようにする（列リセット信号＝「Ｌ」）。こうした制御を行うために、例えば１ビットの存在判定結果と１ビットのモード選択信号の排他的論理積の論理演算により各列の列リセット信号を生成することができる。

次に、図４〜図８に加えて図９及び図１０のタイミング図を参照して、上記構成を有する本実施例の撮像装置の典型的な動作について説明する。図９は本実施例の撮像装置を用いて画像信号とＩＤ情報とを並行して取得する場合の概略的なタイミング図、図１０は画素信号の読み出し動作を説明するための詳細なタイミングである。なお、本来、標準的な画像のフレーム周波数は３０Ｈｚであり、この撮像装置でも画像のフレーム周波数が３０Ｈｚとなるように動作させることが可能であるが、１５Ｈｚのパイロット信号によりＩＤ受光領域の位置を検出する都合上、画像のフレーム周波数を通常の２倍の６０Ｈｚに設定している。

本例の撮像装置では、図９に示すように、この通常画像の１フレームを単位として読み出し制御を行う。即ち、まず通常画像の１フレーム（上述したようにここでは１６．７ｍｓ）内の垂直帰線期間にＩＤマップテーブル回路１６内の記憶領域のデータ、つまり受信画素セルの位置情報を更新する。例えば上述したように、ＩＤ情報に重畳されているパイロット信号の受光位置を通常画像により検出してＩＤ受光領域の位置を決め、それから受信画素セルの位置を求めるようにすることができる。また、一回、ＩＤ受光領域を確定して１フレームの通常画像に相当する期間、ＩＤ情報を取得した後には、その１画像フレームの間に読み出した受信画素セルの画素信号から、それぞれのＩＤ受光領域の重心位置、つまりは最も受光強度が大きな受信画素セルの位置を再計算し、それに基づいてＩＤマップテーブル回路１６内の記憶領域のデータを更新することができる。

図３の設計例に記載したパラメータを有する撮像装置では、通常画像１フレーム期間内に同一ＩＤ受光領域に属する受信画素セルの画素信号を３５回繰り返して読み出すことができる。したがって、その１回の読み出し毎に１枚のＩＤ画像が作成されると考えると、最大では７種類（ＩＤ＃１〜ＩＤ＃７）のＩＤ画像がそれぞれ３５枚ずつ得られることになる。そこで、データ処理部２２では、各ＩＤ受光領域について３５枚のＩＤ画像に基づいてＩＤ位置認識処理を実行し、ＩＤ受光領域の重心位置の移動状況を把握して、必要があれば制御部２１に保持されているＩＤマップテーブルの元データを更新し、次の垂直帰線期間にＩＤマップテーブル回路１６内の記憶領域のデータの更新を実行する。

ＩＤマップテーブル回路１６内の記憶領域のデータ、つまり受信画素セルの位置情報を更新する際には、まず１画像フレームの垂直帰線期間の終わりに、メモリ回路１６１の記憶領域の各ビットを全て「Ｌ」にリセットする。そしてＩＤ選択信号（ｉｄ−ｓｅｌ＃１〜＃７）により、その記憶領域の中でデータ（ビットパターン）を変更する行を選択する。さらにＩＤ列デコーダ１６３により受信画素セルが存在する列を選択し、該当するＤＬに「Ｈ」レベルを書き込む。これを全てのＩＤ受光領域の受信画素セルについて繰り返し行い、垂直帰線期間内にその処理を終了する。図８は、こうしてメモリ回路１６１内の記憶領域に４種類のＩＤ受光領域（ＩＤ＃１〜ＩＤ＃４）のビットパターンが書き込まれた状態である。

垂直期間期間の終了後に画素信号の読み出しを開始する場合、まず図１０（ａ）に示すように行デコーダ１３は１行目の行アドレスＹ０を設定し、その行の行選択信号（Ｒｏｗ−ｓｅｌ）を「Ｈ」レベルにする。それによって、その列に属する全ての画素セル１２の第４トランジスタ３５がオンし、フォトダイオード電位による電流信号が第３トランジスタ３４によるソースフォロアアンプを通して画素出力信号線Ｂ４に流れ得る状態となる。このときにはモード選択信号（ｉｄｍｔ−ｍｄ）により通常撮像モードに設定されており、その行において撮像画素セルである列の負荷切替えスイッチ４２がオンし負荷電流源が接続されるとともに、可変ゲインアンプ４３では回路に電流が流される。換言すれば、受信画素セルである列では出力電流は流れず、可変ゲインアンプ４３は非動作状態にあるので殆ど電力を消費しない。

画素信号が読み出された列の可変ゲインアンプ４３の出力電圧は、図１０（ｄ）に示すように画像サンプルホールド信号（Ｓ／Ｈ−ｉｍｇ）が「Ｈ」レベルになってスイッチ４５がオンしたときに、コンデンサ４６に転送される。この動作は同一行（Ｙ０）に含まれる撮像画素セルに対して一斉に行われる。その後、行デコーダ１３は図１０（ｂ）に示すように行リセット信号（Ｒｏｗ−ｒｓｔ）を「Ｈ」レベルにする。このとき撮像画素セルでは列リセット信号（Ｃｌｍ−ｒｓｔ）も「Ｈ」レベルとなっているため、撮像画素セル内のフォトダイオード電位は上述したようにリセット電圧線Ｂ５で与えられる電位Ｖｒにリセットされる。これで、行アドレスＹ０の撮像画素セルによる画素信号のサンプル／ホールド動作は終了する。

次に、行デコーダ１３は制御部２１の制御の下に、ＩＤ受光領域ＩＤ＃１が存在する行の中の１行目の行アドレスを設定し、その行の行選択信号（Ｒｏｗ−ｓｅｌ）を「Ｈ」レベルにする。図８の例では、行アドレスＹ０を設定することになる。それによって、その行に属する全ての画素セル１２の第４トランジスタ３５がオンし、フォトダイオード電位による電流信号が第３トランジスタ３４によるソースフォロアアンプを通して画素出力信号線Ｂ４に流れ得る状態となる。但し、このときにはモード選択信号によりＩＤ取得モードに設定されており、ＩＤマップテーブル回路１６からの列リセット信号により受信画素セルを含む列のみの負荷切替えスイッチ４２がオンして負荷電流源が接続されるとともに、可変ゲインアンプ４３では回路に電流が流される。換言すれば、撮像画素セルを含む多くの列では画素信号の読み出しは行われず、可変ゲインアンプ４３は非動作状態にあるので殆ど電力を消費しない。

受信画素セルが存在する列（図８の例では、列アドレスＸ３１６、Ｘ３１７）の可変ゲインアンプ４３の出力は、図１０（ｅ）に示すようにＩＤサンプルホールド信号（Ｓ／Ｈ−ｉｄ）が「Ｈ」レベルになってスイッチ４７がオンしたときにコンデンサ４８に転送される。この動作は同一行（Ｙ０）に含まれる全ての受信画素セルに対して一斉に行われる。その後、行デコーダ１３は図１０（ｂ）に示すように行リセット信号（Ｒｏｗ−ｒｓｔ）を「Ｈ」レベルにする。このとき受信画素セルについては列リセット信号（Ｃｌｍ−ｒｓｔ）も「Ｈ」レベルになっているため、受信画素セル内のフォトダイオード電位は上述したようにリセット電圧信号線Ｂ５で与えられる電位Ｖｒにリセットされる。これで、ＩＤ受光領域ＩＤ＃１が存在する行の中の、１行目の受信画素セルによる画素信号のサンプル／ホールド動作は終了する。

このサンプル／ホールド動作と並行して、先にコンデンサ４６に保持された撮像画素セルによる画素信号の読み出し処理が実行される。即ち、図１０（ｆ）に示すように読み出し選択信号（Ｒｅａｄ−ｓｗ）が「Ｈ」レベルになることで画像／ＩＤ選択スイッチ４９はコンデンサ４６側に切り替わり、列デコーダ１５が列アドレスＸ０から順番に列アドレスを更新しながら（図１０（ｇ）参照）出力列選択信号（Ｃｌｍ−ｓｅｌ）を「Ｈ」にすることで出力選択スイッチ５０を順番にオンさせる。これによって、水平出力信号線Ｂ９にはコンデンサ４６に保持されている画素信号が順番に出力されることになる。ここでは、分割単位として画素セルが列方向に５分割されるように設定されているため、一連の読み出しは列アドレスＸ０〜Ｘ６３まで行われた時点で一旦終了する。なお、仮にこの読み出し範囲に受信画素セルが含まれている場合には、その列の画素信号は無効であるため、列アドレスを飛ばしてもよいし列アドレス自体はそのままで出力を棄却する（つまり空読みになる）ようにしてもよい。

次に、直前にＩＤホールド用のコンデンサ４８に保持された受信画素セルによる画素信号の読み出し処理が実行される。即ち、図１０（ｆ）に示すように読み出し選択信号（Ｒｅａｄ−ｓｗ）が「Ｌ」レベルになることで画像／ＩＤ選択スイッチ４９はコンデンサ４８側に切り替わり、列デコーダ１５がＩＤマップテーブル回路１６内の記憶情報に基づいて又は制御部２１に記載されている情報に基づいて、ＩＤ受光領域ＩＤ＃１が存在する列アドレスのみを番号の若いものから順番に更新してゆく（図１０（ｇ）参照）。選択された列アドレスでは出力列選択信号（Ｃｌｍ−ｓｅｌ）が「Ｈ」レベルにされて出力選択スイッチ５０がオンする。これによって、水平出力信号線Ｂ９にはコンデンサ４８に保持されている画素信号が順番に出力されることになる。図１０（ｇ）では、ＩＤ受光領域ＩＤ＃１がｓ（行）×ｒ（列）画素から成るとしてｒ個の画素信号を順次読み出すようにしているが、図８の例で言うと、列アドレスＸ３１６、Ｘ３１７の２つのみが順次選択されて、その列のコンデンサ４８に保持されていた画素信号が出力される。

続いて、行デコーダ１３は制御部２１の制御の下に、ＩＤ受光領域ＩＤ＃１が存在する行の中の２行目の行アドレスを設定し、その行の行選択信号（Ｒｏｗ−ｓｅｌ）を「Ｈ」レベルにする。図８の例では、行アドレスＹ１を設定することになる。そして上述した行アドレスＹ０における受信画素セルの画素信号のサンプル／ホールド動作と同様の制御により、各列のコンデンサ４８に画素信号を転送し、読み出しの終了した受信画素セルのフォトダイオード電位をリセットする。また、このサンプル／ホールド動作と並行して、始めに画像ホールド用のコンデンサ４６に保持された撮像画素セルによる画素信号の読み出し処理の続きが実行される。即ち、行アドレスＹ０について先に列アドレスＸ６３の画素セルまでの読み出しを終了しているから、次には列アドレスＸ６４から順番に列アドレスを更新しながら出力選択スイッチ５０をオンして、コンデンサ４６に保持されている画素信号を出力する。

以上のようなサンプル／ホールド動作と読み出し処理とを繰り返すことにより、上述したような１フレームの画像を構成する画素信号を取り出すことができるとともに、これと並行して、ＩＤ光を受光している受信画素セルの画素信号を繰り返し読み出すことができる。データ処理部２２では、１フレーム分の画像信号を取得した後に１枚の画像を再現する。また、これと並行してＩＤ情報を復元する。

なお、上記実施例は本発明の一実施例にすぎず、本発明の趣旨の範囲で適宜変形、修正、追加等を行うことができる。

例えば、手振れなどによるＩＤ受光画素の移動を高速で追跡するためには、ＩＤ画像を通常画像１フレームに合わせてまとめて処理するのではなく、個々のＩＤ画像を読み出した後に即座に処理するようにしてもよい。例えば１枚のＩＤ画像を読み出す毎にＩＤ受光領域の重心位置を計算して、その結果に応じてＩＤ画像を取得するために次に読み出す画素セルの位置を修正するようにするとよい。

また、上記実施例ではＩＤ画像を得るために或る画素セルから画素信号を読み出した直後にその画素セルのフォトダイオード電位をリセットしていたが、必ずしも読み出し毎にリセットする必要はない。実際上、画素値が飽和しない限りリセットの必要はなく、リセットを行わない場合には、或るＩＤ画像を得るために画素値を取得したときに、その直前のＩＤ画像を得るために取得した画素値との差分を計算すればよい。

また、例えば、上記実施例では、可変ゲインアンプを各列に設けることにより信号レベルの低い画素信号のノイズの低減を図っていたが、他のノイズ低減方法を採用してもよい。具体的には、イメージセル１１の列毎に、読み出した画素値を元に画素内のリセット用トランジスタにフィードバックをかけ、画素のリセット雑音を低減する回路を設けるとよい。これは一般にアクティブリセットと呼ばれる手法であるが、これにより、電荷蓄積時間の短いＩＤ光の受光時に効果的にノイズを低減することができる。

また、通常撮像時、ＩＤ取得時ともに、強い入射光量側にダイナミックレンジを広げるために、画素セル内のフォトダイオードをリセットするタイミングをずらすことによって電荷蓄積時間を意図的に短くするようにしてもよい。もちろん、電荷蓄積時間が短いと入射光量が弱い場合には不利であるから、適応的に電荷蓄積時間を調整する回路を設けるとよい。

また、上記実施例では通常画像１フレームの垂直帰線期間にＩＤマップテーブル回路の記憶領域のデータを更新するようにしているが、隣接フレームの垂直帰線期間の間の適宜の時期にもＩＤマップテーブル回路内の記憶領域のデータを書き換えるようにしてもよい。例えば、同時に処理可能なＩＤ受光領域の数を記憶領域の行数よりも多くしたいような場合、１画像フレーム期間中に、受信画素セルによる画素信号の読み出しが少なくとも１回は終了したようなＩＤ受光領域に対応したＩＤマップテーブルのビットパターンを、他のＩＤ受光領域に対応したビットパターンに書き換えて、そのビットパターンに基づく受信画素セルの画素信号の読み出しを実行する、という処理を繰り返し行うようにすることができる。

また、上述したように画素信号の読み出し手順を変更する場合、例えば、撮像画素セルの画素信号を一連で読み出すための分割条件等を変更する場合には、それに応じて適宜制御を変更する必要があることは当然である。

また、上記記載以外の点においても、本発明の趣旨の範囲で適宜変形、修正、追加等を行っても本願特許請求の範囲に包含されることは明らかである。

Claims (10)

1. 標準的な画像フレーム周波数よりも高い周波数を有する情報光の発光源を含む撮像範囲を撮影し、その撮像範囲の画像情報と前記情報光による特定情報とを取得するための撮像装置において、多数の画素セルが２次元状に配列された画素セルアレイ部を含むイメージセンサから画素信号を読み出す信号読み出し方法であって、
   全画素セルの中で前記情報光を受光している１乃至複数の受信画素セルと、それ以外の撮像画素セルとを識別し、
   １フレーム画像を構成するための撮像画素セルによる画素信号を順次読み出す第１期間を複数に分割し、その分割された各期間の間に前記受信画素セルによる画素信号を読み出すための第２期間をそれぞれ挿入し、
   前記分割された全ての期間において全撮像画素セルによる画素信号を一巡読み出す期間中に、同一の受信画素セルによる画素信号の読み出しを複数回繰り返し行うようにしたことを特徴とする撮像装置の信号読み出し方法。
2. 前記画素セルアレイ部は画素セルがｍ行×ｎ列（ｍ、ｎはともに２以上の整数）の２次元状に配列されたものであり、前記第１期間の分割単位はその画素セルアレイ部の行単位であることを特徴とする請求項１に記載の撮像装置の信号読み出し方法。
3. 前記画素セルアレイ部は画素セルがｍ行×ｎ列（ｍ、ｎはともに２以上の整数）の２次元状に配列されたものであり、前記第１期間の分割単位は画素セルアレイ部の１行をさらに複数に分割したものであることを特徴とする請求項１に記載の撮像装置の信号読み出し方法。
4. 前記分割単位に含まれる撮像画素セルの画素信号の読み出しと、１個の情報光に対する情報光受光領域に含まれる１行分の受信画素セルの画素信号の読み出しとを交互に行うことを特徴とする請求項２又は３に記載の撮像装置の信号読み出し方法。
5. １個の情報光受光領域に含まれる受信画素セルの個数が多い場合に、一部の受信画素セルの間引き処理を実行する又は複数の受信画素セルの画素信号を統合することにより、読み出し対象の受信画素セルの数を減らすことを特徴とする請求項１〜４のいずれかに記載の撮像装置の信号読み出し方法。
6. 請求項１〜５のいずれかに記載の信号読み出し方法により画素信号を順次読み出すための撮像装置であって、
   a)ｍ行×ｎ列（ｍ、ｎはともに２以上の整数）の２次元状に配列され、それぞれ受光した光を電荷信号に変換して蓄積する光電変換部を含む複数の画素セルから成る画素セルアレイ部と、
   b)全画素セルの中で前記情報光を受光している１乃至複数の受信画素セルの位置を識別する情報を記憶しておくための位置情報記憶手段と、
   c)前記画素セルアレイ部に対して或る読み出し行が指定されたときに、前記位置情報記憶手段の情報に基づいてその行の各列毎に受信画素セルであるか否かを判定し、その判定結果を元にその列の画素セルによる画素信号を読み出すか否かを決める列選択情報を生成する列選択制御手段と、
   d)該列選択制御手段により読み出し選択が為されなかった列の画素セルに出力電流が流れることを禁止する出力電流制御手段と、
   を備えることを特徴とする撮像装置。
7. 前記位置情報記憶手段は１個の情報光受光領域に対応付けて１行×ｎ列又はｐ行（２≦ｐ＜ｍ）×ｎ列の記憶領域を有し、画素セルアレイ部の各列にその情報受光領域に属する受信画素セルが存在するか否かによって該列に対応する１ビットの記憶領域の二値信号レベルを定めることを特徴とする請求項６に記載の撮像装置。
8. 前記画素セルアレイ部内の各画素セルはその内部の光電変換部の蓄積電位を画素単位でリセットするための電位リセット手段を備えることを特徴とする請求項６又は７に記載の撮像装置。
9. 前記電位リセット手段は、画素セルアレイ部の列毎に配設された列リセット信号線を介して供給される列リセット信号によりオン／オフするトランジスタと、画素セルアレイ部の行毎に配設された行リセット信号線を介して供給される行リセット信号によりオン／オフするトランジスタとが直列接続されたものであることを特徴とする請求項８に記載の撮像装置。
10. 画素セルアレイ部の列毎に、該列に含まれる複数の画素セルから出力される画素信号をその信号レベルに応じて異なるゲインで以て増幅する可変ゲイン増幅手段を備えることを特徴とする請求項６〜９のいずれかに記載の撮像装置。

Images