JP4617623B2 - 被写体の明暗による順位付け方法およびその光センサ装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の検出および形状の特定などを行う光センサの量子化に関わり、特に、各画素センサレベルで量子化を行う被写体の明暗による順位付け方法およびその光センサ装置に関する。
【０００２】
【従来の技術】
市場で普及しているエリアセンサであるＣＣＤ(Charge Coupled Device：固体撮像素子) やＣＭＯＳセンサでは、ある一定時間の電荷蓄積量を電気信号に変換して、被写体のイメージを得ている。この方法では、電荷蓄積量がＣＣＤの場合では電圧印加されるウエル領域が、また、ＣＭＯＳセンサの場合ではフローティングゲートやキャパシタのサイズに依存し、高ダイナミックレンジの撮像素子をチップサイズの増加無しで実現させることは難しい。また、ダイナミックレンジを向上させるために、積分容量を増加させることは、フィルファクタ（チップ面積に対する画素面積の比）を減少させるため、センサの感度を低下させ、現実的な解決方法とは言えない。
【０００３】
【発明が解決しようとする課題】
高速で変化する被写体イメージに対して、その時々刻々と変化する高ダイナミックレンジのイメージに瞬時に適応させることは、従来技術の撮像素子では困難である。このため、被写体イメージの状況によって高ダイナミックレンジで自己適応させる技術が考案されている。図４にこの様な光センサ装置を説明する。
【０００４】
図４において、従来技術による被写体の明暗による順位付け方法は、被写体イメージを各画素に分解して光信号 (p1〜pn) を受光する複数の画素センサ（11〜1n）からなるセンサ１と、この画素センサ（11〜1n）に対応して量子化データを記憶するメモリ２（21〜2n）と、画素センサ（11〜1n）が反応したときの反応センサ数をカウントする事象発生型計数器（以下、イベントカウンタと称する）３と、を有して被写体イメージをセンサ１に投影する光の明暗によって順位付けを行うものであって、反応した画素センサ（例えば、1g）の当該メモリ2gにイベントカウンタ３のカウント値c=1 を書き込み制御を行う。
【０００５】
しかし、この方法では、同時に複数の画素センサ（例えば、1e〜1gの 3個) が反応したとき、その明暗の差が非常に微小であったとしても、光センサ装置は、強制的にカウント値c=3 を進め、メモリ2e〜2gにそれぞれc=1,c=2,c=3 を記憶し、量子化を行うとする。このため、例えば、コントラストが本来ないはずの被写体（例えば、全体が白地の被写体）のイメージが歪んでしまうと言う課題が指摘されている。その例を図５に示す。
【０００６】
図５において、横軸に画素センサ11〜1nの位置を示し、例えば、左から右へ11〜1nとする。縦軸にイベントカウンタ３のカウント値c をとり、従来技術によるイベントカウンタ３を用い、全体は白地の被写体であるが、右側の画素センサ1n方向では微妙な明暗差があり, 同時に複数の画素センサが反応しやすいイメージ光IM2 を受光した場合を示す。また、イメージ光IM1 は全体が白地の被写体でコントラストがない画像で本来あるべきイメージを示す。
【０００７】
本発明は上記の点にかんがみてなされたものであり、その目的は前記した課題を解決して、コントラストが本来ないはずの被写体，例えば全体が白地の被写体，のイメージを量子化することによって発生する歪を防止しながら、高速で変化する被写体イメージに対しては高ダイナミックレンジで自己適応できる被写体の明暗による順位付け方法およびその光センサ装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題は本発明によれば、被写体イメージを各画素に分解して受光する複数の画素センサからなるセンサと、画素センサの反応に対応してカウントするイベントカウンタと、イベントカウンタによりカウントされたカウント値を画素センサに対応する量子化データとして記憶するメモリと、を有して被写体イメージをセンサに投影する光の明暗によって順位付けを行う順位付け方法であって、
イベントカウンタのカウント値をメモリに書き込み制御するフィルタリング制御手段と、このフィルタリング制御手段にフィルタリングクロック信号を送るフィルタリングクロック発生回路と、フィルタリング判断手段と、を有するフィルタリング手段を設けるものとする。
【０００９】
かかる構成により、フィルタリング判断手段は、量子化データから被写体のコントラストを求め、このコントラストからフィルタリングを行うか否かを判断し、フィルタリング処理が否のときは、イベントカウンタからメモリに送られるカウント値を反応した画素センサに対応する当該メモリに直接書き込み、また、フィルタリング処理をするときは、イベントカウンタからメモリに送られるカウント値を外部クロックまたはフィルタリングクロック発生回路のフィルタリングクロックと同期して, 単位クロック内に複数の画素センサが反応したとき，この反応データを同一と見做して，反応した画素センサに対応する当該メモリにカウント値を書き込み処理し、再度量子化データを得ることができる。この結果、本来コントラストが少ない被写体イメージが歪むと言う課題を大幅に解消することができる。
【００１０】
また、被写体イメージを各画素に分解して受光する複数の画素センサからなるセンサと、この画素センサの反応に対応してカウントするイベントカウンタと、イベントカウンタによりカウントされたカウント値を画素センサに対応する量子化データとして記憶するメモリと、を有して被写体イメージをセンサに投影する光の明暗によって順位付けを行う被写体の明暗による順位付けを行う光センサ装置において、単位時間毎にカウント値をその単位時間内に反応した画素センサに対応するメモリに記憶するフィルタリング手段を有することができる。
【００１１】
また、フィルタリング手段は、画像データから被写体のコントラストを求め、このコントラストによりフィルタリングを行うか否かを判断するフィルタリング判断手段を備えることができる。
また、フィルタリング判断手段は、事前にイベントカウンタによりカウントされたカウント値を随時記憶したデータの微分値によりコントラストを求めることができる。
【００１２】
また、フィルタリング手段は、単位時間を規定するクロック信号を発生するフィルタリングクロック発生回路を備えることができる。
また、フィルタリングクロック発生回路の制御周波数を、被写体の画像データの最大輝度によって決定することができる。
また、フィルタリング手段は、画像データのコントラストを求め、このコントラストによりフィルタリングを行うか否かを判断するフィルタリング判断手段と、単位時間を規定するクロック信号を発生するフィルタリングクロック発生回路と、単位時間毎にカウンタ値をメモリに書き込む制御するフィルタリング手段と、を有することができる。
【００１３】
【発明の実施の形態】
図１は本発明の第１実施例による被写体の明暗による順位付け方法およびその光センサ装置を説明する要部構成図、図２は低コントラストのときの順位付け量子化の微分イメージ例の特性図、図３は高コントラストの被写体が含まれるときの順位付け量子化の微分イメージ例の特性図、図６は本発明のフローチャートであり、図４、図５に対応する同一部材には同じ符号が付してある。
（実施形態１）
図１において、本発明の被写体の明暗による順位付け方法は、被写体イメージを各画素に分解して光信号 (p1〜pn) を受光する複数の画素センサ（11〜1n）からなるセンサ１と、この画素センサ１（11〜1n）に対応して量子化データを記憶するメモリ２（21〜2n）と、画素センサ１（例えば、1e〜1gの 3個）が反応したときカウントするイベントカウンタ３と、を有して被写体イメージをセンサ１に投影する光信号 (p1〜pn) の明暗によって順位付けを行うものであって、
イベントカウンタ３のカウント値c(d)をメモリ２に書き込み制御するフィルタリング制御回路６と、このフィルタリング制御回路６にフィルタリングクロック(CLK)eを送るフィルタリングクロック発生回路５と、フィルタリング判断手段４と、を設けることができる。
【００１４】
かかる構成により、フィルタリング判断手段４は、フィルタリング判断のために事前に得た被写体の順位付けデータf をメモリ２から読み出し、この順位付けデータf からフィルタリングを行うか否かを判断し、コントラストが十分にありフィルタリング処理が不要のときは、再度被写体の画像データを得て、イベントカウンタ３からメモリ２に送られるカウント値c を反応した画素センサ（例えば、1e〜1gの 3個）に対応する当該メモリ（2e〜2g）にカウント値(c=1,c=2,c=3) をそれぞれ直接書き込み、
また、コントラストが不十分でありフィルタリング処理を実行するときは、イベントカウンタ３からメモリ２に送られるカウント値d を図示省略された外部クロックまたはフィルタリングクロック発生回路５のフィルタリングクロック(CLK)eと同期して, 単位クロック内に複数の画素センサ（例えば、1e〜1gの 3個）が" 検出した信号に変化あり" として反応したとき，この反応データ（be〜bg）を同一と見做して，反応した画素センサ（1e〜1g）に対応する当該メモリ（2e〜2g）にカウント値(d=3) を書き込み処理することができる。
【００１５】
この結果、本来コントラストが少ない被写体イメージが歪むと言う課題を大幅に解消することができる。
【００１６】
【実施例】
（実施例１）
図１において、１は複数個の画素センサ11〜1nよりなるセンサ、２ (21〜2n) は量子化データを収納するメモリ、３はイベント（事象発生型）カウンタ、４はフィルタリングの判断回路、５はフィルタリングクロック発生回路、そして６はフィルタリング回路である。
【００１７】
センサ１は入射する光量によって各画素センサ11〜1nが検出する電位が変化する。この検出電位が所定の値となったとき、各画素センサ11〜1nはラッチ信号a1〜anをメモリ21〜2nに送る。メモリ21〜2nからは、各画素センサ11〜1nの内、電位変化を検出して反応し（ラッチ）した画素センサ, 例えば1e〜1g, に相当する反応信号be〜bgがイベントカウンタ３に送られる。イベントカウンタ３からはそれまでに反応した各画素センサ数に相当するカウント値c がメモリ２ (21〜2n) に向けて送られる（図６のステップS1）。
【００１８】
また、フィルタリングの判断回路４は、図６のステップS1において、事前にフィルタリングを行わずに順位付けした順位付けデータf から、フィルタリングを行うか否かを判断する。この判断は実施例２で後述する様に、フィルタリングを行わずに順位付けした順位付けデータf の微分回路およびこの微分値を予め定められた閾値と比較して判断を行うことができる（図６のステップS2,S3)。判断が終了した後フィルタリングが必要と判断された場合は、センサ１、メモリ２をリセット信号r でリセットし、再度被写体の順位付けデータf を得る。
【００１９】
具体的には、カウント値c(d)をメモリ２ (21〜2n) 部分に送るタイミングをフィルタリングクロック発生回路５から出力されるフィルタリングクロック(CLK)eに同期させてカウント値d をメモリ２ (21〜2n) 部分に送る。そして、画素センサ11〜1nの内、電位変化を検出して反応した画素センサ, 例えば1e〜1g, からラッチ信号 (ae〜ag=1) を受けたメモリ2e〜2gは、カウント値d を書き込み、記憶することができる（図６においてステップS4を行いながらステップS1を行う）。
【００２０】
また、フィルタリングクロック発生回路５は、実施例３で後述する様に、被写体輝度(AE)データからそのフィルタリングクロックCLK の周波数を決定することができる。
（実施例２）
前述した様に、被写体イメージをセンサ１（11〜1n）に投影する光の明暗の差が微小なとき、フィルタリング判断回路４は、フィルタリング回路６にフィルタリング処理を行わせ、順位付けデータf を固定にすることができる。
【００２１】
また、フィルタリング判断回路４は、フィルタリング回路６を行わせるか否かを被写体の明暗による順位付けデータf の微分値によって決定することができる。
かかる構成により、順位付けデータf の微分を行ったとき、均一なコントラストの被写体データでは、急激な変化はなく連続的に変化している筈である。従って、フィルタリング回路６によるフィルタリング処理を行うことにより、例えば、図５の従来技術で述べた様な、画素センサ1nの位置で被写体のイメージが大きく歪むイメージ光IM2 がセンサ１に入射しても、図２に図示する様に、量子化データは比較的小さな値のところに抑えることができる。
【００２２】
他方、コントラストが存在している被写体データは、図３に図示する様に、そのエッジ（例えば、被写体とその背景との境界部分）が際立って変化している。この結果、順位付けデータf を近接する画素センサ1xに対する微分データを演算しこの演算値を予め定められた閾値と比較判断することにより、被写体イメージを量子化するにあたってのフィルタリング処理を行わせるか否かを容易に判断することができる。
（実施例３）
また、フィルタリングクロック発生回路５のフィルタリングクロックCLK の制御周波数を被写体の明暗による順位付けデータf の最大輝度（AE信号)hによって決定することができる。
【００２３】
かかる構成により、同一コントラスト内にある近接する画素センサの順位付けデータf は本来同一であるべきで、輝度がより暗いエリアでは、明るいエリアよりも画素センサ１（11〜1n）の反応が遅いため、フィルタリングのクロック周波数の影響を受けない。即ち、明るいエリア（最大輝度）でフィルタリングクロックの制御周波数を決めることによって、高速で変化する被写体イメージに対して高ダイナミックレンジで自己適応性を向上させ、暗いエリアでは制御周波数を下げて光明暗の微小な差による量子化誤差の圧縮化を図ることができる。
【００２４】
【発明の効果】
本発明によれば、フィルタリングの判断回路とフィルタリングクロック発生回路とフィルタリング回路とを設け、被写体のイメージを画素センサで高分解能で分解して量子化データに変換する際に、被写体のイメージの状況によって、
(1) フィルタリング回路の使い分けをし、
(2) 被写体の明暗による順位付けデータの最大輝度でフィルタリングクロック周波数を制御することにより、
より洗練されたダイナミックレンジ自己変調型の撮像素子（光センサ装置）を実現することができ、また、高速で変化する被写体のダイナミックレンジに対応したイメージを随時取り込むことができる。
【００２５】
この結果、コントラストが本来ないはずの被写体（例えば、全体が白地の被写体）のイメージが量子化によって発生する歪を防止しながら、高速で変化する被写体イメージに対しては高ダイナミックレンジで自己適応できる被写体の明暗による順位付け方法およびその光センサ装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の１実施例による被写体の明暗による順位付け方法およびその光センサ装置を説明する要部構成図
【図２】低コントラストのときの順位付け量子化の微分イメージ例の特性図
【図３】高コントラストの被写体が含まれるときの順位付け量子化の微分イメージ例の特性図
【図４】従来技術による被写体の明暗による順位付け方法およびその光センサ装置を説明する要部構成図
【図５】従来技術による低コントラストのときの順位付けイメージ例の特性図
【図６】本発明の１実施例によるフローチャート
【符号の説明】
１, 11〜1n 画素センサ
２, 21〜2n メモリ
３ イベントカウンタ
４ フィルタリング判断回路
５ フィルタリングクロック発生回路
６ フィルタリング回路
p1〜pn 光信号
a1〜an ラッチ信号
b1〜bn 反応信号
c,d カウント値
e クロック
f 順位付けデータ
h AE信号
r リセット信号

Claims (7)

1. 被写体イメージを各画素に分解して受光する複数の画素センサからなるセンサと、画素センサの反応に対応してカウントする事象発生型計数器（以下、イベントカウンタと称する）と、前記イベントカウンタによりカウントされたカウント値を画素センサに対応する量子化データとして記憶するメモリと、を有して被写体イメージをセンサに投影する光の明暗によって順位付けを行う順位付け方法であって、
   イベントカウンタのカウント値をメモリに書き込み制御するフィルタリング制御手段と、このフィルタリング制御手段にフィルタリングクロック信号を送るフィルタリングクロック発生回路と、フィルタリング判断手段と、を有するフィルタリング手段を設け、
   フィルタリング判断手段は、量子化データから被写体のコントラストを求め、このコントラストからフィルタリングを行うか否かを判断し、フィルタリング処理が否のときは、イベントカウンタからメモリに送られるカウント値を反応した画素センサに対応する当該メモリに直接書き込み、また、フィルタリング処理をするときは、イベントカウンタからメモリに送られるカウント値を外部クロックまたはフィルタリングクロック発生回路のフィルタリングクロックと同期して, 単位クロック内に複数の画素センサが反応したとき，この反応データを同一と見做して，反応した画素センサに対応する当該メモリにカウント値を書き込み処理し、再度量子化データを得る、
   ことを特徴とする被写体の明暗による順位付け方法。
2. 被写体イメージを各画素に分解して受光する複数の画素センサからなるセンサと、この画素センサの反応に対応してカウントする事象発生型計数器（以下、イベントカウンタと称する）と、前記イベントカウンタによりカウントされたカウント値を画素センサに対応する量子化データとして記憶するメモリと、を有して被写体イメージをセンサに投影する光の明暗によって順位付けを行う被写体の明暗による順位付けを行う光センサ装置において、
   単位時間毎に前記カウント値をその単位時間内に反応した画素センサに対応するメモリに記憶するフィルタリング手段を有する、
   ことを特徴とする光センサ装置。
3. 前記フィルタリング手段は、画像データから被写体のコントラストを求め、このコントラストによりフィルタリングを行うか否かを判断するフィルタリング判断手段を備えた、
   ことを特徴とする請求項２記載の光センサ装置。
4. 前記フィルタリング判断手段は、事前に前記イベントカウンタによりカウントされたカウント値を随時記憶したデータの微分値によりコントラストを求める、
   ことを特徴とする請求項３記載の光センサ装置。
5. 前記フィルタリング手段は、前記単位時間を規定するクロック信号を発生するフィルタリングクロック発生回路を備える、
   ことを特徴とする請求項２ないし４のいずれかに記載の光センサ装置。
6. 前記フィルタリングクロック発生回路の制御周波数を、被写体の画像データの最大輝度によって決定する、
   ことを特徴とする請求項５記載の光センサ装置。
7. 前記フィルタリング手段は、画像データのコントラストを求め、このコントラストによりフィルタリングを行うか否かを判断するフィルタリング判断手段と、前記単位時間を規定するクロック信号を発生するフィルタリングクロック発生回路と、単位時間毎にカウンタ値をメモリに書き込む制御するフィルタリング手段と、を有する、
   ことを特徴とする請求項２記載の光センサ装置。

Images