JPH07504525A - ２次元画像にたいして画像処理操作を行う方法およびその方法を実行するための装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ２次元画像にたいして画像処理操作を行う方法およびその方法を実行するための 装置 本発明は、２次元の画像にたいして、物体の認識や線形／非線形濾波のような画 像処理操作を行う方法に関する。この方法は、２次元のマトリックス（行列）の 形に配置された、光の強さに対応する出力信号を発生するように設けられた光に 感応するセンサー素子を用いて実行される。別の方法によれば、これらのセンサ ー素子は光を積分するタイプである。すなわち各センサー素子の出力信号がその 充電状態に対応する。

本発明はまた、２次元の画像にたいして、物体の認識や線形／非線形濾波のよう な画像処理操作の実行のための装置に関する。この装置は、基板上に配置された 多数のセンサー素子を含む。そしてそれらの各々にたいして、センサー素子の出 力信号を予め調節可能な基準値と比較するように構成されたコンパレータ（比較 回路）と、サブ（副）プロセッサが、基板上に配置されている。

［コンピュータによる画像解析」の分野は、１９６０年代にＴＶカメラからの画 像信号をコンピュータを使って処理することが技術的に可能になった時に開発が 始められた。２つの基本的な問題が解決されなければならなかった。それらの１ つは、コンピュータを広帯域の画像信号を処理できるほど高速にすることであっ た。もう１つは、画像によって生成される多量のデータを格納できるだけの十分 な大きさのメモリに対してアクセス（読出し書込み）できるようにすることであ った。

第１の制約は解決することが非常に困難であった。開発の研究は、そのため静止 画像に集中した。それに伴って、残る要求は、コンピュータの作業メモリに画像 を格納することができなければならないことであった。それに対する満足のいく 解決は、メモリ技術の発展により１９７０年代の初期に見い出された。

このようにして到達された解決策としてのＴＶカメラを使用するシステム（ＴＶ カメラからの信号がアナログ／デジタル（Ａ／Ｄ）変換されてコンピュータ内で の処理のために画像メモリ中に格納される）は、画像処理の分野に非常に顕著な 効果を及ぼしたので、それは今日においてもまだ実際上ただ１つのシステムの基 本構成である。この基本構成は、今日のコンピュータでさえも遅すぎてカメラか ら渡される速度で動画を処理することができないという事実によって支持されて いる。

先に米国特許第４６８４９９１号明細書によって、マトリックス状に配置された フォトダイオードの配列にたいする装置が開示されている。これらは、並行な信 号処理を可能にする、フォトダイオードと同じ半導体の薄片に集積された画像処 理プロセッサに接続されている。また、画像要素の数値および／または位置など の測定値を生成するように構成された組合せまたは順序デジタル回路網が、同じ 半導体の薄片に集積され、プロセッサの薄片に接続されている。この回路網は、 フォトダイオードおよび画像処理プロセッサを通して、デジタル条件を満足する ことが分った。

先に開示された構成は、物体の表面領域や中心などの計算の実行を可能にするが 、例えば中央値濾波のような一般的な画像処理操作の実行には適用できない。

本発明の１つの目的は、より広範囲の画像処理操作を可能にする、上記の序説部 によって言及された種類の方法を提供することである。これは、各センサー素子 の出力信号が単調に増大または減小する基準値と比較され、センサー素子からの 出力信号がその基準値よりも大きいまたは小さい時間の長さが各センサー素子ご とに連続的に測定されるこの発明によって達成される。光を積分する方式のセン サー素子を必要とする別の方法は、各センサー素子からの出力信号が予め調節可 能な基準値と比較されること、センサー素子からの出力信号がその基準値と一致 するまたは一致しない時間長が各センサー素子ごとに連続的に測定されることに 特徴がある。

この発明の１つの特徴によれば、前述した基準値を、光の強度とセンサー素子の 出力信号が基準値に到達する時間との間に予め決められた関係、例えば直線（比 例）関係が成り立つように変化させることができる。

この発明の第２の特徴によれば、マトリックス中の１群のセンサー素子が、セン サー素子からの出力信号が前述の基準値を通過する順番にしたがって順序づけら れる。

この処理は、中央値濾波を含む。

この発明のさらにもう１つの特徴によれば、本発明による方法は、出力が最初に 基準値を越えるセンサー素子を見つけ出すように使用される。この処理は、画像 中の最も明るい点の検出を含む。

この発明による方法のさらなる拡張は、マトリックス中の１群のセンサー素子に 対して、予め決められたセンサー素子の組合せに対応する出力が、その群の他の センサー素子がそうならない間に、基準値に到達する時間を設定することを含む 。これは、形状操作と同義である。

さらにもう１つのさらなる拡張は、その数が、出力信号が基準値に到達したとき 光の強さを示すデジタル値になるようなパルスを、各センサー素子ごとに、積算 することである。

前記のパルスをこのように可変周波数で発生させることにより、光の強さとそれ に対応するデジタル値の間に、予め決められた関係、例えば直線関係、を成り立 たせることができる。

マトリックス中の１群のセンサー素子にたいして、その群の各要素にフィルタ係 数を割り当て、かつ出力信号が基準値に到達した各センサー素子にたいして、関 係するフィルタ係数が連続的に加算されるようにしたときは、これは線形濾波と 同義である。

連続的な加算が適宜に選択された可変周波数で行われるならば、光の強さとセン サー素子からの出力信号が基準値に到達する時点の間に予め決めた関係、例えば 線形関係を成り立たせることができる。

露光期間中に、予め決められた周波数で、計算パルスを各センサー素子のための デジタルの結果のディレクトリに含めることにより、画像のＡ／Ｄ変換が行える 。

本発明を実行することができる装置は、各サブプロセッサが、その出力信号が前 記基準値を越えたまたは越えないセンサー素子の組合せの発生を検出するように 構成されていることを特徴とする。

本発明の装置のさらに１つの拡張によれば、サブプロセッサが、出力信号が基準 値に到達した時点においてその数が光の強さを示すパルスを計数するように、ま たはその実行中に画像処理操作に関係する係数を連続的に積算するように構成さ れた積算ディレクトリを含む。また制御可能な伝達回路網が、センサー素子およ びサブプロセッサと同じ基板に配置されることが好ましい。

次に、添付の図面を参照しながら、さらに詳しく本発明を説明する。

図１は、本発明による装置の説明図である。

図２ａは、センサー素子とコンパレータおよびサブプロセッサから成る画点の構 成の例である。

図２ｂは、制御可能な伝達回路網の説明図である。

図２０は、異なる伝播態様を得るための制御情報の例を説明する。

図２ｄは、入力画像にただ１つの点だけが存在する場合に、図２０に示したいろ いろな設定に対応する、結果として得られる画像を示す。

図３は、センサー素子の充電状態、すなわち時間と基準値の関数としてのセンサ ー素子の出力信号を示す。

図４は、３つの隣接するコンパレータの群からの出力信号と結果として得られる 中央値の説明図である。

図５は、最も明るい点の検出の説明図である。

図６ａと図６ｂは、グレースケール画像（図６ｂ）にたいする２つの形状操作、 すなわちそれぞれ２つの方向と１つの方向への拡大（張り広げ）と縮小（浸食） の効果を示す。

図６０は、本発明によって得られたグレースケール画像を示す。この図は、図６ ｂにおいて１つの方向からの抽出と見なすことができ、また８つのセンサー素子 から成るものと見なすことができる。

図６ｄと図６ｅは、図６Ｃに示した結果にたいする形状濾波、すなわち拡大（図 ６ｄ）と縮小（図６ｅ）の効果を示す。

図７は、本発明による線形濾波の説明図である。

図１において、１は、基板上に配置された全部で１２個のマトリックス中のセン サー素子を示す。センサー素子１の各々にたいして、コンパレータとサブプロセ ッサ（両方がまとめて参照符号２で示されている）が基板上に付設されている。

図２ａは、センサー素子、コンパレータ、サブプロセッサの間の接続をブロック 線図で示す。参照符号４はフォトダイオードのような光を積分する種類のセンサ ー素子を示す。参照符号３は光の読み出しの前にフォトダイオード４に充電する ための充電構成を示す。フォトダイオード４（出力電圧Ｕかその充電状態を表す ）には、作動アンプ形式のコンパレータ５か接続されている。コンパレータ５か らの出力は、サブプロセッサ８への入力に接続されている。サブプロセッサ８は 、この実施例では、参照符号７によって示されるさらに４つの入力と、参照符号 １０によって示される５つの出力を持つ。前記の入カフは、隣接するフォトダイ オードのサブプロセッサの出力に接続されている。またこのサブプロセッサ８の 出力は、同様に、隣接するフォトダイオードのサブプロセッサへの入力に接続さ れている。サブプロセッサ８は、積算ディレクトリ（結果の記憶部）８ａと伝達 回路網８ｂを含む。これらの詳しい説明は、後で図２ｂ、図２０および図２ｄを 参照しつつ行う。参照符号６は、コンパレータ５にたいする基準値（図３におけ る参照符号１２）の入力を示す。参照符号９はサブプロセッサ８に送られてくる 命令を示す。

本発明によるこの構成は、次のように動作する。充電構成３の助けにより、フォ トダイオード４が初期値まで充電される。図２ａにおいてジグザグの矢印として 示されている光かフォトダイオード４に当ると、フォトダイオード４の充電状態 か入射光の強さに比例して時間の経過につれて変化する。充電状態に対応する電 圧Ｕ（その変化の形は図３から分る）は、基準値１２と比較される。

コンパレータ５からの出力信号は２値で、サブプロセッサ８の入カフの１つに供 給される。このコンパレータ５からの２値出力信号は、Ｕが基準値１２より太き いときに論理値の１．、そうでないときに論理値のＯである。サブプロセッサ８ は、マトリックス中でフォトダイオード４の隣にある、そのコンパレータに属す る複数のフォトダイオードからの出力信号を助けとして、付設のコンパレータの 出力信号が前記の基準値を越えた、または越えないフォトダイオードの組合せの 発生を検出することができるように構成されている。これらの組合せは、行いた い画像処理を考慮して選択される。これらの組合せについては、後で図４ないし 図７を参照しながらもつと詳しく説明する。

図２ｂにおける伝達回路網８ｂの役割は、マトリックス全体に非同期で信号を伝 えることである。回路網の入力ａｌ、ａ２　・・・ａ４は、最も近い隣の伝達回 路網からのｅ出力に接続されている。人力ｂ１〜ｂ４は、制御情報のための人力 である。Ｃ入力は配給を制御するために使用され、配給を禁止することができる 。

入力画像（図２ｄに示されている例では単一の点から成る）は、入力ｄから人力 される。結果の画像は、ｅ出力において得られる。伝播の方向は、制御データの １つの種目によって決定される。この制御データの種目は、各サブプロセッサご とに異なってもよいし、すべてのサブプロセッサにたいして同じであってもよい 。この種目の制御データは、各サブプロセッサのディレクトリに記憶させること が好ましい。図２ｂに示した伝達回路網は、このような回路網の１構成法を示す にすぎない。この分野に習熟した者は、プール代数を使ってこの構成を様々に変 形することができることを理解するであろう。この伝達回路網は、例えば、他の 画像中の物体と少なくとも部分的に一致するある画像中の物体を検出するために 使うことができる。伝播は、物体の各点から１つのパターンに従った信号の配給 が行われることを意味する。図２０の表は、制御情報を用いて得られる伝播の方 向を示す。

図２ｄは、入力画像中に単一の物体点だけが存在する場合に結果として得られる 画像を示す。例えば、制御情報がｂｌ＝ｏ、ｂ２＝ｏ、ｂ３＝ｏ、ｂ４＝１であ るＮｏ。

１は、物体点から西への配給を与える。ＮＯ３５は、南と西の両方向に配給され る場合を示す。

図３中の点１３と１４は、２つの異なる放電曲線が基準値１２を通過する時点を 示す。参照符号１１は、充電構成３（図１）によって発生せしめられる初期値を 示す。

この後の説明から理解されるであろうように、本発明の大きな部分が、この事実 に基づいている。

図４は、中央値の計算に本発明がどのように使用されるかを示す。３つの隣接す るフォトダイオードに属するコンパレータからの時間の関数としての出力信号が 、図４　（ａ）、（ｂ）、（Ｃ）に示されている。この分野に習熟した者は、中 央値という語が中間のグレースケール値を表すために使用されていることを理解 するであろう。

この中央値は、本発明に従い、サブプロセッサを用いてフォトダイオードからの 出力信号が基準値を通過する時間を順序づけることによって得られる。そのため 中央値ｄはここでは図４（Ｃ）の信号を出す要素の明るさに対応し、図４（ａ） および（ｂ）はそれぞれそれよりも明°るい点および暗い点に対応する。

図５において、ラスク走査で表示された縦棒は、１つの行中に配列された多数の フォトダイオードからの放電を順番に並べたものを示す。各縦棒の下端は協働し である一瞬のフォトダイオードの充電状態の像を与え、したがってそのダイオー ド行に沿った光の強さに対応する。

最も明るい点の決定は、本発明によれば、基準レベル１５を入力し、縦棒の下端 が最初にその基準値に一致したフォトダイオード１６を検出することにより行う ことができる。最も明るい点は、従来は、順列中のすべての値を互いに比較する ことにより決定されていた。この分野に習熟した者は、本発明により成し遂げら れる簡単化と高速化を理解するであろう。この分野に習熟した者は、この操作が ２次元でも行えることを理解するであろう。

縮小画像処理操作は、物体の最外層を剥ぎ取ることを含む。同様に、拡大は物体 に外層を付は加えることを含む。これは、２次元の２値物体１８の場合について 、図６ａに示されている。参照符号１９は縮小された物体を示し、参照符号１７ は拡大された物体を示す。図６ｂは、グレースケール値（Ｉ）の場合の対応する 操作を示す。

ただし簡明にするために１次元にしである。図６０に示したグレースケール画像 は、８個のフォトダイオードの充電状態が基準値に到達した時間を表す。本発明 によれば、拡大は、例えば３つの隣接したフォトダイオードから成る群にたいし て群のどれかのフォトダイオードの充電状態が基準値に到達した時間が順に読み 出されること、そしてそのダイオードかそのダイオードの群にたいする中心のダ イオードの働きをし、その群のすべてのダイオードが基準値に達したと見なされ ることにより行われる。

拡大操作の結果は、図６ｄから知ることができる。同様の説明か縮小にも当ては まる。ただし、群のすべてのダイオードが基準値に達することか必要である。縮 小操作の結果は、図６ｅから理解されるであろう。

線形濾波操作は、ある点のグレースケール値をその点とその周りの点の付重和で 置き換えることを含む。ある点とその右および左隣の例が、図７に示されている 。図７（ａ）から分るように１．−２．１の重みが用いられている。付設のコン パレータからの出力信号が、図７（ｂ）、（ｃ）、（ｄ）に示されている。線形 濾波操作は、本発明によれば、基準値に達した充電状態にある各フォトダイオー ドにたいして、固定または可変周波数における関連するフィルタ係数が加算され ることにより行われる。図７（ｅ）は積算器８ａに加算されるべき値を示し、図 ７（ｆ）は加算後の積算器の内容を示す。この説明のための例では、濾波された 値は−１であり、右側のフォトダイオードの充電状態が基準値に達した後に得ら れた。

本発明は、発明の思想の範囲内で多様な変形や変更が可能であることは明らかで ある。センサー素子および付属のサブプロセッサは、異なる平面に配置すること がでいる。サブプロセッサは、もちろん、数値の計算、位置の決定、物体の中心 の計算などを行うための回路を含むことができる。

ＦＩＧＩ ＦＴＧ２ｃ ＩＧ２ｄ ＩＧ４ ＩＧ３ ＩＧ５ ＦＩＧ６ａ ＦＩＧ６ｂ ＦＩＧ　６ｄ　ＦＩＧ　６ｅ ＩＧ７ ０　０　１　２　１　０−１−１−１−１　（ｆ）

Claims (13)

【特許請求の範囲】
1. １．２次元のマトリックス状に配置された光に感応するセンサー素子（１；４） を使って行われる２次元の画像にたいする物体認識または線形／非線形濾波のよ うな画像処理操作を実行するための方法であって、センサー素子（１；４）が光 の強さに対応した出力信号（ｕ）を発生するように構成されること、各センサー 素子（１；４）の出力信号（ｕ）が単調に増大または減小する基準値と比較され ること、そしてセンサー素子からの出力信号が基準値よりも大きいまたは小さい 時間長が各センサー素子について連続的に測定されることを特徴とする方法。
2. ２．２次元のマトリックス状に配置された光を積分するタイプ、すなわちその出 力信号がその充電状態に対応するタイプの光に感応するセンサー素子（１；４） を使って行われる２次元の画像にたいする物体認識または線形／非線形濾波のよ うな画像処理操作を実行するための方法であって、 そのセンサー素子に入射する光の強さに対応する各センサー素子の充電状態が調 節可能な基準値（１２）と比較されること、および センサー素子（１；４）からの出力信号が基準値（１２）を満たすまたは満たさ ない時間長が各センサー素子について連続的に測定されることを特徴する方法。
3. ３．前記基準値（１２）が、光の強さとセンサー素子の出力信号が基準値に到達 する時間との間に所定の関係、例えば直線関係が成り立つように変化させること ができることを特徴とする請求項１または２に記載の方法。
4. ４．マトリックス中のある群のセンサー素子が、センサー素子からの出力信号が 前記基準値を通過する順番に対応するように順序付けられ、中央値濾波（図４） を含むことを特徴とする請求項１，２または３に記載の方法。
5. ５．その出力信号が第１番目に基準値を通過するセンサー素子が検出され、画像 中の最も明るい点の検出（図５）を含むことを特徴とする請求項１，２または３ に記載の方法。
6. ６．マトリックス中のある群のセンサー素子にたいして、予め決められたセンサ ー素子の組合わせからの出力信号が基準値に到達し、その群の他のセンサー素子 はまだ基準値に到達しない時間長が測定され、形状操作（図６ａ，６ｂ）と同義 であることを特徴とする請求項１，２または３に記載の方法。
7. ７．出力信号が基準値に到達したときにその数が光の強さを表わすデジタル値で ある各センサー素子のパルスが積算されることを特徴とする請求項１，２または ３に記載の方法。
8. ８．前記パルスが、光の強さとその対応するデジタル値との間に予め決められた 関係、例えば直線関係、が成立するように、可変周波数で発生されることを特徴 する請求項７に記載の方法。
9. ９．マトリックス中のある群のセンサー素子の中で、その群の各素子にたいして １つのフィルタ係数が割り当てられること、および出力信号が基準値に到達した 各センサー素子にたいして、関係するフィルタ係数が連続的に加算され、線形濾 波（図７）と同義であることを特徴とする請求項１，２または３に記載の方法。
10. １０．光の強さとセンサー素子の充電状態が基準値に到達する時間との間に予め 決められた関係、例えば直線関係、が成り立つように、可変周波数で連続的に加 算が行われることを特徴する請求項９に記載の方法。
11. １１．基板上に配置された多数のセンサー素子（１；４）を含み、各センサー素 子にたいして同じ基板上にそのセンサー素子からの出力信号を予め調節可能な基 準値（１２）と比較するように構成されたコンパレータ（５）とサブプロセッサ （２；８）が付設されており、各サブプロセッサ（２；８）が、出力信号が前記 基準値（１２）を越えた、または越えないセンサー素子（１；４）の組合せの発 生を検出するように構成されていることを特徴とする、請求項１または２による 方法を実行するための装置。
12. １２．サブプロセッサが、出力信号が基準値（１２）に到達した時点においてそ の数が光の強さを示すパルスを計数するように、またはその実行中に画像処理に 関係する計数を連続的に積算するように構成された積算ディレクトリ（８ａ）を 含むことを特徴とする請求項１１に記載の装置。
13. １３．制御可能な伝達回路網が好ましいことに同じ基板に構成されていることを 特徴する請求項１１に記載の装置。