JP6516775B2 - 情報マッチング装置及びその方法 - Google Patents

Description

本発明は、空間上の配列情報をマッチングするための情報マッチング装置及びその方法に関するものである。

本願発明に関連する発明としては本願発明者による「情報の絞り込み検出機能を備えたメモリ」があり、当該発明はすでに特許第４５８８１１４号として設定登録されている。この「情報の絞り込み検出機能を備えたメモリ」は、画像情報や音声情報などを世界で初めて「ハードウエアパターンマッチ」することを可能にするメモリ型情報処理技術として誕生し、注目を集めている。

すなわち、この情報の絞り込み検出機能を備えたメモリはパターンマッチをＣＰＵの逐次処理に頼ることなくメモリ内でハード的に処理することを目的に開発されたものであり、配列情報のマッチング処理に不可欠なメモリのメモリアドレスの並列置き換え手法（アドレススワップ）をシフトレジスタなどの手段によるフラグの置き換えにより実現しパターンマッチの超高速化を図ったものである。

この情報の絞り込み検出機能を備えたメモリによるパターンマッチは従来のＣＰＵで実現したパターンマッチ比較して数万倍〜数１００万倍も高速に実現できることがこれまでの研究で実証されている。具体的なパターンマッチ手法やその効果については、先願特許や論文を参考にされたい。

しかしながら、アドレスの空間が１次元、２次元情報に比較して大きくなる３次元情報さらには４次元、多次元情報などのパターンマッチを実現させる場合メモリならびに周辺回路が膨大になり半導体先端技術プロセスを用いても実現が困難である場合が多い。またパターンマッチングの概念をさらに拡大し、単に物体の頂点や表面の座標以外の属性データを持たない座標のみの情報で構成される配列情報の形状マッチングについても考慮する必要がある。

最近の技術によるハードウエアによる情報のマッチング技術を調査したが、本願特許の最大の特徴である、パターンや形状の配列情報の座標の相対性を活用し座標変換を並列に行うような先願は見当らない、一般的なパターンマッチ技術を参考文献として紹介する。

特願平４−１１５６１９。

特許第４５８８１１４号情報の絞り込み検出機能を備えたメモリは極めて高速なパターンマッチを可能にするが、タンパク質の構造解析や物体の形状照合などに利用される３次元の配列情報をメモリに展開記憶させる場合、通常の画像情報のように空間情報の全てを記憶させる場合メモリのアドレス空間が巨大に膨れ上がる。

また３次元情報の場合マッチングの回数が２次元情報に比較して比べ物にならない程に多くなりより高速化が求められる。また、３次元の配列情報の解析は未知の分野の解析が多いのでカット&トライが多くＡＳＩＣ化が困難、ＦＰＧＡでも実現させる手段が必要である。本願発明は以上のような課題を克服する新しい手法のハードウエア情報マッチングのアルゴリズムと装置を提供するものである。

（１） この発明の第１の主要な観点によれば、空間上の配列情報をマッチングするための情報マッチング装置であって、第１の記憶手段、第２の記憶手段及び第３の記憶手段を有し、第１の記憶手段ならびに第２の記憶手段は、それぞれ、空間上の１又は２以上の配列情報の座標ポイントの存在位置を示す座標データを予め所定のアドレに並列に記憶するものであり、前記第１の記憶手段は、外部から指定されるアドレスに基づき、そのアドレスに記憶された前記座標データを出力し、前記第２の記憶手段は、外部から与えられる問い合わせ座標データ（座標クエリ）に従ってこの第２の記憶手段の各アドレスに記憶された前記座標データの座標変換を行い、座標変換後の座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力し
第３の記憶手段は、上記第２の記憶手段による検出結果を記憶し外部に出力するものであることを特徴とする情報マッチング装置が提供される。

この第１の主要な観点によれば、以下の（２）〜（１６）の実施態様が提供される。

（２） 第１の主要な観点の情報マッチング装置において、さらに、第４の記憶手段を有し、この第４の記憶手段は、前記空間上の１又は２以上の配列情報の座標ポイントに対応する情報データを所定のアドレスに記憶し、外部から与えられる問い合わせ情報データ（データクエリ）に基づき、上記記憶した情報データの中から合致する前記情報データを検出しそのアドレスを出力するものであり、さらに、前記第１の記憶手段は、前記第４の記憶手段で検出されたアドレスに対応するアドレスに記憶された前記座標データを出力し、前記第２の記憶手段は、前記座標変換を行うと共に、座標変換された座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力するものであることを特徴とする情報マッチング装置。

（３） この発明の第１の主要な観点の情報マッチング装置において、前記配列情報の座標ポイントの存在位置を示す前記座標データは、絶対座標、前記問い合わせ座標データ（座標クエリ）は相対座標であることを特徴とする情報マッチング装置。

（４） この発明の第１の主要な観点の情報マッチング装置において、前記第１の記憶手段、前記第２の記憶手段、前記第３の記憶手段の少なくとも１つは並列処理を行うものであることを特徴とする情報マッチング装置。

（５） この発明の第１の主要な観点の情報マッチング装置において、前記第４の記憶手段は、並列処理を行うものであることを特徴とする情報マッチング装置。

（６） この発明の第１の主要な観点の情報マッチング装置において、前記第２の記憶手段の座標の相対変換は加減算演算処理によるものであることを特徴とする情報マッチング装置。

（７） この発明の第１の主要な観点の情報マッチング装置において、前記第１の記憶手段で出力された前記絶対座標が前記第２の記憶手段で変換された座標に合致するか否かの検出は範囲を指定して検出するものであることを特徴とする情報マッチング装置。

（８） この発明の第１の主要な観点の情報マッチング装置において、前記第３の記憶手段の検出された出力の記憶はカウンタであることを特徴とする情報マッチング装置。

（９） この発明の第１の主要な観点の情報マッチング装置において、前記第４の記憶手段のデータ検出は、データの一致または不一致、データの範囲一致または範囲不一致、データの類似または非類似、データのカウント、データの多数決、指定する検出手段、以上の組合せの手段、のいずれかでデータ検出されるものであることを特徴とする情報マッチング装置。

（１０） この発明の第１の主要な観点の情報マッチング装置において、前記第２の記憶手段の座標記憶／出力ならびに前記第３の記憶手段の座標記憶変換／検出の座標は、１次元座標、２次元座標、３次元座標、Ｎ次元座標、のいずれかの配列情報で記憶され変換され検出されるものであることを特徴とする情報マッチング装置。

（１１） この発明の第１の主要な観点の情報マッチング装置において、複数のマッチング対象情報を記憶する第５の記憶手段をさらに備えることを特徴とする情報マッチング装置。

（１２） この発明の第１の主要な観点の情報マッチング装置において、前記第２ならびに前記第３の記憶段のアドレス数を前記第１の記憶手段のアドレス数より少なく構成したことを特徴とする情報マッチング装置。

（１３） この発明の第１の主要な観点の情報マッチング装置において、前記配列情報は形状情報として記憶され利用されるものであることを特徴とする情報マッチング装置。

（１４） この発明の第１の主要な観点の情報マッチング装置において、前記配列情報はパターン情報として記憶され利用されるものであることを特徴とする情報マッチング装置。

（１５） この発明の第１の主要な観点の情報マッチングアルゴリズムを書き込んだＬＳＩ。

（１６） この発明の第１の主要な観点の情報マッチングアルゴリズムを書き込んだＦＰＧＡ。

（１７） この発明の第２の主要な観点によれば、第１の記憶手段、第２の記憶手段及び第３の記憶手段を有する情報マッチング装置を用いて、空間上の配列情報をマッチングするための方法であって、第１の記憶手段ならびに第２の記憶手段が、それぞれ、空間上の１又は２以上の配列情報の座標ポイントの存在位置を示す座標データを予め所定のアドレに並列に記憶する工程と、前記第１の記憶手段が、外部から指定されるアドレスに基づき、そのアドレスに記憶された前記座標データを出力する工程と、前記第２の記憶手段が、外部から与えられる問い合わせ座標データ（座標クエリ）に従ってこの第２の記憶手段の各アドレスに記憶された前記座標データの座標変換を行い、座標変換後の座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力する工程と、第３の記憶手段が、上記第２の記憶手段による検出結果を記憶し外部に出力する工程と、を有することを特徴とする情報マッチング方法が提供される。

（１８） 第２の主要な観点の方法による１の好ましい実施態様によれば、前記情報マッチング装置は、さらに第４の記憶手段を有し、この方法は、さらに、この第４の記憶手段が、前記空間上の１又は２以上の配列情報の座標ポイントに対応する情報データを所定のアドレスに記憶し、外部から与えられる問い合わせ情報データ（データクエリ）に基づき、上記記憶した情報データの中から合致する前記情報データを検出しそのアドレスを出力する工程と、前記第１の記憶手段が、前記第４の記憶手段で検出されたアドレスに対応するアドレスに記憶された前記座標データを出力する工程と、前記第２の記憶手段が、前記座標変換を行うと共に、座標変換された座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力する工程とを有することを特徴とする方法が提供される。

上記した構成によれば、以下の効果を得ることができる。

・情報マッチング装置やＬＳＩのメモリ空間ならびに周辺回路の規模を極めて小さくすることができる。

・情報のマッチングに不可欠な座標位置判定の速度が極めて速くなる。

・パターンマッチングのみならず形状マッチングに利用できる。

・３次元情報のみならず、Ｎ次元情報のマッチングに利用できる。

・ＦＰＧＡで実現できるので、カット&トライ的な研究分野に最適である。

・高速なマッチング技術はリアルタイム認識に不可欠であり人間の脳の代替え手段として期待される。

図１は空間に配列される物体の座標ポイントとその座標の関係を説明するものである。

図２は配列情報のメモリの記憶方法を説明するものである。

図３は座標マッチングの概念を示すものである。

図４は本発明の情報マッチングアルゴリズムをハードウエアで実現するための基本的な回路構成を説明する図である。（実施例１） 図５は本発明の３次元の座標変換方式の説明図である。（実施例２） 図６は情報マッチング２６を実施する場合のタイムチャートである（実施例３） 図７は本情報マッチング装置２７を使った人の顔認証の概念を示すものである。（実施例４）

配列情報２１の第１は、時間や事象、物体、物体の頂点などが存在する空間の位置を示す座標ポイント１のみからなる配列情報である。配列情報２１の第２は、以上の位置を示す座標ポイント１に属性データ（何らかの意味をもつ情報データ３）が付与され一体になった配列情報であり、その代表的なものが
・ある時間（位置＝座標ポイント）の気温や株価（情報データ）
・ある画素（位置＝座標ポイント）の色や輝度（情報データ）
・ある宇宙空間（位置＝座標ポイント）の星座（情報データ）
・ある分子空間（位置＝座標ポイント）の原子（情報データ）
などが代表的である
配列情報２１は配列条件によって全く別の情報配列となる。これは、日本で利用される世界地図は日本が中心位置に表示され、他国の世界地図はその国が中心に表示され、北半球と南半球では天地が逆になるのと同様である。原点と座標の向きをどのように定義するかによって全く異なった情報のように配列されることである。
このような、空間に存在する配列情報同士が同一であるか類似しているかを判断する際の有効な手段は形状マッチングもしくはパターンマッチングである。言うまでもなく、形状マッチングは物体同志の形状が同一であるか類似しているか、パターンマッチングは形状のみならず属性データを含め同一であるか、類似しているかを判断することを意味している。本願発明では、形状マッチング並びにパターンマッチングを総称して情報マッチング２６と表現している。

図１は空間に配列される物体の座標ポイント１とその座標５の関係を説明するものである。空間１に存在する物体１の表面には座標ポイントａ，ｂ，ｃ，ｄ，ｅ，ｆが存在し座標ポイント１はそれぞれが情報データ３を持っており、情報データの座標４で情報データ３の位置が示される。

同様に空間２に存在する物体２の座標ポイントｒ，ｓ，ｔ，ｕ，ｖも同様である。このような物体同士の同一性や類似性を判定する上でポイント同志の形状マッチング２５やパターンマッチング２４など情報マッチング２６させることにより同一、相似、類似などを判断することが出来る。先に述べた通り座標ポイント１が属性データである情報データ３を持たない場合は形状マッチング２５となる。

情報データ３という手掛かりを持たない座標５のみの形状マッチングは回転角と平行移動を組合せした網羅的なマッチングが必要になる。形状マッチングの場合の演算回数の一例として例えば空間のグリッドがＸＹＺ各１００座標ポイントの形状マッチング２５を網羅的に行う場合
ＸＹＺ３軸回転、１００×１００×１００＝１００万回（１Ｍ回）
ＸＹＺ３軸平行移動、１００×１００×１００＝１００万回（１Ｍ回）
回転と平行移動双方の組合せ１００万回×１００万回＝１兆回（１Ｔ回）の情報マッチング２６が必要になる。

仮に１つの物体の配列情報２１と他の物体の配列情報２１との１セットのマッチングが１００サンプリングポイントで行われ１サンプリンポイントのマッチングが１μ秒であれば、１セットのマッチングは１００μ秒となる。以上の１セットの形状マッチングを１兆回繰り返し実行すると２７．７時間という気が遠くなるような、とてつもない時間が掛かかることになる。如何にマッチング時間の短縮と、組合せ回数の組合せを少なくできるかが鍵になる。

座標ポイント１が属性データである情報データ３を持つ場合はパターンマッチング２４が可能になる。パターンマッチング２５の場合、情報データ３を特定（手掛かりを持つ）することが出来るので、見かけ上回転のみのマッチングを考慮すればよいので形状マッチング２５に比較すれば極めて効率的なマッチングになる。しかしながら上記の演算回数が回転角方向のみに限定されれば０．１秒という現実的な処理になる。３次元情報の場合、以上のような網羅的なマッチングの回数を削減して実現できるようにするなど、利用の仕方を工夫することが重要である。

また一方、パターンマッチに不可欠な情報データ３は気温や色のような単純なデータから、たとえば宇宙空間の場合の地球や火星の大きさや、体積、比重、温度やその成分など様々な属性データが一体になった複雑な構造を持つものも少なくない。物体同士を判定する際、これらのデータの一致性や類似性、さらにはその反対性を判定するための複雑な演算が必要になる場合があり、１回のマッチングに要する時間が大きくなる場合が多い。

従って、３次元情報の形状マッチやパターンマッチはスパコン京のような超高速なコンピュータを利用するか、諦めるしかなかった。従って３次元以上の空間のマッチングを現実的なものにするためには従来のＣＰＵ（ＧＰＵを含む）型逐次処理型演算によらない新しい情報のマッチング２６方法を検討する必要がある。
図２は配列情報のメモリの記憶方法を説明するものである。以上のような座標ポイント１を情報処理する上でメモリに記憶させる場合の例を示している。図に示す通り例えば座標ポイントａ，ｂ，ｃ，ｄ，ｅ，ｆの属性データである情報データ３が色の場合、従来のアドレススワップ方式の情報絞り込み検出機能を備えたメモリの場合メモリ記憶方法１で記憶する必要がある。例えば、ＸＹＺ軸のグリッドを１２８×１２８×１２８とした場合、２００万ものアドレスが必要になるが実際に利用する（記憶する）アドレスの数は６であり極めて効率が悪い記憶方法である。

一方メモリ記憶方法２はメモリに情報データ３と情報データの座標４の双方を書き込んだ場合でこの場合メモリアドレスは６アドレスと極めて小さなアドレスで済むことになる。

更に配列情報が属性データである情報データ３を持たない場合にはメモリ記憶方法３で記憶させることが出来る。

従って図に示すメモリ記憶方式２もしくはメモリ記憶方式３の方式で、情報マッチングが出来る方法があれば宇宙空間やタンパク質などの３次元空間の物体の形状や特徴を超効率よく判定できるハードウエアを提供することが出来る。

本願発明はこのような観点でメモリ利用効率や周辺ロジック回路の利用効率を大幅に引き上げ上げ、情報マッチング２６の速度を最大限とするようなマッチングのアルゴリズムとそのハードウエア回路を提供するものである。

図３は座標マッチングの概念を示すものである。図は３次元配列の座標ポイント１をそれぞれ３ポイントに絞って、それぞれの座標ポイントの座標と情報マッチング２６に不可欠な座標マッチングの概念を説明するものである。

空間１の座標ポイントａ，ｂ，ｃ並びに空間２の座標ポイントｒ，ｓ，ｔの絶対座標７は図に示すように与えられる。更に空間１の場合座標ポイントａを基準座標１９とした場合、ｂ，ｃは図に示す相対座標８上に存在することになる。

空間２のマッチング対象２７の座標ポイントｒを基準座標１９として場合、ｓ，ｔは図に示す相対座標８上に存在することになる。従って、ａ−ｂ間の相対位置とａ−ｃ間の相対位置が、ｒ−ｓもしくはｒ−ｔ間の相対位置と同一であれば形状マッチング２５が成り立つことになる。

座標ポイント１に情報データ３があり、情報データ３の整合が取れればパターンマッチング２７したことになる。

本図では座標ポイントａ，ｂ，ｃ並びに空間２の座標ポイントｒ，ｓ，ｔは単純に相対位置が平行移動した位置に配置され図示されている。実際の立体区間上の物体の形状マッチング２５を行う上で重要なことは、図１で示したように互いの物体の回転と平行移動双方を考慮して網羅的に情報マッチング２６を実施する必要がある。

もし配列情報に属性データとしての情報データ３があり、この情報データ３を手掛かりとしてパターンマッチングを行えば、見かけ上平行移動方向の情報マッチング２６は削減され、図に示す回転座標２３変換を行った座標をもとに回転方向の網羅的な情報マッチング２６を行えばよいことになる。

具体的に示せば空間１に存在する既知の座標ポイントａ，ｂ，ｃの座標を元に、回転座標変換の演算を行い、互の情報データ３と情報データの座標４の相対関係がマッチするかどうかを判定すれば良いことになる。

また先に示した通り、情報のマッチング２６を効率的に実施するためには、如何に網羅的なマッチングの回数を少なくできるかである。本発明はこのような、３次元情報のパターンマッチを２次元情報と同様高速に行うためのハードウエアプラットフォームを提供するものである。

図４は本発明の情報マッチングアルゴリズムをハードウエアで実現するための基本的な回路構成を説明する図である。もっとも基本となる形状マッチング２５の処理は以下の通りである。

予め外部から転送される配列情報の座標ポイント１の存在位置を示す座標データを第１の手段ならびに第２の手段のアドレス２に並列に記憶しておく。第１の手段は外部から指定されるアドレス２に基づき記憶された座標データ６を出力する。

第２の手段は、外部から与えられる問い合わせ座標データ（座標クエリ）１０で前記記憶された座標データ６の座標変換を行い座標変換された座標データと、前記第１の手段により出力された座標データと、が合致するアドレス１を検出し出力する。

その検出結果を記憶し記憶結果を外部に出力する第３の手段を具備する情報マッチング装置である。

以上の形状マッチングをパタ−ンマッチングにするためには以下の構成とすれば良い。

第４の手段は予め外部から転送される配列情報の座標ポイント１に対応する情報データ３をアドレスに対応して記憶しその情報データ３の中から、外部から与えられる問い合わせ情報データ（データクエリ９）に合致する前記情報データ３を検出しそのアドレス１を出力する。

この際、検出されるアドレス１が複数あった場合には図に示すプライオリテイエンコーダで優先順序順にアドレス２を出力する。

予め外部から転送される配列情報の座標ポイント１の存在位置を示す座標データ６を第１の手段ならびに第２の手段のアドレス２に並列に記憶し、第１の手段は第４の手段で検出されたアドレスの記憶された座標データ６を出力する。

第２の手段は、記憶された座標データの座標変換を行い座標変換された座標データと、前記第１の手段により出力された座標データと、が合致する前記アドレスを検出し出力する。

その検出結果を記憶し記憶結果を外部に出力する前記第３の手段を具備することにより情報マッチング装置である。

以上の情報データ３の合致は、データの一致または不一致、データの範囲一致または範囲不一致。データの類似または非類似、データのカウント、データの多数決、その他指定する検出手段、以上の組合せの手段などあらゆる比較によって得られる結果を意味している。

以上で示される座標は、予め外部から転送される配列情報の座標ポイントの存在位置を示す前記座標データは絶対座標７であり、外部から与えられる問い合わせ前記座標データ（座標クエリ）１０は相対座標８とすることにより情報マッチングが可能になる。もちろん比較すべく適切なクエリ物体等が存在せず、無手数流で相対座標を与えなくてはならない場合もある。

以上で示される第１の手段の座標記憶&出力器ならびに前記第２の手段の座標記憶変換&検出器の座標は１次元座標、２次元座標、３次元座標、Ｎ次元座標のいずれかの配列情報で記憶され変換され検出される。仮に３次元座標の本装置２９があれば、１次元から３次元までの配列情報共通に利用できる事を意味している。

第１の手段、第２の手段、第３の手段、第４の手段のすくなくとも１つは並列処理で実現することができる、図４に示す構成は全てを並列処理としたもので、情報データ３を探し回る手間と、座標５を探し回る手間がなくなるので従来手法に比較して数万倍から数百万倍も超高速な情報マッチングが可能になる。座標空間が大きいほど効果が大きくなるのがこの技術の特徴である。

第２の手段の座標の相対変換は加減算演算処理によるものであり、加減算演算器により高速に座標変換が可能である。

さらにこの装置には、第１の手段で出力された絶対座標が第２の手段で変換された座標に合致するか否かの検出は範囲を指定して検出することが可能な構成になっている。この構成は座標マッチングに多大な恩恵をもたらす。

言うまでもなくこのアルゴリズムはハードウエア回路に限定されるものでなく一般的なＣＰＵによる情報処理手段でも利用できるものであり、また対象となる配列情報は３次元配列情報に限定されるものでなく１次元配列情報からＮ次元までの情報に共通である。

先に示した図３をもとに、この情報マッチング装置２９の色情報のパターンマッチング２４の動作を説明する。空間１は既知の配列情報２１の座標ポイントａ（赤）,ｂ（黒）,ｃ（青）が配列された空間であり、空間２の座標ポイントｒ（赤），ｓ（黒），ｔ（青）は座標ポイントａ,ｂ,ｃと同一な形状で回転がかかっておらず同一の形状と情報データ３を持っているもの、すなわち平行移動された空間に配列されているものとして説明する。

最初のステップとして空間２の座標ポイントｒ，ｓ，ｔの色情報データ３は外部入力よりｒ，ｓ，ｔの順に第４の手段のアドレス１、２、３のデータ記憶&検出器１、２、３に記憶される。

同様に空間２の座標ポイントｒ，ｓ，ｔの絶対座標７の座標データ６は外部入力よりｒ，ｓ，ｔの順に第１の手段のアドレス１，２，３の座標記憶&検出器１，２，３ならびに、第２の手段のアドレス１，２，３の座標記憶変換&検出器１，２，３に記憶される。

以上でパターンマッチングの対象になる未知の配列情報２１は読み込まれているので、この座標ポイントｒ，ｓ，ｔにクエリを与えパターンマッチング２４のその結果を出力１８するまでのステップについて説明する。

最初に基準座標１９としたい座標ポイントを選ぶ、ａを基準座標１９の座標ポイントとすると、この座標ポイント１の情報データ（赤）３をデータクエリ９として外部入力より第４の手段である情報データ記憶&データ検出器に与える。

以上の外部入力により、第４の手段は座標ポイントｒ（赤）が記憶されている情報デーデ記憶&データ検出器１の出力がＯＮになり、本例の場合アドレス１にデータクエリ９で指定した情報データ（赤）３があることを出力する。

第４の手段で出力された、このアドレス出力を第１の手段である座標記憶&出力器１が受付けると、第１の手段は事前に記憶された座標ポイントｒの絶対座標を出力する。

第１の手段でから出力された座標ポイントｒの絶対座標は、第２の手段である座標記憶変換&検出器に（並列）に与えられる。

このステップでは、座標クエリ１０及び範囲クエリ１６は与えないので、座標ポイントｒの絶対座標７が記憶されている座標記憶変換&検出器１がヒットしこの検出出力がＯＮする（本例ではアドレス１）。この検出結果は第４の手段である検出結果記憶&出力器の本例ではマッチカウンタ（ＣＮＴ）１に記憶される（本例ではアドレス１である）。この操作により基準座標１９としてマッチ回数カウンタ（ＣＮＴ）１が「１」にカウントアップされ基準座標１９に指定されたことになる。

次に指定された基準座標１９に対する座標マッチングのステップを示す。

座標ポイントｂ（青）を次のクエリ条件とする。座標ポイントｂをクエリとすると、この座標ポイント１の情報データ（青）３をデータクエリ９として外部入力より第４の手段である情報データ記憶&データ検出器に与える。

以上の入力により、座標ポイントｓ（青）が記憶されている情報デーデ記憶&データ検出器２の出力がＯＮになりアドレス２にクエリで指定した情報データ（青）３があることを第４の手段が出力する。

このアドレス出力を第１の手段である座標記憶&出力器２が受付けると、事前に記憶された座標ポイントｓの絶対座標を第１の手段が出力する。

一方第２の手段に座標クエリ１０として座標ポイントｂ（青）と座標ポイントａ（赤）の差分となる相対座標８が入力されると、座標記憶変換&検出器に事前に記憶された座標ポイントｒ，ｓ，ｔの絶対座標７は、相対座標値分、加減算演算により座標変換され、第２の手段の各アドレス２はこの変換された座標２０と先に出力されている第１の手段から出力される絶対座標７とのマッチングを行う。

この場合第２の手段が、第１の手段の出力を受け付けるタイミングは第２の手段の座標変換が完了した後であることは言うまでもない。

この変換された座標２０と第１の手段で出力された座標ポイントｓの絶対座標７がマッチ（合致）すればマッチングが成立したことになる。

次に座標ポイントｃ（黒）を次のクエリ条件とする。座標ポイントｃをクエリとすると、この座標ポイント１の情報データ（黒）３をデータクエリ９として外部入力より、第４の手段である情報データ記憶&データ検出器に与える。

以上の入力により第４の手段は、座標ポイントｔ（黒）が記憶されている情報デーデ記憶&データ検出器１の出力がＯＮになりアドレス３にクエリで指定した情報データ（黒）３があることを出力する。

このアドレス出力を第１の手段である座標記憶&出力器３が受付けると、第１の手段は事前に記憶された座標ポイントｔの絶対座標７を出力する。

一方第２の手段の外部入力に座標クエリ１０として座標ポイントｃ（黒）と座標ポイントａ（赤）の差分となる相対座標値が入力されると、第２の手段である座標記憶変換&検出器に事前に記憶された座標ポイントｒ，ｓ，ｔの絶対座標は、相対座標値分、加減算演算により変換された値になる。

この時、第２の手段の座標記憶変換&検出器に記憶された座標は変換された座標２０となっており、この変換された座標と第１の手段で出力された座標ポイントｔの絶対座座標がマッチ（合致）すればマッチングが成立したことになる。

以上のマッチングには意味を持たない座標同志のマッチングも含まれる。
以上座標ポイントａ，ｂ、ｄをテンプレートとして未知の座標ポイントｒ，ｓ，ｔが意味のあるマッチングをしたかどうかは、最初に指定した標準座標１９に、パターンマッチ条件が成り立っていたかどうかを、第３の手段から読み取ればよい。本例の場合、アドレス１のマッチ回数カウンタ（ＣＮＴ）１５のカウント値が「３」になっていれば、座標ポイントａ，ｂ、ｄと座標ポイントｒ，ｓ，ｔのパターンマッチング２４が成立したことになる。標準座標１９が複数指定された場合はその中で最大のカウント値であるマッチ回数カウンタ（ＣＮＴ）のアドレスがマッチアドレスである。

図５は３次元の座標パターンマッチの実例を示すものであり、以上の概念をわかり易く説明するものである。本図では先に説明の図４の回路構成で示すようにクエリ条件として座標マッチ位置の誤差を許容するための範囲クエリ１６の考え方も加味して説明する。本例では各座標が最小値（ＭＩＮ）から最大値（ＭＡＸ）の範囲にあれば座標位置のマッチがなされる構成である。

第１の手段並びに第２の手段のアドレス２にはアドレス１から順に座標ポイントｒ，ｓ，ｔの座標が書き込まれている。一例として座標ポイントｒが基準座標１９でその絶対座標はＸ＝５８、Ｙ＝１２５、Ｚ＝５６、座標ポイントｓの絶対座標はＸ＝６３、Ｙ＝１１５、Ｚ＝７２、座標ポイントｔの絶対座標はＸ＝１３４、Ｙ＝５８、Ｚ＝８９である。

座標ポイントｒ−ｓのマッチングの場合、本例ではマッチング誤差を許容するための範囲クエリ１６がＸ＝±１，Ｙ＝±２，Ｚ＝±３として設定されている。座標ポイントｒ−ｓの座標クエリ１０として差分となる相対座標ｘ＝５、ｙ＝−１０、ｚ＝１６を与えると、第２の手段の全アドレスの座標は加減算演算で、相対的に座標変換するとともに、与えられたクエリ範囲設定１６の条件が加味され、Ｘのマッチング範囲はＭＩＮ６２、ＭＡＸ６４、Ｙのマッチング範囲はＭＩＮ１１３、ＭＡＸ１１７、Ｚのマッチング範囲はＭＩＮ６９、ＭＡＸ７５、と設定される。本例では図に示す座標ポイントｓの存在するアドレス２の絶対座標が基準座標１９として指定された座標マッチ範囲にマッチ（合致）する。

続いて座標ポイントr−tのマッチングにおいては、範囲クエリ１６がＸ＝±３、Ｙ＝±３、Ｚ＝±３として設定されている。座標ポイントr−tの座標クエリ１０として差分となる相対座標ｘ＝７６、ｙ＝−６７、ｚ＝３３を与えると、第２の手段の全アドレスの座標は加減算演算で、相対的に座標変換するとともに与えられたクエリ範囲設定１６の条件が加味され、Ｘのマッチング範囲はＭＩＮ１３１、ＭＡＸ１３７、Ｙのマッチング範囲はＭＩＮ５５、ＭＡＸ６１、Ｚのマッチング範囲はＭＩＮ８６、ＭＡＸ９２、と設定される。本例では図に示す座標ポイントｔの存在するアドレス３の絶対座標が基準座標１９の座標マッチ範囲にマッチ（合致）する。

以上の座標変換は全てのアドレス２共通に並列に行われていることに留意されたい、超高速な座標変換が可能になり、しかも効率の良い範囲マッチングが実現できる最大のポイントである。

以上の相対座標による座標の加減算は加減算器で超高速に実限することができる、またＭＩＮ、ＭＡＸ値の演算もこの加減算器で容易に実現することができる。各８ｂｉｔ程度（座標分解能２５６）の加減算器であれば、複数の加減算器を並列に実装し処理することができる。

またこの第２ならびに第３の手段は、最初に基準値として出力されるアドレス２の最大数に制限するなど、必要最低限のアドレス数とすることも可能であるので、大幅に回路を削減することも可能である。

言うまでもなく、第４の手段を連想メモリ（ＣＡＭ）手段として、連想メモリとこの装置２９を組み合わせて利用することも可能である。

図４で示した通り、以上２回の位置のマッチをマッチ回数カウンタ１５でカウントしその結果を読み出すことによりパターンマッチング２４が成立したかどうかを判定することが出来る。

本例は説明のために２回のパターンマッチの例を説明したが、パターンマッチの回数は記憶されている座標ポイント数まで繰り返すことが可能である。
マッチ回数の記憶はカウンタに限るものでない。また、本例の座標ポイント１の情報データ３は色の情報で説明したが、大量で複雑なデータ構造をもつ、宇宙空間やタンパク質の分子構造など任意であり判定方法も任意である。

このアルゴリズムは既知の座標ポイントの情報データ３と情報データの座標４をもとにクエリ条件を与え、未知の配列情報全並列に形状マッチング並びにパターンマッチングをすることが出来るプラットフォームが実現されることを意味するものである。

本方式の座標変換は、アドレスの置き換え（アドレススワップ）アルゴリズムをシフトレジスタで実現した、特許第４５８８１１４号情報の絞り込み検出機能を備えたメモリと全く等価の効果をもたらすものであり、これまで検証し積み重ねて来たてきたハードウエアパターンマッチ手法の全て代替えすることができる。

特許第４５８８１１４号情報の絞り込み検出機能を備えたメモリは画像情報のように空間情報の全てを記憶する場合のパターンマッチに最適であるが、本方式は３次元空間である宇宙空間やタンパク質、特定物体の頂点や表面など座標ポイント１が比較的少ない情報のマッチングに最適である。

本方式は立体空間におけるパターンマッチに２つの恩恵を与えるものである。その第１は言うまでもなく、マッチング時間そのもの大幅な短縮である。
その第２は、本方式はマッチング座標の範囲を大きく広げてもマッチング時間は一定であることである。通常ＣＰＵなどが大きな範囲を持って座標マッチングを行なう場合その範囲に比例してマッチングの時間が長くなる、したがって３次元空間の場合の範囲マッチングは極めて限定された範囲しか利用できない。本アルゴリズムの場合、範囲設定が自由にでき、しかも時間を気にする必要がないので座標位置の曖昧パターンマッチが可能になる。つまり、厳密な位置同志のパターンマッチではなくて、それぞれの曖昧設定に見合った範囲クエリ１６の設定を行い座標位置に曖昧性を持たせたパターンマッチが可能になる。例えば回転角ＸＹＺをそれぞれ
１０度刻みで（粗設定）実施する場合は３６×３６×３６＝４６，６５６回
５度刻みで（中設定）実施する場合は７２×７２×７２＝３７３，２４８回
１度刻みで（高精度）実施する場合は３６０×３６０×３６０＝４６，６５５，０００回１０度刻みの場合、１度刻みと１０００倍の差があることに留意されたい。
１０度刻みのようなマッチングでも適正数（通常１０ポイント以上）の座標サンプルポイントがあればパターンマッチは保障される。

図６は情報マッチング２６を実施する場合のタイムチャートである。例えば、マッチング回数ｎ回を１セットとして回転条件Ｎ回を網羅的に実施する場合の例である。図に示すように、マッチング対象２７となる情報データ３ならびに絶対座標７を本情報マッチング装置２９に転送しておく。

マッチング１は基準座標１９となるアドレス２を指定するものであり、第４の手段に外部から与えられた、データクエリ９を指定し該当する情報データ３を検出し、その情報データ３のアドレス２を出力する。第１の手段は第４の手段から出力されたアドレス２を読み込み、該当するアドレス２の絶対座標７を出力する。

第２の手段は、外部から与えられる、座標クエリ１０、ならびに範囲クエリ１６に基づき座標変換を行うが、マッチング１の場合は、座標クエリ１０、ならびにクエリ範囲設定１６に条件は与えられないので、第１の手段で出力された絶対座標７は第２の手段の同じアドレス２の検出器で検出されることになる。このマッチ座標は第３の手段のマッチ回数カウンタ（１５）に「１」とカウントアップ記憶され基準座標１９となる。

マッチング２は同様に、第４の手段に外部から与えられた、データクエリ９を指定し該当する情報データ３を検出し、その情報データ３のアドレス２を出力する。第１の手段は第４の手段から出力されたアドレス２を読み込み、該当するアドレス２の絶対座標７を出力する。第２の手段は、外部から与えられる、座標クエリ１０、ならびに範囲クエリ１６に基づき座標変換を行い、座標変換された座標に第１の手段で出力された絶対座標７とマッチするものがあるかどうかを検出する。このマッチ座標は第３の手段のマッチ回数カウンタ１５に記憶される。この際、マッチした座標が先に指定された基準座標１９にマッチすれば意図したマッチ座標と判定してマッチ回数カウンタ１５のカウント値は「２」となる。場合によって意図しないマッチ座標であれば基準座標１９以外のマッチ回数カウンタ１５でカウントされる。

同様なパターンマッチを所定回数ｎ回繰り返えし、第３の手段の基準座標１９のマッチ回数カウンタ１５のカウント数を読み出すことにより、同一性や類似性を判定することができる。当然のことながら同一物体同志のマッチングであれば、カウント値は１＋マッチング回数になる。もし基準座標１９が複数あった場合にはカウント値が多いマッチ回数カウンタ１５の座標程類似性が高いマッチングがあったと評価できる。

以上の１セットの情報マッチング２６を半導体で実現する場合の速度について検討する。最先端技術を使えばより高速な処理が可能になるが、クロック周波数をＦＰＧＡでも実現できる１００ＭＨＺ、１クロックが１０ｎ秒程度とした場合第４の手段である情報データ３の検出が連想メモリ（ＣＡＭ）演算などのように並列処理で高速に実現出来る場合、１回当たりのマッチング時間は１００ｎ秒程度で実現することが可能であるので、マッチ回数が１００回の場合でも１０μ秒程度あれば、１セットのマッチングが可能である。通常のＣＰＵの逐次処理に場合には、一例としてマッチングする座標の範囲を広くすると多くの時間を消費する結果になるように与える設定条件で処理時間が大きく変化するが、本方式の処理速度は与える条件を変えてもいつも一定の処理時間であることも大きな特徴である。

従って回転を考慮する必要がない配列情報の場合１秒間で１０万セットの情報マッチングが可能ある。ＬＳＩ化することにより更に高速化することが可能である。

座標の回転が必要な情報マッチング２６についての考え方を示す、図３に示す通り座標ポイント１同士の２点間の距離は座標ポイント１のＸＹＺの相対座標を元に２乗平均平方根をもとめるとともに、これらの距離をもとに、回転が掛かった場合の座標の位置は回転角行列式座標変換して求めることができる。
これらの演算はＣＰＵやＧＰＵが得意であり、ＣＰＵやＧＰＵで回転座標変換された相対座標を座標クエリ１０として与えれば良い。

以上のように回転を考慮する必要があれば、図に示すようにＸＹＺ軸それぞれの回転角αβγ条件による回転座標２３変換を行った座標クエリ１０を与えるよう、先に示した１セット分のマッチングを繰り返し網羅的に実施すれば良い。

本方式の特徴の一つが範囲クエリ１６によりマッチング座標の範囲を任意指定することができることである。一般的には座標ポイント同士の距離が離れている場合には、大きな誤差範囲を与え、座標ポイント同士の距離が近い場合には小さな誤算範囲を与えることにより演算誤差や物体の細かな誤差を極めて効率よく吸収することができる。

通常未知の物体のパターンマッチを行うような場合、パターンマッチの可能性があるかどうか、最初の段階では粗いマッチングから徐々に精度の良いマッチングに切り替えるとよい。

１０度刻みで実施する場合、４６，６５６回となるので先に示した１セットのマッチング時間が１０μ秒の場合４６５ｍ秒で網羅的なマッチングが実現出来る。５度刻みで実施する場合は３７３，２４８回となるので３．７秒で網羅的なマッチングが実現できる。１度刻みで実施する場合は４６，６５５，０００回となるので４６０秒で網羅的なマッチングが実現できる。これらの網羅的なマッチングを行えば必ずどこかの回転角で対象となる形状もしくはパターンは発見できる。当然のことながらパターンや形状がマッチしない場合もある。
もちろん、途中で最良なマッチング回数が検出されれば途中でストップすることが出来る。

以上のようなマッチング処理、情報探しや、座標マッチを効率的に実現するためのメタデータを用意することなくＧＰＵなどの逐次処理プロセッサで行った場合、数万倍程度の時間がかかることに留意されたい。本方式は、情報探しや、座標マッチを効率的に実現するためのメタデータを用意する必要がないことも大きな特徴である、メタデータを作成するための時間が必要ないことも大きな特徴である。

図７は本情報マッチング装置２７を使った人の顔認証の概念を示すものである。通常人間の顔の特徴は顔の全体の形状や、目や鼻などの顔のパーツの形状を総体的に判定し特定するものである。従って高精度で判定する場合は３次元空間でのマッチングが最適であるが３次元パターンマッチは多大な演算が必要になので、精度よくするためにサンプリングポイント多数使用するとリアルタイムでの実現が困難である。

図に示すとおり、個人毎の顔の座標ポイント１を必要数作成し、本情報マッチング装置に転送記憶し、比較すべき（クエリ）顔との類似性を評価することができる。一般的な顔照合の場合、ほぼ正面から見た顔の座標ポイント１同士でマッチングできるので１セットのマッチング処理が先に示した１０μ秒で一人分の認証評価が実現できる。

顔の回転を含めたマッチングが必要な場合でも、一般的にはＸＹＺ軸それぞれ３６０度回転させる必要はなく最大±３０度程度として、５度刻みとすると、１２×１２×１２＝１，７２８回のマッチングで実現することが出来る。１セットのマッチング処理が先に示した１０μ秒である場合１７ｍ秒で実現されることになる。

図示はしないが、図４のこの装置２９に第５の手段として複数のマッチング対象を記憶するメモリ２８を備えマッチング対象２７を複数転送して置くことにより、多数の人物との認証評価がリアルタイムで実現できる。言うまでもなく、並列に処理させれば更に高速な処理が実現できる。本例は顔の立体座標ポイント１であるが、２次元画像処理で得られた様々な特徴の形状把握にも利用できる。例えばエッジ情報がどのような形状、たとえば円形であるか、方形であるか、三角形であるか、その組み合わせなどを見極める手段としても利用できる。

本情報マッチング装置２９の特徴は速いだけではなく、単純に対象物の絶対座標を取得すれば、複雑な情報マッチングの複雑なアルゴリズムを考えたり、プログラムを組んだりする必要がない、このことは情報処理技術者の負担を大きく軽減する結果になる。

以上のように計算量と計算時間の双方が軽減出来れば、スパコンでしか実現できなかった、タンパク質や宇宙空間の物体同志のパターンマッチが手軽に実現できることを意味する。

本発明の情報マッチング装置２９は、従来のフラグシフト型方式のアドレススワップに比較して、メモリリソースや周辺回路素子のリソースを大幅に少なくすることが可能である。従ってＦＰＧＡで容易に実現することが出来る、もちろんＡＳＩＣ、ＡＳＳＰなどの半導体ＬＳＩとすることも極めて容易であることが特徴である。

この発明は配列情報とは何か、アドレスは何か、座標とは何かを原点に戻り検証し直し配列情報の形状マッチングやパターンマッチングの座標位置マッチングを加減算演算ハードウエアで解決したものである。

本方式は１次元からＮ次元空間に配列される情報のマッチング２６に共通に利用できる。これまで困難であった、タンパク質の構造解析や３次元物体の特徴、形状の検出、顔の照合、ステレオマッチなど幅広く利用できる。

１．座標ポイント
２．アドレス
３．情報データ
４．情報データの座標
５．座標
６．座標データ
７．絶対座標
８．相対座標
９．データクエリ（情報データの問い合わせ
１０．座標クエリ（座標の問い合わせ）
１１．情報データ記憶&データ検出器（第４の手段）
１２．座標記憶&座標出力器（第１の手段）
１３．座標記憶&座標変換&座標検出器（第２の手段）
１４．検出結果記憶&出力器（第３の手段）
１５．マッチ回数カウンタ
１６．範囲クエリ
１８．マッチ結果出力
１９．基準座標
２０．変換座標
２１．配列情報
２２．相対距離
２３．回転座標
２４．パターンマッチング
２５．形状マッチング
２６．情報マッチング
２７．マッチング対象
２８．複数のマッチング対象情報を記憶するメモリ（第５の手段）
２９．情報マッチング装置

Claims (16)

1. 空間上の配列情報をマッチングするための情報マッチング装置であって、
   第１の記憶手段、第２の記憶手段及び第３の記憶手段を有し、
   第１の記憶手段ならびに第２の記憶手段は、それぞれ、空間上の１又は２以上の配列情報の座標ポイントの存在位置を示す座標データを予め所定のアドレスに並列に記憶するものであり、
   前記第１の記憶手段は、外部から指定されるアドレスに基づき、そのアドレスに記憶された前記座標データを出力し
   前記第２の記憶手段は、外部から与えられる問い合わせ座標データ（座標クエリ）に従ってこの第２の記憶手段の各アドレスに記憶された前記座標データの座標変換を行い、座標変換後の座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力し
   第３の記憶手段は、上記第２の記憶手段による検出結果を記憶し外部に出力するものである
   ことを特徴とする情報マッチング装置。
2. 請求項１記載の情報マッチング装置において、
   さらに、第４の記憶手段を有し、
   この第４の記憶手段は、前記空間上の１又は２以上の配列情報の座標ポイントに対応する情報データを所定のアドレスに記憶し、外部から与えられる問い合わせ情報データ（データクエリ）に基づき、上記記憶した情報データの中から合致する前記情報データを検出しそのアドレスを出力するものであり、
   さらに、
   前記第１の記憶手段は、前記第４の記憶手段で検出されたアドレスに対応するアドレスに記憶された前記座標データを出力し
   前記第２の記憶手段は、前記座標変換を行うと共に、座標変換された座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力するものである
   ことを特徴とする情報マッチング装置。
3. 請求項１記載の情報マッチング装置において、
   前記配列情報の座標ポイントの存在位置を示す前記座標データは、絶対座標、
   前記問い合わせ座標データ（座標クエリ）は相対座標である
   ことを特徴とする情報マッチング装置。
4. 請求項１記載の情報マッチング装置において、
   前記第１の記憶手段、前記第２の記憶手段、前記第３の記憶手段の少なくとも１つは並列処理を行うものである
   ことを特徴とする情報マッチング装置。
5. 請求項２記載の情報マッチング装置において、
   前記第４の記憶手段は、並列処理を行うものである
   ことを特徴とする情報マッチング装置。
6. 請求項１記載の情報マッチング装置において、
   前記第２の記憶手段の座標の相対変換は加減算演算処理によるものである
   ことを特徴とする情報マッチング装置。
7. 請求項１記載の情報マッチング装置において、
   前記第１の記憶手段で出力された前記絶対座標が前記第２の記憶手段で変換された座標に合致するか否かの検出は範囲を指定して検出するものである
   ことを特徴とする情報マッチング装置。
8. 請求項１記載の情報マッチング装置において、
   前記第３の記憶手段の検出された出力の記憶はカウンタである
   ことを特徴とする情報マッチング装置。
9. 請求項２記載の情報マッチング装置において、
   前記第４の記憶手段のデータ検出は
   データの一致または不一致
   データの範囲一致または範囲不一致
   データの類似または非類似
   データのカウント
   データの多数決
   指定する検出手段
   以上の組合せの手段
   のいずれかでデータ検出されるものである
   ことを特徴とする情報マッチング装置。
10. 請求項１記載の情報マッチング装置において、
    前記第２の記憶手段の座標記憶／出力ならびに前記第３の記憶手段の座標記憶変換／検出の座標は
    １次元座標、２次元座標、３次元座標、Ｎ次元座標の
    いずれかの配列情報で記憶され変換され検出されるものである
    ことを特徴とする情報マッチング装置。
11. 請求項１記載の情報マッチング装置において、
    複数のマッチング対象情報を記憶する第５の記憶手段をさらに備える
    ことを特徴とする情報マッチング装置。
12. 請求項１記載の情報マッチング装置において、
    前記第２ならびに前記第３の記憶手段のアドレス数を前記第１の記憶手段のアドレス数より少なく構成した
    ことを特徴とする情報マッチング装置。
13. 請求項１記載の情報マッチング装置において、
    前記配列情報は形状情報として記憶され利用されるものである
    ことを特徴とする情報マッチング装置。
14. 請求項１記載の情報マッチング装置において、
    前記配列情報はパターン情報として記憶され利用されるものである
    ことを特徴とする情報マッチング装置。
15. 第１の記憶手段、第２の記憶手段及び第３の記憶手段を有する情報マッチング装置を用いて、空間上の配列情報をマッチングするための方法であって、
    第１の記憶手段ならびに第２の記憶手段が、それぞれ、空間上の１又は２以上の配列情報の座標ポイントの存在位置を示す座標データを予め所定のアドレスに並列に記憶する工程と、
    前記第１の記憶手段が、外部から指定されるアドレスに基づき、そのアドレスに記憶された前記座標データを出力する工程と、
    前記第２の記憶手段が、外部から与えられる問い合わせ座標データ（座標クエリ）に従ってこの第２の記憶手段の各アドレスに記憶された前記座標データの座標変換を行い、座標変換後の座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力する工程と、
    第３の記憶手段が、上記第２の記憶手段による検出結果を記憶し外部に出力する工程と
    を有することを特徴とする情報マッチング方法。
16. 請求項１５記載の方法において、
    前記情報マッチング装置は、さらに第４の記憶手段を有し、
    この方法は、さらに、
    この第４の記憶手段が、前記空間上の１又は２以上の配列情報の座標ポイントに対応する情報データを所定のアドレスに記憶し、外部から与えられる問い合わせ情報データ（データクエリ）に基づき、上記記憶した情報データの中から合致する前記情報データを検出しそのアドレスを出力する工程と、
    前記第１の記憶手段が、前記第４の記憶手段で検出されたアドレスに対応するアドレスに記憶された前記座標データを出力する工程と、
    前記第２の記憶手段が、前記座標変換を行うと共に、座標変換された座標データと前記第１の記憶手段により出力された座標データとが合致するアドレスを検出して出力する工程と
    を有することを特徴とする方法。

Images