JPWO2013084731A1 - 画像識別システム - Google Patents

Abstract

シルエット情報から一般物体認識を行う画像識別システムとして、検出対象とする対象画像データを受け付ける入力部と、対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、抽出した輪郭から特徴点群を検出処理する特徴点検出部と、検出した特徴点群に含まれる特徴点組を用いて抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報の照合処理を行う輪郭照合部と、照合した結果を出力する出力部と、を設ける。

Description

本発明は、画像情報に含まれる一般的な物体または形状の認識や検索などを行うための情報処理システムに関し、特に、物体または形状のシルエット情報を用いて対象を識別処理する方法に関する。

近年、デジタルカメラを始めとするデジタル映像機器が急速に普及した。このような環境化で、撮影された画像や映像のなかに、どのような物体が含まれているのかを識別処理する一般物体認識への期待が高まっている。
一般物体認識では、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索などが行なわれている。またさらには、動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り出しての再編集など、様々な用途に応用できる可能性を一般物体認識は有している。
物体認識に関する技術として、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきた。しかし、これらは多くの場合特定の用途に向けられた物体認識技術である。このような特定の用途に特化した認識技術は、別の用途に利用しても能率よく動作しない。異なる用途への利用の問題点としては、認識率の低下や誤識別、情報処理量の増大などの問題が挙げられる。このため、一般的な物体の認識を能率よく行う技術の開発が期待されている。
情報処理装置によって一般物体を認識する方法として、物体形状のシルエットを利用する方法が提案され利用されている。関連する文献は、特許文献１や特許文献２が挙げられる。これらの文献では、シルエット情報から、輪郭上の各点の曲率情報を用いて認識を行う手法が提案されている。
曲率は、局所円弧の半径（曲率半径）の逆数として定義される。そのため、曲率それ自体は、物体の大きさに対しての不変量ではない。しかし、相対化を行うことによって、物体の大きさに対して不変に曲率を抽出が行える。
また、似た物体のもつ輪郭の曲率情報は類似していることが知られている。このため、曲率情報を用いる上記技術は、輪郭形状が若干異なる輪郭に対しても、類似度を算出可能である。
また、情報処理装置は、物体形状のシルエット情報から、曲率情報に加えて、例えば非特許文献１に示されるように、曲率の特徴点である変曲点や、輪郭の位置座標など、物体形状に関する様々な特徴量を抽出できる。
一方、シルエットからの対象の識別処理には、複数物体が隣接してシルエットが結合していた場合に、容易に分離することができない、という問題点がある。この問題は、例えば、非特許文献２に示されている。非特許文献２では、手書き文字が隣接して結合している場合、シルエットが結合している点を判別できないなどの問題を指摘している。
こうした問題に対処するために、シルエットの結合を分析する際に、学習済みの結合パターンを用いる対処法が提案されている。例えば結合している文字数を二文字に制限したうえで、二文字の結合パターンを前もって学習しておき、画像識別システムは、その学習済みの結合パターンに基づいてシルエット分割処理を行う。その後、画像識別システムは、対象の識別処理を、分割されたシルエットを用いて行なう。しかしながら、こうした学習済みの結合パターンを用いる場合にも多数の問題点がある。例えば、結合している文字数（識別範囲内にある物体の数）が幾つなのかがわからない場合に対処できない問題を含んでいる。別の問題点を例示すれば、前もって学習した結合パターンでない結合パターンの場合に対処できない点が挙げられる。また、結合度合いによって結合パターンが実質的に異なることも問題点として挙げられる。
このように、学習済みの結合パターンを用いる方法にも様々な課題が残されている。このため、文字数（識別範囲内にある物体の数）などの認識に用いる条件への制限を行うことなく、また、結合パターンを前もって学習することなく、シルエット情報から自由自在に能率よく物体形状を切り出す識別技術が望まれる。

特開平１０−０５５４４７号公報 国際公開第２０１２／０７０４７４号

Ｍｏｋｈｔａｒｉａｎ，Ｆａｒｚｉｎ，ＳＩＬＨＯＵＥＴＴＥ−ｂａｓｅｄ ｏｃｃｌｕｄｅｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｔｈｒｏｕｇｈ ｃｕｒｖａｔｕｒｅ ｓｃａｌｅ ｓｐａｃｅ，Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．１０，Ｎｏ．３，ｐｐ．８７−９７，Ａｕｇｕｓｔ １９９７． 西脇大輔，上谷昌昭，田中直哉，山田敬嗣，黒色罫線枠帳票読み取りのための文字枠検出除去と接触文字の切り出し認識，信学技報，ＰＲＩＵ９７−２１８（１９９８−０２）

物体認識を行う画像識別システムは、シルエット情報を用いた一般物体の認識手法を用いる際に、複数の物体が結合しているシルエット情報から、単一物体に対応するシルエット情報を抽出する必要を有する。
しかしながら、複数物体のシルエット情報から単一物体毎のシルエット情報を抽出するために、様々な問題から様々な制限を加える必要ある。この制限は、シルエット情報に含まれる物体の数に制限を加える必要がある、複数物体の結合部分の特徴を前もって学習しておく必要がある、処理量が増大するなどが例示できる。
換言すれば、一般的な物体のシルエット情報からの対象の識別に、これまで提案されている用途に合わせて作られた技術を適用することでは認識精度や認識時間などの能率上の課題を有する。
すなわち、一つまたは複数の物体形状のシルエット情報から、単一物体部分の閉輪郭を抽出することを解決する最適な方法は、考案されていなかった。
本発明は、シルエット情報に基づいて該シルエット情報に含まれる物体または形状の一般物体認識を能率よく行う画像識別システム、及びその方法、を提供する。
また、本発明は、一般物体認識をシルエット情報から行う際に、単一の閉輪郭の抽出を能率よく試みる処理手法を提供する。

本発明に係る一般物体認識を行う画像識別システムは、検出対象とする対象画像データを受け付ける入力部と、前記対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、抽出した輪郭から特徴点群を検出処理する特徴点検出部と、検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、照合した結果を出力する出力部と、を含み成ることを特徴とする。
本発明に係る一般物体認識を行う画像識別方法は、検出対象とする対象画像データを受け付ける入力ステップと、前記対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出ステップと、抽出した輪郭から特徴点群を検出処理する特徴点検出ステップと、検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する輪郭候補生成ステップと、生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定ステップと、前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合ステップと、照合した結果を出力する出力ステップと、を含み成ることを特徴とする。
本発明に係る一般物体認識に用いられるプログラムは、情報処理システムを、受け付けた検出対象とする対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、抽出した輪郭から特徴点群を検出処理する特徴点検出部と、検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報と照合処理して出力可能にする輪郭照合部として動作させることを特徴とする。

本発明によれば、シルエット情報に基づいて該シルエット情報に含まれる物体または形状の一般物体認識を能率よく行う画像識別システム、およびその方法を提供できる。
また、本発明によれば、一般物体認識をシルエット情報から行う際に、単一の閉輪郭の抽出を能率よく試みる処理手法を提供できる。

図１は、本発明に係る第１の実施の形態における画像識別システムの構成図である。
図２は、パターン認識の対象となる画像データに含まれる物体形状の一例を示す説明図である。
図３は、シルエット情報における対象の輪郭の一例を示す説明図である。
図４は、輪郭上の特徴点群の一例を示す説明図である。
図５は、輪郭上の特徴点ペア群を直線近似の補完輪郭候補で示した一例を示す説明図である。
図６は、シルエット情報から抽出され補完および補正された閉輪郭の一例を示す説明図である。
図７は、第１の実施の形態における画像識別システムの動作の一例を示すフローチャートである。
図８は、適切な特徴点ペアの選択方法の判定条件を示す説明図である。
図９は、適切な特徴点ペアの別の選択方法の判定条件を示す説明図である。
図１０は、適切な特徴点ペアの更に別の選択方法の説明に用いる輪郭上の曲率の符号を示す説明図である。
図１１は、識別例における特徴点ペア群および直線近似の補完輪郭を示す説明図である。
図１２は、特徴点ペア間の補完輪郭の補正方法の一例を示す説明図である。
図１３は、閉輪郭の「横並び」と「縦並び」の識別条件の説明に用いる説明図である。
図１４は、本発明に係る第２の実施の形態における画像識別システムの構成図である。
図１５は、画像データに含まれる輪郭情報の一例を示す説明図である。
図１６は、補完輪郭接合部による接合処理の説明に用いる説明図である。
図１７は、補完輪郭接合部による適正判別の説明に用いる説明図である。
図１８は、第２の実施の形態における画像識別システムの動作の一例を示すフローチャートである。
図１９は、本発明の具現化の一例を示す構成図である。
図２０は、本発明の別の具現化の一例を示す構成図である。

これまで提案されているシルエット情報を用いた一般物体の認識システムでは、複数の物体が結合しているシルエット情報から、単一物体に対応するシルエット情報を抽出する処理を行なっている。そのため、複数物体のシルエット情報から単一物体のシルエット情報を抽出する処理に、シルエット情報に含まれる物体数の登録や制限すること、対象とする複数物体の結合部分の特徴を予め学習して登録することなどを行なっていた。
このように、予定される検出対象にそった様々な制限事項を加えることは、検出対象とする範囲を予め限定していることと同義であり、特定物体認識に近い側面を有する。
こうした課題に対して、発明者らは以下のように一般物体認識を行なうシステムを提案する。
本システムの処理動作は、５つのステップで示すことができる。
第一のステップでは、一つまたは複数が含まれた物体のシルエット情報から取得できる全体の輪郭を抽出する。
第二のステップでは、抽出した輪郭上における特徴的な点を抽出する。
第三のステップでは、抽出した輪郭上の特徴点をもとに、輪郭を分ける候補を多数作成する。
第四のステップは、多数ある輪郭を分ける候補を絞り込むことによって適切であろう物体の閉輪郭を抽出する。
第五のステップは、抽出できた閉輪郭を、データベース情報に照合することによって、物体の特定を行う。
以下、それぞれのステップ行なう画像識別システムについて、実施の形態を用いて説明する。
本発明の第１の実施の形態を図１ないし図１３を参照して説明する。
［第１の実施の形態］
本実施の形態を採用することにより、複数の物体形状が含まれたシルエット情報から、その中に含まれる単一の物体の認識を可能にする画像識別処理を行なう情報処理システムを提供できる。
［構成の説明］
図１は、第１の実施の形態の画像識別システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
画像識別システムは、情報処理の全体を管理する制御部１０と、検出対象とする画像データを取得する画像情報取得部２０、取得した画像データなどを記憶する画像情報記憶部３０、物体および形状の特徴が予め抽出されて記憶収集されてデータベース化されている輪郭情報記憶部４０、認識結果を出力する照合結果出力部５０を含み構成されている。また、画像認識システムは、画像識別部１００として、輪郭抽出部１０１、特徴点抽出部１０２、特徴点ペア生成部１０３、補完輪郭選定部１０４、輪郭照合部１０５を含み構成されている。
制御部１０は、画像識別に関連する情報処理の全体動作を管理する。
画像情報取得部２０は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部３０に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得すればよいし、或いは輝度情報などを利用した白黒変換など、その後の処理が容易になるような変換を施して取得すればよい。図２は画像情報取得部２０によって取得される画像情報の例である。なお、画像情報取得部２０は、動画像などから、任意の間隔などで自動的に収集して画像情報を取り込むことも可能である。
画像情報記憶部３０は、取得した画像データや照合して得た結果、必要に応じて中間データ（閉輪郭の形状や補完輪郭、特徴点座標など）などを記憶する。画像情報記憶部３０は、メモリーで構成してもよいし、ＨＤＤで構成してもよく、記憶部であればよい。
輪郭情報記憶部４０は、照会に使用される照合用の各種データが抽出されて記憶されている。なお、輪郭情報記憶部４０として、外部データベースを参照することとしてもよい。
照合結果出力部５０は、画像識別部１００で得られた結果を出力する。例えば、画像情報記憶部３０から取得した照合結果と共に、輪郭情報記憶部４０に記録されている照合結果の対象の物体や形状をモニターなどに出力する。なお、出力形態は、どのような情報を出力してもよい。
輪郭抽出部１０１は、画像情報取得部２０によって取得されて画像情報記憶部３０に記録されている検出対象とする画像データから、取得できる輪郭の全部あるいは一部のみを輪郭情報（シルエット情報）として抽出処理する。ここでの全部とは、個々に分かれた輪郭をすべて検出対象とすることを指し、一部のみとは、ユーザが範囲や座標で指定した近傍の１つの輪郭や任意の個数の輪郭のみを検出対象とすることを指す。
輪郭抽出部１０１は、対象画像データから、例えば、色相・彩度・明度などが急激に変化する点を、ラプラシアン・ガウシアンフィルタなどを用いて抽出する。ここでの急激に変化する点とは、色相・彩度・明度などの微分値が、前もって定められた閾値を超えるかどうかで判断して求めばよい。また、複数の抽出方法や複数の閾値を組み合わせて、複数の異なる観点に輪郭情報を取得してもよい。なお、輪郭情報を抽出する方法は、例示した方法に限定するものではない。
抽出された物体の輪郭は、例えば、輪郭点の集まりとして表現すればよく、直交座標系を用いて個々の点を（ｘ，ｙ）などで表してデータ化すればよい。
図３は輪郭抽出部１０１によって抽出される輪郭情報の一例である。このように、図２に示した数字パターン（「６」「８」「０」が結合している３つの物体）からなる一つのシルエット情報があった場合、図３のような外輪郭が抽出される。
なお、輪郭は、ひとつの対象画像データ内から複数取得できることもある。この取得された個々の輪郭に対して個々に以下で説明する処理を行えばよい。なお、複数の輪郭が取得できた際には、最も外側に位置する輪郭から処理を行なうと能率的である。以降の説明ではひとつの輪郭のみが取得された例を説明する。
特徴点抽出部１０２は、検出対象とする輪郭上の特徴的な点（特徴点群）を抽出する。この特徴点とは、例えば、下記式（１）で定義される曲率ｋ（ｔ）の値がゼロとなる点であり、すなわち変曲点である。
曲率ｋ（ｔ）は、輪郭上における任意の一点を始点として輪郭を一周するように取った輪郭座標ｔ、および、輪郭を直交座標系（ｘ，ｙ座標系）で表現した際の、ｘ，ｙのｔについての一次微分値および二次微分値によって定義される（式（１）参照）。

この手法によって定義される図３に示される輪郭上から抽出した結果の特徴点を、図４中に○印で示す。なお、特徴点を抽出する方法は、上記したものに限定するものではない。例えば、前述した曲率ｋ（ｔ）の値が急激に変化する点を「接続点」と定義して、接続点を特徴点として採用する手法が考えられる。ここでの急激に変化する点とは、例えば、曲率の微分値が、前もって定められた閾値を超えるかどうかで判断する。「接続点」の定義は以上の定義に限らず、物体が接続を起こす特徴的な点となっていればどのような定義であっても構わない。
特徴点ペア生成部１０３は、特徴点抽出部１０２によって抽出された特徴点群を用いて、任意の特徴点の組（特徴点組）を作成する。加えて、特徴点ペア生成部１０３は、任意の二点（特徴点組）の組合せによる曲線（補完輪郭候補）をそれぞれ生成処理する。この補完輪郭候補は、画像識別部１００として抽出するシルエット情報を分ける境界の候補であり、線（関数）や点（座標）などで表せばよい。例えば、図４に示した特徴点群について、任意の二特徴点間を一次曲線（直線）によって補完輪郭候補を生成すると、図５に示された結果になる。
補完輪郭選定部１０４は、特徴点ペア生成部１０３で生成した補完輪郭候補の個々を、その補完輪郭候補の元となった特徴点組の位置の特徴を参照して、補完輪郭（適切であろう二特徴点）であるか選定処理する。適切な二特徴点（特徴点組）を選択する方法に関しては、いなかる手法を組み合わせて採用してもよい。 また、補完輪郭選定部１０４は、適切であろうと選定した補完輪郭（以後の処理で有効として扱う判定した補完輪郭候補）について、その補正を行なうこととしてもよい。なお、この補正は、選定前に個々の補完輪郭候補に行なうこととしてもよい。
補完輪郭候補の有効性を判定する処理、補正する処理については、後に例示する。
輪郭照合部１０５は、補完輪郭選定部１０４によって選定された補完輪郭を用いて、対象画像データから抽出した輪郭を分割した部分にあたる閉輪郭を識別し、その閉輪郭を輪郭情報記憶部４０に記録されている照会用の各種データ（輪郭情報）を参照して物体の識別処理を行う。当該照合処理は、既存の多くの手法が使用できる。例えば、閉輪郭毎の特徴量の比較による照合や、全ての閉輪郭を用いた物体の位置を用いた照合などが挙げられる。また、採用する照合処理は、１種類のみでなくとも複数種類を用いてもよい。また、閉輪郭について、全体照合と共に部分照合を行う様にしてもよい。
上記閉輪郭は、先に抽出した輪郭の一部と、選定された補完輪郭とに囲われた部分にあたる。ここで識別する閉輪郭は、ひとつであっても複数であってもよい。
また、選定された補完輪郭の１つのみを適用した照合、選定された補完輪郭の２つを適用した照合、選定された補完輪郭の全てを適用した照合、とのように照合に用いる補完輪郭の個数を変えながら、照会データと対比して、物体を識別してもよい。
このように照合処理は、選定した補完輪郭を用いて、先に抽出した輪郭を分割した部分にあたる閉輪郭（輪郭の一部）を用いて、輪郭情報の照合処理を行えばどのような方法でもよい。照合方法の一例について、後に説明する。
図６は識別された閉輪郭の例である。この例では、上記補完輪郭選定処理により「６」と「８」の間に適切な補完輪郭を設定できており、照合処理によって全体のシルエットから「６」を識別できる。
［動作の説明］
次に、実施の形態の処理動作例について説明する。図７は、本実施の形態の動作の例を示すフローチャートである。
まず、画像情報取得部２０は、ユーザが指定する対象画像データを取得して画像情報記憶部３０に記録する（Ｓ１００１）。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的、半自動的に取得してもよい。
次に、輪郭抽出部１０１は、画像情報記憶部３０に記録された検出対象とする対象画像データから物体または形状の輪郭情報（シルエット情報）を抽出処理する（Ｓ１００２）。輪郭情報の抽出は、例えば閾値以上の輝度をもつピクセルなどを前もってユーザが基準を指定して、その基準を満たすもののみについて取得すればよい。
次に、特徴点抽出部１０２は、輪郭上の特徴的な点を検出して特徴点群として抽出する（Ｓ１００３）。
次に、特徴点ペア生成部１０３は、特徴点抽出部１０２によって抽出された特徴点群に含まれる個々の特徴点をそれぞれ組にして、複数の補完輪郭候補を生成処理する（Ｓ１００４）。
次に、補完輪郭選定部１０４は、特徴点ペア生成部１０３によって生成された特徴点ペア間の補完輪郭候補から補完輪郭を特徴点組の位置の特徴を参照して選定処理すると共に、選定した補完輪郭を補正処理する。（Ｓ１００５）。なお、輪郭照合では、補完輪郭が無ければ、対象画像データから抽出した輪郭を用いて、輪郭情報の照合処理を行えばよい。
次に、輪郭照合部１０５は、対象画像データから抽出された輪郭情報（シルエット情報）と補正された補完輪郭とを使用して、輪郭情報記憶部４０を参照して物体の照合処理を行う（Ｓ１００６）。
この際、制御部１０は、必要に応じて上記処理やパラメータを変更する処理を行ってもよい。条件を変えて処理を繰り返し行えば精度の向上を図れる。その後、制御部１０は、照合結果出力部５０から、照合結果を出力する。
このように画像識別システムを動作させることによって、含まれる物体の数が明確でないシルエット情報から、そのシルエットに含まれる単一の物体の認識を能率よく取得できることが期待できる。
ここで、補完輪郭候補の有効性の判定と有効とした補完輪郭を補正する処理方法について例示する。
以下の有効成判定処理では、任意の二特徴点（抽出された特徴点群から選定）について設定された補完輪郭候補をひとつ選択し、その補完輪郭候補に３種類の有効成判定を行い、全ての判定に問題がなければ有効な補完輪郭候補（すなわち補完輪郭）として採用する。なお、２種類の有効成判定のみを採用してもよい。また、３種類の有効成判定を行い２種類の有効成判定に問題がなければ有効としたり、特定の有効性判定に加え他の複数の有効性判定に問題がなければ有効とする方法でもよい。
以下の方法では、特徴点ペア生成部１０３による補完輪郭候補の生成、補完輪郭選定部１０４による補完輪郭の選定、および選定した補完輪郭の補正の三つの小ステップを含ませている。
まず、第一の小ステップは、任意の二点間を曲線によって補完するステップである。なお補完は、いかなる補完方法を採用してもよいが、ここでは、一次曲線（直線）による近似を採用する（図５参照）。
次に、第二の小ステップは、曲線補正を行った結果に基づいて、不適切な二点の組み合わせをその特徴点組の位置の特徴に基づいて除去するステップである。ここでの不適切な二点の組み合わせ（不適切な補完輪郭候補）を除去するために必要な条件は、どのような条件を採用してもよいが、ここでは、以下に示す三つの基準を用いる。
第一の条件は、第一の小ステップで描写した補完曲線上のすべての（或いはある一定以上の割合の）点が、輪郭抽出部１０１で抽出した輪郭（シルエット情報）の内側に含まれているという条件である。ここでの条件に合致する補完輪郭候補とそうでない補完輪郭候補の例を、図８に示す。このように特徴点ペアを成す両特徴点の位置の特徴である特徴点間を結んだ曲線が輪郭の内側（条件に合致）であるか外側（条件に不一致）であるかによって、対象の切り分け得る候補の抽出に利用できる。
第二の条件は、輪郭上の特徴点組の個々の特徴点を輪郭の接点と見做した際に、輪郭に対するそれぞれの接線の角度が所定範囲以内であるという条件である。ここでの範囲は、どのような範囲を設定してもよい。ここでは、図９に示すように、選択した二点を通る直線に対して接線のなす角が、π／２以内となる範囲とする。また、π／４以内やπ／６以内などとなる狭い範囲を条件としてもよい。なお、２接線に対して異なる角度を基準とした条件を用いてもよい。このように特徴点ペアを成す両特徴点の位置の特徴である輪郭に対するそれぞれの接線の角度が所定範囲以内（条件に合致）であるか所定範囲外（条件に不一致）であるかによって、対象の切り分け得る候補の抽出に利用できる。
第三の条件は、補完輪郭候補の曲線の両端の曲率の符号（＋，−）が一致するという条件である。輪郭を点で表した際の曲率の符号を描写した例を図１０に示す。図１０では、輪郭曲率の符号が正の部分を細線で示し、負の部分を太線で示している。このように特徴点ペアを成す両特徴点の位置の特徴である曲率の符号が一致（条件に合致）であるか不一致（条件に不一致）であるかによって、対象の切り分け得る候補の抽出に利用できる。
以上、第二の小ステップによって不適切であろう補完輪郭候補（特徴点組）の除去を繰り返して、適切であろう二点の組み合わせを抽出する。この不適切であろう補完輪郭候補を除去する処理によって、残った補完輪郭候補の補正曲線について描写すると、図１１に示す破線のような結果を得られる。このように、補完輪郭候補を成す特徴点組の位置の特徴に基づいて、多くの不適切な補完輪郭候補を削除できている。
最後に、第三の小ステップは、第二の小ステップまでで選定した適切であろう補完輪郭候補（補完輪郭）の曲線を補正する。ここでの補正は、いかなる補正方法を採用してもよい。例えば、第一の小ステップで採用した一次曲線（直線）による近似を採用してもよい。以下では、図１２を用いて二点の位置関係と接線のなす角を用いる手法を説明する。なお、補完輪郭を一次曲線で示した際に、データベースの照会による認識精度を著しく落とす（形状を著しく変形させる）場合がある。このため一次曲線と異なる曲線でも補正を行うとよい。この処理は、抽出された輪郭における画像から抽出された部分（補完輪郭に基づかない部分）の形状に合わせて補正方法を変えることとしてもよい。
まず、補完輪郭（点１０００１と点１０００２間の曲線）の接線のなす角を、角１０００３として導出する。次に、点１０００１と点１０００２とを両端とする線分長さ１０００４を、補完輪郭の直線距離として導出する。
このとき、点１０００１と点１０００２を両端とする微小領域を円弧と仮定した場合の円弧の代表点を点１０００５として導出する。点１０００１（点１０００２）と点１０００５との長さ１０００６は、この微小領域を円弧としたときの半径（曲率半径）と一致する。また、円弧と仮定することにより、角１０００３と角１０００７の値は等しくなる。これらの変数の幾何的関係を利用すると、式（２）によって曲率半径１０００６を導出することができる。

この様にして、補完輪郭を円弧の一部の曲線を用いるように補正すればよい。また、例えば、画像から抽出された部分の平均的な曲率を用いることも可能である。
また、複数の異なる補正を加えた補完輪郭を準備することとしてもよい。
次に、抽出した閉輪郭を照合する処理方法について例示する。
上記したように照合方法（物体の特定方法）は、どのような手法を採用してもよいが、ここでは、特徴量の比較による照合と、物体の位置を用いた特定方法を説明する。
特徴量の比較は、例えば、閉輪郭の各点における曲率などの特徴量を比較することによって行う。この際、画像から直接的に取得した部分と、補完輪郭の部分で、異なる重み付けを行なってもよい。
物体の位置を用いた特定方法は、例えば、文字であれば「横並び」と「縦並び」が共存することがない、などの条件を用いて特定する。「横並び」と「縦並び」に関しては、図１３を用いて一例を示す。
図１３（ａ）（条件に合致する例）は、第四のステップ（補完輪郭候補群から補完輪郭を抽出する処理）までで生成したすべての閉輪郭の重心どうしのなす角が、一定範囲（おおよそ３０度以内）におさまっている。本例のような、閉輪郭の重心どうしのなす角が一定範囲内の場合に、閉輪郭は「横並び」の一方向のみに存在すると定義する。
一方、図１３（ｂ）（条件に合致しない例）は、識別した全ての閉輪郭の重心どうしのなす角が、一定範囲（おおよそ３０度以内）におさまっていない。描画した二つのベクトル（二つの閉輪郭の重心を結んだベクトル）のなす角は、９０度近くに及んでいる。本例のような、閉輪郭の重心どうしのなす角が一定範囲を超える場合に、閉輪郭は「縦並び」と「横並び」の両方向に存在する（共存する）と定義する。
このように、輪郭照合処理は、選定された補完候補に基づいて識別された閉輪郭群の位置関係を参照して、該閉輪郭群の並び方を仮定して、照合データ（データベース）と対比すれば、能率が向上する。なお、対象物体の位置を用いた特定方法は、本例に限らず、閉輪郭に関連する位置情報を用いるいかなる方法を採用してもよい。
次に、本発明の第２の実施の形態を図１４ないし図１８を参照して説明する。
［第２の実施の形態］
本実施の形態では、複数の物体形状が複数個所において結合しているシルエット情報から、その中に含まれる単一の物体の認識を行う場合を想定している。なお、第１の実施の形態では、複数の物体形状が含まれた単一シルエット情報から、その中に含まれる物体認識を説明した。
第２の実施の形態では、シルエット情報に含まれる複数の輪郭から抽出された部分輪郭を適切に接合および補完・補正を行なって、含まれている物体を推定する手法を採用する。このために、第２の実施の形態は、補完輪郭接合部１１１を含む点が、第１の実施の形態とは異なる。このほか、いくつかの要素は第１の実施の形態とは異なる機能を有す。
［構成の説明］
図１４は、第２の実施の形態の画像識別システムの構成を示すブロック図である。なお、本発明に関連が薄い構成および第１の実施の形態を用いて説明した構成については、説明を簡略化又は省略する。
輪郭抽出部１０１は、画像情報取得部２０によって取得されて画像情報記憶部３０に記録されている検出対象とする画像データから、取得できる輪郭の全部あるいは一部のみを輪郭情報（シルエット情報）として抽出処理する。ここでの全部とは、個々に分かれた輪郭をすべて検出対象とすることを指し、一部のみとは、ユーザが範囲や座標で指定した近傍の１つの輪郭や任意の個数の輪郭のみを検出対象とすることを指す。第２の実施の形態の画像識別システムは、複数の輪郭を結合する処理を行って、結合した画像識別処理に用いる。輪郭抽出部１０１が抽出する輪郭は、画像データから取得できる輪郭の全部であることが望ましい。しかし、全長が短い輪郭や、特徴点抽出部１０２で抽出する特徴点を含まない輪郭など、この後の処理への影響が少ない輪郭を抽出する必要はない。なお、全部の輪郭の抽出後に、所定量の特徴点を含まないと識別した輪郭を補完輪郭選定部１０４等での情報処理から外すように扱うこととしてもよい。
輪郭抽出部１０１および特徴点抽出部１０２によって抽出された特徴点群を抽出した輪郭情報の一例を図１５に示す。なお、図示されているように、抽出された輪郭情報は４つの輪郭から構成される。以下では、この複数の輪郭を含む輪郭情報を用いて輪郭の接合および補完輪郭の選定を説明する。
図１５に例示した複数の輪郭を含む輪郭情報は、特徴点ペア生成部１０３によって、処理に使用する輪郭に含まれていた全ての特徴点を用いて、特徴点組およびその特徴点組による補完輪郭候補が多数生成される。
この際に、特徴点ペア生成部１０３は、異なる輪郭に属する特徴点相互であっても、特徴組として補完輪郭候補を生成処理する。なお、同一の輪郭に属する特徴点組から成る補完輪郭候補と、相異なる輪郭に由来する個々の特徴点により成る補完輪郭候補とを、フラグなどによって識別可能に取り扱えばよい。また、各処理のタイミングで個々に特徴点組の位置や方位の特徴を参照して、同一の輪郭に属する特徴点組から成る補完輪郭候補と、相異なる輪郭に由来する個々の特徴点により成る補完輪郭候補であるか識別してもよい。
補完輪郭選定部１０４は、特徴点ペア生成部１０３で生成した補完輪郭候補の個々を、補完輪郭（適切であろう二特徴点）であるか選定処理する。この際、異なる輪郭に属する特徴点による補完輪郭候補について、同一の輪郭に属する特徴点による補完輪郭候補と同一の条件で選定することとできる。また、異なる輪郭に属する特徴点による補完輪郭候補について、例えば、補完輪郭候補の元となった特徴点組の位置の特徴に加え補完する両端の輪郭曲線とで成す角度（方位）などを加えてより精度を求める条件で選定することとしてもよい。また、補正する手法を補完する両端の輪郭曲線の変移角度を小さくするように変更してもよい。なお、補完輪郭の補正に係る処理は、輪郭の接合後に行なうこととしてもよい。
補完輪郭接合部１１１は、補完輪郭選定部１０４によって選定・補正された補完輪郭に基づく輪郭の接合処理（結合処理：同定処理）を行うと共に、選定された補完輪郭群が適正であったかどうかの判別処理を行う。ここでの適正かどうかの判別処理は、選定された補完輪郭群を用いて抽出された輪郭群を補完して１ないし複数の閉輪郭を形成した場合、その閉輪郭が幾何的に正しいかどうかを確認することによって判別処理する。補完輪郭に基づく閉輪郭が輪郭の成立性を担保する幾何的条件を満たさない場合、画像識別システムは補完輪郭の選定を誤りと判別して、適宜処理を遡って、輪郭の接合、補完輪郭の補正、補完輪郭の選定、特徴点の抽出、輪郭の抽出の何れか又は組み合わせをやり直せばよい。
この幾何的に正しいかどうかを判別する処理は、いかなる手法を用いても構わない。例えば、曲率がゼロとなる変曲点の数が偶数であるかどうかを確認する手法を用いることができる。変曲点は、輪郭の凹面と凸面が切り替わる点に対応するので、変曲点数が偶数であれば、閉輪郭は幾何的に適切であると判別できる。
本実施形態においては、適切な二特徴点（特徴点組）を補完輪郭として選択する判別処理（選定処理）を繰り返す際に、補完輪郭選定部１０４と補完輪郭接合部１１１は、別輪郭に由来する特徴点組の補完輪郭候補を補完輪郭と選定した場合、この補完輪郭（＝選定された補完輪郭候補＝特徴点組を結ぶ曲線）とその結合先である輪郭曲線とが成す角度（方位）に基づいた接合処理を行うと共に、その接合の正当性の判別処理を行なう。この相異なる二輪郭の接合処理によって、後の画像識別処理を効率化できる。なお、ここでの接合処理とは、抽出時に別々の輪郭として識別した個々の輪郭を、情報処理上同一輪郭として扱うことであり、輪郭や特徴点の表現形式毎にデータの再構築等を適宜行えばよい。
ここで、別輪郭に由来する特徴点組の補完輪郭候補を選定した場合の接合および正当性判別の一手法を、図１６および図１７を用いて説明する。
補完輪郭接合部１１１は、図１６の拡大部分に示す黒矢印の両端の特徴点ペアから成る補完輪郭候補を選定した際に、黒矢印の起点となっている特徴点（補完輪郭候補の起点）の属する輪郭と、黒矢印の先端となっている特徴点（補完輪郭候補の終点）の属する輪郭とを同一輪郭であるとの仮定の元に接合処理する。この際、同一輪郭と仮定する処理過程で、輪郭の繋がり方に選択肢が生じることがある。これは、図１６に示す例では、拡大部分に示す上方の白抜き矢印で示す曲線（輪郭線）と補完輪郭を介して接合する曲線（輪郭線）について、補完輪郭の先端となっている特徴点から接合先候補が図中で左方向と右方向の二つの方向（図中下方白抜き矢印参照）が取り得る。そこで、このような条件下の補完輪郭候補を補完輪郭として選定した際、補完輪郭接合部１１１は、曲率の連続性を考慮するように、補完輪郭となる曲線と後続の曲線（＝接続する輪郭の右側か左側）のなす角度が小さい方の方向を選択して接合する。なお、どちらの方向かを決定する要素は角度以外の要素を加えても良く、接続する方位のみに限定する必要は無い。無論補完輪郭候補の逆方向に接続する輪郭に対しても同様である。
両輪郭（接合する輪郭）からすれば、補完輪郭接合処理は、介する補完輪郭候補のそれぞれの特徴点位置により両輪郭をそれぞれ分離して、補完輪郭候補の曲線を基準に分離した両輪郭のそれぞれの輪郭端から補完輪郭候補の曲線と接合先にする輪郭曲線とが成す角度が他方より小さく成る方の輪郭端同士を同一の輪郭であると扱うように、輪郭相互を接合させる。なお、後述する正当性判別により誤りとされた際に、逆方向の輪郭曲線と組み替える処理動作を処理ルーチンに組み込んでも良い。この逆方向の輪郭曲線へ組み替える処理ルーチンを組み込むにより、適切な接合処理に要する演算量を削減できる。
次に、補完輪郭接合部１１１は、別輪郭に由来する特徴点から成る補完輪郭の正当性判別を、選定した他の補完輪郭（別輪郭に由来しない特徴点から成る補完輪郭も含む）と共に一体的に輪郭の成立性を示す幾何的条件を満たすか否かを判別して行なう。
輪郭の成立性を示す幾何的条件は、仮定により形成された閉輪郭について、凹凸ペアが一対一に対応するかどうかを用いることができる。この凹凸ペアが一対一に対応するか否かを判別することによって、閉輪郭が幾何的に適切であると確定できる。例えば、図１７に例示する上方の二つの白抜き矢印で示す補完輪郭の正当性を判別する際に、下方の黒矢印が正当な補完輪郭であることを条件として、右側矢印を選択した場合の閉輪郭の凹凸ペアが偶数であることに基づき、右側矢印は正当な補完輪郭と判別とされる。他方左側矢印は無効な補完輪郭であると判別される。
また、この適正判定処理の際に、他の輪郭（結合処理と関係が無い輪郭）についても合わせて全体的に幾何的条件を満たすか判別して、全ての輪郭が幾何的条件を満たすように扱うこととしてもよい。また、幾何的に適正と判別できる候補が複数抽出された際には、輪郭照合部１０５に処理結果を送る前に候補の絞り込みを行なってもよいが、輪郭照合部１０５によって絞り込みを行なってもよい。例えば、輪郭照合部１０５によって、選定された補完輪郭に基づいて識別された閉輪郭群の位置関係や各輪郭の比率等を参照して、閉輪郭群の並び方に規則性があるとの仮定をもって照合を行なえばよい。無論、候補全てに同様の輪郭照合処理を行うこととしてもよい。
その後、補完輪郭に基づく閉輪郭が幾何的条件を満たした場合、輪郭照合部１０５は、選定された補完輪郭を用いて、対象画像データから抽出した輪郭を分割した部分にあたる閉輪郭を識別し、その閉輪郭を照会データと照合して物体の識別処理を行う。
なお、第１の実施の形態と同様の処理のみを補完輪郭選定部１０４が行って、輪郭照合部１０５により閉輪郭の特定とデータベース照会を行なってもよい。しかし、上記の手法を採用することにより、識別処理精度の効率化を図れる。
［動作の説明］
次に、第２の実施の形態の動作例について説明する。図１８は、本実施の形態の動作の例を示すフローチャートである。
ステップＳ１００１からＳ１００４までの処理は、第１の実施形態と同様に動作して多数の補完輪郭候補の生成を行なう。
次に、補完輪郭選定部１０４は、特徴点ペア生成部１０３によって生成された特徴点ペア間の補完輪郭候補から補完輪郭を特徴点組の位置の特徴を参照して選定処理すると共に選定した補完輪郭を補正処理する（Ｓ１００５）。この際に、異なる輪郭に属する特徴点によって成る補完輪郭を識別可能に処理する。
次に補完輪郭接合部１１１は、接合する対象となる補完輪郭選定部１０４によって選定・補正された補完輪郭とその隣接する輪郭とを識別処理して、特徴点組の位置および方位の特徴を参照して接合処理する（Ｓ１１０１）。加えて、補完輪郭接合部１１１は、選定された補完輪郭群が適正であったかどうかを幾何的条件に照らし合わせて判別処理を行う（Ｓ１１０２）。選定された補完輪郭群が適正でない場合は、再度Ｓ１００５等に遡り処理を繰り返す。
この補完輪郭選定部１０４および補完輪郭接合部１１１で行なう処理動作によって、輪郭抽出部１０１で異なる輪郭として識別された輪郭を接合すると共に、その接合の正当性を高める処理動作を付与できる。この処理によれば、輪郭照合部１０５で行なう画像識別処理の処理量（処理回数）の低減が図れる。加えて、複数の部分輪郭を用いて照合処理を実行できるので、照合精度の向上が期待できる。結果、輪郭情報に基づいた画像識別の正当性を大きく向上させ得る。
すなわち、このように画像識別システムを演算動作させることによって、含まれる物体の数が明確でなく、かつ、ある物体とある物体が二箇所以上の接触箇所において接触しているシルエット情報から、そのシルエットに含まれる単一の物体の認識をより能率よく取得できることが期待できる。
なお、画像識別システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに画像識別プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として機能させる。また、このプログラムは、固定的に記憶媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
また、画像識別システムは、図１９や図２０に例示すように、コンピュータやサーバ単体に構築すればよい。また、クラウドシステムやモバイル端末として構築してもよい。また、クラウドシステムと情報処理端末とをネットワークを介して組み合わせて構築してもよい。
上記実施の形態を別の表現で説明すれば、画像識別システムとして動作させる情報処理装置を、ＲＡＭに展開された画像識別プログラムに基づき、輪郭抽出手段、特徴点検出手段、特徴点ペア生成手段、補完輪郭選定手段、輪郭照合手段等として制御部を動作させることで実現することが可能である。
以上説明したように、本発明によれば、シルエット情報に基づいて該シルエット情報に含まれる物体または形状の一般物体認識を行う画像識別システム、およびその方法を提供できる。
また、本発明によれば、一般物体認識をシルエット情報から能率よく行う際に、単一の閉輪郭の抽出を能率よく試みる処理手法を提供できる。
加えて、本発明によれば、一般物体認識をシルエット情報から行う際に、複数の抽出輪郭から単一と見做す閉輪郭の抽出を能率よく試みる処理手法を提供できる。
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。また、各実施形態や各構成要素の適宜な分割や組合せを行ってもこの発明に含まれる。
また、上記の実施形態の一部または全部は、以下のようにも記載されうる。なお、以下の付記は本発明をなんら限定するものではない。
［付記１］
検出対象とする対象画像データを受け付ける入力部と、
前記対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、
抽出した輪郭から特徴点群を検出処理する特徴点検出部と、
検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、
照合した結果を出力する出力部と、
を含み成ることを特徴とする物体または形状を識別する画像識別システム。
［付記２］
検出対象とする対象画像データの輪郭から特徴点群を検出処理する特徴点検出部と、
検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、
を含み成ることを特徴とする物体または形状を識別する画像識別エンジン。
［付記３］
検出対象とする対象画像データの輪郭から検出された特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、
を含み成ることを特徴とする物体または形状を識別する画像識別エンジン。
［付記４］
検出対象とする対象画像データの輪郭から検出された特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
を含み成ることを特徴とする物体または形状を切り出す画像識別エンジン。
［付記５］
検出対象とする対象画像データを受け付ける入力ステップと、
前記対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出ステップと、
抽出した輪郭から特徴点群を検出処理する特徴点検出ステップと、
検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する輪郭候補生成ステップと、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定ステップと、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合ステップと、
照合した結果を出力する出力ステップと、
を含み成ることを特徴とする物体または形状を識別処理する画像識別方法。
［付記６］
情報処理システムを、
受け付けた検出対象とする対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、
抽出した輪郭から特徴点群を検出処理する特徴点検出部と、
検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理して出力可能にする輪郭照合部と、
として動作させることを特徴とする物体または形状の識別に用いられるプログラム。
［付記７］
情報処理システムを、
検出対象とする対象画像データの輪郭から特徴点群を検出処理する特徴点検出部と、
検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、
として動作させることを特徴とする物体または形状の識別に用いられるプログラム。
［付記８］
情報処理システムを、
検出対象とする対象画像データの輪郭から検出された特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、
として動作させることを特徴とする物体または形状の識別に用いられるプログラム。
［付記９］
情報処理システムを、
検出対象とする対象画像データの輪郭から検出された特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
として動作させることを特徴とする物体または形状の識別に用いられるプログラム。
［付記１０］
上記付記記載のプログラムを記録した記録媒体。
本発明によれば、一つまたは複数の物体形状のシルエット情報から、データベースに照合する適切な輪郭を抽出処理することによって、一般的な物体の認識を可能にでき、画像の検索や、画像の分類といった用途に適用可能である。
この出願は、２０１１年１２月８日に出願された日本出願特願２０１１−２６８９０７号および２０１２年８月２８日に出願された日本出願特願２０１２−１８７４２５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 制御部（制御手段）
２０ 画像情報取得部（画像情報取得手段、入力部）
３０ 画像情報記憶部（対象画像、結果）
４０ 輪郭情報記憶部（照会データ、照合データベース）
５０ 照合結果出力部（照合結果出力手段、出力部）
１００ 画像識別部（画像識別手段）
１０１ 輪郭抽出部（輪郭抽出手段）
１０２ 特徴点抽出部（特徴点抽出手段）
１０３ 特徴点ペア生成部（特徴点ペア生成手段）
１０４ 補完輪郭選定部（補完輪郭選定手段）
１０５ 輪郭照合部（輪郭照合手段）
１１１ 補完輪郭接合部（補完輪郭接合手段）

Claims (38)

1. 検出対象とする対象画像データを受け付ける入力部と、
   前記対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、
   抽出した輪郭から特徴点群を検出処理する特徴点検出部と、
   検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
   生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
   前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した前記輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合部と、
   照合した結果を出力する出力部と、
   を含み成ることを特徴とする物体または形状を識別する画像識別システム。
2. 前記輪郭照合部は、
   補完輪郭があれば、前記輪郭の一部を用いて、輪郭情報の照合処理を行い、
   補完輪郭が無ければ、前記対象画像データから抽出した輪郭を用いて、輪郭情報の照合処理を行う
   ことを特徴とする請求項１記載の画像識別システム。
3. 前記補完輪郭選定部は、前記位置の特徴として、前記特徴点群の位置・接線の方位・曲率の２以上の情報を用いて、特徴点組間に設定された補完輪郭候補から補完輪郭を選定することを特徴とする請求項１又は２に記載の画像識別システム。
4. 前記補完輪郭選定部は、選択した補完輪郭候補について、該補完輪郭候補の生成に用いられた特徴点組の位置の特徴を参照して、特徴点組間に設定された曲線を補正して補完輪郭として扱うことを特徴とする請求項１ないし３の何れか一項に記載の画像識別システム。
5. 前記補完輪郭選定部は、補完輪郭候補から補完輪郭を選択する条件を、２以上に組み合わせて補完輪郭を選択することを特徴とする請求項１ないし４の何れか一項に記載の画像識別システム。
6. 前記補完輪郭選定部は、補完輪郭候補の特徴点の位置・接線の方位・曲率の一つまたは複数の情報を、前記特徴点組の位置の特徴として参照して、特徴点組間に設定された曲線を補正することを特徴とする請求項１ないし５の何れか一項に記載の画像識別システム。
7. 前記補完輪郭選定部は、前記特徴点群の位置・接線の方位・曲率の一つまたは複数の情報が、定められた値の範囲内に含まれる場合のみ、補正を行うことを特徴とする請求項１ないし６の何れか一項に記載の画像識別システム。
8. 前記補完輪郭選定部は、補完輪郭候補から補完輪郭を選択する際に、前記抽出されている輪郭の内部に、前記補完輪郭候補の全部或いは予め定めた値以上の割合が含まれていることを条件に、該補完輪郭候補を有効に扱うことを特徴とする請求項７に記載の画像識別システム。
9. 前記輪郭照合部は、選定された補完輪郭に基づいて識別された閉輪郭群の位置関係を参照して、該閉輪郭群の並び方が縦方向あるいは横方向の何れか一方のみを取っているとの仮定をもって、照合を行なうことを特徴とする請求項１ないし８の何れか一項に記載の画像識別システム。
10. 相異なる輪郭を接合する補完輪郭接合部を更に有し、
    前記輪郭抽出部は、抽出した物体または形状の複数の輪郭を画像識別に用いる際に、検出対象とする対象画像データから複数の輪郭を抽出処理し、
    前記補完輪郭接合部は、相異なる輪郭に由来する個々の特徴点により成る補完輪郭候補を選定すると判別した場合に、補完輪郭候補を成すそれぞれの特徴点位置により両輪郭をそれぞれ分離して、該補完輪郭候補の曲線を基準に分離した両輪郭のそれぞれの輪郭端から該補完輪郭候補の曲線と接合先にする輪郭曲線とが成す角度が他方より小さく成る方の輪郭端同士を該補完輪郭候補を介して繋がる同一の輪郭であると扱うように、前記相異なる輪郭を接合する
    ことを特徴とする請求項１ないし９の何れか一項に記載の画像識別システム。
11. 前記補完輪郭接合部は、
    選定された補完輪郭とする補完輪郭候補に基づいて複数の輪郭を接合した際に、検出対象とする対象画像データから抽出された複数の輪郭と選定した補完輪郭候補群とが前記接合により生成する１ないし複数の閉輪郭について、輪郭の成立性を示す予め定めた幾何的条件に基づき、選定された補完輪郭候補群の適正を判別した後に、前記輪郭照合部に処理を移行する
    ことを特徴とする請求項１０に記載の画像識別システム。
12. 前記輪郭照合部は、前記輪郭情報を記憶する外部データベースを参照して、前記照合処理を行うことを特徴とする請求項１ないし１１の何れか一項に記載の画像識別システム。
13. クラウドシステム上に構築されていることを特徴とする請求項１ないし１１の何れか一項に記載の画像識別システム。
14. 携帯端末上に構成されていることを特徴とする請求項１ないし１１の何れか一項に記載の画像識別システム。
15. 情報処理端末とクラウドシステムとで構築され、
    前記情報処理端末は、少なくとも対象画像データ又は輪郭データ又は特徴点群データの何れかを前記クラウドシステムに送り、
    前記クラウドシステムは、受け付けた対象画像データ又は輪郭データ又は特徴点群データの何れかを用いて画像識別処理を実施して、画像識別結果を前記情報処理端末に応答する
    ことを特徴とする請求項１ないし１１の何れか一項に記載の画像識別システム。
16. 検出対象とする対象画像データを受け付ける入力ステップと、
    前記対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出ステップと、
    抽出した輪郭から特徴点群を検出処理する特徴点検出ステップと、
    検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する輪郭候補生成ステップと、
    生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定ステップと、
    前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理を行う輪郭照合ステップと、
    照合した結果を出力する出力ステップと、
    を含み成ることを特徴とする物体または形状を識別処理する画像識別方法。
17. 前記輪郭照合ステップでは、
    補完輪郭があれば、前記輪郭の一部を用いて、輪郭情報の照合処理を行い、
    補完輪郭が無ければ、前記対象画像データから抽出した輪郭を用いて、輪郭情報の照合処理を行う
    ことを特徴とする請求項１６記載の画像識別方法。
18. 前記補完輪郭選定ステップでは、
    前記位置の特徴として、前記特徴点群の位置・接線の方位・曲率の２以上の情報を用いて、特徴点組間に設定された補完輪郭候補から補完輪郭を選定する
    ことを特徴とする請求項１６又は１７に記載の画像識別方法。
19. 前記補完輪郭選定ステップでは、
    選択した補完輪郭候補について、該補完輪郭候補の生成に用いられた特徴点組の位置の特徴を参照して、特徴点組間に設定された曲線を補正して補完輪郭として扱う
    ことを特徴とする請求項１６ないし１８の何れか一項に記載の画像識別方法。
20. 前記補完輪郭選定ステップでは、
    補完輪郭候補から補完輪郭を選定する条件を、２以上に組み合わせて補完輪郭を選定する
    ことを特徴とする請求項１６ないし１９の何れか一項に記載の画像識別方法。
21. 前記補完輪郭選定ステップでは、
    補完輪郭候補の特徴点の位置・接線の方位・曲率の一つまたは複数の情報を、前記特徴点組の位置の特徴として参照して、特徴点組間に設定された曲線を補正することを特徴とする請求項１６ないし２０の何れか一項に記載の画像識別方法。
22. 前記補完輪郭選定ステップでは、
    前記特徴点群の位置・接線の方位・曲率の一つまたは複数の情報が、定められた値の範囲内に含まれる場合のみ、補正を行う
    ことを特徴とする請求項１６ないし２１の何れか一項に記載の画像識別方法。
23. 前記補完輪郭選定ステップでは、
    補完輪郭候補から補完輪郭を選定する際に、前記抽出されている輪郭の内部に、前記補完輪郭候補の全部或いは予め定めた値以上の割合が含まれていることを条件に、該補完輪郭候補を有効に扱う
    ことを特徴とする請求項２２に記載の画像識別方法。
24. 前記輪郭照合ステップでは、
    選定された補完輪郭に基づいて識別された閉輪郭群の位置関係を参照して、該閉輪郭群の並び方が縦方向あるいは横方向の何れか一方のみを取っているとの仮定をもって、照合を行なう
    ことを特徴とする請求項１６ないし２３の何れか一項に記載の画像識別方法。
25. 前記輪郭抽出ステップで、抽出した物体または形状の複数の輪郭を画像識別に用いる際に、
    相異なる輪郭に由来する個々の特徴点により成る補完輪郭候補を選定すると判別した場合に、
    補完輪郭候補を成すそれぞれの特徴点位置により両輪郭をそれぞれ分離して、該補完輪郭候補の曲線を基準に分離した両輪郭のそれぞれの輪郭端から該補完輪郭候補の曲線と接合先にする輪郭曲線とが成す角度が他方より小さく成る方の輪郭端同士を該補完輪郭候補を介して繋がる同一の輪郭であると扱うように、前記相異なる輪郭たる両輪郭を選定した補完輪郭候補を成す特徴点によって接合する補完輪郭接合ステップ
    を更に含む
    ことを特徴とする請求項１６ないし２４の何れか一項に記載の画像識別方法。
26. 前記補完輪郭接合ステップでは、
    選定された補完輪郭とする補完輪郭候補に基づいて複数の輪郭を接合した際に、検出対象とする対象画像データから抽出した複数の輪郭と選定した補完輪郭候補群とが前記接合により生成する１ないし複数の閉輪郭について、輪郭の成立性を示す予め定めた幾何的条件に基づき、選定された補完輪郭候補群の適正を判別した後に、前記輪郭照合ステップに移行する
    ことを特徴とする請求項２５に記載の画像識別方法。
27. 情報処理システムを、
    受け付けた検出対象とする対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、
    抽出した輪郭から特徴点群を検出処理する特徴点検出部と、
    検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
    生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
    前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理して出力可能にする輪郭照合部と、として動作させることを特徴とする物体または形状の識別に用いられるプログラムを記録した記録媒体。
28. 前記輪郭照合手段は、
    補完輪郭があれば、前記輪郭の一部を用いて、輪郭情報の照合処理を行い、
    補完輪郭が無ければ、前記対象画像データから抽出した輪郭を用いて、輪郭情報の照合処理を行う
    ように動作させることを特徴とする請求項２７に記載のプログラムを記録した記録媒体。
29. 前記補完輪郭選定手段は、前記位置の特徴として、前記特徴点群の位置・接線の方位・曲率の２以上の情報を用いて、特徴点組間に設定された補完輪郭候補から補完輪郭を選定するように動作させることを特徴とする請求項２７又は２８に記載のプログラムを記録した記録媒体。
30. 前記補完輪郭選定手段は、選択した補完輪郭候補について、該補完輪郭候補の生成に用いられた特徴点組の位置の特徴を参照して、特徴点組間に設定された曲線を補正して補完輪郭として扱うように動作させることを特徴とする請求項２７ないし２９の何れか一項に記載のプログラムを記録した記録媒体。
31. 前記補完輪郭選定手段は、補完輪郭候補から補完輪郭を選択する条件を、２以上に組み合わせて補完輪郭を選択するように動作させることを特徴とする請求項２７ないし３０の何れか一項に記載のプログラムを記録した記録媒体。
32. 前記補完輪郭選定手段は、補完輪郭候補の特徴点の位置・接線の方位・曲率の一つまたは複数の情報を、前記特徴点組の位置の特徴として参照して、特徴点組間に設定された曲線を補正するように動作させることを特徴とする請求項２７ないし３１の何れか一項に記載のプログラムを記録した記録媒体。
33. 前記補完輪郭選定手段は、前記特徴点群の位置・接線の方位・曲率の一つまたは複数の情報が、定められた値の範囲内に含まれる場合のみ、補正を行うように動作させることを特徴とする請求項２７ないし３２の何れか一項に記載のプログラムを記録した記録媒体。
34. 前記補完輪郭選定手段は、補完輪郭候補から補完輪郭を選択する際に、前記抽出されている輪郭の内部に、前記補完輪郭候補の全部或いは予め定めた値以上の割合が含まれていることを条件に、該補完輪郭候補を有効に扱うように動作させることを特徴とする請求項３３に記載のプログラムを記録した記録媒体。
35. 前記輪郭照合手段は、選定された補完輪郭に基づいて識別された閉輪郭群の位置関係を参照して、該閉輪郭群の並び方が縦方向あるいは横方向の何れか一方のみを取っているとの仮定をもって、照合を行なうように動作させることを特徴とする請求項２７ないし３４の何れか一項に記載のプログラムを記録した記録媒体。
36. 抽出した物体または形状の複数の輪郭を画像識別に用いる際に、
    前記輪郭抽出手段に、検出対象とする対象画像データから複数の輪郭を抽出処理させると共に、
    該情報処理システムを、
    相異なる輪郭に由来する個々の特徴点により成る補完輪郭候補を選定すると判別した場合に、補完輪郭候補を成すそれぞれの特徴点位置により両輪郭をそれぞれ分離して、該補完輪郭候補の曲線を基準に分離した両輪郭のそれぞれの輪郭端から該補完輪郭候補の曲線と接合先にする輪郭曲線とが成す角度が他方より小さく成る方の輪郭端同士を該補完輪郭候補を介して繋がる同一の輪郭であると扱うように、前記相異なる輪郭を接合する補完輪郭接合手段として動作させて、
    前記相異なる輪郭たる両輪郭を接合した後に、前記輪郭照合手段に処理を移行させて輪郭照合を行なう
    ことを特徴とする請求項２７ないし３５の何れか一項に記載のプログラムを記録した記録媒体。
37. 前記補完輪郭接合手段を、
    選定された補完輪郭とする補完輪郭候補に基づいて複数の輪郭を接合した際に、検出対象とする対象画像データから抽出された複数の輪郭と選定した補完輪郭候補群とが前記接合により生成する１ないし複数の閉輪郭について、輪郭の成立性を示す予め定めた幾何的条件に基づき、選定された補完輪郭候補群の適正を判別した後に、前記輪郭照合手段に処理を移行させる
    ように動作させることを特徴とする請求項３６に記載のプログラムを記録した記録媒体。
38. 情報処理システムを、
    受け付けた検出対象とする対象画像データから物体または形状の輪郭を抽出処理する輪郭抽出部と、
    抽出した輪郭から特徴点群を検出処理する特徴点検出部と、
    検出した特徴点群に含まれる特徴点組を用いて前記抽出した輪郭を分ける補完輪郭候補を生成処理する特徴点ペア生成部と、
    生成した補完輪郭候補を成す特徴点組の位置の特徴を参照して、該候補から補完輪郭を選定する補完輪郭選定部と、
    前記対象画像データから抽出した輪郭を選定した補完輪郭に基づいて分割した輪郭の一部を用いて、輪郭情報との照合処理して出力可能にする輪郭照合部、
    として動作させることを特徴とする物体または形状の識別に用いられるプログラム。

Images