JP5757293B2

JP5757293B2 - Object shape recognition method, object shape recognition system and program

Info

Publication number: JP5757293B2
Application number: JP2012550791A
Authority: JP
Inventors: 雄馬松田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-12-28
Filing date: 2011-11-25
Publication date: 2015-07-29
Anticipated expiration: 2031-11-25
Also published as: JPWO2012090645A1; WO2012090645A1

Description

本発明は、画像に含まれる物体の形状を認識する物体形状認識方法、物体形状認識システム及びプログラムに関する。 The present invention relates to an object shape recognition method, an object shape recognition system, and a program for recognizing the shape of an object included in an image.

近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを認識する一般物体認識への期待が高まっている。一般物体認識は、データベース内に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索、さらには動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集など、様々な用途に応用できる可能性を有している。
物体認識に関する技術は、顔認識や指紋認識など様々な認識技術がこれまでに開発されてきたが、これらはすべて特殊な用途に限定されていた。ある一つの対象に特化した認識技術は、別の用途に利用しようとした際に、途端に認識率が下がるなどの問題が指摘されており、一般的な物体のパターン認識を行う技術の開発が期待されている。一般物体へのパターン認識技術として、非特許文献１に示される、画像の局所的な強度勾配を集積したヒストグラムを用いたＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）という特徴量が広く認知されている。本技術を利用することによって、幾何変換や遮蔽を伴う同一画像を、同一であると認識することが可能である。しかしながら、本技術は二つの画像が同一であるか否かを判断するためのものであり、類似する二つの画像に対して、どの程度似ているのか、また、どういったカテゴリー（動物、植物、構造物など）に属するのかについての情報を与えることができない。これは、画像の局所的な強度勾配を集積したヒストグラムという画像そのものの特徴量を利用しており、本特徴量の類似度合いが、画像に含まれる物体の形状そのものの類似度合いと、必ずしも相関するとは限らないことが原因と考えられる。つまり、これは物体の形状ではなく、画像自体を扱っていることに起因する問題である。
不特定な物体を認識、検索するには、画像自体の特徴を捉えるより、物体の形状（輪郭）を捉える方が有効と考えられる。また、物体の形状（輪郭）は、分割して扱うほうがよい。なぜならば、物体が部分的に遮蔽物に隠れており、その物体の輪郭が一部しか見えないときであっても、輪郭を分割して認識できるならば、その物体を認識できるからである。
物体の輪郭を分割して認識する方法として、非特許文献２に示される方法がよく知られている。この方法は、画像輪郭を段階的に平滑化し、それぞれ平滑化段階での輪郭の変曲点の位置をＣＳＳ（ＣｕｒｖａｔｕｒｅＳｃａｌｅＳｐａｃｅ）という表現方法で表現する。本技術は、物体形状の輪郭の変曲点という、物体の形状そのものに関する特徴量を利用しているため、幾何変換を伴う同一画像や、輪郭が類似する画像を、同一である、または類似すると認識することが可能である。本技術は、物体形状の輪郭を変曲点という特徴量に基づいて分割し、分割されたそれぞれの輪郭（以降分割輪郭と表記）を、輪郭長さという特徴量に基づいてパターン認識を行う方法であると考えることができる。このため、物体全体の情報がなく、一部の情報が欠けていても、残りの輪郭を利用してパターン認識を行うことができる。また、必ずしも物体全体の形状が一致していなくとも、輪郭長さが長いなどの特徴的な分割輪郭を中心としてパターン認識を行うことによって、新しく目にする物体が、既に学習済みのどの物体とどの程度一致しているかの類似度を算出することが可能となる。このように、本技術を応用し、物体形状の輪郭を変曲点という特徴量に基づいて分割し、分割されたそれぞれの分割輪郭を特徴量に基づいてパターン認識するという方法を用いることによって、物体全体の情報がない場合にも物体の類似度を算出することができる。本技術は輪郭を変曲点という特徴量に基づいた特徴付けを行っており、変曲点はユークリッド幾何変換を含む射影変換に対して不変の特徴量であるため、幾何変換に対してロバストなパターン認識を提供することができる。しかしながら、本方法は、変曲点を持たない、或いは少数しか持たない物体、すなわち凹凸の少ない物体の輪郭を分割することが困難であるという問題点を有する。つまり、この方法には、凹凸の少ない物体の形状を認識することが困難であるという問題点がある。
本問題点に対し、特許文献１に示される方法は、曲率の臨界点という特徴量に基づいた輪郭の特徴付けを行っている。このため、変曲点を持たない、或いは少数しか持たない物体の形状に対しても、輪郭の分割を行うことが可能となる。しかしながら、曲率の臨界点はユークリッド幾何変換不変のみを保証する特徴量であるため、せん断変換などの幾何変換に対するロバスト性を保証しない。図１１に示されるように、ユークリッド幾何変換は回転、平行移動という二つの幾何変換に限られるため、一般的な物体の認識には、相似変換やせん断変換に対してもロバストな特徴量が必要とされる。
なお、特許文献２には、輪郭線を分割する際に利用される特徴点として、分岐点、変曲点、屈曲点、遷移点を利用できることが記載されている。しかしながら、これらの特徴点は、上述したような問題点を有する。
また、特許文献３には、テクスチャの少ない物体の認識処理において、遮蔽や回転に対してロバストな方法が提案されている。しかしながら、この方法においても、遮蔽や回転以外の幾何変換に対してはロバスト性が保証されるものではない。In recent years, with the rapid spread of digital video equipment such as digital cameras, there is an increasing expectation for general object recognition that recognizes what objects are included in captured images and videos. Yes. In general object recognition, appropriate classification of image data stored without being classified in the database, retrieval of necessary image data, extraction of a desired scene from a moving image, or only a desired scene There is a possibility that it can be applied to various uses such as re-editing by cutting out the file.
Various recognition technologies such as face recognition and fingerprint recognition have been developed so far, but all of these technologies are limited to special applications. The recognition technology specialized for a certain target has been pointed out as a problem that the recognition rate drops as soon as it is used for another purpose. Development is expected. As a pattern recognition technique for a general object, a feature quantity called SIFT (Scale Invariant Feature Transform) using a histogram in which local intensity gradients of images are accumulated as shown in Non-Patent Document 1 is widely recognized. By using this technique, it is possible to recognize that the same image with geometric transformation and occlusion is the same. However, this technology is for judging whether two images are the same, how much they are similar to two similar images, and what category (animal, plant) , Structure, etc.) cannot be given information. This uses the feature quantity of the image itself, which is a histogram that is a collection of local intensity gradients of the image, and the similarity degree of this feature quantity necessarily correlates with the similarity degree of the shape of the object itself included in the image. The reason is not limited. That is, this is a problem caused by handling the image itself, not the shape of the object.
In order to recognize and search unspecified objects, it is considered more effective to capture the shape (outline) of the object than to capture the characteristics of the image itself. Also, it is better to handle the shape (outline) of the object by dividing it. This is because even if an object is partially hidden behind a shield and only a part of the outline of the object is visible, the object can be recognized if the outline can be divided and recognized.
As a method for dividing and recognizing the contour of an object, the method shown in Non-Patent Document 2 is well known. In this method, the image contour is smoothed step by step, and the position of the inflection point of the contour at each smoothing step is represented by a representation method called CSS (Curveure Scale Space). Since this technology uses a feature amount related to the shape of the object itself, which is the inflection point of the contour of the object shape, the same image with geometric transformation or an image with a similar contour is the same or similar. It is possible to recognize. The present technology divides an outline of an object shape based on a feature quantity called an inflection point, and performs pattern recognition on each divided outline (hereinafter referred to as a divided outline) based on a feature quantity called an outline length. Can be considered. For this reason, even if there is no information on the entire object and some information is missing, pattern recognition can be performed using the remaining contour. Also, even if the shape of the whole object does not necessarily match, pattern recognition is performed around a characteristic divided contour such as a long contour length, so that the object to be newly seen can be compared with any already learned object. It is possible to calculate the degree of similarity of how much they match. In this way, by applying the present technology, by dividing a contour of an object shape based on a feature amount called an inflection point, and using a method of recognizing each divided contour based on the feature amount, Even when there is no information about the entire object, the similarity of the object can be calculated. In this technology, the contour is characterized based on the feature value of the inflection point. Since the inflection point is a feature value that is invariant to the projective transformation including the Euclidean geometric transformation, it is robust to the geometric transformation. Pattern recognition can be provided. However, this method has a problem that it is difficult to divide the contour of an object having no inflection points or a small number of objects, that is, an object having few irregularities. In other words, this method has a problem that it is difficult to recognize the shape of an object with little unevenness.
With respect to this problem, the method disclosed in Patent Document 1 characterizes a contour based on a feature amount called a critical point of curvature. For this reason, it is possible to divide the contour even for the shape of an object that has no inflection points or only a small number. However, since the critical point of curvature is a feature quantity that guarantees only invariance of Euclidean geometric transformation, robustness against geometric transformation such as shear transformation is not guaranteed. As shown in FIG. 11, since Euclidean geometric transformation is limited to two geometric transformations of rotation and translation, general feature recognition requires robust feature amounts even for similarity transformation and shear transformation. It is said.
Patent Document 2 describes that a branch point, an inflection point, an inflection point, and a transition point can be used as feature points used when dividing the contour line. However, these feature points have the problems described above.
Patent Document 3 proposes a method that is robust against occlusion and rotation in recognition processing of an object with less texture. However, even in this method, robustness is not guaranteed for geometric transformations other than shielding and rotation.

特開２０００−８２１４８号公報JP 2000-82148 A 特開平１０−２０６１３５号公報JP-A-10-206135 特開２００８−０７７６２６号公報JP 2008-077626 A

ＤａｖｉｄＧ．Ｌｏｗｅ，″ＯｂｊｅｃｔＲｅｃｏｇｎｉｔｉｏｎｆｒｏｍＬｏｃａｌＳｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅｓ″，Ｐｒｏｃ．ｏｆＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｐｐ．１１５０−１１５７David G. Low, "Object Recognition from Local Scale-Invariant Features", Proc. of IEEE International Conference on Computer Vision, pp. 1150-1157 ＦＡＲＺＩＮＭＯＫＨＴＡＲＩＡＮＡＮＤＡＬＡＮＭＡＣＫＷＯＲＴＨ，″Ｓｃａｌｅ−ｂａｓｅｄｄｅｓｃｒｉｐｔｉｏｎａｎｄＲｅｃｏｇｎｉｔｉｏｎｏｆＰｌａｎａｒＣｕｒｖｅｓａｎｄＴｗｏ−ＤｉｍｅｎｓｉｏｎａｌＳｈａｐｅｓ″，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅＶｏｌ．８，Ｎｏ．１ｐｐ．３４−４３FARZIN MOKHTARIAN AND ALAN MACKWORT, "Scale-based description and Recognition of Planar Curves and Two-Dimensional Shapes and Principal Shapes". 8, no. 1 pp. 34-43

上述したように、一般的な物体の認識には、非特許文献１に記載されるような物体を画像として認識する方法よりも、非特許文献２に記載されるような物体の形状を認識する方法の方が有利である。物体の形状の類似度合いを算出することが可能で、より人間の認識に近い認識結果を得ることができると考えられるからである。
しかしながら、非特許文献２に記載された方法は、変曲点の少ない物体、すなわち凹凸の少ない物体を分割し、特徴付けるということが困難であるという問題点がある。また、特許文献１に記載された方法は、ユークリッド幾何変換の枠組みを超過する幾何変換に対してロバストではない、という問題点がある。さらに、特許文献２や３に記載された方法も、上記問題点を解決したものではない。
一般的な物体の認識を可能とし、さらに検索に利用できるようにするためには、どのような形状の物体（凹凸の少ない物体含む）に対しても幾何変換にロバストな輪郭分割を可能にする方法が必要である。
本発明は、上述した問題点を解決する物体形状認識方法を提供しようとするものである。
本発明の一側面に係る物体形状認識方法は、画像に含まれる物体の形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現するステップと、上記特徴量の値に基づいて前記輪郭を分割する分割点を定めるステップと、を含むことを特徴とする。
また、本発明の他の形態に係る物体形状認識システムは、前記形状の輪郭を表す輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現する輪郭情報表現手段と、上記特徴量の値に基づいて前記輪郭を分割する分割点を定める輪郭情報分割手段と、を備えることを特徴とする。
本発明のさらに他の側面に係るプログラムは、上述した物体形状認識方法をコンピュータに実行させることを特徴とする。
本発明によれば、輪郭情報をアフィン幾何変換に対して不変となる特徴量によって表現し、その特徴量の値に基づいて輪郭を分割する分割点を定めるようにしたことで、凹凸の多少に関わらず、また、アフィン幾何変換に対してロバストに、輪郭を分割することができる。その結果、分割輪郭を利用した物質の形状認識や検索が可能になる。As described above, in general object recognition, an object shape as described in Non-Patent Document 2 is recognized rather than a method of recognizing an object as described in Non-Patent Document 1 as an image. The method is more advantageous. This is because it is possible to calculate the degree of similarity of the shape of the object and to obtain a recognition result closer to human recognition.
However, the method described in Non-Patent Document 2 has a problem that it is difficult to divide and characterize an object having a small inflection point, that is, an object having a small unevenness. Further, the method described in Patent Document 1 has a problem that it is not robust with respect to geometric transformation exceeding the framework of Euclidean geometric transformation. Furthermore, the methods described in Patent Documents 2 and 3 do not solve the above problems.
In order to be able to recognize general objects and to be used for search, it is possible to perform contour division that is robust to geometric transformation for objects of any shape (including objects with few irregularities). A method is needed.
The present invention seeks to provide an object shape recognition method that solves the above-mentioned problems.
An object shape recognition method according to an aspect of the present invention includes a step of expressing contour information representing a contour of a shape of an object included in an image by a feature amount that is invariant to affine geometric transformation, and the value of the feature amount. And a step of determining a dividing point for dividing the contour on the basis thereof.
An object shape recognition system according to another aspect of the present invention includes contour information expression means for expressing contour information representing the contour of the shape by a feature amount that is invariant to affine geometric transformation, and the value of the feature amount. Contour information dividing means for determining a dividing point for dividing the contour based on the contour.
A program according to still another aspect of the present invention causes a computer to execute the object shape recognition method described above.
According to the present invention, the contour information is expressed by a feature amount that is invariant to the affine geometric transformation, and the division points for dividing the contour are determined based on the feature amount value. Regardless, it is also possible to partition the contours robust to affine geometric transformations. As a result, it is possible to recognize and search the shape of the substance using the divided contour.

図１は、本発明の第１の実施の形態に係るパターン認識システムの概略構成を示すブロック図である。
図２は、図１の物体形状認識システムの動作の一例を説明するためのフローチャートである。
図３は、本発明の第２の実施の形態に係る物体形状認識システムの概略構成を示すブロック図である。
図４は、図３の物体形状認識システムの動作の一例を説明するためのフローチャートである。
図５は、認識対象の画像に含まれる物体の一例を示す図である。
図６は、図５に示す物体の形状（輪郭）のＣＳＳイメージを示す図である。
図７Ａ〜７Ｅは、ＣＳＳイメージを用いた類似判定が困難な物体形状の例をそれぞれ示す図である。
図８Ａ〜８Ｅは、図７Ａ〜７Ｅにそれぞれ示す物体形状のＣＳＳイメージを示す図である。
図９Ａ〜９Ｅは、図７Ａ〜７Ｅにそれぞれ示す物体形状を局所アフィン弧長を用いて表現した図である。
図１０Ａ〜１０Ｅは、図７Ａ〜７Ｅにそれぞれ示す物体形状について、局所アフィン弧長の値が特徴的な点を分割点として検出し、ＣＳＳイメージと同様のイメージとして描いた図である。
図１１は、様々な幾何変換の相互の関係を示す図である。FIG. 1 is a block diagram showing a schematic configuration of a pattern recognition system according to the first embodiment of the present invention.
FIG. 2 is a flowchart for explaining an example of the operation of the object shape recognition system of FIG.
FIG. 3 is a block diagram showing a schematic configuration of an object shape recognition system according to the second embodiment of the present invention.
FIG. 4 is a flowchart for explaining an example of the operation of the object shape recognition system of FIG.
FIG. 5 is a diagram illustrating an example of an object included in an image to be recognized.
FIG. 6 is a diagram showing a CSS image of the shape (outline) of the object shown in FIG.
7A to 7E are diagrams respectively showing examples of object shapes that are difficult to determine similarity using CSS images.
8A to 8E are diagrams showing CSS images of the object shapes shown in FIGS. 7A to 7E, respectively.
9A to 9E are diagrams representing the object shapes shown in FIGS. 7A to 7E using local affine arc lengths, respectively.
FIGS. 10A to 10E are diagrams depicting points similar to the CSS image detected by detecting points having characteristic local affine arc length values for the object shapes shown in FIGS. 7A to 7E, respectively.
FIG. 11 is a diagram illustrating the mutual relationship between various geometric transformations.

以下、図面を参照して本発明の実施の形態について詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る物体形状認識システムの概略構成を示すブロック図である。
図示の物体形状認識システムは、制御部１０と、メモリ２０と、画像情報取得部１０１と、輪郭抽出部１０２と、輪郭平滑化部１０３と、輪郭特徴量表現部１０４と、輪郭分割点検出部１０５と、輪郭分割点座標比較部１０６と、パターン出力部１０７と、輪郭分割点座標記憶部２０１とを有している。
制御部１０は、各部を制御して物体形状の認識及び検索を実現する。
メモリ２０は、制御部１０の制御の下、各部が所定の動作を行うために必要なプログラム、画像データ、画像データ処理によって生じる特徴量等の各種データを記憶する。
画像情報取得部１０１は、写真などの画像情報をユーザの操作に従い本システムに取り込む。画像情報は、デジタルカメラやスキャナ等の外部機器から取り込んでもよいし、メモリ２０に格納された画像情報を取り出すようにしてもよい。また、画像情報取得部１０１は、取り込んだ画像情報に対して、その後の処理を容易にするデータ処理、例えば白黒変換処理等、を行うものであってもよい。
輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像情報から画像に含まれている物体の輪郭を表す輪郭情報を抽出する。輪郭抽出部１０２は、画像情報取得部１０１によって取得された画像情報から、例えば、色相・彩度・明度などが急激に変化する点を、ラプラシアン・ガウシアンフィルタなどを用いて抽出する。抽出されたそれぞれ点（輪郭点）は、直交座標系を用いて（ｘ，ｙ）などとして表現される。これらの点の座標の集合が物体の輪郭を表す輪郭情報を構成する。なお、輪郭抽出の方法は、上記のものに限られず、公知の様々な方法を用いることができる。
輪郭平滑化部１０３は、輪郭抽出部１０２によって抽出された輪郭情報に対して、例えばガウシアンフィルタによる畳み込みなどを利用した平滑化を行う。平滑化は多段階で行うことが望ましい。平滑化を多段階に行えば、類似判定や検索等を行う場合に類似度を各段階毎に求めることができる。
輪郭特徴量表現部１０４は、輪郭平滑化部１０３によって多段階に平滑化された各段階の輪郭情報を、アフィン幾何変換に対して不変となる特徴量によって表現する。即ち、輪郭特徴量表現部１０４は、輪郭情報表現手段として機能する。
アフィン幾何変換に対して不変となる特徴量としては、例えば、アフィン弧長がある。アフィン弧長を利用する場合、輪郭を微小区間に区切り、各微小区間についてアフィン弧長を求める。各微小区間について求めたアフィン弧長をここでは局所アフィン弧長と呼ぶ。微小区間の長さは、変曲点等を利用して分割される分割輪郭に比べて著しく短い。
輪郭分割点検出部１０５は、アフィン幾何変換に対して不変となる特徴量によって表現された輪郭情報から、特徴量の値が特徴的な値を取る微小区間を検出する。ここで、特徴的な値とは、ユーザによって任意に設定された値とすることができる。あるいは、臨界点など、特徴量の値そのものから定まる値であってもよい。
次に、輪郭分割点検出部１０５は、特定した微小区間を代表する点（任意に設定可能、たとえば中点）を輪郭分割点に定める。即ち、輪郭分割点検出部１０５は、輪郭分割点検出手段として機能する。それから、輪郭分割点検出部１０５は、輪郭分割点と定めた点の座標を検出する。ここでの座標は、画像情報取得部１０１によって取得された画像における直交座標系などで表現される座標であってよい。
輪郭分割点検出部１０５は、検出した輪郭分割点の座標を表す輪郭分割点座標情報を、輪郭分割点座標記憶部２０１に記憶させる。このとき、輪郭分割点座標記憶部２０１に記憶させる輪郭分割点座標情報には、元の画像情報との関連を示す名称等のタグが付される。また、その輪郭分割点に対応する輪郭の一部、例えば、隣接する分割輪郭、に関する情報、例えば、形状（曲がり具合）や長さなどの情報、を関連付けて記憶させるようにしてもよい。いずれにせよ、後に行われる類似判定や検索に必要とされる情報を付加しておく。なお、輪郭分割点座標記憶部２０１は、メモリ２０に含まれていてもよい。
輪郭分割点座標比較部１０６は、ユーザからの指示の下、輪郭分割点座標記憶部２０１に記憶されている２つ以上の物体形状に関する輪郭分割点座標情報を互いに比較する（類似判定）。あるいは、輪郭分割点座標比較部１０６は、輪郭分割点検出部１０５によって新たに検出された１つの物体形状に関する輪郭分割点座標情報と、輪郭分割点座標記憶部２０１に既に（若しくは予め）記憶されている１つ以上の物体形状に関する輪郭分割点座標情報とを比較する（検索）。比較は、各物体形状に関する輪郭分割点間の幾何学的距離関係等に基づいて、物体形状間の類似度を求めることにより行うことができる。類似度は、各物体形状に関するすべての輪郭分割点を利用して求めてもよいし、代表的な一つまたは複数の点を利用して求めてもよい。また、平滑化の各段階において類似度を求めるようにしてもよい。類似度を求める方法は、特に限定されず、公知の方法を利用することができる。
パターン出力部１０７は、輪郭分割点座標比較部１０６における比較結果を出力する。比較結果は、比較対象である２つの物体形状の類似判定結果や類似度、あるいは、１つの比較対象に最も類似すると判断された別の物体形状の分割点座標情報、若しくはその分割点座標情報に関連付けされた名称等のタグや輪郭情報あるいは画像情報を出力する。
次に、第１の実施の形態に係る物体形状認識システムの動作について、図１に加え図２を参照して説明する。
図２は、図１の物体形状認識システムの動作の一例を示すフローチャートである。ここでは、輪郭分割点座標記憶部２０１に格納された情報の中から、新たに取得した画像情報が示す物体の形状に最も類似する物体形状に関する情報を検索する場合について説明する。
まず、画像情報取得部１０１は、ユーザが指定する画像情報を取得する（Ｓ１００１）。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に取得しても構わない。
次に、輪郭抽出部１０２は、画像情報取得部１０１が取得した画像情報から、画像に含まれる物体の輪郭を表す輪郭情報を抽出する（Ｓ１００２）。この輪郭情報の抽出は、予めユーザが設定した基準を満たすものを抽出するようにする。例えば、閾値以上の長さを持つ輪郭のみを抽出するようにすることができる。
次に、輪郭平滑化部１０３は、輪郭の平滑化を幾つかの段階で行う（Ｓ１００３）。
次に、輪郭特徴量表現部１０４は、輪郭平滑化部１０３によって平滑化された各段階の輪郭情報を、アフィン幾何変換に対して不変の特徴量を用いて表現する（Ｓ１００４）。ここでは、アフィン幾何変換に対して不変の特徴量として、局所アフィン弧長を利用するものとする。
次に、輪郭分割点検出部１０５は、局所アフィン弧長の値が特徴的な値を取る点を、輪郭分割点として特定する。さらに、輪郭分割点検出部１０５は、特定した輪郭分割点の座標を検出する（Ｓ１００５）。
次に、輪郭分割点座標比較部１０６は、輪郭分割点検出部１０５によって検出された輪郭分割点の座標を表す情報と、輪郭分割点座標記憶部２０１に予め記憶されている別の物体形状に関する輪郭分割点座標情報と比較する。そして、輪郭分割点座標比較部１０６は、輪郭分割点座標記憶部２０１に予め記憶されている輪郭分割点座標情報の中から、輪郭分割点検出部１０５によって検出された輪郭分割点の座標を表す情報に最も類似する情報を特定（検索）する（Ｓ１００６）。最も類似するものから順番に複数の情報を検索するようにしてもよい。この場合、予め設定した数の情報を検索するようにしてもよいし、予め設定した類似度を超える類似度を持つ情報を検索するようにしてもよい。
輪郭分割点座標比較部１０６は、検索した輪郭分割点座標情報、あるいは関連付けされた輪郭等の画像情報（類似パターン）や名称等のタグをパターン出力部１０７へ出力する。
パターン出力部１０７は、輪郭分割点座標比較部１０６からの比較結果（例えば、類似パターン）をディスプレイに表示させたり、印刷したりする（Ｓ１００７）。
以上のように本実施の形態に係る物体形状認識システムでは、輪郭情報を、一旦、アフィン幾何変換に不変の特徴量で表現し、その特徴量の値に基づいて分割点を定める。これにより、凹凸の少ない物体形状を含むどのような形状に対しても、その輪郭上に幾何変換にロバストな分割点を定めることができる。そして、これらの分割点を用いることで、幾何変換にロバストに物体形状の類似判定や検索を行うことができる。
［第２の実施の形態］
次に、本発明の第２の実施の形態に係る物体形状認識システムについて説明する。
図３は、本発明の第２の実施の形態に係る物体形状認識システムのブロック図である。図１のシステムと同一のものには同一の参照番号を付し、その説明を省略する。
図３のシステムが図１のシステムと異なる点は、輪郭分割点検出部１０５及び輪郭分割点座標比較部１０６に代えて、輪郭分割部１１１、分割輪郭特徴量検出部１１２及び分割輪郭特徴量比較部１１３を備えている点である。また、図３のシステムは、輪郭分割点座標記憶部２０１に代えて分割輪郭特徴量記憶部２１１を備えている。なお、図３のシステムは輪郭平滑化部１０３を備えていないが、備えていてもよい。また、制御部１０を含むいくつかの要素は、図１のものと異なる機能を有している。
輪郭分割部１１１は、輪郭分割点検出部１０５と同様にして輪郭分割点を定め、その座標を検出する。そして、検出した輪郭分割点で輪郭を一つ以上の分割輪郭に分割する。分割後の分割輪郭が分割前の輪郭全体と一致する場合（輪郭分割点が１つの場合）もあり得る。
分割輪郭特徴量検出部１１２は、輪郭分割部１１１によって分割された分割輪郭について、それぞれを特徴付ける特徴量を検出又は算出する。ここでの特徴量とは、分割輪郭のアフィン弧長やアフィン曲率など、アフィン幾何変換に対して不変の量を用いることができる。また、分割輪郭に含まれるユークリッド曲率の変曲点数などの射影変換不変の量を用いることができる。あるいは、これらの特徴量に限らず、他の特徴量を用いても構わない。こうして計算された分割輪郭の特徴量は、分割輪郭の属する形状、あるいは形状の名称などのタグと共に、分割輪郭特徴量記憶部２１１に記憶される。
分割輪郭特徴量比較部１１３は、分割輪郭特徴量記憶部２１１に記憶されている２つ以上の物体形状に関する分割輪郭特徴量を相互に比較する。あるいは、分割輪郭特徴量比較部１１３は、分割輪郭特徴量検出部１１２によって新たに計算された１つの物体形状に関する分割輪郭特徴量と、分割輪郭特徴量記憶部２１１に記憶されている１つ以上の物体形状に関する分割輪郭特徴量とを比較する。比較は、１つの物体形状に関して１つ以上の分割輪郭についての特徴量を用いればよい。必ずしも、１つの物体形状に関する全ての分割輪郭についての特徴量を用いる必要はない。１または限られた数の分割輪郭について特徴量を用いることで、遮蔽に対してロバストな物体形状認識を実現できる。即ち、一部が隠れている物体の形状についても類似判定等を行うことができる。
パターン出力部１０７は、分割輪郭特徴量比較部１１３による比較結果を出力する。比較結果は、例えば、１つの物体形状に最も類似すると判定された別の物体の形状、名称、タグ等を出力する。
次に、図３の物体形状認識システムの動作について、図４をも参照して説明する。ここでも、図２に示す例と同様に、分割輪郭特徴量記憶部２１１に格納された情報の中から、新たに取得した画像情報が示す物体の形状に最も類似する物体形状に関する情報を検索する場合について説明する。
輪郭分割点を決定するまでのステップ（Ｓ１００１〜１００４及びＳ２００１の途中まで）は、第１の実施の形態と同様である。ただし、本実施の形態では、段階的な平滑化処理（Ｓ１００３）を行っていないので、１つの物体形状につき１つの輪郭について輪郭分割点を決定する。
輪郭分割部１１１は、輪郭分割点検出部１０５と同様にして決定した輪郭分割点で、もとの輪郭を一以上の分割輪郭に分割する（Ｓ２００１）。
次に、分割輪郭特徴量検出部１１２は、分割されたそれぞれの分割輪郭について特徴量を検出または算出する（Ｓ２００２）。
次に、分割輪郭特徴量比較部１１３は、分割輪郭特徴量検出部１１２により検出または算出された各分割輪郭の特徴量を、分割輪郭特徴量記憶部２１１に格納された分割輪郭特徴量情報と比較（検索）する（Ｓ２００３）。比較は、一つの物体形状について、一つ以上の分割輪郭の特徴量を用いて行うことができる。即ち、一つの物体形状に関して複数の分割輪郭が存在する場合であっても、それら複数の分割輪郭の特徴量を全て用いる必要はない。検出精度や遮蔽を含む幾何変換への対応能力等に基づいて、比較に使用する分割輪郭の数を設定するようにしてよい。
比較の結果、分割輪郭特徴量記憶部２１１に、一致または近似する特徴量が存在する場合、その分割輪郭特徴量情報に関連付けされた画像情報、輪郭情報、若しくは名称等のタグが、パターン出力部１０７へ供給される。
次に、パターン出力部１０７は、分割輪郭特徴量比較手段１１３から供給された画像情報、輪郭情報、若しくは名称等のタグ等の情報を出力、即ち、ディスプレイに表示等する（Ｓ１００７）。
以上のように本実施の形態に係る物体形状認識システムでは、輪郭情報を、一旦、アフィン幾何変換に不変の特徴量で表現し、その特徴量の値に基づいて分割点を定める。そして、その分割点を利用して輪郭を１以上の分割輪郭に分割し、各分割輪郭について改めて特徴量を検出または算出する。これにより、凹凸の少ない物体形状を含むどのような形状に対しても、その輪郭上に幾何変換にロバストな分割点を定め、それらの分割点を利用して得た分割輪郭の一部または全部を利用して、幾何変換にロバストに物体形状の類似判定や検索を行うことができる。こうして、本実施の形態に係る物体形状認識システムでは、部分的に遮蔽された物体の形状についても類似判定や検索を行うことができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態に係る物体形状認識システムについて説明する。本実施の形態に係る物体形状認識システムは、第１の実施の形態に係るシステムと同様に構成される。ただし、輪郭分割点検出部１０５の動作が異なる。具体的には、輪郭分割点検出部１０５は、輪郭分割点の座標としてＣＳＳ（ＣｕｒｖａｔｕｒｅＳｃａｌｅＳｐａｃｅ）空間における座標を検出する。
輪郭分割点検出部１０５が検出した分割点のＣＳＳ空間上における座標を表す輪郭分割点座標情報は、輪郭分割点座標記憶部２０１に記録される。
輪郭分割点座標比較部１０６は、分割点のＣＳＳ空間上における座標を表す輪郭分割点座標情報を用いて類似判定及び検索を行う。
本実施の形態に係る物体形状認識システムの動作は、上記の点を除いて、第１の実施の形態と同様である。
本実施の形態に係る物体形状認識システムによれば、従来のＣＳＳ空間を利用するパターン認識方法が有する以下の課題を解決することができる。
即ち、従来のＣＳＳ空間を利用する方法では、輪郭上の変曲点を分割点として検出する。この方法は、下記の数式（１）によって定義される曲率（ユークリッド曲率）κ（ｔ）を利用する。

ここで、ｔは、輪郭上における任意の一点を始点として輪郭を一周するように取る

上記数式（１）によって定義されたユークリッド曲率の値がゼロとなる点が変曲点、極値となる点が臨界点と定義される。これらの点を用いて、物体形状の輪郭を分割し、分割されたそれぞれの分割輪郭を、輪郭長さという特徴量によって表現する。さらに、この表現をＣＳＳ空間に変換することによって表現しなおす。図５に示す物体形状の輪郭をＣＳＳにより表現した例を図６に示す。
図６のＣＳＳの横軸は輪郭座標ｔ（輪郭上の位置）を表し、縦軸は輪郭形状を輪郭座標ｔに沿って平滑化した平滑化度合い（平滑化度）を表している。ＣＳＳ中の線図は、輪郭における変曲点の集合であると考えることができる。輪郭形状は、平滑化度合いが高くなるにしたがって徐々に変曲点の少ない形状となり、最終的に変曲点の数はゼロに収束する。このため、ＣＳＳ下方では、変曲点が多く確認できるが、ＣＳＳ上方へ向かうほど変曲点の数が減少し、最上部では変曲点は消滅する。
変曲点の座標は、背景技術の欄で述べたとおり幾何変換に対してロバストである。しかし、変曲点の座標を利用して分割された分割輪郭の特徴量を求め、その特徴量を用いたパターン認識は、凹凸の少ない図形に対して以下のような課題を持つ。
図７Ａ〜７Ｅは、凹凸が少ない輪郭形状であるが、人間であれば容易に差異が認識できる図形の例を示す図である。これらの図形を、ＣＳＳ空間上に表現すると（ＣＳＳイメージは）図８Ａ〜８Ｅのようになる。
図８Ａ〜８Ｅを見ると、ＣＳＳの下方に極めて小さな変曲点の集合の存在が認められる。しかしなら、これら図８Ａ〜８Ｅに対応する図形が似ているのか否か判断したり、類似度を求めたりすることは困難である。図８Ｄ及び図８Ｅには、それぞれ大きな変曲点の集合を一つ確認することができるので、これらのＣＳＳイメージに対応する図形は互いに類似するように思われる。しかし、これらのＣＳＳイメージに対応する図形は、一方は四角形に近く、他方は三角形に近い形状であって、互いに類似するとは言い難い。このように、従来のＣＳＳを用いる方法では、凹凸の少ない形状に対して、有効な類比判断ができないという課題がある。つまり、従来の技術では、凹凸の少ない図形を含むどんな図形に対しても効果的にＣＳＳ空間を描画する技術がないという課題がある。
こうした課題に対して、本実施の形態に係る物体形状認識システムは、以下のようにして解決策を与える。
上述したように、本実施の形態に係るシステムでは、輪郭形状を、これまで用いられていた曲率という特徴量ではなく、以下の数式（２）に示される（局所）アフィン弧長によって表現する。

ついての一階微分及び二階微分を表す。
アフィン弧長は、輪郭座標ｔ上の区間（ｔ１，ｔ２）を定めることによって決定される。この区間（ｔ１，ｔ２）を微小区間にすることによって、それぞれの微小区間でのアフィン弧長、即ち局所アフィン弧長の値ｄｓを導出することができる。図７Ａ〜７Ｅに示す図形についてそれぞれ求めた局所アフィン長ｄｓの値を表すグラフを図９Ａ〜９Ｅにそれぞれ示す。
次に、これらの微小区間での局所アフィン弧長の値ｄｓが特徴的な点を検出し、輪郭分割点と定める。特徴的な点として、局所アフィン弧長の値ｄｓがユーザの指定した値に等しい点や、局所アフィン弧長の値ｄｓが極値を取る点、等を採用することができる。
図７Ａ〜７Ｅに示す各図形に関して、局所アフィン長ｄｓの値がユーザの指定する値に等しい点（ｄｓ＝−０．４）をＣＳＳ空間に表現した例を図１０Ａ〜１０Ｅにそれぞれ示す。図１０Ａ〜１０Ｅの各々において、複数の特徴的な点の集合が認められる。したがって、図７Ａ〜７Ｅに示すような凹凸の少ない図形に対しても、これらの特徴的な点を利用した分割が可能である。
以上のように、本実施の形態に係る物体形状認識システムによれば、凹凸の少ない物体の形状を含むどのような形状に対してもＣＳＳ空間を利用した幾何変換（遮蔽を含む）にロバストなパターン認識が可能になる。
この出願は、２０１０年１２月２８日に出願された日本出願特願２０１０−２９１６３１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an object shape recognition system according to the first embodiment of the present invention.
The illustrated object shape recognition system includes a control unit 10, a memory 20, an image information acquisition unit 101, a contour extraction unit 102, a contour smoothing unit 103, a contour feature amount expression unit 104, and a contour division point detection unit. 105, a contour division point coordinate comparison unit 106, a pattern output unit 107, and a contour division point coordinate storage unit 201.
The control unit 10 realizes object shape recognition and search by controlling each unit.
The memory 20 stores various data such as programs necessary for each unit to perform a predetermined operation under the control of the control unit 10, image data, and feature amounts generated by image data processing.
The image information acquisition unit 101 loads image information such as a photograph into the system according to a user operation. Image information may be acquired from an external device such as a digital camera or a scanner, or image information stored in the memory 20 may be extracted. The image information acquisition unit 101 may perform data processing that facilitates subsequent processing, such as black and white conversion processing, on the captured image information.
The contour extraction unit 102 extracts contour information representing the contour of the object included in the image from the image information acquired by the image information acquisition unit 101. The contour extraction unit 102 extracts, from the image information acquired by the image information acquisition unit 101, for example, a point where the hue, saturation, brightness, and the like change rapidly using a Laplacian / Gaussian filter or the like. Each extracted point (contour point) is expressed as (x, y) or the like using an orthogonal coordinate system. A set of coordinates of these points constitutes contour information representing the contour of the object. Note that the contour extraction method is not limited to the above, and various known methods can be used.
The contour smoothing unit 103 performs smoothing on the contour information extracted by the contour extracting unit 102 using, for example, convolution with a Gaussian filter. Smoothing is preferably performed in multiple stages. If smoothing is performed in multiple stages, the similarity can be obtained for each stage when performing similarity determination, search, or the like.
The contour feature value expression unit 104 expresses the contour information of each step smoothed in multiple steps by the contour smoothing unit 103 using feature values that are invariant to affine geometric transformation. That is, the contour feature value expression unit 104 functions as a contour information expression means.
An example of the feature quantity that is invariant to the affine geometric transformation is an affine arc length. When the affine arc length is used, the contour is divided into minute sections, and the affine arc length is obtained for each minute section. Here, the affine arc length obtained for each minute section is referred to as a local affine arc length. The length of the minute section is significantly shorter than the division contour divided using the inflection points or the like.
The contour division point detection unit 105 detects a minute section in which the feature value has a characteristic value from the contour information expressed by the feature value that is invariant to the affine geometric transformation. Here, the characteristic value can be a value arbitrarily set by the user. Alternatively, it may be a value determined from the characteristic value itself such as a critical point.
Next, the contour division point detection unit 105 determines a point representing the specified minute section (which can be arbitrarily set, for example, a middle point) as a contour division point. That is, the contour division point detection unit 105 functions as a contour division point detection unit. Then, the contour division point detection unit 105 detects the coordinates of the points determined as the contour division points. The coordinates here may be coordinates expressed by an orthogonal coordinate system or the like in the image acquired by the image information acquisition unit 101.
The contour division point detection unit 105 causes the contour division point coordinate storage unit 201 to store contour division point coordinate information representing the coordinates of the detected contour division point. At this time, the contour division point coordinate information stored in the contour division point coordinate storage unit 201 is attached with a tag such as a name indicating the relationship with the original image information. Also, a part of the contour corresponding to the contour division point, for example, information related to the adjacent division contour, for example, information such as shape (bending condition) and length may be stored in association with each other. In any case, information necessary for similarity determination and search to be performed later is added. Note that the contour division point coordinate storage unit 201 may be included in the memory 20.
The contour division point coordinate comparison unit 106 compares the contour division point coordinate information related to two or more object shapes stored in the contour division point coordinate storage unit 201 under the instruction from the user (similarity determination). Alternatively, the contour division point coordinate comparison unit 106 is already (or previously) stored in the contour division point coordinate storage unit 201 and the contour division point coordinate information regarding one object shape newly detected by the contour division point detection unit 105. The contour division point coordinate information related to one or more object shapes is compared (search). The comparison can be performed by obtaining the similarity between the object shapes based on the geometric distance relationship between the contour division points for each object shape. The degree of similarity may be obtained using all the contour division points related to each object shape, or may be obtained using one or more representative points. Further, the similarity may be obtained at each stage of smoothing. The method for obtaining the similarity is not particularly limited, and a known method can be used.
The pattern output unit 107 outputs the comparison result in the contour division point coordinate comparison unit 106. The comparison result includes the similarity determination result and similarity of two object shapes to be compared, division point coordinate information of another object shape determined to be most similar to one comparison object, or the division point coordinate information thereof. A tag such as an associated name, contour information, or image information is output.
Next, the operation of the object shape recognition system according to the first embodiment will be described with reference to FIG. 2 in addition to FIG.
FIG. 2 is a flowchart showing an example of the operation of the object shape recognition system of FIG. Here, a case will be described in which information related to the object shape most similar to the shape of the object indicated by the newly acquired image information is searched from the information stored in the contour division point coordinate storage unit 201.
First, the image information acquisition unit 101 acquires image information specified by the user (S1001). The acquisition of image information is not limited to the one specified by the user, and the system may acquire it automatically.
Next, the contour extraction unit 102 extracts contour information representing the contour of the object included in the image from the image information acquired by the image information acquisition unit 101 (S1002). In the extraction of the contour information, information satisfying the criteria set in advance by the user is extracted. For example, it is possible to extract only the contour having a length equal to or greater than the threshold.
Next, the contour smoothing unit 103 performs contour smoothing in several stages (S1003).
Next, the contour feature amount expression unit 104 represents the contour information at each stage smoothed by the contour smoothing unit 103 using a feature amount that is invariant to the affine geometric transformation (S1004). Here, it is assumed that the local affine arc length is used as a feature quantity that is invariant to the affine geometric transformation.
Next, the contour division point detection unit 105 identifies a point at which the local affine arc length has a characteristic value as a contour division point. Further, the contour dividing point detection unit 105 detects the coordinates of the specified contour dividing point (S1005).
Next, the contour division point coordinate comparison unit 106 relates to information indicating the coordinates of the contour division point detected by the contour division point detection unit 105 and another object shape stored in advance in the contour division point coordinate storage unit 201. Compare with contour division point coordinate information. The contour division point coordinate comparison unit 106 represents the coordinates of the contour division points detected by the contour division point detection unit 105 from the contour division point coordinate information stored in advance in the contour division point coordinate storage unit 201. The information most similar to the information is specified (searched) (S1006). A plurality of pieces of information may be searched in order from the most similar one. In this case, a predetermined number of pieces of information may be searched, or information having a degree of similarity exceeding a preset degree of similarity may be searched.
The contour division point coordinate comparison unit 106 outputs the searched contour division point coordinate information or image information (similar pattern) such as the associated contour and a tag such as a name to the pattern output unit 107.
The pattern output unit 107 displays or prints the comparison result (for example, a similar pattern) from the contour division point coordinate comparison unit 106 (S1007).
As described above, in the object shape recognition system according to the present embodiment, the contour information is once expressed by a feature quantity that is invariant to affine geometric transformation, and a division point is determined based on the value of the feature quantity. Thereby, for any shape including an object shape with less unevenness, a division point that is robust to geometric transformation can be determined on the contour. By using these division points, object shape similarity determination and retrieval can be performed robustly in geometric transformation.
[Second Embodiment]
Next, an object shape recognition system according to the second embodiment of the present invention will be described.
FIG. 3 is a block diagram of an object shape recognition system according to the second embodiment of the present invention. The same components as those in the system of FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
The system of FIG. 3 differs from the system of FIG. 1 in that instead of the contour division point detection unit 105 and the contour division point coordinate comparison unit 106, a contour division unit 111, a divided contour feature amount detection unit 112, and a divided contour feature amount comparison. The point is that the unit 113 is provided. Further, the system of FIG. 3 includes a divided contour feature amount storage unit 211 instead of the contour division point coordinate storage unit 201. In addition, although the system of FIG. 3 is not provided with the outline smoothing part 103, you may provide. Further, some elements including the control unit 10 have functions different from those in FIG.
The contour dividing unit 111 determines contour dividing points and detects the coordinates in the same manner as the contour dividing point detecting unit 105. Then, the contour is divided into one or more divided contours at the detected contour division points. There may be a case where the divided contour after the division matches the entire contour before the division (when there is one contour division point).
The divided contour feature amount detection unit 112 detects or calculates a feature amount that characterizes each of the divided contours divided by the contour division unit 111. As the feature quantity here, an invariable quantity can be used for the affine geometric transformation, such as the affine arc length and affine curvature of the divided contour. Further, it is possible to use a projection transformation invariant amount such as the number of inflection points of the Euclidean curvature included in the divided contour. Alternatively, other feature values may be used without being limited to these feature values. The feature amount of the divided contour thus calculated is stored in the divided contour feature amount storage unit 211 together with a tag such as the shape to which the divided contour belongs or the name of the shape.
The divided contour feature value comparison unit 113 compares the divided contour feature values related to two or more object shapes stored in the divided contour feature value storage unit 211 with each other. Alternatively, the divided contour feature value comparison unit 113 includes one or more divided contour feature values related to one object shape newly calculated by the divided contour feature value detection unit 112 and one or more stored in the divided contour feature value storage unit 211. Are compared with the divided contour feature values related to the object shape. The comparison may be performed using feature quantities for one or more divided contours for one object shape. It is not always necessary to use feature amounts for all divided contours related to one object shape. By using feature quantities for one or a limited number of divided contours, object shape recognition that is robust against occlusion can be realized. That is, similarity determination or the like can be performed for the shape of an object that is partially hidden.
The pattern output unit 107 outputs the comparison result from the divided contour feature amount comparison unit 113. As the comparison result, for example, the shape, name, tag, and the like of another object determined to be most similar to one object shape are output.
Next, the operation of the object shape recognition system of FIG. 3 will be described with reference to FIG. Here, as in the example shown in FIG. 2, the information related to the object shape most similar to the object shape indicated by the newly acquired image information is searched from the information stored in the divided contour feature amount storage unit 211. The case will be described.
The steps until the contour division point is determined (until the middle of S1001 to 1004 and S2001) are the same as those in the first embodiment. However, in the present embodiment, since the stepwise smoothing process (S1003) is not performed, the contour division points are determined for one contour per object shape.
The contour dividing unit 111 divides the original contour into one or more divided contours at the contour dividing points determined in the same manner as the contour dividing point detecting unit 105 (S2001).
Next, the divided contour feature value detection unit 112 detects or calculates a feature value for each of the divided contours (S2002).
Next, the divided contour feature value comparison unit 113 uses the feature values of each divided contour detected or calculated by the divided contour feature value detection unit 112 as divided contour feature value information stored in the divided contour feature value storage unit 211. Comparison (search) is performed (S2003). The comparison can be performed using one or more feature amounts of the divided contours for one object shape. That is, even when there are a plurality of divided contours for one object shape, it is not necessary to use all the feature amounts of the plurality of divided contours. The number of divided contours used for comparison may be set based on the detection accuracy and the ability to cope with geometric transformation including occlusion.
If there is a matching or approximate feature quantity in the divided contour feature quantity storage unit 211 as a result of the comparison, a tag such as image information, outline information, or name associated with the divided outline feature quantity information is displayed in the pattern output unit. 107.
Next, the pattern output unit 107 outputs information such as image information, contour information, or a tag such as a name supplied from the divided contour feature amount comparison unit 113, that is, displays the information on a display (S1007).
As described above, in the object shape recognition system according to the present embodiment, the contour information is once expressed by a feature quantity that is invariant to affine geometric transformation, and a division point is determined based on the value of the feature quantity. Then, using the division points, the contour is divided into one or more divided contours, and the feature amount is detected or calculated again for each divided contour. As a result, for any shape including an object shape with few irregularities, a division point that is robust to geometric transformation is defined on the outline, and part or all of the division outline obtained by using those division points Can be used to perform similarity determination and retrieval of object shapes robust to geometric transformation. Thus, in the object shape recognition system according to the present embodiment, similarity determination and search can be performed for the shape of a partially occluded object.
[Third Embodiment]
Next, an object shape recognition system according to the third embodiment of the present invention will be described. The object shape recognition system according to the present embodiment is configured in the same manner as the system according to the first embodiment. However, the operation of the contour division point detection unit 105 is different. Specifically, the contour division point detection unit 105 detects coordinates in a CSS (Curveure Scale Space) space as coordinates of the contour division points.
The contour division point coordinate information representing the coordinates on the CSS space of the division points detected by the contour division point detection unit 105 is recorded in the contour division point coordinate storage unit 201.
The contour division point coordinate comparison unit 106 performs similarity determination and search using contour division point coordinate information representing coordinates of the division point in the CSS space.
The operation of the object shape recognition system according to the present embodiment is the same as that of the first embodiment except for the above points.
According to the object shape recognition system according to the present embodiment, the following problems of the pattern recognition method using the conventional CSS space can be solved.
That is, in the conventional method using the CSS space, inflection points on the contour are detected as division points. This method uses a curvature (Euclidean curvature) κ (t) defined by the following formula (1).

Here, t is taken so as to go around the contour starting from an arbitrary point on the contour.

A point at which the value of the Euclidean curvature defined by the above formula (1) is zero is defined as an inflection point, and a point at which an extreme value is obtained is defined as a critical point. Using these points, the contour of the object shape is divided, and each divided contour is expressed by a feature amount called a contour length. Furthermore, this expression is re-expressed by converting it into a CSS space. An example in which the contour of the object shape shown in FIG. 5 is expressed by CSS is shown in FIG.
The horizontal axis of the CSS in FIG. 6 represents the contour coordinate t (position on the contour), and the vertical axis represents the smoothing degree (smoothing degree) obtained by smoothing the contour shape along the contour coordinate t. A diagram in CSS can be thought of as a set of inflection points in the contour. The contour shape gradually becomes a shape with few inflection points as the degree of smoothing increases, and finally the number of inflection points converges to zero. For this reason, although many inflection points can be confirmed below CSS, the number of inflection points decreases as it goes above CSS, and the inflection points disappear at the top.
The inflection point coordinates are robust to the geometric transformation as described in the Background section. However, the feature quantity of the divided contour obtained by using the coordinates of the inflection point is obtained, and the pattern recognition using the feature quantity has the following problems with respect to a figure with little unevenness.
FIGS. 7A to 7E are diagrams showing examples of figures that are contour shapes with less unevenness, but that can be easily recognized by humans as differences. When these figures are expressed in the CSS space (CSS images), they are as shown in FIGS.
8A to 8E, the existence of a very small set of inflection points is recognized below the CSS. However, it is difficult to determine whether the figures corresponding to FIGS. 8A to 8E are similar or to obtain the degree of similarity. In FIG. 8D and FIG. 8E, one set of large inflection points can be confirmed, so the figures corresponding to these CSS images seem to be similar to each other. However, it is difficult to say that the figures corresponding to these CSS images are close to a quadrangle and the other is a triangle. As described above, in the conventional method using CSS, there is a problem that an effective analogy determination cannot be made for a shape with less unevenness. In other words, the conventional technique has a problem that there is no technique for effectively drawing the CSS space for any figure including a figure with less unevenness.
For such a problem, the object shape recognition system according to the present embodiment provides a solution as follows.
As described above, in the system according to the present embodiment, the contour shape is expressed by the (local) affine arc length expressed by the following formula (2), not by the feature quantity called the curvature that has been used so far.

Represents the first and second derivatives.
The affine arc length is determined by defining a section (t1, t2) on the contour coordinate t. By making these sections (t1, t2) into minute sections, the affine arc length in each minute section, that is, the value ds of the local affine arc length can be derived. Graphs representing the values of the local affine length ds obtained for the figures shown in FIGS. 7A to 7E are shown in FIGS.
Next, a characteristic point of the local affine arc length value ds in these minute sections is detected and defined as a contour division point. As a characteristic point, a point where the local affine arc length value ds is equal to the value designated by the user, a point where the local affine arc length value ds takes an extreme value, or the like can be adopted.
For each of the figures shown in FIGS. 7A to 7E, examples where points (ds = −0.4) where the value of the local affine length ds is equal to the value specified by the user are represented in the CSS space are shown in FIGS. 10A to 10E, respectively. In each of FIGS. 10A-10E, a set of characteristic points is observed. Therefore, it is possible to divide a figure with few irregularities as shown in FIGS. 7A to 7E using these characteristic points.
As described above, according to the object shape recognition system according to the present embodiment, it is robust to geometric transformation (including shielding) using a CSS space for any shape including the shape of an object with less unevenness. Pattern recognition is possible.
This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2010-291163 for which it applied on December 28, 2010, and takes in those the indications of all here.

本発明は、一般的な画像や動画内での物体の認識に利用できる。また、本発明は、認識結果を利用した画像の検索や、画像の分類といった用途に適用可能である。 The present invention can be used to recognize an object in a general image or moving image. Further, the present invention can be applied to uses such as image search using the recognition result and image classification.

Claims

Expressing the contour information representing the contour of the shape of the object included in the image by a feature amount that is invariant to the affine geometric transformation for each predetermined section;
Determining a dividing point for dividing the contour based on the feature value;
Only including,
The object shape recognition method , wherein the feature amount is an affine arc length .

The object shape recognition method according to claim 1, wherein a point where the feature value is equal to a specified value is determined as the division point.

Expressing the contour information representing the contour of the shape of the object included in the image by a feature amount that is invariant to the affine geometric transformation for each predetermined section;
Determining a dividing point for dividing the contour based on the feature value;
Including
A method of recognizing an object shape, wherein a point at which the feature value becomes a critical point is determined as the division point.

Contour information expressing means for expressing contour information representing the contour of the shape of an object included in an image by a feature amount that is invariant to affine geometric transformation for each predetermined section;
Contour dividing point detecting means for determining a dividing point for dividing the contour based on the value of the feature amount ,
The object shape recognition system , wherein the feature amount is an affine arc length .

5. The object shape recognition system according to claim 4, wherein the contour division point detection unit determines, as the division points, points at which the feature value is equal to a specified value.

Contour information expressing means for expressing contour information representing the contour of the shape of an object included in an image by a feature amount that is invariant to affine geometric transformation for each predetermined section;
Contour dividing point detecting means for determining a dividing point for dividing the contour based on the value of the feature amount,
The contour delimiter detection means, object shape recognition system characterized by determining the point at which the value of the feature quantity becomes critical point as the dividing point.