JP5845927B2 - Object recognition device, recognition method, and recognition program - Google Patents
Object recognition device, recognition method, and recognition program Download PDFInfo
- Publication number
- JP5845927B2 JP5845927B2 JP2012013887A JP2012013887A JP5845927B2 JP 5845927 B2 JP5845927 B2 JP 5845927B2 JP 2012013887 A JP2012013887 A JP 2012013887A JP 2012013887 A JP2012013887 A JP 2012013887A JP 5845927 B2 JP5845927 B2 JP 5845927B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- positional relationship
- predetermined
- relationship information
- predetermined area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムに関するものである。 The present invention relates to an object recognition apparatus, a recognition method, and a recognition program that can recognize an object in a predetermined region with high accuracy.
近年、カメラなどにより撮影された撮影画像中の認識対象物を、高精度に認識する様々な方法が提案されている。例えば、地図上の場所に関連付けられた複数の候補オブジェクトと、画像から取得したオブジェクトと、を比較して、取得した画像中のオブジェクトを識別する方法が知られている（特許文献１参照）。 In recent years, various methods have been proposed for recognizing a recognition object in a photographed image photographed by a camera or the like with high accuracy. For example, a method is known in which a plurality of candidate objects associated with a place on a map are compared with an object acquired from an image to identify an object in the acquired image (see Patent Document 1).
しかしながら、上記特許文献１に示す方法においては、例えば、一般家庭環境内などその環境内に存在する物体の位置関係が不確定となる環境内において物体を認識する場合、物体を確定するため正確な位置情報が存在しないため、物体を正確に認識することが困難となる虞がある。 However, in the method shown in Patent Document 1, for example, when recognizing an object in an environment where the positional relationship of the object existing in the environment is uncertain, such as a general home environment, the object is determined accurately. Since there is no position information, it may be difficult to accurately recognize the object.
本発明は、このような問題点を解決するためになされたものであり、所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムを提供することを主たる目的とする。 The present invention has been made to solve such problems, and a main object of the present invention is to provide an object recognition device, a recognition method, and a recognition program that can recognize an object in a predetermined region with high accuracy. .
上記目的を達成するための本発明の一態様は、所定領域内における認識対象物を認識する物体認識装置であって、所定対象物の特徴量を記憶する第１記憶手段と、前記認識対象物を含む所定領域を撮影する撮影手段と、前記撮影手段により撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された認識対象物の特徴量と、前記第１記憶手段に記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する候補抽出手段と、前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を記憶する第２記憶手段と、前記撮影手段により撮影された前記所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する位置関係算出手段と、前記位置関係算出手段により算出された前記位置関係情報と、前記第２記憶手段に記憶された位置関係情報と、前記候補抽出手段により抽出された前記認識対象物候補と、に基づいて、前記認識対象物を決定する決定手段と、を備える、ことを特徴とする物体認識装置である。
この一態様において、前記決定手段は、前記候補抽出手段により抽出された認識対象物候補とその周辺の所定対象物との位置関係情報を前記第２記憶手段から取得し、前記取得した位置関係情報と、前記位置関係算出手段により算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定してもよい。
この一態様において、前記所定対象物間の位置関係情報は、一方の前記所定対象物の位置に対する他方の前記所定対象物の相対的位置を示す位置ベクトルで定義されてもよい。
この一態様において、ユーザによる入力情報を入力する入力手段を更に備え、前記特徴量算出手段は、前記入力手段からの入力情報と、前記撮影手段により撮影された前記認識対象物の撮影画像と、に基づいて、前記撮影画像の中から前記認識対象物を設定し、前記認識対象物の特徴量を算出し、前記位置関係算出手段は、前記入力手段からの入力情報に基づいて、前記撮影手段により撮影された撮影画像の中から、前記所定領域及び前記所定領域内の認識対象物を設定してもよい。
他方、上記目的を達成するための本発明の一態様は、所定領域内における認識対象物を認識する認識方法であって、前記認識対象物を含む所定領域を撮影するステップと、前記撮影された認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出するステップと、前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出するステップと、前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出するステップと、前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記認識対象物を決定するステップと、を含む、ことを特徴とする認識方法であってもよい。
また、上記目的を達成するための本発明の一態様は、所定領域内における認識対象物を認識する認識プログラムであって、撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する処理と、前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する処理と、前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する処理と、前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記認識対象物を決定する処理と、をコンピュータに実行させる、ことを特徴とする認識プログラムであってもよい。
One aspect of the present invention for achieving the above object is an object recognition device for recognizing a recognition object in a predetermined area, the first storage means for storing a feature quantity of the predetermined object, and the recognition object An imaging unit that captures a predetermined region including: a feature amount calculating unit that calculates a feature amount of the recognition target object based on a captured image of the recognition target image captured by the imaging unit; and the feature amount calculation unit Candidate extraction means for extracting a recognition object candidate from the predetermined object based on the feature quantity of the recognition object calculated by the above and the feature quantity of the predetermined object stored in the first storage means Second storage means for storing positional relationship information between predetermined objects existing in an area of substantially the same environment as the predetermined area, and within the predetermined area from a photographed image of the predetermined area photographed by the photographing means Recognition object Positional relationship calculating means for calculating positional relationship information with a predetermined object on the side; the positional relationship information calculated by the positional relationship calculating means; the positional relationship information stored in the second storage means; and the candidate An object recognition apparatus comprising: a recognition unit that determines the recognition target based on the recognition target candidate extracted by an extraction unit.
In this aspect, the determining unit acquires the positional relationship information between the recognition object candidate extracted by the candidate extracting unit and the predetermined target object in the vicinity thereof from the second storage unit, and the acquired positional relationship information And the positional relationship information calculated by the positional relationship calculation means may be compared, and the recognition target object candidate having the closest positional relationship information may be determined as the recognition target.
In this aspect, the positional relationship information between the predetermined objects may be defined by a position vector indicating a relative position of the other predetermined object with respect to the position of the one predetermined object.
In this aspect, the image processing apparatus further includes an input unit that inputs information input by a user, and the feature amount calculation unit includes input information from the input unit, a captured image of the recognition object captured by the imaging unit, The recognition object is set from the captured image, the feature quantity of the recognition object is calculated, and the positional relationship calculating means is configured to input the imaging means based on the input information from the input means. The predetermined area and the recognition object in the predetermined area may be set from the captured image captured by the above.
On the other hand, one aspect of the present invention for achieving the above object is a recognition method for recognizing a recognition object in a predetermined area, the step of photographing a predetermined area including the recognition object, and the photographed Based on the step of calculating the feature quantity of the recognition object based on the captured image of the recognition object, the calculated feature quantity of the recognition object, and the feature quantity of the predetermined object stored in advance Extracting a candidate for recognition object from the predetermined object, and calculating positional relationship information between the recognition object in the predetermined area and a surrounding predetermined object from the photographed image of the predetermined area. A step, the calculated positional relationship information, positional relationship information between predetermined objects existing in a region of substantially the same environment as the predetermined region stored in advance, and the extracted recognition target candidates Based on before And determining a recognition object, and may be a recognition method, characterized in that.
Another aspect of the present invention for achieving the above object is a recognition program for recognizing a recognition object in a predetermined area, based on a photographed image of the recognition object photographed. Based on the calculated feature amount of the recognition object and the feature amount of the predetermined object stored in advance, a recognition object candidate is extracted from the predetermined object A process for calculating positional relationship information between a recognition target object in the predetermined area and a peripheral predetermined object from the captured image of the captured predetermined area, the calculated positional relationship information, and pre-stored A process of determining the recognition object based on positional relationship information between the predetermined objects existing in an area of substantially the same environment as the predetermined area and the extracted recognition object candidates. Let computer run It may be a recognition program characterized.
本発明によれば、所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the object recognition apparatus, the recognition method, and recognition program which can recognize the object in a predetermined area | region with high precision can be provided.
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係る物体認識装置の概略的システム構成を示すブロック図である。本実施の形態に係る物体認識装置１は、例えば、キッチンなどの所定領域内におけるレンジフード、ヤカン、鍋、ガスコンロなどの認識対象物を高精度に認識できるものである。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a schematic system configuration of an object recognition apparatus according to an embodiment of the present invention. The object recognition apparatus 1 according to the present embodiment is capable of accurately recognizing recognition objects such as a range hood, a kettle, a pan, and a gas stove in a predetermined area such as a kitchen.
物体認識装置１は、所定対象物の特徴量を記憶する第１データベース２と、認識対象物を含む所定領域を撮影する撮影部３と、認識対象物の特徴量を算出する特徴量算出部４と、認識対象物候補を抽出する候補抽出部５と、所定対象物間の位置関係情報を記憶する第２データベース６と、認識対象物とその周辺の所定対象物との位置関係情報を算出する位置関係算出部７と、認識対象物候補の中から認識対象物を決定する決定部８と、を備えている。 The object recognition apparatus 1 includes a first database 2 that stores a feature amount of a predetermined object, an imaging unit 3 that captures a predetermined area including the recognition object, and a feature amount calculation unit 4 that calculates a feature amount of the recognition object. A candidate extraction unit 5 that extracts recognition target candidates; a second database 6 that stores positional relationship information between the predetermined objects; and positional relationship information between the recognition objects and the surrounding predetermined objects. The positional relationship calculation part 7 and the determination part 8 which determines a recognition target object from the recognition target object candidate are provided.
第１データベース２は、第１記憶手段の一具体例であり、所定対象物と、その所定対象物の特徴量（例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量、ＳＵＲＦ（Speeded Up Robust Features）特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量など）と、を予め複数記憶する。第１及び第２データベース２、６は、例えば、後述のＲＯＭ、ＲＡＭ、磁気式記憶装置、光学式記憶装置などにより実現することができる。また、第１及び第２データベース２、６は、別体として構成されているが一体で構成されていてもよい。 The first database 2 is a specific example of the first storage unit, and includes a predetermined object and a feature amount of the predetermined object (eg, SIFT (Scale-Invariant Feature Transform) feature amount, SURF (Speeded Up Robust Features)). A plurality of feature quantities, HOG (Histograms of Oriented Gradients) feature quantities, etc.) are stored in advance. The first and second databases 2 and 6 can be realized by, for example, a ROM, a RAM, a magnetic storage device, an optical storage device, etc., which will be described later. Moreover, although the 1st and 2nd databases 2 and 6 are comprised as a different body, you may be comprised integrally.
撮影部３は、撮影手段の一具体例であり、例えば、ＣＣＤ、ＣＭＯＳカメラなどから構成されている。撮影部３は、認識対象物を含む所定領域を撮影し、その撮影画像を特徴量算出部４及び位置関係算出部７に対して出力する。 The imaging unit 3 is a specific example of an imaging unit, and includes, for example, a CCD, a CMOS camera, or the like. The imaging unit 3 captures a predetermined area including the recognition target object and outputs the captured image to the feature amount calculation unit 4 and the positional relationship calculation unit 7.
特徴量算出部４は、特徴量算出手段の一具体例であり、撮影部３から出力された認識対象物の撮影画像に基づいて、周知の演算処理を行い認識対象物の特徴量を算出し、算出した認識対象物の特徴量を候補抽出部５に対して出力する。 The feature quantity calculation unit 4 is a specific example of the feature quantity calculation unit, and performs a known calculation process based on the captured image of the recognition target object output from the imaging unit 3 to calculate the feature quantity of the recognition target object. The calculated feature quantity of the recognition target object is output to the candidate extraction unit 5.
候補抽出部５は、候補抽出手段の一具体例であり、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、パターンマッチングなどを行い、所定対象物の中から認識対象物候補を抽出する。候補抽出部５は、抽出した認識対象物候補を決定部８に対して出力する。 The candidate extraction unit 5 is a specific example of candidate extraction means, and includes the feature amount of the recognition target object output from the feature amount calculation unit 4 and the feature amount of the predetermined target object stored in the first database 2. Based on this, pattern matching or the like is performed, and recognition object candidates are extracted from predetermined objects. The candidate extraction unit 5 outputs the extracted recognition target candidate to the determination unit 8.
なお、候補抽出部５は、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、各認識対象物候補がその認識対象物である確率（以下、認識対象物の確率と称す）を算出してもよい。また、候補抽出部５は、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、認識対象物候補の中でより近いものから順に順位付けを行ってもよい。 The candidate extraction unit 5 determines each recognition target candidate based on the feature quantity of the recognition target object output from the feature quantity calculation unit 4 and the feature quantity of the predetermined target object stored in the first database 2. May be calculated as a recognition object (hereinafter referred to as a recognition object probability). In addition, the candidate extraction unit 5 determines the recognition target object candidate based on the feature amount of the recognition target object output from the feature amount calculation unit 4 and the feature amount of the predetermined target object stored in the first database 2. Ranking may be performed in order from the closest.
第２データベース６は、第２記憶手段の一具体例であり、所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を予め記憶する。この位置関係情報は、例えば、所定対象物間における位置ベクトル情報、所定対象物を示す箱のサイズ、などを含み、各所定対象物間の抽象的関連付けを示す、オントロジー化された視覚情報である。 The second database 6 is a specific example of the second storage means, and stores in advance positional relationship information between predetermined objects existing in an area having substantially the same environment as the predetermined area. This positional relationship information is, for example, ontological visual information that includes position vector information between predetermined objects, the size of a box indicating the predetermined object, and the like, and indicates an abstract association between the predetermined objects. .
例えば、所定対象物Ａと所定対象物Ｂとの間の位置関係情報は、所定対象物Ａの位置に対する所定対象物Ｂの相対的位置を示す位置ベクトル（Ｘ、Ｙ、距離）および相対的スケールで定義される。このように位置ベクトルは、所定対象物Ａの位置に対する所定対象物Ｂの相対的位置を示す二次元座標（Ｘ、Ｙ）、及び、所定対象物Ａと所定対象物Ｂとの間の距離、で表現される。 For example, the positional relationship information between the predetermined object A and the predetermined object B includes a position vector (X, Y, distance) indicating a relative position of the predetermined object B with respect to the position of the predetermined object A, and a relative scale. Defined by Thus, the position vector includes two-dimensional coordinates (X, Y) indicating the relative position of the predetermined object B with respect to the position of the predetermined object A, and the distance between the predetermined object A and the predetermined object B. It is expressed by
より具体的には、所定領域がキッチンである場合、その略同一環境の、図２に示すようなキッチンにおいて、「レンジフード」、「ヤカン」、「ガスコンロ」などの所定対象物間の位置関係情報は、例えば、「レンジフード」に対する「ヤカン」の位置ベクトル、「ヤカン」に対する「ガスコンロ」の位置ベクトル、レンジフードに対する「ガスコンロ」の位置ベクトルなどを含む。このとき、各所定対象物が置かれる状況を示すため、下方にある物体の位置ベクトルが負になるように設定するのが好ましい。レンジフードに対するヤカンの位置ベクトルは、例えば、（−０．１５、−０．３、０．３３５）として表現される。 More specifically, when the predetermined area is a kitchen, the positional relationship between predetermined objects such as “range hood”, “Yakan”, “gas stove” in the kitchen shown in FIG. The information includes, for example, a position vector of “Yakan” for “range hood”, a position vector of “gas stove” for “Yakan”, a position vector of “gas stove” for range hood, and the like. At this time, in order to indicate a situation where each predetermined object is placed, it is preferable to set the position vector of the object below to be negative. The position vector of the kettle relative to the range hood is expressed as (−0.15, −0.3, 0.335), for example.
なお、上記位置ベクトルの表現方法は、一例であり、これに限らず、所定対象物間の位置関係を表わすことができれば、任意の表現方法を用いることができる。例えば、所定対象物Ａの位置に対する所定対象物Ｂの相対的位置は、三次元座標（Ｘ、Ｙ、Ｚ）で表現されてもよい。 Note that the method of expressing the position vector is an example, and is not limited to this, and any expression method can be used as long as the positional relationship between the predetermined objects can be expressed. For example, the relative position of the predetermined object B with respect to the position of the predetermined object A may be expressed by three-dimensional coordinates (X, Y, Z).
また、所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を複数種類集め、その複数種類の位置関係情報に基づいて、例えば、統計的・確率的処理、平均化処理、学習アルゴリズムなどを用いて、所定対象物間の位置関係情報のモデルパターンを予め構築してもよい。第２データベース６には、そのような複数種類の位置関係情報に基づいた、位置関係情報のモデルパターンが記憶されていてもよい。 Also, a plurality of types of positional relationship information between predetermined objects existing in a region of substantially the same environment as the predetermined region are collected, and based on the plurality of types of positional relationship information, for example, statistical / probabilistic processing, averaging processing, etc. A model pattern of positional relationship information between predetermined objects may be constructed in advance using a learning algorithm or the like. The second database 6 may store model patterns of positional relationship information based on such multiple types of positional relationship information.
位置関係算出部７は、位置関係算出手段の一具体例であり、撮影部３により撮影された撮影画像から所定領域内の認識対象物とその周辺の所定対象物との位置関係情報を算出する。位置関係算出部７は、例えば、図３に示すような撮影画像から、矩形状の白枠に示す所定領域内の認識対象物Ａ（ヤカン）とその周辺のレンジフード、急須、なべ、ガスコンロなどの所定対象物との位置関係を、図４に示すように設定し、夫々の位置ベクトルを算出する。位置関係算出部７は、例えば、レンジフードに対する急須の位置ベクトル、レンジフードに対するヤカンの位置ベクトル、レンジフードに対するなべの位置ベクトル、ガスコンロに対する急須の位置ベクトル、ガスコンロに対するヤカンの位置ベクトル、ガスコンロに対するなべの位置ベクトルを、位置関係情報として夫々算出する。 The positional relationship calculation unit 7 is a specific example of the positional relationship calculation unit, and calculates positional relationship information between a recognition target object in a predetermined area and a predetermined target object in the vicinity thereof from a captured image captured by the capturing unit 3. . For example, the positional relationship calculation unit 7 uses a captured image as shown in FIG. 3 to recognize the recognition object A (Yakan) in a predetermined area indicated by a rectangular white frame and its surrounding range hood, teapot, pan, gas stove, and the like. The positional relationship with the predetermined object is set as shown in FIG. 4, and each position vector is calculated. The positional relationship calculation unit 7 may include, for example, a teapot position vector for the range hood, a kettle position vector for the range hood, a pan position vector for the range hood, a teapot position vector for the gas stove, a kettle position vector for the gas stove, and a pan for the gas stove. Are calculated as positional relationship information.
なお、位置関係算出部７は、例えば、ユーザによる入力情報に基づいて、撮影部３により撮影された撮影画像の中から、所定領域及びその所定領域内の認識対象物を設定する。ユーザは、例えば、タッチパネル、キーボード、マウスなど入力部（入力手段の一具体例）９などを用いて所定領域の位置や範囲、認識対象物などを任意に設定、変更できる。位置関係算出部７は、算出した位置関係情報を決定部８に対して出力する。 Note that the positional relationship calculation unit 7 sets a predetermined region and a recognition object in the predetermined region from the captured images captured by the capturing unit 3 based on information input by the user, for example. For example, the user can arbitrarily set and change the position and range of the predetermined area, the recognition target object, and the like using an input unit (one specific example of the input unit) 9 such as a touch panel, a keyboard, and a mouse. The positional relationship calculation unit 7 outputs the calculated positional relationship information to the determination unit 8.
決定部８は、決定手段の一具体例であり、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、候補抽出部５により抽出された認識対象物候補と、に基づいて、認識対象物を決定する。 The determination unit 8 is a specific example of a determination unit. The positional relationship information calculated by the positional relationship calculation unit 7, the positional relationship information stored in the second database 6, and the recognition extracted by the candidate extraction unit 5. A recognition object is determined based on the object candidate.
決定部８は、例えば、候補抽出部５により抽出された認識対象物候補とその周辺の所定対象物との位置関係情報を第２データベース６から取得し、取得した位置関係情報と、位置関係算出部７により算出された位置関係情報と、を夫々比較しマッチングを行い、両者の位置関係情報が最も近くなる認識対象物候補を認識対象物として決定する。なお、上記決定部８による決定方法は、一例であり、これに限らず、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、候補抽出部５により抽出された認識対象物候補と、に基づいて、任意の方法により認識対象物を決定することができる。 The determination unit 8 acquires, for example, the positional relationship information between the recognition target candidate extracted by the candidate extraction unit 5 and the predetermined target object in the vicinity from the second database 6, and acquires the acquired positional relationship information and the positional relationship calculation. The positional relationship information calculated by the unit 7 is compared and matched, and the recognition target object candidate having the closest positional relationship information is determined as the recognition target object. The determination method by the determination unit 8 is an example, and is not limited to this. The positional relationship information calculated by the positional relationship calculation unit 7, the positional relationship information stored in the second database 6, and the candidate extraction unit The recognition target object can be determined by an arbitrary method on the basis of the recognition target candidate extracted by 5.
なお、物体認識装置１は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらＣＰＵ、ＲＯＭ、及びＲＡＭは、データバス等によって相互に接続されている。 The object recognition apparatus 1 temporarily stores, for example, a CPU (Central Processing Unit) that performs arithmetic processing, a ROM (Read Only Memory) that stores arithmetic programs executed by the CPU, processing data, and the like. A hardware configuration is provided with a microcomputer having a RAM (Random Access Memory) as a center. The CPU, ROM, and RAM are connected to each other by a data bus or the like.
また、上記実施の形態において、所定領域がキッチンの場合について説明したが、これに限らず、例えば、所定領域がリビングであってもよく、任意の領域が適用可能である。所定領域がリビングの場合、所定対象物は、例えば、テレビ、ソファ、テーブル、時計、棚などとなる。 Moreover, in the said embodiment, although the case where the predetermined area | region was a kitchen was demonstrated, it is not restricted to this, For example, a predetermined area | region may be a living room and arbitrary areas are applicable. When the predetermined area is a living room, the predetermined object is, for example, a television, a sofa, a table, a clock, a shelf, or the like.
ところで、従来の物体認識装置においては、例えば、同一の物体でも、照明、カメラの向き、物体の置き方などによって、認識率が大きく変化し、常に同一物体として認識されず、誤認識する虞がある。 By the way, in the conventional object recognition apparatus, for example, even with the same object, the recognition rate varies greatly depending on illumination, camera orientation, object placement, etc. is there.
そこで、本実施の形態に係る物体認識装置１においては、上述の如く、特徴量算出部４により算出された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、所定対象物の中から認識対象物候補を抽出し、さらに、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、に基づいて、候補抽出部５により抽出された認識対象物候補の中から認識対象物を決定する。このように、予め特徴量を用いて認識対象物候補を絞り込み、さらに、その認識対象物候補とその周辺の所定対象物との位置関係情報を用いて、認識対象物を決定する。これにより、所定領域内の認識対象物体を高精度に認識できる。 Therefore, in the object recognition apparatus 1 according to the present embodiment, as described above, the feature amount of the recognition target object calculated by the feature amount calculation unit 4 and the feature amount of the predetermined target object stored in the first database 2. Based on the above, the recognition target candidate is extracted from the predetermined target, and the positional relationship information calculated by the positional relationship calculation unit 7 and the positional relationship information stored in the second database 6 are Based on the recognition target object candidates extracted by the candidate extraction unit 5, a recognition target object is determined. In this way, recognition target candidates are narrowed down in advance using feature amounts, and further, recognition target objects are determined using positional relationship information between the recognition target candidate and surrounding predetermined target objects. Thereby, the recognition target object in the predetermined region can be recognized with high accuracy.
次に、本実施の形態に係る物体認識装置１による認識方法を説明する。図５は、本実施の形態に係る物体認識装置による認識処理の一例を示すフローチャートである。 Next, a recognition method by the object recognition apparatus 1 according to the present embodiment will be described. FIG. 5 is a flowchart showing an example of recognition processing by the object recognition apparatus according to the present embodiment.
撮影部３は、認識対象物を含む所定領域を撮影し（ステップＳ１０１）（図６（ａ））、その撮影画像を特徴量算出部４及び位置関係算出部７に対して出力する。 The imaging unit 3 images a predetermined area including the recognition target (step S101) (FIG. 6A), and outputs the captured image to the feature amount calculation unit 4 and the positional relationship calculation unit 7.
次に、特徴量算出部４は、撮影部３から出力された認識対象物の撮影画像に基づいて、周知の演算処理を行い認識対象物の特徴量を算出し（ステップＳ１０２）（図６（ｂ））、算出した認識対象物の特徴量を候補抽出部５に対して出力する。 Next, the feature quantity calculation unit 4 calculates the feature quantity of the recognition target object by performing a well-known calculation process based on the captured image of the recognition target object output from the shooting unit 3 (step S102) (FIG. 6 ( b)), the calculated feature quantity of the recognition object is output to the candidate extraction unit 5.
その後、候補抽出部５は、特徴量算出部４から出力された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、パターンマッチングなどを行い（図６（ｃ））、所定対象物の中から認識対象物候補を抽出する（ステップＳ１０３）。候補抽出部５は、抽出した認識対象物候補を決定部８に対して出力する。 Thereafter, the candidate extraction unit 5 performs pattern matching or the like based on the feature quantity of the recognition target object output from the feature quantity calculation unit 4 and the feature quantity of the predetermined target object stored in the first database 2. (FIG. 6 (c)), recognition object candidates are extracted from the predetermined objects (step S103). The candidate extraction unit 5 outputs the extracted recognition target candidate to the determination unit 8.
例えば、この時点で、認識対象物の確率（もっともらしい確率）は、急須 ３５％、ヤカン ３０％、なべ ２９％であるとする（図６（ｄ））。従来の物体認識装置は、この処理で終了し、例えば、認識対象物を急須であると、誤認識することとなる。一方、本実施の形態に係る物体認識装置１は、さらに、下記（ステップＳ１０４）以降の処理を実行する。 For example, at this time, it is assumed that the probability (probable probability) of the recognition object is 35% teapot, 30% kettle, and 29% pan (FIG. 6D). The conventional object recognition apparatus ends with this processing, and for example, if the recognition target is a teapot, it is erroneously recognized. On the other hand, the object recognition apparatus 1 according to the present embodiment further executes the following processing (step S104) and subsequent steps.
位置関係算出部７は、撮影部３により撮影された所定領域の撮影画像から所定領域内の認識対象物とその周辺の所定対象物との位置関係情報を算出し（ステップＳ１０４）、算出した位置関係情報を決定部８に対して出力する。 The positional relationship calculation unit 7 calculates positional relationship information between the recognition target object in the predetermined region and the predetermined target object in the vicinity from the captured image of the predetermined region captured by the photographing unit 3 (step S104). The relation information is output to the determination unit 8.
決定部８は、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、候補抽出部５により抽出された認識対象物候補と、に基づいて、認識対象物を決定する（ステップＳ１０５）。この時点で、認識対象物の確率が、ヤカン ８０％、フライパン １２％、急須 ２％と変化し（図６（ｅ））、見直され、最終的に、ヤカンが認識対象物として決定される。このように、上記（ステップＳ１０３）で処理を終了した場合、認識対象物を急須と誤認識する可能性があるが、さらに、認識対象物とその周辺の所定対象物との位置関係情報を用いることで、認識対象物をヤカンとして、正確に認識することができる。 The determination unit 8 is based on the positional relationship information calculated by the positional relationship calculation unit 7, the positional relationship information stored in the second database 6, and the recognition target object candidate extracted by the candidate extraction unit 5. A recognition object is determined (step S105). At this time, the probability of the recognition object is changed to 80% for kettle, 12% for frying pan, and 2% for teapot (FIG. 6 (e)), and is reviewed. Finally, the kettle is determined as the recognition object. As described above, when the processing is ended in the above (step S103), there is a possibility that the recognition target object is erroneously recognized as a teapot. Further, positional relationship information between the recognition target object and the predetermined target object in the vicinity thereof is used. Thus, the recognition object can be accurately recognized as a kettle.
以上、本実施の形態に係る物体認識装置１において、まず、特徴量算出部４により算出された認識対象物の特徴量と、第１データベース２に記憶された所定対象物の特徴量と、に基づいて、所定対象物の中から認識対象物候補を抽出し、さらに、位置関係算出部７により算出された位置関係情報と、第２データベース６に記憶された位置関係情報と、に基づいて、候補抽出部５により抽出された認識対象物候補の中から認識対象物を決定する。これにより、所定領域内の認識対象物体を高精度に認識できる。 As described above, in the object recognition apparatus 1 according to the present embodiment, first, the feature quantity of the recognition target calculated by the feature quantity calculation unit 4 and the feature quantity of the predetermined target stored in the first database 2 are used. Based on the positional relationship information calculated by the positional relationship calculation unit 7 and the positional relationship information stored in the second database 6 based on the recognition target candidate extracted from the predetermined target, A recognition object is determined from the recognition object candidates extracted by the candidate extraction unit 5. Thereby, the recognition target object in the predetermined region can be recognized with high accuracy.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention.
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、例えば、図５に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。 In the above-described embodiments, the present invention has been described as a hardware configuration, but the present invention is not limited to this. In the present invention, for example, the processing shown in FIG. 5 can be realized by causing a CPU to execute a computer program.
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。 The program may be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media are magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROM, CD-R, CD-R / W. Semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM).
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
本発明は、例えば、カメラなどにより撮影された撮影画像の所定領域内の物体を高精度に認識できる物体認識装置、認識方法、及び認識プログラムに利用可能である。 The present invention is applicable to, for example, an object recognition apparatus, a recognition method, and a recognition program that can recognize an object in a predetermined region of a captured image captured by a camera or the like with high accuracy.
１ 物体認識装置
２ 第１データベース
３ 撮影部
４ 特徴量算出部
５ 候補抽出部
６ 第２データベース
７ 位置関係算出部
８ 決定部
９ 入力部
DESCRIPTION OF SYMBOLS 1 Object recognition apparatus 2 1st database 3 Image pick-up part 4 Feature-value calculation part 5 Candidate extraction part 6 2nd database 7 Positional relationship calculation part 8 Determination part 9 Input part
Claims (5)
所定対象物の特徴量を記憶する第１記憶手段と、
前記認識対象物を含む所定領域を撮影する撮影手段と、
前記撮影手段により撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された認識対象物の特徴量と、前記第１記憶手段に記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する候補抽出手段と、
前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報を記憶する第２記憶手段と、
前記撮影手段により撮影された前記所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する位置関係算出手段と、
前記位置関係算出手段により算出された前記位置関係情報と、前記第２記憶手段に記憶された位置関係情報と、前記候補抽出手段により抽出された前記認識対象物候補と、に基づいて、前記認識対象物を決定する決定手段と、
を備え、
前記決定手段は、前記候補抽出手段により抽出された認識対象物候補とその周辺の所定対象物との位置関係情報を前記第２記憶手段から取得し、前記取得した位置関係情報と、前記位置関係算出手段により算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定する、ことを特徴とする物体認識装置。 An object recognition device for recognizing a recognition object in a predetermined area,
First storage means for storing feature quantities of the predetermined object;
Photographing means for photographing a predetermined area including the recognition object;
Feature amount calculating means for calculating a feature amount of the recognition object based on a photographed image of the recognition object photographed by the photographing means;
Based on the feature quantity of the recognition target object calculated by the feature quantity calculation means and the feature quantity of the predetermined target object stored in the first storage means, a recognition target object candidate is selected from the predetermined target objects. Candidate extraction means for extracting;
Second storage means for storing positional relationship information between predetermined objects existing in an area of substantially the same environment as the predetermined area;
Positional relationship calculating means for calculating positional relationship information between a recognition object in the predetermined area and a surrounding predetermined object from a photographed image of the predetermined area captured by the photographing means;
Based on the positional relationship information calculated by the positional relationship calculating means, the positional relationship information stored in the second storage means, and the recognition object candidates extracted by the candidate extracting means, the recognition A determination means for determining an object;
Equipped with a,
The determination means acquires positional relationship information between the recognition object candidate extracted by the candidate extraction means and a predetermined target object therearound from the second storage means, and the acquired positional relationship information and the positional relationship The object recognition apparatus characterized by comparing the positional relationship information calculated by the calculation means, and determining the recognition target object candidate having the closest positional relationship information between the two as the recognition target object.
前記所定対象物間の位置関係情報は、一方の前記所定対象物の位置に対する他方の前記所定対象物の相対的位置を示す位置ベクトルで定義される、ことを特徴とする物体認識装置。 The object recognition device according to claim 1 ,
The positional relationship information between the predetermined objects is defined by a position vector indicating a relative position of the other predetermined object with respect to the position of the one predetermined object.
ユーザによる入力情報を入力する入力手段を更に備え、
前記特徴量算出手段は、前記入力手段からの入力情報と、前記撮影手段により撮影された前記認識対象物の撮影画像と、に基づいて、前記撮影画像の中から前記認識対象物を設定し、前記認識対象物の特徴量を算出し、
前記位置関係算出手段は、前記入力手段からの入力情報に基づいて、前記撮影手段により撮影された撮影画像の中から、前記所定領域及び前記所定領域内の認識対象物を設定する、ことを特徴とする物体認識装置。 The object recognition device according to claim 1 or 2 ,
It further comprises an input means for inputting input information by the user,
The feature amount calculating means sets the recognition object from the photographed image based on the input information from the input means and the photographed image of the recognition object photographed by the photographing means, Calculating a feature amount of the recognition object;
The positional relationship calculating means sets the predetermined area and a recognition object in the predetermined area from the photographed images photographed by the photographing means based on input information from the input means. An object recognition device.
前記認識対象物を含む所定領域を撮影するステップと、
前記撮影された認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出するステップと、
前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出するステップと、
前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出するステップと、
前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記認識対象物を決定するステップと、
を含み、
前記抽出された認識対象物候補とその周辺の所定対象物との位置関係情報と、前記算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定する、ことを特徴とする認識方法。 A recognition method for recognizing a recognition object in a predetermined area,
Photographing a predetermined area including the recognition object;
Calculating a feature quantity of the recognition object based on a photographed image of the recognized recognition object;
Extracting a recognition object candidate from the predetermined object based on the calculated feature value of the recognition object and a feature value of the predetermined object stored in advance;
Calculating positional relationship information between a recognition object in the predetermined area and a peripheral predetermined object from the captured image of the predetermined area;
Based on the calculated positional relationship information, positional relationship information between predetermined objects existing in a region of substantially the same environment as the predetermined region stored in advance, and the extracted recognition target candidates, Determining the recognition object;
Only including,
The positional relationship information between the extracted recognition target object candidate and the predetermined target object in the vicinity thereof is compared with the calculated positional relationship information, and the recognition target object whose positional relationship information between the two is closest. A recognition method characterized by determining candidates as recognition objects .
撮影された前記認識対象物の撮影画像に基づいて、前記認識対象物の特徴量を算出する処理と、
前記算出された認識対象物の特徴量と、予め記憶された所定対象物の特徴量と、に基づいて、前記所定対象物の中から認識対象物候補を抽出する処理と、
前記撮影された所定領域の撮影画像から前記所定領域内の認識対象物と周辺の所定対象物との位置関係情報を算出する処理と、
前記算出された位置関係情報と、予め記憶された前記所定領域と略同一環境の領域内に存在する所定対象物間の位置関係情報と、前記抽出された認識対象物候補と、に基づいて、前記抽出された認識対象物候補とその周辺の所定対象物との位置関係情報と、前記算出された位置関係情報と、を夫々比較し、前記両者の位置関係情報が最も近くなる前記認識対象物候補を認識対象物として決定する処理と、
をコンピュータに実行させる、ことを特徴とする認識プログラム。 A recognition program for recognizing a recognition object in a predetermined area,
A process for calculating a feature amount of the recognition object based on a photographed image of the recognition object taken;
A process of extracting recognition target candidates from the predetermined objects based on the calculated feature quantities of the recognition objects and pre-stored feature quantities of the predetermined objects;
A process of calculating positional relationship information between a recognition object in the predetermined area and a predetermined object in the vicinity from the photographed image of the predetermined area;
Based on the calculated positional relationship information, positional relationship information between predetermined objects existing in a region of substantially the same environment as the predetermined region stored in advance, and the extracted recognition target candidates, The positional relationship information between the extracted recognition target object candidate and the predetermined target object in the vicinity thereof is compared with the calculated positional relationship information, and the recognition target object whose positional relationship information between the two is closest. A process for determining candidates as recognition objects ;
A recognition program characterized by causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012013887A JP5845927B2 (en) | 2012-01-26 | 2012-01-26 | Object recognition device, recognition method, and recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012013887A JP5845927B2 (en) | 2012-01-26 | 2012-01-26 | Object recognition device, recognition method, and recognition program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013152673A JP2013152673A (en) | 2013-08-08 |
| JP5845927B2 true JP5845927B2 (en) | 2016-01-20 |
Family
ID=49048949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012013887A Expired - Fee Related JP5845927B2 (en) | 2012-01-26 | 2012-01-26 | Object recognition device, recognition method, and recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5845927B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2778488B2 (en) * | 1994-11-04 | 1998-07-23 | 日本電気株式会社 | Awareness control device |
| JPH08263657A (en) * | 1995-03-20 | 1996-10-11 | Omron Corp | Object explanation device |
| JP2003067747A (en) * | 2001-08-30 | 2003-03-07 | Hitachi Hometec Ltd | Food recognizer, and heat cooker |
| US8108408B2 (en) * | 2007-06-14 | 2012-01-31 | Panasonic Corporation | Image recognition device and image recognition method |
| JP2010539623A (en) * | 2007-09-19 | 2010-12-16 | パナソニック株式会社 | System and method for identifying objects in an image using position information |
| JP5228148B2 (en) * | 2008-07-17 | 2013-07-03 | 国立大学法人豊橋技術科学大学 | Position estimation method, position estimation apparatus, and position estimation program for estimating position from image data |
-
2012
- 2012-01-26 JP JP2012013887A patent/JP5845927B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013152673A (en) | 2013-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230383B (en) | Hand three-dimensional data determination method and device and electronic equipment | |
| US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
| US10255492B2 (en) | Image processing method providing information for identifying a function of an object, the function being identified based on a pose of a person with respect to the object | |
| JP4855556B1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
| US10650234B2 (en) | Eyeball movement capturing method and device, and storage medium | |
| JP2011134114A (en) | Pattern recognition method and pattern recognition apparatus | |
| JP2013089252A (en) | Video processing method and device | |
| US9082000B2 (en) | Image processing device and image processing method | |
| JP6362085B2 (en) | Image recognition system, image recognition method and program | |
| JP2011113313A (en) | Attitude estimation device | |
| JP2017123163A (en) | Image recognition apparatus | |
| CN110675426A (en) | Human body tracking method, device, equipment and storage medium | |
| JP2018088049A (en) | Device, method and program for image processing | |
| JP2014106597A (en) | Autonomous moving body, object information acquisition device, and object information acquisition method | |
| KR20190018274A (en) | Method and apparatus for recognizing a subject existed in an image based on temporal movement or spatial movement of a feature point of the image | |
| JP2014013432A (en) | Featured value extraction device and featured value extraction method | |
| US20160292529A1 (en) | Image collation system, image collation method, and program | |
| CN106406507B (en) | Image processing method and electronic device | |
| EP3699865B1 (en) | Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium | |
| JP5845927B2 (en) | Object recognition device, recognition method, and recognition program | |
| JP2015045919A (en) | Image recognition method and robot | |
| JP6393495B2 (en) | Image processing apparatus and object recognition method | |
| JP5791361B2 (en) | PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM | |
| JP5840074B2 (en) | Image processing device | |
| JP2019128881A (en) | Article classification device, article classification system, article classification method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140821 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5845927 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |