JP7207141B2 - Article recognition system - Google Patents
Article recognition system Download PDFInfo
- Publication number
- JP7207141B2 JP7207141B2 JP2019087524A JP2019087524A JP7207141B2 JP 7207141 B2 JP7207141 B2 JP 7207141B2 JP 2019087524 A JP2019087524 A JP 2019087524A JP 2019087524 A JP2019087524 A JP 2019087524A JP 7207141 B2 JP7207141 B2 JP 7207141B2
- Authority
- JP
- Japan
- Prior art keywords
- identification information
- category
- article
- matching
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、物品の外面の撮像画像に基づき、当該外面に付された識別情報を認識する物品認識システムに関する。 The present invention relates to an article recognition system that recognizes identification information attached to the outer surface of an article based on a captured image of the outer surface of the article.
上記のような物品認識システムの一例が、特開２０１５－４１３７１号公報（特許文献１）に開示されている。特許文献１には、撮像装置による物品の外面の撮像画像に基づき、当該外面に付された２つのカテゴリの識別情報（具体的には、製造番号及び使用期限）を認識することが記載されている。そして、特許文献１の段落００３５等には、識別情報を認識する際に、誤認識された文字を修正する技術が記載されている。
An example of the article recognition system as described above is disclosed in Japanese Patent Application Laid-Open No. 2015-41371 (Patent Document 1).
ところで、物品の外面に付された識別情報を、当該外面の撮像画像とマッチング用データとのマッチング処理によって認識する場合、識別情報のバリエーション数に応じた数のマッチング用データが、マッチング候補となり得る。そのため、識別情報のバリエーション数が多くなるに従って、一般に、誤認識が発生しやすくなる。また、物品の外面に付される識別情報のカテゴリ数が多くなることによっても、誤認識（少なくともいずれかのカテゴリの識別情報の誤認識）が発生しやすくなる。特許文献１には、誤認識された文字を修正する技術が記載されているが、この技術は、識別情報を文字として認識する場面に適用範囲が限定される。
By the way, when the identification information attached to the outer surface of the article is recognized by the matching processing of the captured image of the outer surface and the matching data, the number of matching data corresponding to the number of variations of the identification information can be a matching candidate. . Therefore, as the number of variations of identification information increases, misrecognition generally tends to occur. In addition, misrecognition (misrecognition of identification information of at least one category) is more likely to occur as the number of categories of identification information attached to the outer surface of an article increases.
そこで、物品の外面に付された複数のカテゴリの識別情報を当該外面の撮像画像に基づき認識する場合に、誤認識の発生率を低く抑えることが可能な技術の実現が望まれる。 Therefore, it is desired to implement a technique that can reduce the rate of misrecognition when recognizing a plurality of categories of identification information attached to the outer surface of an article based on a captured image of the outer surface.
本開示に係る物品認識システムは、物品の外面の撮像画像に基づき、当該外面に付された識別情報を認識する物品認識システムであって、認識対象の物品である認識対象物の外面を撮像する撮像装置と、前記識別情報を分類した複数のカテゴリ毎に、それぞれのカテゴリに属する前記識別情報のマッチング用データを記憶した記憶部と、前記撮像装置による前記認識対象物の撮像画像と、前記記憶部に記憶されている前記マッチング用データとのマッチング処理によって、前記認識対象物の外面に付された前記カテゴリが互いに異なる複数の前記識別情報を認識する識別情報認識部と、を備え、複数の前記カテゴリに含まれる２つのカテゴリを第１カテゴリ及び第２カテゴリとして、前記第１カテゴリに含まれる複数の前記マッチング用データのそれぞれは、前記第２カテゴリに含まれる複数の前記マッチング用データの１つ以上に関連付けられた状態で前記記憶部に記憶され、前記識別情報認識部は、前記認識対象物の外面に付された前記第１カテゴリに属する前記識別情報を認識するための前記マッチング処理である第１マッチング処理を行った後、前記第１マッチング処理で認識された前記識別情報に係る前記マッチング用データに関連付けられた、前記第２カテゴリの前記マッチング用データをマッチング候補として、前記認識対象物の外面に付された前記第２カテゴリに属する前記識別情報を認識するための前記マッチング処理である第２マッチング処理を行い、前記認識対象物の複数の外面に、前記カテゴリが互いに異なる前記識別情報が付され、前記識別情報認識部により認識された、前記認識対象物の互いに異なる外面に付された前記識別情報を、当該認識対象物に関連付けて管理する。 An article recognition system according to the present disclosure is an article recognition system that recognizes identification information attached to the outer surface of an article based on a captured image of the outer surface of the article, and captures an image of the outer surface of a recognition target that is an article to be recognized. an imaging device, a storage unit storing data for matching the identification information belonging to each category for each of a plurality of categories into which the identification information is classified, an image of the recognition target object captured by the imaging device, and the storage an identification information recognizing unit that recognizes a plurality of pieces of identification information having different categories attached to the outer surface of the recognition target object by matching processing with the matching data stored in the unit; Two categories included in the category are defined as a first category and a second category, and each of the plurality of matching data included in the first category is one of the plurality of matching data included in the second category. stored in the storage unit in a state of being associated with one or more, and the identification information recognition unit performs the matching process for recognizing the identification information belonging to the first category attached to the outer surface of the recognition target object After a certain first matching process is performed, the matching data of the second category associated with the matching data related to the identification information recognized in the first matching process is used as a matching candidate for the recognition target. The second matching process, which is the matching process for recognizing the identification information belonging to the second category attached to the outer surface of the object, is performed, and the plurality of outer surfaces of the recognition target object have the different categories. The identification information attached to the different outer surfaces of the recognition target object, which is attached with the identification information and recognized by the identification information recognition unit, is managed in association with the recognition target object .
物品の外面に付される識別情報は、当該物品を識別するためものであるため、１つの物品の外面に付される複数のカテゴリの識別情報は、一般に、互いに関連性を有する。上記の構成によれば、このような複数のカテゴリの間での識別情報の関連性を利用することで、物品の外面に付された複数のカテゴリの識別情報を当該外面の撮像画像に基づき認識する場合に、誤認識の発生率を低く抑えることが可能となっている。 Since the identification information attached to the outer surface of an article is for identifying the article, a plurality of categories of identification information attached to the outer surface of one article are generally related to each other. According to the above configuration, by using the relationship of the identification information among the plurality of categories, the identification information of the plurality of categories attached to the outer surface of the article is recognized based on the captured image of the outer surface. In this case, it is possible to suppress the occurrence rate of misrecognition to a low level.
具体的には、上記の構成では、第１カテゴリに含まれる複数のマッチング用データのそれぞれが、第２カテゴリに含まれる複数の前記マッチング用データの１つ以上に関連付けられた状態で記憶部に記憶されている。このような関連付けは、第１カテゴリと第２カテゴリとの間での識別情報の関連性に基づき行うことができる。そして、第２マッチング処理では、第２カテゴリに含まれる複数のマッチング用データの中の、第１マッチング処理で認識された識別情報に係るマッチング用データに関連付けられたものが、マッチング候補とされる。すなわち、第１マッチング処理での第１カテゴリに属する識別情報の認識結果に基づき、認識対象物の外面に付されている可能性が低い識別情報に係るマッチング用データをマッチング候補から除外して、第２マッチング処理を行うことができる。よって、第２マッチング処理において第２カテゴリに含まれる全てのマッチング用データがマッチング候補とされる場合に比べて、マッチング候補を絞り込むことで、第２カテゴリに属する識別情報が誤認識される割合を低く抑えることができる。 Specifically, in the above configuration, each of the plurality of matching data included in the first category is stored in the storage unit while being associated with one or more of the plurality of matching data included in the second category. remembered. Such associations can be made based on the relevance of the identification information between the first category and the second category. Then, in the second matching process, among the plurality of matching data included in the second category, those associated with the matching data related to the identification information recognized in the first matching process are taken as matching candidates. . That is, based on the recognition result of the identification information belonging to the first category in the first matching process, the matching data related to the identification information that is unlikely to be attached to the outer surface of the recognition target object is excluded from the matching candidates. A second matching process can be performed. Therefore, by narrowing down the matching candidates, the rate of erroneous recognition of the identification information belonging to the second category can be reduced compared to the case where all the matching data included in the second category are used as matching candidates in the second matching process. can be kept low.
以上のように、上記の構成によれば、物品の外面に付された複数のカテゴリの識別情報を当該外面の撮像画像に基づき認識する場合に、誤認識の発生率を低く抑えることが可能となっている。なお、誤認識の発生率を低く抑えるための本開示の技術は、識別情報を文字として認識する場面に限らず適用することが可能である。 As described above, according to the above configuration, when recognizing identification information of a plurality of categories attached to the outer surface of an article based on the captured image of the outer surface, it is possible to reduce the rate of misrecognition. It's becoming Note that the technique of the present disclosure for suppressing the occurrence rate of misrecognition to a low level can be applied without being limited to situations where identification information is recognized as characters.
物品認識システムの更なる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。 Further features and advantages of the article recognition system will become clear from the following description of the embodiments described with reference to the drawings.
物品認識システムの実施形態について、図面を参照して説明する。 An embodiment of an article recognition system will be described with reference to the drawings.
物品認識システム１は、物品Ｗの外面の撮像画像に基づき、当該外面に付された識別情報１０（図２参照）を認識するシステムである。本実施形態では、図１に例示するような物流設備１００に、物品認識システム１を適用している。なお、図１には、物流設備１００における受入箇所Ｐの近傍のみを示している。受入箇所Ｐは、物流設備１００の外部から物品Ｗが搬入される場所である。受入箇所Ｐには、物品Ｗを搬送する搬送装置４０が設けられている。本実施形態では、搬送装置４０は、パレット等の支持体４を搬送するように構成されており、物品Ｗは、支持体４に載せられた状態で搬送装置４０によって搬送される。搬送装置４０によって受入箇所Ｐから搬出された物品Ｗは、例えば自動倉庫に入庫される。図１に示す例では、受入箇所Ｐにおいて、物品Ｗが載せられた状態の支持体４が、フォークリフト９によって搬送装置４０に搬入される。
The
図１に示すように、搬送装置４０による物品Ｗの搬送経路上に設定される撮像位置Ｑにおいて、識別情報１０を認識するための、物品Ｗの外面の撮像が行われる。すなわち、物品認識システム１が備える撮像装置２０は、撮像位置Ｑにおいて物品Ｗの外面を撮像する。撮像装置２０による物品Ｗの外面の撮像は、物品Ｗが撮像装置２０に対して停止している状態で行っても、物品Ｗが撮像装置２０に対して移動している状態で行ってもよい。
As shown in FIG. 1, an image of the outer surface of the article W is taken at an imaging position Q set on the conveying path of the article W by the
本実施形態では、撮像装置２０は固定状態で設けられている。そのため、搬送装置４０の作動によって、搬送装置４０の搬送経路に沿う方向に物品Ｗが移動している状態が、物品Ｗが撮像装置２０に対して移動している状態となる。また、本実施形態では、物品Ｗを回転軸Ｒ（ここでは、鉛直方向Ｖに沿う軸）周りに回転（旋回を含む、以下同様）させる回転機構３が、撮像位置Ｑに設けられている。よって、回転機構３の作動によって、回転軸Ｒ周りに物品Ｗが回転している状態も、物品Ｗが撮像装置２０に対して移動している状態となる。詳細は省略するが、回転機構３は、支持体４を下方から支持する回転台３ａを回転軸Ｒ周りに回転させることで、支持体４に載せられた物品Ｗを回転軸Ｒ周りに回転させるように構成されている。
In this embodiment, the
物品認識システム１は、撮像装置２０による物品Ｗの外面の撮像画像に基づき、物品Ｗの外面に付された識別情報１０を認識する。ここでは、物品認識システム１は、支持体４に載せられた複数の物品Ｗの群である物品群ＷＧの外面の撮像画像に基づき、物品群ＷＧを構成する物品Ｗのそれぞれの外面に付された識別情報１０を認識する。すなわち、認識対象（識別情報１０の認識対象）の物品Ｗを認識対象物５とすると、支持体４に載せられた物品群ＷＧを構成する物品Ｗのそれぞれが、認識対象物５とされる。認識された物品Ｗの識別情報１０は、例えば、物流設備１００の外部から搬入された物品Ｗの種類及び個数を、搬送オーダの内容（例えば、配送伝票に記載された内容）と照合する作業（検品作業）に用いられる。また、認識された物品Ｗの識別情報１０は、例えば、物流設備１００の外部から搬入された物品Ｗの種類及び個数をデータベース化する作業に用いられる。
The
本実施形態では、図２に示すように、物品Ｗは、外形が直方体状に形成されている。物品Ｗは、例えば、段ボールケースとされる。物品Ｗは６つの外面を有する。具体的には、物品Ｗは、互いに反対側を向く２つの第１側面Ｓ１と、互いに反対側を向く２つの第２側面Ｓ２と、上面Ｓ３と、下面とを有する。２つの第１側面Ｓ１は互いに平行に配置され、２つの第２側面Ｓ２は互いに平行に配置されている。また、第１側面Ｓ１と第２側面Ｓ２とは、互いに直角に交差している。そして、物品Ｗの外面には、当該物品Ｗを識別するための識別情報１０が付されている。
In this embodiment, as shown in FIG. 2, the article W has a rectangular parallelepiped outer shape. The article W is, for example, a cardboard case. Article W has six outer surfaces. Specifically, the article W has two first sides S1 facing opposite to each other, two second sides S2 facing opposite to each other, an upper surface S3, and a lower surface. The two first sides S1 are arranged parallel to each other and the two second sides S2 are arranged parallel to each other. Also, the first side surface S1 and the second side surface S2 intersect each other at right angles.
識別情報１０は、例えば印刷や貼付等によって、物品Ｗの外面に付される。図２では識別情報１０を簡略化して図形で表しているが、識別情報１０は、例えば、文字、図形、写真、絵、記号、又はこれらの組み合わせ等によって表される。なお、文字には、図案化された文字（デザイン文字）や、装飾文字が含まれる。本実施形態では、識別情報１０は、作業者等の人が情報の内容を認識可能な形態で表される。図２に示す例では、第１側面Ｓ１に、２つの識別情報１０（具体的には、第１識別情報１１及び第２識別情報１２）が付され、第２側面Ｓ２に、１つの識別情報１０（具体的には、第３識別情報１３）が付されている。上面Ｓ３に識別情報１０が付されていてもよい。図２では、第１識別情報１１、第２識別情報１２、及び第３識別情報１３を互いに異なる図形で表すことで、これら３つの識別情報１０が互いに異なる情報を表していることを示している。すなわち、図２に示す例では、物品Ｗの複数の外面に、互いに異なる識別情報１０が付されている。なお、同じ識別情報１０（同じ内容の情報を表す識別情報１０）が、物品Ｗの複数の外面に付されていてもよい。
The
図１及び図２に示すように、支持体４は、物品Ｗを下方から支持する支持面が水平面に沿うように配置されている。ここで、互いに直交する２つの水平方向である第１水平方向Ｈ１及び第２水平方向Ｈ２を、支持体４を基準として定義する。第１水平方向Ｈ１及び第２水平方向Ｈ２は、支持体４の回転軸Ｒ周りの回転に応じて、第１水平方向Ｈ１と第２水平方向Ｈ２とが直交する関係を維持して回転するように定義される。本実施形態では、支持体４は、平面視（鉛直方向Ｖに沿う方向視）で、第１水平方向Ｈ１に沿う２辺と第２水平方向Ｈ２に沿う２辺とを有する矩形状（正方形状を含む）に形成されている。
As shown in FIGS. 1 and 2, the
図２に示すように、物品Ｗは、第１側面Ｓ１が第１水平方向Ｈ１及び第２水平方向Ｈ２の一方に沿い、且つ、第２側面Ｓ２が第１水平方向Ｈ１及び第２水平方向Ｈ２の他方に沿う向きで、支持体４に載せられる。そして、本実施形態では、１つの支持体４に、複数の物品Ｗが、第１水平方向Ｈ１及び第２水平方向Ｈ２に並べて配置される。また、本実施形態では、１つの支持体４に、複数の物品Ｗが段積みされる（言い換えれば、鉛直方向Ｖに重ねて配置される）。本実施形態では、１つの支持体４には、同じ外形を有する複数の物品Ｗが載せられる。図２に示す例では、１つの支持体４に載せられた複数の物品Ｗの中に、第１側面Ｓ１が第１水平方向Ｈ１に沿い、且つ、第２側面Ｓ２が第２水平方向Ｈ２に沿う向きで配置された物品Ｗと、第１側面Ｓ１が第２水平方向Ｈ２に沿い、且つ、第２側面Ｓ２が第１水平方向Ｈ１に沿う向きで配置された物品Ｗとが混在している。
As shown in FIG. 2, the article W has a first side S1 along one of the first horizontal direction H1 and the second horizontal direction H2, and a second side S2 along the first horizontal direction H1 and the second horizontal direction H2. is placed on the
物品認識システム１は、認識対象物５の外面を撮像する撮像装置２０を備えている。ここでは、物品認識システム１は、２種類の撮像装置２０である第１撮像装置２１及び第２撮像装置２２を備えている。そして、第１撮像装置２１及び第２撮像装置２２のそれぞれは、支持体４に載せられた物品群ＷＧを撮像対象として、物品群ＷＧの外面を撮像する。本実施形態では、第１撮像装置２１及び第２撮像装置２２は、物品群ＷＧを互いに同じ側から撮像するように構成される。なお、第１撮像装置２１の一部と第２撮像装置２２の一部とが共通の部品により構成されてもよいが、その場合であっても、少なくとも撮像素子及び光学系は、第１撮像装置２１と第２撮像装置２２とに各別に設けられる。
The
本実施形態では、第１撮像装置２１は、物品群ＷＧを異なる２つ以上の方向から撮像するように構成されている。ここでは、第１撮像装置２１は、物品群ＷＧを異なる５つの方向から撮像するように構成されている。具体的には、第１撮像装置２１は、物品群ＷＧを、第１水平方向Ｈ１の両側、第２水平方向Ｈ２の両側、及び鉛直方向Ｖの上側から撮像するように構成されている。また、本実施形態では、第２撮像装置２２は、物品群ＷＧを異なる２つ以上の方向から撮像するように構成されている。ここでは、第２撮像装置２２は、物品群ＷＧを異なる５つの方向から撮像するように構成されている。具体的には、第２撮像装置２２は、物品群ＷＧを、第１水平方向Ｈ１の両側、第２水平方向Ｈ２の両側、及び鉛直方向Ｖの上側から撮像するように構成されている。
In this embodiment, the
例えば、撮像装置２０が、互いに異なる方向から物品群ＷＧを撮像する複数のカメラを備える構成（以下、「第１構成」という）とすることで、物品群ＷＧを異なる２つ以上の方向から撮像するように、撮像装置２０を構成することができる。また、物品認識システム１が、物品群ＷＧに対する撮像装置２０の撮像方向を相対的に変更する撮像方向変更機構２を備える構成（以下、「第２構成」という）とすることでも、物品群ＷＧを異なる２つ以上の方向から撮像するように、撮像装置２０を構成することができる。撮像方向変更機構２は、物品群ＷＧ及び撮像装置２０の少なくとも一方を、撮像装置２０の撮像方向（光軸方向）に交差する（例えば、直交する）軸周りに回転（旋回を含む）させることで、物品群ＷＧに対する撮像装置２０の撮像方向を相対的に変更するように構成される。本実施形態では、これら第１構成及び第２構成の双方を採用することで、第１撮像装置２１及び第２撮像装置２２を、物品群ＷＧを異なる５つの方向から撮像するように構成している。
For example, the
具体的には、図１に示すように、本実施形態では、第１撮像装置２１は、物品群ＷＧを特定水平方向Ｈの一方側から撮像する第１カメラ２１ａと、物品群ＷＧを特定水平方向Ｈの他方側から撮像する第１カメラ２１ａと、物品群ＷＧを鉛直方向Ｖの上側から撮像する第１カメラ２１ａとの、３つの第１カメラ２１ａを備えている。すなわち、第１撮像装置２１は、これら３つの第１カメラ２１ａを備えることで、互いに異なる３つの方向から物品群ＷＧを同時に撮像することが可能に構成されている。また、本実施形態では、第２撮像装置２２は、物品群ＷＧを特定水平方向Ｈの一方側から撮像する第２カメラ２２ａと、物品群ＷＧを特定水平方向Ｈの他方側から撮像する第２カメラ２２ａと、物品群ＷＧを鉛直方向Ｖの上側から撮像する第２カメラ２２ａとの、３つの第２カメラ２２ａを備えている。すなわち、第２撮像装置２２は、これら３つの第２カメラ２２ａを備えることで、互いに異なる３つの方向から物品群ＷＧを同時に撮像することが可能に構成されている。ここで、特定水平方向Ｈは、特定の水平方向である。特定水平方向Ｈは、第１水平方向Ｈ１及び第２水平方向Ｈ２とは異なり、物流設備１００が設けられた空間に固定された方向として定義される。図１に示すように、本実施形態では、特定水平方向Ｈは、搬送装置４０による物品Ｗの搬送方向に直交する水平方向とされている。
Specifically, as shown in FIG. 1, in the present embodiment, the
上述したように、本実施形態では撮像位置Ｑに回転機構３が設けられており、物品認識システム１は、撮像位置Ｑにおいて物品群ＷＧを回転軸Ｒ周りに回転させることで（具体的には、９０度回転させることで）、第１水平方向Ｈ１が特定水平方向Ｈに沿うように物品群ＷＧが配置される第１状態と、第２水平方向Ｈ２が特定水平方向Ｈに沿うように物品群ＷＧが配置される第２状態と、を切り替えることが可能に構成されている。第１状態では、第１撮像装置２１及び第２撮像装置２２によって、物品群ＷＧを、第１水平方向Ｈ１の両側、及び鉛直方向Ｖの上側から撮像することができる。また、第２状態では、第１撮像装置２１及び第２撮像装置２２によって、物品群ＷＧを、第２水平方向Ｈ２の両側、及び鉛直方向Ｖの上側から撮像することができる。すなわち、第１撮像装置２１及び第２撮像装置２２は、第１状態での撮像と第２状態での撮像とを行うことで、物品群ＷＧを異なる５つの方向から撮像するように構成されている。
As described above, in this embodiment, the
このように、本実施形態では、物品認識システム１は、物品群ＷＧに対する第１撮像装置２１及び第２撮像装置２２の撮像方向を相対的に変更する撮像方向変更機構２を備えている。本実施形態では、上述した回転機構３が撮像方向変更機構２を構成している。すなわち、撮像方向変更機構２は、物品群ＷＧを回転軸Ｒ周りに回転させることで、物品群ＷＧに対する第１撮像装置２１及び第２撮像装置２２の撮像方向を相対的に変更するように構成されている。具体的には、物品群ＷＧを特定水平方向Ｈの両側から撮像する２つの第１カメラ２１ａ及び２つの第２カメラ２２ａのそれぞれの撮像方向は、回転軸Ｒに直交する。そのため、物品群ＷＧを回転軸Ｒ周りに回転させることで、これらの４つのカメラ（２つの第１カメラ２１ａ及び２つの第２カメラ２２ａ）の物品群ＷＧに対する撮像方向が変更される。
Thus, in this embodiment, the
図３に示すように、物品認識システム１は、制御装置３０を備えている。制御装置３０は、ＣＰＵ等の演算処理装置を備えると共にメモリ等の周辺回路を備え、これらのハードウェアと、演算処理装置等のハードウェア上で実行されるプログラムとの協働により、制御装置３０の各機能が実現される。物品認識システム１は記憶部３９を備えており、制御装置３０は、記憶部３９からデータを抽出可能に構成されている。記憶部３９には、識別情報１０に係るマッチング用データ５０が記憶されている。記憶部３９は、例えばフラッシュメモリやハードディスク等の、情報を記憶及び書き換え可能な記憶媒体をハードウェア構成として備える。なお、図３では、記憶部３９が制御装置３０とは別の装置により構成される場合を例示しているが、制御装置３０が備える記憶装置を用いて記憶部３９を構成してもよい。また、記憶部３９が、制御装置３０と通信可能なサーバ又はクラウドサーバに設けられてもよい。
As shown in FIG. 3 , the
図３に示すように、本実施形態では、制御装置３０は、撮像画像取得部３４と、画像分割部３１と、識別情報認識部３２と、物品数認識部３３と、を備えている。図示は省略するが、制御装置３０は、搬送装置４０の作動を制御する機能部と、回転機構３の作動を制御する機能部とを更に備えている。制御装置３０が備えるこれら複数の機能部は、互いに情報の受け渡しを行うことができるように構成されている。なお、制御装置３０が備える複数の機能部は、少なくとも論理的に区別されるものであり、物理的には必ずしも区別される必要はない。また、制御装置３０が備える複数の機能部は、共通のハードウェアで実現される必要はなく、互いに通信可能な複数のハードウェアに分かれて実現されてもよい。すなわち、制御装置３０は、１つのハードウェアではなく、互いに通信可能な複数のハードウェアを用いて構成されてもよい。
As shown in FIG. 3 , in this embodiment, the
以下、制御装置３０の各機能部の構成について説明するが、本明細書で開示する制御装置３０の技術的特徴は、物品Ｗの外面に付された識別情報１０を認識する物品認識方法にも適用可能であり、そのような物品認識方法も、本明細書によって開示される。
The configuration of each functional unit of the
撮像画像取得部３４は、撮像装置２０による物品Ｗ（言い換えれば、認識対象物５）の外面の撮像画像を取得する機能部である。すなわち、撮像画像取得部３４は、物品Ｗの外面の画像を表す画像データを取得する。ここでは、撮像画像取得部３４は、撮像装置２０による物品群ＷＧの撮像画像を取得する。具体的には、撮像画像取得部３４は、第１撮像装置２１による物品群ＷＧの撮像画像を取得すると共に、第２撮像装置２２による物品群ＷＧの撮像画像を取得する。
The captured
画像分割部３１は、撮像装置２０による物品群ＷＧの撮像画像（物品群画像Ｇ）を、当該物品群ＷＧを構成する物品Ｗごとの画像である単位画像ＧＵに分割する機能部である。画像分割部３１は、撮像画像取得部３４から物品群ＷＧの撮像画像のデータ（物品群画像Ｇのデータ）を取得して、単位画像ＧＵのデータを生成する。ここでは、画像分割部３１は、第１撮像装置２１による物品群ＷＧの撮像画像に基づき、第２撮像装置２２による物品群ＷＧの撮像画像を単位画像ＧＵに分割する。
The
このように第１撮像装置２１による物品群ＷＧの撮像画像は、物品群画像Ｇの単位画像ＧＵへの分割に用いられるため、第１撮像装置２１による撮像画像の取得条件（第１撮像装置２１の特性や撮像条件等）は、物品群画像Ｇの単位画像ＧＵへの分割に適した取得条件とされる。一方、第２撮像装置２２による撮像画像の取得条件（第２撮像装置２２の特性や撮像条件等）は、識別情報１０の認識に適した取得条件とされる。単位画像ＧＵへの分割に適した取得条件と、識別情報１０の認識に適した取得条件とは必ずしも一致しないが、第１撮像装置２１による撮像画像の取得条件と第２撮像装置２２による撮像画像の取得条件とを上記のように各別に設定することで、物品群ＷＧを構成する物品Ｗのそれぞれの外面に付された識別情報１０を適切に認識しやすくなる。
As described above, the captured image of the article group WG by the
本実施形態では、画像分割部３１は、第１撮像装置２１による物品群ＷＧの撮像画像にエッジ検出処理を施して得られるエッジ画像に基づいて、第２撮像装置２２による物品群ＷＧの撮像画像を単位画像ＧＵに分割する。なお、エッジは、例えば、撮像画像上の輝度の変化に基づき検出される。エッジ画像上のエッジに基づき物品Ｗ同士の境界や物品Ｗと背景との境界を認識することができるため、図６に模式的に示すように、認識された物品Ｗ同士の境界や物品Ｗと背景との境界に基づいて、第２撮像装置２２による物品群ＷＧの撮像画像（物品群画像Ｇ）を単位画像ＧＵに分割することができる。画像分割部３１がこのように構成されるため、本実施形態では、第１撮像装置２１による撮像画像の取得条件は、エッジの検出に適した取得条件とされる。例えば、第１撮像装置２１としてモノクロの撮像装置を用いる取得条件を、第１撮像装置２１による撮像画像の取得条件とすることができる。
In this embodiment, the
識別情報認識部３２は、物品Ｗの外面（言い換えれば、認識対象物５の外面）に付された識別情報１０を認識する機能部である。ここでは、識別情報認識部３２は、画像分割部３１が生成した単位画像ＧＵのデータを取得する。そして、識別情報認識部３２は、単位画像ＧＵに基づき、物品群ＷＧを構成する物品Ｗの外面に付された識別情報１０を認識する。このように識別情報１０を認識することで、識別情報認識部３２は、物品群ＷＧを構成する物品Ｗのそれぞれの外面に付された識別情報１０を、物品Ｗごとの画像である単位画像ＧＵに基づき適切に認識することができる。
The identification
識別情報認識部３２は、撮像装置２０による物品Ｗ（言い換えれば、認識対象物５）の撮像画像と、記憶部３９に記憶されているマッチング用データ５０とのマッチング処理によって、物品Ｗ（言い換えれば、認識対象物５）の外面に付された識別情報１０を認識する。ここでは、識別情報認識部３２は、単位画像ＧＵと、記憶部３９に記憶されているマッチング用データ５０とのマッチング処理によって、物品群ＷＧを構成する物品Ｗの外面に付された識別情報１０を認識する。具体的には、識別情報認識部３２は、記憶部３９に記憶されているマッチング用データ５０をマッチング候補として、単位画像ＧＵとの一致度が閾値以上となるマッチング用データ５０を抽出する。そして、識別情報認識部３２は、マッチング処理によって抽出したマッチング用データ５０に基づき、物品Ｗの外面に付された識別情報１０を認識する。なお、マッチング用データ５０は、識別情報１０に基づき生成されるデータであり、生成元の識別情報１０が表す情報に関連付けられて記憶部３９に記憶されている。よって、識別情報認識部３２は、抽出したマッチング用データ５０に関連付けられた、当該マッチング用データ５０の生成元の識別情報１０が表す情報を、物品Ｗの外面に付された識別情報１０として認識する。このように、本実施形態では、識別情報認識部３２は、物品Ｗの外面に付された識別情報１０を文字として認識せず、抽出したマッチング用データ５０に関連付けられた情報を、物品Ｗの外面に付された識別情報１０として認識するように構成されている。
The identification
物品Ｗの外面に付される可能性のある複数の識別情報１０の情報（例えば、画像）は予め収集されており、収集された識別情報１０のそれぞれに基づきマッチング用データ５０が生成されて記憶部３９に記憶されている。例えば、流通している様々な物品Ｗの情報（例えば、画像）を収集することで、物品Ｗの外面に付される可能性のある複数の識別情報１０の情報が収集される。マッチング用データ５０は、例えば、識別情報１０を表す画像データとされ、又は、識別情報１０を表す画像データに対して特徴量抽出処理を行ったデータとされる。後者の場合、マッチング処理では、撮像装置２０による撮像画像（ここでは、単位画像ＧＵ）に対しても同様の特徴量抽出処理が行われる。第２撮像装置２２による撮像画像の取得条件は、マッチング用データ５０とのマッチング処理に適した取得条件とされる。よって、マッチング用データ５０が、識別情報１０を表す画像データに対して特徴量抽出処理を行ったデータとされる場合、第２撮像装置２２による撮像画像の取得条件は、識別情報１０の特徴量の抽出に適した取得条件とされる。
Information (for example, images) of a plurality of pieces of
本実施形態では、単位画像ＧＵとマッチング用データ５０とのマッチング処理では、単位画像ＧＵの全体画像ではなく、単位画像ＧＵから１つの識別情報１０を含むように抽出された部分画像が用いられる。例えば、図６に示す例では、物品Ｗの第１側面Ｓ１を表す単位画像ＧＵから抽出された部分画像である第１対象画像Ｇ１を用いて、当該第１対象画像Ｇ１に含まれる識別情報１０を認識するためのマッチング処理が行われ、物品Ｗの第１側面Ｓ１を表す単位画像ＧＵから抽出された別の部分画像である第２対象画像Ｇ２を用いて、当該第２対象画像Ｇ２に含まれる識別情報１０を認識するためのマッチング処理が行われる。また、物品Ｗの第２側面Ｓ２を表す単位画像ＧＵから抽出された部分画像である第３対象画像Ｇ３を用いて、当該第３対象画像Ｇ３に含まれる識別情報１０を認識するためのマッチング処理が行われる。
In this embodiment, the matching process between the unit image GU and the matching
上述したように、本実施形態では、第１撮像装置２１は、物品群ＷＧを異なる２つ以上の方向（具体的には、５つの方向）から撮像するように構成されている。そのため、物品群ＷＧを構成する物品Ｗの配置状態を異なる２つ以上の視点から認識することができ、例えば図２に示す例のように物品群ＷＧを構成する物品Ｗの向きが揃っていない場合（すなわち、物品群ＷＧの撮像画像に物品Ｗの互いに異なる外面が含まれる場合）であっても、物品Ｗの立体形状を考慮することで、物品群ＷＧの撮像画像の単位画像ＧＵへの分割を適切に行いやすくなっている。また、本実施形態では、第２撮像装置２２は、物品群ＷＧを異なる２つ以上の方向（具体的には、５つの方向）から撮像するように構成されている。そのため、物品Ｗの複数の外面に付された識別情報１０を認識することができ、物品Ｗの一部の外面にのみ付される識別情報１０が存在する場合であっても、当該識別情報１０を認識しやすくなっている。また、物品Ｗの互いに異なる外面に付された識別情報１０を１つの物品群ＷＧ又は１つの物品Ｗに関連付けることで、物品Ｗを適切に管理することもできる。
As described above, in the present embodiment, the
物品数認識部３３は、第１撮像装置２１による物品群ＷＧの撮像画像に基づき、当該物品群ＷＧを構成する物品Ｗの数を認識する機能部である。上述したように、本実施形態では、第１撮像装置２１は、物品群ＷＧを異なる２つ以上の方向（具体的には、５つの方向）から撮像するように構成されている。そのため、物品群ＷＧを構成する物品Ｗの配置状態を異なる２つ以上の視点から認識することで、物品群ＷＧを構成する物品Ｗの数を高精度に認識しやすくなっている。
The item
本実施形態では、物品数認識部３３は、第１撮像装置２１による物品群ＷＧの撮像画像にエッジ検出処理を施して得られるエッジ画像（例えば、画像分割部３１が生成したエッジ画像）に基づいて、物品群ＷＧを構成する物品Ｗの数を認識する。具体的には、物品数認識部３３は、エッジ画像上のエッジに基づき物品Ｗ同士の境界や物品Ｗと背景との境界を認識することで、物品Ｗの積み付けパターンを認識し、認識した積み付けパターンに基づき物品群ＷＧを構成する物品Ｗの数を認識する。例えば、想定される複数の積み付けパターンが、各積み付けパターンを構成する物品Ｗの数に関連付けて記憶部３９に記憶され、認識した物品Ｗの積み付けパターンと記憶部３９に記憶された積み付けパターンとのマッチング処理を行うことで、物品群ＷＧを構成する物品Ｗの数を認識する構成とすることができる。なお、物品数認識部３３が、第１撮像装置２１による物品群ＷＧの撮像画像に加えて他の情報（例えば、物品群ＷＧの高さの情報や、物品群ＷＧの重量の情報）にも基づいて、物品群ＷＧを構成する物品Ｗの数を認識する構成としてもよい。
In this embodiment, the number-of-
次に、本実施形態の物品認識システム１により実行される物品認識処理の手順について、図４を参照して説明する。図４に示すように、撮像画像取得部３４は、撮像装置２０による物品Ｗ（ここでは、物品群ＷＧ）の外面の撮像画像を取得する撮像画像取得処理（撮像画像取得工程）を実行する（ステップ＃０１）。撮像画像取得処理では、第１撮像装置２１による物品群ＷＧの撮像画像と、第２撮像装置２２による物品群ＷＧの撮像画像とが取得される。また、本実施形態では、撮像画像取得処理では、異なる２つ以上の方向（ここでは、５つの方向）からの物品群ＷＧの撮像画像が取得される。なお、本実施形態では、撮像位置Ｑにおいて物品群ＷＧが停止している状態で、撮像装置２０による物品群ＷＧの撮像が行われる。
Next, the procedure of article recognition processing executed by the
次に、画像分割部３１は、撮像装置２０による物品群ＷＧの撮像画像（物品群画像Ｇ）を単位画像ＧＵに分割する画像分割処理（画像分割工程）を実行する（ステップ＃０２）。画像分割処理では、第１撮像装置２１による物品群ＷＧの撮像画像に基づき、第２撮像装置２２による物品群ＷＧの撮像画像が単位画像ＧＵに分割される。本実施形態では、物品群ＷＧに対して互いに同じ側から撮像された第１撮像装置２１及び第２撮像装置２２のそれぞれによる撮像画像を用いて、異なる２つ以上の方向からの第２撮像装置２２による物品群ＷＧの撮像画像のそれぞれについて画像分割処理が行われる。例えば、第１撮像装置２１による特定水平方向Ｈの一方側からの物品群ＷＧの撮像画像を用いて、第２撮像装置２２による特定水平方向Ｈの当該一方側からの物品群ＷＧの撮像画像が単位画像ＧＵに分割される。
Next, the
次に、識別情報認識部３２は、物品Ｗの外面（言い換えれば、認識対象物５の外面）に付された識別情報１０を認識する識別情報認識処理（識別情報認識工程）を実行する（ステップ＃０３）。識別情報認識処理では、画像分割処理によって生成された単位画像ＧＵのそれぞれについてマッチング処理を行うことで、物品群ＷＧを構成する物品Ｗのそれぞれの外面に付された識別情報１０を認識する。本実施形態では、異なる２つ以上の方向からの物品群ＷＧの撮像画像のそれぞれについて識別情報認識処理が行われる。これにより、物品Ｗの複数の外面に付された識別情報１０を認識することができる。識別情報認識処理についての詳細は後述する。
Next, the identification
次に、物品数認識部３３は、撮像装置２０による物品群ＷＧの撮像画像に基づき、当該物品群ＷＧを構成する物品Ｗの数を認識する物品数認識処理（物品数認識工程）を実行する（ステップ＃０４）。物品数認識処理では、第１撮像装置２１による物品群ＷＧの撮像画像に基づき、当該物品群ＷＧを構成する物品Ｗの数が認識される。なお、ここでは、物品数認識処理（ステップ＃０４）を識別情報認識処理（ステップ＃０３）の後に行う場合を例として説明したが、物品数認識処理（ステップ＃０４）を、識別情報認識処理（ステップ＃０３）と同時に或いはそれより前に行ってもよい。
Next, the item
次に、本実施形態の物品認識システム１により実行される識別情報認識処理の手順について、図５～図９を参照して説明する。ここでは、一例として、識別情報１０が、第１カテゴリＴ１、第２カテゴリＴ２、及び第３カテゴリＴ３の３つのカテゴリＴに分類され、識別情報認識処理において、第１マッチング処理、第２マッチング処理、及び第３マッチング処理の３つのマッチング処理（図５参照）が行われる場合を例として説明する。
Next, procedures of identification information recognition processing executed by the
図７に概念的に示すように、記憶部３９には、識別情報１０を分類した複数のカテゴリＴ毎に、それぞれのカテゴリＴに属する識別情報１０のマッチング用データ５０が記憶されている。ここで、複数のカテゴリＴに含まれる２つのカテゴリＴを第１カテゴリＴ１及び第２カテゴリＴ２とする。図７に示す例では、複数のカテゴリＴには、更に、第３カテゴリＴ３が含まれている。以下では、第１カテゴリＴ１に分類される識別情報１０を第１識別情報１１とし、第２カテゴリＴ２に分類される識別情報１０を第２識別情報１２とし、第３カテゴリＴ３に分類される識別情報１０を第３識別情報１３とする（図６参照）。
As conceptually shown in FIG. 7, the
図７に示すように、１つのカテゴリＴに含まれる複数のマッチング用データ５０のそれぞれは、当該カテゴリＴの１つ下位のカテゴリＴに含まれる複数のマッチング用データ５０の１つ以上に関連付けられた状態で記憶部３９に記憶されている。ここでは、第１カテゴリＴ１の１つ下位のカテゴリＴが第２カテゴリＴ２であり、第２カテゴリＴ２の１つ下位のカテゴリＴが第３カテゴリＴ３である。すなわち、第１カテゴリＴ１に含まれる複数のマッチング用データ５０のそれぞれは、第２カテゴリＴ２に含まれる複数のマッチング用データ５０の１つ以上に関連付けられた状態で記憶部３９に記憶されている。また、第２カテゴリＴ２に含まれる複数のマッチング用データ５０のそれぞれは、第３カテゴリＴ３に含まれる複数のマッチング用データ５０の１つ以上に関連付けられた状態で記憶部３９に記憶されている。図７では、マッチング用データ５０同士が関連付けられていることを、線分（実線又は破線）で示している。
As shown in FIG. 7, each of the plurality of matching
なお、物品Ｗの外面に付される識別情報１０は、当該物品Ｗを識別するためものであるため、１つの物品Ｗの外面に付される複数のカテゴリＴの識別情報は、一般に、互いに関連性を有する。よって、上記のようなマッチング用データ５０同士の関連付けは、複数のカテゴリＴの間での識別情報１０の関連性に基づき行われる。
Since the
図５に示すように、識別情報認識部３２は、認識対象物５の外面に付された第１識別情報１１（第１カテゴリＴ１に属する識別情報１０）を認識するためのマッチング処理である第１マッチング処理（第１マッチング工程）を実行する（ステップ＃１１）。次に、識別情報認識部３２は、認識対象物５の外面に付された第２識別情報１２（第２カテゴリＴ２に属する識別情報１０）を認識するためのマッチング処理である第２マッチング処理（第２マッチング工程）を実行する（ステップ＃１２）。すなわち、識別情報認識部３２は、第１マッチング処理を行った後、第２マッチング処理を行う。次に、識別情報認識部３２は、認識対象物５の外面に付された第３識別情報１３（第３カテゴリＴ３に属する識別情報１０）を認識するためのマッチング処理である第３マッチング処理（第３マッチング工程）を実行する（ステップ＃１３）。すなわち、識別情報認識部３２は、第２マッチング処理を行った後、第３マッチング処理を行う。これら３つのマッチング処理を行うことで、例えば図６に示す例での３つの識別情報１０（第１識別情報１１、第２識別情報１２、及び第３識別情報１３）を認識することができる。
As shown in FIG. 5, the identification
図７は、第１マッチング処理の実行により、第１カテゴリＴ１に含まれる複数のマッチング用データ５０の中から、認識対象物５の外面に付された第１識別情報１１を含む撮像画像（図６に示す例では、第１対象画像Ｇ１）との一致度が閾値以上となるマッチング用データ５０が抽出された状態を示している。以下では、マッチング処理によって抽出されたマッチング用データ５０を、抽出マッチング用データ５２という。なお、図７に示す例では、第１カテゴリＴ１に含まれるマッチング用データ５０のそれぞれは、各マッチング用データ５０の生成元の第１識別情報１１が表す情報“ＡＮ”（Ｎ＝１，２，・・・）に関連付けられている。そして、図７に示す例では、第１マッチング処理によって抽出された抽出マッチング用データ５２は、情報“Ａ２”に関連付けられているため、第１マッチング処理の実行により、情報“Ａ２”が認識対象物５の外面に付された第１識別情報１１として認識される。
FIG. 7 shows a captured image (FIG. 7) including the
そして、第２マッチング処理以降のマッチング処理では、１つ前のマッチング処理で認識された識別情報１０に係るマッチング用データ５０に関連付けられたマッチング用データ５０をマッチング候補５１として、認識対象物５の外面に付された識別情報１０を認識する。よって、第２マッチング処理は、第１マッチング処理で認識された識別情報１０に係るマッチング用データ５０に関連付けられた、第２カテゴリＴ２のマッチング用データ５０をマッチング候補５１として、認識対象物５の外面に付された第２識別情報１２を認識するためのマッチング処理とされる。また、第３マッチング処理は、第２マッチング処理で認識された識別情報１０に係るマッチング用データ５０に関連付けられた、第３カテゴリＴ３のマッチング用データ５０をマッチング候補５１として、認識対象物５の外面に付された第３識別情報１３を認識するためのマッチング処理とされる。
Then, in the matching processing after the second matching processing, the matching
図７に示す例では、第１マッチング処理で認識された識別情報１０に係るマッチング用データ５０（抽出マッチング用データ５２）は、情報“Ａ２”に関連付けられたマッチング用データ５０である。そして、第２マッチング処理では、当該抽出マッチング用データ５２に関連付けられた第２カテゴリＴ２のマッチング用データ５０（図７に示す例では、４つのマッチング用データ５０）をマッチング候補５１としてマッチング処理が行われる。このように、第１マッチング処理での第１識別情報１１の認識結果に基づき、認識対象物５の外面に付されている可能性が低い第２識別情報１２に係るマッチング用データ５０をマッチング候補５１から除外してマッチング候補５１を絞り込むことで、第２カテゴリＴ２に属する識別情報が誤認識される割合を低く抑えることが可能となっている。
In the example shown in FIG. 7, the matching data 50 (extracted matching data 52) related to the
図８は、第２マッチング処理の実行により、第２カテゴリＴ２に含まれる複数のマッチング用データ５０の中から、認識対象物５の外面に付された第２識別情報１２を含む撮像画像（図６に示す例では、第２対象画像Ｇ２）との一致度が閾値以上となるマッチング用データ５０が抽出された状態を示している。なお、図８に示す例では、第２カテゴリＴ２に含まれるマッチング用データ５０のそれぞれは、各マッチング用データ５０の生成元の第２識別情報１２が表す情報“ＢＮ”（Ｎ＝１，２，・・・）に関連付けられている。そして、図８に示す例では、第２マッチング処理によって抽出された抽出マッチング用データ５２は、情報“Ｂ７”に関連付けられているため、第２マッチング処理の実行により、情報“Ｂ７”が認識対象物５の外面に付された第２識別情報１２として認識される。
FIG. 8 shows a captured image (FIG. 8) including the
図８に示す例では、第２マッチング処理で認識された識別情報１０に係るマッチング用データ５０（抽出マッチング用データ５２）は、情報“Ｂ７”に関連付けられたマッチング用データ５０である。そして、第３マッチング処理では、当該抽出マッチング用データ５２に関連付けられた第３カテゴリＴ３のマッチング用データ５０（図８に示す例では、３つのマッチング用データ５０）をマッチング候補５１としてマッチング処理が行われる。このように、第２マッチング処理での第２識別情報１２の認識結果に基づき、認識対象物５の外面に付されている可能性が低い第３識別情報１３に係るマッチング用データ５０をマッチング候補５１から除外してマッチング候補５１を絞り込むことで、第３カテゴリＴ３に属する識別情報が誤認識される割合を低く抑えることが可能となっている。
In the example shown in FIG. 8, the matching data 50 (extracted matching data 52) related to the
図９は、第３マッチング処理の実行により、第３カテゴリＴ３に含まれる複数のマッチング用データ５０の中から、認識対象物５の外面に付された第３識別情報１３を含む撮像画像（図６に示す例では、第３対象画像Ｇ３）との一致度が閾値以上となるマッチング用データ５０が抽出された状態を示している。なお、図９に示す例では、第３カテゴリＴ３に含まれるマッチング用データ５０のそれぞれは、各マッチング用データ５０の生成元の第３識別情報１３が表す情報“ＣＮ”（Ｎ＝１，２，・・・）に関連付けられている。そして、図９に示す例では、第３マッチング処理によって抽出された抽出マッチング用データ５２は、情報“Ｃ４”に関連付けられているため、第３マッチング処理の実行により、情報“Ｃ４”が認識対象物５の外面に付された第３識別情報１３として認識される。
FIG. 9 shows a captured image (FIG. 9) including the
一例として、第１カテゴリＴ１が、認識対象物５の出荷元を表す情報の分類であり、第２カテゴリＴ２が、認識対象物５の物品種別を表す情報の分類であり、第３カテゴリＴ３が、認識対象物５の性質を表す情報の分類である構成とすることができる。この場合、第１カテゴリＴ１に含まれる複数のマッチング用データ５０のそれぞれは、複数の出荷元のいずれかに関連付けられて、記憶部３９に記憶される。また、第２カテゴリＴ２に含まれる複数のマッチング用データ５０のそれぞれは、複数の物品種別のいずれかに関連付けられると共に、当該物品種別の物品Ｗが出荷される可能性がある出荷元に関連付けられて、記憶部３９に記憶される。そして、第３カテゴリＴ３に含まれる複数のマッチング用データ５０のそれぞれは、複数の性質のいずれかに関連付けられると共に、当該性質を有する可能性がある物品種別に関連付けられて、記憶部３９に記憶される。この場合、図７～図９に示す例では、情報“ＡＮ”（Ｎ＝１，２，・・・）は、認識対象物５の出荷元を表す情報とされ、情報“ＢＮ”（Ｎ＝１，２，・・・）は、認識対象物５の物品種別を表す情報とされ、情報“ＣＮ”（Ｎ＝１，２，・・・）は、認識対象物５の性質を表す情報とされる。
As an example, the first category T1 is the classification of information representing the shipping source of the
このような構成とする場合、第１マッチング処理で認識した認識対象物５の出荷元に基づき、当該出荷元から出荷される可能性がある物品種別に関連付けられたマッチング用データ５０にマッチング候補５１を絞り込んで、第２マッチング処理を行うことができる。また、第２マッチング処理で認識した認識対象物５の物品種別に基づき、当該物品種別が有する可能性がある性質に関連付けられたマッチング用データ５０にマッチング候補５１を絞り込んで、第３マッチング処理を行うことができる。
In such a configuration, based on the shipper of the
例えば、認識対象物５を、農産物を収容する容器（例えば、段ボールケース）とすることができる。この場合、出荷元を表す情報を、認識対象物５に収容された農産物の産地及び当該農産物の取り扱い者の少なくとも一方を示す情報とし、物品種別を表す情報を、認識対象物５に収容された農産物の種別及び当該農産物の商品名（ブランド）の少なくとも一方を示す情報とし、性質を表す情報を、認識対象物５に収容された農産物の量及び品質の少なくとも一方を示す情報とすることができる。
For example, the
なお、農産物の産地は、例えば、都道府県等の行政区画を表す標章（文字、図形、写真、絵、記号、又はこれらの組み合わせ等）や、地域を表す標章によって示される。また、農産物の取り扱い者は、例えば、組織を表す標章や、団体を表す標章によって示される。具体的には、農産物の取り扱い者は、例えば、農業者によって組織された協同組合（農業協同組合）を表す標章によって示される。また、農産物の種別は、例えば、品目を表す標章や、品種を表す標章によって示される。また、農産物の品質は、例えば、等級を表す標章や、階級（サイズ）を表す標章によって示される。 The production areas of agricultural products are indicated by, for example, marks representing administrative divisions such as prefectures (characters, graphics, photographs, pictures, symbols, or combinations thereof) and marks representing regions. Also, a person who handles agricultural products is indicated by, for example, a mark representing an organization or a mark representing a group. Specifically, a handler of agricultural products is indicated, for example, by a mark representing a cooperative organized by farmers (agricultural cooperative). Also, the type of agricultural product is indicated by, for example, a mark representing the item or a mark representing the variety. In addition, the quality of agricultural products is indicated, for example, by marks representing grades and marks representing classes (sizes).
ここでは、識別情報１０が、第１カテゴリＴ１、第２カテゴリＴ２、及び第３カテゴリＴ３の３つのカテゴリＴに分類される場合を例として説明したが、識別情報１０が、第１カテゴリＴ１及び第２カテゴリＴ２の２つのカテゴリＴに分類される構成や、識別情報１０が、第１カテゴリＴ１、第２カテゴリＴ２、第３カテゴリＴ３、及び他の１つ以上のカテゴリＴを含む、４つ以上のカテゴリＴに分類される構成とすることもできる。
Here, the case where the
また、ここで説明した１つのカテゴリＴを複数の分割カテゴリに分割してもよい。例えば、第１カテゴリＴ１を、認識対象物５の出荷元を表す情報の分類とする場合に、第１カテゴリＴ１を、認識対象物５に収容された農産物の産地を表す情報の分類である分割カテゴリと、認識対象物５に収容された農産物の取り扱い者を表す情報の分類である分割カテゴリとに分割することができる。また、第２カテゴリＴ２を、認識対象物５の物品種別を表す情報の分類とする場合に、第２カテゴリＴ２を、認識対象物５に収容された農産物の品目を表す情報の分類である分割カテゴリと、認識対象物５に収容された農産物の品種又は商品名を表す情報の分類である分割カテゴリとに分割することができる。
Also, one category T described here may be divided into a plurality of divided categories. For example, when the first category T1 is the classification of information representing the shipping source of the
このように１つのカテゴリＴを複数の分割カテゴリに分割する場合、上述した複数のカテゴリＴに対する処理と同様の処理を、１つのカテゴリＴにおける複数の分割カテゴリに対して行う構成とすることができる。具体的には、認識対象物５に収容された農産物の産地を表す情報の分類である分割カテゴリを第１分割カテゴリとし、認識対象物５に収容された農産物の取り扱い者を表す情報の分類である分割カテゴリを第２分割カテゴリとして、第１分割カテゴリに含まれる複数のマッチング用データ５０のそれぞれが、第２分割カテゴリに含まれる複数のマッチング用データ５０の１つ以上に関連付けられた状態で記憶部３９に記憶され、識別情報認識部３２が、認識対象物５の外面に付された第１分割カテゴリに属する識別情報１０を認識するためのマッチング処理を行った後、当該マッチング処理で認識された識別情報１０に係るマッチング用データ５０に関連付けられた、第２分割カテゴリのマッチング用データ５０をマッチング候補５１として、認識対象物５の外面に付された第２分割カテゴリに属する識別情報１０を認識するためのマッチング処理を行う構成とすることができる。この場合、第１分割カテゴリに含まれる複数のマッチング用データ５０のそれぞれは、複数の産地のいずれかに関連付けられて、記憶部３９に記憶される。また、第２分割カテゴリに含まれる複数のマッチング用データ５０のそれぞれは、複数の取り扱い者のいずれかに関連付けられると共に、当該取り扱い者が存在する産地に関連付けられて、記憶部３９に記憶される。また、認識対象物５に収容された農産物の品目を表す情報の分類である分割カテゴリを第１分割カテゴリとし、認識対象物５に収容された農産物の品種又は商品名を表す情報の分類である分割カテゴリを第２分割カテゴリとする場合には、第１分割カテゴリに含まれる複数のマッチング用データ５０のそれぞれは、複数の品目のいずれかに関連付けられて、記憶部３９に記憶される。また、第２分割カテゴリに含まれる複数のマッチング用データ５０のそれぞれは、複数の品種又は商品名のいずれかに関連付けられると共に、当該品種又は商品名が存在する品目に関連付けられて、記憶部３９に記憶される。
When one category T is divided into a plurality of divided categories in this way, the same processing as the above-described processing for a plurality of categories T can be performed for a plurality of divided categories in one category T. . Specifically, a division category, which is a classification of information representing the production area of the agricultural products housed in the
〔その他の実施形態〕
次に、物品認識システムのその他の実施形態について説明する。
[Other embodiments]
Next, another embodiment of the article recognition system will be described.
（１）上記の実施形態では、物品認識システム１（具体的には、制御装置３０）が、物品数認識部３３を備える構成を例として説明した。しかし、そのような構成に限定されることなく、物品群ＷＧを構成する物品Ｗの数を物品認識システム１で認識しない場合には、制御装置３０が物品数認識部３３を備えなくてよい。
(1) In the above embodiment, the configuration in which the article recognition system 1 (specifically, the control device 30) includes the article
（２）上記の実施形態では、第１撮像装置２１が３つの第１カメラ２１ａを備え、第２撮像装置２２が３つの第２カメラ２２ａを備える構成を例として説明した。しかし、そのような構成に限定されることなく、第１撮像装置２１が備える第１カメラ２１ａの個数や、第２撮像装置２２が備える第２カメラ２２ａの個数は、適宜変更することが可能である。
(2) In the above embodiment, the configuration in which the
（３）上記の実施形態では、撮像方向変更機構２が、物品群ＷＧを回転させることで、物品群ＷＧに対する第１撮像装置２１及び第２撮像装置２２の撮像方向を相対的に変更する構成を例として説明した。しかし、そのような構成に限定されることなく、撮像方向変更機構２が、撮像装置２０を回転させること、或いは撮像装置２０及び物品群ＷＧの双方を回転させることで、物品群ＷＧに対する第１撮像装置２１及び第２撮像装置２２の撮像方向を相対的に変更する構成とすることもできる。なお、物品認識システム１が撮像方向変更機構２を備えない構成としてもよい。
(3) In the above embodiment, the imaging
（４）上記の実施形態では、第１撮像装置２１及び第２撮像装置２２が、物品群ＷＧを、第１水平方向Ｈ１の両側、第２水平方向Ｈ２の両側、及び鉛直方向Ｖの上側から撮像するように構成される場合を例として説明した。しかし、第１撮像装置２１及び第２撮像装置２２による物品群ＷＧの撮像方向は適宜変更することができる。例えば、物品数認識部３３が第１撮像装置２１による物品群ＷＧの撮像画像に基づかずに物品群ＷＧを構成する物品Ｗの数を認識する場合、物品認識システム１が物品数認識部３３を備えない場合、或いは、物品群ＷＧを構成する物品Ｗが鉛直方向Ｖにのみ並べて配置される場合等において、第１撮像装置２１が、物品群ＷＧを鉛直方向Ｖの上側から撮像しないように構成されてもよい。また、例えば、物品Ｗの上面Ｓ３に識別情報１０が付されない場合や、物品Ｗの上面Ｓ３に付された識別情報１０の認識を行わない場合等において、第２撮像装置２２が、物品群ＷＧを鉛直方向Ｖの上側から撮像しないように構成されてもよい。
(4) In the above embodiment, the
（５）上記の実施形態では、物品認識システム１が、第１撮像装置２１及び第２撮像装置２２の２種類の撮像装置２０を備える構成を例として説明した。しかし、そのような構成に限定されることなく、物品認識システム１が、撮像装置２０を１種類のみ備える構成とすることもできる。この場合、当該１種類の撮像装置２０を上記実施形態での第１撮像装置２１及び第２撮像装置２２として用いて、上記実施形態と同様の処理を行うことができる。このように物品認識システム１が撮像装置２０を１種類のみ備える場合、例えば、画像分割部３１が、撮像装置２０による物品群ＷＧの撮像画像に基づき（具体的には、当該撮像画像にエッジ検出処理を施して得られるエッジ画像に基づいて）、当該撮像装置２０による物品群ＷＧの撮像画像を単位画像ＧＵに分割する構成とすることができる。この場合に、撮像装置２０によって物品群ＷＧの複数の撮像画像を取得し（例えば、撮像条件の異なる複数の撮像画像を取得し）、画像分割部３１が、撮像装置２０による物品群ＷＧの撮像画像に基づき、当該撮像装置２０による物品群ＷＧの別の撮像画像を単位画像ＧＵに分割する構成としてもよい。
(5) In the above embodiment, the configuration in which the
（６）上記の実施形態では、撮像装置２０が、支持体４に載せられた物品群ＷＧの外面を撮像する構成を例として説明した。しかし、そのような構成に限定されることなく、撮像装置２０が、１つの物品Ｗ（すなわち、１つの認識対象物５）の外面を撮像する構成としてもよい。この場合、撮像装置２０による物品Ｗの撮像画像を単位画像ＧＵとして用い、上記実施形態と同様に識別情報１０を認識することができる。例えば、搬送装置４０が、搬送方向に互いに離間させた状態で、複数の物品Ｗを搬送するように構成される場合に、撮像装置２０が１つの物品Ｗの外面を撮像する構成とすることができる。この場合、制御装置３０は画像分割部３１を備えなくてよい。
(6) In the above embodiment, the
（７）なお、上述した各実施形態で開示された構成は、矛盾が生じない限り、他の実施形態で開示された構成と組み合わせて適用すること（その他の実施形態として説明した実施形態同士の組み合わせを含む）も可能である。その他の構成に関しても、本明細書において開示された実施形態は全ての点で単なる例示に過ぎない。従って、本開示の趣旨を逸脱しない範囲内で、適宜、種々の改変を行うことが可能である。 (7) The configuration disclosed in each embodiment described above may be applied in combination with the configuration disclosed in the other embodiment unless there is a contradiction. combinations) are also possible. Regarding other configurations, the embodiments disclosed in this specification are merely examples in all respects. Therefore, various modifications can be made as appropriate without departing from the scope of the present disclosure.
〔上記実施形態の概要〕
以下、上記において説明した物品認識システムの概要について説明する。
[Overview of the above embodiment]
An outline of the article recognition system described above will be described below.
物品の外面の撮像画像に基づき、当該外面に付された識別情報を認識する物品認識システムであって、認識対象の物品である認識対象物の外面を撮像する撮像装置と、前記識別情報を分類した複数のカテゴリ毎に、それぞれのカテゴリに属する前記識別情報のマッチング用データを記憶した記憶部と、前記撮像装置による前記認識対象物の撮像画像と、前記記憶部に記憶されている前記マッチング用データとのマッチング処理によって、前記認識対象物の外面に付された前記識別情報を認識する識別情報認識部と、を備え、複数の前記カテゴリに含まれる２つのカテゴリを第１カテゴリ及び第２カテゴリとして、前記第１カテゴリに含まれる複数の前記マッチング用データのそれぞれは、前記第２カテゴリに含まれる複数の前記マッチング用データの１つ以上に関連付けられた状態で前記記憶部に記憶され、前記識別情報認識部は、前記認識対象物の外面に付された前記第１カテゴリに属する前記識別情報を認識するための前記マッチング処理である第１マッチング処理を行った後、前記第１マッチング処理で認識された前記識別情報に係る前記マッチング用データに関連付けられた、前記第２カテゴリの前記マッチング用データをマッチング候補として、前記認識対象物の外面に付された前記第２カテゴリに属する前記識別情報を認識するための前記マッチング処理である第２マッチング処理を行う。 An article recognition system for recognizing identification information attached to an outer surface of an article based on a captured image of the outer surface of the article, comprising an imaging device for imaging the outer surface of a recognition target object, which is an article to be recognized, and classifying the identification information. a storage unit storing data for matching the identification information belonging to each of the categories, an image of the object to be recognized by the imaging device, and the matching data stored in the storage unit an identification information recognizing unit that recognizes the identification information attached to the outer surface of the recognition object by matching processing with data, wherein two categories included in the plurality of categories are a first category and a second category. As, each of the plurality of matching data included in the first category is stored in the storage unit in a state of being associated with one or more of the plurality of matching data included in the second category, and The identification information recognition unit performs the first matching processing, which is the matching processing for recognizing the identification information belonging to the first category attached to the outer surface of the recognition target object, and then performs the first matching processing. The identification information belonging to the second category attached to the outer surface of the object to be recognized, with the matching data of the second category associated with the matching data associated with the recognized identification information as a matching candidate. The second matching process, which is the matching process for recognizing .
物品の外面に付される識別情報は、当該物品を識別するためものであるため、１つの物品の外面に付される複数のカテゴリの識別情報は、一般に、互いに関連性を有する。上記の構成によれば、このような複数のカテゴリの間での識別情報の関連性を利用することで、物品の外面に付された複数のカテゴリの識別情報を当該外面の撮像画像に基づき認識する場合に、誤認識の発生率を低く抑えることが可能となっている。 Since the identification information attached to the outer surface of an article is for identifying the article, a plurality of categories of identification information attached to the outer surface of one article are generally related to each other. According to the above configuration, by using the relationship of the identification information among the plurality of categories, the identification information of the plurality of categories attached to the outer surface of the article is recognized based on the captured image of the outer surface. In this case, it is possible to suppress the occurrence rate of misrecognition to a low level.
具体的には、上記の構成では、第１カテゴリに含まれる複数のマッチング用データのそれぞれが、第２カテゴリに含まれる複数の前記マッチング用データの１つ以上に関連付けられた状態で記憶部に記憶されている。このような関連付けは、第１カテゴリと第２カテゴリとの間での識別情報の関連性に基づき行うことができる。そして、第２マッチング処理では、第２カテゴリに含まれる複数のマッチング用データの中の、第１マッチング処理で認識された識別情報に係るマッチング用データに関連付けられたものが、マッチング候補とされる。すなわち、第１マッチング処理での第１カテゴリに属する識別情報の認識結果に基づき、認識対象物の外面に付されている可能性が低い識別情報に係るマッチング用データをマッチング候補から除外して、第２マッチング処理を行うことができる。よって、第２マッチング処理において第２カテゴリに含まれる全てのマッチング用データがマッチング候補とされる場合に比べて、マッチング候補を絞り込むことで、第２カテゴリに属する識別情報が誤認識される割合を低く抑えることができる。 Specifically, in the above configuration, each of the plurality of matching data included in the first category is stored in the storage unit while being associated with one or more of the plurality of matching data included in the second category. remembered. Such associations can be made based on the relevance of the identification information between the first category and the second category. Then, in the second matching process, among the plurality of matching data included in the second category, those associated with the matching data related to the identification information recognized in the first matching process are taken as matching candidates. . That is, based on the recognition result of the identification information belonging to the first category in the first matching process, the matching data related to the identification information that is unlikely to be attached to the outer surface of the recognition target object is excluded from the matching candidates. A second matching process can be performed. Therefore, by narrowing down the matching candidates, the rate of erroneous recognition of the identification information belonging to the second category can be reduced compared to the case where all the matching data included in the second category are used as matching candidates in the second matching process. can be kept low.
以上のように、上記の構成によれば、物品の外面に付された複数のカテゴリの識別情報を当該外面の撮像画像に基づき認識する場合に、誤認識の発生率を低く抑えることが可能となっている。なお、誤認識の発生率を低く抑えるための本開示の技術は、識別情報を文字として認識する場面に限らず適用することが可能である。 As described above, according to the above configuration, when recognizing identification information of a plurality of categories attached to the outer surface of an article based on the captured image of the outer surface, it is possible to reduce the rate of misrecognition. It's becoming Note that the technique of the present disclosure for suppressing the occurrence rate of misrecognition to a low level can be applied without being limited to situations where identification information is recognized as characters.
ここで、前記第１カテゴリは、前記認識対象物の出荷元を表す情報の分類であり、前記第２カテゴリは、前記認識対象物の物品種別を表す情報の分類であり、前記第１カテゴリに含まれる複数の前記マッチング用データのそれぞれが、複数の出荷元のいずれかに関連付けられて、前記記憶部に記憶され、前記第２カテゴリに含まれる複数の前記マッチング用データのそれぞれが、複数の物品種別のいずれかに関連付けられていると共に、当該物品種別の物品が出荷される可能性がある出荷元に関連付けられて、前記記憶部に記憶されていると好適である。 Here, the first category is a classification of information representing the shipping source of the recognition target object, the second category is a classification of information representing the product type of the recognition target object, and Each of the plurality of included matching data is associated with one of a plurality of shipping sources and stored in the storage unit, and each of the plurality of matching data included in the second category is associated with a plurality of shipping sources. It is preferable that the information is stored in the storage unit in association with one of the product types and with a shipping source from which the product of the relevant product type may be shipped.
この構成によれば、第１マッチング処理で認識した認識対象物の出荷元に基づき、当該出荷元から出荷される可能性がある物品種別に関連付けられたマッチング用データにマッチング候補を絞り込んで、第２マッチング処理を行うことができる。よって、第１カテゴリが、認識対象物の出荷元を表す情報の分類であり、第２カテゴリが、認識対象物の物品種別を表す情報の分類である場合に、第２カテゴリに属する識別情報が誤認識される割合を低く抑えることができる。 According to this configuration, based on the shipper of the recognition target object recognized in the first matching process, the matching candidates are narrowed down to the matching data associated with the product type that may be shipped from the shipper. 2 matching process can be performed. Therefore, when the first category is the classification of information representing the shipping source of the recognition target, and the second category is the classification of information representing the product type of the recognition target, the identification information belonging to the second category is The rate of erroneous recognition can be kept low.
上記のように、前記第１カテゴリが、前記認識対象物の出荷元を表す情報の分類であり、前記第２カテゴリが、前記認識対象物の物品種別を表す情報の分類である構成において、前記認識対象物は、農産物を収容する容器であり、前記出荷元を表す情報は、前記認識対象物に収容された農産物の産地及び当該農産物の取り扱い者の少なくとも一方を示す情報であり、前記物品種別を表す情報は、前記認識対象物に収容された農産物の種別及び当該農産物の商品名の少なくとも一方を示す情報であると好適である。 As described above, in the configuration in which the first category is the classification of information representing the shipping source of the recognition target object, and the second category is the classification of information representing the product type of the recognition target object, The recognition target object is a container containing agricultural products, the information indicating the shipping source is information indicating at least one of the production area of the agricultural products contained in the recognition target object and the person who handles the agricultural products, and the product type. is preferably information indicating at least one of the type of agricultural product accommodated in the recognition object and the product name of the agricultural product.
一般に、農産物の産地や農産物の取扱者に基づき、そこから出荷される可能性のある農産物の種別や商品名を一部の種別や商品名に絞り込むことができる。よって、このように認識対象物が農産物を収容する容器である場合には、複数の物品種別のいずれかに関連付けられた、第２カテゴリに含まれる複数のマッチング用データのそれぞれを、当該物品種別の物品が出荷される可能性がある出荷元に適切に関連付けることができる。よって、本開示の技術は、認識対象物が農産物を収容する容器である場合に特に適している。 In general, it is possible to narrow down the types and product names of agricultural products that may be shipped from there to a part of the types and product names based on the production areas of agricultural products and the traders of agricultural products. Therefore, when the object to be recognized is a container containing agricultural products, each of a plurality of pieces of matching data included in the second category associated with one of a plurality of product types is used as the product type. can be appropriately associated with the origin from which the goods may be shipped. Therefore, the technology of the present disclosure is particularly suitable when the object to be recognized is a container containing agricultural products.
また、前記識別情報認識部は、前記第２マッチング処理を行った後、前記第２マッチング処理で認識された前記識別情報に係る前記マッチング用データに関連付けられた、第３カテゴリの前記マッチング用データをマッチング候補として、前記認識対象物の外面に付された前記第３カテゴリに属する前記識別情報を認識するための前記マッチング処理である第３マッチング処理を行うように構成され、前記第３カテゴリは、前記認識対象物の性質を表す情報の分類であり、前記第３カテゴリに含まれる複数の前記マッチング用データのそれぞれが、複数の性質のいずれかに関連付けられていると共に、当該性質を有する可能性がある物品種別に関連付けられて、前記記憶部に記憶されていると好適である。 Further, after performing the second matching process, the identification information recognition unit performs the matching data of a third category associated with the matching data related to the identification information recognized in the second matching process. is a matching candidate, the third matching process is performed for recognizing the identification information belonging to the third category attached to the outer surface of the recognition object, and the third category is , a classification of information representing a property of the recognition target object, wherein each of the plurality of matching data included in the third category is associated with one of a plurality of properties and may have the property. It is preferable that the information is stored in the storage unit in association with the product type having the potential.
この構成によれば、第２マッチング処理での第２カテゴリに属する識別情報の認識結果に基づき、認識対象物の外面に付されている可能性が低い識別情報に係るマッチング用データをマッチング候補から除外して、第３マッチング処理を行うことができる。具体的には、第２マッチング処理で認識した認識対象物の物品種別に基づき、当該物品種別が有する可能性がある性質に関連付けられたマッチング用データにマッチング候補を絞り込んで、第３マッチング処理を行うことができる。よって、第３カテゴリに属する識別情報が誤認識される割合を低く抑えることができる。 According to this configuration, based on the recognition result of the identification information belonging to the second category in the second matching process, the matching data related to the identification information that is unlikely to be attached to the outer surface of the recognition target is selected from the matching candidates. By exclusion, a third matching process can be performed. Specifically, based on the product type of the recognition target object recognized in the second matching process, matching candidates are narrowed down to matching data associated with properties that the product type may have, and the third matching process is performed. It can be carried out. Therefore, it is possible to reduce the rate of erroneous recognition of identification information belonging to the third category.
上記のように、前記第３カテゴリが、前記認識対象物の性質を表す情報の分類である構成において、前記認識対象物は、農産物を収容する容器であり、前記性質を表す情報は、前記認識対象物に収容された農産物の量及び品質の少なくとも一方を示す情報であると好適である。 As described above, in the configuration in which the third category is a classification of information representing properties of the recognition target object, the recognition target object is a container containing agricultural products, and the information representing the property is the recognition target object. It is preferable that the information indicates at least one of the quantity and quality of the produce housed in the object.
一般に、農産物の物品種別（種別や商品名等）に基づき、当該農産物が有する可能性のある量や品質を一部の量や品質に絞り込むことができる。よって、このように認識対象物が農産物を収容する容器である場合には、複数の性質のいずれかに関連付けられた、第３カテゴリに含まれる複数のマッチング用データのそれぞれを、当該性質を有する可能性がある物品種別に適切に関連付けることができる。よって、本開示の技術は、認識対象物が農産物を収容する容器である場合に特に適している。 In general, it is possible to narrow down the quantity and quality that the agricultural product may have based on the product type (type, product name, etc.) of the agricultural product. Therefore, when the object to be recognized is a container containing agricultural products, each of the plurality of matching data included in the third category associated with one of the plurality of properties is It can be appropriately associated with possible product types. Therefore, the technology of the present disclosure is particularly suitable when the object to be recognized is a container containing agricultural products.
本開示に係る物品認識システムは、上述した各効果のうち、少なくとも１つを奏することができればよい。 The article recognition system according to the present disclosure only needs to achieve at least one of the effects described above.
１：物品認識システム
５：認識対象物
１０：識別情報
２０：撮像装置
３２：識別情報認識部
３９：記憶部
５０：マッチング用データ
５１：マッチング候補
Ｔ：カテゴリ
Ｔ１：第１カテゴリ
Ｔ２：第２カテゴリ
Ｔ３：第３カテゴリ
Ｗ：物品
1: Article recognition system 5: Recognition object 10: Identification information 20: Imaging device 32: Identification information recognition unit 39: Storage unit 50: Matching data 51: Matching candidate T: Category T1: First category T2: Second category T3: Third category W: Goods
Claims (5)
認識対象の物品である認識対象物の外面を撮像する撮像装置と、
前記識別情報を分類した複数のカテゴリ毎に、それぞれのカテゴリに属する前記識別情報のマッチング用データを記憶した記憶部と、
前記撮像装置による前記認識対象物の撮像画像と、前記記憶部に記憶されている前記マッチング用データとのマッチング処理によって、前記認識対象物の外面に付された前記カテゴリが互いに異なる複数の前記識別情報を認識する識別情報認識部と、を備え、
複数の前記カテゴリに含まれる２つのカテゴリを第１カテゴリ及び第２カテゴリとして、前記第１カテゴリに含まれる複数の前記マッチング用データのそれぞれは、前記第２カテゴリに含まれる複数の前記マッチング用データの１つ以上に関連付けられた状態で前記記憶部に記憶され、
前記識別情報認識部は、前記認識対象物の外面に付された前記第１カテゴリに属する前記識別情報を認識するための前記マッチング処理である第１マッチング処理を行った後、前記第１マッチング処理で認識された前記識別情報に係る前記マッチング用データに関連付けられた、前記第２カテゴリの前記マッチング用データをマッチング候補として、前記認識対象物の外面に付された前記第２カテゴリに属する前記識別情報を認識するための前記マッチング処理である第２マッチング処理を行い、
前記認識対象物の複数の外面に、前記カテゴリが互いに異なる前記識別情報が付され、
前記識別情報認識部により認識された、前記認識対象物の互いに異なる外面に付された前記識別情報を、当該認識対象物に関連付けて管理する、物品認識システム。 An article recognition system that recognizes identification information attached to the outer surface of an article based on a captured image of the outer surface of the article,
an imaging device that captures an image of the outer surface of an object to be recognized, which is an article to be recognized;
a storage unit storing data for matching the identification information belonging to each category for each of a plurality of categories into which the identification information is classified;
A plurality of identifications in which the category attached to the outer surface of the recognition target object is different from each other by matching processing between the captured image of the recognition target object by the imaging device and the matching data stored in the storage unit. an identification information recognition unit that recognizes information,
Two categories included in the plurality of categories are defined as a first category and a second category, and each of the plurality of matching data included in the first category corresponds to a plurality of the matching data included in the second category. stored in the storage unit in a state associated with one or more of
The identification information recognition unit performs the first matching process, which is the matching process for recognizing the identification information belonging to the first category attached to the outer surface of the recognition target object, and then performs the first matching process. The identification belonging to the second category attached to the outer surface of the recognition target object, with the matching data of the second category associated with the matching data related to the identification information recognized in step as a matching candidate performing a second matching process, which is the matching process for recognizing information;
a plurality of outer surfaces of the recognition object are attached with the identification information of different categories;
An article recognition system that manages the identification information, which is recognized by the identification information recognition unit and attached to different outer surfaces of the recognition target object, in association with the recognition target object .
前記第２カテゴリは、前記認識対象物の物品種別を表す情報の分類であり、
前記第１カテゴリに含まれる複数の前記マッチング用データのそれぞれが、複数の出荷元のいずれかに関連付けられて、前記記憶部に記憶され、
前記第２カテゴリに含まれる複数の前記マッチング用データのそれぞれが、複数の物品種別のいずれかに関連付けられていると共に、当該物品種別の物品が出荷される可能性がある出荷元に関連付けられて、前記記憶部に記憶されている、請求項１に記載の物品認識システム。 The first category is a classification of information representing a shipping source of the recognition target,
the second category is a classification of information representing a product type of the recognition target,
each of the plurality of matching data included in the first category is associated with one of a plurality of shipping sources and stored in the storage unit;
Each of the plurality of matching data included in the second category is associated with one of a plurality of product types, and is associated with a shipping source from which the product of the product type may be shipped. , and the article recognition system according to claim 1 , which is stored in said storage unit.
前記出荷元を表す情報は、前記認識対象物に収容された農産物の産地及び当該農産物の取り扱い者の少なくとも一方を示す情報であり、
前記物品種別を表す情報は、前記認識対象物に収容された農産物の種別及び当該農産物の商品名の少なくとも一方を示す情報である、請求項２に記載の物品認識システム。 The object to be recognized is a container for containing agricultural products,
The information indicating the shipping source is information indicating at least one of the production area of the agricultural product accommodated in the recognition target object and the person who handles the agricultural product,
3. The article recognition system according to claim 2 , wherein the information representing the article type is information indicating at least one of the type of agricultural product accommodated in the recognition object and the product name of the agricultural product.
前記第３カテゴリは、前記認識対象物の性質を表す情報の分類であり、
前記第３カテゴリに含まれる複数の前記マッチング用データのそれぞれが、複数の性質のいずれかに関連付けられていると共に、当該性質を有する可能性がある物品種別に関連付けられて、前記記憶部に記憶されている、請求項２又は３に記載の物品認識システム。 After performing the second matching process, the identification information recognition unit matches the matching data of a third category associated with the matching data related to the identification information recognized in the second matching process. configured to perform a third matching process, which is the matching process for recognizing, as a candidate, the identification information belonging to the third category attached to the outer surface of the recognition target object;
The third category is a classification of information representing properties of the recognition object,
Each of the plurality of matching data included in the third category is associated with one of a plurality of properties, and is associated with an article type that may have the property, and is stored in the storage unit. 4. The article recognition system according to claim 2 or 3 , wherein
前記性質を表す情報は、前記認識対象物に収容された農産物の量及び品質の少なくとも一方を示す情報である、請求項４に記載の物品認識システム。 The object to be recognized is a container for containing agricultural products,
5. The article recognition system according to claim 4 , wherein the information representing the property is information indicating at least one of the quantity and quality of agricultural products accommodated in the recognition object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019087524A JP7207141B2 (en) | 2019-05-07 | 2019-05-07 | Article recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019087524A JP7207141B2 (en) | 2019-05-07 | 2019-05-07 | Article recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020184144A JP2020184144A (en) | 2020-11-12 |
| JP7207141B2 true JP7207141B2 (en) | 2023-01-18 |
Family
ID=73044553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019087524A Active JP7207141B2 (en) | 2019-05-07 | 2019-05-07 | Article recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7207141B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013145527A (en) | 2012-01-16 | 2013-07-25 | Toshiba Tec Corp | Information processor, store system and program |
| JP2014225181A (en) | 2013-05-17 | 2014-12-04 | 株式会社アイディーズ | Product code analysis system and product code analysis program |
| JP2016024596A (en) | 2014-07-18 | 2016-02-08 | 日本電気株式会社 | Information processor |
-
2019
- 2019-05-07 JP JP2019087524A patent/JP7207141B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013145527A (en) | 2012-01-16 | 2013-07-25 | Toshiba Tec Corp | Information processor, store system and program |
| JP2014225181A (en) | 2013-05-17 | 2014-12-04 | 株式会社アイディーズ | Product code analysis system and product code analysis program |
| JP2016024596A (en) | 2014-07-18 | 2016-02-08 | 日本電気株式会社 | Information processor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020184144A (en) | 2020-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7082160B2 (en) | How to track the placement of products on store shelves | |
| US20210012524A1 (en) | Learning dataset creation method and device | |
| JP2020530167A5 (en) | ||
| CN107463946B (en) | Commodity type detection method combining template matching and deep learning | |
| Tang et al. | A textured object recognition pipeline for color and depth image data | |
| US20160117631A1 (en) | Orphaned item identification | |
| JP2021503636A5 (en) | ||
| US20180260669A1 (en) | Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program | |
| TWI608422B (en) | Optical character recognition device, optical character recognition method, and recording medium | |
| EP3005231B1 (en) | Method and device for counting objects in image data in frames, computer program product | |
| US10713515B2 (en) | Using multiple cameras to perform optical character recognition | |
| JP2015114292A (en) | Workpiece position information identification apparatus and workpiece position information identification method | |
| JP6487565B2 (en) | Mail image pairing using gradient field singularity descriptors | |
| JP7207141B2 (en) | Article recognition system | |
| JP7135993B2 (en) | Article recognition system | |
| CN116309573B (en) | Defect detection method for printed characters of milk packaging box | |
| JP2022113972A (en) | Inspection system using image recognition, inspection method, and program for inspection system | |
| US20160117630A1 (en) | Orphaned package identification | |
| Hargas et al. | Novel machine vision tools applied in biomechatronic tasks | |
| JP7434986B2 (en) | Article identification system | |
| WO2022034667A1 (en) | Ptp management system | |
| JP7439785B2 (en) | Authentication and tracking system | |
| Sarkar et al. | On online counting of cigarette in packets—an image processing approach | |
| JP6878968B2 (en) | Goods management system, goods management method and goods management program | |
| JP6902396B2 (en) | Manufacturing equipment with image classification function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221028 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221115 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7207141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |