JP6878938B2 - 画像認識装置、システム、方法およびプログラム - Google Patents

Description

本発明は、画像認識を行う装置、システム、方法およびプログラムに関する。

従来、顧客が小売店等において商品を購入する際には、ＰＯＳ端末が商品に付されたバーコードを読み取ることによって商品を識別し、名称や価格等の商品情報を取得することが一般的であった。近年、商品にバーコードが付されていることを必要とせず、画像認識技術を用いて商品の外観的な特徴に基づいて商品を識別する技術が開発されている。

特許文献１には、所定の認識領域に配置された複数の商品を撮像し、撮像された画像の特徴量から該複数の商品を一括して認識する技術が記載されている。これにより、複数の商品を同時に識別して商品情報を効率的に取得することができる。

特開２０１３−５４６７３号公報

飲料缶のように共通のロゴマークを含み様々な大きさで販売されている商品は、外観が互いに類似しているため、特許文献１に記載の技術のように単純に商品の外観（特徴量）を用いる画像認識の処理で見分けることが難しい場合がある。

本発明は、上述の問題に鑑みて行われたものであって、画像認識処理において大きさの異なる類似商品を容易に識別することができる画像認識装置、システム、方法およびプログラムを提供することを目的とする。

本発明の第１の態様は、画像認識装置であって、所定の面が基準座標の上に位置するように配置されている商品の画像を取得する画像取得部と、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する決定部と、を備える。

本発明の第２の態様は、画像認識方法であって、所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、前記外縁と前記基準座標との差を算出するステップと、前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、を有する。

本発明の第３の態様は、プログラムであって、コンピュータに、所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、前記外縁と前記基準座標との差を算出するステップと、前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、を実行させる。

本発明の第４の態様は、画像認識システムであって、商品を載置するための載置台と、撮像装置によって取得される前記商品の画像に対して画像認識を行う画像認識装置と、を備え、前記画像認識装置は、所定の面が基準座標の上に位置するように配置されている前記商品の前記画像を取得する画像取得部と、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する決定部と、を備える。

本発明によれば、商品が配置される基準座標を用いることによって、画像認識において大きさの異なる類似商品を容易に識別することができる。

第１の実施形態に係る画像認識システムの模式図である。 第１の実施形態に係るＰＯＳ端末のブロック図である。 第１の実施形態に係る支持部の斜視図である。 第１の実施形態で認識対象とする商品およびその識別情報の模式図である。 第１の実施形態に係る商品が配置された状態の支持部の上面図である。 第１の実施形態に係る大きさ判定処理の模式図である。 第１の実施形態に係るＰＯＳ端末の概略構成図である。 第１の実施形態に係る画像認識方法のフローチャートを示す図である。 第２の実施形態に係る載置台上の認識領域の上面図である。 第３の実施形態に係る画像認識システムの模式図である。 第３の実施形態に係る棚の前面図である。 各実施形態に係る画像認識装置の概略構成図である。

以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。

（第１の実施形態）
図１は、本実施形態に係る画像認識システム１０の模式図である。画像認識システム１０は、画像認識装置としてのＰＯＳ端末（販売時点情報管理端末）１００、画像認識の対象とする商品を載置するための載置台１４、および載置台１４上において商品を支持するための支持部２００を備える。ＰＯＳ端末１００には、載置台１４上の商品を撮像可能な位置に設けられた撮像装置１１、載置台１４上に所定の像を投影可能な投影装置１２、および商品に係る情報を表示する表示装置１３が接続されている。本実施形態では、画像認識装置は、ＰＯＳ端末１００と一体として構成されているが、ＰＯＳ端末１００とは別に設けられ、ＰＯＳ端末１００と必要な情報を授受して本実施形態に係る画像認識方法を実施するように構成されてもよい。

ＰＯＳ端末１００は、表示装置１３に会計中の商品情報、会計の金額、所定のメッセージ等を表示する。商品情報は、後述の画像認識方法によって取得される。また、ＰＯＳ端末１００は、入出金やレシートの印刷等、会計に係る任意の処理を行ってよい。

表示装置１３は、利用者（すなわち店員又は顧客）に対して商品情報等の任意の情報を表示する表示装置である。表示装置１３として、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ等の任意の表示装置を用いてよい。

載置台１４は、水平方向（すなわち重力方向に対して垂直な方向）に延在する載置面を有する。載置台１４の載置面上に１つ以上の商品Ｂが載置される。

撮像装置１１は、重力方向に沿って載置台１４の上方に設けられ、不図示の柱、アーム、天井等に固定される。撮像装置１１は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等のイメージセンサによって画像を取得するカメラ又はスキャナ等の任意の撮像装置である。撮像装置１１は、少なくとも載置台１４の載置面を含む領域を撮像可能であり、撮像した画像を示す信号をＰＯＳ端末１００に送信する。撮像装置１１が撮像した画像を示す信号は、直接ＰＯＳ端末１００に送信されてよく、あるいは一旦記憶装置に記録された後にＰＯＳ端末１００によって読み出されてよい。載置台１４上の商品を一様に撮像するために、撮像装置１１の光軸は載置台１４の載置面の法線と一致していることが望ましい。撮像装置１１は、所定の時間間隔で撮像を行ってよく、あるいはＰＯＳ端末１００からの指示に従って撮像を行ってよい。

投影装置１２は、重力方向に沿って載置台１４の上方に設けられ、不図示の柱、アーム、天井等に固定される。投影装置１２はランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源を用いて所望の像を投影するプロジェクタ等の任意の投影装置である。投影装置１２は、ＰＯＳ端末１００からの信号に従って、載置台１４の載置面上に像を投影する。投影装置１２は、このような投影が実現可能な所定位置に設置される。投影装置１２の設置位置は設計的事項である。例えば、投影装置１２は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置１２は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台１４を透明の部材で構成し、載置台１４の下方に投影装置１２を設置してもよい。この場合、投影装置１２は、載置台１４の下側から、載置台１４の載置面上に像を投影する。

本実施形態において投影装置１２は、撮像装置１１によって撮像されて画像認識が行われる認識領域Ａを示す像（例えば認識領域Ａを取り囲む枠）を載置台１４の載置面上に投影する。認識領域Ａは、撮像装置１１の撮像領域と一致してよく、あるいは撮像装置１１の撮像領域の一部でよい。認識領域Ａは、ＰＯＳ端末１００において予め設定されてよく、あるいは利用者によって設定されてよい。

支持部２００は、載置台１４の載置面上において、商品Ｂを重力方向に対して所定の角度に支持するための支持構造である。支持部２００は、認識領域Ａ内において、載置台１４と一体に（すなわち載置台１４の一部として）構成されてよく、あるいは載置台１４上に載置される部材として構成されてよい。支持部２００の詳細な構成については、図３を用いて後述する。

本実施形態に係る商品認識方法を実行する際には、認識対象の各商品Ｂは載置台１４上の認識領域Ａ内に直接配置されるか、あるいは支持部２００に配置される。具体的には、商品Ｂが置かれる時に、商品Ｂの外観的な特徴を自然と重力方向に沿って上方に向けられる（すなわち撮像装置１１に向けられる）場合には、その商品Ｂは載置台１４上の認識領域Ａ内に直接配置される。一方、商品Ｂが置かれる時に、商品Ｂの外観的な特徴が重力方向に対して側方に向く（すなわち撮像装置１１に向かない）場合には、その商品Ｂは支持部２００の上に配置される。外観的な特徴が重力方向に対して側方に向く商品Ｂは、例えば、飲料缶のように略円柱形を有している物品、あるいは透明な容器に入った柔らかい菓子のように横倒しにすることで破損する物品である。

図２は、本実施形態に係るＰＯＳ端末１００（画像認識装置）のブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

ＰＯＳ端末１００は、処理部として、画像取得部１１０、画像認識部１２０、大きさ判定部１３０、商品情報取得部１４０および表示制御部１５０を備える。また、ＰＯＳ端末１００は、記憶部として、識別情報記憶部１６１および商品情報記憶部１６２を備える。

画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する。画像データは、撮像装置１１から直接取得されてよく、あるいは記憶装置に記録されたものを読み出すことにより取得されてよい。

画像認識部１２０（抽出部ともいう）は、画像取得部１１０によって取得された画像に含まれる各商品を抽出し、抽出された各商品の画像中の範囲とともに抽出結果を出力する。画像認識部１２０は、通常の画像認識処理として、例えば、識別情報記憶部１６１には、様々な商品の基準画像から予め算出された特徴量が、各商品を識別する商品ＩＤと関連付けられて識別情報として記録される。特徴量として、形状、色、色の分布等、画像データから算出可能な商品の外観を示す任意の情報を用いてよい。画像認識部１２０は、画像取得部１１０によって取得された画像データから特徴量を算出し、識別情報記憶部１６１に記録された特徴量と比較する。そして、画像認識部１２０は、識別情報記憶部１６１の中で最も類似する（すなわち所定の基準を満たす）特徴量を有する商品を、画像中の商品として識別する。画像認識部１２０は、識別された商品の識別子である商品ＩＤを識別情報記憶部１６１から取得して出力する。また、画像認識部１２０は、識別された商品の範囲（例えば特徴量を算出した領域の左上点および右下点の座標）を出力する。画像認識部１２０によって実行される商品認識方法として、ここに示した具体的な方法に限定されず、画像データから商品を識別可能な任意の画像認識技術が用いられてよい。

画像認識部１２０は、支持部２００によって支持される商品と、載置台１４に直接載置される（すなわち支持部２００によって支持されない）商品との間で異なる処理を適用する。支持部２００が商品を支持する角度Ｃ１（図３参照）、および撮像装置１１と支持部２００との位置関係は一定であり、既知である。そのため、画像認識部１２０は、角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて商品の画像データを補正する。すなわち、画像認識部１２０は、撮像装置１１により撮像された商品の画像を、商品が支持される角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて伸長することによって、該商品の側面を真正面から撮像する場合に近い画像を生成する。このように補正された画像は一般的に真正面から商品を撮像することによって取得される基準画像と近い状態となるため、画像認識の精度を向上させることができる。

大きさ判定部１３０（決定部ともいう）は、画像認識部１２０によって決定された商品の大きさが画像中の商品の大きさに近いか否かを判定し、それによって最終的に商品を決定する。具体的な大きさ判定処理については図６を用いて後述する。

商品情報記憶部１６２には、商品の名称、価格等の商品に係る任意の商品情報が、商品ＩＤと関連付けられて予め記録される。商品情報取得部１４０は、画像認識部１２０によって取得された商品の商品ＩＤに基づいて、商品情報記憶部１６２に記録された商品情報を取得する。

表示制御部１５０は、商品情報取得部１４０によって取得された各商品の商品情報を表示する制御を行う。本実施形態において表示制御部１５０は、表示装置１３による表示のほか、プリンタによるレシート印刷等、利用者に対して視覚的に所定の情報を示す処理を制御する。

図３は、本実施形態に係る商品支持構造としての支持部２００の斜視図である。本実施形態では支持部２００は載置台１４と別の部材として構成されているが、載置台１４の載置面の一部を図３の商品支持構造にすることによって構成されてよい。支持部２００は、側面支持体２１０および底面支持体２２０を備える。側面支持体２１０は商品の側面を支持する側面支持面２１１を有し、底面支持体２２０は商品の底面を支持する底面支持面２２１を有する。側面支持面２１１および底面支持面２２１が互いに垂直（すなわちそれらのなす角度が９０度）であり、かつ側面支持面２１１が水平方向（すなわち重力方向に対して垂直な方向）に対して所定の角度Ｃ１をなすように、側面支持体２１０および底面支持体２２０は設けられている。このような構成により、支持部２００は商品を角度Ｃ１で支持し、撮像装置１１による商品の側面の撮像を容易にすることができる。

角度Ｃ１は、撮像装置１１が商品の側面を安定して撮像できるように、好ましくは０度より大きく９０度より小さい角度であり、より好ましくは３０度以上６０度以下の角度であり、本実施形態では４５度である。角度Ｃ１が水平方向に対して６０度より大きい角度である場合には、商品の側面を撮像装置１１から急角度で撮像することになるため、画像認識の精度が低下する。角度Ｃ１が水平方向に対して３０度より小さい角度である場合には、略円柱形の商品が転がったり、柔らかい商品が破損したりするおそれがある。

図４（ａ）は、本実施形態で認識対象とする商品Ｄ１、Ｄ２の模式図である。商品Ｄ１、Ｄ２は飲料缶のように略円柱形を有している物品である。商品Ｄ１、Ｄ２は互いに異なる大きさを有しており、例えば商品Ｄ１は３５０ｍｌ入りであり、商品Ｄ２は５００ｍｌ入りである。商品Ｄ１、Ｄ２の側面には、共通のロゴマークＥが表されている。すなわち、商品Ｄ１、Ｄ２は大きさが異なるバリエーションの商品である。一般的な画像認識技術は画像データ中の形状、色、色の分布等の外観の特徴量に基づいて画像認識を行う。そのため共通のロゴマークＥを有する商品Ｄ１、Ｄ２は、画像認識によって区別されづらく、同一の商品であると誤認されやすい。

本実施形態では、このように外観が類似した商品Ｄ１、Ｄ２について、商品Ｄ１、Ｄ２が配置される基準線（基準座標）からの差を用いることによって大きさの区別を容易にし、画像認識の精度を向上させる。

図４（ｂ）は、本実施形態で識別情報記憶部１６１に記録されている商品Ｄ１、Ｄ２の識別情報を示す模式図である。識別情報記憶部１６１には、商品Ｄ１、Ｄ２の識別情報として、商品Ｄ１、Ｄ２の商品ＩＤ、商品Ｄ１、Ｄ２の画像から算出される特徴量とともに、商品Ｄ１、Ｄ２のそれぞれの商品画像の外縁を囲む矩形の領域である外縁Ｆ１、Ｆ２の範囲（例えば左上点および右下点の座標）が記録される。外縁Ｆ１、Ｆ２は、商品Ｄ１、Ｄ２の外形を検出することによって自動的に検出されてよく、あるいは利用者によって設定されてよい。図４（ｂ）には視認性のために商品Ｄ１、Ｄ２の画像そのものが示されているが、商品Ｄ１、Ｄ２から算出される特徴量および商品Ｄ１、Ｄ２の外縁Ｆ１、Ｆ２の範囲を示す情報が、文字列、バイナリデータ等の任意の形式で識別情報記憶部１６１に記録されていればよい。

図５は、商品が配置された状態の支持部２００の上面図である。図５は、側面支持面２１１に対して垂直な方向から、商品Ｄ１、Ｄ２を支持している状態の支持部２００を見た図である。図５のように側面支持面２１１が商品Ｄ１、Ｄ２の側面を支持し、底面支持面２２１が商品Ｄ１、Ｄ２の底面を支持するため、支持部２００は商品Ｄ１、Ｄ２の底面を底面支持面２２１に揃えて支持するとともに、撮像装置１１による商品Ｄ１、Ｄ２の側面の撮像を容易にすることができる。

図６（ａ）〜６（ｃ）は、本実施形態に係る画像認識システム１０によって行われる大きさ判定処理の模式図である。図６（ａ）〜６（ｃ）にはそれぞれｘ軸およびｙ軸が示されているが、ｘ軸およびｙ軸のとり方は任意である。ここでは画像中の商品Ｄ１、Ｄ２は互いに類似しているため、商品Ｄ１、Ｄ２は従来の画像認識処理によって商品Ｄ１、Ｄ２のどちらにも決定され得る。本実施形態に係る大きさ判定処理は、画像中の商品Ｄ１、Ｄ２が、それぞれ大きさが異なる類似商品Ｄ１、Ｄ２のどちらであるか基準線（基準座標）を用いて高精度に識別する。ここでは商品の種類が２つの場合を示したが、種類の数は少なくとも２つの任意の数でよい。

図６（ａ）〜６（ｃ）には、撮像装置１１によって取得される画像において、商品Ｄ１、Ｄ２とともに、大きさ判定の基準とする基準線Ｇ（すなわち基準座標の集まり）が示されている。基準線Ｇは、例えばｙ＝Ａ（Ａは定数）の式によって表される基準座標（基準点）であってもよい。商品Ｄ１、Ｄ２は支持部２００によって支持されているため、商品Ｄ１、Ｄ２の所定の面（ここでは底面）は底面支持面２２１に自然と揃えられている。そのため、本実施形態では底面支持面２２１の位置を基準線Ｇとして定義し、各商品の底面は基準線Ｇ上に位置する。基準線Ｇ上に位置させる所定の面は、底面に限らず、商品の形状に応じた任意の面でよい。

まず大きさ判定部１３０は、図６（ａ）に示すように、撮像装置１１によって取得される画像における商品Ｄ１、Ｄ２の位置および基準線Ｇの位置を取得する。大きさ判定部１３０は、画像認識部１２０が抽出した商品Ｄ１、Ｄ２の位置を画像認識部１２０から受け取る。撮像装置１１によって取得される画像中の基準線Ｇの位置は、利用者によって予め設定され、記憶装置に記録されてよい。その場合には、大きさ判定部１３０は、例えば撮像装置１１によって取得される画像における特定の画素の座標を、基準線Ｇの位置として記憶装置から読み出す。あるいは撮像装置１１によって取得される画像中の基準線Ｇの位置は、画像認識部１２０が支持部２００（底面支持面２２１）を画像認識することによって設定されてよい。その場合には、大きさ判定部１３０は、例えば画像認識部１２０が支持部２００の形状、色、模様等の外観に基づいて決定した底面支持面２２１の位置を、基準線Ｇの位置として画像認識部１２０から受け取る。

第１に、画像認識部１２０によって商品Ｄ１、Ｄ２に対してともに商品Ｄ１が抽出された場合を説明する。大きさ判定部１３０は、決定された商品Ｄ１に対応する外縁Ｆ１の範囲を画像認識部１２０から受け取る。そして大きさ判定部１３０は、図６（ｂ）のように商品Ｄ１の外縁Ｆ１を、画像中の商品Ｄ１、Ｄ２に重ねる。外縁Ｆ１の範囲および画像中の商品Ｄ１、Ｄ２の範囲は、例えばそれぞれの領域の左下点および右下点の座標（ｘ座標およびｙ座標）によって表される。そして、外縁Ｆ１の範囲および画像中の商品Ｄ１、Ｄ２の範囲の向きおよび中心点（重心）が一致するように、外縁Ｆ１および商品Ｄ１、Ｄ２は重ねられる。この状態が図６（ｂ）に示されている。大きさ判定部１３０は、画像中の各商品について基準線Ｇと外縁Ｆ１と間の距離を差Ｈとして算出する。画像認識部１２０は、差Ｈが所定の範囲内である場合（ここでは画像中の商品Ｄ１に商品Ｄ１の外縁Ｆ１が重ねられた場合）に、抽出された商品Ｄ１を採用し、所定の範囲内でない場合（ここでは画像中の商品Ｄ２に商品Ｄ１の外縁Ｆ１が重ねられた場合）に、抽出された商品Ｄ１を破棄する。差Ｈの所定の範囲は、利用者によって予め設定される。

第２に、画像認識部１２０によって商品Ｄ１、Ｄ２に対してともに商品Ｄ２が抽出された場合を説明する。大きさ判定部１３０は、決定された商品Ｄ２に対応する外縁Ｆ２の範囲を画像認識部１２０から受け取る。そして大きさ判定部１３０は、図６（ｃ）のように商品Ｄ２の外縁Ｆ２を、画像中の商品Ｄ１、Ｄ２に重ねる。外縁Ｆ２の範囲および画像中の商品Ｄ１、Ｄ２の範囲は、例えばそれぞれの領域の左下点および右下点の座標（ｘ座標およびｙ座標）によって表される。そして、外縁Ｆ２の範囲および画像中の商品Ｄ１、Ｄ２の範囲の向きおよび中心点（重心）が一致するように、外縁Ｆ２および商品Ｄ１、Ｄ２は重ねられる。この状態が図６（ｃ）に示されている。大きさ判定部１３０は、画像中の各商品について基準線Ｇと外縁Ｆ２と間の距離を差Ｈとして算出する。画像認識部１２０は、差Ｈが所定の範囲内である場合（ここでは画像中の商品Ｄ２に商品Ｄ２の外縁Ｆ２が重ねられた場合）に、抽出された商品Ｄ２を採用し、所定の範囲内でない場合（ここでは画像中の商品Ｄ１に商品Ｄ２の外縁Ｆ２が重ねられた場合）に、抽出された商品Ｄ１を破棄する。差Ｈの所定の範囲は、利用者によって予め設定される。

ここでは差Ｈとして基準線Ｇと外縁（すなわち外縁の基準線Ｋに最も近い点）との間の距離を用いたが、基準線Ｇと外縁との間の相対的な位置関係を表すその他の値を用いてもよい。例えば、外縁のいずれかの辺の中点を外縁の基準点とし、該基準点と基準線Ｇとの間の距離を差Ｈとして用いてもよい。あるいは、外縁の各辺の中点をそれぞれ外縁の基準点とし、複数の該基準点のそれぞれと基準線Ｇとの間の複数の距離を差Ｈとして用いてもよい。あるいは、商品の向きを検出することによって外縁の底辺を特定し、底辺上の特定の点（例えば端点又は中点）を外縁の基準点とし、該基準点と基準線Ｋとの間の距離を差Ｈとして用いてもよい。

このように本実施形態に係る大きさ判定部１３０は、商品の外縁と基準線との間の差を算出し、該差が所定の範囲内である場合に、画像中の商品に近い大きさであるとみなし、商品を高精度に判定することができる。また、支持部２００が商品を支持するため、商品（商品の底面）の位置を基準線に容易に揃えることができる。

図７は、本実施形態に係るＰＯＳ端末１００（画像認識装置）の例示的な機器構成を示す概略構成図である。ＰＯＳ端末１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メモリ１０２と、記憶装置１０３と、インターフェース１０４とを備える。ＰＯＳ端末１００は独立した装置でよく、あるいは他の装置と一体に構成されてよい。

インターフェース１０４は、他の機器に接続されて信号の送受信を行う接続部である。インターフェース１０４は、信号の送受信に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。インターフェース１０４は、ＣＰＵ１０１からの信号に従って、接続された機器との間で信号の送受信を行う。インターフェース１０４は、例えば撮像装置１１、投影装置１２、表示装置１３および入力装置１５に接続され、それらと信号の送受信を行う。インターフェース１０４は、これらのほかネットワークやその他の機器に接続されてよい。

記憶装置１０３は、ＰＯＳ端末１００が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置１０３は、読み取り専用のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置１０３は、ＣＤ−ＲＯＭ等のコンピュータ読取可能な可搬記憶媒体を含んでもよい。メモリ１０２は、ＣＰＵ１０１が処理中のデータや記憶装置１０３から読み出されたプログラムおよびデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

ＣＰＵ１０１は、処理に用いる一時的なデータをメモリ１０２に一時的に記録し、記憶装置１０３に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別などの処理動作を実行するプロセッサである。また、ＣＰＵ１０１は、記憶装置１０３に処理結果のデータを記録し、またインターフェース１０４を介してデータや制御信号を外部に送信する。

本実施形態においてＣＰＵ１０１は、記憶装置１０３に記録されたプログラムを実行することによって、図２の画像取得部１１０、画像認識部１２０、大きさ判定部１３０、商品情報取得部１４０および表示制御部１５０として機能する。また、本実施形態において記憶装置１０３は、図２の識別情報記憶部１６１および商品情報記憶部１６２として機能する。

ＰＯＳ端末１００は、図７に示す具体的な構成に限定されない。ＰＯＳ端末１００は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。ＰＯＳ端末１００に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。

また、ＰＯＳ端末１００の少なくとも一部がＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）形式で提供されてよい。すなわち、ＰＯＳ端末１００を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。

図８は、本実施形態に係る画像認識方法のフローチャートを示す図である。図８のフローチャートは、利用者が画像認識システム１０に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がＰＯＳ端末１００に接続された入力装置１５（キーボードやタッチパネル）のボタンを押下することによって、図８のフローチャートが開始される。

まず、画像取得部１１０は、撮像装置１１によって撮像された画像を示す信号を受け取り、画像データとしてＰＯＳ端末１００に入力する（ステップＳ１０１）。

次に画像認識部１２０は、ステップＳ１０１で取得された画像の中で、支持部２００に対応する領域（支持部領域）に対して、支持部２００の角度Ｃ１および撮像装置１１と支持部２００との位置関係を用いて補正を行い、１つの画像データとして出力する（ステップＳ１０２）。支持部領域は、画像中の位置（例えば画素の座標）として予め設定されている。また、画像認識によって画像から支持部２００の位置を決定し、該位置を支持部領域として用いてもよい。

画像認識部１２０はステップＳ１０２で補正された画像データを用いて商品の画像認識処理を行い、識別情報記憶部１６１の識別情報に基づいて商品を抽出する（ステップＳ１０３）。そして画像認識部１２０は、ステップＳ１０３で抽出された商品を、画像中の商品として決定する（ステップＳ１０４）。１つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。

次に大きさ判定部１３０は、ステップＳ１０１で取得された画像から基準線Ｇの位置を取得する（ステップＳ１０５）。商品の所定の面（例えば底面）は、基準線Ｇ上に位置している。画像中の基準線Ｇの位置は、例えば利用者によって予め設定された内容を読み出すこと、又はステップＳ１０１で取得された画像に対して画像認識を行うことによって取得される。

次に大きさ判定部１３０は、画像中の商品の範囲およびステップＳ１０４で決定された商品の外縁の範囲を示す情報を画像認識部１２０から受け取り、ステップＳ１０４で決定された商品の外縁を画像中の商品に重ねる（ステップＳ１０６）。このとき、例えば外縁の範囲および商品の範囲の向きおよび中心点（重心）が一致するように、ステップＳ１０４で決定された商品の外縁が画像中の商品に重ねられる。商品の外縁は、例えば識別情報記憶部１６１に予め記録される。なお、商品の外縁とは、予め登録されている商品画像の外縁であってもよく、予め登録されている商品の外縁そのもの（すなわち外縁を表す点又は線の集まり）を記憶していてもよい。

次に大きさ判定部１３０は、商品に重ねられた外縁の基準点と基準線Ｇとの間の距離を差Ｈとして算出する（ステップＳ１０７）。例えば、外縁の基準線Ｇに最も近い点を外縁の基準点とし、該基準点と基準線Ｇとの間の距離を差Ｈとして用いてもよい。あるいは、外縁のいずれかの辺の中点を外縁の基準点とし、該基準点と基準線Ｇとの間の距離を差Ｈとして用いてもよい。あるいは、外縁の各辺の中点をそれぞれ外縁の基準点とし、複数の該基準点のそれぞれと基準線Ｇとの間の複数の距離を差Ｈとして用いてもよい。あるいは、商品の向きを検出することによって外縁の底辺を特定し、底辺上の特定の点（例えば端点又は中点）を外縁の基準点とし、該基準点と基準線Ｇとの間の距離を差Ｈとして用いてもよい。

ステップＳ１０７で算出された差Ｈが所定の範囲内である場合に（ステップＳ１０８のＹＥＳ）、商品情報取得部１４０は、ステップＳ１０４で決定された商品の商品ＩＤに基づいて商品情報記憶部１６２から商品情報を取得し、表示制御部１５０は表示装置１３を用いて商品情報を表示する制御を行う（ステップＳ１０９）。

ステップＳ１０７で算出された差Ｈが所定の範囲内でない場合に（ステップＳ１０８のＮＯ）、商品情報取得部１４０は、ステップＳ１０４で決定された商品の識別結果を破棄する（ステップＳ１１０）。

特に所定の時間ごとに図８のフローチャートが実行される場合には、載置台１４に置かれたままの同一商品について繰り返し商品情報が取得されてしまい、会計において同一商品の価格が複数回集計されるおそれがある。そこで、画像認識部１２０が所定の時間以内又は所定のフレーム数以内に近似（例えば重心の位置の差が所定の値以下）の位置で同一の商品を識別した場合に、商品情報取得部１４０はステップＳ１０９において該商品についての商品情報の取得を行わない（図８のフローチャートには不図示）。

図８のフローチャートでは、ステップＳ１０４で商品を仮に決定し、基準線との差が所定の範囲外であればステップＳ１１０で商品の識別結果を破棄するが、この具体的な形態に限られない。例えばステップＳ１０４で画像中の商品に類似する商品の複数の候補を抽出し、該複数の候補のうち基準線との差が所定の基準を満たす（例えば最も差が小さい）候補を、画像中の商品として決定してもよい。

ＰＯＳ端末１００のＣＰＵ１０１は、図８に示す画像認識方法に含まれる各ステップ（工程）の主体となる。すなわち、ＣＰＵ１０１は、図８に示す画像認識方法を実行するためのプログラムをメモリ１０２又は記憶装置１０３から読み出し、該プログラムを実行してＰＯＳ端末１００の各部を制御することによって図８に示す画像認識方法を実行する。

本実施形態に係る画像認識システム１０は、商品の外観に加えて、商品の外縁と基準線（基準座標）との位置の差を用いて商品の識別を行う。これにより、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を決定することができるため、画像認識の精度を向上させることができる。

また、本実施形態は商品の底面が基準線に揃っていることを前提とするが、支持部２００が商品を支持するとともに、基準線が底面支持面２２１に対応するため、商品（商品の底面）を基準線に容易に揃えることができる。

（第２の実施形態）
第１の実施形態では支持部２００を用いて商品の位置を基準線Ｇに揃えているのに対して、本実施形態では利用者によって商品の位置を載置台１４上に表される基準線Ｇに揃える。本実施形態は、第１の実施形態と同様の構成を有する画像認識システム１０を用いる。本実施形態は、第１の実施形態の代わりに用いられてよく、あるいは第１の実施形態に組み合わせて用いてられてよい。

図９は、本実施形態に係る載置台１４上の認識領域Ａの上面図である。図９には、撮像装置１１を載置台１４上に投影した位置が破線で示されている。認識領域Ａ内には、大きさ判定の基準とする基準線Ｇが表されている。基準線Ｇは、利用者に視覚的に示すことができる任意の方法によって表され、例えば載置台１４上の設けられた突起や窪み等の構造、載置台１４に表された記号や色、あるいは投影装置１２により投影された光によって表される。

撮像装置１１によって取得される画像中の基準線Ｇの位置は、利用者によって予め設定されるか、あるいは画像認識部１２０が認識領域Ａ内の基準線Ｇを画像認識することによって設定されてよい。

画像認識を行う前に、利用者は飲料缶等の大きさが異なるバリエーションがあり得る商品Ｄ１、Ｄ２を、その底面が基準線Ｇに揃うように配置する。なお、バリエーションのない商品については、利用者は認識領域Ａ上の任意の領域に配置してもよい。

次に、利用者は画像認識システム１０に対して画像認識方法を実行するための操作を行う。画像認識システム１０は、図８のフローチャートに示す画像認識方法に従って、載置台１４上に配置された商品Ｄ１、Ｄ２に対して画像認識を行う。そして、画像認識システム１０は、認識領域Ａ内に表された基準線Ｇに基づいて大きさの判定を行う。

その後、画像認識システム１０は、画像認識によって識別された商品の商品情報を表示装置１３に表示する。

本実施形態では、第１の実施形態とは異なり利用者の手で商品を基準線Ｇに揃うように配置する手間があるものの、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を選択的に識別することができるため、画像認識の精度を向上させることができる。

（第３の実施形態）
第１および第２の実施形態はＰＯＳ端末において会計時の商品を画像認識の対象とするのに対して、本実施形態は棚に置かれた状態の商品を画像認識の対象とする。以下では主に第１の実施形態と異なる点を説明する。

図１０は、本実施形態に係る画像認識システム２０の模式図である。画像認識システム２０は、画像認識装置３００、画像認識の対象とする商品を配置するための棚４００を備える。画像認識装置３００には、棚４００上の商品を撮像可能な位置に設けられた撮像装置１１、および商品に係る情報を表示する表示装置１３が接続されている。撮像装置１１および表示装置１３の構成は第１の実施形態と同様である。第１の実施形態に比べて投影装置１２は省略されているが、設けられてもよい。

第１の実施形態ではＰＯＳ端末１００を画像認識装置としているが、本実施形態では一般的なコンピュータを画像認識装置３００とする。第１の実施形態のように、画像認識装置３００をＰＯＳ端末のような他の装置と一体に構成してもよい。

画像認識装置３００の機器構成は、図７に示すＰＯＳ端末１００の機器構成と同様である。画像認識装置３００は、画像認識方法によって棚４００上の商品を識別し、表示装置１３に棚４００上の商品の配置に関する情報を表示する。商品の配置に関する情報は、例えば特定の商品が配置されている数および位置の情報、あるいは商品の配置が基準とする陳列条件を満たしているか否かの情報等である。

撮像装置１１は、棚４００の前面を撮像可能な位置に設けられ、不図示の柱、アーム、天井等に固定される。１つの撮像装置１１で棚４００の広範囲の画像認識を行うために、撮像装置１１を可動にし、棚４００の異なる領域を撮像可能にすることが望ましい。撮像装置１１は、少なくとも棚４００の前面を含む領域を撮像可能であり、撮像した画像を示す信号を画像認識装置３００に送信する。撮像装置１１が撮像した画像を示す信号は、直接画像認識装置３００に送信されてよく、あるいは一旦記憶装置に記録された後に画像認識装置３００によって読み出されてよい。撮像装置１１は、所定の時間間隔で撮像を行ってよく、あるいは画像認識装置３００からの指示に従って撮像を行ってよい。

図１１は、本実施形態に係る棚４００の前面図である。棚４００は、水平方向（すなわち重力方向に対して垂直な方向）に延在する少なくとも１つの棚板４１０を有する。棚板４１０上に商品Ｄ１、Ｄ２が載置される。撮像装置１１によって商品Ｄ１、Ｄ２の配置が撮像可能であれば、棚４００の前面側に透明な扉が設けられてもよい。

本実施形態において、棚板４１０の上面が、大きさ判定の基準とする基準線Ｇに対応する。そのため、棚４００に配置されている商品Ｄ１、Ｄ２の所定の面（ここでは底面）は、基準線Ｇに自然と揃えられている。

撮像装置１１によって取得される画像中の基準線Ｇの位置は、利用者によって予め設定されるか、あるいは画像認識部１２０が棚板４１０を画像認識することによって設定されてよい。

画像認識を行う際に、利用者は画像認識システム２０に対して画像認識方法を実行するための操作を行う。画像認識システム２０は、図８のフローチャートに示す画像認識方法に従って、棚４００に配置された商品Ｄ１、Ｄ２に対して画像認識を行う。そして、画像認識システム１０は、基準線Ｇ（すなわち棚板４１０の上面）に基づいて大きさの判定を行う。

その後、画像認識システム２０は、画像認識によって識別された商品の商品情報を用いて、表示装置１３に棚４００上の商品の配置に関する情報を表示する。

本実施形態に係る画像認識システム２０は、会計時の商品ではなく、棚に並んでいる商品に対して画像認識を行い、商品の配置に関する情報を出力する。このとき、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を選択的に識別することができるため、画像認識の精度を向上させることができる。また、商品が配置されている棚板の上面を大きさ判定の基準線とするため、商品（商品の底面）を基準線に容易に揃えることができる。

（その他の実施形態）
図１２は、上述の各実施形態に係る画像認識装置の概略構成図である。図１２には、画像認識装置（すなわちＰＯＳ端末１００又は画像認識装置３００）が、基準座標の情報を用いて商品の画像認識を行う装置として機能するための構成例が示されている。画像認識装置（ＰＯＳ端末）１００、３００は、所定の面が基準座標の上に位置するように配置されている商品の画像を取得する画像取得部１１０と、取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する画像認識部（抽出部）１２０と、取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する大きさ判定部（決定部）１３０と、を備える。

本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（例えば、図８に示す処理をＰＯＳ端末１００又は画像認識装置３００に実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
所定の面が基準座標の上に位置するように配置されている商品の画像を取得する画像取得部と、
取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、
取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する決定部と、
を備える画像認識装置。

（付記２）
前記決定部は、前記差が所定の範囲内である場合に、抽出した前記商品を、取得した前記画像中の前記商品として決定することを特徴とする、付記１に記載の画像認識装置。

（付記３）
前記決定部は、取得した前記画像中の前記商品の中心が前記外縁の中心に一致するように、取得した前記画像中の前記商品に前記外縁を重ねることを特徴とする、付記１又は２に記載の画像認識装置。

（付記４）
前記外縁は、抽出した前記商品を囲む矩形の領域であることを特徴とする、付記１〜３のいずれか一項に記載の画像認識装置。

（付記５）
前記商品は、前記商品の前記所定の面を支持する支持面を有する支持構造によって支持され、
前記基準座標は前記支持面に対応することを特徴とする、付記１〜４のいずれか一項に記載の画像認識装置。

（付記６）
前記商品は、水平方向に延在する載置台に載置され、
前記基準座標は、前記載置台上に表されていることを特徴とする、付記１〜４のいずれか一項に記載の画像認識装置。

（付記７）
前記商品は、水平方向に延在する棚板を有する棚に配置され、
前記基準座標は、前記棚板の上面に対応することを特徴とする、付記１〜４のいずれか一項に記載の画像認識装置。

（付記８）
所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
前記外縁と前記基準座標との差を算出するステップと、
前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、
を有する画像認識方法。

（付記９）
コンピュータに、
所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
前記外縁と前記基準座標との差を算出するステップと、
前記差に基づいて、取得した前記画像中の前記商品を決定するステップと、
を実行させるプログラム。

（付記１０）
商品を載置するための載置台と、
撮像装置によって取得される前記商品の画像に対して画像認識を行う画像認識装置と、
を備え、
前記画像認識装置は、
所定の面が基準座標の上に位置するように配置されている前記商品の前記画像を取得する画像取得部と、
取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、
取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との差を算出し、前記差に基づいて、取得した前記画像中の前記商品を決定する決定部と、を備える
ことを特徴とする画像認識システム。

１０、２０ 画像認識システム
１００、３００ 画像認識装置
１１０ 画像取得部
１２０ 画像認識部
１３０ 大きさ判定部
Ａ 認識領域
Ｆ１、Ｆ２ 外縁
Ｇ 基準線

Claims (9)

1. 所定の面が基準座標の上に位置するように配置されている商品の画像を取得する画像取得部と、
   取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、
   取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との間の距離を差として算出し、前記差が所定の範囲内である場合に抽出した商品を採用し、前記差が所定の範囲内でない場合に抽出した商品を破棄することにより、取得した前記画像中の前記商品を決定する決定部と、
   を備える画像認識装置。
2. 前記決定部は、取得した前記画像中の前記商品の中心が前記外縁の中心に一致するように、取得した前記画像中の前記商品に前記外縁を重ねることを特徴とする、請求項１に記載の画像認識装置。
3. 前記外縁は、抽出した前記商品を囲む矩形の領域であることを特徴とする、請求項１又は２に記載の画像認識装置。
4. 前記商品は、前記商品の前記所定の面を支持する支持面を有する支持構造によって支持され、
   前記基準座標は前記支持面に対応することを特徴とする、請求項１〜３のいずれか一項に記載の画像認識装置。
5. 前記商品は、水平方向に延在する載置台に載置され、
   前記基準座標は、前記載置台上に表されていることを特徴とする、請求項１〜３のいずれか一項に記載の画像認識装置。
6. 前記商品は、水平方向に延在する棚板を有する棚に配置され、
   前記基準座標は、前記棚板の上面に対応することを特徴とする、請求項１〜３のいずれか一項に記載の画像認識装置。
7. 所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
   取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
   取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
   前記外縁と前記基準座標との間の距離を差として算出するステップと、
   前記差が所定の範囲内である場合抽出された商品を採用し、前記差が所定の範囲内でない場合に、抽出された商品を破棄することにより、取得した前記画像中の前記商品を決定するステップと、
   を有する画像認識方法。
8. コンピュータに、
   所定の面が基準座標の上に位置するように配置されている商品の画像を取得するステップと、
   取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出するステップと、
   取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ねるステップと、
   前記外縁と前記基準座標との間の距離を差として算出するステップと、
   前記差が所定の範囲内である場合抽出された商品を採用し、前記差が所定の範囲内でない場合に、抽出された商品を破棄することにより、取得した前記画像中の前記商品を決定するステップと、
   を実行させるプログラム。
9. 商品を載置するための載置台と、
   撮像装置によって取得される前記商品の画像に対して画像認識を行う画像認識装置と、
   を備え、
   前記画像認識装置は、
   所定の面が基準座標の上に位置するように配置されている前記商品の前記画像を取得する画像取得部と、
   取得した前記画像中の前記商品の外観に基づいて、取得した前記画像中の前記商品に対応する商品を抽出する抽出部と、
   取得した前記画像中の前記商品に、抽出した前記商品の外縁を重ね、前記外縁と前記基準座標との間の距離を差として算出し、前記差が所定の範囲内である場合抽出された商品を採用し、前記差が所定の範囲内でない場合に、抽出された商品を破棄することにより、取得した前記画像中の前記商品を決定する決定部と、
   を備えることを特徴とする画像認識システム。

Images