以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。
(第1の実施形態)
図1は、本実施形態に係る画像認識システム10の模式図である。画像認識システム10は、画像認識装置としてのPOS端末(販売時点情報管理端末)100、画像認識の対象とする商品を載置するための載置台14、および載置台14上において商品を支持するための支持部200を備える。POS端末100には、載置台14上の商品を撮像可能な位置に設けられた撮像装置11、載置台14上に所定の像を投影可能な投影装置12、および商品に係る情報を表示する表示装置13が接続されている。本実施形態では、画像認識装置は、POS端末100と一体として構成されているが、POS端末100とは別に設けられ、POS端末100と必要な情報を授受して本実施形態に係る画像認識方法を実施するように構成されてもよい。
POS端末100は、表示装置13に会計中の商品情報、会計の金額、所定のメッセージ等を表示する。商品情報は、後述の画像認識方法によって取得される。また、POS端末100は、入出金やレシートの印刷等、会計に係る任意の処理を行ってよい。
載置台14は、水平方向(すなわち重力方向に対して垂直な方向)に延在する載置面(上面)を有する。載置台14上には1つ以上の商品Bが載置される。
撮像装置11は、重力方向に沿って載置台14の上方に設けられ、不図示の柱、アーム、天井等に固定される。撮像装置11は、例えばCCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサ等のイメージセンサによって画像を取得するカメラ又はスキャナ等の任意の撮像装置である。撮像装置11は、少なくとも載置台14の載置面を含む領域を撮像可能であり、撮像した画像を示す信号をPOS端末100に送信する。撮像装置11が撮像した画像を示す信号は、直接POS端末100に送信されてよく、あるいは一旦記憶装置に記録された後にPOS端末100によって読み出されてよい。載置台14上の商品を一様に撮像するために、撮像装置11の光軸は載置台14の載置面の法線と一致していることが望ましい。撮像装置11は、所定の時間間隔で撮像を行ってよく、あるいはPOS端末100からの指示に従って撮像を行ってよい。
投影装置12は、重力方向に沿って載置台14の上方に設けられ、不図示の柱、アーム、天井等に固定される。投影装置12はランプ、LED(Light Emitting Diode)等の光源を用いて所望の像を投影するプロジェクタ等の任意の投影装置である。投影装置12は、POS端末100からの信号に従って、載置台14の載置面上に像を投影する。投影装置12は、このような投影が実現可能な所定位置に設置される。投影装置12の設置位置は設計的事項である。例えば、投影装置12は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置12は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台14を透明の部材で構成し、載置台14の下方に投影装置12を設置してもよい。この場合、投影装置12は、載置台14の下側から、載置台14の載置面上に像を投影する。
本実施形態において投影装置12は、撮像装置11によって撮像されて画像認識が行われる認識領域Aを示す像(例えば認識領域Aを取り囲む枠)を載置台14の載置面上に投影する。認識領域Aは、撮像装置11の撮像領域と一致してよく、あるいは撮像装置11の撮像領域の一部でよい。認識領域Aは、POS端末100において予め設定されてよく、あるいは利用者によって設定されてよい。
支持部200は、載置台14の載置面上において、商品Bを重力方向に対して所定の角度に支持するための支持構造である。支持部200は、認識領域A内において、載置台14と一体に(すなわち載置台14の一部として)構成されてよく、あるいは載置台14上に載置される部材として構成されてよい。支持部200の詳細な構成については、図2〜4を用いて後述する。
表示装置13は、利用者(すなわち店員又は顧客)に対して商品情報等の任意の情報を表示する表示装置である。表示装置13として、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ等の任意の表示装置を用いてよい。
商品認識方法を実行する際には、認識対象の各商品Bは載置台14上の認識領域A内に直接配置されるか、あるいは支持部200に配置される。具体的には、商品Bが置かれる時に、商品Bの外観的な特徴を自然と重力方向に沿って上方に向けられる(すなわち撮像装置11に向けられる)場合には、その商品Bは載置台14上の認識領域A内に直接配置される。一方、商品Bが置かれる時に、商品Bの外観的な特徴が重力方向に対して側方に向く(すなわち撮像装置11に向かない)場合には、その商品Bは支持部200の上に配置される。外観的な特徴が重力方向に対して側方に向く商品Bは、例えば、飲料缶のように略円柱形を有している物品、あるいは透明な容器に入った柔らかい菓子のように横倒しにすることで破損する物品である。
図2は、本実施形態に係る商品支持構造としての支持部200の斜視図である。本実施形態では支持部200は載置台14と別の部材として構成されているが、載置台14の載置面の一部を図2の商品支持構造にすることによって構成されてよい。支持部200は、側面支持体210および底面支持体220を備える。側面支持体210は商品の側面を支持する側面支持面211を有し、底面支持体220は商品の底面を支持する底面支持面221を有する。側面支持面211および底面支持面221が互いに垂直(すなわちそれらのなす角度が90度)であり、かつ側面支持面211が水平方向(すなわち重力方向に対して垂直な方向)に対して所定の角度C1をなすように、側面支持体210および底面支持体220は設けられている。このような構成により、支持部200は商品を角度C1で支持し、撮像装置11による商品の側面の撮像を容易にすることができる。
角度C1は、撮像装置11が商品の側面を安定して撮像できるように、好ましくは0度より大きく90度より小さい角度であり、より好ましくは30度以上60度以下の角度であり、本実施形態では45度である。角度C1が水平方向に対して60度より大きい角度である場合には、商品の側面を撮像装置11から急角度で撮像することになるため、画像認識の精度が低下する。角度C1が水平方向に対して30度より小さい角度である場合には、略円柱形の商品が転がったり、柔らかい商品が破損したりするおそれがある。
図3は、本実施形態に係る商品支持構造としての支持部200の上面図である。図3は、側面支持面211に対して垂直な方向から、商品Dを支持している状態の支持部200を見た図である。例えば商品Dは、飲料缶のように略円柱形を有している物品、あるいは透明な容器に入った柔らかい菓子のように横倒しにすることで破損する物品である。このように側面支持面211が商品Dの側面を支持し、底面支持面221が商品Dの底面を支持するため、支持部200は商品Dを安定的に支持するとともに、撮像装置11による商品Dの撮像を容易にすることができる。
側面支持面211の底面支持面221に対して垂直な方向に沿った長さC2(以下、高さという)は、支持部200によって支持される略円柱形の商品Dの底面支持面221に対して垂直な方向に沿った長さ(以下、高さという)よりも小さいことが望ましい。略円柱形の商品Dが飲料缶である場合には、一般的に上部に飲み口が設けられる。側面支持面211の高さC2が商品Dの高さ以上である場合には、商品Dを支持部200に配置する際に飲み口が側面支持面211に触れる場合がある。そのため、側面支持面211の高さC2を商品Dの高さよりも小さくすることによって、商品Dの飲み口が側面支持面211に触れづらく、衛生的に好ましい状態にすることができる。
人間の手で商品を支持する場合には商品の角度が一定でないため、時間ごとに商品の角度が変化し、1つの商品を複数の商品であると誤認したり、画像認識の精度が低下したりするおそれがある。それに対して本実施形態では支持部200が商品を所定の角度C1に支持するため、画像認識の精度を向上させることができる。
図4(a)は、本実施形態に係る載置台14上の認識領域Aの上面図である。図4(a)には、撮像装置11を載置台14上に投影した位置が破線で示されている。支持部200は、側面支持面211が撮像装置11に対向するように、すなわち底面支持面221が側面支持面211よりも撮像装置11に近いように設けられる。これにより、支持部200に支持される商品の側面は、撮像装置11に向くため、撮像装置11によって撮像可能である。
支持部200は、認識領域Aの端に接して又は端の近傍に設けられる。具体的には、支持部200は、撮像装置11の光軸が認識領域Aと交わる点E1と、認識領域Aの端とを結ぶ線分E2の中点よりも認識領域Aの端に近い位置に配置されることが好ましい。さらに支持部200は、線分E2の三等分点のうち認識領域Aの端側の点よりも認識領域Aの端に近い位置に配置されることがより好ましい。
認識領域Aにおいて、撮像装置11の光軸から離れるほど、すなわち撮像装置11の画角の端に近付くほど、撮像される像の歪みが大きくなる。これは、撮像装置11に対して球面状に入射する光を平面の画像に投影するためである。図4(b)は、認識領域Aの端の近傍から撮像装置11に入射する光の面E3の模式図である。認識領域Aの端の近傍では、光の面E3の延在する方向は、図4(b)に示すように重力方向に近い。したがって、載置台14上に横倒しで載置される商品F2の側面は、重力方向に垂直な方向に延在するため、重力方向に近い光によって撮像される際に像の歪みが大きくなる。それに対して、支持部200に0度より大きい所定の角度で支持される商品F1の側面の延在する方向は、重力方向に近い光の方向と近いため、像の歪みの影響が小さい。このように、本実施形態では支持部200を認識領域Aの端に接して又は端の近傍に配置するため、撮像装置11の画角による影響を低減し、商品の認識精度を向上させることができる。
図5は、本実施形態に係るPOS端末100(画像認識装置)のブロック図である。図5において、矢印は主なデータの流れを示しており、図5に示したもの以外のデータの流れがあってよい。図5において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図5に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
POS端末100は、処理部として、画像取得部110、画像認識部120、商品情報取得部130および表示制御部140を備える。また、POS端末100は、記憶部として、識別情報記憶部151および商品情報記憶部152を備える。
画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する。画像データは、撮像装置11から直接取得されてよく、あるいは記憶装置に記録されたものを読み出すことにより取得されてよい。
画像認識部120は、画像取得部110によって取得された画像データに含まれる各商品を抽出する。例えば、識別情報記憶部151には、様々な商品の基準画像から予め算出された特徴量が、各商品を識別する商品IDと関連付けられて記録される。特徴量として、形状、色、色の分布等、画像データから算出可能な商品の外観を示す任意の情報を用いてよい。画像認識部120は、画像取得部110によって取得された画像データから特徴量を算出し、識別情報記憶部151に記録された特徴量と比較する。そして、画像認識部120は、識別情報記憶部151の中で最も類似する(すなわち所定の基準を満たす)特徴量を有する商品を、画像データ中の商品として識別する。画像認識部120は、識別された商品の商品IDを識別情報記憶部151から取得する。画像認識部120によって実行される商品認識方法として、ここに示した具体的な方法に限定されず、画像データから商品を識別可能な任意の画像認識技術が用いられてよい。
画像認識部120は、支持部200によって支持される商品と、載置台14に直接載置される(すなわち支持部200によって支持されない)商品との間で異なる処理を行う。支持部200が商品を支持する角度C1、および撮像装置11と支持部200との位置関係は一定であり、既知である。そのため、画像認識部120は、画像データの中で支持部200に対応する領域に対して、角度C1および撮像装置11と支持部200との位置関係を用いて補正する。すなわち、画像認識部120は、撮像装置11により撮像された商品の画像を、商品が支持される角度C1および撮像装置11と支持部200との位置関係を用いて伸長することによって、該商品の側面を真正面から撮像する場合の画像を生成する。このように補正された画像は一般的に真正面から商品を撮像することによって取得される基準画像と近い状態となるため、上述の画像認識の精度を向上させることができる。
商品情報記憶部152には、商品の名称、価格等の商品に係る任意の商品情報が、商品IDと関連付けられて予め記録される。商品情報取得部130は、画像認識部120によって取得された商品IDに基づいて、商品情報記憶部152に記録された商品情報を取得する。
表示制御部140は、商品情報取得部130によって取得された各商品の商品情報を表示する制御を行う。本実施形態において表示制御部140は、表示装置13による表示のほか、プリンタによるレシート印刷等、利用者に対して視覚的に所定の情報を示す処理を制御する。
図6は、本実施形態に係るPOS端末100(画像認識装置)の例示的な機器構成を示す概略構成図である。POS端末100は、CPU(Central Processing Unit)101と、メモリ102と、記憶装置103と、インターフェース104とを備える。POS端末100は独立した装置でよく、あるいは他の装置と一体に構成されてよい。
インターフェース104は、他の機器に接続されて信号の送受信を行う接続部である。インターフェース104は、信号の送受信に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。インターフェース104は、CPU101からの信号に従って、接続された機器との間で信号の送受信を行う。インターフェース104は、例えば撮像装置11、投影装置12、表示装置13および入力装置15に接続され、それらと信号の送受信を行う。インターフェース104は、これらのほかネットワークやその他の機器に接続されてよい。
記憶装置103は、POS端末100が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置103は、読み取り専用のROM(Read Only Memory)や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置103は、CD−ROM等のコンピュータ読取可能な可搬記憶媒体を含んでもよい。メモリ102は、CPU101が処理中のデータや記憶装置103から読み出されたプログラムおよびデータを一時的に記憶するRAM(Random Access Memory)等を含む。
CPU101は、処理に用いる一時的なデータをメモリ102に一時的に記録し、記憶装置103に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別などの処理動作を実行するプロセッサである。また、CPU101は、記憶装置103に処理結果のデータを記録し、またインターフェース104を介してデータや制御信号を外部に送信する。
本実施形態においてCPU101は、記憶装置103に記録されたプログラムを実行することによって、図5の画像取得部110、画像認識部120、商品情報取得部130および表示制御部140として機能する。また、本実施形態において記憶装置103は、図5の識別情報記憶部151および商品情報記憶部152として機能する。
POS端末100は、図6に示す具体的な構成に限定されない。POS端末100は、1つの装置に限られず、2つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。POS端末100に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。
また、POS端末100の少なくとも一部がSaaS(Software as a Service)形式で提供されてよい。すなわち、POS端末100を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。
図7は、本実施形態に係る画像認識方法のフローチャートを示す図である。図7のフローチャートは、利用者が画像認識システム10に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がPOS端末100に接続された入力装置15(キーボードやタッチパネル)のボタンを押下することによって、図7のフローチャートが開始される。
まず、画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する(ステップS101)。
次に、画像認識部120は、ステップS101で取得された画像の中で、支持部200に対応する領域(支持部領域)に対して、支持部200の角度C1および撮像装置11と支持部200との位置関係を用いて補正を行い、1つの画像データとして出力する(ステップS102)。支持部領域は、画像中の位置(座標)として予め設定されている。また、画像認識によって画像から支持部200の位置を決定し、該位置を支持部領域として用いてもよい。
次に画像認識部120は、ステップS102で補正された画像データに対して画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS103)。そして画像認識部120は、ステップS103で識別された商品を、画像中の商品として決定する(ステップS104)。1つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。
最後に、商品情報取得部130は、ステップS104で決定された商品の商品IDに基づいて商品情報記憶部152から商品情報を取得し、表示制御部140は表示装置13を用いて商品情報を表示する制御を行う(ステップS105)。
特に所定の時間ごとに図7のフローチャートが実行される場合には、載置台14に置かれたままの同一商品について繰り返し商品情報が取得されてしまい、会計において同一商品の価格が複数回集計されるおそれがある。そこで、画像認識部120が所定の時間以内又は所定のフレーム数以内に近似(例えば重心の位置の差が所定の値以下)の位置で同一の商品を識別した場合に、商品情報取得部130はステップS105において該商品についての商品情報の取得を行わない(図7のフローチャートには不図示)。
POS端末100のCPU101は、図7に示す画像認識方法に含まれる各ステップ(工程)の主体となる。すなわち、CPU101は、図7に示す画像認識方法を実行するためのプログラムをメモリ102又は記憶装置103から読み出し、該プログラムを実行してPOS端末100の各部を制御することによって図7に示す画像認識方法を実行する。
本実施形態に係る画像認識システム10は、支持部200によって所定の角度に支持された商品を重力方向の上方に設けられた撮像装置11から撮像し、画像認識を行う。1つの撮像装置のみで商品の側面に対する画像認識を行うことができるため、複数の撮像装置を設ける又は撮像装置を移動させることによって複数方向から商品を撮像するよりも低コストかつ簡単な処理を実現することができる。支持部200は商品を重力方向に対して安定的に支持するため、撮像装置11は商品の側面を容易に撮像し、人間の手で支持する場合よりも画像認識の精度を向上させることができる。
また、載置台14に直接載置される商品と、支持部200によって所定の角度に支持される商品とを同時に認識することができるため、利用者が追加の操作を行う必要がない。
また、支持部200が商品の側面が水平方向に対して斜めになるように商品を支持するため、商品が転がりづらく、安定した画像認識を行うことができる。さらに、支持部200が商品を支持する角度は固定され、かつ既知であるため、該角度を用いて商品の画像を補正することができる。これにより、画像認識の精度をさらに向上させることができる。
また、支持部200は認識領域Aの端の近傍に設けられるため、商品の側面を撮像装置11に入射する光の球面に沿って支持することができる。これにより、撮像装置11の画角の端における歪みの影響を低減し、画像認識の精度をさらに向上させることができる。
(第2の実施形態)
第1の実施形態に係る支持部200は商品を斜めに支持することによって商品の側面を撮像しやすくしているが、本実施形態に係る支持部200は商品の側面が水平方向に対して平行になるように商品を支持する。このような構成によっても撮像装置11は商品の側面を容易に撮像することができる。本実施形態は、第1の実施形態と同様の構成を有する画像認識システム10を用いる。本実施形態に係る支持部200は、第1の実施形態に係る支持部200の代わりに用いられてよく、あるいは第1の実施形態に係る支持部200に加えて用いてられてよい。
図8は、本実施形態に係る商品支持構造としての支持部200の斜視図である。支持部200は載置台14と別の部材として構成されてよく、あるいは載置台14の載置面の一部を図8の商品支持構造にすることによって構成されてよい。
支持部200は、側面支持体210を備える。側面支持体210は商品の側面を支持する側面支持面211を有する。側面支持面211は、水平方向(すなわち重力方向に対して垂直な方向)に対して平行に設けられている。すなわち本実施形態では、第1の実施形態における側面支持面211の水平方向に対する角度C1が0度に設定されている。このような構成により、支持部200は商品の側面が撮像装置11に向くように商品を支持し、撮像装置11による商品の側面の撮像を容易にすることができる。
さらに、側面支持面211上には、2つ以上の任意の数の突起部230が設けられる。突起部230は、配置される商品の側面に沿って、互いに平行に設けられる。このような突起部230によって商品の向きが制限されるため、利用者が支持部200上に商品を所定の向きで配置しやすい。
突起部230同士の間隔は、配置される商品の幅と略同一であり、好ましくは配置される商品の幅に所定のマージン(例えば幅の2%〜10%程度)を加えた値に設定される。これにより、円柱形や球形の商品が転がることを抑制し、商品の側面に対する画像認識を安定化することができる。
本実施形態では底面支持体220は省略されているが、側面支持体210および突起部230に対して垂直に接するように底面支持体220が設けられてもよい。逆に、第1の実施形態に係る支持部200に、突起部230が設けられてもよい。
本実施形態に係る支持部200を用いることによって、第1の実施形態と同様に、撮像装置11は商品の側面を容易に撮像し、人間の手で支持する場合よりも画像認識の精度を向上させることができる。
(第3の実施形態)
本実施形態は、第1又は第2の実施形態に係る画像認識システム10において、さらに商品が配置される位置に基づいた画像認識を行う。
図9は、本実施形態で認識対象とする商品D1、D2の模式図である。商品D1、D2は飲料缶のように略円柱形を有している物品である。商品D1、D2は互いに異なる大きさを有しており、例えば商品D1は350ml入りであり、商品D2は500ml入りである。商品D1、D2の側面には、共通のロゴマークGが表されている。すなわち、商品D1、D2は大きさが異なるバリエーションの商品である。一般的な画像認識技術は画像データ中の形状、色、色の分布等の外観の特徴量に基づいて画像認識を行う。そのため共通のロゴマークGを有する商品D1、D2は、画像認識によって区別されづらく、同一の商品であると誤認されやすい。
本実施形態では、このように外観が類似した商品D1、D2について、それらが配置される座標(位置)の情報を用いることによって画像認識の精度を向上させる。
本実施形態に係る画像認識処理では、画像認識部120は、画像に含まれる商品が、商品が配置されている座標(位置)を用いて識別処理を行う対象であるかどうかを判定し、対象である商品に対しては座標を用いて識別処理を行う。座標を用いて識別処理を行う対象であるかどうかは、座標判定フラグとして商品ごとに予め設定される。例えば図9の商品D1、D2は、大きさが異なるバリエーションのある商品であるため、座標を用いて識別処理を行う対象である。これにより、大きさが異なるバリエーションのある商品であっても、利用者によって配置された商品の位置に基づいていずれかの大きさの商品を選択的に識別することができる。
図10(a)、10(b)は、商品が配置された状態の支持部200の上面図である。図10(a)、10(b)はそれぞれ、側面支持面211に対して垂直な方向から、商品D1、D2を支持している状態の支持部200を見た図である。図10(a)、10(b)のように側面支持面211が商品D1、D2の側面を支持し、底面支持面221が商品D1、D2の底面を支持するため、支持部200は商品D1、D2を安定的に支持するとともに、撮像装置11による商品D1、D2の側面の撮像を容易にすることができる。
図2の構成に加えて、側面支持面211には、側面支持面211を2つの領域に区分する領域区分部212が設けられる。領域区分部212は、側面支持面211上において底面支持面221に垂直な方向に延在する突起である。領域区分部212は、領域を利用者に視覚的に示すことができれば、側面支持面211上に表された記号又は色、あるいは投影装置12により投影された光、あるいは側面支持面211上に設けられた構造でよい。
側面支持面211は、領域区分部212によって第1の領域H1および第2の領域H2に区分される。画像認識部120は、商品が領域H1およびH2のどちらに配置されているか(すなわち商品が配置されている位置)によって異なる認識処理を行う。
領域H1、H2の判別のために、画像認識部120は、撮像装置11によって取得される画像中の各画素が領域H1およびH2のどちらに属するかの情報を予め設定し、商品の位置に対応する画素に基づいて、商品が領域H1およびH2のどちらに配置されているかを判定してもよい。あるいは、画像認識部120は、領域区分部212の位置を認識し、領域区分部212の位置と商品との位置関係に基づいて、商品が領域H1およびH2のどちらに配置されているかを判定してもよい。
例えば、商品D1、D2が第1の領域H1に配置されている場合には、画像認識部120は、商品D1、D2を小さい商品として判定する。すなわち、図10(a)の例では小さい商品D1および大きい商品D2はいずれも小さい商品として判定される。また、商品D1、D2が第2の領域H2に配置されている場合には、画像認識部120は、商品D1、D2を大きい商品として判定する。すなわち、図10(b)の例では小さい商品D1および大きい商品D2はいずれも大きい商品として判定される。実際の運用においては、利用者が小さい商品D1を第1の領域H1に配置し、大きい商品D2を第2の領域H2に配置することによって、画像認識部120は類似する大きさ違いの商品D1、D2を正しく識別することができる。
換言すると、画像認識部120は、商品の外観の情報に加えて、商品が配置されている位置の情報に基づいて、商品の識別を行う。これにより商品の外観からのみでは識別が難しい商品について、識別の精度を向上させることができる。
画像認識部120が利用する領域の数は2つに限られず、区別すべき大きさの数に応じて少なくとも2つ以上の任意の数でよい。また、画像認識部120は、商品の大きさに限られず、外観のみから区別しづらい商品のその他の性質(味や香り等のバリエーション)を区別するために位置の情報を用いてよい。
図11は、本実施形態に係る画像認識方法のフローチャートを示す図である。図11のフローチャートは、利用者が画像認識システム10に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がPOS端末100に接続された入力装置15(キーボードやタッチパネル)のボタンを押下することによって、図11のフローチャートが開始される。
まず、画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する(ステップS201)。
次に、画像認識部120は、ステップS201で取得された画像の中で、支持部200に対応する領域(支持部領域)に対して、支持部200の角度C1および撮像装置11と支持部200との位置関係を用いて補正を行い、1つの画像データとして出力する(ステップS202)。支持部領域は、画像中の位置(例えば画素の座標)として予め設定されている。また、画像認識によって画像から支持部200の位置を決定し、該位置を支持部領域として用いてもよい。
画像認識部120はステップS202で補正された画像データを用いて商品の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS203)。そして画像認識部120は、ステップS203で識別された商品を、画像中の商品として決定する(ステップS204)。1つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。
ステップS204で決定された商品に対して座標判定フラグが設定されている場合に(ステップS205のYES)、画像認識部120は、画像中の商品の座標(位置)を取得する(ステップS206)。座標判定フラグは、商品が配置されている座標を用いて識別処理を行う対象である商品に対して予め設定される。座標判定フラグは、例えば識別情報記憶部151に記録される。商品の座標は、例えば画像中で商品の領域を示す座標の集合として表される。ステップS206の商品の座標の取得は、図11のようにステップS205の座標判定フラグの判定の後に行われてよく、あるいはステップS203の画像認識とともに行われてもよい。
画像認識部120は、ステップS206で取得された商品の座標に基づいて、ステップS204で決定された商品が正しいか否かを判定する(ステップS207)。具体的には画像認識部120は、ステップS206で取得された商品の座標が、ステップS204で決定された商品に対応する領域内であれば、正しい商品が決定されていると判定する。一方、画像認識部120は、ステップS206で取得された商品の座標が、ステップS204で決定された商品に対応する領域内でなければ、誤った商品が決定されていると判定する。
例えば、以下のような処理が行われる。ここでは簡略化のために商品の種類が図10のように小さい商品および大きい商品の2つであることを想定する。画像認識部120は、ステップS204で決定された商品に対応する正しい位置(第1の領域H1又は第2の領域H2)を取得する。商品の正しい位置は、予め設定されている。図10の例では、小さい商品の正しい位置は第1の領域H1であり、大きい商品の正しい位置は第2の領域H2である。そして、画像認識部120は、ステップS206で取得された商品の座標が、その商品に対応する正しい位置(第1の領域H1又は第2の領域H2)にあるか否かを判定する。この判定は任意の方法で行われてよいが、例えば商品に対応する画素群のうち半数以上が、第1の領域H1に対応する画像中の領域内にある場合に商品の位置は第1の領域H1上にあると判定され、そうでない場合に第2の領域H2上にあると判定されてよい。あるいは、商品の領域の中心(重心)が第1の領域F1にある場合に商品の位置は第1の領域F1上にあると判定され、そうでない場合に第2の領域F2上にあると判定されてよい。第1の領域H1および第2の領域H2に対応する画像中の領域は、利用者によって予め設定されてよく、あるいは画像認識部120が第1の領域H1および第2の領域H2を区画する領域区分部212を画像認識することによって設定されてよい。
商品の種類の数および領域の数は2つに限られず、少なくとも2つ以上の任意の数でよく、その場合には商品の配置される領域に応じた場合分けを適宜行えばよい。
商品が正しい位置にない場合に(ステップS208のNO)、ステップS204で決定された商品を、正しい商品に変更する(ステップS209)。正しい商品は、ステップS206で取得された商品の座標を含む領域に対応する商品である。図10の例では、ステップS206で取得された商品の座標が第1の領域H1内にある場合には正しい商品は小さい商品であり、第2の領域H2内にある場合には正しい商品は大きい商品である。
ステップS204で決定された商品に対して座標判定フラグが設定されていない場合(ステップS205のNO)又は商品が正しい位置にある場合に(ステップS208のYES)、ステップS204で決定された商品をそのまま用いる。
最後に、商品情報取得部130は、ステップS204で決定された商品又はステップS209で変更された商品の商品IDに基づいて商品情報記憶部152から商品情報を取得し、表示制御部140は表示装置13を用いて商品情報を表示する制御を行う(ステップS210)。
図11のフローチャートでは、ステップS204で商品を仮に決定し、該商品の座標が誤った領域である場合にステップS209において正しい商品に変更するが、この具体的な形態に限られない。例えばステップS204で画像中の商品に類似する商品の複数の候補を抽出し、該複数の候補のうち座標が正しい領域である候補を、画像中の商品として決定してもよい。
POS端末100のCPU101は、図11に示す画像認識方法に含まれる各ステップ(工程)の主体となる。すなわち、CPU101は、図11に示す画像認識方法を実行するためのプログラムをメモリ102又は記憶装置103から読み出し、該プログラムを実行してPOS端末100の各部を制御することによって図11に示す画像認識方法を実行する。
本実施形態に係る画像認識システム10は、商品の外観に加えて、商品の配置される位置を用いて商品の画像認識を行う。これにより、商品の外観からのみでは画像認識による区別をしづらい商品(本実施形態では外観が類似しているが大きさの異なる飲料缶)について、商品が配置される位置に基づいて画像認識の結果を絞り込むことができるため、画像認識の精度を向上させることができる。
(第4の実施形態)
本実施形態は、第1〜第3のいずれかの実施形態に係る画像認識システム10において、さらに基準線を用いる大きさ判定処理を行うことによって、異なる大きさの類似商品を区別する。
本実施形態に係る画像認識処理では、画像認識部120は、予め記録された商品画像の外縁を画像中の商品に重ね合わせ、所定の基準線と外縁との差に基づいて商品を識別する。これにより、大きさが異なるバリエーションのある商品であっても、画像中の商品に近い大きさの商品を選択的に識別することができる。
図12は、本実施形態で識別情報記憶部151に記録されている商品D1、D2の識別情報を示す模式図である。識別情報記憶部151には、商品D1、D2の識別情報として、商品D1、D2の商品ID、商品D1、D2の画像から算出される特徴量とともに、商品D1、D2のそれぞれの商品画像の外縁を囲む矩形の領域である外縁J1、J2の範囲(例えば左上点および右下点の座標)が記録される。外縁J1、J2は、商品D1、D2の外形を検出することによって自動的に検出されてよく、あるいは利用者によって設定されてよい。図12には視認性のために商品D1、D2の画像そのものが示されているが、商品D1、D2から算出される特徴量および商品D1、D2の外縁J1、J2の範囲を示す情報が、文字列、バイナリデータ等の任意の形式で識別情報記憶部151に記録されていればよい。
図13(a)〜13(c)は、本実施形態に係る画像認識システム10によって行われる大きさ判定処理の模式図である。図13(a)〜13(c)にはそれぞれx軸およびy軸が示されているが、x軸およびy軸のとり方は任意である。ここでは画像中の商品D1、D2は互いに類似しているため、商品D1、D2は従来の画像認識処理によって商品D1、D2のどちらにも決定され得る。本実施形態に係る大きさ判定処理は、画像中の商品D1、D2が、それぞれ大きさが異なる類似商品D1、D2のどちらであるか基準線を用いて高精度に識別する。ここでは商品の種類が2つの場合を示したが、種類の数は少なくとも2つの任意の数でよい。
図13(a)〜13(c)には、撮像装置11によって取得される画像において、商品D1、D2とともに、大きさ判定の基準とする基準線Kが示されている。基準線Kは、例えばy=A(Aは定数)の式によって表される基準座標(基準点)であってもよい。商品D1、D2は支持部200によって支持されているため、商品D1、D2の所定の面(ここでは底面)は底面支持面221に自然と揃えられている。そのため、本実施形態では底面支持面221の位置を基準線Kとして定義し、各商品の底面は基準線K上に位置する。基準線K上に位置させる所定の面は、底面に限らず、商品の形状に応じた任意の面でよい。
まず画像認識部120は、図13(a)に示すように、撮像装置11によって取得される画像における商品D1、D2の位置および基準線Kの位置を取得する。撮像装置11によって取得される画像中の基準線Kの位置は、利用者によって予め設定され、記憶装置に記録されてよい。その場合には、画像認識部120は、例えば撮像装置11によって取得される画像における特定の画素の座標を、基準線Kの位置として記憶装置から読み出す。あるいは撮像装置11によって取得される画像中の基準線Kの位置は、画像認識部120が支持部200(底面支持面221)を画像認識することによって設定されてよい。その場合には、画像認識部120は、例えば支持部200の形状、色、模様等の外観に基づいて底面支持面221の位置を画像認識によって取得し、基準線Kの位置として決定する。
第1に、画像認識部120によって商品D1、D2に対してともに商品D1が抽出された場合を説明する。画像認識部120は、抽出された商品D1に対応する外縁J1の範囲を取得する。そして画像認識部120は、図13(b)のように商品D1の外縁J1を、画像中の商品D1、D2に重ねる。外縁J1の範囲および画像中の商品D1、D2の範囲は、例えばそれぞれの領域の左下点および右下点の座標(x座標およびy座標)によって表される。そして、外縁J1の範囲および画像中の商品D1、D2の範囲の向きおよび中心点(重心)が一致するように、外縁J1および商品D1、D2は重ねられる。この状態が図13(b)に示されている。画像認識部120は、画像中の各商品について基準線Kと外縁J1と間の距離を差Lとして算出する。画像認識部120は、差Lが所定の範囲内である場合(ここでは画像中の商品D1に商品D1の外縁J1が重ねられた場合)に、抽出された商品D1を採用し、所定の範囲内でない場合(ここでは画像中の商品D2に商品D1の外縁J1が重ねられた場合)に、抽出された商品D1を破棄する。差Lの所定の範囲は、利用者によって予め設定される。
第2に、画像認識部120によって商品D1、D2に対してともに商品D2が抽出された場合を説明する。画像認識部120は、抽出された商品D2に対応する外縁J2の範囲を取得する。そして画像認識部120は、図13(c)のように商品D2の外縁J2を、画像中の商品D1、D2に重ねる。外縁J2の範囲および画像中の商品D1、D2の範囲は、例えばそれぞれの領域の左下点および右下点の座標(x座標およびy座標)によって表される。そして、外縁J2の範囲および画像中の商品D1、D2の範囲の向きおよび中心点(重心)が一致するように、外縁J2および商品D1、D2は重ねられる。この状態が図13(c)に示されている。画像認識部120は、画像中の各商品について基準線Kと外縁J2と間の距離を差Lとして算出する。画像認識部120は、差Lが所定の範囲内である場合(ここでは画像中の商品D2に商品D2の外縁J2が重ねられた場合)に、抽出された商品D2を採用し、所定の範囲内でない場合(ここでは画像中の商品D1に商品D2の外縁J2が重ねられた場合)に、抽出された商品D1を破棄する。差Lの所定の範囲は、利用者によって予め設定される。
ここでは差Lとして基準線Kと外縁(すなわち外縁の基準線Kに最も近い点)との間の距離を用いたが、基準線Kと外縁との間の相対的な位置関係を表すその他の値を用いてもよい。例えば、外縁のいずれかの辺の中点を外縁の基準点とし、該基準点と基準線Kとの間の距離を差Lとして用いてもよい。あるいは、外縁の各辺の中点をそれぞれ外縁の基準点とし、複数の該基準点のそれぞれと基準線Kとの間の複数の距離を差Lとして用いてもよい。あるいは、商品の向きを検出することによって外縁の底辺を特定し、底辺上の特定の点(例えば端点又は中点)を外縁の基準点とし、該基準点と基準線Kとの間の距離を差Lとして用いてもよい。
このように本実施形態に係る画像認識部120は、商品の外縁と基準線との間の差を算出し、該差が所定の範囲内である場合に、画像中の商品に近い大きさであるとみなし、商品を高精度に判定することができる。また、支持部200が商品を支持するため、商品(商品の底面)の位置を基準線に容易に揃えることができる。
図14は、本実施形態に係る画像認識方法のフローチャートを示す図である。図14のフローチャートは、利用者が画像認識システム10に対して画像認識を実行するための所定の操作を行うことによって、あるいは所定の時間ごとに開始される。例えば、利用者がPOS端末100に接続された入力装置15(キーボードやタッチパネル)のボタンを押下することによって、図14のフローチャートが開始される。
まず、画像取得部110は、撮像装置11によって撮像された画像を示す信号を受け取り、画像データとしてPOS端末100に入力する(ステップS301)。
次に画像認識部120は、ステップS301で取得された画像の中で、支持部200に対応する領域(支持部領域)に対して、支持部200の角度C1および撮像装置11と支持部200との位置関係を用いて補正を行い、1つの画像データとして出力する(ステップS302)。支持部領域は、画像中の位置(例えば画素の座標)として予め設定されている。また、画像認識によって画像から支持部200の位置を決定し、該位置を支持部領域として用いてもよい。
画像認識部120はステップS302で補正された画像データを用いて商品の画像認識処理を行い、識別情報記憶部151の識別情報に基づいて商品を識別する(ステップS303)。そして画像認識部120は、ステップS303で識別された商品を、画像中の商品として決定する(ステップS304)。1つの画像データ中に複数の商品が識別された場合には、各商品について以降の処理を行う。
次に画像認識部120は、ステップS301で取得された画像から基準線Kの位置を取得する(ステップS305)。商品の所定の面(例えば底面)は、基準線K上に位置している。画像中の基準線Kの位置は、例えば利用者によって予め設定された内容を読み出すこと、又はステップS301で取得された画像に対して画像認識を行うことによって取得される。
次に画像認識部120は、画像中の商品の範囲およびステップS304で決定された商品の外縁の範囲を示す情報を取得し、ステップS304で決定された商品の外縁を画像中の商品に重ねる(ステップS306)。このとき、例えば外縁の範囲および商品の範囲の向きおよび中心点(重心)が一致するように、ステップS304で決定された商品の外縁が画像中の商品に重ねられる。商品の外縁は、例えば識別情報記憶部151に予め記録される。なお、商品の外縁とは、予め登録されている商品画像の外縁であってもよく、予め登録されている商品の外縁そのもの(すなわち外縁を表す点又は線の集まり)を記憶していてもよい。
次に画像認識部120は、商品に重ねられた外縁の基準点と基準線Kとの間の距離を差Lとして算出する(ステップS307)。例えば、外縁の基準線Kに最も近い点を外縁の基準点とし、該基準点と基準線Kとの間の距離を差Lとして用いてもよい。あるいは、外縁のいずれかの辺の中点を外縁の基準点とし、該基準点と基準線Kとの間の距離を差Lとして用いてもよい。あるいは、外縁の各辺の中点をそれぞれ外縁の基準点とし、複数の該基準点のそれぞれと基準線Kとの間の複数の距離を差Lとして用いてもよい。あるいは、商品の向きを検出することによって外縁の底辺を特定し、底辺上の特定の点(例えば端点又は中点)を外縁の基準点とし、該基準点と基準線Kとの間の距離を差Lとして用いてもよい。
ステップS307で算出された差Lが所定の範囲内である場合に(ステップS308のYES)、商品情報取得部130は、ステップS304で決定された商品の商品IDに基づいて商品情報記憶部152から商品情報を取得し、表示制御部140は表示装置13を用いて商品情報を表示する制御を行う(ステップS309)。
ステップS307で算出された差Lが所定の範囲内でない場合に(ステップS308のNO)、商品情報取得部130は、ステップS304で決定された商品の識別結果を破棄する(ステップS310)。
図14のフローチャートでは、ステップS304で商品を仮に決定し、基準線との差が所定の範囲外であればステップS310で商品の識別結果を破棄するが、この具体的な形態に限られない。例えばステップS304で画像中の商品に類似する商品の複数の候補を抽出し、該複数の候補のうち基準線との差が所定の基準を満たす(例えば最も差が小さい)候補を、画像中の商品として決定してもよい。
POS端末100のCPU101は、図14に示す画像認識方法に含まれる各ステップ(工程)の主体となる。すなわち、CPU101は、図14に示す画像認識方法を実行するためのプログラムをメモリ102又は記憶装置103から読み出し、該プログラムを実行してPOS端末100の各部を制御することによって図14に示す画像認識方法を実行する。
本実施形態に係る画像認識システム10は、商品の外観に加えて、商品の外縁と基準線との位置の差を用いて商品の識別を行う。これにより、大きさの異なる複数の類似商品がある場合であっても、画像中の商品に近い大きさを有する商品を決定することができるため、画像認識の精度を向上させることができる。
また、本実施形態は商品の底面が基準線に揃っていることを前提とするが、支持部200が商品を支持するとともに、基準線が底面支持面221に対応するため、商品(商品の底面)を基準線に容易に揃えることができる。
(その他の実施形態)
図15は、上述の各実施形態に係る画像認識システム10の概略構成図である。図15には、画像認識システム10が商品の側面に対して画像認識を行うための構成例が示されている。画像認識システム10は、下方を撮像するように設けられる撮像装置の下方において商品を載置するための載置台14と、前記商品を前記載置台の上面に対して所定の角度に支持する支持構造(支持部)200と、前記撮像装置によって取得される前記商品の画像に対して画像認識を行うことによって前記商品を識別する画像認識装置(POS端末)100と、を備える。
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
下方を撮像するように設けられる撮像装置の下方において商品を載置するための載置台と、
前記商品を前記載置台の上面に対して所定の角度に支持する支持構造と、
前記撮像装置によって取得される前記商品の画像に対して画像認識を行うことによって前記商品を識別する画像認識装置と、
を備える画像認識システム。
(付記2)
前記画像認識装置は、前記載置台に直接載置される前記商品と、前記支持構造に支持される前記商品との間で異なる前記画像認識を行うように構成されることを特徴とする、付記1に記載の画像認識システム。
(付記3)
前記画像認識装置は、前記載置台上の所定の認識領域に対して前記画像認識を行うように構成され、
前記支持構造は、前記認識領域の端に接して又は前記端の近傍に設けられることを特徴とする、付記1又は2に記載の画像認識システム。
(付記4)
前記支持構造は、前記撮像装置の光軸が前記認識領域に交わる点と、前記認識領域の前記端とを結ぶ線分の中点よりも前記認識領域の前記端に近い位置に設けられることを特徴とする、付記3に記載の画像認識システム。
(付記5)
前記認識領域を投影する投影装置をさらに備えることを特徴とする、付記3又は4に記載の画像認識システム。
(付記6)
前記支持構造は、前記載置台の上面に対して前記角度をなす側面支持面を有することを特徴とする、付記1〜5のいずれか一項に記載の画像認識システム。
(付記7)
前記支持構造は、前記側面支持面に対して垂直な底面支持面を有することを特徴とする、付記6に記載の画像認識システム。
(付記8)
前記角度は、0度より大きく90度より小さいことを特徴とする、付記1〜7のいずれか一項に記載の画像認識システム。
(付記9)
前記角度は、30度以上60度以下であることを特徴とする、付記8に記載の画像認識システム。
(付記10)
前記画像認識装置は、前記角度を用いて前記画像を補正し、補正された前記画像に対して前記画像認識を行うように構成されていることを特徴とする、付記8又は9に記載の画像認識システム。