JP6191701B2 - Ｐｏｓ端末装置、商品認識方法及びプログラム - Google Patents

Description

本発明は、ＰＯＳ（Point Of Sales）端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に商品の決済を行うために用いられるＰＯＳ端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

スーパマーケットや量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接ＰＯＳ端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する。

そのため、ＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。例えば、特許文献１には、撮像手段が撮像した物体の画像を含むフレーム画像を取り込み、取り込んだ前記フレーム画像を用いてオブジェクト認識処理を行う装置が開示されている。特許文献１にかかる装置は、撮像手段が撮像した物体の画像を含むフレーム画像を取り込み、取り込んだフレーム画像の色の属性が所定の基準値を超えていない場合に、この基準値を下げ、取り込んだフレーム画像の色の属性が基準値を超えている場合に、オブジェクト認識処理を行う。

特開２０１３−１８２３２６号公報

画像認識技術を用いて商品の認識処理を行う場合、商品の色情報は、商品の認識処理において重要な要素となる。特に、果物又は野菜等の商品においては、色の違いによって商品が識別されるので、商品の色情報が適切となるように商品が撮影されなければ、誤認識を招くおそれがある。一方、カメラで商品を撮影するときの周囲の環境における光（環境光）により、商品の色が変化して撮影されてしまうことがある。

例えば、店舗の外から夕日が差し込んでいる環境では、商品に夕日が照射されるため、商品は、赤みがかった色で撮影される。また、蛍光灯などの店舗内の照明によっても、撮影される商品の色が変化することがある。このような場合、商品の正確な色情報を商品の認識処理に使用することができない。したがって、商品の誤認識が発生し、商品の認識率が悪化するおそれがある。

特許文献１においては、色の属性の基準値を変化させる制御を行っているが、このような場合、商品の色に濃淡があるときは、商品の認識処理において、誤認識が発生するおそれがある。また、ホワイトバランス機能を有するカメラを用いる場合、夕日が差し込んでいる環境で、ホワイトバランス処理を行うことがある。しかしながら、この場合でも、カメラ側で色補正を行ってしまうため、商品の正確な色情報を使用することはできない。なお、環境光が商品に照射されないように、ＰＯＳ端末装置の商品読取面の前を囲いで覆う等、物理的に環境光を遮断する方法もある。しかしながら、このような方法では、商品を読み取らせる際に囲いが邪魔となり、利便性が損なわれる。

本発明は、このような課題を解決するためになされたものであり、周囲の環境によらないで、商品の認識処理において認識率を向上させることが可能なＰＯＳ端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。

本発明にかかるＰＯＳ端末装置は、環境光の明るさを計測する明るさ計測手段と、前記明るさ計測手段によって計測された前記環境光の明るさに応じて調整された光を、商品に照射する照射手段と、前記照射手段によって光を照射された前記商品を撮像して画像を生成する撮像手段と、前記撮像手段によって撮像されて生成された画像に基づいて、前記商品の認識処理を行う認識処理手段とを有する。

また、本発明にかかる商品認識方法は、環境光の明るさを計測し、前記計測された環境光の明るさに応じて調整された光を、商品に照射し、光を照射された前記商品を撮像して画像を生成し、前記撮像されて生成された画像に基づいて、前記商品の認識処理を行う。

また、本発明にかかるプログラムは、環境光の明るさを計測するステップと、前記計測された環境光の明るさに応じて調整された光を、商品に照射するステップと、光を照射された前記商品を撮像して画像を生成するステップと、前記撮像されて生成された画像に基づいて、前記商品の認識処理を行うステップとをコンピュータに実行させる。

本発明によれば、周囲の環境によらないで、商品の認識処理において認識率を向上させることが可能なＰＯＳ端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供できる。

本発明の実施の形態にかかるＰＯＳ端末装置の概要を示す図である。 実施の形態１にかかるＰＯＳ端末装置の外観を示す側面図である。 実施の形態１にかかるＰＯＳ端末装置のハードウェア構成を示す図である。 実施の形態１にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態１にかかるＰＯＳ端末装置の処理を示すフローチャートである。 実施の形態２にかかるＰＯＳ端末装置の例を示す図である。 実施の形態２にかかるＰＯＳ端末装置の別の例を示す図である。

（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかるＰＯＳ端末装置１の概要を示す図である。図１に示すように、ＰＯＳ端末装置１は、明るさ計測部２と、照射部４と、撮像部６と、認識処理部８とを有する。

明るさ計測部２は、ＰＯＳ端末装置１の周囲の環境光の明るさを計測する。照射部４は、明るさ計測部２によって計測された環境光の明るさに応じて調整された光を、商品に照射する。撮像部６は、照射部４によって光を照射された商品を撮像して画像を生成する。認識処理部８は、撮像部６によって撮像されて生成された画像に基づいて、商品の認識処理を行う。本発明の実施の形態にかかるＰＯＳ端末装置１は、以上のような構成により、周囲の環境によらないで、商品の認識処理において認識率を向上させることが可能となる。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。
図２は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す側面図である。また、図３は、実施の形態１にかかるＰＯＳ端末装置１００のハードウェア構成を示す図である。ＰＯＳ端末装置１００は、店員用表示操作部１０２と、顧客用表示部１０４と、情報処理装置１１０と、商品読取装置１２０と、光源部１５０（照射手段）とを有する。ＰＯＳ端末装置１００は、例えばカウンタ台（図示せず）に載置され、ＰＯＳ端末装置１００を挟んで、図２の左側に顧客が、右側に店員が対峙する。

店員用表示操作部１０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部１０２は、情報処理装置１１０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。

顧客用表示部１０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部１０４は、情報処理装置１１０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部１０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。

情報処理装置１１０は、例えばコンピュータである。情報処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等の制御部１１２と、例えばメモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１１０は、店員用表示操作部１０２、顧客用表示部１０４、商品読取装置１２０及び光源部１５０の動作を制御する。また、情報処理装置１１０は、店員用表示操作部１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１１０は、商品読取装置１２０によって読み取られた画像情報に応じて、画像処理及び商品の認識処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。

商品読取装置１２０は、筐体１２２と、光透過性の素材で形成された商品読取面１２４と、３次元カメラ１３０とを有する。商品読取面１２４は、筐体１２２の店員側の面に設けられており、商品を撮像させる（読み取らせる）ときに当該商品が向けられる。３次元カメラ１３０は、筐体１２２の内部の、商品読取面１２４とは反対側に設けられている。店員が顧客から受け取った商品を商品読取面１２４に向けると、３次元カメラ１３０が商品Ａの画像を読み取る。これによって、ＰＯＳ端末装置１００は、商品の認識処理を行う。詳しくは後述する。

３次元カメラ１３０は、撮像部１３２と、距離センサ１３４（距離計測手段）とを有する。撮像部１３２は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であって、商品の画像を読み取る処理を行う。具体的には、撮像部１３２は、商品読取面１２４に向けられた物体を撮像して、その物体の画像を含む２次元のカラー画像又はモノクロ画像（２次元画像）を生成する。なお、以下、用語「２次元画像」は、情報処理における処理対象としての、「２次元画像を示す画像データ」も意味する。

また、撮像部１３２は、環境光（外光又は部屋の照明等）が照射された環境下で、商品読取面１２４の前のイメージを撮影することによって、環境光の明るさを計測する機能を有する。言い換えると、撮像部１３２は、商品読取面１２４の前に照射された光を受光して、その光の明るさから環境光の明るさを計測する明るさ計測手段としての機能を有する。詳しくは後述する。なお、「明るさ」とは、例えば照度（ルクス）であるが、これに限定されず、例えば輝度であってもよいし、明度であってもよい。本実施の形態においては、「明るさ」の例として、照度（ルクス）を用いる。

距離センサ１３４は、例えばＴＯＦ（Time Of Flight）方式で、距離センサ１３４から、商品読取面１２４に向けられた物体（商品Ａ）の位置までの距離を計測する。つまり、距離センサ１３４は、赤外線等の光線を照射し、照射された光線が物体まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ１３４は、レーザを照射してもよい。

距離センサ１３４は、距離計測手段としての機能を有する。距離センサ１３４は、赤外線照射部１３６と、赤外線受光部１３８と、距離画像生成部１４０とを有する。赤外線照射部１３６は、商品読取面１２４の外側に向けて、赤外線を照射する。商品読取面１２４の近傍に物体が存在するときは、赤外線照射部１３６によって照射された赤外線は、その物体を反射する。赤外線受光部１３８は、例えばイメージセンサ（例えばＣＣＤ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）であって、物体を反射した赤外線を受光する。

距離画像生成部１４０は、赤外線照射部１３６が赤外線を照射した時間と、赤外線受光部１３８が反射光を受光した時間との時間差から、物体までの距離（奥行き）を算出する。具体的には、赤外線照射部１３６と赤外線受光部１３８とは同期するようになっており、距離画像生成部１４０は、赤外線照射部１３６が照射する赤外線の位相と、赤外線受光部１３８が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。

さらに具体的には、距離画像生成部１４０は、赤外線受光部１３８が受光した物体の各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。これによって、距離画像生成部１４０は、物体の各位置の距離を示す画素の集合である距離画像（３次元画像）を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。

例えば、距離センサ１３４から１５ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離１５ｃｍ」を示す距離情報を含む。また、距離センサ１３４から３０ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離３０ｃｍ」を示す距離情報を含む。

なお、距離センサ１３４と物体との距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体までの距離を計測することができなくなる。したがって、距離センサ１３４が計測できる最小の時間差（位相差）に合わせて、距離センサ１３４（３次元カメラ１３０）と物体との距離が保たれるように、距離センサ１３４（３次元カメラ１３０）は、商品読取面１２４から間隔Ｌ離れて設置されている。つまり、距離センサ１３４（３次元カメラ１３０）は、計測可能な最小の距離を保つように、商品読取面１２４から間隔Ｌ離れて設置されている。赤外線の速度（光速）は３０万ｋｍ毎秒であり、したがって、赤外線は、１ナノ秒で３０ｃｍ進む。つまり、距離センサ１３４と物体の間の距離が１５ｃｍ（往復３０ｃｍ）変化したときに、光を照射してから反射光を受光するまでの時間が、1ナノ秒変化する。したがって、例えば、計測できる最小の時間差が１ナノ秒である場合、間隔Ｌは１５ｃｍとなる。

また、撮像部１３２及び距離センサ１３４は、互いに近接して（つまり略同じ位置に）配置されてもよい。この場合、撮像部１３２によって得られた２次元画像と、距離センサ１３４によって得られた距離画像とが、互いに対応するように構成される。つまり、撮影対象の物体のある位置Ｐが２次元画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置Ｐは、距離画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１３４によって得られた距離画像の各画素位置は、撮像部１３２によって得られた２次元画像の各画素位置と、互いに対応するように構成されている。なお、撮像部１３２の位置と距離センサ１３４の位置とが多少ずれているような場合などにおいては、撮像部１３２と距離センサ１３４との間の距離と、撮像部１３２及び距離センサ１３４それぞれの視野角とから、距離画像の各画素位置と２次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。

光源部１５０は、矢印Ｂで示すように、商品Ａに光を照射する光源である。図２において、光源部１５０は、商品読取装置１２０の内部に設置されているが、これに限られない。光源部１５０は、例えば、商品読取面１２４の外側近傍に設けられてもよいし、ＰＯＳ端末装置１００から離れて設けられてもよい。図２には、光源部１５０が３次元カメラ１３０の近傍に設置された例が示されている。

光源部１５０は、情報処理装置１１０の制御部１１２による制御によって、商品Ａに照射される光の強さ（強度）を調整する。言い換えると、光源部１５０は、情報処理装置１１０の制御部１１２による制御によって、商品Ａの明るさ（照度等）を調整する。なお、「（光源の）光の強度」とは、例えば光束（ルーメン）であるが、これに限定されず、例えば光度（カンデラ）であってもよいし、輝度であってもよい。本実施の形態においては、「（光源の）光の強度」の例として、光束（ルーメン）を用いる。

図４は、実施の形態１にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図５は、実施の形態１にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、光源制御部２００と、認識処理部２２０とを有する。光源制御部２００は、環境光計測部２０２と、距離計測部２０４と、光源強度制御部２０６とを有する。また、認識処理部２２０は、商品画像撮影制御部２２２と、商品認識処理部２２８と、商品情報格納部２３０とを有する。

なお、光源制御部２００及び認識処理部２２０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、光源制御部２００及び認識処理部２２０は、制御部１１２の制御により、記憶部１１４に格納されたプログラムを実行させることによって実現される。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、光源制御部２００及び認識処理部２２０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。

光源制御部２００は、環境光の明るさに応じて、光源部１５０が投射する光の強度を制御し調整する。つまり、光源部１５０は、光源制御部２００の制御によって、光の強度を調整する。認識処理部２２０は、光源部１５０によって光が照射された商品の認識処理（商品認識処理）を行う。つまり、光源制御部２００は、光源部１５０を制御しているときに、認識処理部２２０に対して商品認識処理を実行するように制御してもよい。以下、光源制御部２００及び認識処理部２２０の処理について、具体的に説明する。

環境光計測部２０２は、ＰＯＳ端末装置１００の周囲の環境光の明るさを計測する（Ｓ１０２）。つまり、環境光計測部２０２は、環境光の明るさを計測する明るさ計測手段としての機能を有する。具体的には、例えば、環境光計測部２０２は、光源部１５０が光を照射していないときに、撮像部１３２に対して、環境光が照射された環境下で、商品読取面１２４の前のイメージ（例えばＰＯＳ端末装置１００が載置されたカウンタ台の上面）を撮影するように制御する。なお、このとき、環境光計測部２０２は、光源部１５０に対して、光を照射しないように制御してもよい。

撮像部１３２は、環境光計測部２０２の制御により、商品読取面１２４の前のイメージ（環境光計測用画像）を撮影する。さらに具体的には、撮像部１３２は、予め定められた露出時間で、環境光計測用画像を撮影し、環境光計測用画像を示す画像データを生成する。さらに、撮像部１３２は、環境光計測用画像を示す画像データを、環境光計測部２０２に対して出力する。なお、環境光計測用画像には、読取対象の商品の画像が含まれていてもよい。

環境光計測部２０２は、環境光計測用画像を解析して、環境光の明るさ（照度）を算出する。具体的には、例えば、環境光計測部２０２は、予め定められた露出時間で撮影された環境光計測用画像の色合いから、環境光の明るさ（照度）を算出する。環境光計測部２０２は、環境光計測用画像の色合いが白に近いほど、環境光の明るさが明るい（照度が大きい）ように、環境光の明るさ（照度）を算出する。逆に、環境光計測部２０２は、環境光計測用画像の色合いが黒に近いほど、環境光の明るさが暗い（照度が小さい）ように、環境光の明るさ（照度）を算出する。

さらに具体的には、例えば、環境光計測部２０２は、環境光計測用画像を示す画像データの各画素について画素値を抽出し、これらの各画素の画素値を全画素について平均することによって、環境光計測用画像の色合いがどれだけ白に近いかを示す色の度合いを算出してもよい。なお、「画素値」については後述する。

ここで、環境光計測部２０２は、予め定められた露出時間で撮影された環境光計測用画像の色の度合い（画素値の平均値）と、そのときの周囲環境の照度とを対応付けた照度テーブルを予め記憶している。環境光計測部２０２は、環境光計測用画像の色の度合い（画素値の平均値）と、その照度テーブルとから、環境光の明るさ（照度）を計測する。さらに、環境光計測部２０２は、計測によって得られた環境光の明るさ（環境光照度）を示す情報を、光源強度制御部２０６に対して出力する。

なお、照度テーブルは、例えば、以下のようにして作成される。すなわち、予め、様々な環境光の明るさの状態下で、周囲環境の照度を照度センサ等で計測し、それぞれの状態下において、撮像部１３２によって、予め定められた露出時間で撮影された環境光計測用画像を撮影する。そして、照度センサ等の計測値と、そのときに撮影された、予め定められた露出時間で撮影された環境光計測用画像の色の度合い（画素値の平均値）とを対応付ける。これにより、照度テーブルが作成される。なお、環境光計測用画像の色の度合い（画素値の平均値）が、照度テーブルにおける値と厳密に一致しない場合でも、補間によって環境光による照度を算出することが可能である。

また、上記の「色の度合い（画素値の平均値）」は、例えば以下のようにして算出され得る。すなわち、各画素がＲＧＢの３次元色空間で表現されている場合、各色（ＲＧＢ）それぞれの強さ（輝度又は階調値等）から、各画素の画素値が抽出される。この場合、各画素の「画素値」とは、その画素についてのＲＧＢそれぞれの輝度（階調値）の２乗して合計したものの平方根（３次元色空間における色ベクトルのスカラー値）であってもよい。各画素に明るさを示す情報（明度等）が含まれる場合、その情報が、その画素の「画素値」として抽出され得る。

距離計測部２０４は、距離センサ１３４を制御して、距離センサ１３４から商品までの距離を計測する（Ｓ１０４）。具体的には、距離計測部２０４は、商品読取面１２４に向けられた商品に関する距離画像を撮影するように、距離センサ１３４を制御する。距離センサ１３４は、距離計測部２０４の制御に応じて、商品読取面１２４に向けられた商品に関する距離画像を撮影し、距離画像（距離画像を示す画像データ）を生成する。距離計測部２０４は、生成された距離画像を取得し、この距離画像を用いて、商品までの距離を計測する。つまり、距離計測部２０４は、距離センサ１３４とともに、距離計測手段としての機能を有する。また、距離計測部２０４は、計測された商品までの距離を示すデータを、光源強度制御部２０６に対して出力する。

さらに具体的には、距離計測部２０４は、距離画像を構成する画素それぞれについて、各画素に対応する位置の距離を示すデータ（画素距離データ）を抽出する。そして、距離計測部２０４は、その各画素に関する画素距離データから、商品までの距離を計測する。一般に、店員等が商品を商品読取面１２４に向けるとき、商品読取面１２４に最も近づくのは当該商品である。したがって、例えば、距離計測部２０４は、各画素距離データが示す値のうち、最も距離の短い値を、商品までの距離として計測してもよい。また、距離計測部２０４は、各画素距離データのうち、予め定められた閾値以内の距離を示す画素距離データを抽出し、その距離の平均値を、商品までの距離として計測してもよい。

光源強度制御部２０６は、光源部１５０を制御して、光源部１５０が投射する光の強度を調整する（Ｓ１０６）。具体的には、光源強度制御部２０６は、環境光計測部２０２によって計測された照度よりも、光源部１５０に照らされた商品の明るさが大きくなるように、商品に照射される光の強さを調整する。言い換えると、光源強度制御部２０６は、環境光の影響を相対的に打ち消すことが可能となる光の強さとなるように、光源部１５０を制御する。このように構成されることによって、環境光の強さによらないで、商品の見た目の色合いの差（色の変化）を小さくすることが可能となる。

例えば、光源強度制御部２０６は、光源部１５０によって光が照射された商品の照度が、環境光照度よりもＫ（ルクス）大きな照度となるように、光源部１５０の光の強度を調整してもよい。また、例えば、光源強度制御部２０６は、光源部１５０によって光が照射された商品の照度が、環境光照度のＭ倍の照度となるように、光源部１５０の光の強度を調整してもよい。ここで、値Ｍは、撮像部１３２の仕様（例えばダイナミックレンジ）によって設定されてもよい。

例えば、撮像部１３２がＣＣＤイメージセンサである場合、このＣＣＤイメージセンサのダイナミックレンジが例えば０．１〜１０のときに撮影され得る明暗の差は、約１００倍となる。ここで、例えば、環境光の下での照度を５００ルクスであるとすると、ＣＣＤイメージセンサの撮影可能範囲は、５００〜５００００ルクスとなる。したがって、この場合、商品が５００００（５００×１００）ルクスの明るさで光源部１５０によって照射されれば、環境光の影響を打ち消し、商品自体の色情報を、撮像部１３２によって撮影することができる。つまり、このとき、Ｍ＝１００と設定される。

さらに、光源強度制御部２０６は、距離計測部２０４によって計測された商品までの距離に応じて、光源部１５０の光の強度を調整する。具体的には、光源強度制御部２０６は、距離センサ１３４（つまり商品読取面１２４及び光源部１５０）から商品までの距離が遠いときには、光の強度を強くするように光源部１５０の光の強度を調整する。一方、光源強度制御部２０６は、距離センサ１３４（つまり商品読取面１２４及び光源部１５０）から商品までの距離が近いときには、光の強度を弱くするように光源部１５０の光の強度を調整する。このように構成されることによって、商品読取面１２４及び光源部１５０から商品までの距離が遠いときであっても、環境光の影響を相対的に打ち消すことが可能となる光の強さとなるように、商品に光を照射することが可能となる。

一般に、ある物体に光源から同じ強さの光が照射される場合、その物体の明るさ（照度）は、その物体と光源との距離が遠いほど小さくなり、その物体と光源との距離が近いほど大きくなる。具体的には、物体の照度は、光源からの距離の２乗に反比例する。一方、一般に、環境光の光源（太陽、又は天井に設置された蛍光灯）は、商品読取面１２４の前にある商品から、かなり離れている。言い換えると、環境光の光源（太陽、又は天井に設置された蛍光灯）から商品までの距離は、商品読取面１２４から商品までの距離と比較して、はるかに大きい。したがって、環境光による商品の照度は、商品読取面１２４から商品までの距離によらないで、ほぼ一定となる。

環境光の下での照度を５００ルクスである場合を仮定する。光源部１５０から商品までの距離がＬである場合に、５００００ルクスとなるように、光源部１５０が商品に光を照射する。このときは、上述したように、環境光の影響が打ち消されている。ここで、光源部１５０から商品までの距離が２Ｌとなったとする。この場合に光源部１５０が同じ強さの光を照射すると、物体の照度は、光源からの距離の２乗に反比例するので、商品における照度は、５００００／４＝１２５００（ルクス）となる。この照度１２５００ルクスは、環境光の下での照度５００ルクスに対して、環境光の影響を打ち消すほど大きくはない。したがって、光源部１５０の光の強度を強くする必要がある。したがって、このとき、光源強度制御部２０６は、商品までの距離が２Ｌの場合の光の強度を、商品までの距離がＬの場合よりも４倍（＝２の２乗）となるように、光源部１５０を制御する。

光源強度制御部２０６は、例えば、基準となる商品までの距離（基準距離Ｌｓ）、及び基準となる商品のサイズにおける光源部１５０の光の強度Ｐｌｕ（基準光強度）を予め設定している。そして、光源強度制御部２０６は、光源部１５０から商品までの距離Ｌ１が、基準距離Ｌｓの何倍かを算出する。そして、光源強度制御部２０６は、光源部１５０の光の強度が、（Ｌ１／Ｌｓ）＾２×Ｐｌｕとなるように、光源部１５０を制御する。なお、この基準光強度は、環境光の明るさ（照度）に応じて適宜設定され得る。つまり、上述した照度テーブルにおいて、環境光照度（ルクス）のそれぞれ（例えば５００ルクス〜７５０ルクス）と、その環境光における照度を打ち消すことができる光源部１５０の基準光強度（ルーメン）とを、それぞれ対応付けてもよい。

基準光強度Ｐｌｕは、例えば、商品が１０ｃｍ角の立方体の形状であり、この商品が光源部１５０から１５ｃｍ離れた状態で、この商品の照度が５００００ルクス（環境光における照度をＭ倍した値）となるように設定されてもよい。このとき、光源部１５０の照射角は約３５度必要となる。したがって、このときの基準光強度Ｐｌｕは、約３５０ルーメンとなる。
なお、基準光強度Ｐｌｕを設定する際の商品までの距離は、光源部１５０の位置に応じて適宜設定され得る。光源部１５０が商品読取面１２４に近い場合、基準光強度Ｐｌｕは、商品が光源部１５０からより近い状態（例えば５ｃｍ）で、この商品の照度が５００００ルクスとなるように設定されてもよい。

商品画像撮影制御部２２２は、光源部１５０に光を照射された商品の画像（商品画像）を含む２次元画像を、撮像部１３２に撮影させるように制御する（Ｓ１０８）。具体的には、商品画像撮影制御部２２２は、撮像部１３２を制御して、商品読取面１２４に向けられ、光源部１５０によって光を照射された商品を撮像させる。そして、商品画像撮影制御部２２２は、撮像部１３２によって生成された２次元画像を取得し、商品認識処理部２２８に対して出力する。なお、この２次元画像には、商品画像の他に、背景の画像（背景画像）も含まれうる。

商品認識処理部２２８は、商品画像撮影制御部２２２によって取得された２次元画像を用いて、商品認識処理を行う（Ｓ１１０）。また、商品認識処理部２２８は、商品認識処理によって得られた商品情報を、商品情報格納部２３０に格納する。商品情報は、商品に付されるバーコードに含まれる情報を含む。さらに、商品情報は、商品のサイズ（容量）を含んでもよい。ＰＯＳ端末装置１００は、商品認識処理部２２８による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、２次元画像における商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。例えば、商品認識処理部２２８は、２次元画像から商品画像を抽出し、その抽出された商品画像と基準商品情報とのパターンマッチングを行う。なお、商品画像の抽出方法は、様々なものが挙げられる。例えば、予め背景画像を撮影しておき、その背景画像と、撮像部１３２によって撮影された（商品画像を含む）２次元画像との差分を、商品画像として抽出してもよい。また、距離センサ１３４を用いて、２次元画像において、距離センサ１３４から予め定められた距離以内の位置に対応する画像区域を、商品画像として抽出してもよい。なお、基準商品情報については、以下に例示する。

例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。その場合、商品認識処理部２２８は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。

また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、商品認識処理部２２８は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２２８は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部２２８は、商品のパッケージに付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、商品名を認識してもよい。

ここで、上述したように、画像認識技術を用いて商品の認識処理を行う場合、商品の色情報は、商品の認識処理において重要な要素となる。特に、果物又は野菜等の商品においては、色の違いによって商品が識別されるので、商品の色情報を適切に使用しなければ、誤認識を招くおそれがある。一方、カメラで商品を撮影するときの周囲の環境における光（環境光）により、商品の色が変化して撮影されてしまうことがある。

一方、本実施の形態においては、環境光の影響を打ち消すことができるように、光源部１５０の光の強度を調整して、撮像部１３２が商品を撮影する際に、その光源部１５０が、商品に光を照射するように構成されている。これにより、撮像部１３２が商品を撮影する際に、環境光による商品の色の変化を抑制することが可能となる。例えば、夕日がＰＯＳ端末装置１００の周囲に差し込んでいる環境において、光源部１５０は、その夕日による色の変化（赤みがかるような変化）をなくし、商品本来の色で撮影されるように、光の強度を調整して、商品に光を照射する。したがって、本実施の形態においては、商品の正確な色情報により近い色情報を商品の認識処理に使用することができる。したがって、商品の誤認識を抑制でき、商品の認識率を向上させることが可能となる。

さらに、実施の形態１においては、光源部１５０は、商品読取装置１２０の内部から、商品読取面１２４の方向に光を照射している。これにより、店員等が商品を商品読取面１２４に向ける際に、商品読取面１２４が光を発するようになっている。したがって、店員等が商品をかざす位置を容易に把握することが可能となる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２においては、光源部１５０によって照射される光を拡散させるための拡散手段が設けられている点で、実施の形態１と異なる。なお、実施の形態２にかかるＰＯＳ端末装置１００は、拡散手段が設けられた点以外の構成については、実施の形態１と同様であるので、説明を省略する。

図６は、実施の形態２にかかるＰＯＳ端末装置１００の例を示す図である。実施の形態１においては、光源部１５０は、商品読取面１２４に向けて光を照射している。一方、図６に示した実施の形態２にかかるＰＯＳ端末装置１００においては、光源部１５０は、光源部１５０は、矢印Ｂで示すように、筐体１２２の１つの面に向けて光を照射している。光源部１５０によって照射された光は、筐体の面における点Ｐで反射する。そして、その反射光は、矢印Ｃで示すように拡散して、商品読取面１２４に向けて照射される。この拡散された反射光は、商品読取面１２４に向けられた商品Ａに照射される。

光源から直接光を物体に照射する直接照明では、物体の照射面における照度が不均一になり易い。このとき、スポットライトのように、物体の照射面の一部が白くなる。そのため、この状態で撮像部１３２が商品を撮影すると、その白くなった部分の色情報が、実際の色情報とは異なったものとなってしまうおそれがある。一方、光源から投射された光を壁面等で反射させて拡散させ、この拡散された反射光を物体に照射する間接照明では、物体の照射面における照度が均一になり易い。

したがって、上記のように、光源部１５０によって投射された光を筐体の面に反射させて拡散させることによって、商品の商品読取面１２４に対向した面に対して、より均一に近い状態で光を照射させることが可能となる。よって、実施の形態２においては、実施の形態１と比較して、商品の正確な色情報により近い色情報を商品の認識処理に使用することができる。したがって、商品の誤認識をさらに抑制でき、商品の認識率をさらに向上させることが可能となる。

図７は、実施の形態２にかかるＰＯＳ端末装置１００の別の例を示す図である。図７においては、ＰＯＳ端末装置１００は、拡散手段として拡散部材３００を有する。拡散部材３００は、商品読取面１２４の少なくとも一部に設けられている。拡散部材３００は、プラスチック又はディフューザフィルム等の、光を透過する際に光を拡散させる材質で形成されている。光源部１５０によって投射された光は、拡散部材３００によって拡散されて、商品Ａに照射される。これによって、商品の商品読取面１２４に対向した面に対して、より均一に近い状態で光を照射させることが可能となる。

なお、図６には、拡散手段として、光源部１５０によって投射された光を反射させて拡散させるために光が照射される筐体１２２の面を、ＰＯＳ端末装置１００が有する例を示した。また、図７には、拡散手段として、光源部１５０によって投射された光を拡散させるための拡散部材３００を、ＰＯＳ端末装置１００が有する例を示した。一方で、拡散手段は、これらに限られない。例えば、光源部１５０の光の向きをより広角にすることによって、光が拡散されるようにしてもよい。また、例えばＬＥＤを縦横に複数並べることによって、光が拡散されるようにしてもよい。

また、図６に示した例においては、光源部１５０は、筐体１２２の上面に向けて光を照射しているが、これに限定されない。例えば、光源部１５０は、筐体１２２の側面に光を照射させてもよい。また、図７に示した例においては、拡散部材３００を商品読取面１２４に設けるとしたが、これに限定されない。例えば、拡散部材３００は、光源部１５０と商品読取面１２４との間に設けられてもよい。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図５のフローチャートにおいて、Ｓ１０４の処理は、なくてもよい。また、上述した実施の形態においては、光源部１５０が１つである例を示したが、光源部１５０は、複数あってもよい。

また、例えば、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。また、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、セルフレジにも適用可能である。また、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、タブレット端末（タブレットＰＯＳ）等の端末にも適用可能である。

また、上述した実施の形態１においては、明るさ計測手段の例として、撮像部１３２を用いて、撮影された画像の画素を解析して明るさ（照度）を計測するとしたが、これに限られない。例えば、明るさ計測手段として、照度センサによって、環境光による明るさ（照度）を計測してもよい。また、この照度センサは、ＰＯＳ端末装置の外部に設置されてもよい。この場合、ＰＯＳ端末装置は、照度センサから照度データを受信して、それに基づいて、上述したような方法で、光源の光の強度を調整してもよい。一方、撮像部１３２を用いて照度を計測することによって、照度センサを別途設ける必要がない。

また、上述した実施の形態においては、商品までの距離に応じて光源部１５０の光の強度を制御するとしたが、このような、距離に応じた制御は必須ではない。この場合、商品の画像を撮像する撮像手段は、３次元カメラでなくてもよい。一方、距離に応じて光源部１５０の光の強度を変えることによって、商品の照度を、商品までの距離によらないで均一に近づけることが可能となる。

また、本実施の形態においては、距離計測手段として、距離センサ１３４を用いて商品までの距離を計測し、その計測された商品までの距離に応じて光源部１５０の光の強度を制御するとしたが、これに限定されない。例えば、距離計測手段として、店員等が商品から商品読取面１２４までの距離を入力する手段を設け、この入力された距離に応じて光源部１５０の光の強度を制御してもよい。

また、上述した実施の形態においては、ＰＯＳ端末装置１００が商品認識処理を行うとしたが、これに限られない。例えば、ＰＯＳ端末装置１００に通信可能に接続されたサーバ等の管理装置が、商品認識処理を行ってもよい。また、光源制御部２００は、光源の光の強度を制御するとしたが、これに限られない。光源制御部２００は、商品の位置に応じて光源部１５０の向きを変えるように制御してもよい。また、光源制御部２００は、商品までの距離が遠い場合に光源部１５０を商品読取面１２４に近づけるように制御し、商品までの距離が近い場合に光源部１５０を商品読取面１２４からに遠ざけるように制御してもよい。これによって、商品の照度を、商品読取面１２４から商品までの距離によらないで均一に近づけることが可能となる。

また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年１１月１１日に出願された日本出願特願２０１３−２３３１３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ ＰＯＳ端末装置
２ 明るさ計測部
４ 照射部
６ 撮像部
８ 認識処理部
１００ ＰＯＳ端末装置
１１０ 情報処理装置
１２０ 商品読取装置
１２２ 筐体
１２４ 商品読取面
１３０ ３次元カメラ
１３２ 撮像部
１３４ 距離センサ
１３６ 赤外線照射部
１３８ 赤外線受光部
１４０ 距離画像生成部
１５０ 光源部
２００ 光源制御部
２０２ 環境光計測部
２０４ 距離計測部
２０６ 光源強度制御部
２２０ 認識処理部
２２２ 商品画像撮影制御部
２２８ 商品認識処理部
２３０ 商品情報格納部
３００ 拡散部材

Claims (13)

1. 環境光の明るさを計測する明るさ計測手段と、
   前記明るさ計測手段によって計測された前記環境光の明るさよりも大きな明るさの光を、商品に照射する照射手段と、
   前記照射手段によって光を照射された前記商品を撮像して画像を生成する撮像手段と、
   前記撮像手段によって撮像されて生成された画像に基づいて、前記商品の認識処理を行う認識処理手段と
   を有するＰＯＳ端末装置。
2. 前記明るさ計測手段は、前記照射手段が光を照射していないときに、前記撮像手段によって受光された光の明るさに基づいて、前記環境光の明るさを計測する
   請求項１に記載のＰＯＳ端末装置。
3. 前記商品までの距離を計測する距離計測手段
   をさらに有し、
   前記照射手段は、前記距離計測手段によって計測された距離に応じて、前記商品に照射する光の強さを調整する
   請求項１又は２に記載のＰＯＳ端末装置。
4. 前記照射手段によって照射される光を拡散させるための拡散手段
   をさらに有し、
   前記拡散手段によって拡散された光が、前記商品に照射される
   請求項１から３のいずれか１項に記載のＰＯＳ端末装置。
5. 前記照射手段は、当該照射手段が設けられた筐体の面に光を照射させ、前記筐体の面を反射した光を、前記商品に照射する
   請求項４に記載のＰＯＳ端末装置。
6. 前記拡散手段は、光を透過する際に光を拡散させる材質で形成された拡散部材で構成されている
   請求項４に記載のＰＯＳ端末装置。
7. 環境光の明るさを計測し、
   前記計測された環境光の明るさよりも大きな明るさの光を、商品に照射し、
   光を照射された前記商品を撮像して画像を生成し、
   前記撮像されて生成された画像に基づいて、前記商品の認識処理を行う
   商品認識方法。
8. 光を照射していないときに、前記商品を撮像する撮像手段によって受光された光の明るさに基づいて、前記環境光の明るさを計測する
   請求項７に記載の商品認識方法。
9. 前記商品までの距離を計測し、
   前記計測された距離に応じて、前記商品に照射する光の強さを調整する
   請求項７又は８に記載の商品認識方法。
10. 前記商品に照射される光を拡散させる
    請求項７から９のいずれか１項に記載の商品認識方法。
11. 環境光の明るさを計測するステップと、
    前記計測された環境光の明るさよりも大きな明るさの光を、商品に照射するステップと、
    光を照射された前記商品を撮像して画像を生成するステップと、
    前記撮像されて生成された画像に基づいて、前記商品の認識処理を行うステップと
    をコンピュータに実行させるプログラム。
12. 環境光の明るさを計測するステップは、光を照射していないときに、前記商品を撮像する撮像手段によって受光された光の明るさに基づいて、前記環境光の明るさを計測する
    請求項１１に記載のプログラム。
13. 前記商品までの距離を計測するステップと、
    前記計測された距離に応じて、前記商品に照射する光の強さを調整するステップと
    をさらにコンピュータに実行させる請求項１１又は１２に記載のプログラム。

Images