JP6388108B2 - Ｐｏｓ端末装置、ｐｏｓシステム、情報処理システム、画像認識方法、及び画像認識プログラム - Google Patents

Description

本発明は、物体の認識処理を行うＰＯＳ（Point Of Sale）端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラムに関する。

スーパーマーケットや百貨店、コンビニエンスストアなどの商品を取り扱う商店ではＰＯＳ（販売時点情報管理）端末装置が広く使用されている。ＰＯＳ端末装置により、販売実績情報を収集して商品の売れ行き動向が把握できるため、経営者にとって経営上の利点となる。

一般に、ＰＯＳ端末装置においては、店員が商品のバーコードを読み取り面にかざすことで商品のデータを入力している。商品にバーコードが付されていない場合、店員がキーボード入力などによりマニュアルで商品のデータを入力することとなり、商品データの入力に時間がかかってしまう。また、顧客が自分で商品データの入力を行うセルフレジでは、顧客はバーコードの位置の判断やバーコードの有無の把握に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する問題があった。

そのため、ＰＯＳ端末装置において内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。ここで、カメラ等で商品などの物体を撮像する場合に、光源の光が商品の表面で反射してカメラに入射すると、露出過多により画像内の商品にハイライト部が発生することがある。特に、明暗差の大きい商品などをＰＯＳ端末装置で画像認識処理すると、画像の一部にハイライト部が発生し、画像認識処理の高速化や認識率に影響を及ぼす。

特許文献１は、商品の登録や清算を行うＰＯＳ端末などの店舗システムにおいて、物体の画像を撮像し、その画像の特徴量を読み取り、その特徴量と商品画像のデータとを比較して、一致度がある閾値以上の場合に、特定の商品であるかを認識する技術を開示している。

また、ハレーション周辺の物体を有効に検出するステレオ式監視装置の一例が特許文献２に記載されている。特許文献２のステレオ式監視装置では、画像平面上においてハレーション等に起因した高輝度領域を特定している。そして所定の座標変換によって、実空間上の検出領域から画像平面上の検出領域を算出し、この領域内の輝度変化に基づいて、物体の有無を検出する技術が開示されている。

特開２０１２−４３３７１号公報 特開２００７−２８１９８９号公報

しかしながら、特許文献１及び特許文献２においては、認識処理の際に、不要なデータも含めて特定の商品であるかの認識処理を行うため、認識処理の高速化の妨げとなるといった問題があった。つまり、ＰＯＳ端末装置により、物体を画像として認識処理する際に、画像の中でハイライトとなる部分は、画像認識の際に不要なデータであったが、関連技術ではハイライト部分も含めて認識処理していたため高速化の妨げとなっていた。

本発明は、上述した課題である画像認識処理の高速化の障害を解決するＰＯＳ端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラムを提供することを目的とする。

上述の課題に鑑み、本発明の一態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する撮像部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を備えることを特徴とするＰＯＳ端末装置に関する。

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状を推定する撮像部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とを用いて、前記光源が放射する光が前記物体で反射し前記撮像部に入射した場合に物体に生じるハイライト部を推定するハイライト推定部と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を備えることを特徴とするＰＯＳ端末装置に関する。

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する撮像部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、ハイライト部が推定された場合、撮像された物体にハイライト部の発生が推定されないように光源の照度を制御して、物体の認識処理を行う制御部と、を備えることを特徴とするＰＯＳ端末装置に関する。

また、本発明の別の態様は、撮像された物体の形状データを受信する受信部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、推定されたハイライト部に関する情報を送信する送信部と、を備えることを特徴とする情報処理装置に関する。

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する撮像部と、前記撮像した物体の画像内におけるハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を有するＰＯＳ端末装置と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部を有する情報処理装置と、を備えることを特徴とする情報処理システムに関する。

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測し、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定し、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理することを特徴とする画像認識方法に関する。

さらに、本発明の別の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測し、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定し、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理することを特徴とする画像認識方法に関する。

また、本発明の他の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する処理と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定する処理と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識する処理とを、コンピュータに実行させる画像認識プログラムに関する。

さらに、本発明の別の態様は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離を計測する処理と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定する処理と、前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する処理とを、コンピュータに実行させる画像認識プログラムに関する。

本発明によれば、画像内の物体における認識処理の高速化が可能となる。

本発明の更なる利点及び実施形態を、記述と図面を用いて下記に詳細に説明する。

本発明の実施形態によるＰＯＳ端末装置の概略構成を示すブロック図である。 本発明の第１の実施形態によるＰＯＳ端末装置の外観を示す側面図である。 図２に示すＰＯＳ端末装置の構成を示すブロック図である。 図２に示すＰＯＳ端末装置の機能ブロック図である。 図２に示すＰＯＳ端末装置の処理を示すフローチャートである。 本発明の第２の実施形態によるＰＯＳ端末装置の外観を示す側面図である。 図６に示すＰＯＳ端末装置の機能ブロック図である。 図６に示すＰＯＳ端末装置の処理を示すフローチャートである。

（本発明の実施形態の概要）
本発明の各実施形態の説明に先立ち、本発明による実施形態の概要について図１を参照しつつ説明する。図１は、本実施形態によるＰＯＳ端末装置（情報端末装置）１の概要を示す図である。ＰＯＳ端末装置１は、店舗等の決済場所に設置され、商品を読み取って販売金額を算出し、商品や売上の管理を行うためのものである。

図１に示すＰＯＳ端末装置１は、撮像部１１と、ハイライト推定部１２と、制御部１３とを備えている。撮像部１１は、商品などの物体を撮像して画像を生成する。また、撮像部１１は、生成した画像に対応する物体の形状と物体の位置までの距離を計測する。ハイライト推定部１２は、ＰＯＳ端末装置１又はレジ台近辺に予め設置された光源が放射する光と撮像された物体の形状とから、物体に生じるハイライト部を推定する。制御部１３は、撮像部１１により撮像した物体の画像内における推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する。

また、制御部１３は、ハイライト部が推定された場合は撮像された物体にハイライト部の発生が推定されないように光源の照度を制御してから新たに物体を撮像して画像を生成し、物体の認識処理を行う。物体のハイライト部が推定されない場合は通常の認識処理を行う。

以下、本発明の各実施形態について図面を参照しつつ説明する。但し、以下に説明する実施形態によって本発明の技術的範囲は何ら限定解釈されることはない。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図２は、本実施形態によるＰＯＳ端末装置１００の外観を示す側面図である。図３は、本実施形態によるＰＯＳ端末装置１００の構成を示すブロック図である。

図２に示すＰＯＳ端末装置１００は、メインディスプレイ１０２、サブディスプレイ１０４、情報処理装置１０６、商品読取装置１２０、筐体１２２、商品読取面１２４、三次元カメラ１３０、及び光源１５０を備えている。

メインディスプレイ１０２は、例えばタッチパネル式の表示モニタであり、情報処理装置１０６の制御によって、オペレータに必要な情報を表示し、オペレータの操作を受け付ける。サブディスプレイ１０４は、例えばタッチパネル式の表示モニタであり、情報処理装置１０６の制御によって、店員又は顧客に必要な情報を表示する。以下の記載では、メインディスプレイ１０２は店員が操作する側に設けられ、サブディスプレイ１０４は顧客が位置する側に設けられているとして説明する。本発明はこの記載に限定されず、例えばセルフレジなどにおいては、メインディスプレイ１０２は顧客が操作する側に設けられ、サブディスプレイ１０４は店員が位置する側に設けられる。

情報処理装置１０６は、例えばコンピュータであり、ＣＰＵ（Central Processing Unit）等の制御部１１２と、メモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１０６は、メインディスプレイ１０２、サブディスプレイ１０４、商品読取装置１２０、及び光源１５０の動作を制御する。また、情報処理装置１０６は、メインディスプレイ１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１０６は、商品読取装置１２０によって読み取られた画像情報に応じて、画像処理及び商品の認識処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。

商品読取装置１２０は、筐体１２２と、光透過性の素材で形成された商品読取面１２４と、三次元カメラ（撮像部）１３０とを有する。商品読取面１２４は、筐体１２２における商品などの物体をかざす側の面に設けられている。三次元カメラ１３０は、筐体１２２の内部の、商品読取面１２４とは反対側に設けられている。店員が顧客から受け取った商品を商品読取面１２４に向けると、三次元カメラ１３０が商品Ａの画像を読み取る。これによって、ＰＯＳ端末装置１００は、商品の認識処理を行う。詳しくは後述する。

三次元カメラ１３０は、二次元カメラ１３２と、距離センサ（距離計測手段）１３４とを有する。二次元カメラ１３２は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子であって、商品の画像を読み取る処理を行う。具体的には、二次元カメラ１３２は、商品読取面１２４に向けられた物体を撮像して、その物体の画像を含む二次元のカラー画像又はモノクロ画像（二次元画像）を生成する。なお、以下、用語「二次元画像」は、情報処理における処理対象としての、「二次元画像を示す画像データ」も意味する。

距離センサ１３４は、例えばＴＯＦ（Time Of Flight）方式で、距離センサ１３４から、商品読取面１２４に向けられた物体（商品Ａ）の位置までの距離を計測する。つまり、距離センサ１３４は、赤外線等の光線を照射し、照射された光線が物体まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ１３４は、レーザを照射してもよい。

距離センサ１３４は、距離計測手段としての機能を有する。距離センサ１３４は、赤外線照射部１３６と、赤外線受光部１３８と、距離画像生成部１４０とを有する。赤外線照射部１３６は、商品読取面１２４の外側に向けて、赤外線を照射する。商品読取面１２４の近傍に物体が存在するときは、赤外線照射部１３６によって照射された赤外線は、その物体を反射する。赤外線受光部１３８は、例えばイメージセンサ（例えばＣＣＤ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）であって、物体を反射した赤外線を受光する。

距離画像生成部１４０は、赤外線照射部１３６が赤外線を照射した時間と、赤外線受光部１３８が反射光を受光した時間との時間差から、物体までの距離（奥行き）を算出する。具体的には、赤外線照射部１３６と赤外線受光部１３８とは同期するようになっており、距離画像生成部１４０は、赤外線照射部１３６が照射する赤外線の位相と、赤外線受光部１３８が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。

さらに具体的には、距離画像生成部１４０は、赤外線受光部１３８が受光した物体の各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。これによって、距離画像生成部１４０は、物体の各位置の距離を示す画素の集合である距離画像を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。

なお、距離センサ１３４と物体との距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体までの距離を計測することができなくなる。したがって、距離センサ１３４が計測できる最小の時間差（位相差）に合わせて、距離センサ１３４と物体との距離が保たれるように、距離センサ１３４は、商品読取面１２４から間隔Ｌ離れて設置されている。

また、二次元カメラ１３２及び距離センサ１３４は、互いに近接して（つまり略同じ位置に）配置されてもよい。この場合、二次元カメラ１３２によって得られた二次元画像と、距離センサ１３４によって得られた距離画像とが、互いに対応するように構成される。つまり、撮影対象の物体のある位置が二次元画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置は、距離画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１３４によって得られた距離画像の各画素位置は、二次元カメラ１３２によって得られた二次元画像の各画素位置と、互いに対応するように構成されている。なお、二次元カメラ１３２の位置と距離センサ１３４の位置とが多少ずれているような場合などにおいては、二次元カメラ１３２と距離センサ１３４との間の距離と、二次元カメラ１３２及び距離センサ１３４それぞれの視野角とから、距離画像の各画素位置と二次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。

光源１５０は、矢印Ｂで示すように、商品Ａに光を照射する光源である。図２において、光源１５０は、商品読取装置１２０の内部に設置されているが、この態様に限られない。例えば、後述する図６に示すように、光源１５１、１５２は商品読取面１２４の外側近傍にすく複数個設けられてもよいし、ＰＯＳ端末装置１００から離れて設けられてもよい。

図４は、本発明の第１の実施形態によるＰＯＳ端末装置１００の機能ブロック図である。また、図５は、本実施形態によるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、商品推測部２００と、認識処理部２２０とを備える。商品推測部２００は、商品画像取得部２０２と、距離計測部２０４と、商品形状推測部２０６とを有する。また、認識処理部２２０は、光線追跡部２２２と、ハイライト処理部２２４と、商品認識処理部２２８と、商品情報格納部２３０とを有する。

商品推測部２００及び認識処理部２２０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。具体的には、記憶部１１４に格納されたプログラムを、制御部１１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。以下、商品推測部２００及び認識処理部２２０の処理について具体的に説明する。

商品画像取得部２０２は、ＰＯＳ端末装置１００の商品読取面１２４にかざされる商品の画像を取得する（Ｓ１０１）。具体的には、商品画像取得部２０２は、光源１５０が商品に光を照射している環境下において、二次元カメラ１３２に対して、商品読取面１２４の前のイメージ（例えばＰＯＳ端末装置１００が載置されたカウンタ台の上面）を撮影するように制御する。つまり、商品画像取得部２０２は、光源１５０に光を照射された商品の画像（商品画像）を含む二次元画像を、二次元カメラ１３２に撮影させるように制御する。二次元カメラ１３２は、商品画像取得部２０２の制御により、商品読取面１２４の前のイメージを撮影する。また、商品画像取得部２０２は、取得された商品画像を示すデータを、商品形状推測部２０６に対して出力する。

距離計測部２０４は、距離センサ１３４を制御して、距離センサ１３４から商品までの距離を計測する（Ｓ１０３）。具体的には、距離計測部２０４は、商品読取面１２４に向けられた商品に関する距離画像（距離画像を示す画像データ）を撮影するように、距離センサ１３４を制御する。距離センサ１３４は、距離計測部２０４の制御に応じて、商品読取面１２４に向けられた商品に関する距離画像を撮影し、距離画像を生成する。距離計測部２０４は、生成された距離画像を取得し、この距離画像を用いて、商品までの距離を計測する。つまり、距離計測部２０４は、距離センサ１３４とともに、距離計測手段としての機能を有する。また、距離計測部２０４は、計測された商品までの距離を示すデータを、商品形状推測部２０６に対して出力する。

商品形状推測部２０６は、取得された商品画像を示すデータと計測された商品までの距離を示すデータとに基づいて、商品の形状を推測する（Ｓ１０５）。具体的には、商品形状推測部２０６は、商品画像取得部２０２と距離計測部２０４から出力された上記データを取り込み、商品画像（二次元画像）と物体の各位置の距離を示す画素の集合体である距離画像に基づき、商品の立体的な形状を分析して形状を推測する。

光線追跡部２２２は、三次元カメラ１３０と光源１５０との相対的な位置関係と、光源１５０から放射される光情報に基づき、レイトレーシングを実行する（Ｓ１０７）。具体的には、光源追跡部２２２は、例えば、あらかじめ定められた光源１５０の位置や光の強度、三次元カメラ１３０の画角や位置、基準となる商品までの距離などに基づいて、レイトレーシングを実行する（Ｓ１０７）。レイトレーシングでは、既知のアルゴリズムにより物体面の光を計算する。なお、レイトレーシングは一般的に知られており、ここではその概略的な説明にとどめておく。

光源追跡部２２２は、光源１５０から照射された光が商品の表面で反射して三次元カメラ１３０に入射してくる光を、画素毎に光源１５０方向にさかのぼって追跡していき、写実的な画像を生成する。このとき、高輝度又は高光度の反射光が三次元カメラ１３０に入射し、三次元カメラ１３０のダイナミックレンジを超えると、露出過多となってハイライト部が生じる。ハイライト部が発生すると、ハイライト部及びその周辺の画像品質が大幅に低下するため、画像認識処理の正確性が低下してしまうことがある。このため、光源追跡部２２２により、ハイライト部が推定された場合には、続いて説明するハイライト処理部２２４でハイライト部が削除される。ここでハイライト部とは、高輝度又は高光度の対象がカメラの画角内にあるときに、光学系内で光が乱反射して画像の一部が不鮮明になる現象をいう。

ハイライト処理部２２４は、光源追跡部２２２の追跡処理によりハイライト部があると推定された場合（Ｓ１０９、ＹＥＳ）、ハイライト部を削除処理する（Ｓ１１１）。続いて、後述する商品認識処理が実行される。光源追跡部２２２の追跡処理により、ハイライト部があると推定されなかった場合（Ｓ１０９、ＮＯ）、次に後述する商品認識処理が実行される。また、ハイライト部は画像認識処理の際に不要な画像データであるため、商品認識処理部２２８での商品認識処理に含めずに取り扱うことで、認識処理の高速化を図ることができる。

商品認識処理部２２８は、商品画像撮影制御部２２２によって取得された二次元画像を用いて、商品認識処理を行う（Ｓ１１３）。また、商品認識処理部２２８は、商品認識処理によって得られた商品情報を、商品情報格納部２３０に格納する。商品情報は、商品に付されるバーコードに含まれる情報を含む。さらに、商品情報は、商品のサイズ（容量）を含んでもよい。ＰＯＳ端末装置１００は、商品認識処理部２２８による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、二次元画像における商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。例えば、商品認識処理部２２８は、二次元画像から商品画像を抽出し、その抽出された商品画像と基準商品情報とのパターンマッチングを行う。なお、商品画像の抽出方法は、様々なものが挙げられる。例えば、予め背景画像を撮影しておき、その背景画像と、二次元カメラ１３２によって撮影された（商品画像を含む）二次元画像との差分を、商品画像として抽出してもよい。また、距離センサ１３４を用いて、二次元画像において、距離センサ１３４から予め定められた距離以内の位置に対応する画像区域を、商品画像として抽出してもよい。なお、基準商品情報については、以下に例示する。

例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。その場合、商品認識処理部２２８は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。

また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、商品認識処理部２２８は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２２８は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部２２８は、商品のパッケージに付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、商品名を認識してもよい。

以上、本発明の第１の実施形態によれば、商品などの物体の認識処理の高速化や正確性の向上が可能となる。その結果、待ち時間の短縮による顧客満足度の向上や本装置の普及率の上昇につながる。その理由は、物体に生じるハイライト部をあらかじめ推定し、撮像した物体の画像内における推定されたハイライト部以外の画像に基づいて物体の認識処理を行っているからである。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第２の実施形態は、上述した第１の実施形態の変形例である。以下、本実施形態において、第１の実施形態においてすでに説明した部分と同様な機能を有する部分には同一符号を付し、説明は省略する。

図６は、本発明の第２の実施形態によるＰＯＳ端末装置１００の外観を示す側面図である。本実施形態に係るＰＯＳ端末装置１００は、メインディスプレイ１０２、サブディスプレイ１０４、情報処理装置１０６、商品読取装置１２０、筐体１２２、商品読取面１２４、三次元カメラ１３０、及び光源１５１、１５２を備えている。同図では、本実施形態では、第１の実施形態のように筐体１２２の内部ではなく、筐体１２２の外側における商品読取面１２４の近傍に二つの光源１５１、１５２が設置されている例を示す。この例に限らず、光源は商品を照らすことができるのであればどこに備えつけられても構わない。

光源１５１、１５２は、矢印Ｂで示すように、商品Ａに光を照射する光源手段である。光源１５１、１５２は、情報処理装置１０６の制御部１１２による制御によって、商品Ａに照射される光の強さ（強度）を調整する。言い換えると、光源１５１、１５２は、情報処理装置１０６の制御部１１２による制御によって、商品Ａの明るさ（照度等）を調整する。本実施形態では、後述するように、光線追跡部２２２によりハイライト部が推定された際に、情報処理装置１０６の制御部１１２による制御によって、商品などの物体に照射される光の強度（照度）が調整されることとなる。

図７は、本実施形態によるＰＯＳ端末装置１００の機能ブロック図である。また、図８は、本実施形態によるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、商品推測部２００と、認識処理部２２０とを備える。商品推測部２００は、商品画像取得部２０２と、距離計測部２０４と、商品形状推測部２０６とを有する。また、認識処理部２２０は、光線追跡部２２２と、光源制御部２３２と、商品画像撮影制御部２２６と、商品認識処理部２２８と、商品情報格納部２３０とを有する。

図７及び図８のフローチャートを参照しながら本実施形態によるＰＯＳ端末装置１００を説明すると、まず、商品画像取得部２０２は、ＰＯＳ端末装置１００の商品読取面１２４にかざされる商品の画像を取得する（Ｓ２０１）。次に、距離計測部２０４は、距離センサ１３４を制御して、距離センサ１３４から商品までの距離を計測する（Ｓ２０３）。また、商品形状推測部２０６は、取得された商品画像を示すデータと計測された商品までの距離を示すデータとに基づいて、商品の形状を推測する（Ｓ２０５）。そして、光線追跡部２２２は、三次元カメラ１３０と光源１５０との相対的な位置関係と、光源１５０から放射される光情報に基づき、レイトレーシングを実行する（Ｓ２０７）。

ハイライト処理部２２４は、光源追跡部２２２の追跡処理によりハイライト部があると推定された場合（Ｓ２０９、ＹＥＳ）、光源制御部２３２により、光源１５１、１５２を制御する（Ｓ２１１）。具体的には、光源制御部２３２は、光源１５１、１５２が投射する光の強度を制御し調整する。つまり、光源１５１、１５２は、光源制御部２３２の制御によって、光の強度を調整する。光源制御部２３２は、ハイライト部が推定された程度に応じて、光源１５１、１５２に照らされた商品にハイライト部が生じないように商品に照射される光の強さを調整する。また、光源制御部２３２は、光源１５１、１５２の画角や位置を制御するようにしてもよい。

次に、商品画像撮影制御部２２６は、光源部１５１、１５２に光を照射された商品の画像（商品画像）を含む２次元画像を、二次元カメラ１３２に撮影させるように制御する（Ｓ２１３）。具体的には、商品画像撮影制御部２２６は、二次元カメラ１３２を制御して、商品読取面１２４に向けられ、光源部１５１、１５２によって光を照射された商品を撮像させる。そして、商品画像撮影制御部２２６は、二次元カメラ１３２によって生成された２次元画像を取得し、商品認識処理部２２８に対して出力する。そして、商品認識処理部２２８による商品認識処理が実行される。

光源追跡部２２２の追跡処理により、ハイライト部があると推定されなかった場合（Ｓ２０９、ＮＯ）、商品認識処理部２２８による商品認識処理が実行される。商品認識処理部２２８は、商品画像撮影制御部２２２によって取得された二次元画像を用いて、商品認識処理を行う（Ｓ２１５）。

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、二次元画像における商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。例えば、商品認識処理部２２８は、二次元画像から商品画像を抽出し、その抽出された商品画像と基準商品情報とのパターンマッチングを行う。また、サーバなどの他の管理装置において、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶しておいてもよい。この場合、ＰＯＳ端末装置１００と管理装置とは通信可能に接続されたＰＯＳシステムを形成する。ＰＯＳ端末装置１００は、管理装置と通信を行うための必要な処理を行う。ＰＯＳ端末装置１００の通信装置１１６は、ネットワークを介して接続された管理装置と通信を行うために必要な処理を行う。ＰＯＳ端末装置１００と管理装置とは、通信可能に接続されて、両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。

以上、本発明の第２の実施形態によれば、商品などの物体の認識処理の高速化や正確性の向上が可能となる。その結果、待ち時間の短縮による顧客満足度の向上や本装置の普及率の上昇につながる。その理由は、物体に生じるハイライト部をあらかじめ推定し、ハイライト部が推定された場合、撮像された物体にハイライト部の発生が推定されないように光源の照度を制御して物体の認識処理を行っているからである。

なお、上記各実施形態におけるハイライト部の推定処理は、外部に設置されるサーバなどの情報処理装置で行う構成としても良い。この場合、情報処理装置は、ＰＯＳ端末装置１００の三次元カメラ１３０で撮像された物体の形状データを受信する受信部と、あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、推定されたハイライト部に関する情報をＰＯＳ端末装置１００へ送信する送信部とを備える構成となる。あらかじめ設置された光源の位置関係や光源から放射される光の情報は、情報処理装置内の記憶部にあらかじめ記録しておいても良いし、ＰＯＳ端末装置１００から光源に関する情報を受信しても良い。

また、上述した各実施形態で説明したＰＯＳ端末装置１００の一部である、ハイライト部を推定する処理を情報処理装置で行う構成を備える情報処理システムも本発明の範疇に含まれる。この情報処理システムは、ＰＯＳ端末装置１００及び情報処理装置を備える構成となる。ＰＯＳ端末装置１００は、物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する撮像部と、撮像した物体の画像内におけるハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部とを有する。また、情報処理装置は、あらかじめ設置された光源が放射する光と撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部を有する。

なお、上記のＰＯＳ端末装置１００において行われる画像認識方法は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ ＰＯＳ端末装置（情報端末装置）
１１ 撮像部
１２ ハイライト推定部
１３ 制御部
１００ ＰＯＳ端末装置
１０２ メインディスプレイ
１０４ サブディスプレイ
１０６ 情報処理装置
１１２ 制御部
１１４ 記憶部
１１６ 通信装置
１２０ 商品読取装置
１２２ 筐体
１２４ 商品読取面
１３０ 三次元カメラ
１３２ 二次元カメラ
１３４ 距離センサ
１３６ 赤外線照射部
１３８ 赤外線受光部
１４０ 距離画像生成部
１５０ 光源
１５１ 光源
１５２ 光源
２００ 商品推測部
２０２ 商品画像取得部
２０４ 距離計測部
２０６ 商品形状推測部
２２０ 認識処理部
２２２ 光線追跡部
２２４ ハイライト処理部
２２６ 商品画像撮影制御部
２２８ 商品認識処理部
２３０ 商品情報格納部
２３２ 光源制御部

Claims (10)

1. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する撮像部と、
   あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部と、
   前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を備えることを特徴とするＰＯＳ端末装置。
2. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状を推定する撮像部と、
   あらかじめ設置された光源が放射する光と前記撮像された物体の形状とを用いて、前記光源が放射する光が前記物体で反射し前記撮像部に入射した場合に物体に生じるハイライト部を推定するハイライト推定部と、
   前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を備えることを特徴とするＰＯＳ端末装置。
3. 前記制御部は、撮像部と光源との相対的な位置関係と、光源から放射される光の情報を有していることを特徴とする請求項１又は２の何れか一項に記載のＰＯＳ端末装置。
4. 前記制御部は、物体を撮像して生成される二次元画像と記憶部に記憶された基準商品情報とのパターンマッチングにより物体の認識処理を実行することを特徴とする請求項１乃至３の何れか一項に記載のＰＯＳ端末装置。
5. 前記撮像した物体の画像内における前記推定されたハイライト部以外の画像を送信する通信部を備える請求項１乃至４の何れか一項に記載のＰＯＳ端末装置と、
   基準物体情報を予め記憶する記憶部を有し、前記ＰＯＳ端末装置の前記通信部と通信を行う管理装置と、を有するＰＯＳシステム。
6. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する撮像部と、前記撮像した物体の画像内におけるハイライト部以外の画像に基づいて、画像内の物体を認識処理する制御部と、を有するＰＯＳ端末装置と、
   あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定するハイライト推定部を有する情報処理装置と、を備えることを特徴とする情報処理システム。
7. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測し、
   あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定し、
   前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理することを特徴とする画像認識方法。
8. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状を推定し、
   あらかじめ設置された光源が放射する光と前記撮像された物体の形状とを用いて、前記光源が放射する光が前記物体で反射し前記撮像部に入射した場合に物体に生じるハイライト部を推定し、
   前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識処理することを特徴とする画像認識方法。
9. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状と物体の位置までの距離とを計測する処理と、
   あらかじめ設置された光源が放射する光と前記撮像された物体の形状とから、物体に生じるハイライト部を推定する処理と、
   前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識する処理とを、コンピュータに実行させる画像認識プログラム。
10. 物体を撮像して画像を生成し、該生成された画像に対応する物体の形状を推定する処理と、
    あらかじめ設置された光源が放射する光と前記撮像された物体の形状とを用いて、前記光源が放射する光が前記物体で反射し前記撮像部に入射した場合に物体に生じるハイライト部を推定する処理と、
    前記撮像した物体の画像内における前記推定されたハイライト部以外の画像に基づいて、画像内の物体を認識する処理とを、コンピュータに実行させる画像認識プログラム。

Images