JP6318557B2 - Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム - Google Patents

Description

本発明は、ＰＯＳ（Point Of Sales）端末装置、ＰＯＳシステム、商品抽出方法及びプログラムに関し、特に商品の決済を行うために用いられるＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムに関する。

スーパマーケットや量販店等の決済場所（料金支払所：レジ）に設置するＰＯＳ（Point Of Sales）端末においては、バーコードの付いた商品については、店員がバーコード入力装置によって入力を行い、バーコードの付けられない商品については、店員がキーボードによって商品のデータを入力している。このため、店員の熟練度により、バーコードが付けられていない商品の入力時間に大きな差が生じる。店員が、バーコードが付されていない商品に予め店舗用のバーコードを付すことも行われているが、作業時間の増大につながっている。さらに、近年は、顧客が自分で直接ＰＯＳ端末装置を操作するセルフレジも増加している。顧客は、商品のどの位置にバーコードが付されているかの判断に時間がかかるため、ＰＯＳ端末装置の操作に要する時間はさらに増大する。

そのため、ＰＯＳ端末装置に内蔵されたカメラ等で商品を撮像して、得られた画像データから、画像認識技術を用いて商品を認識する技術が提案されている。ここで、カメラで商品を撮影する際、商品の画像だけでなく背景の画像も撮影されてしまう。商品の認識処理において、背景の画像は不要なノイズとなる。したがって、商品の認識処理をするためには、背景の画像を除去する必要がある。背景の画像を除去する技術として、特許文献１には、予め撮影しておいた背景画像と、被写体が撮影された入力画像との差分をとることによって、入力画像から背景画像を除去する技術が開示されている。

特開２００１− ５２１７７号公報

特許文献１のような、予め撮影しておいた背景画像と、被写体が撮影された入力画像との差分によって背景の画像（背景画像）を除去する技術には、以下のような問題がある。ＰＯＳ端末装置のカメラで商品を撮影したときに、商品以外の物体が写りこむことがある。例えば、カメラで商品を撮影するときに、商品を持つ人の体が写りこむことがある。このような場合、背景画像との差分として、商品以外の物体（例えば商品を持つ人の体）も抽出されてしまう。そのため、商品の画像に、商品以外の物体（例えば商品を持つ人の体）の画像も含まれてしまう。また、例えば外光（例えば夕日）等の影響により背景の色合いが変化した場合等、背景画像を予め撮影したときとは背景自体が異なることがある。そのような場合、背景は差分と認識されるので、背景画像が除去されず、商品の画像に商品以外の物体の画像が含まれてしまう。このように、商品の画像に商品以外の物体の画像が含まれると、その商品以外の物体の画像を含んだ状態で商品認識を行う。このような場合、商品認識の精度が悪化するため、商品の認識率が悪化するおそれがあった。

本発明は、このような課題を解決するためになされたものであり、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムを提供することにある。

本発明にかかるＰＯＳ端末装置は、物体を撮像して画像を生成する撮像手段と、前記撮像手段によって生成された画像に対応する物体の位置までの距離を計測する距離計測手段と、前記撮像手段によって生成された画像から、前記距離計測手段によって計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出する商品画像抽出手段とを有する。

また、本発明にかかるＰＯＳシステムは、ＰＯＳ端末装置と、前記ＰＯＳ端末装置と通信を行う管理装置とを有する。

また、本発明にかかる画像処理方法は、物体を撮像して画像を生成し、前記生成された画像に対応する物体の位置までの距離を計測し、前記生成された画像から、前記計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出する。

また、本発明にかかるプログラムは、撮像手段に物体を撮像させて画像を生成させるステップと、距離計測手段に前記生成された画像に対応する物体の位置までの距離を計測させるステップと、前記生成された画像から、前記計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出するステップとをコンピュータに実行させる。

本発明によれば、商品の認識率の向上に寄与するために、撮像手段によって撮影された画像から商品の画像を抽出することが可能なＰＯＳ端末装置、ＰＯＳシステム、画像処理方法及びプログラムを提供できる。

本発明の実施の形態にかかるＰＯＳ端末装置の概要を示す図である。 実施の形態１にかかるＰＯＳ端末装置の外観を示す側面図である。 実施の形態１にかかるＰＯＳ端末装置のハードウェア構成を示す図である。 実施の形態１にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態１にかかる開始制御部の処理を示すフローチャートである。 実施の形態１にかかる認識処理部の処理を示すフローチャートである。 実施の形態１にかかる商品画像抽出部の処理を説明するための図である。 形状及びパッケージが同じであっても、サイズが異なる商品を例示する図である。 実施の形態２にかかるＰＯＳシステムを示す図である。 実施の形態２にかかる管理装置のハードウェア構成を示す図である。 実施の形態２にかかるＰＯＳ端末装置の機能ブロック図である。 実施の形態２にかかる管理装置の機能ブロック図である。

（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかるＰＯＳ端末装置１の概要を示す図である。図１に示すように、ＰＯＳ端末装置１は、撮像部２と、距離計測部４と、商品画像抽出部６とを有する。

撮像部２は、物体を撮像して画像を生成する。距離計測部４は、撮像部２によって生成された画像に対応する物体の位置までの距離を計測する。商品画像抽出部６は、撮像部２によって生成された画像から、距離計測部４によって計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出する。本発明の実施の形態にかかるＰＯＳ端末装置１は、商品の認識率の向上に寄与するために、撮像部２によって撮影された画像から商品の画像を抽出することが可能となる。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。
図２は、実施の形態１にかかるＰＯＳ端末装置１００の外観を示す側面図である。また、図３は、実施の形態１にかかるＰＯＳ端末装置１００のハードウェア構成を示す図である。ＰＯＳ端末装置１００は、店員用表示操作部１０２と、顧客用表示部１０４と、情報処理装置１１０と、商品読取装置１２０とを有する。ＰＯＳ端末装置１００は、例えばカウンタ台（図示せず）に載置され、ＰＯＳ端末装置１００を挟んで、図２の左側に顧客が、右側に店員が対峙する。

店員用表示操作部１０２は、例えばタッチパネル、ＬＣＤ（Liquid Crystal Display）、又はキーボード等である。店員用表示操作部１０２は、情報処理装置１１０の制御によって、店員に必要な情報を表示し、店員の操作を受け付ける。

顧客用表示部１０４は、例えばタッチパネル又はＬＣＤ等である。顧客用表示部１０４は、情報処理装置１１０の制御によって、顧客に必要な情報を表示する。また、顧客用表示部１０４は、入力装置を有してもよく、必要に応じて顧客の操作を受け付けてもよい。

情報処理装置１１０は、例えばコンピュータである。情報処理装置１１０は、例えばＣＰＵ（Central Processing Unit）等の制御部１１２と、例えばメモリ又はハードディスク等の記憶部１１４と、通信装置１１６とを有する。情報処理装置１１０は、店員用表示操作部１０２、顧客用表示部１０４及び商品読取装置１２０の動作を制御する。また、情報処理装置１１０は、店員用表示操作部１０２によって受け付けられた操作に応じて必要な処理を行う。また、情報処理装置１１０は、商品読取装置１２０によって読み取られた画像情報に応じて、画像処理等の必要な処理を行う。通信装置１１６は、ネットワークを介して接続されたサーバ等の管理装置と通信を行うために必要な処理を行う。

商品読取装置１２０は、筐体１２２と、光透過性の素材で形成された商品読取面１２４と、３次元カメラ１３０とを有する。商品読取面１２４は、筐体１２２の店員側の面に設けられており、商品を撮像させる（読み取らせる）ときに当該商品が向けられる。３次元カメラ１３０は、筐体１２２の内部の、商品読取面１２４とは反対側に設けられている。店員が顧客から受け取った商品を商品読取面１２４に向けると、３次元カメラ１３０が商品の画像を読み取る。これによって、ＰＯＳ端末装置１００は、商品の認識処理を行う。詳しくは後述する。

３次元カメラ１３０は、撮像部１３２と、距離センサ１３４（距離計測手段）とを有する。撮像部１３２は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であって、商品の画像を読み取る処理を行う。具体的には、撮像部１３２は、商品読取面１２４に向けられた物体を撮像して、その物体の画像を含む２次元のカラー画像又はモノクロ画像（２次元画像）を生成する。なお、以下、用語「２次元画像」は、情報処理における処理対象としての、「２次元画像を示す画像データ」も意味する。

距離センサ１３４は、例えばＴＯＦ（Time Of Flight）方式で、距離センサ１３４から、商品読取面１２４に向けられた物体の位置までの距離を計測する。つまり、距離センサ１３４は、赤外線等の光線を照射し、照射された光線が物体まで往復するのにかかる時間から、距離を計測する。なお、本実施の形態では、赤外線が照射されるとしたが、これに限定されない。例えば、距離センサ１３４は、レーザを照射してもよい。

距離センサ１３４は、赤外線照射部１３６と、赤外線受光部１３８と、距離画像生成部１４０とを有する。赤外線照射部１３６は、商品読取面１２４の外側に向けて、赤外線を照射する。商品読取面１２４の近傍に物体が存在するときは、赤外線照射部１３６によって照射された赤外線は、その物体を反射する。赤外線受光部１３８は、例えばイメージセンサ（例えばＣＣＤ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）であって、物体を反射した赤外線を受光する。

距離画像生成部１４０は、赤外線照射部１３６が赤外線を照射した時間と、赤外線受光部１３８が反射光を受光した時間との時間差から、物体までの距離（奥行き）を算出する。具体的には、赤外線照射部１３６と赤外線受光部１３８とは同期するようになっており、距離画像生成部１４０は、赤外線照射部１３６が照射する赤外線の位相と、赤外線受光部１３８が受光する反射光の位相との位相差を計測することにより、上記時間差を計測する。

さらに具体的には、距離画像生成部１４０は、赤外線受光部１３８が受光した物体の各位置からの反射光それぞれについて、時間差を計測し、各位置それぞれについて、距離を計測する。これによって、距離画像生成部１４０は、物体の各位置の距離を示す画素の集合である距離画像（３次元画像）を生成する。なお、以下、用語「距離画像」は、情報処理における処理対象としての、「距離画像を示す画像データ」も意味する。

例えば、距離センサ１３４から１５ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離１５ｃｍ」を示す距離情報を含む。また、距離センサ１３４から３０ｃｍの位置については、距離画像の中の当該位置に対応する画素は、「距離３０ｃｍ」を示す距離情報を含む。

なお、距離センサ１３４と物体との距離が近すぎると、照射光と反射光との位相差を検出できず、時間差を計測できない。したがって、物体までの距離を計測することができなくなる。したがって、距離センサ１３４が計測できる最小の時間差（位相差）に合わせて、距離センサ１３４（３次元カメラ１３０）と物体との距離が保たれるように、距離センサ１３４（３次元カメラ１３０）は、商品読取面１２４から間隔Ｌ離れて設置されている。つまり、距離センサ１３４（３次元カメラ１３０）は、計測可能な最小の距離を保つように、商品読取面１２４から間隔Ｌ離れて設置されている。赤外線の速度（光速）は３０万ｋｍ毎秒であり、したがって、赤外線は、１ナノ秒で３０ｃｍ進む。つまり、距離センサ１３４と物体の間の距離が１５ｃｍ（往復３０ｃｍ）変化したときに、光を照射してから反射光を受光するまでの時間が、1ナノ秒変化する。したがって、例えば、計測できる最小の時間差が１ナノ秒である場合、間隔Ｌは１５ｃｍとなる。

また、撮像部１３２及び距離センサ１３４は、互いに近接して（つまり略同じ位置に）配置される。そのため、撮像部１３２によって得られた２次元画像と、距離センサ１３４によって得られた距離画像とが、互いに対応するように構成されている。つまり、撮影対象の物体のある位置Ｐが２次元画像の画素位置（Ｘ１，Ｙ１）に対応する場合、位置Ｐは、距離画像においても画素位置（Ｘ１，Ｙ１）にほぼ対応する。言い換えると、距離センサ１３４によって得られた距離画像の各画素位置は、撮像部１３２によって得られた２次元画像の各画素位置と、互いに対応するように構成されている。なお、撮像部１３２の位置と距離センサ１３４の位置とが多少ずれているような場合などにおいては、撮像部１３２と距離センサ１３４との間の距離と、撮像部１３２及び距離センサ１３４それぞれの視野角とから、距離画像の各画素位置と２次元画像の各画素位置との位置合わせを行うような処理を行ってもよい。

図４は、実施の形態１にかかるＰＯＳ端末装置１００の機能ブロック図である。また、図５及び図６は、実施の形態１にかかるＰＯＳ端末装置１００の処理を示すフローチャートである。ＰＯＳ端末装置１００は、開始制御部２００と、認識処理部２２０とを有する。開始制御部２００は、距離画像取得部２０２と、物体接近判別部２０４と、認識処理実行制御部２０６とを有する。また、認識処理部２２０は、商品画像撮影制御部２２２と、距離画像撮影制御部２２４と、商品画像抽出部２２６と、商品認識処理部２２８と、商品情報格納部２３０とを有する。

なお、開始制御部２００及び認識処理部２２０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部１１４に格納されたプログラムを、制御部１１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、開始制御部２００及び認識処理部２２０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。

開始制御部２００は、物体が商品読取面１２４（つまり３次元カメラ１３０）に接近したか否かを判別して、認識処理部２２０に処理を実行させるか否かを制御する。認識処理部２２０は、開始制御部２００によって処理を実行するように制御された場合に、商品の認識処理（商品認識処理）を行う。

以下、開始制御部２００及び認識処理部２２０の処理について、具体的に説明する。図５は、実施の形態１にかかる開始制御部２００の処理を示すフローチャートである。また、図６は、実施の形態１にかかる認識処理部２２０の処理を示すフローチャートである。

距離画像取得部２０２は、距離センサ１３４を制御して、距離画像を取得する（Ｓ１０２）。具体的には、距離画像取得部２０２は、商品読取面１２４の正面の距離画像を撮影するように、距離センサ１３４を制御する。距離センサ１３４は、距離画像取得部２０２の制御に応じて、商品読取面１２４の正面の距離画像を撮影し、距離画像（距離画像を示す画像データ）を生成する。距離画像取得部２０２は、生成された距離画像を取得し、物体接近判別部２０４に出力する。

物体接近判別部２０４は、距離画像を用いて、閾値Ｔｈ１（第１の閾値）以内に物体が接近したか否かを判別する（Ｓ１０４）。例えば、物体接近判別部２０４は、距離画像を解析して、距離センサ１３４から閾値Ｔｈ１以内の距離を示す画素が存在するか否かを判別する。物体接近判別部２０４は、閾値Ｔｈ１以内の距離を示す画素が存在する場合に、物体が接近していると判別する。一方、物体接近判別部２０４は、閾値Ｔｈ１以内の距離を示す画素が存在しない場合に、物体が接近していないと判別する。

なお、閾値Ｔｈ１は、商品読取面１２４に店員等が商品を向けて商品認識をさせようとするときの、商品読取面１２４から商品（物体）までの距離を考慮して決定される。また、商品読取面１２４から閾値Ｔｈ１の位置までの間には、店員等が商品読取面１２４に商品を向けるとき以外のときには、物体が存在しないように、閾値Ｔｈ１が決定される。例えば、商品読取面１２４から閾値Ｔｈ１の位置までの距離（Ｔｈ１−Ｌ）が２５ｃｍであるとすると、間隔Ｌが１５ｃｍの場合、閾値Ｔｈ１は、４０ｃｍとなる。

物体接近判別部２０４によって閾値Ｔｈ１以内に物体が接近していると判別された場合（Ｓ１０４のＹＥＳ）、認識処理実行制御部２０６は、認識処理部２２０に対し、商品認識処理を開始するように制御する（Ｓ１０６）。

一方、物体接近判別部２０４によって閾値Ｔｈ１以内に物体が接近していないと判別された場合（Ｓ１０４のＮＯ）、認識処理実行制御部２０６は、認識処理部２２０が商品認識処理を行っているか否かを判断する（Ｓ１０８）。認識処理部２２０が商品認識処理を行っていない場合（Ｓ１０８のＮＯ）、処理はＳ１０２に戻る。

一方、認識処理部２２０が商品認識処理を行っている場合（Ｓ１０８のＹＥＳ）、認識処理実行制御部２０６は、認識処理部２２０に対し、商品認識処理を終了するように制御する（Ｓ１１０）。つまり、開始制御部２００の処理は、ＰＯＳ端末装置１００が起動している間は、常に行われてもよい。一旦、物体（商品）が商品読取面１２４に接近したために、認識処理部２２０による商品の認識処理が開始された場合であっても、認識処理が終了したとき又は認識処理を行っている間に、物体（商品）が商品読取面１２４から離れた（距離センサ１３４から物体までの距離が閾値Ｔｈ１を超過した）ときは、開始制御部２００は、認識処理部２２０に対し、商品認識処理を終了するように制御する。

このように、本実施の形態にかかるＰＯＳ端末装置１００は、物体（商品）が商品読取面１２４（距離センサ１３４）に接近したときのみ商品認識処理を行う。商品認識処理を行うとき、ＰＯＳ端末装置１００（特に撮像部１３２、制御部１１２及び記憶部１１４）の負荷は増大する。したがって、このように構成されていることによって、商品認識処理を行う必要がないときに、ＰＯＳ端末装置１００の資源の負荷を低減させることが可能となる。なお、ここでいう「資源」とは、ＰＯＳ端末装置１００自体のハードウェア資源だけでなく、ネットワーク資源をも含む。

商品画像撮影制御部２２２は、商品の画像（商品画像）を含む２次元画像を、撮像部１３２に撮影させる（Ｓ２０２）。具体的には、商品画像撮影制御部２２２は、撮像部１３２を制御して、商品読取面１２４に向けられた商品を撮像させる。そして、商品画像撮影制御部２２２は、撮像部１３２によって生成された２次元画像を取得し、商品画像抽出部２２６に対して出力する。なお、この２次元画像には、商品画像の他に、背景の画像（背景画像）も含まれうる。

距離画像撮影制御部２２４は、２次元画像に対応する距離画像を、距離センサ１３４に撮影させる（Ｓ２０４）。具体的には、距離画像撮影制御部２２４は、距離センサ１３４を制御して、商品読取面１２４に向けられた商品を含む距離画像を撮影させる。そして、距離画像撮影制御部２２４は、距離センサ１３４によって生成された距離画像を取得し、商品画像抽出部２２６に対して出力する。なお、上述したように、撮像部１３２及び距離センサ１３４は、互いに近接して配置されているので、距離画像は、２次元画像に対応する。なお、距離画像撮影制御部２２４の処理（Ｓ２０４）は、Ｓ１０２の処理で代用してもよい。つまり、距離画像取得部２０２において取得された距離画像が、商品画像抽出部２２６に対して出力されてもよい。

商品画像抽出部２２６は、距離画像において距離センサ１３４からの距離が範囲Ｓ１（第１の範囲）内の区域を判別し、２次元画像から、その区域に対応する画像区域を、商品画像として抽出する（Ｓ２０６）。さらに、商品画像抽出部２２６は、抽出された商品画像を、商品認識処理部２２８に対して出力する。

具体的には、商品画像抽出部２２６は、２次元画像と距離画像とを重ね合わせる。また、商品画像抽出部２２６は、距離画像において距離が範囲Ｓ１内の区域が、２次元画像においてどの領域に対応するかを判別する。さらに、商品画像抽出部２２６は、その対応する領域を、商品画像に対応する画像区域であると判断する。そして、商品画像抽出部２２６は、その画像区域を、商品画像として抽出する。

さらに具体的には、商品画像抽出部２２６は、距離画像から、範囲Ｓ１内の距離を示す画素（範囲内画素）を抽出する。また、商品画像抽出部２２６は、抽出された範囲内画素が、それぞれ、２次元画像のどの画素に対応するかを判別する。さらに、商品画像抽出部２２６は、２次元画像から、範囲内画素に対応する画素を抽出する。商品画像抽出部２２６は、この、２次元画像から抽出された画素の集合を、商品画像に対応する画像区域として抽出する。

なお、範囲Ｓ１の下限は、例えば、距離センサ１３４から商品読取面１２４までの距離（間隔Ｌ）であってもよい。また、範囲Ｓ１の上限は、店員等が商品を読み取らせるために当該商品を商品読取面１２４に向ける際に、商品を商品読取面１２４にどれだけ接近させるかを考慮して設定される。例えば、範囲Ｓ１の上限は、閾値Ｔｈ１よりも小さくなるように設定されてもよい。例えば、商品読取面１２４から範囲Ｓ１の上限の位置までの距離が１５ｃｍであるとすると、間隔Ｌが１５ｃｍの場合、範囲Ｓ１は、１５ｃｍ＜Ｓ１＜３０ｃｍとなる。なお、範囲Ｓ１の下限は設定されなくてもよく、その場合、下限値は０ｃｍとなる。

図７は、商品画像抽出部２２６の処理を説明するための図である。図７（ａ）は、商品画像撮影制御部２２２の制御によって撮像部１３２が撮影した、商品画像を含む２次元画像Ｉｍ２を例示する図である。２次元画像Ｉｍ２には、商品画像Ａ（実線で示す）と、背景画像Ｂ（一点鎖線で示す）とが含まれる。商品画像Ａに対応する商品は、距離センサ１３４（商品読取面１２４）からの距離が範囲Ｓ１内である位置にある。背景画像Ｂに対応する物体は、距離センサ１３４（商品読取面１２４）から範囲Ｓ１を逸脱するほど離れた位置にある。

図７（ｂ）は、距離画像撮影制御部２２４の制御によって距離センサ１３４が撮影した、２次元画像に対応する距離画像Ｉｍ３を例示する図である。ここで、Ｃで示す領域は、距離センサ１３４からの距離が範囲Ｓ１内の区域を示す。またＤで示す斜線で示された領域は、距離センサ１３４からの距離が範囲Ｓ１を逸脱した区域を示す。

商品画像抽出部２２６は、２次元画像Ｉｍ２と距離画像Ｉｍ３とを重ね合わせる。そして、商品画像抽出部２２６は、距離画像Ｉｍ３のＣで示す区域に対応する画像領域を、２次元画像Ｉｍ２から抜き出す。これによって、図７（ｃ）に例示するような、商品画像Ｅが抽出される。ここで、商品画像Ｅには、背景画像が含まれていない。つまり、商品画像抽出部２２６は、２次元画像Ｉｍ２から、背景画像Ｂを除去している。

商品認識処理部２２８（図４）は、商品画像抽出部２２６によって抽出された商品画像を用いて、商品認識処理を行う（Ｓ２０８）。また、商品認識処理部２２８は、商品認識処理によって得られた商品情報を、商品情報格納部２３０に格納する。商品情報は、商品に付されるバーコードに含まれる情報を含む。さらに、商品情報は、商品のサイズ（容量）を含んでもよい。ＰＯＳ端末装置１００は、商品認識処理部２２８による商品認識処理によって得られた商品情報を用いて、その商品の決済処理等を行う。

商品認識処理について、具体的には、例えば、商品認識処理部２２８は、予め、商品名とその商品に関する情報（基準商品情報）とを対応付けて記憶している。商品認識処理部２２８は、抽出された商品画像と予め記憶されている基準商品情報とのパターンマッチングを行う。基準商品情報については、以下に例示する。

例えば、基準商品情報は、商品の基準となる画像（基準商品画像）であってもよい。その場合、商品認識処理部２２８は、抽出された商品画像と基準商品画像とを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その基準商品画像に対応する商品名と対応付ける。

また、例えば、基準商品情報は、商品の基準となる特徴を示すデータ（商品特徴データ）であってもよい。商品特徴データは、例えば、商品の形状を示す情報と、商品の色を示す情報と、商品の質感（つや等）を示す情報と、商品のパッケージに付された文字情報及び模様を示す情報との少なくとも１つを含んでもよい。この場合、商品認識処理部２２８は、抽出された商品画像から、その画像の特徴を抽出する。そして、商品認識処理部２２８は、抽出された画像の特徴と、商品特徴データとを照合する。そして、商品認識処理部２２８は、両者の類似度が許容値を満たす場合に、その商品を、その商品特徴データに対応する商品名と対応付ける。また、商品認識処理部２２８は、商品のパッケージに付された文字情報をＯＣＲ（Optical Character Reader）によって読み取ることによって、商品名を認識してもよい。

ここで、商品画像抽出部２２６によって抽出された商品画像は、背景が除去されている。したがって、商品認識処理部２２８が商品の認識処理を行う際に、背景を除外して処理する必要がなくなる。２次元画像に商品画像だけでなく背景画像が含まれると、商品認識処理において、まず、２次元画像において、商品画像がどこにあるかを認識する必要がある。特に、セルフレジ等のように、不特定多数の顧客がＰＯＳ端末装置１００を使用する場合、商品読取面１２４のどの位置に商品を向けるかは、その顧客によって異なる。この、商品画像がどこにあるかを認識する処理は、例えば、基準商品情報を、２次元画像に含まれる全ての画像について照合しなければならない。そのため、処理時間が膨大となる。

一方、本実施の形態においては、商品画像そのものを使用するので、２次元画像において商品画像がどこにあるかを認識する必要はない。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理の処理速度を向上させることが可能となる。言い換えると、本実施の形態にかかるＰＯＳ端末装置１００は、商品認識処理における資源の負荷を低減させることが可能となる。また、商品画像のデータ量は、２次元画像のデータ量よりも、背景が除去されている分、小さくなる。したがって、処理対象のデータ量を削減できるので、資源の低減及び負荷の低減を実現することが可能となる。したがって、タブレット端末等の、資源に乏しい装置を、本実施の形態にかかるＰＯＳ端末装置１００として使用することも可能となる。なお、ここでいう「資源」とは、ＰＯＳ端末装置１００自体のハードウェア資源だけでなく、ネットワーク資源をも含む。つまり、本実施の形態においては、ネットワーク負荷を低減することも可能である。

さらに、商品画像に背景画像が含まれると、商品認識処理において、その背景画像が考慮されてしまう。そのため、認識率が悪化する。一方、商品画像抽出部２２６によって抽出された商品画像は、背景が除去されているので、認識率を向上させることが可能となる。

また、撮像部１３２によって撮影された商品画像を含む２次元画像に、その商品を持った店員等の体の画像が含まれてしまう場合がある。ここで、商品画像を抽出する際に、予め撮影しておいた背景画像との差分を用いる方法では、この店員等の体も差分として認識される。したがって、抽出された商品画像に店員等の体の画像も含まれてしまい、店員等の体の画像がノイズとなって認識率が低下する。

ここで、人が商品を商品読取面１２４に商品を向けるとき、通常、手を伸ばして商品を向ける。したがって、店員等の体は、通常、商品読取面１２４（距離センサ１３４）から離れている。したがって、本実施の形態においては、商品画像抽出部２２６は、店員等の体の画像を除去することができる。そのため、商品認識処理部２２８は、店員等の体の画像を考慮せずに、商品の画像のみで、商品の認識処理を行うことができる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、認識率をさらに向上させることが可能となる。

また、予め撮影しておいた背景画像との差分を用いる方法では、外光（例えば夕日）等の影響で背景の色合いが予め撮影しておいた背景画像と異なる場合も、商品画像を抽出する際に、この背景も差分として認識されてしまう。したがって、商品画像に背景の画像も含まれてしまい、背景の画像がノイズとなって認識率が低下する。

ここで、背景に対応する物体は、商品読取面１２４（距離センサ１３４）から離れている。したがって、本実施の形態においては、商品画像抽出部２２６は、背景の色の変化に関わらず、背景を確実に除去できる。したがって、本実施の形態にかかるＰＯＳ端末装置１００は、認識率をさらに向上させることが可能となる。

また、商品の中には、商品の形状及びパッケージが同じであっても、サイズが異なるものがある。例えば、図８に示すように、ペットボトル飲料は、中身が同じであっても、サイズ（容量）が異なる複数の種類のものが販売されている。このような商品は、一般的に、サイズによって価格が異なる。このような場合、単に商品画像を用いて商品認識処理を行うだけでは、その商品のサイズは認識できない。したがって、適切な価格で決済するためには、店員等が価格又は容量等を手で入力する必要がある。

一方、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、距離センサ１３４によって、商品までの距離を計測することができる。２次元画像における商品画像の寸法は、実際の商品の寸法が同じであっても、その距離（奥行き）が遠くなるほど小さくなり、距離（奥行き）が近くなるほど大きくなる。つまり、２次元画像における商品画像の寸法と、商品までの距離とから、幾何学的に、実際の商品のサイズを把握することができる。

したがって、商品認識処理部２２８は、距離画像撮影制御部２２４から、商品までの距離を示す情報を取得し、商品画像の寸法を計測することによって、商品のサイズを認識するようにしてもよい。具体的には、商品認識処理部２２８は、距離画像撮影制御部２２４から、距離画像を取得する。また、商品認識処理部２２８は、距離画像を用いて、商品画像抽出部２２６によって抽出された商品画像の区域内の画素それぞれについて、距離情報を取得する。さらに、商品認識処理部２２８は、取得した各画素の距離情報から、商品までの距離を算出する。算出方法は、例えば、商品画像のエッジに対応する画素が示す距離を、商品までの距離としてもよいし、商品画像の区域内の各画素が示す距離の平均を、商品までの距離としてもよい。

さらに、商品認識処理部２２８は、２次元画像における商品画像のサイズを計測する。商品画像のサイズは、例えば、縦寸法及び横寸法が計測される。そして、商品認識処理部２２８は、商品画像のサイズと、商品までの距離とから、実際の商品の寸法を算出する。ここで、商品認識処理の基準となる基準商品情報は、商品の寸法と容量とを含んでもよい。したがって、商品認識処理部２２８は、商品の名称及び容量（図８の例では、「商品名ＡＢＣの容量５００ｍｌ」）といったことを把握することができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２においては、後述するように、商品認識処理をＰＯＳ端末装置１００が行わない点で、実施の形態１と異なる。なお、実施の形態１と実質的に同様の構成部分については同じ符号を付し、説明を省略する。

図９は、実施の形態２にかかるＰＯＳシステム３００を示す図である。図９に示すように、ＰＯＳシステム３００は、ＰＯＳ端末装置１００と、管理装置３１０とを有する。ＰＯＳ端末装置１００と、管理装置３１０とは、通信可能に接続されている。両者間の通信は、有線通信又は無線通信のいずれであってもよく、様々な通信規格が適用されうる。ＰＯＳ端末装置１００と、管理装置３１０とは、ネットワーク（例えば、無線ＬＡＮ（Local Area Network）又はインターネット等）を介して互いに接続されていてもよい。また、ＰＯＳ端末装置１００と、管理装置３１０とは、赤外線通信又はＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式によって互いに通信してもよい。

実施の形態２にかかるＰＯＳ端末装置１００は、実施の形態１にかかるＰＯＳ端末装置１００と実質的に同一のハードウェア構成を有している。ＰＯＳ端末装置１００は、通信装置１１６を用いて、管理装置３１０と通信を行う。この場合、通信装置１１６は、管理装置３１０と通信を行うために必要な処理を行う。

管理装置３１０は、商品情報等を管理する情報処理装置である。管理装置３１０は、ＰＯＳ端末装置１００が配置された店舗に配置されていてもよい。また、管理装置３１０は、複数の店舗に配置された各ＰＯＳ端末装置１００を一括して管理してもよく、この場合、管理装置３１０は、ＰＯＳ端末装置１００が配置された店舗とは別の場所に配置されうる。また、管理装置３１０は、例えばサーバであって、クラウドサーバであってもよい。

図１０は、実施の形態２にかかる管理装置３１０のハードウェア構成を示す図である。管理装置３１０は、例えばＣＰＵ等の制御部３１２と、例えばタッチパネル、ＬＣＤ又はキーボード等のユーザインタフェースである入出力部３１４と、例えばメモリ又はハードディスク等の記憶部３１６と、通信装置３１８とを有する。通信装置３１８は、ＰＯＳ端末装置１００（又は他の管理装置３１０）と通信を行うために必要な処理を行う。

図１１は、実施の形態２にかかるＰＯＳ端末装置１００の機能ブロック図である。ＰＯＳ端末装置１００は、開始制御部２００と、認識処理部２４０とを有する。開始制御部２００は、距離画像取得部２０２と、物体接近判別部２０４と、認識処理実行制御部２０６とを有する。また、認識処理部２４０は、商品画像撮影制御部２２２と、距離画像撮影制御部２２４と、商品画像抽出部２２６と、商品画像送信部２４８とを有する。上述したように、開始制御部２００及び認識処理部２４０は、例えば、制御部１１２の制御によって、プログラムを実行させることによって実現できる。

実施の形態２にかかる認識処理部２４０は、商品認識処理部２２８及び商品情報格納部２３０を有さず、商品画像送信部２４８を有する点で、実施の形態１にかかる認識処理部２２０と異なる。商品画像抽出部２２６は、抽出された商品画像を、商品画像送信部２４８に対して出力する。商品画像送信部２４８は、商品画像（商品画像の画像データ）を、管理装置３１０に対して送信する。なお、商品画像送信部２４８は、商品画像を送信する際に、現在の時刻及びＰＯＳ端末装置１００の識別情報等も、管理装置３１０に対して送信してもよい。また、管理装置３１０において商品のサイズが算出され得るように、商品画像送信部２４８は、距離画像（距離画像の画像データ）も、管理装置３１０に対して送信してもよい。

図１２は、実施の形態２にかかる管理装置３１０の機能ブロック図である。管理装置３１０は、認識処理部３２０を有する。また、認識処理部３２０は、商品画像受信部３２２と、商品認識処理部３２８と、商品情報格納部３３０とを有する。

なお、認識処理部３２０は、例えば、制御部３１２の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部３１６に格納されたプログラムを、制御部３１２の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、認識処理部３２０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。

商品画像受信部３２２は、ＰＯＳ端末装置１００によって送信された商品画像（商品画像データ）等を受信し、商品認識処理部３２８に対して出力する。商品認識処理部３２８は、実施の形態１にかかる商品認識処理部２２８と実質的に同一の機能を有する。したがって、商品認識処理部３２８は、商品画像抽出部２２６によって抽出された商品画像を用いて、上述した実施の形態１と同様に、商品認識処理を行う。さらに、商品認識処理部３２８は、商品認識処理によって得られた商品情報を、商品情報格納部３３０に格納する。さらに、管理装置３１０は、得られた商品情報を、ＰＯＳ端末装置１００に対して送信する。ＰＯＳ端末装置１００は、管理装置３１０から受信した商品情報を用いて、その商品の決済処理等を行う。

実施の形態２のように、商品認識処理をＰＯＳ端末装置１００ではなく管理装置３１０で行うことによって、商品認識処理に必要な基準商品情報を、各ＰＯＳ端末装置１００が記憶する必要がなく、また、ＰＯＳ端末装置１００が商品認識処理を行う必要がない。したがって、ＰＯＳ端末装置１００の資源を節約することが可能となる。また、タブレット端末等、資源の乏しいＰＯＳ端末装置１００においても、本実施の形態を適用することが可能となる。また、実施の形態２においても、商品画像抽出部２２６によって商品画像が抽出される。したがって、実施の形態１と同様に、管理装置３１０による商品認識処理において、資源の負荷を低減させること、処理速度を向上させること、認識率を向上させること、及び、商品のサイズ（容量）を把握することが、可能となる。

また、上述したように、商品画像抽出部２２６によって抽出される商品画像は、撮像部１３２の撮影によって得られた２次元画像から、背景画像が除去されている。したがって、商品画像のデータ量は、２次元画像のデータ量よりも小さい。管理装置３１０で商品認識処理を行う場合に、管理装置３１０に対し、ＰＯＳ端末装置１００が２次元画像の画像データを送信すると、データ量が大きいため、通信ネットワークの負荷が増大する。一方、管理装置３１０に対し、ＰＯＳ端末装置１００が商品画像の画像データを送信すると、データ量が小さいため、通信ネットワークの負荷が低減される。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける複数の処理の少なくとも１つは、なくても構わない。例えば、図６のフローチャートにおいて、Ｓ２０２の処理は、Ｓ２０４の処理の後で行われてもよい。また、図５のフローチャートにおいて、Ｓ１０８及びＳ１１０の処理は、なくてもよい。

また、本実施の形態にかかる構成は、ＰＯＳ端末装置に適用されるとしたが、これに限られない。例えば、倉庫等で荷物の仕分けをするために用いられる物体認識装置等の一般的な物体認識装置、及び、この物体認識装置を含むシステムにおいても適用可能である。

また、本実施の形態にかかるＰＯＳ端末装置１００は、例えば、セルフレジにも適用可能である。セルフレジのように、顧客がＰＯＳ端末を使用する場合、顧客は、商品に付されたバーコードを読取装置に読み取らせることに慣れていない。そのため、セルフレジにおいては、バーコードを使用しない方法、つまり、商品を直接読み取らせる方法が求められる。したがって、セルフレジについて本実施の形態にかかるＰＯＳ端末装置１００を適用することで、上述したような、商品を直接読み取らせることに起因する問題が解決される。

また、本実施の形態にかかるＰＯＳ端末装置１００は、上述したように、タブレット端末（タブレットＰＯＳ）等の、資源が乏しい端末にも応用可能である。この場合、３次元カメラ１３０は、タブレット端末に内蔵されていなくてもよく、タブレット端末とは別個（外付け）の装置であってもよい。

また、上述した実施の形態においては、開始制御部２００により、商品認識処理の開始又は終了を制御するとしたが、これに限られない。つまり、開始制御部２００は必須の構成要素ではなく、図５に示した開始制御部２００の処理は、必ずしも必要ではない。しかしながら、上述したように、開始制御部２００の処理を行うことによって、資源の低減を実現することが可能となる。なお、開始制御部２００の代わりに、店員等が商品認識処理を開始又は終了するスイッチを操作することによって、商品認識処理の開始又は終了を制御してもよい。しかしながら、開始制御部２００の処理を行うことによって、店員等が当該スイッチを操作することが不要となる。

また、実施の形態１の構成と実施の形態２の構成とを組み合わせてもよい。例えば、実施の形態２にかかるＰＯＳ端末装置１００においても、商品認識処理を行うようにしてもよい。言い換えると、実施の形態２にかかるＰＯＳ端末装置１００が、商品認識処理部２２８を有してもよい。この場合、ＰＯＳ端末装置１００の負荷が予め定められた第１の負荷値よりも増加した場合に、ＰＯＳ端末装置１００が管理装置３１０に商品画像を送信し、商品認識処理を管理装置３１０が行うようにしてもよい。一方、管理装置３１０の負荷が予め定められた第２の負荷値よりも増加している場合、又は通信ネットワークの負荷が予め定められた第３の負荷値よりも増加している場合に、ＰＯＳ端末装置１００は、管理装置３１０に商品画像を送信しないで、自らのＰＯＳ端末装置１００で商品認識処理を行うようにしてもよい。

このように、ＰＯＳ端末装置１００の負荷、管理装置３１０の負荷及び通信ネットワークの負荷に応じて、適宜、負荷分散を行うことが可能となる。この場合、ＰＯＳ端末装置１００又は管理装置３１０が、ＰＯＳ端末装置１００の負荷、管理装置３１０の負荷及び通信ネットワークの負荷を計測する手段、及び、計測された負荷と第１〜第３の負荷値とをそれぞれ比較する手段を有してもよい。

また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ ＰＯＳ端末装置
２ 撮像部
４ 距離計測部
６ 商品画像抽出部
１００ ＰＯＳ端末装置
１１０ 情報処理装置
１２０ 商品読取装置
１２４ 商品読取面
１３０ ３次元カメラ
１３２ 撮像部
１３４ 距離センサ
１３６ 赤外線照射部
１３８ 赤外線受光部
１４０ 距離画像生成部
２００ 開始制御部
２０２ 距離画像取得部
２０４ 物体接近判別部
２０６ 認識処理実行制御部
２２０ 認識処理部
２２２ 商品画像撮影制御部
２２４ 距離画像撮影制御部
２２６ 商品画像抽出部
２２８ 商品認識処理部
２３０ 商品情報格納部
２４０ 認識処理部
２４８ 商品画像送信部
３００ ＰＯＳシステム
３１０ 管理装置
３１２ 制御部
３２０ 認識処理部
３２２ 商品画像受信部
３２８ 商品認識処理部
３３０ 商品情報格納部

Claims (16)

1. 物体を撮像して画像を生成する撮像手段と、
   前記撮像手段によって生成された画像に対応する物体の位置までの距離を計測する距離計測手段と、
   前記撮像手段によって生成された画像から、前記距離計測手段によって計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出する商品画像抽出手段と
   を有するＰＯＳ端末装置。
2. 前記距離計測手段によって計測された距離が予め定められた第１の閾値以内に物体が接近したことを判別する判別手段
   をさらに有し、
   前記商品画像抽出手段は、前記判別手段によって前記物体が接近したと判別された場合に、前記抽出する処理を実行する
   請求項１に記載のＰＯＳ端末装置。
3. 前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段
   をさらに有する請求項１又は２に記載のＰＯＳ端末装置。
4. 前記認識処理手段は、
   前記撮像手段によって撮像されて生成された画像における、前記商品画像抽出手段によって抽出された商品の画像のサイズを計測し、
   前記計測された商品の画像のサイズと、前記距離計測手段によって計測された物体の位置までの距離とに基づいて、商品のサイズを認識し、
   前記認識された商品のサイズに基づいて、当該商品の認識処理を行う
   請求項３に記載のＰＯＳ端末装置。
5. 前記抽出された商品の画像に基づいて当該商品の認識処理を行う管理装置に対して、前記抽出された商品の画像を示すデータを送信する送信手段
   をさらに有する請求項１から４のいずれか１項に記載のＰＯＳ端末装置。
6. 前記撮像手段及び前記距離計測手段は、筐体の内部に設けられており、
   前記筐体は、商品を撮像させるときに当該商品が向けられる読取面を有し、
   前記距離計測手段は、前記読取面から、当該距離計測手段が計測可能な最小の距離に応じて予め定められた距離だけ離れて設置されている
   請求項１から５のいずれか１項に記載のＰＯＳ端末装置。
7. 請求項１から６のいずれか１項に記載のＰＯＳ端末装置と、
   前記ＰＯＳ端末装置と通信を行う管理装置と
   を有するＰＯＳシステム。
8. 前記ＰＯＳ端末装置は、前記抽出された商品の画像に基づいて、当該商品の認識処理を行う認識処理手段をさらに有し、
   前記ＰＯＳ端末装置と、前記管理装置とは、通信ネットワークを介して接続され、
   前記ＰＯＳ端末装置の負荷が予め定められた第１の負荷値よりも増加した場合に、前記ＰＯＳ端末装置は、前記管理装置に対して、前記抽出された商品の画像を示すデータを送信し、前記管理装置が、当該商品の認識処理を行い、
   前記管理装置の負荷が予め定められた第２の負荷値よりも増加している場合、又は前記通信ネットワークの負荷が予め定められた第３の負荷値よりも増加している場合に、前記ＰＯＳ端末装置は、前記管理装置に前記抽出された商品の画像を示すデータを送信せず、前記認識処理手段が、当該商品の認識処理を行う
   請求項７に記載のＰＯＳシステム。
9. 物体を撮像して画像を生成し、
   前記生成された画像に対応する物体の位置までの距離を計測し、
   前記生成された画像から、前記計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出する
   画像処理方法。
10. 前記計測された距離が予め定められた第１の閾値以内に物体が接近したことを判別し、
    前記物体が接近したと判別された場合に、前記商品の画像を抽出する処理が実行される
    請求項９に記載の画像処理方法。
11. 前記抽出された商品の画像に基づいて、当該商品の認識処理を行う
    請求項９又は１０に記載の画像処理方法。
12. 前記撮像されて生成された画像における、前記抽出された商品の画像のサイズを計測し、
    前記計測された商品の画像のサイズと、前記計測された物体の位置までの距離とに基づいて、商品のサイズを認識し、
    前記認識された商品のサイズに基づいて、当該商品の認識処理を行う
    請求項１１に記載の画像処理方法。
13. 撮像手段に物体を撮像させて画像を生成させるステップと、
    距離計測手段に前記生成された画像に対応する物体の位置までの距離を計測させるステップと、
    前記生成された画像から、前記計測された距離が予め定められた第１の範囲内にある位置に対応する画像区域を、商品の画像として抽出するステップと
    をコンピュータに実行させるプログラム。
14. 前記計測された距離が予め定められた第１の閾値以内に物体が接近したことを判別するステップ
    をさらに前記コンピュータに実行させ、
    前記物体が接近したと判別された場合に、前記商品の画像を抽出するステップが実行される
    請求項１３に記載のプログラム。
15. 前記抽出された商品の画像に基づいて、当該商品の認識処理を行うステップ
    をさらに前記コンピュータに実行させる請求項１３又は１４に記載のプログラム。
16. 前記撮像されて生成された画像における、前記抽出された商品の画像のサイズを計測するステップと、
    前記計測された商品の画像のサイズと、前記計測された物体の位置までの距離とに基づいて、商品のサイズを認識するステップと
    前記認識された商品のサイズに基づいて、当該商品の認識処理を行うステップと
    をさらに前記コンピュータに実行させる請求項１５に記載のプログラム。

Images