JP6558020B2 - 検品処理装置、検品処理方法及びプログラム - Google Patents

Description

本発明は、検品処理装置、検品処理方法及びプログラムに関する。

倉庫業、３ＰＬ業、卸売業など物流業者が取り扱う商材を、棚などの商品保管スペースから取り出し発送する過程において、商品の出荷前に、入出庫明細と比較して、出荷する商品が入出庫明細に記載された商品であるかどうかを確認する検品作業がある。この検品作業において、商品を撮像した画像と予め照合用データベースに登録されたさまざまな商品の画像とを比較して、検品対象の商品を特定することで、検品作業の省力化を行う技術が存在する。

例えば、特許文献１には、パレットに載せられた商品をカメラで撮像して得られた画像の特徴量により商品を特定し、特定した商品に紐づいて定められたその商品のパレットへの積み付け方法を特定し、さらにその積み付け方法から商品の数量を算出することによって、パレットに載せられた商品の検品を行うことができる検品装置について開示がある。

特開２０１３−６７４９９号公報

検品対象の画像を撮像し、その画像の特徴量によって商品を特定する方法の場合、検品する商品が紙など薄い品物であれば、照合用データベースに登録しておくその商品の照合用画像も表面と裏面の２パタンで済む、しかし、検品する商品が立体物の場合、その商品については、商品の全ての面についての照合用画像を登録する必要がある。例えば、立方体箱形状の商品であれば、最低限６面分の登録が必要となる。また、商品がカメラに写り込む角度が３６０°どの方向からもあり得る場合を考慮すると、ある程度角度の変化に対してロバストに対応できる画像照合処理を使用したとしても、数十方向からの登録が必要となり、照合用画像の登録量が肥大化しやすい。画像照合処理は、登録した照合用画像の件数に比例して計算量が増加するため、肥大化した照合用データベースを用いて画像照合処理を行うと、処理時間が増大する。また、物流業務で取り扱う商品の種類は一万種類を超えることが多くあり、商品の種類が膨大になるとそれだけ照合用画像が増大し、照合処理にはさらに多くの時間がかかることになる。その結果、検品作業を行うユーザや検品システムと連携するコンベヤシステム等の搬送装置が、検品結果の通知を受け取るまでに待ち時間が発生する。これにより、ユーザは待ちストレスを感じ、コンベヤシステムは結果受信タイムアウトとなるなど検品作業の効率が上がらない原因となる。

そこでこの発明は、上述した課題を解決する検品処理装置、検品処理方法及びプログラムを提供することを目的としている。

本発明は、照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、を備え、前記商品画像削除部は、所定の期間、商品の特定に使用されなかった前記照合用画像を削除する、ことを特徴とする検品処理装置である。

また本発明は、検品装置が、照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定し、前記判定において商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録し、前記照合用データベースに記録されている前記照合用画像のうち、所定の期間、商品の特定に使用されなかった前記照合用画像を削除する、ことを特徴とする検品処理方法である。

また本発明は、検品処理装置のコンピュータを、照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する手段、前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する手段、前記照合用データベースに記録されている前記照合用画像のうち、所定の期間、商品の特定に使用されなかった前記照合用画像を削除する手段、として機能させるためのプログラムである。

本発明によれば、検品作業の効率を高めるという効果が得られる。

本発明の第一の実施形態による検品処理装置の最小構成を示すブロック図である。 本発明の第一の実施形態による検品処理装置の構成の一例を示すブロック図である。 本発明の第一の実施形態による検品処理システムの一例を示す図である。 本発明の第一の実施形態による検品処理装置を用いた検品処理のフロー図である。 本発明の第一の実施形態による検品確認画面の一例を示す図である。 本発明の第一の実施形態による検品処理装置で使用するデータベースが記憶する情報の一例を示す図である。 本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。

＜第一の実施形態＞
以下、本発明の一実施形態による検品処理装置を図１〜図７を参照して説明する。
図１は、本発明の第一の実施形態による検品処理装置の最小構成を示すブロック図である。
この図において、符号１００は検品処理装置を表している。図１に示す通り、検品処理装置１００は、照合部１０９と、商品画像登録部１１１と、を少なくとも備えている。検品処理装置１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えたコンピュータである。
照合部１０９は、後述する照合用データベース１１０に記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する。
商品画像登録部１１１は、対象商品を撮像した画像が照合用データベース１１０に記録されていない場合に、対象商品の識別情報と、対象商品を撮像した画像とを対応付けて前記照合用データベース１１０に登録する。

図２は、本発明の第一の実施形態による検品処理装置の構成の一例を示すブロック図である。
図２に示す通り、検品処理装置１００は、制御判定部１０１と、重量取得部１０２と、商品画像取得部１０３と、画像バッファ部１０４と、入力受付部１０５と、表示情報出力部１０６と、特徴量計算部１０７と、商品数量重量計算部１０８と、照合部１０９と、照合用データベース１１０と、商品画像登録部１１１と、商品画像削除部１１２とを備えている。商品画像登録部１１１については、上記のとおりである。

制御判定部１０１は、他の機能部へ、情報の伝達や処理の指示を行う。
重量取得部１０２は、重量計測器が測定した検品対象商品の重量を、重量計測器から取得する。
商品画像取得部１０３は、撮像装置から撮像装置が撮像した検品対象商品を含む画像を取得する。
画像バッファ部１０４は、商品画像取得部１０３が撮像した画像を格納する領域である。
入力受付部１０５は、ユーザが入力した情報を取得し、制御判定部１０１に出力する。ユーザが入力する情報とは、例えば、検品対象商品の数量である。
表示情報出力部１０６は、検品作業に必要な各種情報を生成し、検品処理装置１００に接続された表示装置に出力する。
特徴量計算部１０７は、商品画像取得部１０３が撮像した画像の特徴量を、例えば図形特徴量を算出するなどの一般的な特徴量計算手法により計算する。
商品数量重量計算部１０８は、重量取得部１０２から取得した重量を、入力受付部１０５が受け付けた検品対象商品の数量で除算して、対象商品の単位重量を計算する。また、商品数量重量計算部１０８は、取得した重量を単位重量で除算して、商品の数量を計算する。

照合用データベース１１０は、商品ごとに、商品の識別情報（商品コード）、商品の照合用画像、商品の単位重量、などを格納するデータベースである。
商品画像削除部１１２は、所定のルールに基づいて照合用データベース１１０が記憶する対象商品の画像を削除する。
なお、制御判定部１０１〜商品画像削除部１１２の少なくとも一部は検品処理装置１００の備えるＣＰＵがハードディスクなどの記憶部からプログラムを読み出し実行することで備わる機能である。

図３は、本発明の第一の実施形態による検品処理システムの一例を示す図である。
以下、図３を用いて、本実施形態の検品処理システムの説明を行う。
この図において、符号１は検品処理システムを表している。図３は、検品処理システム１を上方向から見た図である。図３に示す通り、検品処理システム１は、検品処理装置１００と、撮像装置２００と、重量計測器３００と、コンベア３０１と、表示装置４００と、入力装置５００とを備えている。また、符号６００は、検品対象とする商品を示しており、コンベア３０１により矢印３０２の方向に運ばれる。

撮像装置２００は、検品対象商品を撮像する例えばカメラなどである。重量計測器３００は、検品対象商品の重量を測定する装置である。図３において、撮像装置２００は、コンベア３０１に載せられて移動する検品対象商品６００を上方から撮像できるようにレンズを地面側に向けて支柱３０３に取り付けられている。支柱３０３は、地面やコンベアなどに固定されている。撮像装置２００の取り付け位置は、この図の例に限定されない。例えば、撮像装置２００は、コンベア３０１を流れる検品対象商品６００の側面を撮像する位置に取り付けられていてもよい。検品処理装置１００は、撮像装置２００と接続されており、撮像装置２００が撮像した検品対象商品６００の画像を取得する。検品処理装置１００は、重量計測器３００と接続されており、重量計測器３００が測定した検品対象商品の重量を取得する。

表示装置４００は、例えばディスプレイである。表示装置４００は、検品処理装置１００と接続されており、検品処理装置１００が生成した検品作業に必要な情報を表示する。入力装置５００は、キーボードやマウス、あるいはタッチパネルなどである。作業員は、表示装置４００に表示される情報を参照しながら、入力装置５００を用いて検品処理装置１００を操作し、検品作業を行う。

次に、図３を用いて検品作業の大まかな流れについて説明する。まず、作業員は検品対象商品６００を棚などから取り出して、コンベア３０１の上に置く。すると、検品対象商品６００は、コンベア３０１によって矢印３０２の方向へ移動していく。また、作業員またはコンベアシステムは検品対象商品６００が、所定の位置に来たときに作業員のきっかけ、または通過センサーなどからのきっかけで、撮像装置２００に撮像指示信号を入力する。撮像装置２００は、撮像指示信号を受信すると、検品対象商品６００を撮像し、撮像した画像を検品処理装置１００に送信する。検品処理装置１００は、取得した画像を使用して、自装置が備える照合用データベースを読み、商品の検索を行う。検品対象商品６００が、登録済みの商品Ａの照合用画像と一意に一致すれば、検品処理装置１００は、検品対象商品６００を、商品Ａであると特定する。

その間に検品対象商品６００は、重量計測器３００の位置まで移動する。そこで作業員またはコンベアシステムは、検品対象商品６００の総重量を測定するよう重量測定指示信号を入力する。重量計測器３００は、検品対象商品６００の総重量を測定し、測定した総重量データを検品処理装置１００に送信する。
次に検品処理装置１００は、総重量データを特定した商品Ａの単位重量で除算して、コンベア３０１に載せられた検品対象商品６００の数量を計算する。検品処理装置１００は、特定した商品Ａの識別情報と計算した商品Ａの数量を表示装置４００に表示する。作業員は、表示装置４００に表示された情報と、入出庫明細に記載された商品及び商品数量とを比較して、内容が正しいかどうかの確認を行う。

また、撮像装置２００によって撮像した画像で商品を特定できなかったときは、検品処理装置１００は、検品対象商品６００の撮影した画像を表示装置４００に表示する。作業員は、表示装置４００に表示された商品画像を目視によって確認し、その商品画像が示す商品の識別情報を、入力装置５００を用いて入力し、表示装置４００に表示された商品画像と対応付けて照合用画像として登録する。これにより、次回、また同じ検品対象商品６００について検品するときに撮像装置２００が今回と同様の画像を撮像した場合は、今回新たに登録した照合用画像と照合することで検品対象商品６００がどの商品であるかを特定することが可能になる。

検品処理装置１００は、このような過程を経て特定された商品およびその数量について検品対象商品６００の過不足を計算し、作業員は、過不足分の数量の検品対象商品６００をコンベア３０１で運んだり、増やしたり、減らしたりして数量の調整を行う。以上の作業と処理の結果、作業員が表示装置４００に表示された商品Ａの数量が入出庫明細通りになれば、その商品の検品作業は終了である。

ところで、検品対象商品６００が立体物の場合、検品する商品のコンベア３０１への搭載方法はさまざまである。例えば、検品対象商品６００が立方体形状の箱に収められた商品Ｂであれば、その商品Ｂをどの面を上にしてコンベア３０１への載せるかについては６通りの方法が存在する。従って照合用データベース１１０には、この商品Ｂについて最低６種類の照合用画像を登録しておく必要がある。また、作業員がコンベア３０１の端の方に商品Ｂを載せたか、中央付近に商品Ｂを載せたか、あるいは、商品Ｂの側面とコンベア３０１の移動方向が平行になるように真っ直ぐ載せたか、少し斜めに向けて載せたか、また、商品Ｂがどの位置まで移動してきたときに撮像したかなどによって、同じ商品Ｂの同じ面を上方から撮像した場合であっても、撮像装置２００が検品対象商品６００を撮像する角度には変化が生じる。このため、照合用データベース１１０に商品Ｂの６面それぞれについて、例えば真上から撮像した照合用画像が登録されていたとしてしても、検品処理装置１００は、それらの照合用画像によって、必ずしも商品Ｂを特定することができるとは限らない。これに対し、さまざまな角度から撮影された商品Ｂの画像を照合用画像として登録すれば、それだけ商品Ｂを特定できる可能性は高くなるが、登録した照合用画像数の増加に伴い照合処理に時間がかかり、検品作業が非効率なものとなってしまう。

そこで、本実施形態では、照合用データベース１１０に登録する照合用画像の数をなるべく抑えることで、商品の照合処理にかかる時間を低減し、検品作業を効率的に行えるようにする。次に図４を用いて、本実施形態における検品処理および照合用画像の登録・削除処理について説明を行う。

図４は、本発明の第一の実施形態による検品処理装置を用いた検品処理のフロー図である。
まず、作業員が検品対象の検品対象商品６００を検品する数だけ棚などの商品保管スペースから取り出してコンベア３０１に載せる（ステップＳ１０）。次に、検品対象商品６００が所定の位置までコンベア３０１により移動して来ると、作業員またはコンベアシステムは、撮像装置２００に撮像指示信号を入力する。撮像装置２００は、検品対象商品６００を撮像し（ステップＳ１１）、撮像した画像を検品処理装置１００に送信する。検品処理装置１００では、商品画像取得部１０３がその画像（対象画像）を取得し（ステップＳ１２）、画像バッファ部１０４に格納する。

ここで、例えば作業員が後述する検品確認画面から検品開始指示信号を入力すると、制御判定部１０１は、照合部１０９に対象画像に写った商品の特定を指示する。照合部１０９は、照合用データベース１１０に登録されているさまざまな商品をさまざまな方向から撮像した照合用画像のそれぞれと、対象画像とを比較して画像照合を実行する（ステップＳ１３）。具体的には、照合部１０９は、特徴量計算部１０７に対象画像に含まれる検品対象商品６００の特徴量を計算するように指示を行う。特徴量計算部１０７は、画像バッファ部１０４から対象画像を読み出して、対象画像から例えば背景のコンベア３０１が写った画像以外を抽出することで、対象画像に写る検品対象商品６００の画像を切り出す。また、特徴量計算部１０７は、切り出した検品対象商品６００の画像について、所定の公知の特徴計算手法により特徴量を計算し、計算結果を制御判定部１０１に出力する。制御判定部１０１は、特徴量をメモリに記録する。また、照合部１０９は、例えば、全ての商品について照合用データベース１１０に登録されている照合用画像の一つ一つについて特徴量計算部１０７に特徴量の計算を指示する。特徴量計算部１０７は、照合用データベース１１０に登録されている照合用画像の一つ一つについて特徴量を計算し、照合部１０９に出力する。照合部１０９は、メモリに記録された対象画像の特徴量と、特徴量計算部１０７がある商品の一つの照合用画像について計算した特徴量とを比較する。対象画像の特徴量と照合画像の特徴量が一致した場合、または、特徴量の差が所定の範囲内の場合、照合部１０９は、対象画像に写る商品は、照合画像に対応する商品であると特定する。照合部１０９は、商品が特定できるまで、画像照合を繰り返し実行する。
なお、照合用データベース１１０には、予め照合用画像の特徴量が照合用画像と対応付けて登録されていて、照合部１０９は、この特徴量を照合用データベース１１０から読み出して、メモリに記録された対象画像の特徴量と比較してもよい。また、入出庫明細に記載された検品対象の商品の識別情報を予め検品処理装置１００に入力しておき、照合部１０９は、これらの商品だけを対象として照合処理を行うようにしてもよい。

次に、照合部１０９は、商品が特定できたかどうかを判定する（ステップＳ１４）。商品が特定できた場合（ステップＳ１４；Ｙｅｓ）、照合部１０９は、特定した商品の識別情報と単位重量を制御判定部１０１に出力する。制御判定部１０１は、特定した商品の識別情報と単位重量とをメモリに記録する。次に、検品対象商品６００が重量計測器３００に置かれたことをトリガーとして、重量計測器３００が検品対象商品６００の総重量を測定する。重量取得部１０２は、重量計測器３００が測定した検品対象商品６００の総重量の情報を取得する（ステップＳ１５）。重量取得部１０２は、取得した総重量の情報を制御判定部１０１に出力する。制御判定部１０１は、総重量の情報をメモリに記録する。

次に、制御判定部１０１は、商品数量重量計算部１０８に計算指示を行う。商品数量重量計算部１０８は、総重量の情報と特定した商品の単位重量をメモリから読み込んで、総重量の情報を単位重量で除算し商品の数量を計算する（ステップＳ１６）。商品数量重量計算部１０８は、計算した数量を制御判定部１０１に出力し、制御判定部１０１は、商品の数量をメモリに記録する。制御判定部１０１は、対象画像と特定した商品の識別情報と数量とをメモリから読み出して表示情報出力部１０６に出力する。表示情報出力部１０６は、作業員が検品作業に使用する確認画面（検品確認画面）の画像を生成し、表示装置４００に表示する。

ここで、図５を用いて、検品確認画面について説明する。図５は、本発明の第一の実施形態による検品確認画面の一例を示す図である。符号４０は、対象画像を表示する領域である。符号４１は、対象画像に写った検品対象商品６００の画像である。符号４２は、作業員が指定した検品対象商品６００の輪郭を指定する線である。符号４３は、作業員がステップＳ１３で説明した検品開始指示信号を入力するための検品開始指示用のボタンである。作業員がボタン４３を押下するか、コンベアシステムが商品の通過を検知した場合は、上述のステップＳ１３以降の処理が実行される。商品コード欄４４と数量欄４５には、検品結果が表示される。画像照合処理の結果、照合部１０９が商品を特定し、さらに商品数量重量計算部１０８が重量計測器３００に載った商品の数量を計算すると、表示情報出力部１０６は、制御判定部１０１から取得した特定した商品の識別情報を商品コード欄４４へ表示し、制御判定部１０１から取得した商品の数量を数量欄４５へ表示する。また、検品が成功し、商品の識別情報と数量の表示を行うと、表示情報出力部１０６は、ボタン４３の「検品開始」の表示を、例えば「検品完了」に変更する。作業員が「検品完了」と表示されたボタン４３を押下すると、検品完了指示信号を検品処理装置１００に入力する。すると、照合部１０９は、後述する照合実績記録処理を行い、表示情報出力部１０６は、検品確認画面の各欄に表示された画像や値を消去し、検品確認画面は、次の商品の検品ができる状態になる。
商品コード入力欄４６および数量入力欄４７は、検品処理に失敗し、新たな商品画像を登録するときに、作業員が、それぞれ登録する商品の識別情報と数量を入力する入力欄である。登録ボタン４８は、作業員が新たな商品画像を商品コード入力欄４６および数量入力欄４７に入力した情報とともに照合用データベース１１０に登録するときに用いる登録指示ボタンである。これら、商品コード入力欄４６、数量入力欄４７、登録ボタン４８については、ステップＳ２０以降で説明する。

作業員は、検品確認画面の商品コード欄４４に表示された商品の識別情報（商品コード）と数量欄４５に表示された数量とが入出荷明細どおりかどうかを確認する（ステップＳ１７）。入出荷明細どおりではない場合（ステップＳ１７；Ｎｏ）、作業員は、再度検品対象商品を棚から選択し、コンベア３０１へ載せる。そしてステップＳ１０からの作業または処理を繰り返す。
入出荷明細どおりの場合（ステップＳ１７；Ｙｅｓ）、照合部１０９は、照合実績記録処理を行う（ステップＳ１８）。照合実績記録処理とは、照合用データベース１１０が記憶する商品の画像について、照合に成功した日時、所定の期間における照合に成功した回数などを記録することである。

ここで、図６を用いて照合用データベース１１０に対する照合実績記録処理について説明を行う。図６は、本発明の第一の実施形態による検品処理装置で使用するデータベース（照合用データベース１１０）が記憶する情報の一例を示す図である。図６が示す通り、照合用データベース１１０には、商品ごとの識別情報、単位重量、照合用画像、照合成功最終日時、照合成功回数などの情報が格納されている。照合成功回数には、例えば月単位など期間別のその照合用画像を用いて商品の特定が成功した回数の合計が含まれている。図５の場合、識別情報「００１」の商品については、「ＸＸＸ１」、「ＸＸＸ２」、「ＸＸＸ３」、の３つの照合用画像が登録されている。画像「ＸＸＸ１」は、過去の「期間１」において１０回、「期間２」において８回、商品の照合処理において商品の特定に成功したときに用いられた照合用画像であることを示している。同様に、画像「ＸＸＸ２」は、過去の「期間１」において１回、「期間２」においては０回、商品の特定に用いられた照合用画像であることを示している。画像「ＸＸＸ３」についても同様である。このような場合、商品画像削除部１１２は、例えば、画像「ＸＸＸ２」に関する照合用画像を商品の特定に不要なデータであるとみなして削除する。このように、商品の特定に用いられていない画像を削除することにより、商品照合処理の計算量を減らして、検品作業を効率化することができる。照合用データベース１１０の「最終照合日時」と「照合成功回数」は、どの照合用画像を削除するかの目安にする値を格納する項目である。ステップＳ１８において、照合部１０９は、商品が特定できると、商品の特定に成功したときに用いた照合用画像について、その照合用画像の「最終照合日時」に現在の日時を格納する。また、照合部１０９は、「照合成功回数」の該当する期間に格納された照合成功回数を１つカウントアップする。これらの処理を照合実績記録処理という。

照合実績記録処理が完了すると、商品画像削除部１１２は、画像削除処理を行う（ステップＳ１９）。画像削除処理とは、照合用データベース１１０から商品の特定に使用しない余計な画像を削除する処理である。

例えば、商品画像削除部１１２は、所定の期間、商品の特定に使用されなかった照合用画像を削除する。具体的には、商品画像削除部１１２は、照合用データベース１１０の「最終照合日時」の値が所定の期間以上過去のものについて、それらの画像は、商品の特定に長い間使用されていなかったのだから、その照合用画像が撮像されるような角度などでその商品が撮像される頻度は低く、余計なデータであるとみなし、それらのデータを削除する。

また、例えば、商品画像削除部１１２は、所定の期間において照合用画像が商品の特定に使用された延べ回数が所定の回数以下の場合、それらの照合用画像を削除する。具体的には、商品画像削除部１１２は、照合用データベース１１０の「照合成功回数」のうち、所定の期間（例えば、最新の期間Ｘと期間Ｘ−１について）における照合成功回数の合計値が所定の値以下のものについて、それらのデータを削除する。これにより、例えば、以前は商品の特定に使用されたが、最近は使用されなくなった照合用画像を削除し、照合用画像の登録量を削減することができる。

また、例えば、商品画像削除部１１２は、特徴量の少ない照合用画像を削除する。具体的には、商品画像削除部１１２は、照合用データベース１１０に登録された照合用画像について、特徴量計算部１０７が計算した特徴量の数が所定の閾値以下のものについて、あまりにも特徴量が少ないと画像照合処理において正確な照合を行えない可能性があるため、それらのデータを削除する。なお、所定の閾値については、商品ごとに異なっていてもよい。

また、例えば、商品画像削除部１１２は、照合用画像に写る対象商品の面積が、対象商品ごとに定められた面積の範囲に含まれない場合、その照合用画像を削除する。具体的には、商品画像削除部１１２は、照合用データベース１１０に登録された画像について、その商品が立方体形状の場合、その商品のある面について、その面のある一部しか写っていない場合、その一部の面積が定められた面積の範囲に含まれない場合、その商品の特徴を十分に含んでいない可能性があり誤って商品を特定する可能性があるため、その照合用画像を削除する。逆に、ある面の全体を撮像した画像よりも、その中のある一部を撮影した照合用画像が特徴的であり照合処理に効果的である場合、定められた面積の範囲をその部分が含まれる大きさに設定しておき、商品画像削除部１１２は、ある面の全体を撮像した照合用画像は、定められた面積の範囲に含まれないと判定し、その照合用画像を削除する。またペットボトルなどを上から撮像した画像は、ペットボトルの蓋の上面に特徴が無ければ商品の照合には向かない。また、ペットボトルを蓋側を下にして立てた状態でコンベアに載せられ、その商品を上方から撮像することはあまりないと考えられる。このような場合、照合用データベース１１０に登録された画像の面積がペットボトルの蓋の面積や、ペットボトル底の面積であれば、対象商品ごとに定められた面積の範囲に含まれないと判定し、商品画像削除部１１２は、その画像を削除する。なお、面積だけではなく、画像に写る対象物の形状を商品ごとに定めておき、照合用データベース１１０に登録された画像に写る商品の形状が、定めた形状でない場合は、商品画像削除部１１２は、その画像を削除するようにしてもよい。

また、例えば、商品画像削除部１１２は、現在記録されている複数の照合用画像間で類似度が高い場合には一つを残して他の画像を削除する。例えば、商品画像削除部１１２は、照合用データベース１１０に登録されたある商品の画像について、特徴量計算部１０７が計算した特徴量を比較して、類似している画像を求める。商品画像削除部１１２は、例えば、類似する画像の中で最も商品の特定に成功した回数が多い照合用画像のみを残して、他の照合用画像を削除する。

なお、商品画像削除部１１２は、上に例示した所定のルールに基づいて画像を削除するが、現在照合用データベースに記録されている照合用画像の数が、対象商品ごとに定められた最低画像数に達した場合、商品画像削除部１１２は、この画像削除処理を行わないようにしてもよい。このように、最低画像数を設けるのは、例えば、６面ある商品で５面分しか照合用画像が登録されていなければ、登録されていない面が撮像された場合、商品の特定ができなくなるから、そのような事態を防止するためである。
なお、この画像削除処理を実行するタイミングは、照合実績記録処理の後でなくてもよい。図４の検品処理時とは関係なく、例えば、週１回定期的に行ってもよい。あるいは、この画像削除処理は、ステップＳ１３〜ステップＳ１４の処理に所定の時間以上かかった場合のみ、その商品についてのみ実行するようにしてもよい。

このステップＳ１９の処理によって、一定期間以上、例えば一年以上等、商品の特定に成功した実績がない、必要性のなくなった照合用画像を自動で削除する。これにより、データ量の肥大化を抑制し、且つ、有効な情報だけに絞ることで、画像照合の計算量の削減をおこない、有効な検品結果が高速に得られるようになる。これにより、ユーザの待ち時間ストレスの軽減、またはコンベヤシステムによる結果受信タイムアウトの軽減効果が期待できる。

次に、ステップＳ１４に戻って、商品の特定ができなかった場合について説明する。商品が特定できなかった場合（ステップＳ１４；Ｎｏ）、照合部１０９は、商品が特定できなかったことを示す情報を制御判定部１０１に出力する。制御判定部１０１は、商品特定の失敗を表示情報出力部１０６に通知する。表示情報出力部１０６は、図５で例示した検品確認画面の画像を生成し、表示装置４００に表示する。表示情報出力部１０６は、「不明」を商品コード欄４４および数量欄４５へ表示する（図５参照）。

作業員は、商品コード入力欄４６に検品対象商品６００の識別情報（商品コード）を入力する（ステップＳ２０）。検品対象商品６００の識別情報は、例えば、作業員が、重量計測器３００に載せられた検品対象商品６００を見て確認する。次に、作業員は、入力装置５００を用いて、輪郭線４２を入力する（ステップＳ２１）。輪郭線４２を入力するのは、画像に写る背景のコンベアなどと前景の検品対象商品６００の画像を分離するためである。次に、作業員は、数量入力欄４７に重量計測器３００に載せられた検品対象商品６００の数量を入力する（ステップＳ２２）。検品対象商品６００の数量は、例えば、作業員が重量計測器３００に載せられた検品対象商品６００の数量を数えた値を入力する。次に、作業員は、入力装置５００を用いて、登録ボタン４８を押下する（ステップＳ２３）。すると、商品数量重量計算部１０８は、重量計測器３００が測定した検品対象商品６００の総重量を、数量入力欄４７に入力された値で除算して、検品対象商品６００の単位重量を計算する。商品数量重量計算部１０８は、計算した単位重量を商品画像登録部１１１に出力する。商品画像登録部１１１は、入力受付部１０５が入力を受け付けた商品の識別情報及び商品数量重量計算部１０８から取得した単位重量及び画像バッファ部１０４に格納された商品の画像のうち輪郭線４２で指定した部分の画像とを照合用データベース１１０に登録する。このように、本実施形態では、商品の画像を事前に登録せず、商品が検品されるタイミングで、照合できなかった商品の画像のみの登録を行うことで、例えば同じような方向から撮像した類似する照合用画像の登録を抑制する。

また、商品画像登録部１１１は、既に同じ識別情報をもつデータが、照合用データベース１１０に所定の数以上登録されている場合は、今回の登録を行わないようにしても良い。あるいは、既に同じ識別情報を有する商品について、照合用画像が、照合用データベース１１０に所定の数以上登録されている場合、商品画像登録部１１１は、商品画像削除部１１２に照合用画像の削除を指示し、ステップＳ１９で例示したルールによって、既に登録されたデータの中から最低１つを削除させて、その代わりに今回撮像した画像を照合用画像として登録するようにしてもよい。これにより、照合用データベース１１０の肥大化を防ぐことができる。
なお、照合用データベース１１０には、照合用画像を登録する際に、商品画像登録部１１１は、特徴量計算部１０７に登録する照合用画像の特徴量を計算させ、照合用画像と対応付けて照合用データベース１１０に登録するようにしてもよい。

新たに照合用画像を登録すると、その検品対象商品６００について、ステップＳ１３以降の処理を繰り返し行う。以上で本処理フローを終了する。

なお、上記では、照合部１０９が商品御特定に失敗した場合、照合用データベース１１０に、撮像装置２００で撮像した画像を登録する場合を例に説明を行ったが、次のようにしてもよい。例えば、検品処理装置１００は、図示しない記憶装置と接続されている。この記憶装置はマスタ・データベースを記憶している。マスタ・データベースには、検品対象となり得る全ての商品について、複数の角度から撮影した画像が格納されている。例えば、１つの商品につき数十種類の画像が格納されている。照合部１０９が商品の特定に失敗した場合、作業員が検品対象商品６００の識別情報を検品処理装置１００に入力し、マスタ・データベースを用いた照合指示信号を入力する。すると、照合部１０９が、作業員が指定した商品の識別情報に基づいてマスタ・データベースに登録されたその商品の画像を用いて照合を行う。照合に成功し、商品が特定できると、照合部１０９が商品の特定に成功した画像をマスタ・データベースから取得する。商品画像登録部１１１は、照合部１０９がマスタ・データベースから取得した画像を照合用画像として、その商品の識別情報と対応付けて照合用データベース１１０に登録する。

図９は、本発明の第一の実施形態による検品処理装置のハードウェア構成の一例を示すブロック図である。
図９に示す通り、検品処理装置１００は、ＣＰＵ９０１と、メモリ９０２と、ハードディスク等の記憶装置９０３と、ネットワーク接続用の通信ＩＦ９０４（通信インターフェース）とを含む、コンピュータ装置によって実現される。ただし、検品処理装置１００の構成は、図９に示すコンピュータ装置に限定されない。例えば、検品処理装置１００は、通信ＩＦ９０４を介して外部に画像または重量データを送信し、外部で検品対象の商品の照合を行い、その結果を受信してもよい。

なお、本実施形態において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。これらの機能ブロックはハードウェアおよびソフトウェアの任意の組み合わせによって実現される。また、検品処理装置１００は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。

なお、上述の検品処理装置１００は内部にコンピュータを有している。そして、上述した検品処理装置１００の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
なお、検品確認画面は、登録要求画面の一例である。表示情報出力部１０６は登録要求画面出力部の一例である。

１・・・検品処理システム
１００・・・検品処理装置
１０１・・・制御判定部
１０２・・・重量取得部
１０３・・・商品画像取得部
１０４・・・画像バッファ部
１０５・・・入力受付部
１０６・・・表示情報出力部
１０７・・・特徴量計算部
１０８・・・商品数量重量計算部
１０９・・・照合部
１１０・・・照合用データベース
１１１・・・商品画像登録部
１１２・・・商品画像削除部
２００・・・撮像装置
３００・・・重量計測器
４００・・・表示装置
５００・・・入力装置
６００・・・検品対象商品
９０１・・・ＣＰＵ
９０２・・・メモリ
９０３・・・記憶装置
９０４・・・通信ＩＦ

Claims (10)

1. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、
   を備え、
   前記商品画像削除部は、所定の期間、商品の特定に使用されなかった前記照合用画像を削除する、ことを特徴とする検品処理装置。
2. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、
   を備え、
   前記商品画像削除部は、所定の期間において商品の特定に使用された延べ回数が所定の回数以下の前記照合用画像を削除する、
   検品処理装置。
3. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、
   を備え、
   前記商品画像削除部は、特徴量の少ない前記照合用画像を削除する、
   検品処理装置。
4. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、
   を備え、
   前記商品画像削除部は、前記照合用画像に写る前記対象商品の面積が、対象商品ごとに定められた面積の範囲に含まれない場合、その照合用画像を削除する、
   検品処理装置。
5. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、
   を備え、
   前記商品画像削除部は、現在記録されている複数の前記照合用画像のうち類似度が高い場合には一つを残して他の前記照合用画像を削除する、
   検品処理装置。
6. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   所定のルールに基づいて前記照合用データベースに記憶する前記照合用画像を削除する商品画像削除部と、
   を備え、
   前記商品画像削除部は、現在記憶されている前記照合用画像の数が、対象商品ごとに定められた最低画像数に達した場合、前記照合用画像の削除を行わない、
   検品処理装置。
7. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   検品対象の商品を撮影した画像を取得する商品画像取得部と、
   前記画像を照合用データベースに登録する登録要求画面を出力する登録要求画面出力部と、
   を備え、
   前記照合部は、前記商品画像取得部が取得した画像について、当該商品に写る商品を特定できるか否かを判定し、
   前記商品画像登録部は、前記登録要求画面において入力された前記対象商品の識別情報と前記商品画像取得部が取得した画像とを対応付けて登録する、
   検品処理装置。
8. 照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する照合部と、
   前記照合部が商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する商品画像登録部と、
   を備え、
   前記照合部は、前記商品を特定できないと判定した場合、前記商品の画像を複数記憶する所定のマスタ・データベースから、前記対象商品の識別情報に基づいて、前記対象商品の画像を取得して、前記商品の照合を行い、
   前記商品画像登録部は、前記照合部による前記マスタ・データベースから取得した前記画像を用いた照合が成功すると、照合に成功した前記画像を前記照合用データベースに登録する、検品処理装置。
9. 検品処理装置が、
   照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定し、
   前記判定において商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録し、
   前記照合用データベースに記録されている前記照合用画像のうち、所定の期間、商品の特定に使用されなかった前記照合用画像を削除する、
   ことを特徴とする検品処理方法。
10. 検品処理装置のコンピュータを、
    照合用データベースに記録されている照合用画像を用いて対象商品を撮像した画像に写る商品を特定できるか否かを判定する手段、
    前記判定において商品を特定できないと判定した場合に、前記対象商品の識別情報と、前記画像とを対応付けて前記照合用データベースに登録する手段、
    前記照合用データベースに記録されている前記照合用画像のうち、所定の期間、商品の特定に使用されなかった前記照合用画像を削除する手段、
    として機能させるためのプログラム。

Images