JP6386311B2

JP6386311B2 - 携帯情報端末、情報処理方法、及びプログラム

Info

Publication number: JP6386311B2
Application number: JP2014182364A
Authority: JP
Inventors: 潔上野
Original assignee: ワム・システム・デザイン株式会社
Priority date: 2014-09-08
Filing date: 2014-09-08
Publication date: 2018-09-05
Anticipated expiration: 2034-09-08
Also published as: JP2016055954A

Description

本発明は、物品に対する作業を支援する携帯情報端末等に関するものである。

従来の技術として、物品処理部を撮像対象領域として画像を撮像自在な撮像装置が設けられ、制御部が、撮像装置にて撮像された撮像対象領域の画像に基づいて物品処理部にて処理された物品の種別及び数量を算出し、算出した物品の種別及び数量に基づいて、物品処理作業が物品処理情報にて指定された通りの種別及び数量の物品に対して実行されたか否かを判定するものが知られていた（例えば、特許文献１参照）。

特開２０１４−９１６０８号公報（第１頁、第１図等）

しかしながら、従来の技術においては、ピッキング作業等の取得の対象として指定された物品が配置されている場所をユーザに適切に示すことができない、という課題があった。

本発明は、上記のような課題を解消するためになされたものであり、ユーザに、取得対象となる物品の位置を適切に示すことができる携帯情報端末を提供することを目的とする。

本発明の携帯情報端末は、取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、物品と対応する位置に配置されたコードであって、物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、判断部が、受付部が受け付けた物品識別子と一致すると判断した場合に、一致する物品識別子に対応するコードに対応した位置に、コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部とを備えた携帯情報端末である。

かかる構成により、物品の位置を適切にユーザに示すことができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部は、二以上の物品識別子を受け付け、撮影部は、二以上のコードを含む領域を撮影した撮影画像を取得し、判断部は、撮影画像内の二以上の各コードに対応づけられた物品の物品識別子を取得し、取得した物品識別子のそれぞれについて、受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断し、表示部は、判断部が、撮影画像内の二以上のコードに対応づけられた物品の物品識別子のそれぞれが、受付部が受け付けた物品識別子のいずれか一つと一致すると判断した場合に、一致する二以上の物品識別子にそれぞれ対応するコードに対応した位置に、取得通知情報を表示する携帯情報端末である。

かかる構成により、複数の取得対象の物品が同じ撮影画像内に含まれる場合であっても、複数の物品の位置をユーザに示すことができ、取得対象となる複数の物品の位置を適切にユーザに示すことができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部は、物品識別子に対応づけられた数量を更に受け付け、表示部は、受付部が受け付けた数量のうちの、判断部が一致すると判断した物品識別子と対応づけられた数量を、取得通知情報として表示する携帯情報端末である。

かかる構成により、ユーザに取得対象となる物品の取得すべき数量を視覚的にわかりやすく示すことができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、表示部は、受付部が受け付けた数量のうちの、判断部が一致すると判断した物品識別子と対応づけられた数量を、取得通知情報として、撮影画像が撮影された領域内の物品識別子と対応するコード上の位置に表示する携帯情報端末である。

かかる構成により、ユーザに取得対象となる物品の取得すべき数量を、視覚的によりわかりやすく示すことができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部が受け付けた物品識別子に一致すると判断部が判断した物品識別子と対応づけられたコードが示す物品がユーザにより取り出されたか否かを、撮影部が取得した撮影画像を用いて判断する取得判断部と、取得判断部の判断結果に応じた出力を行う出力部とを備えた携帯情報端末である。

かかる構成により、物品の取得状況に応じた出力を行うことができ、物品の取得作業を確認することができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、受付部が受け付けた物品識別子に一致すると判断部が判断した物品識別子と対応づけられたコードが示す物品が、受付部が受け付けた物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、撮影部が取得した撮影画像を用いて判断する取得判断部と、取得判断部の判断結果に応じた出力を行う出力部とを備えた携帯情報端末である。

かかる構成により、物品が正しい数量だけ取得されたか否かを確認することができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、取得判断部は、撮影部が撮影した撮影画像において手を検出し、検出した手を用いて、物品がユーザにより取得されたか否かを判断する携帯情報端末である。

かかる構成により、物品の移動を、物品の形状や、色等に依存せずに検出ことができ、物品の取得を適切に判断することができる。

また、本発明の携帯情報端末は、前記携帯情報端末において、ヘッドマウントディスプレイを更に備えており、表示部は、ヘッドマウントディスプレイに取得通知情報を表示し、撮影部は、ヘッドマウントディスプレイの前方方向が撮影領域となるよう配置されている携帯情報端末である。

かかる構成により、ディスプレイを手で持つ必要が無く、作業性が向上させることができる。また、撮影画像の向きをユーザが意識せずにユーザの視野の方向に向けることができ、操作性を向上させることができる。

本発明による携帯情報端末等によれば、ユーザに取得対象となる物品の位置を適切に示すことができる。

本発明の実施の形態における携帯情報端末のブロック図同携帯情報端末のヘッドマウントディスプレイの一例を示す図同携帯情報端末の動作について説明するフローチャート同携帯情報端末の動作を説明するための、コードが配置された棚の一例を示す図（図４（ａ））、及び棚に配置されたコードを示す図（図４（ｂ））同携帯情報端末の識別子管理表を示す図同携帯情報端末の受付管理表を示す図同携帯情報端末の撮影画像の一例を示す図同携帯情報端末の表示例を示す図同携帯情報端末の撮影画像の一例を示す図本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図同コンピュータシステムの構成の一例を示す図

以下、携帯情報端末等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態）
図１は、本実施の形態における携帯情報端末１のブロック図である。

携帯情報端末１は、受付部１０１、撮影部１０２、識別子格納部１０３、判断部１０４、表示部１０５、取得判断部１０６、出力部１０７、ヘッドマウントディスプレイ１０８を備えている。

受付部１０１は、一以上の物品識別子を受け付ける。受付部１０１が受け付ける物品識別子は、取得対象となる物品の識別子である。受付部１０１は、二以上の物品識別子を受け付けてもよい。物品とは、例えば、商品である。また、物品は、図書館の本のように、貸与用の物や、無料サンプル等であってもよい。ここでの取得とは、例えば、物品を、物品が配置されている位置（例えば棚やコンベヤ等）から取り出したり、集めることである。取得は、例えば、販売対象や出荷対象や配送対象である物品を、取り出したり集めたりすることであってもよい。ここでの取得は、例えば、いわゆるピッキングや取出や選出等も含む概念である。物品識別子は、例えば、販売や、配送等のためのピッキングや取出作業の対象となる物品の識別子である。例えば、受付部１０１が受け付ける物品識別子は、倉庫や、配送センター等で管理されている物品の物品識別子である。物品識別子は、例えば、物品名や、物品に割り当てられた文字列や数字列や、製造番号等である。

受付部１０１は、物品識別子に対応づけられた数量を更に受け付けてもよい。例えば、受付部１０１は、物品識別子と数量とを対応づけて有する一または二以上の情報を受け付けても良い。物品識別子と数量との組を、以下、物品数量情報と称す場合がある。また、受付部１０１は、更に、物品識別子に対応づけられた注文番号等の注文の識別子や、物品識別子に対応づけられた配送番号等の、一括配送される物品群に付与された識別子や、日付の情報等を受け付けても良い。

受付部１０１は、通常、図示しないサーバ装置や、配送対象となる物品のピッキング（取出）等を指示する装置（図示せず）等から送信される物品識別子を受信する。図示しないサーバ装置は、例えば、配送や出荷の指示等を受け付けて、配送対象や出荷対象となる物品の識別子等を、携帯情報端末１等に送信するサーバ装置等である。ただし、受付部１０１は、紙面等に印刷されたピッキング（取出）の対象となる物品の物品識別子と対応づけられたバーコード等のコードをカメラ等で読み出すことにより、物品識別子を受け付けても良い。また、図示しない入力デバイス等を介してユーザにより手入力された物品識別子を受け付けても良い。

なお、以下、受付部１０１が受け付けた物品識別子を、説明の便宜上、受付物品識別子と呼ぶ場合がある。受付物品識別子は、取得対象となる物品の物品識別子と考えてもよい。

ここでの受付とは、通常は、有線もしくは無線の通信回線を介して送信された情報の受信であるが、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。受付部１０１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

撮影部１０２は、一以上のコードを含む領域を撮影した撮影画像を取得する。一以上のコードは、物品と対応する位置に配置されたコードであって、物品識別子と対応づけられたコードである。撮影部１０２は、例えば、二以上のコードを含む領域を撮影した撮影画像を取得してもよい。

撮影部１０２は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラである。撮影部１０２は、ビデオカメラであっても良く、デジタルスチルカメラであっても良い。撮影画像は、通常、動画像であるが、予め指定された時間間隔を隔てて撮影された連続した複数の静止画像等であっても良い。また、撮影画像は、動画像を構成する一または二以上のフレーム画像と考えてもよい。二以上のフレーム画像は、連続していてもよく、連続していなくても良い。例えば、二以上のフレーム画像は、予め指定された数のフレーム画像を隔てて取得された二以上のフレーム画像であっても良い。また、撮影部１０２が撮影する撮影画像の画素数や、撮影部１０２が送信する撮影画像のファイル形式や、圧縮方式等は問わない。また、撮影部１０２が撮影画像を撮影するタイミング等は問わない。なお、撮影部１０２は、外部のカメラ等を制御するドドライバー等と考えてもよい。

コードとは、バーコード、二次元バーコード、ＱＲコード（登録商標）、カメレオンコード、文字列、数字列等、識別できるものであれば何でも良い。コードは、カメレオンコード等の、色の配列を識別情報として有する二次元コードであることは好適である。コードが、物品識別子と対応づけられているということは、例えば、コードから読み出される情報が、物品識別子と対応づけられていることであってもよい。例えば、コードから読み出される情報と、物品識別子とを対応づけて有する情報を図示しない格納部等に予め格納しておくことで、コードと、物品識別子とを対応づけて管理することができる。また、コードから読み出される情報が、物品識別子であっても良い。例えば、コードから読み出されるコード識別子が、物品識別子であっても良い。

なお、以下、本実施の形態においては、各コードから読み出される情報が、コードの識別子であるコード識別子であり、各コード識別子を物品識別子と対応づけて管理することにより、コードが物品識別子と対応づけられている場合を例に挙げて説明する。コード識別子とは、例えば、コードに割り当てれらた文字列や数字列等である。

物品と対応する位置に配置されたコードとは、例えば、物品に配置（例えば添付）されたコードである。また、物品と対応する位置に配置されたコードは、例えば、物品を特定可能な位置に配置されたコードであってもよい。ここでの位置は、領域も含む概念である。物品を特定可能な位置とは、例えば、物品が配置された位置（例えば、領域）であってもよく、物品が配置される位置の周辺の位置（例えば、領域）であっても良い。物品が配置される位置の周辺の位置に配置されたコードは、例えば、物品が配置されている棚やパレットに配置（例えば添付）されたコードや、物品を仕切っている仕切板等に配置（例えば添付）されたコードであってもよい。

識別子格納部１０３には、一または二以上の識別子管理情報が格納される。識別子管理情報は、コード識別子と、物品識別子とを有する情報である。通常、異なる識別子管理情報は、異なるコード識別子を有している。識別子格納部１０３に格納された物品識別子は、コード識別子と対応づけられた物品識別子である。なお、以下、コード識別子と対応づけられた物品識別子を、説明の便宜上、対応物品識別子と呼ぶ場合がある。対応物品識別子は、識別子格納部１０３に格納されている物品識別子と考えてもよい。

識別子格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、他の格納部についても同様である。

判断部１０４は、撮影部１０２が取得した撮影画像を用いて、この撮影画像内の一以上のコードに対応づけられた一以上の物品の物品識別子を取得する。そして、判断部１０４は、取得した一以上の物品識別子が、受付部１０１が受け付けた物品識別子のいずれか一つと一致するか否かを判断する。

判断部１０４は、例えば、撮影画像内の二以上の各コードに対応づけられた物品の物品識別子をそれぞれ取得する。そして、判断部１０４は、例えば、取得した二以上の物品識別子のそれぞれについて、受付部１０１が受け付けた物品識別子のいずれか一つと一致するか否かを判断する。

例えば、判断部１０４は、撮影部１０２が取得した撮影画像内において、一または二以上のコードを検出する。ここでのコードの検出は、コードの画像や、コードの領域を検出することと考えてもよい。例えば、撮影画像が動画像である場合、判断部１０４は、撮影部１０２が取得したフレーム画像を二値化して、パターンマッチングや特徴量を検出する処理等により、コードの外枠等の形状を認識して、撮影画像内のコードが配置されている領域を検出する。そして、検出したコードの画像を取得する。撮影画像が静止画像である場合においても同様である。なお、判断部１０４は、一の撮影画像から、複数のコードの画像を取得しても良い。また、判断部１０４は、取得したコードの画像の形状を、適宜補正してもよい。なお、これらの、画像から、コードを検出してコード識別子を取得する処理等は、公知技術であるため、ここでは詳細な説明は省略する。

次に、判断部１０４は、検出した一または二以上のコードから、それぞれコード識別子を取得する。そして、取得した各コード識別子に対応する物品識別子（即ち、対応物品識別子）を、識別子格納部１０３に格納された識別子管理情報を用いて取得する。なお、コードから読み出される情報が、物品識別子である場合、コードから読み出した情報を物品識別子として取得する。

次に、判断部１０４は、取得した一以上の物品識別子が、受付部１０１が受け付けた物品識別子（即ち、受付物品識別子）のいずれか一つと一致するか否かを判断する。例えば、判断部１０４は、上記で取得した一または二以上の対応物品識別子の一つについて、受付部１０１が受け付けた一または二以上の受付物品識別子のいずれか一つと一致するか否かを判断する。そして、この対応物品識別子が、受付物品識別子のいずれか一つと一致する場合、例えば、この対応物品識別子について、一致することを示す判断結果を取得する。判断結果は、例えば、図示しない格納部に、対応物品識別子と対応づけて蓄積する。なお、対応物品識別子について判断結果を取得し、蓄積することは、対応物品識別子と一致する値の受付物品識別子について判断結果を取得して、蓄積することと実質的に同じことと考えても良い。判断部１０４は、同様の処理を、上記で取得した他の対応物品識別子についても行う。

なお、例えば、カメレオンコード等の、色の配列を識別情報として有する二次元コードの場合、一の撮影画像に複数のコードが存在する場合であっても、複数の各コードからそれぞれコード識別子等のコードに対応する情報を取得可能なものがあることが知られている。このため、このようなコードを使うことで、一の撮影画像内の複数のコードについて取得した二以上の対応物品識別子のそれぞれについて、受付部１０１が受け付けた受付物品識別子のいずれか一つと一致するか否かを判断することが可能である。

なお、受付部１０１が受け付けた受付物品識別子のうちの、一度、撮影画像のコードについて取得された一の対応物品識別子と一致すると判断された受付物品識別子については、検出済であることを示すフラグ等の情報を付与することで、それ以降の処理においては、上記の判断処理に利用しないようにしても良い。

表示部１０５は、判断部１０４が、撮影画像内の一以上のコードについて取得された一以上の対応物品識別子が、受付部１０１が受け付けた受付物品識別子と一致すると判断した場合に、一致する物品識別子に対応するコードに対応した位置に、このコードに対応する物品が取得対象の物品であることを示す情報を表示する。コードに対応する物品とは、例えば、コードに対応する対応物品識別子が示す物品である。取得対象の物品とは、例えば、受付部１０１が受け付けた受付物品識別子のいずれか一つが示す物品である。なお、コードに対応する位置に表示されるこのコードに対応する物品が取得対象の物品であることを示す情報を、ここでは、取得通知情報と称す。取得通知情報は、コードが、受付部１０１が受け付けた受付物品識別子のいずれか一つに対応することを示す情報と考えてもよい。

表示部１０５は、判断部１０４が、撮影画像内の二以上のコードに対応づけられた対応物品の物品識別子のそれぞれが、受付部１０１が受け付けた受付物品識別子のいずれか一つと一致すると判断した場合に、一致する二以上の物品識別子にそれぞれ対応するコードに対応した位置に、取得通知情報を表示してもよい。

ここでのコードに対応する位置とは、コード上の領域や、コード上の領域の少なくとも一部を含んだ領域であっても良く、コードの上下左右等の、コードに対して予め指定された位置関係にある位置であっても良い。また、コードに対して予め指定された方向に、予め指定された距離だけ離れた位置であっても良い。また、コードからの距離が予め指定された範囲内である位置であってもよい。また、ここでの位置は、領域であっても良く、取得通知情報の一点が配置される位置の座標であっても良い。

一のコードに対応した位置に表示される取得通知情報は、例えば、予め指定された画像、具体的には、予め指定された形状の画像であっても良い。この画像は、例えば、予め指定された色の矩形や、コードに対応する物品の位置を示す矢印等の記号の画像である。また、一のコードに対応した位置に表示される取得通知情報は、例えば、このコードに対応する対応物品識別子と一致する受付物品識別子に対応づけられた数量であってもよい。例えば、このコードに対応する対応物品識別子と一致する物品識別子を有する物品数量情報が有する数量であっても良い。また、一のコードに対応した位置に表示される取得通知情報は、例えば、このコードに対応した対応物品識別子であってもよく、この対応物品識別子と一致する受付物品識別子と対応づけられた配送識別子等の情報であっても良い。

このように、取得通知情報を表示するようにすることで、例えば、一の物品に対応したコードを、この一の物品に配置したり、この物品が配置されている位置に配置しておくことで、取得通知情報が表示された位置の物品が、取得対象の物品であることをユーザに示すことができる。

例えば、表示部１０５は、受付部１０１が受け付けた数量のうちの、判断部１０４が一致すると判断した受付物品識別子と対応づけられた数量を、取得通知情報として表示する。また、表示部１０５は、受付部１０１が受け付けた数量のうちの、判断部１０４が一致すると判断した受付物品識別子と対応づけられた数量を、取得通知情報として、撮影画像が撮影された領域内の物品識別子と対応するコード上の位置に表示してもよい。このように、コードに対応した物品識別子に対応づけられた数量である取得通知情報をコードに対応した位置に表示することで、ユーザが、取得すべき物品数を適切に把握することができる。特に、複数のコードにそれぞれ対応した位置に、同時に、取得通知情報が表示された場合であっても、それぞれの取得通知情報として、それぞれが対応するコードに対応する物品識別子に対応した数量を表示することで、それぞれの物品を取得する数量を、瞬時に、適切に把握することができ、物品を取り出す際の数量等の間違いを低減させることができる。

表示部１０５は、取得通知情報を、例えば、撮影部１０２が撮影した撮影画像とを重ねて表示する。例えば、表示部１０５は、取得通知情報と、撮影部１０２が撮影した画像とを重ね合わせる合成を行って得られた画像を、液晶モニタ等の表示デバイス（図示せず）に、表示する。重ねる際の合成モードや、重ね合わせる画像の透過率等は問わない。この場合、例えば、撮影画像が撮影された領域内の、コードに対応した位置とは、撮影画像内のコードが表示されている位置に対応した位置である。

また、表示部１０５は、撮影部１０２が撮影した撮影画像を表示せずに、取得通知情報を、透過性を有するミラーやレンズ等に投影表示してもよい。このような場合の、コードに対応した位置とは、例えば、ユーザの視野内の、このコードが見える位置に対応した位置である。例えば、撮影部１０２の視野と、投影表示されるディスプレイの視野との対応関係（例えば、座標の対応関係）を予め調整しておくことで、ディスプレイのコードが見える位置に、このコードに対応した取得通知情報を表示することができる。

表示部１０５は、例えば、ヘッドマウントディスプレイ１０８に、取得通知情報を表示しても良い。ヘッドマウントディスプレイ１０８は、ユーザの頭部に装着される表示デバイスである。ヘッドマウントディスプレイ１０８は、例えば、ユーザの視野を覆う位置に、液晶パネルや有機ＥＬパネル等のディスプレイパネルを備えた非透過型ヘッドマウントディスプレイであってもよく、眼鏡のレンズや、視線上に配置されたハーフミラー等に投影する透過表示型のヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイ１０８については、公知技術であるため、詳細な説明は省略する。なお、表示部１０５が、ヘッドマウントディスプレイ１０８に、取得通知情報等を表示する場合、撮影部１０２（例えば、カメラ）は、ヘッドマウントディスプレイ１０８の前方方向が撮影領域となるよう配置されていることが好ましい。ヘッドマウントディスプレイ１０８の前方方向とは、例えば、ヘッドマウントディスプレイ１０８を装着したユーザの前方方向である。

表示部１０５は、表示デバイスを含むと考えても含まないと考えても良い。例えば、表示部１０５は、携帯情報端末１の外部に設けられた表示デバイス（図示せず）に、取得通知情報等の表示を行っても良く、内部に設けられた表示デバイス（図示せず）に表示を行っても良い。表示部１０５は、表示デバイスのドライバーソフトまたは、表示デバイスのドライバーソフトと表示デバイス等で実現され得る。

なお、以下においては、表示部１０５が、非透過型のヘッドマウントディスプレイ１０８に取得通知情報を表示する場合を例に挙げて説明する。ただし、ヘッドマウントディスプレイ１０８は、透過型ヘッドマウントディスプレイであっても良い。

図２は、表示部１０５が取得通知情報の表示に利用する非透過型のヘッドマウントディスプレイ１０８を示す図である。ここでは、一例として、ヘッドマウントディスプレイ１０８には、撮影部１０２（例えば、カメラ）が、ヘッドマウントディスプレイ１０８の前方方向が撮影領域となるようヘッドマウントディスプレイ１０８に取り付けられている。例えば、撮影部１０２の視野が、ヘッドマウントディスプレイ１０８を装着したユーザの視野とほぼ一致するよう、撮影部１０２は設置されている。また、ここでは、一例として、携帯情報端末１のヘッドマウントディスプレイ１０８と撮影部１０２とを除いた部分を収容したケース１０８ａが、ヘッドマウントディスプレイ１０８に取り付けられているものとする。ただし、撮影部１０２や、携帯情報端末１のヘッドマウントディスプレイ１０８と撮影部１０２とを除いた部分は、ヘッドマウントディスプレイ１０８に取り付けられていなくてもよい。例えば、携帯情報端末１のヘッドマウントディスプレイ１０８を除いた部分が、このヘッドマウントディスプレイ１０８との間で有線通信や無線通信が可能な、図示しない携帯電話や、いわゆるスマートフォン等の多機能携帯電話や、タブレット型端末や、携帯型コンピュータ等で構成されていてもよい。また、ヘッドマウントディスプレイ１０８に取り付けられた撮影部１０２の代わりに、これらの携帯電話や多機能携帯電話やタブレット型端末や携帯型コンピュータ等が有する図示しないカメラを、撮影部１０２として利用してもよい。

ヘッドマウントディスプレイ１０８は、ユーザの目を覆うように、ユーザの頭部に装着されるディスプレイである。ヘッドマウントディスプレイ１０８は、通常は、両目を覆うものであるが、片目だけを覆うものであってもよい。

非透過型であるヘッドマウントディスプレイ１０８は、ユーザの視野となる位置に液晶パネル等のディスプレイが配置されているため、装着した状態では、ユーザは、直接外部を見ることはできない。このため、撮影部１０２が撮影した外の様子を示す撮影画像を、ヘッドマウントディスプレイ１０８の内部のディスプレイに表示することで、ユーザは安全に行動することができる。このため、非透過型のヘッドマウントディスプレイ１０８を表示デバイスとして用いる場合、表示部１０５は、撮影画像に取得通知情報を重ねて表示することが好ましい。

ヘッドマウントディスプレイ１０８を表示デバイスとして用いることで、表示デバイス等を手で保持する必要が無く、手が自由に使え、作業性を向上させることができるという利点がある。

取得判断部１０６は、受付部１０１が受け付けた受付物品識別子に一致すると判断部１０４が判断した対応物品識別子と対応づけられたコードが示す物品がユーザにより取得されたか否かを、撮影部１０２が取得した撮影画像を用いて判断する。このことは、受付部１０１が受け付けた受付物品識別子と対応づけられた物品が取得されたか否かを判断することと考えてもよい。

例えば、取得判断部１０６は、判断部１０４が受付部１０１が受け付けた受付物品識別子に一致すると判断した撮影画像内のコードに対応する位置の画像の変化から、この一致すると判断された受付物品識別子に対応する物品が取得されたか否かを判断する。ここでのコードに対応する位置は、コードに対応する領域も含む概念である。コードに対応する位置としては、例えば、取得通知情報が表示される位置と同様の位置が利用可能である。コードに対応する位置は、例えば、コード上の領域である。

例えば、取得判断部１０６は、一致すると判断したコードに対応する位置から他の位置に移動したオブジェクトが検出された場合に、コードが示す一の物品が取得された（例えばピッキングされた）と判断してもよい。なお、撮影画像等から、特徴量の検出等によりオブジェクトを検出したり、フレーム画像間の差分から移動するオブジェクトを検出したり、検出したオブジェクトの移動方向を検出したりする技術は、公知技術であるため、ここでは詳細な説明は省略する。

また、取得判断部１０６は、撮影部１０２が撮影した撮影画像において手を検出し、検出した手を用いて、物品がユーザにより取得されたか否かを判断するようにしてもよい。例えば、取得判断部１０６は、撮影画像において手を検出し、検出した手の位置が、判断部１０４が、受付部１０１が受け付けた受付物品識別子に一致すると判断した対応物品識別子と対応づけられた撮影画像内のコードに対応する位置である場合（例えば、コードに対応する領域内の位置である場合）に、物品がユーザにより取得されたと判断してもよい。コードに対応する位置とは、例えば、撮影画像内の、コード上の位置や、コード上の位置を含む領域や、コードの上方に位置する領域である。また、ユーザの手が、撮影画像内のコードに対応する位置において検出された連続した時間が、予め指定された閾値以上である場合に、物品がユーザにより取得されたと判断してもよい。例えば、検出された手が、コードに対応する領域内に連続して位置している時間が、予め指定された閾値以上である場合に、物品が取得されたと判断し、閾値未満であれば、物品が取得されていないと判断してもよい。なお、撮影画像から、例えば、手の特徴量（例えば、色の特徴量）等を用いて、手を検出する処理等は、公知技術であるため、ここでは詳細な説明は省略する。

また、取得判断部１０６は、撮影画像において検出した手から、手の移動パターンを取得し、この移動パターンが、物品を取得を判断するための予め指定されたパターンに一致する場合に、物品が取得されたことを判断してもよい。移動パターンは、例えば、手の移動方向や、手の動きを示す経路や、ベクトル等の情報である。例えば、手が、一のコードに対して予め指定された領域を折り返し点とした往復運動をした場合に、このコードに対応する物品を取得したと判断しても良い。

また、取得判断部１０６は、受付部１０１が受け付けた受付物品識別子に一致すると判断部１０４が判断した対応物品識別子と対応づけられたコードが示す物品が、この受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、撮影部１０２が取得した撮影画像を用いて判断してもよい。ここでの受付物品識別子と対応づけられた数量は、具体的には、受付物品識別子と対応づけて受付部１０１が受け付けた数量である。

例えば、取得判断部１０６は、上述したように、受付部１０１が受け付けた受付物品識別子と一致すると判断した対応物品識別子と対応づけられたコードに対応する位置から他の位置に移動したオブジェクトを検出するとともに、移動したオブジェクトの数をカウントし、カウントした回数が、受付部１０１が受け付けた受付物品識別子と対応づけられた数量と一致した場合に、コードに対応する対応物品識別子と対応づけられた物品が、このコードに対応する受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断してもよい。

また、取得判断部１０６は、撮影部１０２が撮影した撮影画像において手を検出し、検出した手を用いて、コードに対応する対応物品識別子と対応づけられた物品が、この対応物品識別子と対応づけられた受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを判断するようにしてもよい。

例えば、上述したように、取得判断部１０６は、撮影画像において手を検出し、検出した手の位置が、一の受付物品識別子に一致する対応物品識別子と対応づけられた撮影画像内の一のコードに対応する位置と重なった回数が、この一の受付物品識別子と対応づけられた数量と一致した場合に、この一のコードに対応する受付物品識別子と対応づけられた物品が、この受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断してもよい。つまり、撮影画像において検出した手が、コードに対応する領域に入った回数で、コードに対応する物品識別子が示す物品が、この物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを判断するようにしてもよい。なお、手の位置がコードに対応する位置と重なりつづけている間を、一回として、重なった回数をカウントすることが好ましい。また、検出した手が、コードに対応する領域に入ってから出るまでの回数を、一回として、コードに対応する領域に入った回数としてカウントすることが好ましい。また、このような場合においても、上記と同様に、ユーザの手が、撮影画像内のコードに対応する位置において検出された連続した時間が、予め指定された閾値以上である場合に、回数の値を１増加するようにしても良い。

また、例えば、上述したように、取得判断部１０６は、撮影画像において検出した手の移動パターンから取得した、一の受付物品識別子に一致する対応物品識別子と対応づけられた撮影画像内の一のコードに対応する位置の物品を取得した物品を取得した回数が、この一の受付物品識別子と対応づけられた数量と一致した場合に、この一のコードに対応する受付物品識別子と対応づけられた物品が、この受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断してもよい。

なお、取得判断部１０６は、受付部１０１が受け付けた受付物品識別子に一致すると判断部１０４が判断した対応物品識別子と対応づけられたコードが示す物品が、一以上取得されたと判断した後であって、このコードが示す物品が、受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断されるよりも前に、ユーザがこのコードが配置されている位置の周辺から立ち去った場合、このコードに対応する物品が適切に取得されていないと判断しても良い。例えば、上記のコードが示す物品が、一以上取得されたと判断した後であって、このコードが示す物品が、受付物品識別子と対応づけられた数量だけ、ユーザにより取得されたと判断されるよりも前に、撮影画像内においてこのコードが検出できなくなった場合、このコードに対応する物品が適切に取得されていないと判断しても良い。この場合は、特に、取得した数量が不足していることを示す判断結果を取得しても良い。

また、取得判断部１０６は、受付部１０１が受け付けた受付物品識別子に一致すると判断部１０４が判断した対応物品識別子と対応づけられたコードが示す物品が、この受付物品識別子と対応づけられた数量より多く、ユーザに取得されたと判断した場合に、このコードに対応する物品が適切に取得されていないと判断しても良い。この場合は、特に、コードに対応する物品を取得した数量が超過していることを示す判断結果を取得しても良い。なお、かかる判断は、例えば、上述したカウント数を、受付物品識別子と対応づけられた数量と比較することで可能である。

出力部１０７は、取得判断部１０６の判断結果に応じた出力を行う。判断結果に応じた出力とは、判断結果そのものの出力であっても良く、判断結果に応じて決定される出力や、判断結果に応じて予め指定されている出力や、判断結果に応じてテンプレート等を用いて作成される出力であっても良い。なお、判断結果に応じて出力を行うということは、判断結果によっては出力を行わないことも含むと考えてもよい。ここでの出力は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

例えば、出力部１０７は、取得判断部１０６の判断結果が、判断部１０４が一致すると判断した受付物品識別子と対応づけられたコードが示す物品が、ユーザにより取得されたことを示す判断結果である場合に、適切に物品が取得されたことを示す情報を出力する。例えば、出力部１０７は、予め指定された情報として、予め指定された確認音を出力したり、「商品取得完了」等の予め指定された文字列や画像を、ヘッドマウントディスプレイ１０８等の表示デバイスに表示する。また、出力部１０７は、適切に物品が取得されたことを示す情報を、図示しないサーバ装置等に送信してもよい。

また、出力部１０７は、取得判断部１０６の判断結果が、判断部１０４が一致すると判断した受付物品識別子と対応づけられたコードが示す物品が、この受付物品識別子と対応付けらた数量だけユーザにより取得されたことを示す判断結果である場合に、適切な物品が適切な数量だけ取得されたことを示す情報を出力してもよい。例えば、出力部１０７は、予め指定された情報として、予め指定された確認音を出力したり、「所定数量商品取得完了」等の予め指定された文字列や画像を、ヘッドマウントディスプレイ１０８等の表示デバイスに表示する。また、出力部１０７は、物品が正しい数量だけ取得されたことを示す情報を、図示しないサーバ装置等に送信してもよい。

また、取得判断部１０６の判断結果が、適切に物品が取得されていないことを示す判断結果である場合、出力部１０７は、適切に物品が取得されていないことを警告する情報を出力しても良い。例えば、警告音や、警告を示す文字列や画像を出力してもよい。また、出力部１０７は、適切に物品が取得されていないことを警告する情報を図示しないサーバ装置等に送信してもよい。

また、特に、取得判断部１０６の判断結果が、取得した数量が不足していることを示す判断結果である場合、出力部１０７は、適切に物品が取得されていないことを警告する情報として、数量が不足していることを示す情報や、不足している数量等を示す情報を出力しても良い。

また、特に、取得判断部１０６の判断結果が、取得した数量が超過していることを示す判断結果である場合、出力部１０７は、適切に物品が取得されていないことを警告する情報として、数量が超過していることを示す情報や、超過している数量等を示す情報を出力しても良い。

出力部１０７は、ディスプレイやスピーカーや通信手段等の出力デバイスを含むと考えても含まないと考えても良い。出力部１０７は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、携帯情報端末１の動作の一例について図３のフローチャートを用いて説明する。なお、ここでは、撮影画像内で検出した手の位置が、コードに対応した位置であるか否かを判断することによって、物品が取得されたか否かを判断する場合を例に挙げて説明している。ただし、本実施の形態においては、ここで述べた例以外の処理により、物品が取得されたか否かを判断してもよい。

（ステップＳ１０１）受付部１０１は、物品識別子と、数量との一以上の組を受け付けたか否かを判断する。受け付けた物品識別子が受付物品識別子である。受け付けた場合、ステップＳ１０２に進み、受け付けていない場合、ステップＳ１０１に戻る。

（ステップＳ１０２）撮影部１０２は、撮影画像を取得する。例えば、撮影部１０２は、動画像である撮影画像のフレーム画像を取得する。

（ステップＳ１０３）判断部１０４は、ステップＳ１０２で取得した撮影画像（例えば、フレーム画像）において、一または二以上のコードを検出する処理を行い、コードを検出できたか否かを判断する。検出できた場合、ステップＳ１０４に進み、検出できなかった場合、ステップＳ１０２に戻る。

（ステップＳ１０４）判断部１０４は、カウンターｍの値に１を代入する。

（ステップＳ１０５）判断部１０４は、ステップＳ１０３で検出したコードのうちのｍ番目のコードに対応する対応物品識別子が、ステップＳ１０１で受け付けた一以上の受付物品識別子のいずれかと一致するか否かを判断する。例えば、判断部１０４は、識別子格納部１０３に格納された識別子管理情報を用いて、ｍ番目のコードから読み取られるコード識別子に対応する対応物品識別子を取得し、この対応物品識別子が、ステップＳ１０１で受け付けた一以上の受付物品識別子のいずれかと一致するか否かを順次判断する。一致する場合、ステップＳ１０６に進み、一致しない場合、ステップＳ１０８に進む。なお、後述するステップＳ１１５において、取得済であることを示す情報が対応づけられた受付物品識別子については、コードに対応する受付物品識別子と一致するか否かの判断には、用いないようにしてもよい。

（ステップＳ１０６）表示部１０５は、ステップＳ１０１で受け付けた数量のうちの、ステップＳ１０５で一致すると判断された受付物品識別子と対応づけられた数量を、取得通知情報として取得する。

（ステップＳ１０７）表示部１０５は、ｍ番目のコードに対応した位置に、取得通知情報を表示する。例えば、表示部１０５は、ｍ番目のコード上に、ステップＳ１０５で取得した数量を表示する。例えば、表示部１０５は、ヘッドマウントディスプレイ１０８に表示を行う。

（ステップＳ１０８）判断部１０４は、カウンターｍの値を１インクリメントする。

（ステップＳ１０９）判断部１０４は、ステップＳ１０３で撮影画像から検出したコードに、ｍ番目のコードがあるか否かを判断し、ある場合、ステップＳ１０４に戻り、ない場合、ステップＳ１１０に進む。

（ステップＳ１１０）取得判断部１０６は、ステップＳ１０２で取得した撮影画像（例えば、フレーム画像）の、ステップＳ１０６で取得通知情報が取得されたコードの内のいずれか一つに対応する位置に、手が検出されたか否かを判断する。例えば、取得判断部１０６は、ステップＳ１０２で取得した撮影画像において手の検出を行い、検出した手が、ステップＳ１０６で取得通知情報が取得されたコードの内のいずれか一つに対応する領域と重なっているか否かを判断し、重なっている場合、コードのいずれかに対応する位置に手が検出されたと判断する。コードのいずれかに対応する位置に手が検出された場合、このコードを示す情報、例えばコードの識別子等やコードの領域を示す情報等を取得して、ステップＳ１１１に進み、コードのいずれかに対応する位置に手が検出されなかった場合、ステップＳ１０２に戻る。なお、以下においては、説明の便宜上、取得通知情報が取得されたコードの内のいずれか一つであって、ステップＳ１１０において対応する位置に手が検出されたコードを、手が検出されたコードと呼ぶ。

（ステップＳ１１１）取得判断部１０６は、ステップＳ１１０において手が検出されたコードが、直前に手が検出されたコードと同じであるか否かを判断する。例えば、ステップＳ１１０で、ステップＳ１０６で取得通知情報が取得されたコードの内のいずれか一つに対応する位置に、手が検出された場合、このコードから読み出したコード識別子等を図示しない格納部等に蓄積するようにし、ステップＳ１１０で手が検出されたコードのコード識別子と、この直前の（つまり一つ前の）ステップＳ１１０で手が検出されたコードのコード識別子を比較することで、コードが同じであるか否かを判断する。コードが同じである場合、ステップＳ１０２に戻り、コードが異なる場合、ステップＳ１１２に進む。

なお、ここでの直前に手が検出された位置とは、例えば、直前の撮影画像（例えば、フレーム画像）において手が検出された位置と考えても良く、直前のステップＳ１１０の、更に一つ前に行われたステップＳ１１０の処理において手が検出された位置と考えてもよい。また、直前の撮影画像や、直前のステップＳ１１０の更に一つ前のステップＳ１１０において、コードのいずれか一つに対応する位置に、手が検出されなかった場合、取得判断部１０６は、ステップＳ１１０で手が検出された位置に対応するコードが、直前に手が検出された位置に対応するコードと同じでないと判断してよい。

（ステップＳ１１２）取得判断部１０６は、ステップＳ１０１で受付部１０１が受け付けた受付物品識別子に対応づけられたカウンターのうちの、ステップＳ１１１で手が検出されたコードに対応する対応物品識別子と一致する受付物品識別子と対応づけられたカウンターの値を、１インクリメントする。なお、このカウンターの値は、例えば、ステップＳ１０１で受付部１０１が受付物品識別子を受け付けた時点で、０等の初期値に設定しておく。

（ステップＳ１１３）取得判断部１０６は、ステップＳ１１２で値をインクリメントしたカウンターの値と、このカウンターに対応する受付物品識別子と対応づけられた数量とが一致するか否かを判断する。一致する場合、ステップＳ１１４に進み、一致しない場合、ステップＳ１０２に進む。

（ステップＳ１１４）出力部１０７は、適切に物品が取得されたことを示す情報を出力する。例えば、出力部１０７は、ステップＳ１１１で手が検出されたコードに対応する対応物品識別子や受付物品識別子と対応づけて、適切に物品が取得されたことを示す情報を出力する。

（ステップＳ１１５）取得判断部１０６は、ステップＳ１０１で受付部１０１が受け付けた受付物品識別子のうちの、ステップＳ１１１で手が検出されたコードに対応する対応物品識別子と一致する受付物品識別子に、この受付物品識別子に対応する物品が取得済であることを示す情報（例えば、フラグ情報等）を付与する。

（ステップＳ１１６）取得判断部１０６は、ステップＳ１０１で受付部１０１が受け付けた全ての受付物品識別子に対して、対応する物品が取得済であることを示す情報が付与されているか否かを判断する。全てに取得済である情報が対応づけられている場合、処理を終了し、全てに対応づけられていない場合、ステップＳ１０２に戻る。

以下、本実施の形態における携帯情報端末１の具体的な動作について一例を挙げて説明する。この具体例においては、携帯情報端末１が、物品の出荷作業を支援するための装置である場合を例に挙げて説明する。ここでは、倉庫内の棚に配置された物品（商品）の中から、図示しないサーバ装置から送信された受付物品識別子が示す物品を、出荷のための取得して集める場合を例に挙げて説明する。また、ここでは、コードとして、カラーバーコードを用いる場合を例に挙げて説明する。

図４は、倉庫内に配置された複数の物品が配置された棚の一例を示す図（図４（ａ））、及び棚に配置されたコード２０を拡大して示す図（図４（ｂ））である。

例えば、図４（ａ）に示すように、複数の物品が棚５０に配置されており、一の物品が配置された棚５０の前面には、この物品の物品識別子と対応づけられたであるコード２０が添付されているものとする。コード２０は、ここでは、カラーバーコードであるとする。このカラーバーコードは、ここでは、一例として、黒い背景に、水色・紫・黄・緑・赤・青・オレンジの最大８色の色を有する矩形の図柄を、３行９列となるよう２次元に配列した構成を有しているものを用いる場合について説明する。

図５は、識別子格納部１０３に格納されている識別子管理情報を管理する識別子管理表である。識別子管理表は、「コードＩＤ」と、「対応物品ＩＤ」という属性を有している。「コードＩＤ」は、コード識別子である。「対応物品ＩＤ」は、コード識別子と対応づけられた対応物品識別子である。

まず、ユーザが、図２に示したような非透過型のヘッドマウントディスプレイ１０８を頭部に装着する。ここでは、上述したように、一例として、ヘッドマウントディスプレイ１０８に、携帯情報端末１の構成が全て取り付けられているものとする。

携帯情報端末１の受付部１０１は、図示しないサーバ装置から送信される取得対象となる受付物品識別子と、その受付物品識別子が示す物品を取得する数量の情報との一以上の組（即ち一以上の物品数量情報）を受信する。ここでは、複数の組を受信したとする。また、ここでは、物品の取得を依頼する識別子である依頼識別子を、これらの受付物品識別子と数量との組とともに受信する。ユーザは、この依頼識別子毎に、対応する受付物品識別子が示す物品を、対応する数量が示す数量だけ取得して集めることとなる。受付部１０１は、受け付けた情報を、図示しない格納部等に蓄積する。

図６は、受付部１０１が受け付けた情報を管理する受付管理表である。受付管理表は、「依頼ＩＤ」と、「物品ＩＤ」と、「数量」と、「取得」という属性を有している。「依頼ＩＤ］は依頼識別子である。「物品ＩＤ」は、物品識別子であり、ここでは受付物品識別子である。「数量」は、受付物品識別子と対応づけられた数量である。「取得」は、同じレコード（行）の「物品ＩＤ」が示す物品が、「数量」が示す数量だけ取得されたか否かを示す情報であり、値「０」は、「物品ＩＤ」が示す物品が、「数量」が示す数量だけ取得されていないことを示し、値「１」は、「物品ＩＤ」が示す物品が、「数量」が示す数量だけ取得済であることを示す。「取得」の値のデフォルト値は「０」であるとする。

なお、受付部１０１は、更に、各受付物品識別子が示す物品が配置されている棚の識別子等や、棚までの経路を示す情報等を受信してもよい。また、受信したこれらの情報を、適宜、表示部１０５がヘッドマウントディスプレイ１０８内に表示するようにしても良い。

撮影部１０２は、ユーザの前方の領域を順次撮影して、動画像を構成するフレーム画像を、撮影画像として順次取得する。

判断部１０４は、撮影部が取得した撮影画像についてコードを検出する処理を順次行う。コードが検出されなかった場合、表示部１０５は、撮影部１０２が取得した撮影画像を、ヘッドマウントディスプレイ１０８に順次表示する。これにより、ユーザは、ヘッドマウントディスプレイ１０８を介して、倉庫内を見ることができ、倉庫内を移動したり、倉庫内の物品を持ったりすることが可能となる。

ここで、例えば、ユーザが、図４（ａ）に示した棚５０の前に移動して、棚５０の正面に体を向けたとすると、撮影部１０２は、撮像領域内に位置する棚５０の正面の一部を撮影する。

図７は、撮影部１０２が撮影した棚５０の一部を撮影したフレーム画像を示す図である。ヘッドマウントディスプレイ１０８には図７のフレーム画像が表示される。

判断部１０４は、図７に示した撮影画像において、一以上のコードの検出を行う。例えば、撮影画像を２値化して、黒い枠で囲まれた画像の領域を、コードの領域として検出する。そして、検出した領域の画像であるコードの画像をメモリ等に取得する。

ここでは、例えば、図７において、コード２０ａ−２０ｄが検出されたとする。

次に、判断部１０４は、取得したコードの画像のうちの、一のコードの画像として、コード２０ａの画像を読み出し、このコード２０ａのコード識別子を取得する。取得したコード識別子は、「Ｃ００１」であったとする。

判断部１０４は、取得したコード識別子に対応する対応物品識別子を取得する。ここでは、図５に示した識別子管理表において、「コードＩＤ」の値が、上記で取得した「Ｃ００１」に一致するレコード（行）を検出し、検出したレコードの「対応物品ＩＤ」の値である「Ａ１００１」を取得する。

判断部１０４は、図６に示した受付管理表において、「取得」の値が「０」であり、かつ、「物品ＩＤ」の値が上記で取得した「対応物品ＩＤ」の値「Ａ１００１」と一致するレコード（行）を検索する。一致するレコードがある場合、このレコードの数量を取得する。ここでは、１行目のレコードが、条件を満たすレコードであるため、表示部１０５は、そのレコードの「数量」の値「２」を、取得通知情報として取得する。取得した「数量」の値と、「対応物品ＩＤ」の値とを、「コードＩＤ」の値と対応づけて、図示しない格納部等に蓄積する。ここでの格納は一時記憶であっても良い。なお、ここでは、結果的にコード識別子に対応づけられた物品識別子がコード識別子と対応づけて格納されればよいため、「対応物品ＩＤ」の値の代わりに、同じ値を有する「物品ＩＤ」を蓄積しても良い。

さらに、判断部１０４は、上記で検出されたコード２０ｂについても、同様の処理を行う。このコード２０ｂについて取得されたコード識別子が「Ｃ００２」であったとすると、判断部１０４は、図５の識別子管理表から、このコード識別子に対応する「対応物品ＩＤ」である「Ａ１００２」を取得する。そして、判断部１０４は、図６に示した受付管理表において、「取得」の値が「０」であり、かつ、「物品ＩＤ」の値が上記で取得した「対応物品ＩＤ」の値「Ａ１００２」と一致するレコード（行）を検索する。ここでは、一致するレコードがないため、このコード２０ｂについての処理は終了し、次のコード２０ｃについて処理を行う。

コード２０ｃについて取得した「コードＩＤ」が「Ｃ００３」であったとすると、上記と同様の処理を行うことにより、判断部１０４は、このコード２０ｃについて、コードＩＤ「Ｃ００３」、対応物品ＩＤ「Ａ１００３」を取得し、更に表示部１０５は、取得通知情報として数量「１」を取得し、判断部１０４及び表示部１０５は、これらの情報を対応づけて、図示しない格納部等に蓄積する。

また、更に、コード２０ｄについても、上記と同様の処理を行うが、コード２０ｂの場合と同様に、このコード２０ｄについて取得した「対応物品ＩＤ」に一致する「物品ＩＤ］を有するレコードが、識別子管理表に検出できなかったため、このコード２０については、「数量」の値等は取得されなかったものとする。

表示部１０５は、図７に示した撮影画像の、コード２０ａ及びコード２０ｃが検出された領域に対応した領域に、これらのコードについて判断部１０４が取得して蓄積した取得通知情報である「数量」の値「２」及び「１」を示す数字をそれぞれ重ねて配置した画像を、ヘッドマウントディスプレイ１０８に表示する。ここでは、各「数量」の値を、対応するコードが検出された領域上に配置した画像を表示する。

図８は、表示部１０５による取得通知情報の表示例を示す図である。

ここで、例えば、ユーザが、コード２０ａの上方に配置されている「物品ＩＤ」が「Ａ１００１」である物品１００１を取得するために、手を伸ばした結果、撮影部１０２が、図９に示すように、ユーザの手が、「物品ＩＤ」が「Ａ１００１」である物品に対応づけられたコード２０ａが配置されている領域と重なった撮影画像を取得したとする。

取得判断部１０６は、図９に示した撮影画像において、ユーザの手を検出する。ここでは、手の輪郭７０を示す情報を取得する。そして、検出した手が、上記で取得通知情報が取得されたコード、言い換えれば、取得通知情報が表示されたコードのいずれか一つと重なっているか否かを判断する。ここでは、コードを検出した際に取得した各コードの輪郭の情報等を用いて、判断する。具体的には、手の輪郭７０の少なくとも一部と、各コードの輪郭の少なくとも一部が重なっているか否かを判断し、重なっていれば、検出した手が、上記で取得通知情報が取得されたコードと重なっていると判断する。

ここでは、コード２０ａと手とが重なっていると判断されたため、取得判断部１０６は、このコード２０ａと対応づけられた「対応物品ＩＤ」である「Ａ１００１」に対応して用意されたカウンターの値を１インクリメントする。この結果、カウンターの値は「１」となる。

取得判断部１０６は、このカウンターの値と、このコード２０ａに対応づけて図示しない格納部に蓄積された数量「２」とが一致するか否かを判断する。ここでは一致しないと判断する。このため、出力部１０７は、出力を行わない。

また、その後に取得された撮影画像において、同じコード２０ａ上の領域に、ユーザの手が検出された場合、取得判断部１０６が、直前の撮影画像において、同じコード２０ａ上の領域に手が検出されたかなか否かを判断する。ここでは、取得判断部１０６が、直前の撮影画像において、既にコード２０ａ上の領域にユーザの手が検出しているため、取得判断部１０６は、このコード２０ａと対応づけられた「対応物品ＩＤ」である「Ａ１００１」に対応して用意されたカウンターの値を変更しない。また、ユーザが、コード２０ａに対応する物品を棚５０から取得したことにより、撮影画像において、ユーザの手が、コード２０ａ上の領域と重ならなくなった場合においても、カウンターの値を変更しない。

ここで、更に、ユーザが同じコード２０ａに対応した物品を取得するために、棚５０に手を伸ばした結果、撮影部１０２が、図９と同様の、ユーザの手が、コード２０ａが配置されている領域と重なった撮影画像を新たに取得したとする。

この場合、上記と同様に、コード２０ａと手が重なっており、更に、ひとつ前の撮影画像においては、コード２０ａと手が重なっていないことから、取得判断部１０６は、新たに、物品を取得するために手が伸びたと判断して、このコード２０ａと対応づけられた「対応物品ＩＤ」である「Ａ１００１」に対応して用意されたカウンターの値を１インクリメントする。この結果、カウンターの値は「２」となる。

取得判断部１０６は、このカウンターの値と、このコード２０ａに対応づけて図示しない格納部に蓄積された数量「２」とが一致するか否かを判断する。ここでは一致すると判断する。このため、出力部１０７は、この判断結果に応じた情報として、適切に物品が取得されたことを示す予め指定された確認音を出力する。また、ヘッドマウントディスプレイ１０８の一部に、適切に物品が取得されたことを示すメッセージを出力しても良い。なお、確認音や、メッセージ等の出力部１０７による出力は、その後の撮影画像において、コード２０ａと手が重ならないと判断された場合に行うようにしても良い。

そして、取得判断部１０６は、「物品ＩＤ」の値が、この対応物品ＩＤ「Ａ１００１」と一致するレコードを、図６に示した受付管理表において検出し、検出したレコードの「取得」の値を「１」に更新する。

以下、同様にして、図６に示した受付管理表の全てのレコードの「取得」の値が「１」となった時点で、携帯情報端末１の処理は終了する。

以上、本実施の形態によれば、撮影部１０２が撮影した撮影画像において検出した一以上のコードが、受付部１０１が受け付けた受付物品識別子のいずれかと一致する場合に、この一以上のコードに対応する位置に、コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示するようにしたことにより、物品の位置を、撮影画像を撮影した領域に対応づけてユーザに示すことができ、取得対象となる物品の位置を適切にユーザに示すことができる。これにより、例えば、物品の出荷作業を適切に支援することができる。

また、本実施の形態によれば、コードに対応する位置に、コードに対応する物品の数量を表示することにより、ユーザに取得すべき物品の取得すべき数量を、視覚的にわかりやすく示すことができ、物品を取得する際の作業効率を向上させることができる。

また、本実施の形態によれば、撮影部１０２が撮影した撮影画像において検出した２以上のコードのそれぞれが、受付部１０１が受け付けた受付物品識別子のいずれかと一致する場合に、この２以上のコードにそれぞれ対応する位置に、二以上のコードにそれぞれ対応する物品が取得対象の物品であることを示す情報である取得通知情報をそれぞれ表示するようにしたことにより、複数の取得対象の物品が、同じ撮影画像内に含まれる場合であっても、いずれか一つのみではなく、複数の物品の位置をユーザに示すことができるため、適切にユーザに示すことができる。これにより、複数の物品が撮影領域内にあるにも関わらず、一つの物品しかユーザに示すことができないという状況を防いで、複数の物品を取得する際の効率を向上させることができる。

また、本実施の形態によれば、撮影画像から物品が取得されたか否かを判断し、判断結果に応じて出力を行うことにより、物品の取得状況に応じた出力を行うことができる。例えば、物品が取得された場合に出力を行うことで、物品の取得を確認する通知をユーザや、外部の装置等に行うことができ、物品の取得作業を確認することができる。

また、本実施の形態によれば、物品が、この物品に対応する受付物品識別子と対応づけられた数量だけ、取得されたか否かを、撮影画像から判断して、判断結果に応じた出力を行うことにより、物品が正しい数量だけ取得されたか否かを確認することができる。

また、本実施の形態によれば、撮影画像から検出した手を利用して、物品が取得されたか否かを判断することにより、物品の移動を、物品の形状や、色等に依存せずに検出ことができ、物品の取得を適切に判断することができる。

なお、上記実施の形態においては、主として、表示デバイスとして、ヘッドマウントディスプレイ１０８を用いる場合について説明したが、本発明においては、表示デバイスはどのようなものであっても良い。例えば、表示デバイスは、液晶モニタ等のモニタやプロジェクタ等であってもよい。

例えば、本実施の形態の携帯情報端末１は、携帯電話や、いわゆるスマートフォン等の多機能携帯電話や、タブレット型端末等の携帯機器を用いて実現可能であり、この場合、表示デバイスとして、これらの携帯機器のモニタを用いることができる。また、撮影部１０２として、これらの携帯機器のカメラ（図示せず）を用いることが可能である。

例えば、上記実施の形態において、携帯情報端末１がヘッドマウントディスプレイ１０８の代わりに、モニタ（図示せず）を備えるようにし、表示部１０５がこのモニタに対して、撮影部１０２が撮影した撮影画像と、上記実施の形態と同様に取得した取得通知情報とを表示するようにしてもよい。更に、表示された取得通知情報に対応した撮影画像上のコードが表示されている領域を選択する操作を、携帯情報端末１の図示しない操作受付部がユーザから１回受け付けた場合に、このコードに対応づけられた商品を１つ取り出されたことを、取得判断部１０６が判断するようにしてもよい。商品が１つ取り出されたということは、商品が１つ出荷扱いとなったことも含む概念である。そして、出力部１０７が上記実施の形態と同様に、取得判断部１０６の判断結果に応じた出力を行うようにしてもよい。

この場合の、操作受付部が受け付ける領域を選択する１回の操作は、コードが表示されている領域上を、図示しないマウスやトラックパッド等を用いてシングルクリックする操作や、モニタ上に配置された図示しないタッチパネルのコードが表示されている領域上をタップする操作である。なお、この場合、取得判断部１０６は、上記実施の形態において説明したような、撮影画像から、商品が取得されたか否かを判断する処理は行わないようにしてもよい。

更に、表示された取得通知情報に対応した撮影画像上のコードが表示されている領域を選択する操作を、携帯情報端末１の図示しない操作受付部がユーザから連続してｎ回（ｎは二以上の整数）受け付けた場合には、このコードに対応づけられた商品が、この商品を示す商品識別子とともに受付部１０１が受け付けた数量分、全て取り出されたことを、取得判断部１０６が判断するようにしてもよい。商品が全て取り出されたということは、例えば、物品数量情報が示す商品が、物品数量情報が示す数量分、取り出されたこと（例えば、出荷扱いとなったこと）と考えてもよい。そして、出力部１０７が取得判断部１０６の判断結果に応じた出力を行うようにしてもよい。そして、出力部１０７が上記実施の形態と同様に、取得判断部１０６の判断結果に応じた出力を行うようにしてもよい。

この場合の、操作受付部が受け付ける領域を選択する連続したｎ回の操作は、コードが表示されている領域上を、図示しないマウスやトラックパッド等を用いて連続してｎ回クリックする操作や、モニタ上に配置された図示しないタッチパネルのコードが表示されている領域上を連続してｎ回タップする操作である。例えば、ｎが２の場合、連続したｎ回の操作は、いわゆるダブルクリックや、ダブルタップである。

また、本発明において、識別子格納部１０３は、携帯情報端末１がアクセス可能な格納部であれば携帯情報端末１が有する格納部でなくても良く、例えば、携帯情報端末１以外の、携帯情報端末１が無線通信等により情報の送受信が可能な図示しないサーバ装置に格納された格納部であっても良い。この場合、携帯情報端末１は、判断部１０４が撮影画像のコードから取得したコード識別子を、このサーバ装置に送信し、このサーバ装置から、取得したコード識別子に対応する対応物品識別子を取得するようにしてもよい。

なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段（受付部や、出力部など）は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。

また、上記各実施の形態では、携帯情報端末がスタンドアロンである場合について説明したが、携帯情報端末は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部（例えば、ハードディスクやメモリ等の記録媒体）にアクセスしながらプログラムを実行してもよい。

なお、上記各実施の形態における携帯情報端末を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、物品と対応する位置に配置されたコードであって、物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、判断部が、受付部が受け付けた物品識別子と一致すると判断した場合に、一致する物品識別子に対応するコードに対応した位置に、コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１０は、上記プログラムを実行して、上記実施の形態による携帯情報端末を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図１０において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）ドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図１１は、コンピュータシステム９００の内部構成を示す図である。図１１において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による携帯情報端末等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による携帯情報端末の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる携帯情報端末等は、物品に対する作業を支援する携帯情報端末等として適しており、特に、取得対象となる物品の位置を示す携帯情報端末等として有用である。

１携帯情報端末
１０１受付部
１０２撮影部
１０３識別子格納部
１０４判断部
１０５表示部
１０６取得判断部
１０７出力部
１０８ヘッドマウントディスプレイ

Claims

取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、
物品と対応する位置に配置されたコードであって、当該物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、
前記撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が前記受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、
前記判断部が、前記受付部が受け付けた物品識別子と一致すると判断した場合に、当該一致する物品識別子に対応するコードに対応した位置に、当該コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部とを備え、
前記受付部は、前記物品識別子に対応づけられた数量を更に受け付け、
前記表示部は、前記受付部が受け付けた数量のうちの、前記判断部が一致すると判断した物品識別子と対応づけられた数量を、前記取得通知情報として表示し、
前記受付部が受け付けた物品識別子に一致すると前記判断部が判断した物品識別子と対応づけられたコードが示す物品が、前記受付部が受け付けた当該物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、前記撮影部が取得した撮影画像を用いて判断する取得判断部と、
前記取得判断部の判断結果に応じた出力を行う出力部とをさらに備え、
前記出力部は、前記取得判断部の判断結果が、前記受付部が受け付けた物品識別子に一致すると前記判断部が判断した物品識別子と対応づけられたコードが示す物品が、当該物品識別子と対応付けられた数量だけ取得されていないことを示す判断結果である場合に、適切に物品が取得されていないことを警告する情報を出力する携帯情報端末。
前記受付部は、二以上の物品識別子を受け付け、
前記撮影部は、二以上のコードを含む領域を撮影した撮影画像を取得し、
前記判断部は、前記撮影画像内の二以上の各コードに対応づけられた物品の物品識別子を取得し、取得した物品識別子のそれぞれについて、前記受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断し、
前記表示部は、前記判断部が、前記撮影画像内の二以上のコードに対応づけられた物品の物品識別子のそれぞれが、前記受付部が受け付けた物品識別子のいずれか一つと一致すると判断した場合に、当該一致する二以上の物品識別子にそれぞれ対応するコードに対応した位置に、前記取得通知情報を表示する請求項１記載の携帯情報端末。
前記表示部は、前記受付部が受け付けた数量のうちの、前記判断部が一致すると判断した物品識別子と対応づけられた数量を、前記取得通知情報として、前記撮影画像が撮影された領域内の当該物品識別子と対応するコード上の位置に表示する請求項１または請求項２記載の携帯情報端末。
前記取得判断部は、前記撮影部が撮影した撮影画像において手を検出し、当該検出した手を用いて、物品がユーザにより取得されたか否かを判断する請求項１から請求項３いずれか一項記載の携帯情報端末。
ヘッドマウントディスプレイを更に備えており、
前記表示部は、前記ヘッドマウントディスプレイに前記取得通知情報を表示し、
前記撮影部は、前記ヘッドマウントディスプレイの前方方向が撮影領域となるよう配置されている請求項１から請求項４いずれか一項記載の携帯情報端末。
受付部と、撮影部と、判断部と、表示部と、取得判断部と、出力部とを用いて行われる情報処理方法であって、
前記受付部が、取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付ステップと、
前記撮影部が、物品と対応する位置に配置されたコードであって、当該物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影ステップと、
前記判断部が、前記撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が前記受付ステップで受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断ステップと、
前記判断ステップにおいて、前記受付ステップで受け付けた物品識別子と一致すると判断した場合に、前記表示部が、当該一致する物品識別子に対応するコードに対応した位置に、当該コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示ステップとを備え、
前記受付ステップは、前記物品識別子に対応づけられた数量を更に受け付け、
前記表示ステップは、前記受付ステップで受け付けた数量のうちの、前記判断ステップで一致すると判断した物品識別子と対応づけられた数量を、前記取得通知情報として表示し、
前記取得判断部が、前記受付ステップで受け付けた物品識別子に一致すると前記判断ステップで判断した物品識別子と対応づけられたコードが示す物品が、前記受付ステップで受け付けた当該物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、前記撮影ステップで取得した撮影画像を用いて判断する取得判断ステップと、
前記出力部が、前記取得判断ステップの判断結果に応じた出力を行う出力ステップとをさらに備え、
前記出力ステップは、前記取得判断ステップの判断結果が、前記受付ステップで受け付けた物品識別子に一致すると前記判断ステップで判断した物品識別子と対応づけられたコードが示す物品が、当該物品識別子と対応付けられた数量だけ取得されていないことを示す判断結果である場合に、適切に物品が取得されていないことを警告する情報を出力する情報処理方法。
コンピュータを、
取得対象となる物品の識別子である一以上の物品識別子を受け付ける受付部と、
物品と対応する位置に配置されたコードであって、当該物品の物品識別子と対応づけられた一以上のコードを含む領域を撮影した撮影画像を取得する撮影部と、
前記撮影画像内の一以上のコードに対応づけられた物品の物品識別子を取得し、取得した物品識別子が前記受付部が受け付けた物品識別子のいずれか一つと一致するか否かを判断する判断部と、
前記判断部が、前記受付部が受け付けた物品識別子と一致すると判断した場合に、当該一致する物品識別子に対応するコードに対応した位置に、当該コードに対応する物品が取得対象の物品であることを示す情報である取得通知情報を表示する表示部として機能させ、
前記受付部は、前記物品識別子に対応づけられた数量を更に受け付け、
前記表示部は、前記受付部が受け付けた数量のうちの、前記判断部が一致すると判断した物品識別子と対応づけられた数量を、前記取得通知情報として表示し、
前記受付部が受け付けた物品識別子に一致すると前記判断部が判断した物品識別子と対応づけられたコードが示す物品が、前記受付部が受け付けた当該物品識別子と対応づけられた数量だけ、ユーザにより取得されたか否かを、前記撮影部が取得した撮影画像を用いて判断する取得判断部と、
前記取得判断部の判断結果に応じた出力を行う出力部として、さらに機能させ、
前記出力部は、前記取得判断部の判断結果が、前記受付部が受け付けた物品識別子に一致すると前記判断部が判断した物品識別子と対応づけられたコードが示す物品が、当該物品識別子と対応付けられた数量だけ取得されていないことを示す判断結果である場合に、適切に物品が取得されていないことを警告する情報を出力するプログラム。