WO2022118411A1 - 携帯端末装置、物品管理システムおよび物品管理方法 - Google Patents

Abstract

ユーザは、多種多様な携行品を保有しているので、これらの携行品がどの場所にあるかを常に把握しておきたい要望がある。このため、ユーザが保有する携行品の所在場所を自動的に記録するシステムが望まれている。　そこで、ユーザが所有する携行品を手にしたり手放したりする動作を認識して、携行品の名前や画像などのデータに対応づけて携行品の所在場所データを記録する。そして、ユーザからの指示によって、携行品の所在場所データを出力する物品管理システムを構築する。

Description

携帯端末装置、物品管理システムおよび物品管理方法

　本発明は、部品を管理する機能を有する携帯端末装置に関する。

　ユーザは、財布やスマートフォン、携帯電話機、鞄などの多種多様な物品を携行することがある。このため、これらの物品がどの場所にあるかを常に把握しておきたいという要望がある。

　この要望を実現する技術として、例えば、特許文献１には、所定の空間の各所に設置された複数のカメラにより物品を撮影して、撮影したカメラの位置に基づいて物品の位置を特定する物品管理システムが記載されている。

特開２０１９－１７９５２４号公報

　しかしながら、特許文献１に記載された技術は、物品の位置を管理する空間が限定されており、管理したい空間の各所にカメラを設置して、物品の撮影と追跡を行う必要がある。したがって、物品の位置を管理する空間を限定することなく、ユーザが使用する物品を管理できる技術が望まれている。

　一実施の形態における携帯端末装置は、物品データ記憶部と、撮像部と、ユーザからの要求データを入力する入力部と、ユーザに情報を出力する出力部と、物品データ制御部と、を備え、物品データ記憶部は、物品特定データおよび物品特定データに対応した物品所在データを含む物品データを複数記憶し、撮像部は、物品を含む画像を撮像し、物品データ制御部は、撮像部で撮像された画像に基づいて物品を特定し、物品の所在が変化した場合、物品の所在の変化を認識し、特定した物品に対応する物品データを物品データ記憶部に記憶するよう制御し、さらに、物品データ制御部は、入力部に入力された要求データに基づいて、物品データ記憶部に記憶されている複数の物品データの中から、要求データに対応する物品データを抽出し、抽出された物品データの情報を出力部により出力する制御を行うように構成される。

　一実施の形態によれば、ユーザが使用する物品を容易に管理できる技術的思想を提供することができる。

図１（ａ）～（ｃ）は、携行している物品の管理を行なう対象となるユーザの行動例を示す説明図である。 携帯端末装置の外観構成例を示す図である。 携帯端末装置のハードウェア構成例を示す図である。 携帯端末装置で実現される物品管理システムの機能ブロック構成を示す図である。 物品データのデータ構造例を示す図である。 具体的な物品データの一例を示す図である。 （ａ）は、物品管理システムにおける物品データの更新動作の流れを示すフローチャートであり、（ｂ）は、所在変更イベントを撮像した画像である。 （ａ）は、物品管理システムにおける物品データの更新動作の流れを示すフローチャートであり、（ｂ）は、物品を手放すイベント動作を撮像した画像である。 （ａ）は、手に第１物品を持っている状態で、さらに第２物品を手に持つイベント動作を撮像した画像であり、（ｂ）は、第１物品と第２物品とを手に持った状態から第１物品と第２物品の両方を手放すイベント動作を撮像した画像である。 ユーザがバックなどの中から物品を取り出すイベント動作を撮像した画像である。 ユーザがバックなどに物品をしまうイベント動作を撮像した画像である。 （ａ）は、画像認識部によって記録される中間物品データのデータ構造例（フォーマット）を示す図であり、（ｂ）は、中間物品データの一例を示す図である。 物品データ更新部の構成を示すブロック図である。 データベースである物品データ記憶部に記憶されている物品データを最新の状態に更新する流れを示すフローチャートである。 ユーザからの物品の所在の問い合わせがあったときの応答動作の概略を示すフローチャートである。 問い合わせ応答動作の流れを示すフローチャートである。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 物品データのデータ構造例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 物品データのデータ構造例を示す図である。 出力部による表示の一例を示す図である。 物品データのデータ構造例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 出力部による表示の一例を示す図である。 携帯端末装置を示す図である。 分散システムの機能構成を示すブロック図である。 分散システムにおける携帯端末装置とタッチパネル型携帯情報端末との連携動作の一例を示す図である。 分散システムの機能構成を示すブロック図である。 物品管理システムによって、ユーザが身に付けていた物品を手放した場所を示すために、地図を作成する一例を示す図である。 物品管理システムによって、ユーザが身に付けていた物品を手放した場所を示すために、地図を作成する一例を示す図である。

実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。なお、図面をわかりやすくするために平面図であってもハッチングを付す場合がある。

　（実施の形態１）
　＜基本思想＞
　本実施の形態１における基本思想は、ユーザに装着可能な携帯端末装置にカメラに代表される撮像部を取り付けることにより、撮像部で撮像された画像から物品の所在が変更されるイベントを認識し、かつ、物品を特定して、物品の所在が変更されたときの場所に関する情報から物品の所在をユーザに知らせるという思想である。

　例えば、ユーザではなくて、所定の空間の各所に予め複数のカメラを設置し、複数のカメラにより物品を撮影して、撮影したカメラの位置に基づいて物品の位置を特定する物品管理システムを考えることができる。

　ところが、このような物品管理システムでは、カメラを設置した空間以外にユーザが移動すると、ユーザの行動を把握できないことになる。特に、カメラの撮像可能範囲以外の場所で、物品がユーザの身から離れた場合、カメラで撮像した画像に基づいて、物品の位置を特定することが困難となる。

　これに対し、本実施の形態１における基本思想では、ユーザに装着可能な携帯端末装置に撮像部が取り付けられており、この撮像部で撮像された画像に基づいて、物品の位置を特定する。これにより、基本思想によれば、ユーザに装着されている携帯端末装置に撮像部が設けられているため、ユーザが移動すると、ユーザとともに撮像部も移動することになる。このことから、基本思想では、ユーザの行動を把握することができなくなる状況はなくなる。つまり、基本思想によれば、携帯端末装置に設けられた撮像部によって、ユーザの行動を把握することができる結果、所定の空間の各所に予め複数のカメラを設置する構成のようにカメラの設置範囲に制限されることなく、物品の位置を特定できるポテンシャルが格段に向上する。言い換えれば、基本思想によれば、ユーザの行動範囲に制限されることなく、物品の位置を特定できる利点が得られる。さらには、基本思想によれば、多数のカメラを空間の各所に設置する必要もなくなることから、物品管理システムを構築するために要するコストも削減することができる。

　このように本実施の形態１における基本思想の本質は、ユーザに装着可能な携帯端末装置において、ユーザの動作に基づいて物品の所在が変更される画像を撮像するように構成された撮像部を備える点にあると言える。

　例えば、図１（ａ）～図１（ｃ）は、携行している物品の管理を行なう対象となるユーザの行動例を示す説明図である。

　携帯端末装置１は、例えば、眼鏡型のウェアラブル端末（ＨＭＤ：Head Mount Display）として、ユーザ１００に装着された状態で稼働している。この携帯端末装置１には、カメラなどから構成される撮像部が設けられている。

　図１（ａ）には、ある場所で、携帯端末装置１を装着したユーザ１００と物品２とが離れている状態が示されている。この場所でユーザ１００が物品２を手に持ち、図１（ｂ）の状態になり、別の場所に移動する。そして、別の場所図１（ｃ）にて物品２を手放したとする。

　以上の動作に対して、携帯端末装置１に設けられている撮像部によって、少なくとも物品２を含む画像が撮像される。

　本実施の形態１における基本思想は、図１（ａ）～図１（ｃ）に示すようなユーザ１００の行動に基づいて、撮像部で撮像された画像から物品の所在が変更されるイベントを認識し、かつ、物品を特定して、物品の所在が変更されたときの場所に関する情報から物品の所在をユーザに知らせる物品管理システムで実現される。

　以下では、この基本思想を具現化した物品管理システムについて説明する。特に、本実施の形態１では、ユーザ１００が装着可能な携帯端末装置１において、物品管理システムが実現されている構成について説明するが、本実施の形態１における基本思想は、これに限らず、例えば、携帯端末装置１だけでなく他の構成要素も含む分散システムによって、上述した物品管理システムを構築することもできる。

　＜携帯端末装置の外観構成＞
　図２は、携帯端末装置の外観構成例を示す図である。

　図２において、本実施の形態１における携帯端末装置１は、眼鏡型のヘッドマウントディスプレイから構成されており、ユーザが常時身に付けて動作させることができる形態となっている。

　この携帯端末装置１には、例えば、カメラから構成される撮像部１０を有している。具体的に、この撮像部１０は、眼鏡のブリッジに設けられており、１８０度以上の画角をもつ魚眼レンズから構成されている。このように、携帯端末装置１に設けられた撮像部１０は、広角撮像することができる構成をしており、ユーザが手に持った物品や手に持った物品を手放す場所などを含む広範囲の撮像が可能である。なお、図示はしないが、眼鏡のブリッジだけでなく、眼鏡のつる（テンプル）の端にも広角のカメラを設置することにより、より広範囲にユーザが物品を取り扱う状況（動作）を把握できる。

　また、携帯端末装置１には、位置検出部１１が設けられている。この位置検出部１１は、ＧＰＳ、近距離無線通信、街角や室内に設置されているビーコンなどからの信号を受信することにより、ユーザの現在位置に関する位置情報を取得するように構成されている。

　このような外観構成をしている携帯端末装置１には、上述した撮像部１０および位置検出部１１を含む部品管理システムが搭載されている。

　以下では、部品管理システムを実現する携帯端末装置１のハードウェア構成について説明する。

　＜携帯端末装置のハードウェア構成＞
　図３は、携帯端末装置のハードウェア構成例を示す図である。

　図３において、携帯端末装置１は、バス５０を中心として、各種のハードウェアを結びつけた構成を有している。具体的に、携帯端末装置１は、物品を手に取るユーザの動作や物品を手放すユーザの動作を撮像する撮像部１０と、携帯端末装置１の方向や位置を測定する方位センサ、ジャイロセンサ、近距離無線、ＧＰＳユニットなどを含む位置検出部１１を備える。

　また、携帯端末装置１は、各種データを記憶する記憶部１２と、ユーザの目に画像や文字を表示するための表示デバイス（表示面）１３と、音声を出力するスピーカ１４と、ユーザの声による指示や外部からの音を入力するマイク１５を備えている。

　さらに、携帯端末装置１は、クラウドなどの外部環境へのアクセスや他の端末装置との通信を行う通信部１６と、システム全体を制御するＣＰＵ１７と、ＣＰＵ１７による演算処理を実行するためのワークメモリとなるＲＡＭ１８と、撮像部１０で撮像された画像データを記憶する画像ＲＡＭ１９を備えている。そして、携帯端末装置１は、システムの基本動作を実行するための基本プログラムや物品管理システムを実行する物品管理プログラムを格納した不揮発性メモリ（フラッシュメモリ）であるＦＲＯＭ２０と、ユーザからの押し下げやタッチなどの操作を受け付けるキー２１を備える。

　なお、物品管理システムの構成要素であるデータベースは、例えば、記憶部１２に保存されるように構成してもよいし、物品管理プログラムとともにＦＲＯＭ２０に保存されるように構成してもよい。

　＜携帯端末装置の機能ブロック構成＞
　次に、物品管理システムを実現する携帯端末装置１の機能ブロック構成について説明する。図４は、携帯端末装置１で実現される物品管理システムの機能ブロック構成を示す図である。

　図４において、携帯端末装置１は、物品データ記憶部２００と、撮像部２０１と、入力部２０２と、出力部２０３と、物品データ制御部２５０とを有している。さらに、物品データ制御部２５０は、画像認識部２０４と、物品データ更新部２０５と、検索部２０６から構成され、物品データに関する制御を行う。この物品データ制御部２５０の機能は、具体的には、例えば、ＣＰＵ１７によって実行される物品管理プログラムや、複数の機器から構成される物品管理システム上のプロセッサー等で実行されるプログラムで実現される。

　物品データ記憶部２００は、物品データを複数記憶するように構成されており、物品データのデータベースとして機能する。物品データは、物品特定データと、この物品特定データと対応付けられた物品所在データとを含む。物品特定データとは、物品を特定するためのデータである。この物品特定データには、例えば、物品の名称に関する物品名データや物品の形状に関する物品画像データが含まれる。また、物品所在データとは、物品の所在を特定するためのデータである。この物品所在データには、物品をユーザが身に付けているか否かを示すフラグ、物品の位置情報に関する物品位置データ、物品をユーザが身に付けた時刻あるいはユーザが手放した時刻に関する時刻データ、物品の置かれた位置に関する位置画像データが含まれる。特に、位置画像データには、ユーザが物品を手放した時点の画像データが含まれる。

　次に、撮像部２０１は、ユーザが管理する物品を含む画像を撮像するように構成されている。撮像部２０１は、ユーザが物品を取り扱う動作に伴って、ユーザの動作およびユーザの手も撮像してもよい。具体的に、ユーザの動作や物品を含む画像とは、ユーザの動作に基づいて物品の位置を特定するための画像であり、撮像部２０１は、このような画像を撮像するように構成されている。このことから、撮像部２０１で撮像される画像には、所在を変更した物品や、ユーザの手で物品を掴む第１イベント動作やユーザの手から物品を放す第２イベント動作等が記録される。

　なお、撮像部２０１は、２次元画像だけでなく、物品までの距離を測定することにより物品の３次元形状情報を取得する距離センサからの出力に基づいて、物品の３次元画像を取得するように構成されていてもよい。

　続いて、画像認識部２０４は、撮像部２０１で撮像された画像に基づいて、物品の所在の変化を認識し、かつ、物品を特定するように構成されている。例えば、物品データ制御部２５０の画像認識部２０４は、撮像部２０１で撮像された画像から所在を変更した物品や、第１イベント動作や第２イベント動作を検出することによって、物品の所在の変化を認識するように構成されているとともに、画像に含まれる物品画像に対する画像解析によって、物品を特定するように構成されている。

　さらに、画像認識部２０４は、物品の所在の変化（イベント動作が行われたこと）を検出すると、物品の所在の変化が記録された画像を解析することによって、物品の所在場所を認識するように構成される。例えば、ユーザから手放された物品がテーブルの上に置かれたという第２イベント動作が行われた場合、画像認識部２０４は、第２イベント動作が記録された画像を解析することによって、ユーザから手放された物品が置かれた場所がテーブルの上であることを認識できるように構成されている。

　なお、画像認識部２０４は、撮像部２０１で撮像された画像に基づいて、物品の所在の変化を認識し、かつ、物品を特定するように構成されている必要があるが、物品の所在場所まで認識できるように構成されてなくてもよい。ただし、この場合、画像認識部２０４で物品の所在の変化が検出されると、そのときの物品の位置情報を把握できるように物品管理システムに位置検出部を設ける必要がある。つまり、物品管理システムでは、画像認識部２０４によって物品の所在場所を認識するように構成することもできるし、物品の位置情報を把握できるような位置検出部を設けるようにも構成することもできる。さらには、物品管理システムでは、画像認識部２０４によって物品の所在場所を認識することができるように構成するとともに、物品の位置情報を把握できるような位置検出部も設けるようにも構成することもできる。

　そして、物品データ制御部２５０の物品データ更新部２０５は、画像認識部２０４によって特定された物品に対応する物品データを更新するように構成されている。例えば、物品データ更新部２０５は、画像認識部２０４において検出された物品の所在を変更するイベントに基づき、物品の所在場所を書き換えるように構成される。

　あるいは、物品データ更新部２０５は、画像認識部２０４において、第１イベント動作を検出し、かつ、物品が「物品Ａ」であると特定された場合、「物品Ａ」に対応する物品データに対して、ユーザが身に付けている状態であることがわかるように「物品Ａ」に対する物品データを書き換えるように構成されているとともに、「物品Ａ」の所在場所に関するデータも書き換えるように構成される。

　一方、例えば、画像認識部２０４において、第２イベント動作を検出し、かつ、物品が「物品Ｂ」であると特定された場合、「物品Ｂ」に対応する物品データに対して、ユーザが身に付けていない状態であることがわかるように「物品Ｂ」に対する物品データを書き換えるように構成されているとともに、「物品Ｂ」の所在場所に関するデータも書き換えるように構成される。

　このようにして、物品管理システムにおいては、撮像部２０１と画像認識部２０４と物品データ更新部２０５を備えることにより、ユーザの動作に基づいて、物品データ記憶部２００に記憶されている物品データを最新の状態に更新することができるように構成されていることになる。

　次に、物品管理システムは、ユーザからの要求に応じて、物品の所在を問い合わせるシステムを含んでおり、このシステムは、入力部２０２と検索部２０６と出力部２０３によって構成されている。

　入力部２０２は、ユーザからの要求データを入力するように構成されている。例えば、入力部２０２に入力される要求データは、所在を問い合わせたい問い合わせ物品の名称に関する名称データである。要求データは、図３に示すマイク１５やキー２１を使用して入力される。

　検索部２０６は、入力部２０２に入力された要求データに基づいて、物品データ記憶部２００に記憶されている複数の物品データの中から、要求データに対応する物品データを抽出するように構成されている。例えば、検索部２０６は、物品の名称データと一致するデータを含む物品データを抽出するように構成される。

　出力部２０３は、検索部２０６によって抽出された物品データから把握される情報を出力するように構成されている。例えば、出力部２０３は、検索部２０６で抽出された物品データに基づいて、物品の所在情報を出力するように構成される。

　これにより、物品管理システムにおいては、入力部２０２と検索部２０６と出力部２０３を備えることにより、ユーザからの要求データに基づいて、ユーザが問い合わせた物品の所在情報を出力することができるように構成されていることになる。

　＜物品データのデータ構造例＞
　次に、物品データ記憶部２００に記憶される物品データのデータ構造例について説明する。図５は、物品データのデータ構造例を示す図である。

　図５に示すように、データブロック３００Ａやデータブロック３００Ｂのようなフォーマットを１つのブロックとし、この１つのブロックに１つの物品データが記憶される。そして、物品の記録が新たに発生するたびに物品データが増えていくことになる。

　例えば、データブロック３００Ａに記憶される物品データを例にして説明する。物品データは、項目として、「物品ＩＤ」、「物品名」、「日／時」、「フラグ」、「位置」、「画像リンク」を有する。

　ここで、「物品ＩＤ」や「物品名」などは、物品を特定する物品特定データの項目であり、「日／時」や「フラグ」や「位置」は、物品の所在を示す物品所在データの項目である。したがって、物品データは、物品特定データと物品所在データを含むように構成され、かつ、物品特定データと物品所在データとは、互いに対応づけられている。

　「物品ＩＤ」は、物品データ記憶部２００での基本管理番号である。「物品名」には、物品の名前が推定できている場合の物品名が記録される。「日／時」には、物品を手に持った時点や手から離した時点の日時が記録される。「フラグ」には、ユーザが身に付けている物品かユーザから離れている物品かを示す情報が記録される。例えば、「フラグ」の意味は、手に持っている場合も含めてユーザが身に付けている場合が「有」で、ユーザが身に付けていない場合が「無」である。「位置」には、物品の所在情報が記録される。「画像リンク」には、物品の画像や物品を手に持ったり手放したりした時の撮像画像が保存されている画像データ保存領域へのリンク情報が記録される。静止画と共に動画も記録してよい。

　具体的な事例を挙げると、例えば、スマートフォンをテーブルの上に置いた場合は、「部屋Ａ（位置）の中央にあるテーブルＢの上（画像リンク）に、ユーザは、スマートフォン（物品名）を置いた」という情報になる。一方、例えば、スマートフォンをポケットに入れた場合は、「ユーザは、スマートフォン（物品名）をポケット（位置）に入れた」という情報になる。また、ユーザが物品を手に持っている状態では、「フラグ」＝「有」、「位置」＝「右手の平」という情報になる。

　図６は、具体的な物品データの一例を示す図である。

　図６において、「物品ＩＤ」として番号「００１」、「物品名」として「スマートフォン」、「日／時」として、ユーザが手に持った瞬間や手から離した瞬間の日時である「２０２０／４／２３／１５：３２」が記録されている。

　「フラグ」には、物品を身に付けていることを示す「有」と、物品を身に付けていないことを示す「無」のいずれかが記録される。

　「位置」として、ユーザが身に付けている状態の１つである衣服のポケットに入っていることを示す「ポケット」、ユーザの身から離れて特定の場所にあることを示す「部屋ＡのテーブルＢの上」、他の物品の中に入っていることを示す「ハンドバック」とその物品名（ＩＤ＝３３）、地球上の絶対座標を示す緯度経度（座標値Ｘ、Ｙ）、ユーザが手に持っている状態、すなわち、「位置」＝「右手の平」などが記録される。他にも、身体の部位に保持している場合、「位置」には、その部位が記録される。なお、身体の部位に保持している状態（例えば、手に持っている状態、「位置」＝手の平）では、必ず「フラグ」＝「有」となる。

　「画像リンク」には、ユーザが手に持ったりたから離したりした時刻（前後を含む）の撮像画像にリンクするアドレスを表現するファイル名（２０２００４２３１５３２＿１．ｊｐｇ、２０２００４２３１５３２＿２．ｊｐｇ、２０２００４２３１５３２＿３．ｍｐ４）などが記録される。以上のようにして、物品データが構成されている。

　＜物品管理システムの動作（物品データの更新動作）＞
　続いて、物品管理システムの動作について説明する。物品管理システムの動作には、撮像部２０１と画像認識部２０４と物品データ更新部２０５の構成により実現される物品データの更新動作と、入力部２０２と検索部２０６と出力部２０３の構成により実現される問い合わせ応答動作がある。

　以下では、まず、物品データの更新動作について説明する。

　本実施の形態における物品管理システムでは、物品がその所在を変える所在変更イベントに基づいて、物品データを更新する。所在変更イベントとは、例えば、ユーザが物品を身に付けたり、物品をどこかに置いたり、物品をどこかに収納したりするイベントである。

　図７（ａ）は、物品管理システムにおける物品データの更新動作の流れを示すフローチャートである。

　図７（ａ）において、まず、携帯端末装置１は、物品管理システムを起動した後、データベースである物品データ記憶部２００を初期化する（Ｓ１０１）。データベースの初期化の一例としては、登録している物品データが何もない状態にデータベースを初期化する。ただし、データベースの初期化方法は、これに限らず、初期値としてユーザが既に身に着けている物品に対応する物品データの登録を行ったり、前回のセッションの終了時に使用していたデータベースを引き継いだりする初期化方法を採用してもよい。

　また、例えば、ユーザが朝起きてから出勤するまでに身に着けるような定常的に携行する物品が決まっている場合、これらの物品に対応する物品データを予め初期値として登録することもできる。例えば、これらの物品を身に着けて、外出時に初めて携帯端末装置１で物品管理システムを起動したときに、物品管理システムを起動する前に既に身に着けている物品に対応する物品データを物品管理システムの管理対象とすることができる。

　続いて、撮像部２０１は、物品を含む画像を撮像する（Ｓ１０２）。すると、画像認識部２０４は、撮像部２０１で撮像された画像に基づいて、所在変更イベントを認識すると共に、画像解析技術を使用することにより、撮像された物品を特定する（Ｓ１０３）。その後、物品データ更新部２０５は、画像認識部２０４で認識された所在変更イベントと特定された物品に基づいて、特定された物品に対応する物品データを更新する（Ｓ１０４）。以上のようにして、物品管理システムにおいて、物品データの更新動作が行われる。

　なお、Ｓ１０２における画像は、静止画または動画、あるいはその両方でもよい。静止画は一定間隔で撮像し続けるものでもよい。動画を撮像し続け、一定期間の動画記録をバッファに保管してもよい。そして、一定間隔で撮像した静止画から所在変更イベントを検出し、その前後の動画記録と静止画を、所在変更イベントが起きた場所と物品の特定のための画像解析の対象としてもよい。

　具体的に画像認識部２０４での画像認識方法について説明する。

　画像認識部２０４は、撮像部２０１で撮像された画像に基づいて、物品がその所在を変える所在変更イベントを認識する。そして、画像認識部２０４は、所在変更イベントから物品の新たな所在を把握する。例えば、図７（ｂ）は、机の上に置いてあった物品Ａを上着の胸のポケットにしまった所在変更イベントあるいは、その逆の所在変更イベントを撮像した画像である。

　画像認識部２０４は、例えば、画像解析技術を使用することにより、これらの画像を解析して所在変更イベントを認識する。すなわち、画像認識部２０４は、撮像部２０１で撮像された所在変更イベントから、ユーザがどういう物品の所在を変更したかを認識する。また、画像認識部２０４による物品の特定は、ユーザが物品を移動する前の画像、移動中の画像あるいは移動後の画像に対して画像解析技術を使用することにより行われる。

　ここで、画像解析技術で物品の名称が特定できない場合、画像認識部２０４は、ユーザに音声入力などで物品名称の入力を求めることもできる。

　さらに、画像認識部２０４は、ユーザが特に重要であると考える物品については、「ハンドバックを居間のテーブルの上に置く」といったようなユーザの自発的な発声によって物品名称と物品の置き場所に関する入力を受け付けることもできる。

　なお、画像認識部２０４は、複数の物品を取り扱う場合にも、画像解析技術を使用することにより、所在変更イベントを認識するとともに、物品を特定する。

　以上のようにして、画像認識部２０４は、撮像部２０１で撮像された画像に基づいて、常にユーザがどのような物品の所在を変更したかを認識することができる。すなわち、画像認識部２０４は、画像解析技術を使用して、所在変更イベントの認識と物品の特定を実現する。そして、画像認識部２０４は、所在変更イベントの認識結果と物品の特定結果を認識した時刻とともに物品データベースを更新する。

　次に、携帯端末装置１は、所在変更イベントの解析に使用する画像として、特にユーザの手と物品を含んだ画像を用いてもよい。ここでの画像も静止画または動画、あるいはその両方でもよい。多くの場合、物品の所在を変更するためには、ユーザは自身の手を使うので、ユーザの手が物品を扱う動作の監視を通じて所在変更イベントを認識すると、認識の確実性が増す。以降、物品の所在変更につながるユーザが物品を扱う動作のことをイベント動作と呼ぶことにする。

　この場合のフロー図を図８（ａ）に示す。基本的に図７（ａ）と同じであり、同じ内容の処理については、同じ番号を付してある。異なるところを中心にして説明する。まず、ステップＳ１１０において、携帯端末装置１は、ユーザの手と物品とを区別するために、撮像部２０１を使用して物品を持っていない状態の手の画像を取得する。ただし、この手の画像は、予め記録している画像を使用してもよい。さらに、物品管理システムの稼働中において、ユーザが手袋を嵌めている場合は、手に手袋を嵌めた状態の画像を取得する。なお、片方の手しか使用しない場合を除き、通常は、両手が対象となる。また、この参照用の手の画像情報がなくても、画像解析によりユーザの手と認識できる場合は、ステップＳ１１０は省略してもよい。

　続いて、撮像部２０１は、ユーザの手と物品とを含むイベント動作の画像を撮像する（Ｓ１１１）。すると、画像認識部２０４は、撮像部２０１で撮像された画像に基づいて、ユーザが物品を手に持ったり離したりするイベント動作から所在変更イベントを認識する。さらに、画像認識部２０４は、画像解析技術を使用することにより、物品を持っていない状態の手の画像との比較によって、撮像された物品を特定する（Ｓ１０３）。

　例えば、図８（ｂ）は、物品Ａを手に持ったり手放したりするイベント動作を撮像した画像である。図９（ａ）は、手に物品Ａを持っている状態で、さらに物品Ｂを手に持つイベント動作を撮像した画像であり、図９（ｂ）は、物品Ａと物品Ｂとを手に持った状態から物品Ａと物品Ｂの両方を手放すイベント動作を撮像した画像である。画像認識部２０４は、例えば、画像解析技術を使用することにより、これらの画像を解析してイベント動作を認識する。すなわち、画像認識部２０４は、撮像部２０１で撮像されたイベント動作から、ユーザがどういう物品を手で持っているかを把握し、どういう物品をいつどこで手に持ち、あるいは、手から離したかを認識する。また、画像認識部２０４による物品の特定は、物品が手の中にある状態の画像、物品を手に持つ前の画像、手から離した後の画像に対して画像解析技術を使用することにより行われる。

　なお、画像認識部２０４は、図９（ａ）や図９（ｂ）に示すように、複数の物品を取り扱う場合にも、画像解析技術を使用することにより、イベント動作を認識できるとともに、物品を特定することができる。

　さらに、図１０は、ユーザがバックなどの中から物品を取り出すイベント動作を撮像した画像であり、図１１は、ユーザがバックなどに物品をしまうイベント動作を撮像した画像である。これらの図１０や図１１の場合のように、物品を手に取る前の物品の画像、手から離した後の物品の画像を撮像できない場合は、画像認識部２０４は、物品が手の中にある状態を撮像した画像から物品の所在の変化を認識する。なお、服のポケットから物品を出し入れする場合も同様にして物品の所在の変化が認識される。

　以上のように、携帯端末装置１は、イベント動作の監視を通じても、常にユーザがどのような物品の所在を変更したかを認識することができる。この方法の場合、携帯端末装置１は、ユーザの手にどのような物品が所持されているかという中間的情報をデータ管理において使用してもよい。この情報のことを以後、中間物品データと呼ぶことにする。以下で中間物品データを使用した物品データの管理方法の詳細を説明する。

　図１２（ａ）は、イベント動作の認識に伴って画像認識部２０４によって記録される中間物品データＰのデータ構造例（フォーマット）を示す図である。

　図１２（ａ）に示すように、中間物品データＰには、項目として、イベント動作を認識した日時を示す「日／時」、イベント動作を認識した場所を示す「位置」、この場所の画像が保存されている画像データ保存領域へのリンク情報を示す「位置画像リンク」、手にある物品の数を示す「物品数」、特定した物品の名称を示す「物品名称」、特定した物品の画像が保存されている画像データ保存領域へのリンク情報を示す「物品画像リンク」が含まれる。

　図１２（ｂ）は、中間物品データＰの一例を示す図である。

　図１２（ｂ）に示す中間物品データＰにおいては、「日／時」が「２０２０／４／２６／１１：１７」であり、「位置」が「机の上」である。また、「位置画像リンク」で示されるリンク情報は、「ＳＳＳＳ．ｊｐｇ」、「ＳＳＳＳ．ｍｐ４」となっている。「物品数」は、「２」となっており、手に２個の物品があることがわかる。「物品名（１）」は、「ＡＡＡＡ」であり、「物品画像リンク（１）」で示されるリンク情報は、「ＡＡＡＡ．ｊｐｇ」、「ＡＡＡＡ．ｍｐ４」である。同様に、「物品名（２）」は、「ＢＢＢＢ」であり、「物品画像リンク（２）」で示されるリンク情報は、「ＢＢＢＢ．ｊｐｇ」、「ＢＢＢＢ．ｍｐ４」である。

　ここで、イベント動作を認識した場所を示す「位置」の特定方法としては、例えば、携帯端末装置１に含まれる位置検出部１１（図３参照）による検出結果を利用することができる。すなわち、画像認識部２０４は、位置検出部１１による検出結果を入力して、「位置」を特定することができる。例えば、屋外の場合は、ＧＰＳを使用してユーザの現在位置を測定することができる。一方、屋内の場合は、予め設置されている無線ＬＡＮやモバイル通信の電波強度をそれぞれの機器が持つチャネルと機器の場所情報を利用して測定することができる。ただし、イベント動作を認識した場所を示す「位置」の特定方法としては、上述した方法に限らず、例えば、画像認識部２０４は、物品を手に持った時点や手から離した時点の手の周辺画像に基づいて、イベント動作を認識した場所を示す「位置」の特定することもできる。

　なお、画像認識部２０４が物品の名称を特定できない場合、画像認識部２０４自体が名称を付けて、物品の画像とともに辞書データとして記録することもできる。

　以上のようにして、画像認識部２０４では、イベント動作の認識結果と物品の特定結果が認識した時刻とともに中間物品データＰに記録される。

　続いて、物品データ更新部２０５は、画像認識部２０４で記録された中間物品データＰに基づいて、物品データの更新動作を行う。

　まず、中間物品データＰを取り扱う場合の物品データ更新部２０５の構成について説明する。

　図１３は、物品データ更新部の構成を示すブロック図である。

　図１３において、物品データ更新部２０５は、物品数変化検出部３０１と物品データ書き換え部３０２を有する。物品数変化検出部３０１は、画像認識部２０４で記録された中間物品データＰに基づいて、ユーザの手に掴まれた物品数の変化を検出するように構成されている。また、物品データ書き換え部３０２は、物品数変化検出部３０１で検出された物品数の変化に寄与する物品に対応する物品データを書き換えるように構成されている。

　以下では、中間物品データＰに基づく物品データの更新動作を説明する。

　図１４は、データベースである物品データ記憶部に記憶されている物品データを最新の状態に更新する流れを示すフローチャートである。

　図１４において、まず、物品データ更新部２０５の物品数変化検出部３０１は、画像認識部２０４で記録された中間物品データＰを取得する。このとき、物品数変化検出部３０１は、初期設定として、最初に管理を開始した時点における中間物品データＰ０を取得する（Ｓ２０１）。その後、例えば、所定期間経過後における中間物品データＰ１を取得する（Ｓ２０２）。

　次に、物品数変化検出部３０１は、中間物品データＰ０に含まれる「物品数」と中間物品データＰ１に含まれる「物品数」とを比較する。そして、物品数変化検出部３０１は、中間物品データＰ１に含まれる「物品数」が、中間物品データＰ１に含まれる「物品数」から変化があるかチェックする（Ｓ２０３）。

　「物品数」に変化がない場合には、データベースの更新動作は行わず、中間物品データＰ１を新たに中間物品データＰ０に設定する（Ｓ２０６）。

　一方、「物品数」に変化がある場合、物品データ書き換え部３０２は、物品数変化検出部３０１で検出された物品数の変化に寄与する物品を特定した後（Ｓ２０４）、特定した物品に対応する物品データを書き換える（Ｓ２０５）。

　具体的に、データベースの更新は、「物品数」が２以上変化する場合も含め、変化に寄与する物品のそれぞれについて、以下に示すようにして、データベースの更新動作を行う。

　（１）「物品数」が増加して、増加した物品がデータベースにない場合
　この場合、増加した物品を特定した後、この物品に対応する物品データを作成する。これにより、例えば、図５に示す項目に対応するデータが記録される。物品データの項目のうち、「位置」には、「手」あるいは左右の区別もして「右手」などと記録される。また、この場合、物品は、ユーザに身に着けられることから、「フラグ」＝「有」に設定される。

　（２）「物品数」が増加して、増加した物品がデータベースにある場合
　この場合、増加した物品を特定した後、この物品に対応する物品データを更新する。このときも、物品データの項目のうち、「位置」には、「手」あるいは左右の区別もして「右手」などと記録される。また、この場合、物品は、ユーザに身に着けられることから、「フラグ」＝「有」に設定される。

　（３）「物品数」が減少する場合
　この場合、減少した物品を特定した後、この物品に対応する物品データを更新する。例えば、物品データの項目のうち、「位置」には、ユーザのポケットなどに入れた（ユーザが身に着けた）と判断できる場合は、「フラグ」＝「有」に設定される。それ以外の場合、特定された物品がユーザから手放されたことになるため、「フラグ」＝「無」に設定される。この「位置」に関する情報が、物品を置いた場所を示す情報となる。

　このようにして、物品データ書き換え部３０２は、データベースに記憶されている物品データを更新した後、中間物品データＰ１を新たに中間物品データＰ０に設定する（Ｓ２０６）。そして、物品管理システムの終了指示があれば（Ｓ２０７）、物品管理システムを終了する一方、物品管理システムの終了指示がなければ（Ｓ２０７）、物品管理システムの処理を継続する。

　なお、物品を手に保持するのと同様に、籠等に一時的に保持して、物品の所在を変更する管理システムにおいて、この中間物品データを使用した管理方法は有効である。

　以上のようにして、物品管理システムが搭載された携帯端末装置１によれば、ユーザが手に取った物品の所在場所を含む物品データからなるデータベースを構築することができる。

　＜物品管理システムの動作（問い合わせ応答動作）＞
　上記では、物品管理システムのデータベースを構築する動作について説明したが、以下では、物品管理システムを活用する動作について説明する。

　具体的には、ユーザからの物品の所在の問い合わせがあったときの応答動作について説明する。

　図１５は、ユーザからの物品の所在の問い合わせがあったときの応答動作の概略を示すフローチャートである。

　図１５において、ユーザは、物品の所在を問い合わせたい場合、ユーザは、例えば、図３に示すマイク１５による音声入力や図３に示すキー２１によるユーザからの押し下げやタッチなどの入力操作を行う。これにより、ユーザからの要求データが物品管理システムの入力部２０２に入力される（Ｓ３０１）。すると、物品管理システムの検索部２０６は、データベースである物品データ記憶部２００に記憶されている複数の物品データの中から、入力部２０２に入力された要求データに対応する物品データを抽出する（Ｓ３０２）。そして、物品管理システムの出力部２０３は、検索部２０６で抽出された物品データから把握される情報を出力する（Ｓ３０３）。これにより、ユーザは、問い合わせた物品の所在に関する情報を取得することができる。

　さらに、問い合わせ応答動作の一例について説明する。

　図１６は、問い合わせ応答動作の流れを示すフローチャートである。

　図１６において、まず、ユーザは、名称呼称などの方法で所在を知りたい物品の問い合わせ（要求データ）を物品管理システムに対して行う。これにより、ユーザからの要求データが物品管理システムの入力部２０２に入力される（Ｓ４０１）。次に、物品管理システムの検索部２０６は、データベースである物品データ記憶部２００に記憶されている複数の物品データを読み出す（Ｓ４０２）。このとき、要求データに一致する物品名称を有する物品データがある場合には（Ｓ４０３）、出力部２０３からその物品データに含まれる物品の位置情報が表示される（Ｓ４０４）。一方、要求データに一致する物品データが見つからない場合、検索部２０６は、データベースに記憶されているすべての物品データを確認したか否かを判断する（Ｓ４０５）。そして、検索部２０６がデータベースに記憶されているすべての物品データを確認しても要求データに一致する物品データが見つからない場合（Ｓ４０５）、出力部２０３からは、ユーザの問い合わせに対応する物品に関する物品データがデータベースにないことを示す情報が出力される（Ｓ４０６）。

　以下では、出力部２０３による表示例について説明する。

　図１７および図１８は、出力部２０３による表示の一例を示す図である。図１７および図１８に示すように、例えば、出力部２０３による物品の場所の表示は、テキスト表示と物品の所在を特定する画像とを含む表示で行うことができる。このように画像を含む場合、場所の名称が物品データとして記録されていない場合であっても、ユーザは、画像に写っている物品の周辺の状況などに基づいて、物品の所在を特定することができる。

　また、図１９に示すように、ユーザが探している物品が他の物品の中に入っている場合は、どの物品（バック等）の中に入れたかという情報と、その入れた先の物品（バック等）がどこにあるかを表示することもできる。この場合、どの物品に入れたかは、物品データの「位置」の項目で、入れた物品の「物品ＩＤ」を記載しておくことにより、図１９に示すような表示を実現することができる。

　さらに、図２０に示すように、物品の位置座標や屋内での位置（どの部屋にあるかなど）の情報を取得していれば、地図や屋内レイアウト図を表示した上で、その中に物品が位置する地点にマークを表示するなどして、ユーザに物品の所在を表示してもよい。ここで、地図や屋内レイアウト図は、既に作成されているものを利用してもよいし、後述するように物品管理システム自体が作成した地図を利用することもできる。

　なお、ユーザが問い合わせている物品に対応する物品データが、データベースにない場合には、例えば、図２１に示すように、問い合わせ物品が見つからない旨を表示することもできる。

　ここで、検索部２０６による物品データの検索は、フラグが「無」である物品データに限定してもよい。なぜなら、フラグが「有」の物品データは、手に持っているか、あるいは、身に着けているからである。そのような物品の所在がわからなくなっていることもあるが、ユーザが身に着けていない物品を探すことが多いと考えられる。これにより、例えば、物品名称が重複する物品データが存在する場合、ユーザが身に着けていない物品に対応する物品データのみが表示されることになり、無駄な表示が少なくなる。

　以上のようにして、本実施の形態１によれば、ユーザの携行品の所在を管理する物品管理システムのデータベースを利用することにより、ユーザが任意に指定した物品の所在を調べて、ユーザに提示することが可能となる。この結果、本実施の形態１によれば、所在がわからなくなった携行品（物品）の所在を容易に把握することができるようになる。

　特に、本実施の形態１における特徴は、物品管理システムの構成要素で、かつ、ユーザが装着可能な携帯端末装置１にユーザの手と物品とを含む画像を撮像する撮像部２０１が取り付けられている点にある。これにより、本実施の形態１における物品管理システムによれば、ユーザのイベント動作（ユーザが物品を手に取ったり手放したりする動作）を見逃すことなく、撮像部２０１で撮像できるため、物品の把握漏れを低減した信頼性の高いデータベースを構築できる結果、このデータベースを活用して、ユーザの携行品の所在を漏れなく確実に管理することができるという顕著な効果が得られる。

　＜変形例１＞
　ここで、出力部２０３による表示の変形例について説明する。

　図２２は、データベースに登録され、かつ、ユーザが身に付けていない物品のリストを表示した例である。物品の所在場所が文言で簡潔に説明できれば、物品の所在場所とともに物品の名称も表示してもよい。

　この表示例は、画像解析技術で物品の名称を特定できていない場合や、意図した名称で登録されておらず、物品の名称を特定する方法では、物品データの検索ができない場合に有効である。

　図２２は、ユーザが身に付けていない物品のみのリストを表示した例であるが、ユーザが身に付けている物品のリストやすべての物品のリストを表示してもよい。ユーザが探している物品は、身に付けていない可能性が高いので、まずユーザが身に付けていない物品のリストを調べて、次に、ユーザが身に付けている物品のリストを調べるといった手法が有効である。また、物品数が少ない場合は、ユーザの手間を省くため、最初からすべての物品のリストを表示するなど、ユーザの要求に合わせた対応をすることができる。さらに、物品名称が不明の物品については、その物品の画像も併せて表示してもよい。画像表示により、ユーザは、直接的に探したい物品を確認できる。

　図２３は、物品リストを画像として表示する例である。物品名称がわかる物品については、物品名称とともに画像を表示する。一方、物品名称が不明な物品の場合、物品名称は記載しないが、ユーザは、画像（写真）を見ることで、物品を特定することができる。図２３に示す表示例の場合も、ユーザが身に付けていない物品のみの表示、ユーザが身に付けている物品のみの表示、すべての物品の表示が可能である。すべての物品の表示を行う場合、枠線の太さを変えることにより、ユーザが身に付けている物品の表示とユーザが身に付けていない物品の表示とを区別できるようにしてもよい。また、物品名称が特定できていない物品のみを表示してもよい。

　図２４は、データベース上の物品を地図に直接示して、物品の位置がわかるように表示した例である。ユーザが物品を身に付けている場合、星印で示す物品がユーザの位置に重なって表示される。一方、ユーザが身に付けていない物品は、置いてある位置に星印で表示される。特に、物品名称のわかる物品については、物品名称とともに表示される。このとき、画面に充分な解像度があり、ユーザが視認することが可能であれば、それぞれの星印の場所に物品画像やユーザが物品を手放した時点で撮像した画像を表示してもよい。

　図２５は、物品をどのくらい前に手にしたかという情報も併せて表示した例である。あまり古くに手にした物品は、検索の対象ではない可能性が高いので、そのような物品の表示を抑制してもよい。なお、図２５では、さらに、フラグの値を枠線の太さで表している。すなわち、ユーザが身に付けている物品であるか否かを枠線の太さで表すこともできる。

　＜変形例２＞
　次に、出力部２０３による表示のさらなる変形例について説明する。

　本変形例２において、出力部２０３は、物品データから把握される物品の所在位置までユーザを誘導する表示を可能とするように構成されている。

　図２６および図２７は、ヘッドマウントディスプレイなどを使用したＡＲ（Augmented Reality）表示で、ユーザがどこに置いたかを知りたい物品を探す際に、物品の所在場所を表示してユーザを誘導する表示例を示す図である。

　ここでは、物品を手放した場所をユーザに表示する例が示されている。特に、図２６は、物品である「Ｗａｌｌｅｔ」がどこにあるかを追跡している表示画面を示しており、ユーザが探索したい物品を指定した後の表示例である。そして、携帯端末装置１（ヘッドマウントディスプレイ）の出力部２０３は、物品を置いた場所を示す情報に基づいて、置いた物品の存在する場所まで誘導する矢印を重畳表示する。この矢印に従ってユーザが移動したり顔を向けたりすることにより、物品が置いてある場所に到達することができる。さらに、図２７に示すように、物品に対しても矢印を重畳表示することにより、物品データに記録されている物品が確かにテーブル上に置いてあることを確認することができる。

　上述した変形例１や変形例２に示すように、出力部２０３による表示方法を工夫することにより、ユーザは、様々な利用形態で物品管理システムを使用することができる。この結果、ユーザの利便性を向上できる。

　（実施の形態２）
　本実施の形態２では、ユーザが物品を手に取った場所を忘れた場合に、その場所を物品管理システムが搭載された携帯端末装置１が教えるという技術的思想について説明する。この技術的思想は、ユーザが手に取った物品を元通りの取得場所に戻さなければならない場合に有用である。

　本実施の形態２における技術的思想は、以下に示す構成で実現される。すなわち、物品管理システムは、物品の取得場所を問い合わせるシステムを含む。ここで、物品データには、物品の取得場所に関するデータが含まれる。さらに、入力部２０２に入力される要求データは、取得場所を問い合わせたい問い合わせ物品の名称に関する名称データである。そして、検索部２０６は、名称データと一致するデータを含む物品データを抽出するように構成され、かつ、出力部２０３は、検索部２０６で抽出された物品データに基づいて、物品の取得場所に関する情報を出力するように構成される。

　具体的に説明する。物品を手に取った場所を記録するために、図２８に示すように、物品データの項目に「元の場所」（Original location）と「元の場所（画像リンク）」（Original location Image）という項目を追加する。「元の場所」に記録する情報は、物品が元あった場所に関する情報であり、場所の名称や位置座標である。その物品が元あった場所が他の物品の中である場合は、他の物品の物品ＩＤも記録される。「元の場所（画像リンク）」に記録されるリンク情報は、物品が元あった場所の画像にアクセスする情報である。

　本実施の形態２においても、中間物品データＰに基づく物品データの更新動作が行われる。例えば、ユーザが物品を手にしたとき、中間物品データＰの「位置」と「位置画像リンク」に、物品が元あった場所の情報とその場所の画像へのリンク情報とが記録される。そして、データベースの更新処理において、物品数が増加する場合、中間物品データＰに記録されている物品が元あった場所の情報とその場所の画像へのリンク情報に基づいて、物品数の増加に寄与する物品に対応する物品データの「元の場所」と「元の場所（画像リンク）」とを新規に記録または更新する。

　ユーザから手に取った物品の取得場所（元あった場所）に関する問い合わせがあったときの動作フローは、図１６とほぼ同様であり、出力部２０３は、物品の現在の位置情報の代わりに、物品の元あった場所（取得場所）を表示する。例えば、図２９は、出力部２０３によって、物品の元あった場所（取得場所）を表示する一例を示す図である。

　ここで、ユーザが物品の元あった場所を問い合わせるときは、その物品を所持していると推測できることから、検索部２０６によるデータベースの検索範囲は、フラグが「有」の物品データに限定してもよい。

　また、物品の名称がよくわからないときには、例えば、図３０に示すように、リスト表示をしてもよい。出力部２０３によるリスト表示は、画像表示を活用することもできるし、テキスト表示を活用することもできる。そして、リスト表示の場合も、リストの表示範囲をフラグ＝「有」の物品データに限定することもできる。

　（実施の形態３）
　本実施の形態３では、物品を一括管理する技術的思想について説明する。

　本実施の形態３における技術的思想は、以下に示す構成で実現される。すなわち、物品には、第１物品と第１物品に収納される第２物品とが含まれる。そして、物品管理システムは、第１物品と第２物品とを一括して管理するシステムを含み、第１物品に対応する物品データには、収納される第２物品を特定するためのデータが含まれる。ここで、物品データ更新部２０５は、画像認識部２０４によって特定された物品が第１物品である場合、特定された第１物品に対応する物品データだけでなく、第１物品に関連付けられた第２物品に対応する物品データも更新するように構成される。

　具体的に説明する。本実施の形態３における技術的思想は、例えば、物品（第２物品）を何かの入れ物（バックなど）に入れて、その入れ物（第１物品）の場所を動かすことがある場合の物品管理に有用である。

　例えば、ユーザが入れ物を身に付けたり、身から離したりするときに、入れ物の収納されている物品のフラグも更新する。なぜなら、ユーザが入れ物を身に付けると、入れ物だけでなく、入れ物に収納されている物品もユーザに身に付けられることに相当するからである。つまり、本実施の形態３では、入れ物と入れ物に入れられる物品のそれぞれのフラグを同期させることにより、入れ物と入れ物に入れられる物品とを一括管理する。

　このため、例えば、図３１に示すように、入れ物に対応する物品データの項目として、この入れ物に収納された物品の物品ＩＤを記録する「収納される物品」（Stored object）という項目を追加する。

　例えば、物品を手から離したときの物品データの更新動作の際、その物品が他の物品（入れ物）に収納される場合、入れ物に対応する物品データの「収納される物品」という項目に、収納された物品の物品ＩＤを記録する。

　そして、入れ物をユーザが身に付けると、入れ物のフラグだけでなく、収納される物品のフラグも「有」に設定される。一方、入れ物をユーザが身に付けていないと、入れ物のフラグだけでなく、収納される物品のフラグも「無」に設定される。

　図３２は、出力部２０３による表示例である。図３２に示すように、リスト表示をする際、収納関係も含む階層的な情報を表示することもできる。なお、収納される物品が、さらに別の物品を収納する入れ物となってもよい。

　このようにして、入れ物に対応する物品データと、入れ物に収納される物品に対応する物品データとの関連付けを行うことができ、これによって、入れ物と収納される物品とを一括管理することができる。この結果、本実施の形態３における物品管理システムによれば、よりユーザが使いやすい物品管理システムを提供することができる。

　（実施の形態４）
　本実施の形態４では、物品が本来収納されるべき場所に収納されているか否かを管理する技術的思想について説明する。

　本実施の形態４における技術的思想は、以下に示す構成で実現される。すなわち、物品管理システムは、物品が本来収納されるべき場所に収納されているか否かを管理するシステムを含む。ここで、物品には、本来の収納場所となる第１物品と、前記第１物品に収納されるべき第２物品とが含まれる。そして、第１物品に対応する物品データには、第１物品に収納されるべき第２物品を特定するデータが予め登録される。一方、第２物品に対応する物品データには、第２物品が第１物品に収納されているか否かを特定するためのデータが含まれる。このとき、入力部２０２に入力される要求データは、第２部品の収納状況を問い合わせるデータであり、出力部２０３は、第２部品に対応する物品データに含まれるデータであって第２物品が第１物品に収納されているか否かを特定するためのデータから把握される第２部品の収納状況を出力するように構成されている。

　具体的に説明する。例えば、図３３に示すように、本来の収納場所となる物品（第１物品）の物品データに「収納すべき物品」（Stored Object (
Initial)）という項目を設ける。この項目には、この収納場所に収納されるべき物品（第２物品）の物品ＩＤが記載される。なお、この収納場所となる物品と収納されるべき物品との関連付けは、収納管理に先立ってデータベースに予め登録される。

　収納されるべき物品のフラグは、物品を手に取るか手から離す際のデータベースの更新動作時に、予め設定された本来の収納場所に収納された場合に「有」に設定される一方、それ以外の場合には「無」に設定される。つまり、フラグは、収納されるべき物品が本来の収納場所である物品に収納されているか否かを特定するためのデータとなる。

　収納されるべき物品が本来の収納場所である物品に収納されているか否かの収納状況は、例えば、図３４に示すように、収納場所となる物品ごとに、収納されるべき物品の状態を表示することにより確認できる。具体的に、図３４から、収納場所となる「工具箱１」には、収納されるべき工具１～工具３のうち、工具１と工具３は収納されている一方、工具２は収納されていないことがわかる。このとき、工具２に対応する物品データに基づいて、未収納の物品（工具２）の現在の所在を表示するようにしてもよい。

　なお、本実施の形態４における物品管理システムによって、収納されるべき物品が本来の収納場所である物品に収納されているか否かの収納状況を調べて、すべての収納されるべき物品が本来の収納場所となる物品に収納されていることを確認して記録することにより、作業者の確認作業遂行の証拠とすることもできる。このとき、収納後の施錠操作や箱の封印操作まで証拠として記録することもできる。

　この物品管理システムによって、作業者が作業を実施した後、収納されるべき物品が本来の収納場所となる物品に収納されていることの確認が容易となる。さらに、本実施の形態４における物品管理システムは、商品の梱包作業にも応用することができる。すなわち、本実施の形態４における物品管理システムを使用することにより、梱包箱に収められるべき物品（商品）がすべて収められているか否かの確認作業を容易にすることができる。

　（実施の形態５）
　本実施の形態５では、忘れ物を防止するための物品管理システムに関する技術的思想について説明する。

　本実施の形態５における技術的思想は、以下に示す構成で実現される。すなわち、物品管理システムは、忘れ物を防止する物品管理システムを含み、物品データ記憶部２００は、さらに、予め設定された忘れ物チェック対象物品のリストを記憶するように構成されている。そして、物品データは、ユーザに身に付けられている状態、または、他の物品に収納されている状態と、それ以外の状態とを区別する二値データ（例えば、フラグ）を含む。ここで、物品データ更新部２０５は、画像認識部２０４によって物品がユーザに身に付けられている状態、または、他の物品に収納されている状態にあると認識された場合、二値データを第１値に設定する一方、画像認識部２０４によって物品がそれ以外の状態にあると認識された場合、二値データを第２値に設定するように構成されている。さらに、検索部２０６は、要求データの入力と予め設定された定期的な時間間隔での時刻の到来とユーザの移動動作の開始とのいずれかをトリガとして、忘れ物チェック対象物品のリストに挙げられている物品に対応する物品データを複数抽出するように構成された第１抽出部と、第１抽出部で複数抽出された物品データの中から、二値データが第２値である物品データを抽出するように構成された第２抽出部とを有する。そして、出力部２０３は、第２抽出部で抽出された物品データから把握される情報を出力するように構成されている。

　具体的に説明する。本実施の形態５における物品データのデータ構造は、前記実施の形態１における物品データを示す図５と同様であるが、フラグの設定方法を変更している。つまり、本実施の形態５では、ユーザが身に付けたか、あるいは、他の物品（バックなど）に収納した場合にフラグを「有」に設定する一方、その他の場合は、フラグを「無」に設定する。

　本実施の形態５では、これからユーザが出かけるとき、あるいは、ユーザがどこかに外出して自宅などに戻るとき、予め設定したチェックを行う物品リストに基づき、フラグが「無」の物品があるかどうかをチェックする。このとき、データベースに登録したすべての物品データをチェック対象とすることもできる。ここで、バックなどに収納された物品のフラグをバックに収納した時点で「有」にするのは、ユーザがバックの携行を忘れなければ、バックに収納した物品も必然的にユーザが携行することになるからである。つまり、バックを使用した間接管理が実施されることになる。バックの携行自体は、バックに対応する物品データに含まれるフラグで管理される。

　図３５は、チェック対象がバックと手帳とＰＣの場合において、フラグが「無」である物品が表示された一例が示されている。この図３５では、バックと手帳とＰＣのうち、フラグが「無」のバックと手帳が表示される一方、フラグが「有」のＰＣは表示されない。すなわち、ＰＣは、既にバックの中に入っている状態である。ユーザは、この表示を見て、手帳をバックに入れることになる。この段階でバックだけのフラグが「無」となり、ユーザがバックを携行すれば、忘れ物はないということになる。

　例えば、ユーザが移動する直前（家から出るときや会社から出るとき）にフラグが「無」になっている物品のリストをチェックする方法の他、定期的な時間間隔（例えば、１０分間隔）にフラグが「無」に設定されている物品があることを通知することもできる。さらに、ユーザからのチェック指示がない場合においても、ユーザが移動を始めたことを自動的に検知して、チェックを開始し、フラグが「無」に設定されている物品が存在する場合に、その旨をユーザに通知することもできる。

　本実施の形態５における物品管理システムを「忘れ物チェックモード」とする一方、前記実施の形態１における物品管理システムを「所在探索モード」として、これらのモードを切り替えながら使用してもよい。

　例えば、図３６は、「所在探索モード」において、フラグが「無」に設定されている物品リストを表示した例を示す図である。この場合のフラグが「無」に設定されている意味は、ユーザの身から離れていることであるから、身から離れたバックに入れてあるＰＣのフラグは、「無」となる。ＰＣの所在がわからなくなったときには、このような「所在探索モード」での表示が役に立つことがわかる。なお、「忘れ物チェックモード」と「所在探索モード」とを切り換える際、物品データに含まれるフラグの値をそれぞれのモードにおける定義に書き換える。この場合、データベースの管理方法として、データベースの記録がどのモードに基づくものであるかを記録する必要がある。

　ただし、これに限らず、例えば、物品データの項目に「第１フラグ」と「第２フラグ」という項目を設けて、「所在探索モード」のときには「第１フラグ」を参照する一方、「忘れ物チェックモード」のときには「第２フラグ」を参照するという使用方法も考えられる。

　本実施の形態５によれば、忘れ物を防止することができる。さらには、「忘れ物チェックモード」と「所在探索モード」とを適宜切り換えることにより、使い勝手のよい物品管理システムを構築することができる。

　（実施の形態６）
　本実施の形態６では、携帯端末装置１であるヘッドマウントディスプレイ（ウェラブル端末装置）の変形例について説明する。

　図３７は、本実施の形態６における携帯端末装置を示す図である。

　図３７に示す携帯端末装置１Ａは、図２に示す携帯端末装置１とは撮像部１０の搭載位置と仕様が異なる。具体的に、図３７に示すように、携帯端末装置１Ａは、４つの撮像部１０を有し、これらの４つの撮像部１０が眼鏡型の携帯端末装置１Ａの四隅にそれぞれ外側の方向を向くように配置される。すなわち、ユーザに装着可能なウェラブル端末装置から構成される携帯端末装置１Ａは、複数の撮像部１０を有する。

　４つの撮像部１０は、それぞれがともに１８０度以上の画角を有する魚眼レンズを備えることにより、ユーザの全身、特に、携帯端末装置１Ａの下方向に対して撮像可能に構成される。これにより、例えば、「スマートフォン」をズボンのポケットに入れるなどの動作まで撮像することができる結果、物品管理システムによる物品の管理を強化することができる。

　本実施の形態６における携帯端末装置１Ａでは、４つの撮像部１０を４方向に向けて設置しているので、水平方向の画角は９０度あればよく、例えば、水平方向の画角が９０度で、かつ、垂直方向の画角が１８０度であるような特殊な光学系（アナモルフィックレンズ：Anamorphic lens）を撮像部１０に使用してもよい。また、ユーザが物品を身に付ける場所は、下半身、すなわち、携帯端末装置１Ａよりも下側である場合がほとんどである。このことから、垂直方向における撮像部１０の向きを水平位置よりも下方向に向けて設置することにより、確実にユーザの下半身に位置するズボンのポケットに物品を入れるという動作を確実に撮像することができる。

　なお、ユーザが物品を手に取るときや手放すとき、ユーザは、視線を物品に向けているので、上述したアナモルフィックレンズを含むカメラのような垂直方向の画角が９０度で、かつ、水平方向の画角が１８０度の撮像部１０を２基用いることによっても、垂直方向の画角が９０度で、かつ、水平方向の画角が３６０度の領域（空と地面を除いた周辺領域）を撮像できることから、例えば、ズボンのポケットに物品を入れる動作が撮像可能となる。

　（実施の形態７）
　本実施の形態７では、分散システムを構成する例について説明する。

　＜第１分散システム＞
　例えば、入力操作や高精細な表示は、ヘッドマウントディスプレイよりもスマートフォンやタブレット端末などのタッチパネル型携帯情報端末の方が適している。このことから、物品管理システムの構成要素として、ヘッドマウントディスプレイである携帯端末装置１だけでなく、タッチパネル型携帯情報端末５も含むようにして、物品管理システムを分散システムから構成することもできる。この場合、携帯端末装置１は、少なくとも入力部２０２と出力部２０３とを有するタッチパネル型携帯情報端末５と連携可能に構成される。以下では、この分散システムの構成例について説明する。

　図３８は、分散システムの機能構成を示すブロック図である。

　図３８において、分散システムは、携帯端末装置１とタッチパネル型携帯情報端末５から構成される。そして、携帯端末装置１は、撮像部２０１と、出力部２０３Ａと、通信部２０７Ａを有している。一方、タッチパネル型携帯情報端末５は、物品データ記憶部２００と、画像認識部２０４と、物品データ更新部２０５と、入力部２０２と、検索部２０６と、出力部２０３Ｂと、通信部２０７Ｂとを有している。

　このようにして、携帯端末装置１とタッチパネル型携帯情報端末５によって、物品管理システムが構成される。このとき、携帯端末装置１の通信部２０７Ａとタッチパネル型携帯情報端末５の通信部２０７Ｂによって、携帯端末装置１とタッチパネル型携帯情報端末５とが連携可能に構成される。

　例えば、この分散システムによれば、表示は、携帯端末装置１の出力部２０３Ａとタッチパネル型携帯情報端末５の出力部２０３Ｂの両方を使用して行うとともに、ユーザからの指示入力（要求データ）は、タッチパネル型携帯情報端末５の入力部２０２を使用するといった機能分担を実現できる。

　特に、携帯端末装置１とタッチパネル型携帯情報端末５との常時連携を前提とすれば、携帯端末装置１に必要な構成要素は、撮像部２０１と出力部２０３Ａと通信部２０７Ａであり、物品管理システムによる物品データの管理や画面表示イメージの生成などをタッチパネル型携帯情報端末５ですべて行うように構成することができる。この構成の場合、携帯端末装置１は、撮像部２０１と出力部２０３Ａと通信部２０７Ａとこれらを駆動するバッテリだけを備えればよいという分散システムを構築可能であり、これによって、携帯端末装置１の小型軽量化を図ることができる。

　また、例えば、携帯端末装置１には、ユーザの手先を撮像する撮像部２０１だけを搭載することにして、表示は、すべてタッチパネル型携帯情報端末５の画面と撮像部２０１を使用したＡＲ画面表示とすることも可能である。この構成の場合、撮像部２０１で行われる処理以外のその他の処理や表示をすべてタッチパネル型携帯情報端末５で行うことになる。これにより、携帯端末装置１のさらなる軽量化を実現することができる。

　図３９は、分散システムにおける携帯端末装置とタッチパネル型携帯情報端末との連携動作の一例を示す図である。この図３９には、物品管理システムによる物品探索を行う例が示されている。

　例えば、図３９において、まず、タッチパネル型携帯情報端末５で探索対象となる物品を特定する。次に、例えば、図２６と図２７に示したＡＲ表示によって、ユーザが探している物品の所在場所までユーザを誘導するが、このようなＡＲ表示は、携帯端末装置１の方が適しているので、このＡＲ表示は、携帯端末装置１の出力部２０３Ａで行われる。このようにして、分散システムによれば、それぞれの端末の特徴を活かした連携動作によって、物品管理システムにおけるユーザの利便性を向上することができる。

　＜第２分散システム＞
　例えば、物品管理システムには、撮像部２０１で撮像された画像に基づいて、物品の所在の変化を認識し、かつ、物品を特定するように構成された画像認識部２０４が存在する。この画像認識部２０４では、画像解析技術を使用して処理が行われるが、画像解析技術では人工知能なども使用されることがあるため、処理の負荷が大きくなる。したがって、携帯端末装置１に画像認識部２０４を組み込むと、携帯端末装置１の負荷が大きくなる。

　このことから、物品管理システムの構成要素として、ヘッドマウントディスプレイである携帯端末装置１だけでなく、サーバ６も含むようにして、物品管理システムを分散システムから構成することもできる。この場合、携帯端末装置１は、少なくとも画像認識部２０４を有するサーバ６と連携可能に構成される。以下では、この分散システムの構成例について説明する。

　図４０は、分散システムの機能構成を示すブロック図である。

　図４０において、分散システムは、携帯端末装置１とサーバ６から構成される。そして、携帯端末装置１は、物品データ記憶部２００と、撮像部２０１と、物品データ更新部２０５と、入力部２０２と、検索部２０６と、出力部２０３と、通信部２０７Ａを有している。一方、サーバ６は、画像認識部２０４と、通信部２０７Ｃとを有している。

　このようにして、携帯端末装置１とサーバ６によって、物品管理システムが構成される。このとき、携帯端末装置１の通信部２０７Ａとサーバ６の通信部２０７Ｃによって、携帯端末装置１とサーバ６が連携可能に構成される。

　なお、サーバ６は、携帯端末装置１と通信を介して接続して連携動作ができればよく、形態としては、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、各種の形態が可能である。

　例えば、この分散システムによれば、サーバ６の画像認識部２０４によって、画像解析技術をした処理が実現される結果、携帯端末装置１とサーバ６との機能分担を図ることができる。これにより、画像解析技術を使用した処理に起因する携帯端末装置１での負荷の増大を抑制することができる。さらには、携帯端末装置１での負荷が軽減されて消費電力が低減されることから、携帯端末装置１のバッテリを長持ちさせることができる。

　（実施の形態８）
　本実施の形態８では、物品管理システムにおいて、ユーザが身に付けていた物品を手放した場所を示すための地図を作成する技術的思想を説明する。

　本実施の形態８における技術的思想は、以下に示す構成で実現される。すなわち、物品管理システムは、さらに、撮像部２０１で撮像された画像に基づいて、地図情報を作成するように構成された地図情報作成部を有する。そして、出力部２０３は、地図情報作成部で作成された地図情報を出力するように構成されている。

　具体的に説明する。

　図４１および図４２は、物品管理システムによって、ユーザが身に付けていた物品を手放した場所を示すために、地図を作成する一例を示す図である。

　物品管理システムの地図情報作成部は、ユーザ１００の移動に伴って、携帯端末装置１の撮像部２０１に写った画像に基づいて、例えば、屋内のようなＧＰＳを利用できない場所で地図情報を作成する。

　図４１では、地図情報作成部による地図情報の作成動作を説明する図である。図４１において、実線で示した線は、携帯端末装置１の撮像部２０１に写った画像に基づいて既に地図情報作成部が作成した地図の部分を示している。一方、破線で示した線は、ユーザ１００が移動していない領域であるため、まだ携帯端末装置１の撮像部２０１に写っておらず、地図情報を作成できていない部分を示している。

　まず、図４１において、第１の場所ＰＳ１にいるユーザ１００から見える領域は、長い廊下と各部屋に１つ以上取り付けられている扉である。このため、ユーザ１００に装着された携帯端末装置１の撮像部２０１で撮像された画像によって、図４１の実線で示す部分が地図情報として地図情報作成部で作成される。そして、ユーザ１００が第２の場所ＰＳ２に移動した段階で、第２の場所の部屋Ｒ１の中にあるテーブルの存在が確認されて、テーブルが地図情報に追加される。

　続いて、図４２では、ユーザ１００が第２の場所ＰＳ２から第３の場所ＰＳ３に移動した段階で、部屋Ｒ２の中を見渡せるので、部屋Ｒ２の中に置いてあるテーブルが地図情報に追加される。さらに、廊下の奥で、部屋Ｒ２の奥にある小エリアＲ３にあるテーブルも撮像部２０１で写される結果、地図情報作成部によって、このテーブルも地図情報に追加される。

　次に、ユーザ１００が第３の場所ＰＳ３から第４の場所ＰＳ４に移動して部屋Ｒ４に入ると、撮像部２０１で撮像される範囲でテーブルなどの設備が地図情報に追加される。

　このようにして作成された地図情報は、例えば、第１の場所ＰＳ１を中心とし、廊下に平行したベクトルを基準点および基準線として図形化された後、ユーザ１００の手元から離れている物品の所在場所をこの地図上に重畳表示してユーザ１００に知らせることができるようになる。

　以上のような地図作成機能を付加された物品管理システムによれば、予め地図データが用意されていない場所においても、物品管理システムが自動的に地図情報を作成することができる。このため、ユーザ１００が移動したことのある場所であれば、地図データが用意されていなくても、ユーザ１００の手元から離れている物品の所在場所を地図上に表示することができる。

　以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

　前記実施の形態は、以下の形態を含む。

　（付記１）
　ユーザに装着可能な携帯端末装置であって、
　前記携帯端末装置は、前記ユーザの動作と物品とを含む画像であって、前記ユーザの動作に基づいて前記物品の位置を特定するための前記画像を撮像するように構成された撮像部を備える、携帯端末装置。

　（付記２）
　付記１に記載の前記携帯端末装置と接続可能なサーバであって、
　前記サーバは、前記撮像部で撮像された画像を解析することにより、前記ユーザの動作を認識し、かつ、前記物品を特定するように構成された画像認識部を有する、サーバ。

　１　携帯端末装置
　１Ａ　携帯端末装置
　２　物品
　１０　撮像部
　１１　位置検出部
　１２　記憶部
　１３　表示デバイス
　１４　スピーカ
　１５　マイク
　１６　通信部
　１７　ＣＰＵ
　１８　ＲＡＭ
　１９　画像ＲＡＭ
　２０　ＦＲＯＭ
　２１　キー
　１００　ユーザ
　２００　物品データ記憶部
　２０１　撮像部
　２０２　入力部
　２０３　出力部
　２０３Ａ　出力部
　２０３Ｂ　出力部
　２０４　画像認識部
　２０５　物品データ更新部
　２０６　検索部
　２０７Ａ　通信部
　２０７Ｂ　通信部
　２０７Ｃ　通信部
　３００Ａ　データブロック
　３００Ｂ　データブロック
　３０１　物品数変化検出部
　３０２　物品データ書き換え部
　Ｐ　中間物品データ
　ＰＳ１　第１の場所
　ＰＳ２　第２の場所
　ＰＳ３　第３の場所
　ＰＳ４　第４の場所
　Ｒ１　部屋
　Ｒ２　部屋
　Ｒ３　小エリア
　Ｒ４　部屋

Claims (20)

1. 　物品データ記憶部と、
   　撮像部と、
   　ユーザからの要求データを入力する入力部と、
   　ユーザに情報を出力する出力部と、
   　物品データ制御部と、を備え、
   　前記物品データ記憶部は、物品特定データおよび前記物品特定データに対応した物品所在データを含む物品データを複数記憶し、
   　前記撮像部は、物品を含む画像を撮像し、
   　前記物品データ制御部は、前記撮像部で撮像された前記画像に基づいて前記物品を特定し、前記物品の所在が変化した場合、前記物品の所在の変化を認識し、特定した前記物品に対応する前記物品データを前記物品データ記憶部に記憶するよう制御し、
   　さらに、前記物品データ制御部は、前記入力部に入力された前記要求データに基づいて、前記物品データ記憶部に記憶されている複数の前記物品データの中から、前記要求データに対応する前記物品データを抽出し、抽出された前記物品データの情報を前記出力部により出力するように制御を行う、携帯端末装置。
2. 　請求項１に記載の携帯端末装置において、
   　前記物品を含む画像には、さらにユーザの手が含まれる、携帯端末装置。
3. 　請求項１に記載の携帯端末装置において、
   　前記物品特定データには、前記物品の名称に関する物品名データ、または、
   前記物品の形状に関する物品画像データが含まれる、携帯端末装置。
4. 　請求項１に記載の携帯端末装置において、
   　前記物品所在データには、前記物品を前記ユーザが身に付けているか否かを示すフラグ、前記物品の位置情報に関する物品位置データ、前記物品を前記ユーザが身に付けた時刻あるいは前記ユーザが手放した時刻に関する時刻データ、または、前記物品の置かれた位置に関する位置画像データが含まれる、携帯端末装置。
5. 　請求項４に記載の携帯端末装置において、
   　前記位置画像データには、前記ユーザが前記物品を手放した時点の画像データが含まれる、携帯端末装置。
6. 　請求項２に記載の携帯端末装置において、
   　前記画像には、前記ユーザの手で前記物品を掴む第１イベント動作、または、前記ユーザの手から前記物品を放す第２イベント動作が記録される、携帯端末装置。
7. 　請求項６に記載の携帯端末装置において、
   　前記物品データ制御部は、前記第１イベント動作、または、前記第２イベント動作を検出することによって、前記物品の所在の変化を認識するように制御を行う、携帯端末装置。
8. 　請求項１に記載の携帯端末装置において、
   　前記物品データ制御部は、前記画像に含まれる物品画像に対する画像解析によって、前記物品を特定するように制御を行う、携帯端末装置。
9. 　請求項２に記載の携帯端末装置において、
   　前記物品データ制御部は、
   　前記ユーザの手に掴まれた物品数の変化を検出し、
   　検出された前記物品数の変化に寄与する物品に対応する物品データを書き換えるように制御を行う、携帯端末装置。
10. 　請求項１に記載の携帯端末装置において、
    　前記入力部に入力される前記要求データは、所在を問い合わせたい問い合わせ物品の名称に関する名称データであり、
    　前記物品データ制御部は、前記名称データと一致するデータを含む前記物品データを抽出し、抽出された物品データに基づいて、前記出力部より前記物品の所在情報を出力するように制御を行う、携帯端末装置。
11. 　請求項１に記載の携帯端末装置において、
    　前記物品データには、前記物品の取得場所に関するデータが含まれ、
    　前記入力部に入力される前記要求データは、取得場所を問い合わせたい問い合わせ物品の名称に関する名称データであり、
    　前記物品データ制御部は、前記名称データと一致するデータを含む前記物品データを抽出し、抽出された前記物品データに基づいて、前記出力部より前記物品の取得場所に関する情報を出力するように制御を行う、携帯端末装置。
12. 　請求項１に記載の携帯端末装置において、
    　前記物品には、第１物品と前記第１物品に収納される第２物品とが含まれ、
    　前記第１物品に対応する前記物品データには、収納される前記第２物品を特定するためのデータが含まれ、
    　前記物品データ制御部は、前記画像によって特定された前記物品が前記第１物品である場合、特定された前記第１物品に対応する前記物品データだけでなく、前記第１物品に関連付けられた前記第２物品に対応する前記物品データも更新するように制御を行う、携帯端末装置。
13. 　請求項１に記載の携帯端末装置において、
    　前記物品には、本来の収納場所となる第１物品と、前記第１物品に収納されるべき第２物品とが含まれ、
    　前記第１物品に対応する前記物品データには、前記第１物品に収納されるべき前記第２物品を特定するデータが予め登録され、
    　前記第２物品に対応する前記物品データには、前記第２物品が前記第１物品に収納されているか否かを特定するためのデータが含まれ、
    　前記入力部に入力される前記要求データは、前記第２部品の収納状況を問い合わせるデータであり、
    　前記物品データ制御部は、前記第２部品に対応する前記物品データに含まれるデータであって前記第２物品が前記第１物品に収納されているか否かを特定するためのデータから把握される前記第２部品の収納状況を前記出力部より出力するように制御を行う、携帯端末装置。
14. 　請求項１に記載の携帯端末装置において、
    　前記物品データ記憶部は、さらに、予め設定された忘れ物チェック対象物品のリストを記憶するように構成され、
    　前記物品データは、ユーザに身に付けられている状態、または、他の物品に収納されている状態と、それ以外の状態とを区別する二値データを含み、
    　前記物品データ制御部は、前記画像によって物品がユーザに身に付けられている状態、または、他の物品に収納されている状態にあると認識された場合、前記二値データを第１値に設定する一方、前記画像によって物品がそれ以外の状態にあると認識された場合、前記二値データを第２値に設定するように制御を行い、
    　さらに、前記物品データ制御部は、前記要求データの入力と予め設定された定期的な時間間隔での時刻の到来と前記ユーザの移動動作の開始とのいずれかをトリガとして、前記忘れ物チェック対象物品のリストに挙げられている物品の中から、前記二値データが前記第２値である物品データの情報を前記出力部より出力するように制御を行う、携帯端末装置。
15. 　請求項１に記載の携帯端末装置において、
    　前記携帯端末装置は、眼鏡型のウェラブル端末装置である、携帯端末装置。
16. 　請求項１５に記載の携帯端末装置において、
    　前記ウェラブル端末装置は、複数の前記撮像部を有する、携帯端末装置。
17. 　請求項１に記載の携帯端末装置において、
    　前記携帯端末装置は、さらに、前記撮像部で撮像された画像に基づいて、地図情報を作成するように構成された地図情報作成部を有し、
    　前記物品データ制御部は、前記地図情報作成部で作成された前記地図情報と共に前記物品データの情報を前記出力部より出力するように制御を行う、携帯端末装置。
18. 　請求項１に記載の携帯端末装置において、
    　前記携帯端末装置は、前記物品データから把握される前記物品の所在位置まで前記ユーザを誘導する表示を行う、携帯端末装置。
19. 　撮像部を有する携帯端末装置を含む物品管理システムであって、
    　物品データ記憶部と、
    　ユーザからの要求データを入力する入力部と、
    　ユーザに情報を出力する出力部と、
    　物品データ制御部と、を備え、
    　前記物品データ記憶部は、物品特定データおよび前記物品特定データに対応した物品所在データを含む物品データを複数記憶し、
    　前記撮像部は、物品を含む画像を撮像し、
    　前記物品データ制御部は、前記撮像部で撮像された前記画像に基づいて前記物品を特定し、前記物品の所在が変化した場合、前記物品の所在の変化を認識し、特定した前記物品に対応する前記物品データを前記物品データ記憶部に記憶するよう制御し、
    　さらに、前記物品データ制御部は、前記入力部に入力された前記要求データに基づいて、前記物品データ記憶部に記憶されている複数の前記物品データの中から、前記要求データに対応する前記物品データを抽出し、抽出された前記物品データの情報を前記出力部により出力するように制御を行う、物品管理システム。
20. 　撮像部を有する携帯端末装置を用いた物品管理方法において、
    　前記撮像部によって、物品を含む画像を撮像するステップと、
    　前記撮像部で撮像された前記画像に基づいて前記物品を特定するステップと、
    　前記物品の所在が変化した場合、前記物品の所在の変化を認識するステップと、
    　特定した前記物品に対応する物品特定データおよび前記物品特定データに対応した物品所在データを含む物品データを物品データ記憶部に記憶するステップと、
    　入力部に入力された要求データに基づいて、前記物品データ記憶部に記憶されている複数の前記物品データの中から、前記要求データに対応する前記物品データを抽出し、抽出された前記物品データの情報を出力部により出力するステップと、を有する、物品管理方法。

Images