JP6245975B2 - Ａｒ／ｖｒを利用した物品収納補助装置及びシステム - Google Patents

Description

本発明は、たとえばＡＲ（オーグメンテッド・リアリティ：拡張現実）／ＶＲ（ヴァーチャル・リアリティ：仮想現実）を利用した表示方法及び表示システムに係り、特に、現実空間に電子情報を重畳して仮想情報を表示する拡張現実技術における表示方法及び表示システムの活用を実現するＡＲ（オーグメンテッド・リアリティ：拡張現実）／ＶＲ（ヴァーチャル・リアリティ：仮想現実）を利用した物品収納補助装置及びシステムに関する。

近年、自動倉庫における物品の入出庫管理については、倉庫管理情報処理装置（以降、「情報処理装置」と称する。）を介したコンピュータによる商品管理によってトータル管理が成されている。外部の製造工場又は納入業者等から納入された物品（以降、「商品」と称する。）は、倉庫内の受け入れ部門による入荷検収の際、その物品のＪＡＮコード、容積、重量、納入者、数などの商品個別識別情報が情報処理装置に入力される。

商品を保管する倉庫では、商品を倉庫のどの場所にどのように配置するかを示したマニュアルやこれに沿ったシステムを有している。商品の入庫と同時にその商品を収納する倉庫の場所、位置などの詳細な収納保管番地が指示され、その番地に商品は入庫され保管される。つまり、情報処理装置より入庫商品の収納保管される倉庫内の棟番号、部屋番号、棚番号、棚段番号又はパレット番号、パレット積載位置番号などの収納位置（以降、「棚段番地」と称する。）が出力指示され、自動で又は人手を介してその棚又は位置に収納保管される。

倉庫内における物品の補充や移動においても、開梱された物品は上記同様に、情報処理装置から指定された部屋番号、棚番号、棚段位置に補充保管又は移動保管される仕組みになっている。この倉庫管理システムによって、その商品の倉庫内収納位置、数、入庫の新旧なども含めて全て把握されており、出庫においても倉庫管理サーバの指示に基づき必要な商品が必要な数だけ倉庫の指定位置から出庫されることになる。

これらの倉庫内商品のすべての格納位置は、情報処理装置で管理されており、特に倉庫内位置の管理をロケーション管理と呼んでいる。商品の出庫の際は、その商品の収納保管されていた位置は、その後空スペースとして倉庫管理サーバに情報入力されて空きロケーションとして管理される。つまり、物品の保管されている位置も、空スペースも、すべてがロケーション管理の対象であり、空きスペースにはそのスペースを最も効率よく使用できる商品が新たに入庫され収納される。

入庫された商品の体積、重量、数などの個別識別情報が入荷検収で情報処理装置に入力された際、その商品（商品群）を最も効率よく収納するために十分な空きスペースのある倉庫内部屋番号、棚番号、棚段番地等が指定されてその物品が収納保管される。商品が収納保管される際、入荷検収からコンベア等によって指定された収納保管位置に自動的に搬送される場合を除いて、一般的に入荷商品は、フォークリフト又は台車等を用いた人手作業によって倉庫内管理サーバから指示された部屋・棚・棚段番地に運ばれて収納保管される。この際の正確な倉庫内棚段番地、作業者による棚段番地の臨機応変な変更等は、その都度、作業者によって情報処理装置に入力される。これは倉庫内の商品の保管場所不明化を防止するために重要な入力作業である。

入荷検収によって情報処理装置に入力される商品個別識別情報には、商品ＪＡＮコード、容積、重量、製造者、数量等の情報である。これらの情報は、同様に商品価格、仕入れ価格、保管期限、納入業者などの商品管理情報としても管理されている。倉庫管理情報及び商品管理情報は相互にリンクされて倉庫内トータル管理情報として活用されている。

上記の倉庫管理のための商品個別識別情報のなかで、商品収納保管のためのロケーション管理において最も重要な情報のひとつがその物品の容積情報である。入荷検収された際の商品の容積情報に基づき、その商品の保管のために必要な面積、体積、収納数に加えて平置き数・重ね置き制限などの制限情報を加味した容積計算が倉庫管理サーバによって成される。その計算結果を踏まえて、その商品（商品群）の最も適した倉庫棚位置、棚段番地が指定される。つまり収納される商品は、その数によって、平置きでの幅寸法、奥行寸法、段済み高さなどが計算されて、それに適した空スペースが倉庫管理サーバのロケーション管理情報から選択されて収納位置が指示されている。

自動倉庫管理においては、その倉庫内の空スペースを絶えず最小限にし、倉庫内の全収納スペースを収納保管状態に維持することが、倉庫収納効率の向上につながる。小さな空スペースの散在、商品の斑置き収納、平置きによる上部空き空間発生などの無駄な空スペースを極限まで減らすことが重要であり要求される。

特許第４７０１４２４号公報 特開２００２−２８８２９４号公報 特開平１０−３１７５９号公報 特開平６−４４３５０号公報 特開平８−２４９４９１号公報

上記のように商品の倉庫管理においては、入荷情報、商品個別識別情報、収納保管情報など必要な情報を総合的に管理する倉庫管理システムによって全体が機能しており、人間（作業者）による臨機応変な収納保管場所変更などの対応は、一般的に関与しにくい自動管理システムとなっている。しかし、倉庫内収納効率を最大限に発揮し維持するために、作業者への改善のための取組みは絶えず要求されている。

ここで、商品の入荷検収から収納保管及び出荷までにおける倉庫内の具体的ロケーション管理について説明する。倉庫内に入荷された商品は、それぞれが有するバーコードのような自動読み取り可能な商品個別識別情報と、その商品が収納保管された倉庫内の棟、部屋、棚番号、棚段番地を示す収納保管情報によって管理されている。これらの情報を一括してデータ管理しているのが情報処理装置である。この情報処理装置では、商品の個別識別情報と倉庫内の位置を示す収納保管情報とがそれぞれリンクされている。出荷作業においては、倉庫内の位置情報と商品識別情報を基にその商品が特定されて出荷指示が出される。

商品が出荷された際は、その商品が収納保管されていた場所は倉庫内の空きスペースとして情報処理装置に登録され管理される。その空きスペースは、商品の個別識別情報から得られた特有の平面積、体積、高さ、重量等に基づくスペースに、収納保管の際の商品同士のぶつかり破損等を防止するための安全率を加えた若干の余裕範囲を含むスペースであることが多い。

また入荷して収納保管される商品は、一般的にまとまった一定数（ロット）であることがほとんどであり、収納保管場所も一定の棚段番地にまとめて保管される。これに対して商品の出荷においては、商品は個別数単位又は単品で出荷されることが多いため、空スペースは部分的に又は斑に発生していくことになる。このように部分的に且つ徐々に発生していく空きスペースは、新たな入荷商品の収納保管のためのスペースとしては活用しにくい。例えば、斑に残された商品を片方に移動して詰めて大きな空き空間を設定し、その空き空間に新たなサイズの商品を収納保管させるというような指示はマニュアル機械である情報処理装置からは出ない。

商品の収納保管位置も、例えば手前側を古い商品にして絶えず古い商品から出荷し、新しい商品がその場所に補充保管されていくことが望ましいが、収納保管された商品位置を順次移動させたりずらしたりする指示は情報処理装置からは出ない。

商品によっては賞味期限や有効期限などの期限付き商品や、先行収納品先行出荷が義務付けられている商品、納入日又は製造日等によるロット管理が必要であり同一ロット同時出荷を義務付けられている商品など特殊な倉庫収納管理が必要な商品もある。このような場合は、たとえ同一商品であっても同一棚段番地に収納保管された際、保管上での細分化された別管理が必要となる。このような特殊管理も一般的な情報処理装置の指示では対応しにくい。

収納保管される商品は、商品ごとに形状・体積・重さなどが千差万別である。商品によっては立方体状の段ボール箱形状ではなく、球形状、三角柱形状・円柱形状の商品や、縦置き又は横置き等によってスペースを狭めることができる形状の商品、シート状の商品等がり様々である。例えば、三角形の底面形状をもつ商品は、その三角形を内包する四角形として底面形状が認識されている場合が多く、その商品は余裕をもった四角形の面積の空きスペースが収納スペースとして指定され、無駄な空間を生じたまま保管されることになる。このような場合は、倉庫の収納効率が著しく低下することになる。

また商品の個別識別情報に入力された体積・形状・重さ等の情報は、予め商品に危害が加わらないようにある程度の外形の安全率、重さの安全率等の輸送安全率及び保管安全率等が見込まれているため、実際の商品の体積・重量よりも若干大きく設定されていることが多い。これにより、一定量の商品群が収納保管された際、指定された棚段番地に大きな空間空きスペースが生ずることがある。

倉庫管理においては、倉庫全体のスペースを如何に効率よく使用するかが重要であり、空き空間をできる限り少なくし長期間倉庫内を満杯状態に保つことが重要である。倉庫内のスペースを平面から高さに至る三次元空間として無駄のない活用を図ることが最も重要である。これが倉庫保管効率を向上させる。

倉庫収納効率を向上させるための上記のような課題を解決するためには、コンピュータで管理された倉庫管理システムでは対応することがむずかしい。従来の倉庫内保管収納作業においては、作業者の臨機応変な対応によって、商品間の余分なスペースを詰めたり、三角形状の商品であれば互いに斜向いに配置したり、平置きを縦置きにしたりして保管密度を向上させ、保管スペースを有効活用することができた。また、商品出荷によって生じたまばらな空きスペースについて、商品を一方に詰めることによって広い空きスペースをつくることもできた。

しかし、このような作業者の経験・知見による臨機応変な収納効率向上を目指す行為は、コンピュータ管理された倉庫管理下においては、個々の商品の個別識別情報と商品収納保管情報とのミスマッチが生じ、商品の正確な位置が不明となるため出荷ができなくなるばかりか商品確認不明の恐れが生じる。これを防止するためには、作業者が商品の臨機応変な移動情報をすべて正確な収納保管情報として倉庫管理サーバに再入力する必要があり、この入力作業を倉庫内で逐次行うことが必要になる。これは非常にむずかしい。

倉庫内の各棚、各棚段、各棚段番地での臨機応変な商品移動行為を、その都度事務所に戻り端末入力することは現実的ではないし、例えば携帯式入力機器をもって入力するのも、倉庫内作業において両手又は片手を携帯端末の所持・操作に奪われることに繋がり、作業ロスの原因や事故の原因となる。

たとえば、特許文献１では、視界を確保しながらディスプレイ画面上に電子情報による仮想情報を重畳して表示することが可能な透過型ＨＭＤ（ヘッドマウントディスプレイ）を利用したコンピュータ操作システムの技術思想について開示されている。透過型ＨＭＤでは、利用者の視界を確保しつつ、ディスプレイ画面上に電子情報による仮想情報が表示されるので、現実空間の視界の一部に電子情報による仮想情報を重畳して表示する拡張現実（以降ＡＲ：オーグメンテッド・リアリティと称する。）に関する技術である。

拡張現実ＡＲは、使用者の見ている現実の対象物に、コンピュータの作り出した情報を重ね合わせることによって複合的な視野を与える技術である。これに対して仮想現実はＶＲ：バーチャル・リアリティと称する。このＨＭＤに映し出された仮想情報に対して、手指等の動きを介して情報を入力する技術思想が開示されている。特許文献２では、上記ＡＲ技術を適用した倉庫管理システムや現場作業システムに係る技術思想が開示されている。

しかしこれらの開示技術は、コンピュータからの指示や情報を作業者の装着したＨＭＤにＡＲとして表示し伝達するものが主体であり、上記のような倉庫管理システムでの現場の臨機応変な変更に対して商品管理システムが同時に双方向対応できるものではない。

上記のようにコンピュータによって自動管理された自動倉庫においては、作業者の知見・経験による臨機応変な商品移動は収納効率向上のために必須であるにもかかわらず、現実には対応できないのが実情であった。そして、コンピュータを用いた自動倉庫管理システムのなかに人間による臨機応変な効率的な対応を取り込む簡易的な方法の開発が望まれていた。本発明はこうした従来技術上の問題点を解決することを企図したものであり、倉庫内の商品収納・保管・出荷の安全性及び作業性を向上させつつ、経済効率も向上させることの可能な物品収納位置情報入力装置を提供することをその課題とする。

かかる課題を解決するために、本発明に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムは、物品または物品の収納場所に関連する自動読み取り可能な光学的特徴情報を含む画像情報を取得する撮像手段と、画像情報及び／もしくは文字情報を含む情報を表示することができる表示手段と、収納対象物ごとに該収納対象物が収納されるべき場所に係る収納情報を格納する第１の記憶手段と、前記撮像手段により得られた画像情報から収納対象物に係る第１のＩＤ（識別）情報を取得する手段と、前記第１の記憶手段から前記取得された第１のＩＤ情報に関する収納情報を獲得する手段と、前記撮像手段により、収納対象物の収納場所に係る第２のＩＤ情報を取得する手段と、前記取得された第２のＩＤ情報をもとに前記収納対象物が格納されるべき収納場所に係る情報を前記表示手段に表示する手段とを具備する。

すなわち本発明に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムは、倉庫内に収納保管されている商品や新たに入荷されてきた商品または商品の包装／梱包箱もしくは商品群を収容した箱等に貼付され或いは印刷されもしくは取り付けられたバーコードのような自動読み取り可能な商品個別識別情報に係る光学的特徴情報を画像情報としてＨＭＤに付随した（画像認識装置の）撮像部に取り込むことができる。

また同様に、収納位置の棚もしくはその付近に貼付され或いは印刷されもしくは取り付けられたバーコードのような自動読み取り可能な情報であって、倉庫内の位置・場所情報である例えば棚段番地や商品の収納場所情報に係る光学的特徴情報を画像情報として取り込むことができる。光学的特徴情報とは、バーコード、カルラコード、ＱＲコード（登録商標）、ＡＲマーカー等であってもよく、作業者の装着したＨＭＤ（ヘッドマウントディスプレイ）の画像撮像装置（ＨＭＣ：ヘッドマウントカメラ）によって読み取ることができる情報であればよい。

ＨＭＤの撮像部に取り込まれた上記の商品個別識別情報及び収納保管場所情報等は、情報処理部において検出され読み取られて照合情報として認識される。またそれらの情報は、例えば作業者が認識できるようなＨＭＤ表示用の情報としても加工処理される。上記撮像部に取り込まれたその他の画像情報も光学的特徴情報のひとつとして情報処理部に取り込まれる。なお、本システム／装置では、商品個別識別情報、収納保管場所情報のみに限定されるものではなく、たとえばパレット識別情報なども取込・加工の対象に加えてもよい。

近年では、視界を確保しながらディスプレイ画面上に電子情報による仮想情報を重畳して表示することが可能な透過型ＨＭＤ（ヘッドマウントディスプレイ）が実現されている。これにより、利用者の視界を確保しつつ、ウエアラブルコンピュータとして装着したＨＭＤ画面上に電子情報による仮想情報が表示され、シースルー型として視認可能な第１のイメージである現実の景観の視界（の一部）に電子情報による仮想的な三次元座標もしくは仮想景観として視認可能な第２のイメージを重畳して映像として表示することができる。

上記撮像情報から認識された商品個別識別情報は、倉庫管理システムの情報処理を担う情報処理装置に送信され、該装置ではこの識別情報をキーにしてＤＢ（データベース）から、入荷された商品の収納保管されるべき倉庫内位置等に関する収納保管場所情報を取得し、この情報を当該ＨＭＤの情報処理部に送信してＨＭＤに映し出させる。同様に、その倉庫内位置を示す画像データをもＤＢから抽出・取得し、それらの入入荷収納商品に必要な情報を同じようにしてＨＭＤにＡＲ（拡張現実）イメージとして映し出すこともできる。

ＨＭＤを装着した利用者・作業者はＨＭＤに映し出された情報に従い、現実の視野を確保しながら入荷商品を倉庫内の指定された収納保管位置に収納することができる。作業者が収納動作を完了すると、ＨＭＤの撮像部を対象に向けること、もしくは対象に向けた上で所定の起因（キック）操作を行うことで、情報処理部に対する入力動作となる。すると、実際に収容された収納保管位置に表示された収納保管場所情報等も上記と同様にＨＭＤの撮像部に取り込まれ、情報処理部において、指示した（本来収容されるべき）収納保管位置と実際に収納保管した位置との整合確認をすることができる。

本発明に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムにおいて利用者は、ＨＭＤに表示された画像情報である倉庫内での商品収納保管位置（棚段番地）のＡＲ上の仮想空間（実際にはＡＲ／ＶＲ情報）を任意に移動したり更に詳細に分割細分したり加工することができ、その情報を情報処理装置に送信して任意に装置データの修正を行うことができる。これは仮想的に表示されるイメージデータを容易に修正できるからである。同様に、ＨＭＤに表示された画像情報である収納商品に係る情報を任意に変更加工することができる。

本発明は、仮想映像に投影されたカーソルをなぞるマーカーの特定の動きがなされることによって入力情報が特定される点に特徴を有する。

本発明に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの利用者は、ＨＭＤに表示された情報を上記のよう加工変更する際は、指又は手・腕等身体の一部に装着した特定の画像認識用マーカーをＨＭＤの仮想情報画面上のカーソルになぞって動かす、或いは特定の動作を行う、ことによって、情報の加工変更の指示を行う。このマーカーの動きは、画像情報としてＨＭＤの撮像部から撮像され、画像情報として認識されて情報処理装置に送信される。

つまり、ＨＭＤに映し出された仮想画像上において、ＯＮ、始点、スクロール、終点、実行、ＯＦＦ等のコンピュータ実行指示をコンピュータにおけるカーソル入力と同様に上記マーカーの動きによって行うことができる。マーカーの動きとコンピュータ操作上の命令種類との関連については、事前に取りきめてコンピュータの内部記憶装置等に格納された、マーカーの動きと命令機能との関連性設定情報によって特定される。これらの変更情報は情報処理装置によって集約管理されることができる。

本発明は、マーカーの始点及び／もしくは終点を音声によって指示することもできる。前述のようにＨＭＤに表示された情報を加工変更する際は、画像認識用マーカーの動き画像の認識に加えて、或いはこれに替えて、ＨＭＤに装着もしくは内蔵されたマイクによって情報として入力される音声情報を認識することによっても行うことができる。

本発明においては、利用者の観点からは、利用者の目視画像に、予めデータ保管された画像を重畳してＨＭＤに仮想画像として映し出すことができる、というものである。利用者は、現実の目視画像にＨＭＤの仮想画像を重ね合わせて見ることができる。両画像の整合性はシステム側でチェックすることができる。このチェックは、現実の目視画像の収納保管場所情報に係る光学的特徴情報をＨＭＤの撮像部が撮像して読み取り、情報処理装置がＨＭＤに映し出す仮想画像の位置情報との整合確認をして行う。利用者はもちろん両画像の略重畳位置に立って確認することができる。

利用者の視点からは、上記マーカー動作指示によって、仮想画像の空間を仮想的に分割して仕切ることができ、該分割された各仮想上の空間には情報処理装置によって自動的に位置番地の詳細区分情報が割り当てられる。利用者は、倉庫内特定位置の空間を、仮想画像を分割することによって仮想的に細分化し、当該仮想画像に対応する現実空間のその位置に特定商品を収納した際、この収納した対象物に係る商品個別識別情報をＨＭＤの撮像部で撮像する。この撮像された画像データをシステム側が通信部を介して情報処理装置に送信し認識させることによって、上記細分化空間と上記特定商品との相関性を情報処理装置に認識させることができる。

仮想空間画像を区切り分割するためのマーカー指示動作に係る方法としては、仮想空間に係る三次元座標上のポイント位置指示であっても、当該座標上の面指示であってもよく、収納される商品とその位置又は空間とが１対１で相関されるデータ登録ができればよい。また、マーカーによる文字や数値等の情報の入力は、仮想画面に映し出された画面表示を選択することによってもできる。

上記のように本発明に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを利用することによって、作業者は、倉庫内棚段の空きスペースに商品を詰めて移動保管し、逐次にその情報を情報処理装置に入力することができる。しかもその入力に当たってはキーボード入力等の煩わしいプロセスを経ることなく、指を振るなどの簡易なアクションのみで可能となるため、作業者の経験や知見による倉庫保管効率の向上に貢献でき、且つ情報処理装置の商品位置データと現実の商品保管棚段番地との不一致を防ぐことができる。

同様に本発明に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを利用することによって、作業者は、自身の経験や知見に基づいて、倉庫内棚段の散在する空きスペースに商品を移動保管したり、商品の形状により縦置き平置きなど工夫して商品を詰めて保管したりした場合であっても、情報処理装置の商品位置データと現実の商品保管棚段番地との不一致を起こさない。したがって、臨機応変な対応で倉庫の収納保管効率の向上に貢献できる。

本発明によれば、作業者による臨機応変な商品移動に対して効率よく商品の収納場所を記録でき倉庫内の収納効率を向上させることができる。

本発明によれば、倉庫内収納保管を実施する作業者の目視・知見・経験による倉庫内収納効率向上のための臨機応変な対応に追随した物品収納保管場所指示・管理の自動システムが可能となり、同時に倉庫管理システム全体の商品データ管理においても同期した商品収納位置管理が可能となる。

さらに、作業者の安全性や作業性を格段に向上させつつ、倉庫内収納保管効率及び倉庫管理システムの信頼性を飛躍的に向上させることができ、経済効率も格段に向上させることが可能となる。

本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを利用した倉庫内の収納棚イメージを示した斜視概念図である。 本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムに用いるＨＭＤ（ヘッドマウントディスプレイ）のイメージを示した斜視概念図である。 本システムを構成する機能ブロック図である。 本システムの動作を説明するためのタイミング・フローチャートである。 本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの棚段番地の仮想画像表示の概要図である。 本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの棚段番地の仮想画像表示を分割した場合の概要図である。 本システムの空間分割時の動作を説明するためのタイミング・フローチャートである。 本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの仮想画像表示への指ポインターを用いた入力方法の概要図である。 本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの棚段番地の仮想画像表示を分割した場合の斜視図である。

以下、図面を参照して本発明を実施するための形態について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

図１は、本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを利用する倉庫内の収納棚段を斜視図で示した概略図である。同図に示すように倉庫は、大きな倉庫棚１が一棟建てられており、その棚は４段（４階）構成であり、各段は左右に４等分割されている。ただし段数及び左右分割数等は４に限定するものではなく、また均等分割でなくてもよい。

入荷された商品は入荷検収の際、その商品又は商品の包装された段ボール箱等に表示された商品個別識別情報表示体５のデータにより、商品種類、メーカー、納品元、大きさ寸法、体積、重量、数量等が認識され、（後述する）情報処理装置によって収納保管する空ロケーションである倉庫内の位置番地が指定される。作業者は、商品を指定された倉庫内の棚段番地まで輸送し、例えば図１に示すようにフォークリフト７等を用いて商品を指定された棚、段、位置に収納する。

図１に示すように、倉庫内の商品収納棚のそれぞれの位置には、棟番号、棚番号、棚段番号、棚位置番号等の位置を示す棚段番地が特定されており、棚段番地を表示する識別子（以降、「棚段番地識別子」と称する。）票６が見付面に見易いように貼付されている。例えば、図１に示す棚がある建屋棟番号がＡであり、Ａ建屋内にある複数の棚のなかの図１に示す棚の番号が１５番であり、下から３段目（３階）を左右４等分して左からａ、ｂ、ｃ、ｄと区切った場合、収納棚段番地９（下から３段目かつｃ列目）の棚段番地はＡ１５３ｃとなる。

したがって、この場合の棚段番地識別子は「Ａ１５３ｃ」或いはＡ１５３ｃに対応・関連付けられたコードである。棚段番地識別子票６はこうした棚段番地識別子情報としてのコードをイメージデータとして所定のシート状の物体に印刷・刻印・焼き付け等したものをいう。この場合のシート状の物体とは紙、プラスチックを含むあらゆる材料を用いることができる。

図２は、本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムに用いるＨＭＤ（ヘッドマウントディスプレイ）の概略を示す斜視図である。同図に示すように、ＨＭＤ２０は、装着者の眼前には透視型のディスプレイ２４、音声を収録するマイク２５、前面側の画像を撮像する画像撮像装置（以降ＨＭＣ（ヘッドマウントカメラ）と称する。）２３、それらの情報を処理してホストコンピュータ（情報処理装置）との送信を行う制御装置２１を備えて構成されている。このうちマイク２５についてはこれを有しない構成のＨＭＤ２０とすることも可能である。さらに、ＨＭＤ２０がこれらを備えるのではなく、ＨＭＤ２０にこれらが装着される構成をとることも可能である。

このＡ１５３ｃ番地の棚見付面には収納棚段番地識別子票６が画像認識し易い位置に貼付されている。この識別子は例えばバーコード、カルラコード、ＱＲコード、ＡＲマーカー、ＩＣタグ等であってもよく、作業者の装着したＨＭＤ（ヘッドマウントディスプレイ）２０の画像撮像装置（ＨＭＣ：ヘッドマウントカメラ）２３を用いて読み取れる識別子である。

図２Ａは本システムを構成する機能ブロック図である。同図に示されるように、本システムは、大別してＨＭＤ２０と情報処理装置１００とがたとえばネットワークＮＷを介して接続されて構成される。ＨＭＤ２０の制御装置２１は装置としての全体的制御を行う制御部２１０、各部との通信を行う通信部２１２、各種の情報処理を担う情報処理部２１４、必要データを格納する記憶部２１６を備えて構成される。情報処理部２１４は、公知の方法・アルゴリズムによって画像データから光学的特徴情報を抽出する機能を担う光学的特徴情報抽出部２１４１、画像データをディスプレイ２４部に違和感なく視認可能となるようなデータに加工する加工処理部２１４２、公知の方法・アルゴリズムによってフィンガーアクションなどの識別対象体の動作を有意な情報として取得する機能を担う識別対象体動作取得部２１４３を備える。

一方、情報処理装置１００は、各部との通信を行う通信部１０２、各種の情報処理を担う情報処理部１０４、必要データを格納するデータベース部（ＤＢ）１０６を備えて構成される。情報処理部１０４は、全体的制御を行う制御部１０４１、公知の方法・アルゴリズムによって画像データから抽出された光学的特徴情報をキーにＤＢ１０６から対応データ（収納場所情報等）を検索・取得する機能を担う情報特定部１０４２、必要データを格納する記憶部１０４３、画像情報や識別対象体動作情報等もしくはこれらから抽出された識別情報と、これらの情報をキーにＤＢ１０６から取得された対応情報との照合（たとえばパターンマッチング）を公知の方法・アルゴリズムによって行い結果を有意な情報として取得する機能を担う情報照合部１０４４を備える。

次に、以上のように構成される本システムの動作について説明する。図２Ｂは本システムの動作を説明するためのタイミング・フローチャートである。同図に示されるように、まず、ＨＭＤ２０を装着した作業者が対象商品に対して所定の位置（たとえば正面）に立つと、ＨＭＤ２０に搭載されたＨＭＣ２３が上記商品の商品個別識別情報表示体５を撮像する（ステップＨ１０１）。この場合には、ＨＭＣ２３をかざすだけで撮像がキックされるようにしてもよいし、或いは、作業員による何らかのフィンガーアクションを含むアクション（後述する）をキックにしてもよい。

すると、情報処理部２１４の光学的特徴情報抽出部２１４１が、公知のアルゴリズムを用いて上記撮像された画像情報から商品個別識別情報を獲得する（ステップＨ１０２）と、制御部２１０が通信部２１２を動かして、この商品個別識別情報を倉庫管理サーバ１００に送信する（ステップＨ１０３）。

情報処理装置１００では、通信部１０２がこの情報を受信する（ステップＳ１０１）と、情報処理部１０４がこの商品個別識別情報をキーにＤＢ１０６を検索して、その商品の収納保管すべき倉庫内の最も適した空きロケーションになっている収納場所情報を取得・特定し（ステップＳ１０２）当該収納場所情報を、通信部１０２を介して制御装置２１に送信する（ステップＳ１０３）。

ＨＭＤ２０側では、この情報を受信する（ステップＨ１０４）と、情報処理部２１４が、必要に応じて加工処理部２１４２で情報に加工を施したうえで、ディスプレイ２４に収納すべき場所に係る情報を可視化表示する（ステップＨ１０５）。作業者は、こうして収納保管すべき棚段番地の指示を確認して作業を開始することができる。

次に、収納作業を終了した作業者が収納棚等に添付等されている棚段番地識別子票６に向けて視認すると、ＨＭＤ２０に搭載されたＨＭＣ２３が上記商品の棚段番地識別子票６を撮像する（ステップＨ１０６）。この場合には、ＨＭＣ２３をかざすだけで撮像がキックされるようにしてもよいし、或いは、作業員による何らかのフィンガーアクションを含むアクション（後述する）をキックにしてもよい。

すると、情報処理部２１４の光学的特徴情報抽出部２１４１が、公知のアルゴリズムを用いて上記撮像された画像情報から収納場所情報を獲得し、制御部２１０が通信部２１２を動かして、この収納場所情報を情報処理装置１００に送信する（ステップＨ１０７）。

情報処理装置１００側では通信部１０２がこれを受信し、情報処理部１０４において必要に応じてＤＢ１０６にアクセス・情報取得して得られた情報と受信に係る情報との照合・検証を行い、必要に応じてデータ更新を行う（ステップＳ１０４）。

一方、収納場所を変更する場合には、作業員は所定のフィンガーアクションを含むアクションを行うと、ＨＭＤ２０に搭載されたＨＭＣ２３がこれを撮像し、加工処理部２１４２が必要な加工を施したうえで識別対象体動作取得部２１４３が記憶部２１６を参照しながら要求動作を特定する（ステップＨ１０９）。作業員はこのフィンガーアクションによって、商品の収納場所を変更する指示をＨＭＤ２０に行いながら、実際に商品の収納場所を移動させることになる。

この際作業員が上記商品の商品個別識別情報表示体５を視認し、その後変更された収納場所に係る棚段番地識別子票６に向けて視認すると、ＨＭＤ２０に搭載されたＨＭＣ２３が上記商品の個別識別情報表示体５と棚段番地識別子票６とを撮像する（ステップＨ１１０）。この場合には、ＨＭＣ２３をかざすだけで撮像がキックされるようにしてもよいし、或いは、作業員による何らかのフィンガーアクションを含むアクション（後述する）をキックにしてもよい。

すると、情報処理部２１４の光学的特徴情報抽出部２１４１が、公知のアルゴリズムを用いて上記撮像された画像情報から商品個別識別情報と変更後の収納場所情報とを獲得し、制御部２１０が通信部２１２を動かして、この商品の変更後の収納場所情報を情報処理装置１００に送信する（ステップＨ１１１）。

情報処理装置１００側では通信部１０２がこれを受信し（ステップＳ１０５）、情報処理部１０４において必要に応じて情報加工を施したうえで、ＤＢ１０６にアクセスしてデータ更新を行う（ステップＳ１０６）。

終了時には、作業員は所定の終了アクション（たとえば後述するフィンガーアクションの一部）を行うと、ＨＭＤ２０に搭載されたＨＭＣ２３が上記商品の棚段番地識別子票６を撮像して作業の終了を送信する（ステップＨ１１２）。この場合には、ＨＭＣ２３をかざすだけで撮像がキックされるようにしてもよいし、或いは、作業員による何らかのフィンガーアクションを含むアクション（後述する）をキックにしてもよい。

すると、情報処理部２１４の光学的特徴情報抽出部２１４１が、公知のアルゴリズムを用いて上記撮像された画像情報から収納場所情報を獲得し、制御部２１０が終了処理を行うとともに、通信部２１２を動かして、この収納場所情報を情報処理装置１００に送信する（ステップＨ１２０）。

情報処理装置１００側では通信部１０２がこれを受信し、情報処理部１０４において必要な終了処理を行う（ステップＳ１０７）。

以下、本システムの動作をより詳細に説明する。図３は、本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの倉庫棚段番地変更のための仮想画像表示の概要図である。同図に示されるのはＨＭＤ２０のディスプレイ２４に制御装置２１によって映し出される、商品を収納する予定の倉庫内棚段の一つの区切られた番地の立体画像である。この画像の中には平面横軸（ｘ軸）と奥行（ｙ軸）と高さ方向（ｚ軸）を一定間隔ごとに示した立体方眼線が重畳して映し出されている。

このＡ１５３ｃ番地は、予めＡ建屋内の１５番棚として撮影された画像データが（図示しない）情報処理装置１００に登録されている。１５番棚全体の画像から３ｃ（３段目のｃ位置）番地の個別の拡大画像を提示できる。この拡大画像は前面側から見た３次元的画像であり、幅・奥行・高さが明確に認識できる三次元方眼線を施した合成画像となっている。所定の制御指示によって左右側面仮想画像又は上面側から見た天面仮想画像、背面画像にも変換できる。

商品の収納ロケーションであるこれらのすべての番地の状況は、商品の入荷検収データや商品倉庫搬出及び出荷データを管理する情報処理装置１００によって、現在空ロケーションであるか又はどのような大きさの商品がいくつ収納されているかが既存のアルゴリズムに基づいてデータ管理されており、制御装置２１もしくは別途情報端末（図示しない）によって逐次検索できるようになっている。

本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを用いた倉庫管理システムにおいては、作業者はウエアラブルコンピュータを装着していると理解することもでき、この場合、このウエアラブルコンピュータはＨＭＤ（ヘッドマウントディスプレイ）２０中の制御装置２１とすることもできる。

ＨＭＤ２０を装着した作業者は、入荷検収された商品（商品を包装した段ボール箱等を含む。）を、ＨＭＤ２０に搭載されたＨＭＣ２３で撮影すると、システム側では、その商品に貼付された商品個別識別情報表示体６に係る商品個別識別情報を認識して情報処理装置に送信する。この機能を実現するに当たっては、ＨＭＣ２３で撮像した画像データを、制御装置２１が例えば情報処理装置１００（の記憶装置）に格納されるデータを参照すること等によって必要的情報を取得・認識してもよいし、或いは、ＨＭＣ２３の撮像データを制御装置２１の通信部（図示しない）がネットワークＮＷを介して情報処理装置１００に送信し、同装置１００内で所定の公知のアルゴリズムを実行して必要的情報を取得・認識するものであってもよい。

この場合、ネットワークは、例えば無線ＬＡＮであってもよい。情報処理装置１００はこの商品個別識別情報に基づいて、その商品の収納保管すべき倉庫内の最も適した空きロケーションになっている番地を指定し、その番地に収納保管するように制御装置２１に対して指示を出す機能をコンピュータに実現させることができるアルゴリズムを実装している。作業者は、ＨＭＤ２０に表示される倉庫管理サーバからの収納保管すべき棚段番地の指示を確認して作業を開始することができる。

例えば、情報処理装置１００から指示された収納保管番地がＡ１５３ｃであった場合、作業者は、商品を指定された倉庫内Ａ棟の１５番棚の前までその商品を輸送するか自動コンベアシステムなどによって輸送することが期待される。さらに作業者は、指定された１５番棚前に至った際に、その商品を、フォークリフト等を用いて指定された３段目のｃ番地に収納保管し、終了を情報処理装置に返信することになる。こうして商品が、倉庫内のＡ１５３ｃに保管された事実を情報処理装置１００がデータとして格納する。このデータは、入出庫管理又は商品管理データと共にリンクされたトータル倉庫管理データとし活用されることになる。

上記のＡＲ／ＶＲを利用した物品収納補助装置及びシステムを用いた倉庫管理システムにおいては、作業者の知見・経験による倉庫内収納効率の向上のための臨機応変な対応を必要十分に発揮することができる。次にこの点を説明する。

収納保管される商品は、商品ごとに形状・体積・重さなどが異なることはもちろん、商品によっては、立方体形状の段ボール箱ではなく球形状、三角柱形状、円柱形状の商品や特殊形状の商品などさまざまな形状があり得る。換言すれば、収納保管時に商品の形状によっては配置方法や縦置き又は横置き等の工夫によって保管スペースを狭めることができる商品がたくさんある。

商品個別識別情報に入力された形状・体積・重さ等の情報は、予め輸送安全率・保管スペースの余裕率等を見込んだ数値情報であるため、商品の実際の形状・外形よりも大きく設定されていることがほとんどである。例えば、三角形の底面をもつ商品はその三角形を内包する四角形底面として全体を認識されており、その商品は四角形の面積の立方体スペースに空間余裕を十分にもった状態で保管されることになる。このような場合は、倉庫の収納効率が著しく低下することになる。作業者による経験・知見から倉庫収納効率を上げる臨機応変的な行為として、空きスペース、空き空間をできる限り少なくするように商品を「詰めて」「重ねて」「配置を考えて」収納保管することが実務上の効率性という観点からは重要なものとなる。

しかし、このような臨機応変の行為は、場合によっては商品そのものを情報処理装置１００から指定された棚段番地以外の位置に収納することにもなり、これによって倉庫管理データ上の収納保管番地と現実の収納保管位置との齟齬が生じ、後々に出庫できなくなるばかりか商品の所在が管理データ上対応情報不在、行先不明となってしまう恐れが生ずる。

重要なことは、作業者が臨機応変の処置により商品の収納棚段番地を移動させた場合には、その変更情報が情報処理装置に確実に入力され管理データと商品の位置との相違をなくすことである。しかし実務的には、倉庫内の煩雑な作業中に、作業員がこれらの変更情報を逐次正確に情報処理装置に入力することはむずかしい。倉庫内の定位置に設置されたＰＣ端末では作業者が逐次入力するには遠すぎるし、例えば手持ちの携帯端末では入力するために両手を要することになり作業における煩雑さ及び危険が伴う。

本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを用いた倉庫管理システムにおいては、図３に示すように、ウエアラブルコンピュータを内包もしくは装着するＨＭＤ２０によって作業者の仮想前方空間に投影された仮想画面を映し出し、作業者による指先での簡易操作によって、上記の商品位置変更情報の入力機能が果たされるようなシステムを実現したものである。

倉庫内の各棚段番地の棚見付面には棚段番地（「収納場所情報」ともいう。以下同じ。）識別子票６がある。立体画像である棚段番地画像は、予め撮像され情報処理装置にデータとして蓄積された空ロケーション時の画像情報である。作業者は装着したＨＭＤ２０のディスプレイに映し出された上記の棚段番地画像（仮想画像）に、実際の目前にある現実のその棚段番地を重ね合わせて透視型ＨＭＤ２０で見ることができる。

この際、実際の棚段番地識別子票６中の識別子を、上述のようにシステム側で認識することにより、情報処理装置１００でこの認識された識別子に関する情報を検索・取得し、該得られた情報中の対応棚段番地仮想画像を該当作業者のＨＭＤ２０のディスプレイ２４に映し出す。ディスプレイ２４がシースルー式であればかかる画像と現実の目視画像とが重畳表示されたように、作業者には映ることになる。重畳された現実の棚段番地と仮想画像の棚段番地とが整合していることを作業者は確認することもできる。

次に、収納場所の変更に関連する動作について説明する。例えば、図１に示すＡ１５３ｃ棚段番地９の隣の棚段番地Ａ１５３ｂ１０が、棚段番地容積の略半分を占める別商品が置かれていて残りの略半分の容積が空きスペースになっていた場合、作業者はその空きスペースを有効活用するために、現在Ａ１５３ｃに収納しようとしている商品をＡ１５３ｂに詰めて収納することができる。

作業者は、その空きスペースが情報処理装置１００から指示されたＡ１５３ｃ棚段番地以外の番地であった場合は、新たに収納する棚段番地を変更情報として情報処理装置に入力しなければならない。この棚段番地については上述のように棚見付面の識別子がＨＭＣ２３を介して画像認識されることが可能である。したがって、作業者はＡ１５３ｂ棚段番地１０にＨＭＣ２３を向けるだけでよい。これによりシステム側が画像認識データを取得し、情報処理装置１００にたとえば無線ＬＡＮを介して送信する。作業者は、ＨＭＤ２０に変更されて映し出されたＡ１５３ｂ棚段番地１０の仮想画像を確認し、変更された棚段番地を情報処理装置１００が間違いなく認識したことを確認できる。

次に、この棚段番地Ａ１５３ｂ１０にすでに収納されていた商品と、今から収納保管しようとする商品との棚段番地混同を防止するために、Ａ１５３ｂ棚段番地１０を分割して両商品の棚段番地詳細を区別して特定する情報が情報処理装置１００に入力される必要がある。

図４は、本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの棚段番地の仮想画像表示１２を分割した場合の概要図である。仮想画像で表示された一つの棚段番地の空間は、横軸（ｘ軸）奥行軸（ｙ軸）高さ軸（ｚ軸）によって立体座標指定された範囲で分割することができる。例えば同図に示すように、一つのｙｚ面、ｘｙ面を指定して空間を区切ることにより棚段番地空間は、イ、ロ、ハ、二の４空間に分割される。分割された４つの空間範囲イ、ロ、ハ、ニは、この棚段番地の詳細位置を示すサブ番地３０であり、それぞれＡ１５３ｂイ、Ａ１５３ｂロ、Ａ１５３ｂハ、Ａ１５３ｂニの番地となる。これらのサブ番地は倉庫管理サーバ又はＨＭＤ制御装置２１によって自動設定される。

次に上記のように空間を分割してサブ番地が自動設定される動作について説明する。図４Ａは、本システムの空間分割時の動作を説明するためのタイミング・フローチャートである。

同一棚段番地の空間をいくつかに分割して商品を収納保管する場合（後述する）、作業員は上記と同様にフィンガーアクションによって、空間を分割する指示をＨＭＤ２０に行いながら作業を実施する。作業員は商品を移動させる棚段番地識別子票６を視認し、これに向けて所定のフィンガーアクションをすると、ＨＭＤ２０に搭載されたＨＭＣ２３が棚段番地識別子票６を撮像する（ステップＨ２０１）。

すると、情報処理部２１４の光学的特徴情報抽出部２１４１が、上記撮像された画像情報から収納場所情報（棚段番地識別子情報）を獲得し、制御部２１０が通信部２１２を稼働させて、この収納場所情報を情報処理装置１００に送信する（ステップＨ２０２）。

情報処理装置１００側では通信部１０２がこれを受信し（ステップＳ２０１）、情報処理部１０４において必要に応じて情報加工を施したうえで、ＤＢ１０６にアクセスして予め蓄積された棚段番地撮像データから上記棚段番地映像情報を抽出する（ステップＳ２０２）。情報処理部１０４は必要に応じて情報加工を施したうえで通信部１０２を介して上記棚段番地映像情報をＨＭＤ２０に送信する。制御装置２１は、情報処理部２１４内の加工処理部２１４２で上記棚段番地映像情報を仮想棚段番地空間画像１２に変換し、ディスプレイ２４に表示する（ステップＨ２０３）。

作業員は、現実の上記棚段番地の略前方に立ち、現実の視野にディスプレイ２４に映る仮想棚段番地空間画像１２を重畳させて視認しながら、フィンガーアクションによって仮想棚段番地の空間画像１２を平面で分割することができる。フィンガーアクション等によって仮想画面の１ポイントを始点とする指示キックがなされた場合には、続けて例えば指をスクロールさせて終点ポイントで指示キックをするとＨＭＤにひとつの仮想線が構成される。これは仮想画面上のカーソルに指先を合わせて上記指示キックやスクロールを行うことを、図２Ａに示すＨＭＣ撮像部２３が撮影し、情報処理部２１４によってディスプレイ２４のカーソルを移動させることによって成される。同様に上記仮想線を指でスクロールすると仮想平面３５が構成される。情報処理部２１４の識別対象体動作取得部２１４２が上記フィンガーアクションを認識し、加工処理部２１４２が分割された空間数認知と番号設定のアルゴリズムを用いて、上記仮想棚番地の空間を仮想平面３５によって２分割し（ステップＨ２０４）、両空間にサブ番地（例えば後述するサブ番地イ、ロ、ハ、ニ）を設定する（ステップＨ２０５）。ここで、分割された空間数認知と番号設定のアルゴリズムとは、例えば特許文献３、４、５に開示された立体の要素分割とその要素の特定に関する技術思想によって利用される公知のアルゴリズム等を指す。

作業員は分割されたどちらかのサブ番地空間に商品を収納保管し、サブ番地空間及び商品を視認しながら所定のフィンガーアクションをすると、ＨＭＤ２０に搭載されたＨＭＣ２３が棚段番地識別子票６と商品個別識別情報表示体５とを撮像する（ステップＨ２０６）。そして情報処理部２１４の光学的特徴情報抽出部２１４１が、上記撮像された画像情報からサブ番地を追加された収納場所情報を獲得し（ステップＨ２０７）、制御部２１０が通信部２１２を動かして、この収納場所情報を情報処理装置１００に送信する（ステップＨ２０８）。

情報処理装置１００側では通信部１０２がこれを受信し（ステップＳ２０３）、情報処理部１０４において必要に応じて情報加工を施したうえで、ＤＢ１０６にアクセスしてデータ更新を行う（ステップＳ２０４）。

このようにＡ１５３ｂ棚段番地１０の仮想空間は、このｘｙ面、ｙｚ面、ｘｚ面の座標指定によっていくつにも分割することができる。作業員は上記動作を繰り返すことによって商品と収納場所情報との情報を逐次情報処理装置１００に対して更新することができる。ただし、棚段番地のサブ番地指定による区切り指定方法は、面による空間仕切りに限定する必要はない。例えばポイントによる点在指定であってもよい。

図５は、本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの仮想画像表示への指ポインターが用いられた場合の入力方法を示す概要図である。同図に示すように作業者は、例えば親指及び／もしくは人差し指等に画像認識装置（ＨＭＣ：ヘッドマウントカメラ）２３で認識可能な識別対象体を備えた指サック状のポインター２７を装備している。

識別対象体とは、一定の撮像対象をマークし、このマークされた対象の経時的な位置変動の軌跡をたとえば平面画像化した画像の特徴点を抽出し、別途登録されている特徴点情報との画像照合・パターンマッチングを通じて、所定の要求動作として把握することを可能にすることをいう。ただし指先を認識するための媒体は識別対象体機能を有する指サックポインターに限定する必要はない。手袋状の入力装置であってもよい。要は、利用者・作業者による動作を変更に係る入力アクションとして変換できる機能を実現するものであればよく、たとえば、特定の塗料を塗布した身体の動作、特定の音声（手を叩く、「はじめ」等の特定後の発語をする等）であってもよい。

例えば、作業者の指先の動きに同期するポインター２７の動き情報を、情報処理装置への入力アイテムである稼働ＯＮ・位置指定・スクロール・変更・移動・入力・完了ＯＦＦ等の処理指示アイテム情報とあらかじめ対応させて設定して、情報処理装置（に係る記憶装置）に格納させておくことにより、作業者はＨＭＤ前方に仮想投影されたＡ１５３ｂ番地の仮想画像内のカーソルを、指先を用いて操作すること（以降「フィンガーアクション」と称する。）によって、現実のフィンガーアクションを仮想画像の入力動作に変換することが可能になる。指先の動きとしては、丸印を書く、鋭く２回振り下ろす、指先を前方に突き出す等を含めて様々な態様が可能である。

フィンガーアクションのポインター２７は、一本の指に限定する必要はない。図５のように二本の指でスクロールできる仕様であってもよいし、複数の指や両手であってもよい。もちろんこの指先の動き以外に、作業者の音声を組み合わせて操作できるようにしてもよいし、身体のどの部分の動作でも、音でも、振動でも入力指示トリガーとなるものであれば可能である。

図２に示すように、作業者のＨＭＤには音声認識用のマイクが装備されているため、上述フィンガーアクションに加えて／或いはこれに替えて、仮想画像内のカーソル移動処理のためのＯＮ、ＯＦＦ、クリック、ダブルクリック等の指示トリガーを音声によって補足操作することが可能である。

棚段番地を示す仮想画像３４及びフィンガーアクション２８の操作によれば、利用者としては、例えば棚段番地の仮想の三次元方眼表示２６された仮想画像上のカーソルを、現実的な指先を使って入力クリックしｙｚ面を作り、このｙｚ面を左から右側にスクロールさせながら中間の数か所をダブルクリックすることにより、棚段番地空間を縦に任意に複数分割することもできる。入力クリックの動作とは、たとえば、指先を鋭く２回振り下ろすとか、指先を前方に突き出す、親指と人差し指を接触させる等を含むが、これらに限定されることはなく、要は、ＨＭＣが画像認識できればよい。

同様に奥行方向に対しても、利用者として、ｘｚ面を、同様にカーソルをスクロールさせながらフィンガーアクション２８によっていくつかに分割することもできる。ＨＭＤ２０に映し出された仮想画像は三次元立体画像として映し出されており、三次元方眼表示２６がされているため、奥行であるｙ方向に対しても作業者は的確な空間分割を行うことが可能である。同様に高さｚ軸方向に対しても行うことができる。

作業者が商品の収納位置を情報処理装置から指定された棚段番地から他の棚段番地に変更する場合、作業者は変更先の棚段番地に接近して、その棚段番地の現実の視界とＨＭＤ２０に映し出された仮想画像とを重畳させるような配置をとる。その際、現実の棚段番地と仮想表示された棚段番地とは、棚段番地識別子（収納場所情報に係る識別子）をＨＭＣ２３が画像取得し、情報処理部が認識・識別することにより現実の棚段番地と仮想表示棚段番地とが番地データとして一致視され、作業者はそれを仮想画面の応答によって確認することができる。

その後、利用者サイドとしては、上述のようにＨＭＤ仮想番地画像に映された変更先の棚段番地内の仮想空間を、カーソルを現実のフィンガーアクションとして操作することによって仮想平面３５で仕切り、その各々に詳細位置番地（以降サブ番地と称する。）を設定することができる。

次に具体的な作業の詳細を例示的に説明する。作業者は、図５に示すように映し出された仮想画像にあるカーソルをフィンガーアクション２８によってスクロールすることにより、例えばＡ１５３ｂ棚段番地の空間を仕切るｘｙ面を作り仮想空間中に位置指定する。同様にｙｚ面を作り仮想空間中に位置指定する。ｘｙ面とｙｚ面とが一つずつ位置指定されることによって、Ａ１５３ｂ棚段番地の空間は４分割されることになり、その分割空間４つにそれぞれのサブ番地イ、ロ、ハ、ニが情報処理装置によって自動採番される。仮想空間をこのように仕切ることによって、現実の棚段番地の空間に位置を特定するサブ番地がついたことになる。分割空間の広さ、範囲、体積や分割数は、作業者が自在に設定できる。

作業者は、Ａ１５３ｂ棚段番地の空スペースである例えばサブ番地Ａ１５３ｂハに、移動収納しようとする商品を収納して収納作業を終える。次に作業者がたとえばＨＭＤ２０を移動収納先の棚やその付近の収納場所情報に係る識別子に合わせる。すると、ＨＭＤに映し出された仮想棚段番地と商品が移動収納された現実の棚段番地とが略重ね合わせた状態となる。この状態を、たとえば上述した画像のパターンマッチングのアルゴリズム（公知のものを採用することができる）によってシステム側で、サブ番地に収納された商品の個別識別情報をＨＭＣが読み取り認識することによって、その商品がＡ１５３ｂハに収納されたことを示す情報が情報処理装置に入力されてデータ変更が記録される。

図６は、本発明の一実施形態に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムの棚段番地の仮想画像表示を分割した場合の斜視図である。同図は、床板８の上の空間が仮想面で４分割されたイメージを斜視図で表している。同図に示すように、仮想棚段番地空間画像１２をｘｚ面とｙｚ面で分割した空ロケーション１４は、サブ番地空間３１がイ、ロ、ハ、ニのように４つできることになる。

これによって、作業者が商品の位置を情報処理装置から指定された棚段番地から他の棚段番地に変更する場合も、実際の商品と情報処理装置内の収納番地データとのミスマッチは起こらない。収納番地を変更する商品が多数ある場合は、一つの個別識別情報をＨＭＣで画像認識させた後に商品数をフィンガーアクションで入力してもよいし、商品の区切りに当たる情報をフィンガーアクションによって入力することとしてもよい。また、商品の収納重ね積み付け方法によっては商品個別識別情報を画像認識できない場合もあるため、それらの情報をすべてフィンガーアクションで入力することもできる。

上述の作業もしくはシステム動作を繰り返すことによって、それぞれの棚段番地の空き空間・無駄空間は狭められ倉庫内収納効率は著しく向上することになる。また、移動された商品の収納位置データは逐次ＨＭＣにより取得されて情報処理装置に例えば無線ＬＡＮを通じて送信入力されるため、棚段番地データが適応的に更新される結果、収納場所情報に混乱を起こすことはない。作業者は、キーボード操作や液晶画面操作で入力作業を実施する必要はなく、逐次倉庫内棚段周囲を目視しながら商品の収納保管や移動収納にのみに集中して作業を行うことができる。すなわち、煩雑な作業が回避されて作業者の注意負担は軽微なもので済むことから、作業者は、経験・知見による倉庫内の有効活用及び収納効率向上のための作業に集中することができる。注意力は安全面に集中することができるため、安全、スムーズな作業環境が提供されることになる。

パレット置きによる倉庫作業においてもパレットを識別する識別子を貼付することによって上記と同じような作業環境が実現できることは言うまでもない。パレット識別子と棚段位置識別子（収納場所情報に係る識別子）とが同期し収納保管された商品個別識別情報が入力されていることによって、情報処理装置のデータは有効に機能することになる。パレットと共に収納位置に係る情報は、幅・奥行・高さの特定された空間情報として情報処理装置によってデータ管理されており、上記と同様に、すべてが空ロケーションとなっているか、どのような商品がいくつ収納されて、どのくらいの空間体積を現在占有しているかが逐次管理されることになる。

上記内容はすべて倉庫内に棚段が存在していることを前提に説明したが、倉庫内に棚などの存在しない広い空間の空きロケーションの場合でも、本願に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを用いる倉庫管理システムは適応できる。この場合は、例えばＡ棟に広いたったひとつの１５番棚１段ａ位置（Ａ１５１ａ棚段番地）のみが存在すると設定すればよい。

広いひとつの空きロケーションは、上述のようにＡＲ／ＶＲを利用した物品収納補助装置及びシステムを用いる倉庫管理システムを適用することによって、任意にいくつもの仮想空間に分割しながらサブ番地を設定し、種々の入荷商品を収納保管することができる。現実の仕切りが何もない空間に、仮想の仕切りを設けて、それぞれの空間にサブ番地を設定して収納商品情報と収納保管位置情報を情報処理装置に送信して管理することができる。これも本願に係る技術思想の一部である。

上記のように本願に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムを用いる倉庫管理システムによれば、作業者による臨機応変な倉庫内商品移動がスムーズに実施でき、倉庫内収納効率が飛躍的に向上する。

上述したように、本願に係るＡＲ／ＶＲを利用した物品収納補助装置及びシステムによれば、倉庫内収納保管を実施する作業者の目視・知見・経験による倉庫内収納効率向上のための臨機応変な対応が逐次可能となり、同時に倉庫管理システム全体の商品データ管理においても同期した商品収納位置管理が可能となる。

さらに、作業者の安全性や作業性を格段に向上させつつ、倉庫内収納効率及び倉庫管理システムの信頼性を飛躍的に向上させることができ、経済効率も格段に向上させることの可能な企業内製品管理が実現される。

したがって本発明は、単なる倉庫管理システム及び設備機器に限定されることなく、ＡＲ・ＶＲ活用機器、画像処理機器、情報処理機器及び関連するあらゆる産業に対して大きな有益性をもたらすものである。本発明の産業上の利用可能性は広く、産業界への展開が大きく期待できる。

１ 倉庫棚（Ａ棟１５番棚）
２ 棚段
３ 棚段位置
４ 収納ロケーション
５ 商品個別識別情報表示
６ 棚段番地識別子
７ フォークリフト
８ 床板
９ 棚段番地Ａ１５３ｃ
１０ 棚段番地Ａ１５３ｂ
１１ 作業者
１２ 仮想棚段番地空間画像
１３ 収納ロケーション
１４ 空きロケーション
１５ 入荷商品
２０ ＨＭＤ（ヘッドマウントディスプレイ：ウエアラブルコンピュータ）
２１ 制御装置
２２ 画像撮像装置
２３ ＨＭＣ（ヘッドマウントカメラ）
２４ 透視型ディスプレイ
２５ マイク
２６ 三次元方眼表示
２７ ポインター
２８ フィンガーアクション
２９ スクロール
３０ サブ番地
３１ サブ番地空間
３２ ｘｙ面
３３ ｙｚ面
３４ 仮想画像
３５ 仮想平面

Claims (9)

1. 物品または物品の収納場所に関連する自動読み取り可能な光学的特徴情報を含む画像情報を取得する撮像手段と、
   画像情報及び／もしくは文字情報を含む情報を表示することができる表示手段と、
   収納対象物ごとに該収納対象物が収納されるべき場所に係る収納情報を格納する第１の記憶手段と、
   前記撮像手段により得られた画像情報から収納対象物に係る第１のＩＤ（識別）情報を取得する手段と、
   前記第１の記憶手段から前記取得された第１のＩＤ情報に関する収納情報を獲得する手段と、
   前記撮像手段により、収納対象物の収納場所に係る第２のＩＤ情報を取得する手段と、
   前記取得された第２のＩＤ情報をもとに前記収納対象物が格納されるべき収納場所に係る情報を前記表示手段に表示する手段と
   を具備することを特徴とする物品収容補助装置。
2. 前記撮像手段により作業者からアクションに係る画像を撮像しアクション情報として取得する手段と、
   アクション情報から特徴情報を導出する特徴情報導出手段と、
   特徴情報ごとの要求動作に係る情報が対応して定義・格納されている第２の記憶手段と、
   前記特徴情報導出手段により導出した特徴情報に対応する要求動作に係る情報を前記第２の記憶手段から取得する要求動作情報取得手段と、
   前記取得された要求動作情報が所定の情報である場合に、前記第１の記憶手段に格納されている所定の収納対象物に対応する第２のＩＤ情報を更新する手段と
   をさらに具備することを特徴とする請求項１記載の物品収容補助装置。
3. 前記獲得された収納情報と前記第２のＩＤ情報に関連する収納情報とを比較する手段をさらに具備することを特徴とする請求項１もしくは２記載の物品収容補助装置。
4. 前記アクション情報は、マーカーの始点及び終点を該マーカーの所定の動きによって画される情報であることを特徴とする請求項１もしくは２記載の物品収容補助装置。
5. 前記アクション情報は、マーカーの始点及び終点が音声によって与えられることを特徴とする請求項１もしくは２記載の物品収容補助装置。
6. 前記表示手段が、実際の目視風景と、前記作成された情報とを重畳して表示できるヘッドマウントディスプレイであることを特徴とする請求項１もしくは２記載の物品収容補助装置。
7. 前記ディスプレイが可搬表示装置であることを特徴とする請求項４記載の物品収容補助装置。
8. 前記光学的特徴情報が識別子であることを特徴とする請求項１乃至５のうち１項記載の物品収容補助装置。
9. 物品収納位置情報が前記光学的特徴情報に係る場所に関連付けて、前記表示手段に重畳的に表示されることを特徴とする請求項１乃至６のうち１項記載の物品収容補助装置。

Images