JP6476031B2 - 画像投影装置、画像投影方法及びプログラム - Google Patents

Description

本発明は、画像投影装置、画像投影方法及びプログラムに関する。

近年では、拡張現実（ＡＲ：Augmented Reality）と称される技術（以下、ＡＲ技術と表記）が注目されている。

ＡＲ技術によれば、現実空間に配置されたＡＲマーカと称される所定のマークを含む撮像画像を画像表示装置に備えられるカメラを用いて撮像することによって、当該撮像画像（現実空間を撮像した画像）上にＡＲマーカに対応する情報を重畳表示することができる。ユーザは、撮像画像に対して重畳表示された情報を、画像表示装置の画面上で確認することができる。

特開２０１３−１３４５３８号公報

ここで、商品（物品）を仕分ける作業（以下、ピッキング作業と表記）を行う場合に上述したＡＲ技術を利用することを想定する。

この場合、例えば商品が梱包されたダンボール箱に付されたＡＲマーカ（を含む撮像画像）を撮像することによって、当該ＡＲマーカに対応する情報（例えば、当該ダンボール箱に関連する情報）が撮像画像（ダンボール箱の画像）上に重畳表示される。

これにより、ユーザは、ダンボール箱に関連する情報を画像表示装置の画面上で確認することができる。ダンボール箱に関連する情報には、当該ダンボール箱に対する作業内容または当該ダンボール箱に梱包されている商品に関する情報等が含まれる。

しかしながら、ピッキング作業を行う現場では同様の形状のダンボール箱が多数配置されている場合が多い。このような場合、上記したように画面表示装置の画面上で各ダンボール箱に関連する情報を確認したとしても、当該情報を確認したダンボール箱が現実空間のどの位置に配置されているかを特定することは困難である。

そこで、本発明の目的は、現実空間に配置された対象物に関連する情報を現実空間において提示することが可能な画像投影装置、画像投影方法及びプログラムを提供することにある。

本発明の１つの態様によれば、携帯可能な画像投影装置において、対象物に割り当てられた識別情報及び当該対象物に関連する関連情報を対応づけて格納する格納手段と、現実空間に配置された対象物に付され、当該対象物に割り当てられた識別情報を表す光学式認識コードを含む第１の画像を撮像する撮像装置と、前記撮像装置によって撮像された第１の画像に含まれる光学式認識コードによって表される識別情報に対応づけて前記格納手段に格納されている関連情報を取得する取得手段と、前記撮像装置によって撮像された第１の画像に含まれる光学式認識コードの当該第１の画像上における位置に基づいて前記取得された関連情報が配置された第２の画像を生成する生成手段と、前記撮像装置の近傍に配置され、前記生成された第２の画像を現実空間に投影する投影装置とを具備し、前記撮像装置の光軸の向きと前記投影装置の光軸の向きとは、略同一であり、前記撮像装置の画角と前記投影装置の画角とは、略同一であることを特徴とする画像投影装置が提供される。

本発明は、現実空間に配置された対象物に関連する情報を現実空間において提示することを可能とする。

本発明の実施形態に係る画像投影装置の外観の一例を示す図。 図１に示す画像投影装置のハードウェア構成の一例を示す図。 本実施形態に係る画像投影装置の機能構成を示すブロック図。 図３に示す格納部のデータ構造の一例を示す図。 本実施形態に係る画像投影装置の処理手順を示すフローチャート。 カラービットコードについて説明するための図。 画像投影装置の利用態様の一例について説明するための図。 画像投影装置の利用態様の一例について説明するための図。 画像投影装置の利用態様の一例について説明するための図。 画像投影装置の利用態様の一例について説明するための図。 画像投影装置の利用態様の一例について説明するための図。

以下、図面を参照して、本発明の実施形態について説明する。
図１は、本実施形態に係る画像投影装置の外観の一例を示す図である。本実施形態に係る画像投影装置１０は、ユーザによって携帯可能な端末装置である。

図１に示すように、画像投影装置１０は、カメラ１１及びプロジェクタ１２を備える（内蔵する）。

カメラ１１は、例えば現実空間に配置された対象物に付された光学式認識コード（光学式シンボル）を含む画像（第１の画像）を撮像することが可能な撮像装置である。対象物に付された光学式認識コードは、当該対象物を識別するための識別情報を表すコードである。

画像投影装置１０は、カメラ１１によって光学式認識コードを撮像することによって、当該光学式認識コードを読み取る機能を有する。画像投影装置１０において読み取ることが可能な光学式認識コードには、例えば後述するカラービットコードや、バーコード、二次元コード、グリッド型カラーコード及びＡＲマーカのような所定の形状のコード等が含まれる。

プロジェクタ１２は、カメラ１１の近傍に配置され、画像投影装置１０による光学式認識コードの読み取り結果に基づいて対象物に関連する情報（以下、関連情報と表記）を含む画像（第２の画像）を現実空間に投影することが可能な投影装置である。

なお、本実施形態において、カメラ１１及びプロジェクタ１２は、当該カメラ１１の光軸の向きと当該プロジェクタ１２の光軸の向きとが略同一となるように、画像投影装置１０の本体に搭載されている。

図２は、図１に示す画像投影装置１０のハードウェア構成の一例を示す。図２に示すように画像投影装置１０は、図１に示すカメラ１１及びプロジェクタ１２に加えて、不揮発性メモリ１３、ＣＰＵ１４及びメインメモリ１５等を備える。

不揮発性メモリ１３は、例えば光学式認識コードの読み取り処理及び投影画像の投影に関する処理を実現するためのプログラム（以下、画像投影プログラムと表記）を含む各種プログラムを格納する。

ＣＰＵ１４は、例えば不揮発性メモリ１３に格納されている各種プログラムを実行する。ＣＰＵ１４は、画像投影装置１０全体の制御を司るものである。

メインメモリ１５は、例えばＣＰＵ１４が各種プログラムを実行する際に必要とされるワークエリア等として使用される。

図２においては省略されているが、画像投影装置１０は、外部機器と通信を行うための通信装置を備えていてもよい。

図３は、本実施形態に係る画像投影装置１０の機能構成を示すブロック図である。図３に示すように、画像投影装置１０は、格納部１０１、撮像画像取得部１０２、デコード処理部１０３及び投影画像生成部１０４を含む。

本実施形態において、格納部１０１は、例えば図３に示す不揮発性メモリ１３等に格納される。また、撮像画像取得部１０２、デコード処理部１０３及び投影画像生成部１０４は、例えば図３に示すＣＰＵ１４（つまり、画像投影装置１０のコンピュータ）が不揮発性メモリ１３に格納されているプログラム（画像投影プログラム）を実行することにより実現されるものとする。画像投影プログラムは、コンピュータ読み取り可能な記憶媒体に予め格納して頒布可能であるし、例えばネットワークを介して画像投影装置１０にダウンロードされても構わない。

格納部１０１には、上述した対象物に割り当てられた識別情報（すなわち、光学式認識コードによって表される識別情報）及び当該対象物に関連する関連情報が予め格納されている。

撮像画像取得部１０２は、画像投影装置１０に備えられているカメラ１１によって現実空間に配置されている光学式認識コード（が付されている対象物）が撮像された画像（以下、撮像画像と表記）を取得する。すなわち、撮像画像取得部１０２によって取得される撮像画像は、光学式認識コード（が付されている対象物）を含み、色情報の最小単位である複数の画素（ピクセル）から構成される画像である。

デコード処理部１０３は、撮像画像取得部１０２によって取得された撮像画像に含まれる光学式認識コードを読み取る（デコードする）処理を実行する。これにより、デコード処理部１０３は、撮像画像に含まれる光学式認識コードによって表されるコードＩＤを取得する。

投影画像生成部１０４は、デコード処理部１０３によって取得されたコードＩＤに対応づけて格納部１０１に格納されている関連情報を取得する。投影画像生成部１０４は、撮像画像上における光学式認識コードの位置に基づいて、取得された関連情報が配置された画像（以下、投影画像と表記）を生成する。

投影画像生成部１０４によって生成された投影画像は、プロジェクタ１２によって現実空間に投影される。

図４は、図３に示す格納部１０１のデータ構造の一例を示す。図４に示すように、格納部１０１には、コードＩＤ及び関連情報が対応づけて格納される。

コードＩＤは、現実空間に配置されている対象物に割り当てられた識別子である。換言すれば、コードＩＤは、対象物に付された光学式認識コードによって表される識別子である。

関連情報は、当該関連情報に対応づけられているコードＩＤが割り当てられた対象物に関連する情報である。

図４に示す例では、格納部１０１には、コードＩＤ「１」及び関連情報「Ａ」が対応づけて格納されている。これによれば、コードＩＤ「１」が割り当てられた対象物に関連する関連情報がＡであることが示されている。

また、格納部１０１には、コードＩＤ「２」及び関連情報「関連情報Ｂ」が対応づけて格納されている。これによれば、コードＩＤ「２」が割り当てられた対象物に関連する関連情報がＢであることが示されている。

更に、格納部１０１には、コードＩＤ「３」及び関連情報「関連情報Ｃ」が対応づけて格納されている。これによれば、コードＩＤ「３」が割り当てられた対象物に関連する関連情報がＡであることが示されている。

図４に示すように、格納部１０１においては、異なるコードＩＤ（例えば、コードＩＤ「１」及び「３」）に対して同一の関連情報（例えば、関連情報「Ａ」）が対応づけられていてもよい。

次に、図５のフローチャートを参照して、本実施形態に係る画像投影装置１０の処理手順について説明する。

まず、ユーザは、例えば画像投影装置１０に設けられている電源ボタン（図示せず）等を操作することによって、当該画像投影装置１０の電源をオンする。これにより、画像投影装置１０に備えられているカメラ１１が起動される。この場合、現実空間に配置された対象物に付された光学式認識コードがカメラ１１の画角内に含まれるようにユーザがカメラ１１の位置を調整することにより、当該カメラ１１は、光学式認識コードを撮像することができる。

このようにカメラ１１によって光学式認識コードが撮像された場合、撮像画像取得部１０２は、当該光学式認識コードを含む撮像画像を取得する（ステップＳ１）。なお、撮像画像取得部１０２によって取得される撮像画像には、複数の光学式認識コードが含まれていてもよい。

次に、デコード処理部１０３は、ステップＳ１において取得された撮像画像に含まれる光学式認識コードに対してデコード処理（読み取り処理）を実行する（ステップＳ２）。

以下、ステップＳ２のデコード処理について具体的に説明する。ここでは、撮像画像に含まれる光学式認識コードがカラービットコードである場合について説明する。

ここで、図６を参照して、カラービットコードについて説明する。なお、図６においては、便宜的にカラービットコードの一部分のみが示されている。

図６に示すように、カラービットコードは、例えば赤色、緑色及び青色のうちの１の色彩が付されたセル２０が複数配列されて構成されている。図６において、赤色はＲ、緑色はＧ、青色はＢとして示されている。なお、図６においては、説明の便宜上、カラービットコードに３色の色彩（赤色、緑色、青色）が用いられている例が示されているが、各セルに含まれている色彩の遷移を識別することができるのであれば、４色以上の色彩がカラービットコードに用いられても構わない。

カラービットコードを構成するセル２０は、１つの色彩が付される範囲または領域であり、種々の形状を有することができる。図６に示す例では、複数のセル２０の各々は四角形状であるが、例えば丸形状または三角形状等であっても構わない。このような複数のセル２０を線状に配列することによってカラービットコードが形成される。複数のセル２０は、直線状に配列されていてもよいし、曲線状に配列されていてもよい。

なお、カラービットコードを構成するセル２０の数は、予め規定されているものとする。また、カラービットコードは上記したように色彩の遷移によって特定のデータを表すものであるから、当該カラービットコードにおいては、隣接するセル２０同士には同色は付されず、異なる色彩が付される。カラービットコードはこれらの条件等に基づいて作成される。

また、カラービットコードを構成する複数のセル２０には、端点セルが含まれる。端点セルは、線状に連なったセル群から構成されるカラービットコードの端点に位置するセルである。コード内にあるセルは２つのセルと隣接するが、端点セルだけは１つのセルとしか隣接しない。こうした端点セルは必ずコード内に２つある。２つの端点の色彩は必ず異なる。このような端点セルの色彩により、当該端点セルのうちのどちらが起点なのかを判定することができるようになっている。

上記したようなカラービットコードによれば例えば３色の色彩の遷移（配列）によって特定の識別情報を表すことができるため、当該カラービットコードにおける各色彩の占める領域の大きさ及び形状の制限は緩く、当該カラービットコードが例えば凹凸のある表面や柔軟性のある素材上に付された場合であっても、高い読み取り精度を実現することができる。

このようなカラービットコードに対してデコード処理が実行される場合、デコード処理部１０３は、撮像画像を各色領域に区分けする処理（以下、色領域区分け処理と表記）を実行する。

ここで、一般的に撮像画像は背景を含めて様々な色彩で構成されており、それらのパターンも様々である。このため、色領域区分け処理においては、この撮像画像中の色彩を色空間の中で赤色、緑色、青色及び無彩色に区分けし、各画素の色彩をいずれかの領域に当てはめる処理（均色化処理）が行われる。すなわち、色領域区分け処理においては、撮像画像中の各画素に対するラベリング処理が実行される。

なお、上記した赤色、緑色及び青色はカラービットコードを構成する各セルに付される色彩として定義された色彩（以下、構成色と表記）であるが、色領域区分け処理においては、例えば照明、彩色、退色等を考慮して色空間上でこれらの構成色と認定することができる一定の範囲に包含される色彩であれば、当該色彩（の画素）を当該構成色として区分けするものとする。すなわち、例えば赤色の領域を区分けする場合には、当該赤色を中心とする一定の範囲の色彩の画素の全てを赤色の領域として認定する。

無彩色とは、色領域区分け処理において赤色、緑色及び青色として認定される色彩以外の色彩である。

また、上記したように撮像画像に対して均色化処理が行われるが、一般的に当該撮像画像にはノイズ成分が混入している場合が多い。このノイズに相当する微小部位の色彩異変に対しては例えばその周囲の色彩に合わせる、または、平均化する等のノイズ除去処理を行うことによって、当該ノイズを除去することが好ましい。

次に、デコード処理部１０３は、色領域区分け処理によって区分けされた各色領域に基づいて複数の構成色（赤色、緑色及び青色）の領域が配列されてなるカラービットコードの領域（以下、コード領域と表記）を切り出す処理（以下、コード切り出し処理と表記）を実行する。このコード切り出し処理においては、各色領域の周囲の色彩（例えば、他の構成色の領域及び無彩色の領域の配置等）及びカラービットコードを構成するセルの数等に基づいてコード領域が切り出される。

なお、上記した色領域区分け処理及びコード切り出し処理については、例えば特開２００８−２８７４１４号公報等に開示されているため、ここではその詳細な説明については省略する。

更に、デコード処理部１０３は、撮像画像に含まれるカラービットコードの有効性を検証する処理を実行する。具体的には、コード切り出し処理によって撮像画像から切り出されたコード領域において配列されている複数の色領域の数が予め規定されているカラービットコードにおいて配列されるセル２０の数と一致する場合には、撮像画像に含まれるカラービットコードが有効であると判定する。一方、コード切り出し処理によって撮像画像から切り出されたコード領域において配列されている複数の色領域の数が予め規定されているカラービットコードを構成するセル２０の数と一致しない場合には、撮像画像に含まれるカラービットコードが有効でないと判定する。

ここでは、カラービットコードの有効性の検証に予め規定されているセル２０の数を用いるものとして説明したが、当該検証にカラービットコードにおいて有効な色彩（セル）の配列に関するルール等が用いられても構わない。すなわち、上記した撮像画像から切り出されたコード領域において配列されている複数の色領域（色彩）の順番（配列）がルールに合致する場合には撮像画像に含まれるカラービットコードが有効であると判定され、当該ルールに合致しない場合には当該カラービットコードが有効でないと判定されるようにしてもよい。

ここで説明したカラービットコードの有効性の検証処理は一例であり、他の処理によってカラービットコードの有効性が検証されても構わない。具体的には、チェックディジット等により有効性（整合性）が検証されても構わない。

カラービットコードが有効であると判定された場合、デコード処理部１０３は、コード切り出し処理によって撮像画像から切り出されたコード領域において配列されている複数の色領域における色彩の遷移（つまり、当該複数の色領域の順番）に基づいてカラービットコードをデコードする。これによれば、カラービットコードにおける例えば始点セル２０から終点セル２０までの色彩の遷移によって表されるコードＩＤが取得される。始点セル２０は上記した端点セルのうちカラービットコードの始点（起点）となるセルであり、終点セル２０は端点セルのうちカラービットコードの終点となるセルである。なお、カラービットコードが有効でないと判定された場合には、コードＩＤは取得されない。

上記したようにステップＳ２のデコード処理が実行されると、投影画像生成部１０４は、当該デコード処理によって取得されたコードＩＤに対応づけて格納部１０１に格納されている関連情報（当該コードＩＤが割り当てられた対象物に関連する情報）を取得する（ステップＳ３）。

次に、投影画像生成部１０４は、撮像画像取得部１０２によって取得された撮像画像上におけるカラービットコード（光学式認識コード）の位置を抽出する（ステップＳ４）。このカラービットコードの位置は、上記したコード切り出し処理によって切り出された撮像画像からコード領域に基づいて抽出される。

投影画像生成部１０４は、取得された関連情報及び抽出されたカラービットコードの位置に基づいて、当該カラービットコードの位置に当該関連情報が配置された投影画像を生成する（ステップＳ５）。この場合、投影画像生成部１０４は、プロジェクタ１２によって投影された場合に、対象物に関連する関連情報が現実空間に配置された当該対象物に付されたカラービットコードの近傍（または当該カラービットコードと重なる位置）で視認されるような投影画像を生成する。投影画像の具体例については後述する。

プロジェクタ１２は、投影画像生成部１０４によって生成された投影画像を投影する（ステップＳ６）。このようにプロジェクタ１２によって投影画像が投影されることによって、当該投影画像中に配置された関連情報が現実空間においてユーザに対して提示される。

以下、本実施形態に係る画像投影装置１０の利用態様の一例について説明する。ここでは、例えば倉庫等において商品を仕分ける作業（以下、ピッキング作業と表記）を行う場合に、画像投影装置１０を利用する場合を想定する。なお、ピッキング作業が行われる倉庫は暗い環境である場合が多い。一般的に画像投影装置１０（モバイル端末）におけるプロジェクタ１２の光量（明るさ）は低いため、当該画像投影装置１０は、倉庫のような暗い環境で利用されるのに適している。

この場合、商品はダンボール箱に梱包された状態で倉庫内に配置されており、当該ダンボール箱（対象物）には、当該ダンボール箱に割り当てられたコードＩＤを表すカラービットコードが付されている（貼り付けられている）ものとする。図７に示す例では、４つのダンボール箱２０１〜２０４に、それぞれカラービットコード３０１〜３０４が付されている。ここでは、カラービットコード３０１〜３０４は、それぞれ異なるコードＩＤを表すものとする。

なお、ダンボール箱２０１〜２０４に付されているカラービットコード３０１〜３０４によって表されるコードＩＤは、当該カラービットコード３０１〜３０４を例えばカメラ１１を用いて撮像することによって格納部１０１に登録されているものとする。具体的には、例えばカメラ１１によって撮像されたカラービットコード３０１〜３０４（を含むリスト）を含む撮像画像に対して、図５に示すステップＳ２において説明したデコード処理を実行することによって当該カラービットコード３０１〜３０４によって表されるコードＩＤを取得することができる。このように取得されたコードＩＤが格納部１０１に格納（登録）される。

また、上記したようにコードＩＤが登録されたカラービットコード３０１〜３０４がダンボール箱２０１〜２０４に付された後は、当該カラービットコード３０１〜３０４によって表されるコードＩＤに対応づけて、当該ダンボール箱２０１〜２０４（に梱包されている商品）に関連する関連情報が格納部１０１に登録される。

ここで、ピッキング作業が行われる倉庫には、当該ピッキング作業の対象となるダンボール箱と、当該ピッキング作業の対象ではないダンボール箱とが混在して配置されている場合が多い。したがって、関連情報には、例えばダンボール箱２０１〜２０４の各々がピッキング作業の対象である（例えば、配送等のために移動すべき商品である）か否か等を表すマーク（イラスト）が含まれる。

上記したコードＩＤ及び関連情報の登録処理は画像投影装置１０とは異なる外部機器において行われ、格納部１０１には、当該外部装置において登録されたコードＩＤ及び関連情報が格納されるような構成であってもよい。

以下の説明では、カラービットコード３０１及び３０４によって表されるコードＩＤに対応づけて格納部１０１に格納されている関連情報は、当該カラービットコード３０１及び３０４が付されたダンボール箱２０１及び２０４がピッキング作業の対象であることを表すマーク（以下、作業対象マークと表記）を含むものとする。一方、カラービットコード３０２及び３０３によって表されるコードＩＤに対応づけて格納部１０１に格納されている関連情報は、当該カラービットコード３０２及び３０３が付されたダンボール箱２０２及び２０３がピッキング作業の対象でないことを表すマーク（以下、作業非対象マークと表記）を含むものとする。

ピッキング作業が行われる場合、図８に示すように、画像投影装置１０を所持するユーザ（ピッキング作業の作業員）は、ダンボール箱２０１〜２０４（に付されたカラービットコード３０１〜３０４）がカメラ１１の画角内に含まれるように移動し、当該画像投影装置１０を当該ダンボール箱２０１〜２０４に向けてかざす。なお、ピッキング作業の際には作業員の両手が空いていることが好ましいため、画像投影装置１０は、例えば作業員の頭部（例えば、ヘルメット等）または胸部（例えば、胸ポケット等）に装着されて利用されてもよい。

この場合、画像投影装置１０において上述した図５に示すステップＳ１及びＳ２の処理が実行されることによって、投影画像生成部１０４は、カラービットコード３０１〜３０４の各々によって表されるコードＩＤ（すなわち、４つのコードＩＤ）を取得する。

なお、プロジェクタ１２による投影の背景色を例えば白等にすることにより、ステップＳ１及びＳ２の処理（つまり、カラービットコード３０１〜３０４の読み取り処理）のための補助光源として、プロジェクタ１２を利用することも可能である。

投影画像生成部１０４は、取得されたコードＩＤの各々に対応づけて格納部１０１に格納されている関連情報（つまり、当該コードＩＤの各々を表すカラービットコード３０１〜３０４が付されたダンボール箱２０１〜２０４に関連する関連情報）を取得する。ここでは、ダンボール箱２０１及び２０４に関連する関連情報として、作業対象マークが取得される。一方、ダンボール箱２０２及び２０３に関連する関連情報として、作業非対象マークが取得される。

次に、投影画像生成部１０４は、カメラ１１によって撮像された撮像画像上におけるカラービットコード３０１〜３０４の位置に基づいて関連情報（作業対象マーク及び作業非対象マーク）が配置された投影画像を生成する。

具体的には、カメラ１１によって図９に示すような撮像画像４００が撮像されたものとすると、投影画像生成部１０４は、図１０に示す投影画像５００を生成する。この投影画像５００においては、撮像画像４００中の各カラービットコード３０１〜３０４（の位置）に対応する位置に各マーク６０１〜６０４が配置されている。なお、図１０において、カラービットコード３０１及び３０４に対応する位置に配置されている矢印形状のマーク６０１及び６０４は、作業対象マークである。一方、カラービットコード３０２及び３０３に対応する位置に配置されている×印形状のマーク６０２及び６０３は、非作業対象マークである。

このように投影画像生成部１０４によって生成された投影画像５００は、プロジェクタ１２によって現実空間に投影される。

ここで、本実施形態において、カメラ１１の画角とプロジェクタ１２の画角とは略同一となるように調整されているものとする。一般的に、カメラ１１の画角と比較して、プロジェクタ１２の画角の方が小さい。この場合、トリミングを行うことによって、カメラ１１の画角をプロジェクタ１２の画角と略同一となるように調整する。なお、上記したようにカメラ１１の光軸の向きとプロジェクタ１２の光軸の向きとは略同一である。

これによれば、プロジェクタ１２によって上記した投影画像５００が投影された場合、図１１に示すように、当該投影画像５００に配置されたマーク６０１〜６０４は、それぞれカラービットコード３０１〜３０４の近傍に位置する。

なお、図１に示すように、プロジェクタ１２はカメラ１１の近傍に配置されるが、カメラ１１とプロジェクタ１２との光軸の位置は完全には一致しない。このような光軸のずれを調整するために、本実施形態に係る画像投影装置１０は、投影画像の生成において例えばＸＹオフセット、拡大縮小、または回転等を微調整する機能を有しているものとする。

上記したように本実施形態においては、例えばカメラ１１によって撮像された撮像画像４００に含まれるカラービットコード３０１〜３０４によって表されるコードＩＤが割り当てられたダンボール箱２０１〜２０４（つまり、当該カラービットコード３０１〜３０４が付されたダンボール箱２０１〜２０４）に関連する関連情報（マーク６０１〜６０４）を格納部１０１から取得し、当該撮像画像４００上におけるカラービットコード３０１〜３０４の位置に基づいて当該マーク６０１〜６０４が配置された投影画像５００を生成し、当該生成された投影画像５００がプロジェクタ１２によって現実空間に投影される。なお、本実施形態において、カメラ１１の光軸の向きとプロジェクタ１２の光軸の向きとは略同一であり、カメラ１１の画角とプロジェクタ１２の画角とは略同一であるものとする。

本実施形態においては、このような構成により、ダンボール箱２０１〜２０４に関連するマーク６０１〜６０４の各々は、当該ダンボール箱２０１〜２０４に付されたカラービットコード３０１〜３０４の近傍（つまり、現実空間）において提示される。

すなわち、本実施形態において、ユーザは、例えば図１１に示すように、カラービットコード３０１〜３０４（が付されたダンボール箱２０１〜２０４）の近傍のマーク６０１〜６０４を現実空間において視認することが可能であるため、当該マーク６０１〜６０４がそれぞれダンボール箱２０１〜２０４に関連する関連情報であることを容易に把握することが可能となる。

更に、例えばマーク６０１は、カラービットコード３０１によって表されるコードＩＤに対応づけて格納部１０１に格納されている関連情報であり、当該カラービットコード３０１が付されたダンボール箱２０１がピッキング作業の対象であることを表している。これにより、ユーザは、例えばダンボール箱２０１の近傍のマーク６０１を視認することによって、ダンボール箱２０１がピッキング作業の対象であることを容易かつ直感的に把握することができる。なお、マーク６０２〜６０３についても同様である。

これによれば、ユーザは、複数のダンボール箱２０１〜２０４の中からピッキング作業の対象であるダンボール箱（ここでは、ダンボール箱２０１及び２０４）を現実空間において容易に特定することができるため、例えば習熟度等に関係なく効率的な作業を行うことが可能となる。

ダンボール箱２０１〜２０４に関連する関連情報には、例えば当該ダンボール箱２０１〜２０４に梱包されている商品の名称または種別等が含まれていても構わない。これによれば、ユーザは、上記したマーク６０１〜６０４とともに、ダンボール箱２０１〜２０４に梱包されている商品の名称または種別等を当該ダンボール箱２０１〜２０４（に付されているカラービットコード３０１〜３０４）の近傍で視認することができるため、各ダンボール箱２０１〜２０４に梱包されている商品の名称または種別等についても現実空間において容易に把握することが可能である。なお、本実施形態において説明した以外の情報を関連情報として用いても構わない。

例えば、本実施形態においては、カラービットコード３０１〜３０４における端点セル（始点セル及び終点セル）を認識可能である。このため、撮像画像上における端点セルの位置からカラービットコード３０１〜３０４の向きを算出することができる。ここで、カラービットコード３０１〜３０４がダンボール箱２０１〜２０４に対して予め定められた向きで付されているものとすると、カラービットコード３０１〜３０４の向きに基づいてダンボール箱２０１〜２０４の向きを判別することが可能である。したがって、ダンボール箱２０１〜２０４が逆さに置かれている場合には、当該ダンボール箱２０１〜２０４が逆さに置かれていること（を表すマーク）等が関連情報として投影されるようにしてもよい。

また、本実施形態においては、カラービットコード３０１〜３０４がそれぞれ異なるコードＩＤを表すものとして説明したが、複数のダンボール箱をまとめて管理（作業）するような場合には、当該複数のダンボール箱には同一のカラービットコードが付されていても構わない。

なお、本実施形態においてはピッキング作業時に画像投影装置１０を利用する場合について主に説明したが、本実施形態は、例えば対象物の関連情報を現実空間に投影する場合であれば適用することが可能である。

また、本実施形態に係る画像投影装置１０は携帯可能な端末装置であることから、当該画像投影装置１０と対象物との距離は可変である。よって、画像投影装置１０に備えられるプロジェクタ１２は連続的にフォーカスを調整する機能を有していることが好ましい。本実施形態に係る画像投影装置１０は、例えばプロジェクタ１２の投影領域の位置、サイズ及びフォーカス等を手動で調整可能な構成であってもよい。

また、本実施形態においては、カメラ１１を用いた読み取り精度の高さ等の観点から光学式認識コードとしてカラービットコードが用いられるものとして説明したが、カメラ１１を用いて読み取り可能（デコード可能）であればバーコード、２次元コード、グリッド型カラーコード及びＡＲマーカ等が光学式認識コードとして用いられても構わない。

更に、図１においては省略されているが、画像投影装置１０は、ディスプレイ（表示装置）を備える構成であっても構わない。この場合、例えばカメラ１１を用いて光学式認識コードを撮像する場合に、当該撮像される撮像画像をディスプレイに表示することにより、ユーザは、当該光学式認識コードが当該撮像画像内に含まれているか否か（つまり、カメラ１１の画角）を確認することが可能となる。

また、プロジェクタ１２によって投影画像が投影されている間には、当該投影画像中の関連情報とは異なる情報がディスプレイに表示されてもよい。例えば上記したように画像投影装置１０がピッキング作業時に利用される場合には、ピッキング作業のスケジュール等がディスプレイに表示されてもよい。

また、格納部１０１は、画像投影装置１０と通信可能に接続される外部機器に備えられる構成であってもよい。この場合、画像投影装置１０によって読み取られた光学式認識コードによって表されるコードＩＤは、外部機器に送信される。外部機器は、当該外部機器に備えられる格納部１０１から画像投影装置１０によって送信されたコードＩＤに対応づけられている関連情報を取得し、当該関連情報を画像投影装置１０に送信する。画像投影装置１０は、このように外部機器によって送信された関連情報に基づいて投影画像を生成すればよい。

なお、格納部１０１に格納されているコードＩＤ及び関連情報は、適宜更新可能であるものとする。すなわち、格納部１０１においては、新たなコードＩＤを追加するまたは既存のコードＩＤを削除することも可能であるし、コードＩＤに対応づけられている関連情報を更新（変更）することも可能である。このようなコードＩＤ及び関連情報の更新は、画像投影装置１０において行われてもよいし、当該画像投影装置１０と通信可能に接続される外部機器において行われてもよい。

更に、本実施形態に係る画像投影装置１０は、デプスセンサを備える構成とすることも可能である。デプスセンサは、光学式認識コードが付された対象物の当該画像投影装置１０からの距離が規定された画像（デプス画像）を取得することが可能な撮像装置である。このようなデプスセンサ（によって取得されるデプス画像）を用いることにより、より対象物の形状に合わせた投影画像を生成することが可能となるため、関連情報に対するユーザの視認性を向上させることが可能となる。

本実施形態に係る画像投影装置１０は、図１に示すようにカメラ１１とプロジェクタ１２とが１の装置に内蔵された構成であるものとして説明したが、例えばカメラ１１を備える第１の装置（例えば、スマートフォン等）に対してプロジェクタ１２が設けられている第２の装置（例えば、専用のケース等）を取り付けることによって実現されても構わない。このような構成によれば、汎用のスマートフォン等に専用のケースを取り付けることによって本実施形態に係る画像投影装置１０を利用することが可能となる。第１の装置としては、スマートフォン以外にウェアラブルデバイス及びタブレット端末等が利用されても構わない。なお、このような構成の場合であっても、カメラ１１の光軸とプロジェクタ１２の光軸とは略同一であり、カメラ１１の画角とプロジェクタ１２の画角とは略同一であるように構成されるものとする。

なお、上記した実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。

更に、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であってもよい。

なお、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。

また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組合せてもよい。

１１…カメラ（撮像装置）、１２…プロジェクタ（投影装置）、１３…不揮発性メモリ、１４…ＣＰＵ、１５…メインメモリ、１０１…格納部、１０２…撮像画像取得部、１０３…デコード処理部、１０４…投影画像生成部。

Claims (8)

1. 携帯可能な画像投影装置において、
   対象物に割り当てられた識別情報及び当該対象物に関連する関連情報を対応づけて格納する格納手段と、
   現実空間に配置された対象物に付され、当該対象物に割り当てられた識別情報を表す光学式認識コードを含む第１の画像を撮像する撮像装置と、
   前記撮像装置によって撮像された第１の画像に含まれる光学式認識コードによって表される識別情報に対応づけて前記格納手段に格納されている関連情報を取得する取得手段と、
   前記撮像装置によって撮像された第１の画像に含まれる光学式認識コードの当該第１の画像上における位置に基づいて前記取得された関連情報が配置された第２の画像を生成する生成手段と、
   前記撮像装置の近傍に配置され、前記生成された第２の画像を現実空間に投影する投影装置と
   を具備し、
   前記撮像装置の光軸の向きと前記投影装置の光軸の向きとは、略同一であり、
   前記撮像装置の画角と前記投影装置の画角とは、略同一である
   ことを特徴とする画像投影装置。
2. 前記光学式認識コードは、３以上の色彩のうちの１の色彩が付されたセルが複数配列されてなるコードを含むことを特徴とする請求項１記載の画像投影装置。
3. 前記投影装置は、連続的にフォーカスを調整する機能を有することを特徴とする請求項１記載の画像投影装置。
4. 前記撮像装置によって撮像される第１の画像を表示する表示装置を更に具備することを特徴とする請求項１記載の画像投影装置。
5. 前記表示装置は、前記関連情報とは異なる情報を更に表示することを特徴とする請求項４記載の画像投影装置。
6. 前記撮像装置は、第１の装置に設けられており、
   前記投影装置は、前記第１の装置に取り付け可能な第２の装置に設けられている
   ことを特徴とする請求項１記載の画像投影装置。
7. 撮像装置と、前記撮像装置の近傍に配置された投影装置と、対象物に割り当てられた識別情報及び当該対象物に関連する関連情報を対応づけて格納する格納手段とを備える、携帯可能な画像投影装置が実行する画像投影方法であって、
   現実空間に配置された対象物に付され、当該対象物に割り当てられた識別情報を表す光学式認識コードを含む第１の画像を、前記撮像装置を用いて撮像するステップと、
   前記撮像された第１の画像に含まれる光学式認識コードによって表される識別情報に対応づけて前記格納手段に格納されている関連情報を取得するステップと、
   前記撮像された第１の画像に含まれる光学式認識コードの当該第１の画像上における位置に基づいて前記取得された関連情報が配置された第２の画像を生成するステップと、
   前記生成された第２の画像を、前記投影装置を用いて現実空間に投影するステップと
   を具備し、
   前記撮像装置の光軸の向きと前記投影装置の光軸の向きとは、略同一であり、
   前記撮像装置の画角と前記投影装置の画角とは、略同一である
   ことを特徴とする画像投影方法。
8. 撮像装置と、前記撮像装置の近傍に配置された投影装置と、対象物に割り当てられた識別情報及び当該対象物に関連する関連情報を対応づけて格納する格納手段とを備える、携帯可能な画像投影装置のコンピュータによって実行されるプログラムであって、
   前記コンピュータに、
   現実空間に配置された対象物に付され、当該対象物に割り当てられた識別情報を表す光学式認識コードを含む第１の画像を、前記撮像装置を用いて撮像するステップと、
   前記撮像された第１の画像に含まれる光学式認識コードによって表される識別情報に対応づけて前記格納手段に格納されている関連情報を取得するステップと、
   前記撮像された第１の画像に含まれる光学式認識コードの当該第１の画像上における位置に基づいて前記取得された関連情報が配置された第２の画像を生成するステップと、
   前記生成された第２の画像を、前記投影装置を用いて現実空間に投影するステップと
   を実行させ、
   前記撮像装置の光軸の向きと前記投影装置の光軸の向きとは、略同一であり、
   前記撮像装置の画角と前記投影装置の画角とは、略同一である
   ことを特徴とするプログラム。

Images