JP6326959B2 - 投影システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は投影システム、情報処理装置、情報処理方法及びプログラムに関する。

近年、プロジェクタ等の投影装置を使用して対象物に映像を投影し、投影した映像に様々な視覚効果を与える"プロジェクションマッピング"と呼ばれる技術が普及している。

一般に、プロジェクションマッピングは、ビルなどの建築物を対象として、広告などの映像を投影するのに用いられてきた。一方で、例えば、ショールーム等における商品に直接映像を投影し、当該商品を紹介する際の演出に利用すれば、より多くの顧客の目を当該商品に引きつけることができるものと考えられる。

しかしながら、プロジェクションマッピングの場合、投影装置のユーザは、投影する映像と対象物との位置関係を事前に定義しておくことが必要であり、そのための作業に手間がかかるため、利便性が悪い。

また、ショールーム等における商品のように載置方向を自由に変えることができる対象物の場合、位置関係を事前に定義しても映像がずれて投影されてしまうことが想定される。対象物に対して映像がずれて投影された場合、その都度、ユーザは事前に定義された位置関係を満たすように、対象物の位置合わせを行わなければならず、利便性が悪い。

本発明は上記課題に鑑みてなされたものであり、プロジェクションマッピングを行う場合のユーザの利便性を向上させることを目的とする。

本発明の実施形態に係る情報処理方法は、以下のような構成を有する。すなわち、
映像を処理する情報処理装置と、処理された映像を対象物の表面に投影する投影装置と、を有する投影システムにおける情報処理方法であって、
前記対象物が載置される載置面に対して、前記投影装置の投影方向を表す平行線を投影する第１の投影工程と、
前記載置面に載置された前記対象物の載置方向を表す方向線を、前記載置面に投影する第２の投影工程と、
前記対象物の表面に投影された映像に対して前記対象物が位置合わせされた状態における、前記平行線に対する前記方向線の角度であるキャリブレーション角度を算出する第１の算出工程と、
前記キャリブレーション角度を、前記対象物を示す識別情報と対応付けて格納する格納工程とを有する。

本発明の各実施形態によれば、プロジェクションマッピングを行う場合のユーザの利便性を向上させることが可能となる。

投影システムのシステム構成を示す図である。 投影システムの配置例を示す図である。 情報処理装置のハードウェア構成を示す図である。 キャリブレーションプログラムが実行されることで実現される機能を示す図である。 キャリブレーション処理の流れを示すフローチャートである。 キャリブレーション処理時に投影される映像を示す図である。 キャリブレーション情報を示す図である。 方向検出機能を説明するための図である。 方向検出処理の流れを示すフローチャートである。 マッピング映像情報を示す図である。 プロジェクションマッピングプログラムが実行されることで実現される機能を示す図である。 プロジェクションマッピング処理の流れを示すフローチャートである。 プロジェクションマッピング処理の流れを説明するための図である。 マッピング映像補正機能を説明するための図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．投影システムのシステム構成＞
はじめに、本実施形態に係る投影システムのシステム構成について説明する。図１は、投影システム１００のシステム構成を示す図である。

図１に示すように、投影システム１００は、投影装置の一例であるプロジェクタ１１０と、撮像装置の一例であるカメラ１２０と、情報処理装置１４０とを有する。また、投影システム１００は、対象物である商品に付された商品タグ１９０を読み取るＲＦＩＤリーダ１３０を有する。なお、プロジェクタ１１０、カメラ１２０、ＲＦＩＤリーダ１３０は、それぞれ情報処理装置１４０と接続されている。

プロジェクタ１１０は、情報処理装置１４０より送信される映像を商品及び商品が載置される載置面に投影する。情報処理装置１４０より送信される映像には、商品の表面にプロジェクションマッピングするための映像が含まれる。また、商品が載置される載置面に、プロジェクタ１１０の投影方向を表す平行線（例えば、格子状の線（格子線）を含む）を投影するための映像、あるいは、載置面に載置された商品の載置方向を表す線（方向線）を投影するための映像が含まれる。

カメラ１２０は、キャリブレーション処理時に、商品の表面に投影された映像に対して商品が位置合わせされた状態を撮影し、撮影画像を情報処理装置１４０に送信する。また、カメラ１２０は、プロジェクションマッピング処理時に、商品が載置面に載置された状態を撮影し、撮影画像を情報処理装置１４０に送信する。

なお、「キャリブレーション処理」とは、商品の表面に対してプロジェクションマッピングが適切に行われた状態（商品の位置合わせが行われることで、商品の表面に映像がずれることなく投影されている状態）を記録しておくための処理をいう。

ＲＦＩＤ（Radio Frequency Identifier）リーダ１３０は、商品に付された商品タグ１９０を読み取る。商品に付された商品タグには、２つのＲＦＩＤタグ１９１、１９２が内蔵されており、ＲＦＩＤリーダ１３０は、それぞれのＲＦＩＤタグ１９１、１９２と通信することで、それぞれのＲＦＩＤタグ１９１、１９２に格納された識別情報を読み取る。また、それぞれのＲＦＩＤタグ１９１、１９２と通信した際の受信強度を受信強度情報として取得する。更に、読み取った識別情報及び取得した受信強度情報を情報処理装置１４０に送信する。

情報処理装置１４０は、キャリブレーションプログラム１５０とキャリブレーションプログラム１５０を実行することで得られたキャリブレーション情報を格納するキャリブレーション情報データベース（以下、単にＤＢと略す）１６０とを有する。また、情報処理装置１４０は、商品の表面にプロジェクションマッピングするためのマッピング映像を格納するマッピング映像ＤＢ１８０を有する。更に、情報処理装置１４０は、キャリブレーション情報に応じたマッピング映像を商品の表面にプロジェクションマッピングするためのプロジェクションマッピングプログラム１７０を有する。

キャリブレーションプログラム１５０は、キャリブレーション処理時に、ＲＦＩＤリーダ１３０より送信された識別情報及び受信強度情報に基づいて、商品の載置方向を表す方向線を生成する。また、キャリブレーション処理時に、商品の表面にプロジェクションマッピングするためのマッピング映像と、商品が載置される載置面に格子線を投影するための映像及び方向線を投影するための映像と、をプロジェクタ１１０に送信する。更に、キャリブレーション処理時に、カメラ１２０より送信された撮影画像に基づいて、方向線と格子線とのなす角度（「キャリブレーション角度」と称す）を算出し、撮影画像及び識別情報と対応付けてキャリブレーション情報ＤＢ１６０に格納する。

プロジェクションマッピングプログラム１７０は、プロジェクションマッピング処理時に、ＲＦＩＤリーダ１３０より送信された識別情報及び受信強度情報に基づいて、商品の載置方向を示す角度を算出する。また、プロジェクションマッピング処理時に、算出した商品の載置方向を示す角度と、キャリブレーション処理時に算出したキャリブレーション角度との角度差（角度のずれ量）を算出する。更に、算出した角度差に基づいて、商品の表面にプロジェクションマッピングするマッピング映像を読み出し、撮影画像に基づいて補正したうえで、プロジェクタ１１０を介して、商品の表面に投影するよう指示する。

＜２．投影システムの配置例＞
次に、投影システム１００を構成する各部の配置例について説明する。図２は、投影システム１００の配置例を示す図である。

図２に示すように、商品２００は、ＲＦＩＤリーダ１３０が配された載置面２１０に載置される。載置面２１０の上方には、キャリブレーション処理時に載置面２１０に格子線の映像や方向線の映像を投影したり、商品２００の表面にプロジェクションマッピングするための映像を投影するプロジェクタ１１０が配されている。

同様に、載置面２１０の上方には、キャリブレーション処理時に位置合わせされた商品２００を含む載置面２１０全体を撮影するカメラ１２０が配されている。

一方、載置面２１０における商品２００の載置位置には、ＲＦＩＤリーダ１３０が埋め込まれている。これにより、載置面２１０に載置された商品に付された商品タグ１９０を読み取ることができる。

＜３．情報処理装置のハードウェア構成＞
次に、情報処理装置１４０のハードウェア構成について説明する。図３は、情報処理装置１４０のハードウェア構成を示す図である。

図３に示すように、情報処理装置１４０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、記憶部３０４を備える。更に、接続部３０５、操作部３０６、表示部３０７を備える。なお、情報処理装置１４０の各部は、バス３０８を介して相互に接続されているものとする。

ＣＰＵ３０１は、記憶部３０４に格納された各種プログラムを実行するコンピュータである。

ＲＯＭ３０２は不揮発性メモリである。ＲＯＭ３０２は、記憶部３０４に格納された各種プログラムをＣＰＵ３０１が実行するために必要な、各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラムなどを格納する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ３０３は、各種プログラムがＣＰＵ３０１によって実行される際に展開される、作業領域として機能する。記憶部３０４は、ＣＰＵ３０１により実行される各種プログラムを格納する。

接続部３０５は、プロジェクタ１１０、カメラ１２０、ＲＦＩＤリーダ１３０と接続するための接続部である。

操作部３０６は、情報処理装置１４０に対して各種指示を入力する際に用いられる。表示部３０７は、情報処理装置１４０の内部状態等を表示する。

＜４．情報処理装置のキャリブレーション機能の説明＞
次に、情報処理装置１４０のキャリブレーション機能について、図４〜図７を用いて説明する。

＜４．１ キャリブレーション機能の機能構成＞
はじめに、キャリブレーションプログラム１５０が実行されることで実現されるキャリブレーション機能について説明する。図４は、キャリブレーションプログラム１５０が実行されることで実現されるキャリブレーション機能の機能構成を示す図である。

図４に示すように、キャリブレーション機能には、格子線投影部４０１と、キャリブレーション映像投影部４０２と、方向検出部４０３と、方向線投影部４０４と、キャリブレーション角度算出部４０５とが含まれる。

格子線投影部４０１は、載置面２１０に格子線（プロジェクタ１１０の投影方向を表す平行線）を投影するために、格子線の映像をプロジェクタ１１０に送信する。

キャリブレーション映像投影部４０２は、商品２００の表面にプロジェクションマッピングするためのマッピング映像をプロジェクタ１１０に送信する。キャリブレーション映像投影部４０２によりプロジェクタ１１０に送信されるマッピング映像は、マッピング映像ＤＢ１８０より読み出される。キャリブレーション映像投影部４０２により読み出されるマッピング映像は、マッピング映像ＤＢ１８０に格納されている複数のマッピング映像のうち、基準映像（詳細は後述）として格納されているマッピング映像である。

方向検出部４０３は、ＲＦＩＤリーダ１３０より送信された識別情報及び受信強度情報に基づいて、ＲＦＩＤタグ１９１、１９２の位置座標を算出する。なお、商品タグ１９０は、ＲＦＩＤタグ１９１から見てＲＦＩＤタグ１９２の方向が、商品２００の正面方向を指すように、商品２００に付されているものとする。

方向線投影部４０４は、商品タグ１９０が付された商品２００の載置方向を表す方向線を算出する。具体的には、方向検出部４０３において検出されたＲＦＩＤタグ１９１、１９２の位置座標を通る線を算出することで、方向線の映像を生成する。また、方向線投影部４０４は、生成した方向線の映像をプロジェクタ１１０に送信する。

キャリブレーション角度算出部４０５は、カメラ１２０より送信される撮影画像に基づいてキャリブレーション角度を算出する。なお、カメラ１２０より送信される撮影画像は、載置面２１０に格子線及び方向線の映像が投影され、商品２００の表面に基準映像が投影されている状態で、ユーザが、商品２００に対して位置合わせを行った状態で撮影された撮影画像である。キャリブレーション角度算出部４０５では、撮影画像を解析することで、載置面２１０に投影されている格子線と方向線とのなす角度（キャリブレーション角度）を算出する。つまり、キャリブレーション角度とは、基準映像に基づいて位置合わせが行われた状態での、商品２００の載置方向を表す方向線と格子線とのなす角度である。

＜４．２ キャリブレーション処理の流れ＞
次に、キャリブレーション処理の流れについて、図５及び図６を参照しながら説明する。図５は、キャリブレーション処理の流れを示すフローチャートであり、図６は、キャリブレーション処理時に投影される映像を示す図である。

キャリブレーションプログラム１５０が実行されることで、図５に示すキャリブレーション処理が開始される。

ステップＳ５０１において、格子線投影部４０１は格子線の映像をプロジェクタ１１０に送信することで、載置面２１０に格子線を投影する。図６（ａ）は、載置面２１０に格子線６０１が投影された様子を示している。

ステップＳ５０２において、ＲＦＩＤリーダ１３０が起動すると、ステップＳ５０３において、ユーザは商品２００を載置面２１０に載置する。なお、商品２００が載置面２１０に載置されたことは、ＲＦＩＤリーダ１３０によって検知され、情報処理装置１４０に通知される。

ステップＳ５０４において、キャリブレーション映像投影部４０２は、マッピング映像ＤＢ１８０より基準映像を読み出し、プロジェクタ１１０に送信することで、商品２００に基準映像を投影する。

ステップＳ５０５において、方向検出部４０３は、ＲＦＩＤリーダ１３０から送信された識別情報及び受信強度情報を受信し、ＲＦＩＤタグ１９１、１９２の位置座標を算出する。方向検出部４０３は、商品２００が載置面２１０に載置されている間、所定周期で、位置座標の算出を行う。なお、ステップＳ５０３の方向検出処理の詳細は後述する。

ステップＳ５０６において、方向線投影部４０４は、方向検出部４０３において位置座標が算出されるごとに当該位置座標を通る直線を算出し、商品２００の載置方向を表す方向線の映像を生成する。また、方向線投影部４０４は、生成した方向線の映像を逐次プロジェクタ１１０に送信することで、載置面２１０に方向線を投影する。これにより、載置面２１０に投影された方向線は、商品２００の位置合わせに連動することとなる。

図６（ｂ）は、方向線６０２が載置面２１０に投影され、基準映像６０３が商品２００の表面に投影された様子を示している。なお、図６（ｂ）の例では、基準映像６０３としてアルファベット"Ａ"が投影されている。

図６（ｂ）に示すように、商品２００の位置合わせが行われていない状態では、商品２００の載置方向と基準映像６０３の方向との間で角度にずれが生じている。

ステップＳ５０７において、ユーザは、基準映像６０３が商品２００に対して角度ずれなく投影されるように、商品２００の位置合わせを行う。図６（ｃ）は、ユーザが位置合わせを行っている様子を示している。図６（ｃ）に示すように、商品２００を矢印６１１方向に回転させ商品２００のの載置方向を変えることで、基準映像６０３を、商品２００に対して角度ずれなく投影させることができる。

図６（ｄ）は、商品２００の位置合わせが完了した様子を示している。位置合わせが完了することで、商品２００に対して、基準映像６０３が角度ずれなく投影されることとなる。また、商品２００の載置方向を変えたことで、方向線６０２の方向も変わる。

ステップＳ５０７における位置合わせが完了すると、ステップＳ５０８において、カメラ１２０が載置面２１０を撮影し、撮影画像を情報処理装置１４０に送信する。

ステップＳ５０９において、キャリブレーション角度算出部４０５は、キャリブレーション角度を算出する。図６（ｄ）で示したように、商品２００の位置合わせが完了した状態で撮影された撮影画像には、格子線６０１と方向線６０２とが含まれる。このため、キャリブレーション角度算出部４０５では、撮影画像を解析することで、格子線６０１と方向線６０２とのなす角度（キャリブレーション角度）を算出することができる。

ステップＳ５１０において、キャリブレーション角度算出部４０５は、算出したキャリブレーション角度を、キャリブレーション情報ＤＢ１６０に格納する。なお、キャリブレーション角度算出部４０５では、算出したキャリブレーション角度を、ステップＳ５０５において取得した識別情報及びステップＳ５０８において取得した撮影画像と対応付けてキャリブレーション情報ＤＢ１６０に格納する。

ステップＳ５１１では、キャリブレーション処理の終了指示が入力されたか否かを判定し、終了指示が入力されていないと判定した場合には、ステップＳ５０６に戻る。一方、終了指示が入力されたと判定した場合には、キャリブレーション処理を終了する。

＜４．３ キャリブレーション情報ＤＢの説明＞
次に、キャリブレーション情報ＤＢ１６０に格納されるキャリブレーション情報について説明する。図７は、キャリブレーション情報ＤＢ１６０に格納されるキャリブレーション情報７００の一例を示す図である。図７に示すように、キャリブレーション情報７００は、情報の項目として、"商品識別子"、"キャリブレーション画像"、"キャリブレーション角度"を含む。

"商品識別子"には、ＲＦＩＤリーダ１３０から送信される識別情報が格納される。図７の例では、識別情報＝"ＡＡＡＡ"と"ＢＢＢＢ"とが格納されている。

"キャリブレーション画像"には、キャリブレーション処理時に商品２００の位置合わせが完了した後、カメラ１２０により撮影された撮影画像が格納される。図７の例では、識別情報＝"ＡＡＡＡ"の商品についてのキャリブレーション画像と、識別情報＝"ＢＢＢＢ"の商品についてのキャリブレーション画像とが格納されている。

"キャリブレーション角度"には、キャリブレーション画像に基づいて、キャリブレーション角度算出部４０５により算出されたキャリブレーション角度が格納される。図７の例では、識別情報＝"ＡＡＡＡ"の商品のキャリブレーション角度として、"２０°"が格納され、識別情報＝"ＢＢＢＢ"の商品のキャリブレーション角度として、"７５°"が格納されている。

＜４．４ 方向検出機能の説明＞
次に、キャリブレーション機能を実現するにあたり、商品２００の載置方向を特定するための方向検出機能について説明する。投影システム１００における方向検出機能とは、商品２００に付された商品タグ１９０に内蔵されたＲＦＩＤタグ１９１、１９２との通信結果に基づいて方向線を算出すべく、ＲＦＩＤタグ１９１、１９２の位置座標を算出する機能である。

図８は、投影システム１００における方向検出機能を説明するための図である。図８に示すように、商品タグ１９０は、商品２００に付されており、本実施形態では、商品タグ１９０が付された面を下側にして、商品２００が載置面２１０に載置される。

商品タグ１９０に内蔵されたＲＦＩＤタグ１９１は、商品タグ１９０の略中央位置に配されている。一方、商品タグ１９０に内蔵されたＲＦＩＤタグ１９２は、商品タグ１９０の端部位置に配されている。商品タグ１９０は、商品２００に付される際、ＲＦＩＤタグ１９１からＲＦＩＤタグ１９２に向かうベクトルが、商品２００の正面方向を指すように、付される。

ＲＦＩＤリーダ１３０は、複数のアンテナ８０１〜８０４が配されたアンテナユニット８００と、複数のアンテナ８０１〜８０４を介して送受信される信号を処理する信号処理部８１０とを有する。

複数のアンテナ８０１〜８０４それぞれがＲＦＩＤタグ１９１と通信を行った際の受信強度の一例を、グラフ８２０に示す。方向検出部４０３では、アンテナ８０１〜８０４それぞれの受信強度と、アンテナ８０１〜８０４の位置座標とに基づいて、ＲＦＩＤタグ１９１の位置座標を算出する。

同様に、複数のアンテナ８０１〜８０４それぞれがＲＦＩＤタグ１９２と通信を行った際の受信強度の一例を、グラフ８３０に示す。方向検出部４０３では、アンテナ８０１〜８０４それぞれの受信強度と、アンテナ８０１〜８０４の位置座標とに基づいて、ＲＦＩＤタグ１９２の位置座標を算出する。

このように、方向検出部４０３が、ＲＦＩＤタグ１９１、１９２それぞれの位置座標を算出することで、方向線投影部４０４では、載置面２１０に載置された商品２００の載置方向を表す方向線を算出することができる。

＜４．５ 方向検出処理の説明＞
次に、方向検出処理（ステップＳ６０４）の詳細について説明する。図９は、方向検出部４０３による方向検出処理（ステップＳ６０４）の流れを示すフローチャートである。

ステップＳ９０１において、信号処理部８１０は、ＲＦＩＤタグ１９１と通信し、ＲＦＩＤタグ１９１に格納された識別情報を読み取る処理（第１の読み取り処理）を実行する。具体的には、信号処理部８１０では、アンテナ８０１〜８０４に、順次、電圧を印加することでアンテナ８０１〜８０４より電磁波を出力するとともに、ＲＦＩＤタグ１９１からの反射波を受信する。

ステップＳ９０２において、信号処理部８１０は、アンテナ８０１〜８０４のいずれかにおいて反射波を受信できたか否かを判定する。反射波を受信できなかった場合には、ＲＦＩＤタグ１９１に格納された識別情報の読み取りができなかったと判断し、ステップＳ９０５に進む。

一方、反射波を受信できた場合には、ＲＦＩＤタグ１９１に格納された識別情報の読み取りができたと判断し、ステップＳ９０３に進む。ステップＳ９０３において、信号処理部８１０は、受信した反射波に基づいて識別情報を取得する。また、ステップＳ９０４において、信号処理部８１０は、反射波を受信した各アンテナ８０１〜８０４における受信強度を解析することで受信強度情報を生成する。

ステップＳ９０５において、信号処理部８１０は、ＲＦＩＤタグ１９２と通信し、ＲＦＩＤタグ１９２に格納された識別情報を読み取る処理（第２の読み取り処理）を実行する。具体的には、信号処理部８１０では、アンテナ８０１〜８０４に、順次、電圧を印加することでアンテナ８０１〜８０４より電磁波を出力するとともに、ＲＦＩＤタグ１９２からの反射波を受信する。

ステップＳ９０６において、信号処理部８１０は、アンテナ８０１〜８０４のいずれかにおいて反射波を受信できたか否かを判定する。反射波を受信できなかった場合には、ＲＦＩＤタグ１９２に格納された識別情報の読み取りができなかったと判断し、ステップＳ９０９に進む。

一方、反射波を受信できた場合には、ＲＦＩＤタグ１９２に格納された識別情報の読み取りができたと判断し、ステップＳ９０７に進む。ステップＳ９０７において、信号処理部８１０は、受信した反射波に基づいて識別情報を取得する。また、ステップＳ９０８において、信号処理部８１０は、反射波を受信した各アンテナ８０１〜８０４における受信強度を解析することで受信強度情報を生成する。

ステップＳ９０９において、信号処理部８１０は、ステップＳ９０３において取得した識別情報とステップＳ９０７において取得した識別情報とが対応しているか否かを判定する。なお、本実施形態において、１つの商品タグ１９０に内蔵された２つのＲＦＩＤタグ１９１、１９２には、互いに対応する識別情報が格納されているものとする。

ステップＳ９０９において、識別情報が対応していないと判定した場合には、ステップＳ９１１に進む。一方、ステップＳ９０９において、識別情報が対応していると判定した場合には、同一の商品タグ１９０に内蔵されたＲＦＩＤタグであると判断し、ステップＳ９１０に進む。

ステップＳ９１０において、信号処理部８１０は、ステップＳ９０３及びステップＳ９０７において取得した識別情報、ステップＳ９０４及びステップＳ９０８において生成した受信強度情報を情報処理装置１４０に送信する。更に、方向検出部４０３は、受信した受信強度情報に基づいて、ＲＦＩＤタグ１９１、１９２の位置座標を算出し、方向線投影部４０４に出力する。

ステップＳ９１１では、キャリブレーション処理の終了指示が入力されたか否かを判定し、終了指示が入力されていないと判定された場合には、ステップＳ９０１に戻る。一方、終了指示が入力されたと判定した場合には、方向検出処理を終了する。

＜４．６ キャリブレーション機能のまとめ＞
以上のとおり、情報処理装置１４０のキャリブレーション機能を用いれば、ユーザは、商品２００を載置面２１０に載置し、基準映像に合致するように商品２００の位置合わせを行うだけで、基準映像と商品２００との位置関係を定義することができる。

つまり、プロジェクションマッピングを行う上で必要な、投影する映像と対象物との位置関係を事前に定義する作業にかかる手間を抑えることが可能となり、プロジェクションマッピングを行う場合のユーザの利便性を向上させることが可能となる。

＜５．情報処理装置のプロジェクションマッピング機能の説明＞
次に、情報処理装置１４０のプロジェクションマッピング機能について、図１０〜図１３を用いて説明する。

＜５．１ マッピング映像ＤＢの説明＞
はじめに、マッピング映像ＤＢ１８０に格納されるマッピング映像情報について説明する。図１０は、マッピング映像ＤＢ１８０に格納されるマッピング映像情報１０００の一例を示す図である。

図１０に示すように、マッピング映像情報１０００は、商品識別子ごとに管理されており、商品２００が載置面２１０に載置された際の載置方向に応じた様々な映像を保持している。このため、マッピング映像情報１０００には、情報の項目として、"角度θ"、"マッピング映像"が含まれる。"角度θ"には、商品２００が載置面２１０に載置された際の載置方向を示す角度が格納される。また、"マッピング映像"には、それぞれの角度に応じたマッピング映像が格納される。

なお、基準映像は、キャリブレーション処理時に投影されるマッピング映像であり、本実施形態では、商品２００に対して基準映像が角度ずれなく投影されている状態の角度θを"０°"と定義する。

角度θ＝θ_１とは、基準映像が商品２００に対して角度ずれなく投影されている状態から、商品２００がθ_１だけ回転した状態を示している。また、マッピング映像＝映像１とは、商品２００がθ_１だけ回転した状態で、商品２００に対して角度ずれなく投影させることが可能なマッピング映像を示している。つまり、映像１は、基準映像をθ_１だけ回転させたマッピング映像である。

同様に、角度θ＝θ_２とは、基準映像が角度ずれなく投影されている状態から、商品２００がθ_２だけ回転した状態を示している。また、マッピング映像＝映像２とは、商品２００がθ_２だけ回転した状態で、商品２００に対して角度ずれなく投影させることが可能なマッピング映像を示している。つまり、映像２は、基準映像をθ_２だけ回転させたマッピング映像である。以下、マッピング映像情報１０００には、所定の角度ごとにマッピング映像が保持されている。

＜５．２ プロジェクションマッピング機能の機能構成＞
次に、プロジェクションマッピングプログラム１７０が実行されることで実現されるプロジェクションマッピング機能について説明する。図１１は、プロジェクションマッピングプログラム１７０が実行されることで実現されるプロジェクションマッピング機能の機能構成を示す図である。

図１１に示すように、プロジェクションマッピング機能には、商品識別部１１０１と、角度算出部１１０２と、撮影画像取得部１１０３と、マッピング映像補正部１１０４と、マッピング映像投影部１１０５とが含まれる。

商品識別部１１０１は、商品２００が載置面２１０に載置されることで、ＲＦＩＤリーダ１３０から送信される識別情報に基づいて商品識別子を認識する。また、商品識別部１１０１は、認識した商品識別子に対応するマッピング映像情報１０００を読み出す。

角度算出部１１０２は、ＲＦＩＤリーダ１３０から送信される識別情報及び受信強度情報に基づいて、載置面２１０に載置された商品２００の載置方向を算出する。また、角度算出部１１０２は、商品２００の載置方向を示す角度と、商品２００のキャリブレーション角度との角度差（角度θ）を算出する。更に、角度算出部１１０２は、商品識別部１１０１により読み出されたマッピング映像情報１０００の中から、算出した角度差（角度θ）に対応するマッピング映像を抽出する。

例えば、角度算出部１１０２において算出した角度差（角度θ）が、θ_２であった場合には、角度算出部１１０２では、マッピング映像として映像２を抽出する。

撮影画像取得部１１０３は、プロジェクションマッピング処理において、商品２００が載置面２１０に載置された状態をカメラ１２０が撮影した場合に、カメラ１２０が撮影した撮影画像を取得する。また、撮影画像取得部１１０３は、取得した撮影画像において、商品２００が描画されている位置を識別する。

マッピング映像補正部１１０４は、角度算出部１１０２により抽出されたマッピング映像を、撮影画像取得部１１０３により識別された位置に基づいて補正する。これにより、角度ずれだけでなく位置ずれも補正されたマッピング映像を、商品２００に投影することが可能となる。

マッピング映像投影部１１０５は、マッピング映像補正部１１０４において補正されたマッピング映像を、プロジェクタ１１０に送信する。

＜５．３ プロジェクションマッピング処理の流れ＞
次に、プロジェクションマッピング処理の流れについて、図１２〜図１４を参照しながら説明する。図１２は、プロジェクションマッピング処理の流れを示すフローチャートであり、図１３は、プロジェクションマッピング処理時に投影される映像を示す図である。図１４は、プロジェクションマッピング処理時にカメラ１２０により撮影された撮影画像を示す図である。

プロジェクションマッピングプログラム１７０が実行されることで、図１２に示すプロジェクションマッピング処理が開始される。

ステップＳ１２０１において、ＲＦＩＤリーダ１３０が起動すると、ステップＳ１２０２において、ユーザは商品２００を載置面２１０に載置する。図１３（ａ）は、ＲＦＩＤリーダ１３０が起動した状態であって、かつ、商品２００が載置面２１０に載置される前の状態を示している。

ステップＳ１２０３において、角度算出部１１０２は、ＲＦＩＤリーダ１３０から送信された識別情報及び受信強度情報に基づいて、商品タグ１９０に内蔵されたＲＦＩＤタグ１９１、１９２の位置座標を算出する。なお、角度算出部１１０２による方向検出処理は、方向検出部４０３による方向検出処理と同様であり、既に図８を用いて説明済みであるため、ここでは説明を省略する。

ステップＳ１２０４において、角度算出部１１０２は、ステップＳ１２０３において算出した位置座標に基づいて、商品２００の載置方向を示す角度を算出する。図１３（ｂ）において、線７０２は、商品２００の載置方向を表している。なお、プロジェクションマッピング処理においては、載置面２１０に線７０２が投影されることはなく、図１３（ｂ）に示す線７０２は、角度算出部１１０２による内部的な処理を便宜的に記載したものである。

角度算出部１１０２は、更に、算出した商品２００の載置方向を示す角度と、キャリブレーション角度との角度差（角度θ）を算出する。図１３（ｂ）において、線７０２Ｂは、キャリブレーション角度の方向を示している。なお、線７０２同様、プロジェクションマッピング処理においては、載置面２１０に線７０２Ｂが投影されることはなく、図１３（ｂ）に示す線７０２Ｂは、角度算出部１１０２による内部的な処理を便宜的に記載したものである。角度算出部１１０２では、線７０２と線７０２Ｂとの角度差（角度θ）を算出する。

ステップＳ１２０４において、角度算出部１１０２は、算出した角度差（角度θ）に対応するマッピング映像を、マッピング映像情報１０００より読み出す。

ステップＳ１２０５において、撮影画像取得部１１０３は、商品２００が載置面２１０に載置された状態を撮影することで得られた撮影画像を取得する。図１４の撮影画像１４００は、商品２００が載置面２１０に載置された状態を撮影することで得られた撮影画像である。実線１４０１は、商品２００の位置を示している。また、図１４の例では、キャリブレーション処理時にキャリブレーション画像として格納された撮影画像に含まれる、商品２００の位置を点線１４１１で示している。

ステップＳ１２０６において、マッピング映像補正部１１０４は、ステップＳ１２０４においてマッピング映像情報１０００より読み出されたマッピング映像を、ステップＳ１２０５において取得した撮影画像に基づいて補正する。図１４の例では、マッピング映像を、点線１４１１で示す位置から、実線１４０１で示す位置に平行移動させる。

ステップＳ１２０７において、マッピング映像投影部１１０５は、ステップＳ１２０６において補正されたマッピング映像を、プロジェクタ１１０に送信する。これにより、補正後のマッピング映像が、商品２００に投影される。図１３（ｃ）は、マッピング映像補正部１１０４において補正されたマッピング映像を、商品２００に投影した様子を示している。

図１３（ｃ）に示すように、載置面２１０に載置された商品２００の載置方向に応じて、投影されるマッピング映像が選択されるため、載置された商品２００の載置方向に応じたマッピング映像が、プロジェクションマッピングされる。また、撮影画像１４００に基づいて導出される、商品２００の位置ずれに応じて、選択されたマッピング映像を補正するため、位置ずれのないプロジェクションマッピングを実現することができる。

＜５．４ プロジェクションマッピング機能のまとめ＞
このように、本実施形態に係る投影システム１００では、キャリブレーション角度との角度差を算出し、算出した角度差に応じたマッピング映像を投影させることができる。また、撮影画像に基づいて位置ずれを補正したマッピング映像を投影させることができる。このため、キャリブレーション処理時の商品の載置方向及び位置を再現できなくても、プロジェクションマッピング処理時の商品の載置方向及び位置に対して映像がずれてマッピングされることはない。

つまり、情報処理装置１４０のプロジェクションマッピング機能を用いれば、載置面２１０に載置された商品２００の載置方向及び位置が変わってしまった場合でも、これを検知し、変わった後の載置方向及び位置に応じたマッピング映像を投影することができる。

この結果、載置方向及び位置が変わってしまった場合でも、ユーザが位置合わせを行う必要はなく、プロジェクションマッピングを行う場合のユーザの利便性を向上させることが可能となる。

＜６．まとめ＞
以上の説明から明らかなように、本実施形態に係る投影システム１００は、
・商品に付される商品タグにＲＦＩＤタグを２つ内蔵させ、各ＲＦＩＤタグとの通信結果に基づいて、ＲＦＩＤタグの位置座標を算出することで、商品タグが付された商品の載置方向を算出する構成とした。
・キャリブレーション処理時に、マッピング映像を投影するとともに、格子線及び方向線を投影させる構成とした。
・商品に対してマッピング映像がずれることなく投影されるように、商品の位置合わせを行った後に、格子線及び方向線が投影された状態を撮影することで、格子線に対する方向線の角度（キャリブレーション角度）を算出する構成とした。
・プロジェクションマッピング処理時に載置面に載置された商品の載置方向を示す角度と、キャリブレーション角度との角度差を算出し、算出した角度差に応じたマッピング映像を選択する構成とした。
・プロジェクション処理時に撮影した撮影画像における商品の位置と、キャリブレーション処理時に撮影した撮影画像における商品の位置とのずれに応じて、選択したマッピング映像を補正して投影する構成とした。

このように、投影する映像と商品との位置関係を、格子線と方向線との角度差として算出する構成とすることで、投影する映像と商品との位置関係を商品ごとに事前に定義する手間を省くことができるようになる。

また、プロジェクションマッピング処理時に載置面にユーザが載置した際の載置方向及び位置に応じて、自動的に、マッピング映像が切り替えられ、補正される。このため、キャリブレーション処理時の載置方向及び位置からずれた場合であっても、マッピング映像はずれることなく投影される。

この結果、プロジェクションマッピングを行う場合のユーザの利便性を向上させることが可能になる。

［第２の実施形態］
上記第１の実施形態では、商品２００の載置方向を特定するために、ＲＦＩＤリーダ１３０が受信した信号に基づいて、ＲＦＩＤタグ１９１、１９２の位置座標を算出する構成としたが、本発明はこれに限定されない。

例えば、ＲＦＩＤタグ１９１、１９２に代えて、ＲＦＩＤタグ１９１、１９２の位置に対応する位置にシールを付し、カメラ１２０が、当該シールを検出することで、商品２００の載置方向を特定するように構成してもよい。

［第３の実施形態］
上記第１の実施形態では、マッピング映像情報１０００を予め格納しておく構成としたが、本発明はこれに限定されない。例えば、基準映像のみを格納しておき、角度差（角度θ）が算出されるたびに、基準映像を角度補正する処理を実行することで、角度差（角度θ）に対応するマッピング映像を生成する構成としてもよい。

上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：投影システム
１１０ ：プロジェクタ
１２０ ：カメラ
１３０ ：ＲＦＩＤリーダ
１４０ ：情報処理装置
１５０ ：キャリブレーションプログラム
１６０ ：キャリブレーション情報ＤＢ
１７０ ：プロジェクションマッピングプログラム
１８０ ：マッピング映像ＤＢ
１９０ ：商品タグ
１９１、１９２ ：ＲＦＩＤタグ
２００ ：商品
２１０ ：載置面
４０１ ：格子線投影部
４０２ ：キャリブレーション映像投影部
４０３ ：方向検出部
４０４ ：方向線投影部
４０５ ：キャリブレーション角度算出部
６０１ ：格子線
６０２ ：方向線
６０３ ：基準映像
７００ ：キャリブレーション情報
１０００ ：マッピング映像情報
１１０１ ：商品識別部
１１０２ ：角度算出部
１１０３ ：撮影画像取得部
１１０４ ：マッピング映像補正部
１１０５ ：マッピング映像投影部
１４００ ：撮影画像

特開２０１０−１２４２３７号公報

Claims (11)

1. 映像を処理する情報処理装置と、処理された映像を対象物の表面に投影する投影装置とを有する投影システムにおける情報処理方法であって、
   前記対象物が載置される載置面に対して、前記投影装置の投影方向を表す平行線を投影する第１の投影工程と、
   前記載置面に載置された前記対象物の載置方向を表す方向線を、前記載置面に投影する第２の投影工程と、
   前記対象物の表面に投影された映像に対して前記対象物が位置合わせされた状態における、前記平行線に対する前記方向線の角度であるキャリブレーション角度を算出する第１の算出工程と、
   前記キャリブレーション角度を、前記対象物を示す識別情報と対応付けて格納する格納工程と
   を有することを特徴とする情報処理方法。
2. 前記対象物の表面に投影された映像に対して前記対象物が位置合わせされた状態における前記載置面を撮影する撮影工程を更に有し、
   前記第１の算出工程は、
   前記載置面を撮影した撮影画像に基づいて、前記キャリブレーション角度を算出することを特徴とする請求項１に記載の情報処理方法。
3. 前記対象物が前記載置面に載置された場合に、前記対象物に付されたタグから送信された信号を受信し、前記対象物を示す識別情報を取得する検出工程を更に有することを特徴とする請求項１または２に記載の情報処理方法。
4. 前記検出工程は、
   前記対象物に付された前記タグに内蔵される２つのＲＦＩＤから送信される信号を、複数のアンテナを介して受信した場合のそれぞれの受信強度を検出し、
   前記第２の投影工程は、
   前記検出工程において検出した受信強度に基づいて、前記２つのＲＦＩＤの位置を算出することで、前記載置面に載置された前記対象物の載置方向を算出することを特徴とする請求項３に記載の情報処理方法。
5. 前記対象物が前記載置面に載置された場合に、前記格納工程において格納された前記キャリブレーション角度に対する、前記対象物の載置方向の角度のずれ量を算出する第２の算出工程と、
   前記角度のずれ量に応じた映像を、前記対象物の表面に投影する第３の投影工程と
   を更に有することを特徴とする請求項１に記載の情報処理方法。
6. 前記対象物が前記載置面に載置された場合に、前記対象物に付されたタグから送信された信号を受信し、前記対象物を示す識別情報を取得する検出工程を更に有することを特徴とする請求項５に記載の情報処理方法。
7. 前記第２の算出工程は、
   前記検出工程において取得された前記識別情報と対応付けて格納された前記キャリブレーション角度に対する、前記対象物の載置方向の角度のずれ量を算出することを特徴とする請求項６に記載の情報処理方法。
8. 前記検出工程は、
   前記対象物に付された前記タグに内蔵される２つのＲＦＩＤから送信される信号を、複数のアンテナを介して受信した場合のそれぞれの受信強度を検出し、
   前記第２の算出工程は、
   前記検出工程において検出した受信強度に基づいて、前記２つのＲＦＩＤの位置を算出することで、前記載置面に載置された前記対象物の載置方向を算出することを特徴とする請求項７に記載の情報処理方法。
9. 映像を処理する情報処理装置と、処理された映像を対象物の表面に投影する投影装置とを有する投影システムであって、
   前記対象物が載置される載置面に対して、前記投影装置の投影方向を表す平行線を投影する第１の投影手段と、
   前記載置面に載置された前記対象物の載置方向を表す方向線を、前記載置面に投影する第２の投影手段と、
   前記対象物の表面に投影された映像に対して前記対象物が位置合わせされた状態における、前記平行線に対する前記方向線の角度であるキャリブレーション角度を算出する算出手段と、
   前記キャリブレーション角度を、前記対象物を示す識別情報と対応付けて格納する格納手段と
   を有することを特徴とする投影システム。
10. 対象物の表面に映像を投影する投影装置と接続される情報処理装置であって、
    前記対象物が載置される載置面に対して、前記投影装置の投影方向を表す平行線を投影するための映像を前記投影装置に出力する第１の出力手段と、
    前記載置面に載置された前記対象物の載置方向を表す方向線を、前記載置面に投影するための映像を前記投影装置に出力する第２の出力手段と、
    前記対象物の表面に投影された映像に対して前記対象物が位置合わせされた状態における、前記平行線に対する前記方向線の角度であるキャリブレーション角度を算出する算出手段と、
    前記キャリブレーション角度を、前記対象物を示す識別情報と対応付けて格納する格納手段と
    を有することを特徴とする情報処理装置。
11. 対象物の表面に映像を投影する投影装置と接続される情報処理装置のコンピュータに、
    前記対象物が載置される載置面に対して、前記投影装置の投影方向を表す平行線を投影するための映像を出力する第１の出力工程と、
    前記載置面に載置された前記対象物の載置方向を表す方向線を、前記載置面に投影するための映像を出力する第２の出力工程と、
    前記対象物の表面に投影された映像に対して前記対象物が位置合わせされた状態における、前記平行線に対する前記方向線の角度であるキャリブレーション角度を算出する算出工程と、
    前記キャリブレーション角度を、前記対象物を示す識別情報と対応付けて格納する格納工程と
    を実行させるためのプログラム。

Images