JP6625654B2 - 投影装置、投影方法、および、プログラム - Google Patents

Description

本発明の一態様は、物体に対してコンテンツを重畳させて表示する技術に関する。

従来、物体に図形や文字、静止画、映像などの視覚的な情報を投影する投影装置がある。このような投影装置の利用方法の一つとして、コンピュータ上で生成または加工した映像を投影装置から投影し、実空間内の物体に映像を重畳させるプロジェクション型ＡＲ（Augmented Reality）技術がある。ＡＲ技術により、作業の現場で作業対象物に対して作業方法を重畳させて表示したり、医療現場で診察画像を身体に重畳させて表示したりする応用が可能である。これにより、情報を直感的に提示することができる。

ＡＲ技術の実施方式には、ハーフミラーなどを用いて実空間に映像を重畳させ、重畳させた映像を直接網膜に投影する光学シースルー型や、カメラで実空間を撮影し、撮影した画像に対して映像を重畳させ、重畳させた映像を提示するビデオシースルー型などの方式がある。それらに対して、プロジェクション型ＡＲ技術は、複数人が同時に同じＡＲ情報を見ることができるという利点がある。

近年、投影装置の小型化に伴い、手持ちによるプロジェクション型ＡＲ技術が開発されている。非特許文献１には、物体をカメラで撮影して投影位置を検出し、投影位置に応じた映像を投影する方法が開示されている。

また、投影位置に応じた映像を投影する別の方法として、特許文献１には、物体の形状を抽出し、抽出した物体の形状に応じた映像を投影する方法が開示されている。

また、特許文献２には、投影面積を検出し、検出した投影面積に応じた映像を投影する方法が開示されている。

日本国公開特許公報「特開２０１３−２１８０１９号公報（２０１３年１０月２４日公開）」 日本国公開特許公報「特開２０１１−８０１９号公報（２０１１年１月１３日公開）」

"HideOut", The Walt Disney Company,［online］,［平成２７年８月２５日検索］, インターネット〈http://www.disneyresearch.com/project/hideout/〉

しかしながら、非特許文献１に記載の手法は、映像の投影にあたって、投影位置は考慮されているが、投影距離については考慮されていない。また、特許文献１に記載の手法は、映像の投影にあたって、物体の形状は考慮されているが、投影距離については考慮されていない。また、特許文献２に記載の手法は、投影面積の検出に投影距離は考慮されているが、投影映像の内容に投影距離は考慮されていない。

実際の現場で作業箇所にコンテンツを投影する場合には、作業状況によって、コンテンツが投影されるべき作業箇所は時々刻々変化するので、位置が固定された投影装置から当該作業箇所までの投影距離は変化する。従って、上記の従来技術のように、投影されるコンテンツに投影距離が考慮されなければ、異なる作業箇所に応じて適切なコンテンツを投影することができないという問題が生じる。

本発明の一態様は、以上の課題を鑑みてなされたものであり、異なる作業箇所に応じて適切なコンテンツを投影する技術を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る投影装置は、被投影体にコンテンツを投影する投影装置であって、前記被投影体と、前記投影装置との間の距離を取得する距離取得部と、前記投影装置から投影するコンテンツ、および、当該コンテンツの投影距離を含むコンテンツ情報を取得するコンテンツ情報取得部と、前記距離取得部が取得した前記距離に応じて、前記コンテンツ情報取得部が取得した前記コンテンツ情報を参照して、投影すべきコンテンツを決定するコンテンツ決定部と、前記コンテンツ決定部が決定した前記コンテンツを前記被投影体に投影する投影処理部と、を備えている。

本発明の一態様に係るコンテンツ決定装置は、被投影体に投影装置から投影するコンテンツを決定するコンテンツ決定装置であって、投影するコンテンツ、および、当該コンテンツの投影距離を含むコンテンツ情報を記憶する記憶部と、前記被投影体と前記投影装置との間の距離に応じて、前記コンテンツ情報を参照して、投影すべきコンテンツを決定するコンテンツ決定部と、を備えている。

本発明の一態様に係る投影方法は、投影体にコンテンツを投影する投影装置による投影方法であって、前記被投影体と、前記投影装置との間の距離を取得する距離取得ステップと、前記投影装置から投影するコンテンツ、および、当該コンテンツの投影距離を含むコンテンツ情報を取得するコンテンツ情報取得ステップと、前記距離取得部にて取得された前記距離に応じて、前記コンテンツ情報取得部にて取得された前記コンテンツ情報を参照して、投影すべきコンテンツを決定するコンテンツ決定ステップと、前記コンテンツ決定ステップにて決定された前記コンテンツを前記被投影体に投影する投影処理ステップと、を実行する。

本発明の一態様によれば、異なる作業箇所に応じて適切なコンテンツを投影することができる。

第１の実施の形態に係る投影装置の利用シーンの模式図である。 第１の実施の形態に係る投影装置の機能ブロック構成の例を示す図である。 第１の実施の形態に係る距離取得部のブロック構成を示す図である。 第１の実施の形態に係る投影距離の取得を示す図である。 撮影部による投影距離の取得を示す図である。 第１の実施の形態に係るコンテンツ情報の構成を示す図である。 第１の実施の形態に係るフローチャートである。 第２の実施の形態に係る投影距離の取得を示す図である。 第３の実施の形態に係るコンテンツ情報の構成を示す図である。 第４の実施の形態に係る投影装置の機能ブロック構成を示す図である。 第４の実施の形態に係る投影距離および投影角度の取得を示す図である。

以下、図面を参照しながら本発明の実施の形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。

（第１の実施の形態）
本実施の形態においては、本発明の一態様に係る基本的な構成について説明する。

＜装置の利用方法＞
図１は、物体に対して映像を重畳させて表示することができる本発明の第１の実施形態における投影装置を用いて、物体に表示を行っている様子を模式的に示した図である。

本実施の形態に係る外部入力装置１０４は、投影装置１０１に投影映像を含む情報（以下、コンテンツ情報と称す）を出力する。投影装置１０１は、投影装置１０１と、被投影体１０２との間の距離（以下、投影距離と称す）を取得し、投影距離に応じて、外部入力装置１０４から取得したコンテンツ情報を参照して、映像１０３を決定し、被投影体１０２に投影する。被投影体１０２は、映像１０３が投影されるスクリーンに相当する。映像１０３は、投影装置１０１により被投影体１０２に投影される。

なお、本発明の実施の形態では、被投影体に映像を投影することについて説明するが、投影するものは映像に限らず、他のコンテンツ（例えば、図形、文字、静止画など）であってもよい。

＜機能ブロック構成＞
図２は、本実施形態に係る投影装置１０１の機能ブロック構成の例を示す図である。投影装置１０１は、投影距離を取得する距離取得部２０１と、被投影体に映像を投影するプロジェクタ２０２と、外部入力装置１０４からコンテンツ情報を取得するコンテンツ取得部（コンテンツ情報取得部）２０３と、取得したコンテンツ情報、映像処理の結果、映像処理に利用する種々のデータを保存する保存部（記憶部）２０４と、取得した投影距離に応じて、取得したコンテンツ情報から被投影体に投影する映像を決定する投影映像決定部（コンテンツ決定部）２０５と、投影映像決定部２０５で決定された投影映像から、描画データを生成し、描画データをプロジェクタに出力する投影処理部２０６と、全体の制御を行うための制御部２０７と、各々のブロック間でのデータのやり取りを行うためのデータバス２０８と、を備えている。なお、図１では、投影装置１０１は、一つの筐体の中にこれらの機能を含んだ構成となっているが、このような構成に限定されるわけではなく、それぞれが独立した構成や、例えば汎用のパーソナルコンピュータ（ＰＣ）でコンテンツ取得部２０３と、保存部２０４と、投影映像決定部２０５と、投影処理部２０６と、制御部２０７と、データバス２０８を構成することとしてもよい。

距離取得部２０１は、投影装置１０１と被投影体１０２との間の距離を直接、または、間接的に取得できる装置で構成される。上記距離を直接取得できる装置は、レーザー距離計などのように、実際の距離を直接的に測定可能な装置を示す。上記距離を間接的に取得できる装置は、三角測量計などのように、間接的な値を用いて距離を算出可能な装置を示す。距離取得部２０１の構成の詳細は、後述する。

プロジェクタ２０２は、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタなどによって構成され、投影処理部２０６から出力された映像を表示する。

コンテンツ取得部２０３は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などによって構成される。また、コンテンツ取得部２０３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの入出力ポートを有しており、外部入力装置１０４とのインターフェースとして動作する。

コンテンツ取得部２０３は、入出力ポートを経由して、投影する映像に関する情報であるコンテンツ情報を外部入力装置１０４から取得し、保存部２０４に保存する。ここで、外部入力装置１０４は、例えばキーボードやマウスによってコンテンツ情報を直接入力できる装置や、予め生成しておいたコンテンツ情報を保持できる外部記憶装置などによって構成される。コンテンツ情報の詳細については、後述する。

保存部２０４は、例えば、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ハードディスクなどの記憶装置によって構成され、コンテンツ情報や映像処理結果などを保存する。

投影映像決定部２０５は、ＦＰＧＡやＡＳＩＣなどによって構成され、距離取得部２０１で取得された投影距離と、コンテンツ取得部２０３で取得し、保存部２０４に保存したコンテンツ情報とを参照して、投影すべき映像を決定する。投影すべき映像の決定方法については、後述する。

投影処理部２０６は、ＦＰＧＡやＡＳＩＣ、あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成され、投影映像決定部２０５で決定した映像から、描画データを生成し、描画データをプロジェクタ２０２に出力する。

制御部２０７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって構成され、各機能ブロックにおける処理の命令、制御やデータの入出力に関するコントロールを行う。

データバス２０８は、各々のユニット間でのデータのやり取りを行うためのバスである。

なお、被投影体１０２に投影装置１０１から投影するコンテンツ（映像など）を決定するコンテンツ決定装置として、保存部２０４と、投影映像決定部２０５とを備える装置を、例えば、ＰＣなどを用いて構成してもよい。

＜距離取得部の構成＞
続いて、本実施の形態に係る距離取得部２０１の構成について、図３を用いて説明する。

図３に示すように、距離取得部２０１は、図１に示す被投影体１０２を含む撮影範囲の映像を取得する撮影部３０１と、撮影部３０１で取得した画像を入力し、視差画像を算出する視差画像取得部３０４と、視差画像取得部３０４で取得した視差画像と、撮影部３０１の設置条件とを参照して、投影距離を算出する投影距離算出部３０５とを備えている。さらに、撮影部３０１は、第１カメラ３０２と、第２カメラ３０３とを備えている。距離取得部２０１は、投影装置と被投影体との間の距離を直接、または、間接的に取得できる装置であればよく、例えば、レーザー距離計など、汎用の測距デバイスを用いてもよい。なお、距離を直接、または、間接的に取得できる装置の例は上述の通りである。

第１カメラ３０２と、第２カメラ３０３とは、撮影空間を画像として取り込むための光学部品及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を具備するように構成され、光電変換によって得られた電気信号に基づいて生成された画像データを出力する。第１カメラ３０２と、第２カメラ３０３とは、撮影された情報を、元々のデータのまま出力してもよいし、図示していない映像処理部において処理しやすいように事前に画像処理（輝度画像化、ノイズ除去など）された映像データとして出力してもよく、また、その両方を出力するような構成としてもよい。さらに、第１カメラ３０２と、第２カメラ３０３とは、撮影時の絞り値や焦点距離などのカメラパラメータを保存部２０４に送るように構成することもできる。

視差画像取得部３０４は、ＦＰＧＡやＡＳＩＣなどによって構成され、撮影部３０１の第１カメラ３０２と、第２カメラ３０３とで取得した画像をそれぞれ入力し、これらの画像間の視差画像を算出し、投影距離算出部３０５に出力する。視差画像の算出方法については、後述する。

投影距離算出部３０５は、ＦＰＧＡやＡＳＩＣなどによって構成され、視差画像取得部３０４で取得した視差画像、及び、第１カメラ３０２と、第２カメラ３０３との位置関係を参照して投影距離を算出する。投影距離の算出方法については、後述する。

＜視差画像、及び投影距離の取得方法＞
続いて、本実施の形態に係る距離取得部２０１における視差画像、及び、投影距離の取得方法について、図４を用いて説明する。図４（ａ）は、視差画像、及び、投影距離を取得している様子の俯瞰図である。図４（ｂ）は、視差画像、及び、投影距離を取得している様子の平面図である。図４（ａ）、図４（ｂ）において、距離検出点４０１は、距離取得部２０１によって投影距離が取得される位置を示している。例えば、図４（ｂ）では、映像１０３の中心を、距離検出点４０１としている。例として前述した、レーザー距離計を距離取得部２０１として用いる場合は、距離検出点４０１は、レーザー距離計の照射位置となる。

また、これ以降の説明では、投影装置１０１の距離取得部２０１の位置を原点とし、平面図（図４（ｂ））の横方向をｘ座標（右方向が正の向き）、平面図の縦方向をｙ座標（上方向が正の向き）、俯瞰図（図４（ａ））の縦方向をｚ座標（上方向が正の向き）とする座標系を、各種の座標系として用いる。

続いて、本実施の形態に係る距離取得部２０１における視差画像の取得方法について、説明する。

視差とは、異なる位置で撮影した２枚の画像において、被写体の映る位置の違いを示す。視差を画像として表したものが視差画像である。

被投影体１０２に向かって、第１カメラ３０２が右側、第２カメラ３０３が左側に位置しているものとする。図５は、その様子を真上から捉えた図である。図５において、距離検出点４０１が被投影体１０２の位置する１点を示し、さらに、第１カメラ３０２、第２カメラ３０３が示されている。ここで、２台のカメラの内、左側の第２カメラ３０３を基準（基準カメラ）とし、このカメラの座標系を基準の座標系（以下、「基準座標系」と称する。）とする。また、２台のカメラは、同じ特性を有しており、完全に水平に設置されているものとする。なお、２台のカメラの特性が異なる場合や、水平に設置されていない場合の補正方法については、カメラ幾何を用いて対応可能であるが、詳細な説明は省略する。また、第１カメラ３０２と、第２カメラ３０３との左右の位置関係は、逆であっても特に問題はない。

視差に関しては、基準カメラで撮影した画像の中から所定サイズの局所ブロックを選択し、ブロックマッチングを用いて、選択した局所ブロックに対応する局所ブロックをもう一方のカメラ画像から抽出して、それらの局所ブロック間のずれ量を算出することで求めることができる。

ここで、第１カメラ３０２で撮影した画像の画素（ｕ，ｖ）における輝度値をＩＲ（ｕ，ｖ）、第２カメラ３０３で撮影した画像の画素（ｕ，ｖ）における輝度値をＩＬ（ｕ，ｖ）とする。ブロックマッチングにおける局所ブロックの探索範囲をＰとし、局所ブロックサイズを１５×１５とした場合の、視差Ｍ（ｕ，ｖ）の算出式は以下の様になる。

ここで、ａｒｇｍｉｎ（・）は、括弧内を最小にするパラメータであって、ａｒｇｍｉｎの下部にあるパラメータを算出する関数である。

第１カメラ３０２と、第２カメラ３０３とは水平に設置されているため、ブロックマッチングにおける探索の方向は水平方向のみでよい。また、探索の対象となるカメラが基準カメラに対して右側に設置されているため、探索の方向は、対応する画素位置よりも左側（マイナス方向）のみでよい。

以上の方法で視差画像を算出することができる。なお、視差画像の算出方法については、上記方法に限定するものではなく、異なる位置に設置したカメラの視差画像を算出可能な方法であれば、どのような方法であってもよい。

続いて、本実施の形態に係る投影距離の取得方法について、説明する。

視差画像から距離値を算出するためには、撮影したカメラの特性を示すカメラパラメータが必要である。カメラパラメータには、内部パラメータと、外部パラメータとがある。内部パラメータは、両カメラの焦点距離および主点から構成される。外部パラメータは、両カメラ間の回転行列および並進ベクトルから構成される。

算出したカメラパラメータのうち、焦点距離ｆ（単位ｍ）及びカメラ間の距離ｂ（単位ｍ）を用いて、以下の様に距離値を算出することができる。

基準カメラの撮影面において、距離検出点４０１の画素を画素（ｕｃ，ｖｃ）としたとき、投影距離ｄは、三角測量の原理に従い、焦点距離ｆと、カメラ間の距離ｂと、視差Ｍ（ｕｃ，ｖｃ）と、を用いて、（式２）により求めることができる。

ここで、ｑは画像１画素当たりの長さ（単位ｍ）であり、カメラに採用されている撮像素子によって決まる値である。Ｍ（ｘｃ，ｙｃ）及びｑの積により、画素のずれ量から実距離の視差に変換することができる。

以上の方法で投影距離を算出することができるが、投影距離の取得点の選択方法については任意の方法でよく、例えば、ユーザが距離検出点４０１を選択するといった方法でもよい。

また、撮影部３０１は、２台のカメラに限定されるわけではなく、視差または距離を直接算出できる撮影装置であってもよく、例えば、被写体までの赤外光の反射時間に基づいて距離を測定するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の撮影装置などを適用してもよい。

＜コンテンツ情報＞
続いて、コンテンツ取得部２０３が取得するコンテンツ情報について、図６を用いて説明する。入力されたコンテンツ情報６０１は、登録番号６０２と、視覚的情報６０３と、投影最短距離６０４と、投影最長距離６０５と、を含んでいる。

登録番号６０２は、登録するコンテンツ情報６０１に固有の番号である。

視覚的情報６０３は、文字、記号、画像、動画などのコンテンツである。ここで、画像は、例えば、Ｂｉｔｍａｐや、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの汎用のものであってもよい。また、動画は、例えば、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）や、ＦＬＶ（Ｆｌａｓｈ Ｖｉｄｅｏ）などの汎用のものであってもよい。

投影最短距離６０４は、同じ登録番号６０２の視覚的情報６０３を投影可能な距離の最小値を示す項目である。投影最長距離６０５は、同じ登録番号６０２の視覚的情報６０３を投影可能な距離の最大値を示す項目である。換言すれば、投影距離が投影最短距離６０４から投影最長距離６０５の範囲内である場合に、同じ登録番号６０２の視覚的情報６０３を鮮明に投影することができる。

なお、視覚的情報６０３は、図６に示すように、投影距離の範囲に応じて変更されている。視覚的情報６０３には、例えば、投影距離が短くなるにつれて、よりズームアップしたコンテンツが設定されてもよい。また、視覚的情報６０３には、例えば、内部を透視するようなコンテンツが設定されてもよい。このような視覚的情報６０３の具体例として、戸棚に映像を投影する場合に、所定の距離以上離れた場所から投影したときには、白色の映像（懐中電灯で照らしたような映像）を投影し、一方、所定の距離より近い場所から投影したときには、戸棚の中身の映像が投影されるようなコンテンツが挙げられる。

＜投影映像の決定方法＞
続いて、投影映像決定部２０５における投影映像の決定方法について、説明する。

距離取得部２０１が取得した投影距離をｄ、被投影体１０２に投影する映像１０３をＶとする。コンテンツ情報６０１の登録番号６０２をｉ、登録番号ｉの視覚的情報６０３をＶ（ｉ）、登録番号ｉの投影最短距離６０４をｄｓ（ｉ）、登録番号ｉの投影最長距離６０５をｄｌ（ｉ）とする。このとき、被投影体１０２に投影する映像Ｖは、（式３）に示すように決定される。

＜フローチャート＞
続いて、本実施の形態における処理の手順について、図７を用いて説明する。

図７は、投影装置１０１が投影距離を取得し、投影距離を参照して、被投影体１０２に投影する映像１０３を決定し、投影装置１０１から被投影体１０２に映像１０３を投影する処理を示すフローチャートである。

投影装置１０１において、コンテンツ取得部２０３は、外部入力装置１０４からコンテンツ情報を取得し、保存部２０４に保存する（ステップＳ１００）。コンテンツ情報を取得した後、距離取得部２０１は、投影距離を取得する（ステップＳ１０１）。投影距離を取得すると、投影映像決定部２０５は、取得した投影距離と、保存部２０４に保存されているコンテンツ情報６０１の投影最短距離６０４及び投影最長距離６０５とを比較し、投影距離が投影最短距離６０４と、投影最長距離６０５との間となる登録番号６０２を探索する（ステップＳ１０２）。

投影映像決定部２０５は、ステップＳ１０２で探索した登録番号６０２の視覚的情報６０３を、投影映像として決定する（ステップＳ１０３）。投影処理部２０６は、決定した投影映像を保存部２０４から読み出し、描画データを生成し、プロジェクタ２０２に出力する（ステップＳ１０４）。プロジェクタ２０２は、受け取った描画データを、被投影体１０２に投影する（ステップＳ１０５）。制御部２０７は、処理を終了するか否かを判定する（ステップＳ１０６）。処理を終了させず、継続する場合には（ステップＳ１０６のＮＯ）、ステップＳ１０１に戻り、前述した処理を繰り返す。処理を終了する場合には（ステップＳ１０６のＹＥＳ）、全ての処理を終了させる。

以上の構成によって、被投影体１０２に映像を投影する投影装置１０１において、被投影体１０２と投影装置１０１との間の距離に応じたコンテンツを投影する方法を提供することができる。

（第２の実施の形態）
本実施の形態においては、前述した視差画像を用いて、被投影体の複数位置で投影距離を取得し、投影距離を取得した被投影体の位置それぞれに対して、投影距離に応じたコンテンツを投影する方法について説明する。

以下、前述の方法との相違を示しながら、投影距離に応じたコンテンツを投影する方法について説明する。

第１の実施の形態で述べた方法では、投影距離を算出する際に、被投影体上の特定の１点について投影距離を算出している。ところが、被投影体に凹凸がある場合、投影距離を算出した点と、それ以外の点との間で投影距離が大きく異なることがある。この課題に対して、全画素で投影距離を算出する方法で対応することが可能であるが、計算量が多いという課題がある。そこで、本実施の形態では、被投影体上の複数の位置について、投影距離を取得し、投影距離を取得した被投影体のそれぞれの位置に対して、投影距離に応じたコンテンツを投影する方法を用いる。

＜投影距離の算出方法＞
本実施の形態における、投影距離の算出方法について、図８を用いて説明する。

図８は、基準カメラで撮影した映像である。図８において、基準カメラの撮影映像８０１にある、被投影体１０２上の映像１０３を撮影した画像は、１８個の領域に分割される。距離取得部２０１は、各領域の距離検出点８０２について投影距離を取得する。詳細には、距離取得部２０１は、それぞれの距離検出点（ｕ１，ｖ１）〜（ｕ１８，ｖ１８）について、（式４）を用いて視差を算出し、（式５）を用いて当該視差から投影距離を算出する。

＜投影映像の決定方法＞
続いて、投影映像決定部２０５における投影映像の決定方法について、説明する。

第１の実施の形態で述べた方法では、投影距離は一意に定まるので、コンテンツ情報から決定する投影映像も一意に定まる。本実施の形態では、投影距離がそれぞれの領域によって異なるため、領域毎に投影映像を決定する方法を用いる。

まず、投影映像決定部２０５は、距離検出点８０２と、プロジェクタ２０２から投影する映像の画素との対応付けを行う。基準座標系における距離検出点（ｕｎ，ｖｎ）の３次元座標を（Ｘｎ，Ｙｎ，Ｚｎ）とする。このとき、距離検出点８０２の３次元座標と、プロジェクタ２０２で投影する映像の画素（ｕ’ｎ，ｖ’ｎ）とは、（式６）の関係がある。

（式６）におけるｓは、投影距離に依存するパラメータである。Ａは、プロジェクタの内部パラメータを意味する３×３の行列である。Ｒは、座標の回転を意味する３×３の行列である。Ｔは座標の並進を意味するベクトルである。Ａと、Ｒと、Ｔとは、例えば、Ｚｈａｎｇの方法などの汎用の画像処理手法を用いて、事前に求めることができる。

（式６）の変換により、距離検出点に対応する投影映像の画素の投影距離を取得できる。なお、（式６）の変換で投影距離を取得できなかった画素は、当該画素の近傍にある検出点を用いて補間すればよい。補間の方法は、任意の手法を用いてよいが、例えばニアレストネイバー法(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ)を用いて、検出点間の画素を補間する。

プロジェクタ２０２から投影する映像１０３上の点（ｕ’，ｖ’）における投影距離をｄ（ｕ’，ｖ’）、被投影体１０２に投影する映像１０３をＶとする。コンテンツ情報６０１の登録番号をｉ、登録番号ｉの視覚的情報６０３をＶ（ｉ）、登録番号ｉの投影最短距離をｄｓ（ｉ）、登録番号ｉの投影最長距離をｄｌ（ｉ）とする。このとき、投影映像決定部２０５は、被投影体に投影する映像Ｖ（ｕ’，ｖ’）を、（式７）に示すように決定する。

投影処理部２０６は、視覚的情報Ｖ（ｕ’，ｖ’）を合成し、プロジェクタ２０２は、当該視覚的情報Ｖ（ｕ’，ｖ’）を出力する。

以上の方法で、投影距離を取得した被投影体のそれぞれの位置に対して、投影距離に応じたコンテンツを投影することができる。なお、映像１０３の分割領域数は１８個に限定するものではなく、それ以外の数であってもよい。

以上によれば、計算量を抑えた上で、視差画像を用いて、被投影体の複数位置について投影距離を取得し、投影距離を取得した被投影体の位置それぞれに対して、投影距離に応じたコンテンツを投影する方法を提供できる。

（第３の実施の形態）
本実施の形態においては、コンテンツ情報が３次元モデルデータを含んでおり、投影距離に応じて３次元モデルデータから投影映像を決定する方法について説明する。

＜機能ブロック構成＞
本実施の形態に係る投影装置の機能ブロック構成については、第１の実施の形態、乃び、第２の実施の形態と同じである（図２参照）。本実施の形態が第１の実施の形態及び第２の実施の形態と異なる点は、コンテンツ取得部２０３が取得するコンテンツ情報に３次元モデルデータが含まれる点と、投影映像決定部２０５が投影距離と、３次元モデルデータのモデル情報とから投影映像を決定する点である。

前述の方法では、投影距離の微小な変動に応じて投影映像を投影する場合、コンテンツ情報の視覚的情報を大量に取得する必要があり、コンテンツ情報の情報量が膨大になる課題があるとともに、コンテンツ情報の生成が困難となる。これに対して、本実施の形態では、コンテンツ情報に３次元モデルデータを含ませることにより、コンテンツ情報の情報量の増加を抑えることができる。また、コンテンツ情報の生成が容易となる。

＜コンテンツ情報＞
本実施の形態で用いるコンテンツ情報について、図９を用いて説明する。図９は、コンテンツ情報９０１の構成を模式的に示す図である。

図９に示すように、コンテンツ情報９０１は、３次元視覚的情報９０２と、投影最短距離９０３と、投影最長距離９０４と、を含んでいる。

３次元視覚的情報９０２は、幅方向、高さ方向、奥行方向の大きさ情報を含む立体情報である。ここで、立体情報は、例えば、Ｗａｖｅｆｒｏｎｔ ＯＢＪ（Ｗａｖｅｆｒｏｎｔ Ｏｂｊｅｃｔ）やＦＢＸ（ＦｉｌｍＢｏｘ）などの汎用のものであってもよい。

投影最短距離９０３は、３次元視覚的情報９０２を投影する投影距離の最短距離を示す項目である。投影最長距離９０４は、３次元視覚的情報９０２を投影する投影距離の最長距離を示す項目である。換言すれば、投影距離が投影最短距離９０３から投影最長距離９０４の範囲内である場合に、３次元視覚的情報９０２を鮮明に投影することができる。

＜投影映像の決定方法＞
続いて、投影映像決定部２０５における投影映像の決定方法について、説明する。

距離取得部２０１が取得した投影距離をｄ、被投影体１０２に投影する映像１０３をＶとする。３次元視覚的情報９０２の奥行をＤ、３次元視覚的情報９０２の中心を原点とした奥行方向の座標をｚ、３次元視覚的情報９０２の座標ｚにおける断面映像をＩ（ｚ）、投影最短距離をｄｓ、投影最長距離をｄｌとする。このとき、投影映像決定部２０５は、被投影体に投影する映像Ｖを、（式８）に示すように決定する。

以上によれば、コンテンツ情報が３次元モデルデータを含むことにより、３次元モデルデータから投影距離に応じた投影映像を抽出し、当該投影映像を物体に投影する方法を提供できる。

（第４の実施の形態）
本実施の形態においては、投影距離と、投影角度とに応じた投影映像を抽出し、当該投影映像を物体に投影する方法について説明する。これにより、同一の投影距離で被投影体の同一の箇所に投影映像を投影する場合であっても、投影角度によって投影内容が異なるため、表現力を向上することができる。

＜機能ブロック構成＞
図１０は、本実施の形態に係る投影装置１００１の機能ブロック構成の例を示す図である。第１の実施の形態と異なる点は、投影装置１００１が、投影装置１００１と、被投影体１０２とのなす角度を取得する角度取得部１００２を備えている点である。

角度取得部１００２は、投影装置１００１と、被投影体１０２とのなす角度を直接、または、間接的に算出できる装置であればよく、例えば、加速度センサ、角速度センサなどの汎用デバイスを用いることができる。また、角度取得部１００２は、距離取得部２０１が撮影した画像を用いて、上記角度を検出してもよい。上記角度を直接算出できる装置は、分度器などのように、実際の角度を直接的に測定可能な装置を示す。上記角度を間接的に取得できる装置は、三角測量計などのように、間接的な値を用いて角度を算出可能な装置を示す。

＜投影角度の取得方法＞
続いて、投影角度の取得方法について、図１１を用いて説明する。

図１１は、投影距離を取得している様子の俯瞰図である。投影装置１００１は、被投影体１０２の投影面に対する正面の位置から、距離検出点４０１を通ってｙ軸に平行な軸を中心に時計回りに角度θだけ回転している状態である。角度θは投影角度である。ここで、投影角度θの取得方法は、具体的に以下のような方法がある。

第１の方法は、撮影部３０１が撮影した映像を参照して、４点以上の距離検出点４０１に対する投影距離を取得し、投影面を算出することにより、投影角度θを取得する方法である。この場合、逐次、投影装置と、被投影体とのなす投影角度を計算するため、正確な投影角度を求めることが可能になる。

第２の方法は、初期位置（被投影体１０２の正面位置）における投影装置１１０１と、被投影体１０２とのなす角度を９０°とし、加速度センサ、角速度センサなどのデバイスを用いて、投影装置の回転角度を検出する方式である。この場合、被投影体１０２に凹凸がある場合に投影距離を取得する必要がないため、正確な投影角度を求めることが可能になる。

上記以外にも、投影装置と、被投影体とのなす角度を正しく取得できる方法であれば、いずれの方法であってもよい。

＜投影映像の決定方法＞
距離取得部２０１が取得した投影距離をｄ、被投影体１０２に投影する映像１０３をＶとする。コンテンツ情報９０１の３次元視覚的情報９０２の奥行をＤ、３次元視覚的情報９０２の中心を原点とした奥行方向の座標をｚ、３次元視覚的情報９０２の座標ｚにおいて、３次元視覚的情報９０２の中心を原点としたｙ軸を中心に時計回りにθ回転した面の断面映像をＩ（ｚ，θ）、コンテンツ情報９０１の投影最短距離９０３をｄｓ、投影最長距離９０４をｄｌとする。このとき、投影映像決定部２０５は、被投影体１０２に投影する映像Ｖを、（式９）に示すように決定する。

以上の方法で、投影距離及び投影角度に応じたコンテンツを投影することができる。なお、投影角度は一つの軸の回転角度に限定されるわけではなく、２つ以上の軸の回転角度を用いてもよい。

以上によれば、投影距離と投影角度に応じた投影映像を抽出し、投影する方法を提供できる。
＜第１から第４の実施形態について＞
上記の各実施形態において、添付図面に図示されている構成などについては、あくまで一例であり、これらに限定されるものではなく、本発明の各態様の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の各態様の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

上記の各実施形態では、物体に映像を投影することについて説明したが、投影するものは映像に限らず、他のコンテンツ（例えば、図形、文字、静止画など）であってもよい。

上記の各実施形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施形態の機能を実現する遠隔作業支援の装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していればよい。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明の各態様に含まれるものである。

また、上記の各実施形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

〔まとめ〕
本発明の態様１に係る投影装置（１０１）は、被投影体にコンテンツを投影する投影装置であって、前記被投影体と、前記投影装置との間の距離を取得する距離取得部（２０１）と、前記投影装置から投影するコンテンツ、および、当該コンテンツの投影距離を含むコンテンツ情報を取得するコンテンツ情報取得部（コンテンツ取得部２０３）と、前記距離取得部が取得した前記距離に応じて、前記コンテンツ情報取得部が取得した前記コンテンツ情報を参照して、投影すべきコンテンツを決定するコンテンツ決定部（投影映像決定部２０５）と、前記コンテンツ決定部が決定した前記コンテンツを前記被投影体に投影する投影処理部（２０６）と、を備えている。

上記の構成によれば、被投影体と、投影装置との間の距離（投影距離）を取得し、取得した距離に応じた映像を投影する。従って、異なる作業箇所に応じて適切なコンテンツを投影することができる。

本発明の態様２に係る投影装置は、上記態様１において、前記距離取得部が、前記被投影体を含む被写体を撮影する撮影部（３０１）を備えており、前記撮影部が撮影した前記被写体の画像を参照して、前記距離を特定することとしてもよい。

上記の構成によれば、撮影した被写体の画像を参照して投影距離を特定し、特定した投影距離に応じたコンテンツを投影することができる。

本発明の態様３に係る投影装置は、上記態様１および２において、前記距離取得部が、複数の位置における前記被投影体と、前記投影装置との間の距離を取得し、前記コンテンツ決定部が、前記被投影体の各位置について、前記距離に応じて、前記コンテンツ情報取得部が取得した前記コンテンツ情報を参照して、投影すべきコンテンツを決定することとしてもよい。

上記の構成によれば、被投影体の複数の位置で投影距離を取得することにより、投影距離を取得した位置ごとに、投影距離に応じたコンテンツを投影することができる。

本発明の態様４に係る投影装置は、上記態様１から３において、前記コンテンツ情報取得部が、前記コンテンツ情報のコンテンツとして３次元モデルデータを取得し、前記コンテンツ決定部が、前記距離に応じて、前記３次元モデルデータから投影すべきコンテンツを抽出することとしてもよい。

上記の構成によれば、コンテンツ情報として３次元モデルデータを取得し、投影距離に応じて３次元モデルデータから抽出したコンテンツを投影することができる。

本発明の態様５に係る投影装置は、上記態様１から４において、前記投影装置と、前記被投影体とのなす角度を取得する角度取得部（１００２）をさらに備えており、前記コンテンツ決定部が、前記距離取得部が取得した前記距離と、前記角度取得部が取得した前記角度とに応じて、前記コンテンツ情報取得部が取得した前記コンテンツ情報を参照して、コンテンツを決定することとしてもよい。

上記の構成によれば、投影距離および投影角度を取得し、取得した投影距離および投影角度に応じたコンテンツを投影することができる。

本発明の態様６に係るコンテンツ決定装置は、被投影体に投影装置から投影するコンテンツを決定するコンテンツ決定装置であって、投影するコンテンツ、および、当該コンテンツの投影距離を含むコンテンツ情報を記憶する記憶部（保存部２０４）と、前記被投影体と前記投影装置との間の距離に応じて、前記コンテンツ情報を参照して、投影すべきコンテンツを決定するコンテンツ決定部（投影映像決定部２０５）と、を備えている。

本発明の態様７に係る投影方法は、被投影体にコンテンツを投影する投影装置による投影方法であって、前記被投影体と、前記投影装置との間の距離を取得する距離取得ステップと、前記投影装置から投影するコンテンツ、および、当該コンテンツの投影距離を含むコンテンツ情報を取得するコンテンツ情報取得ステップと、前記距離取得ステップにて取得された前記距離に応じて、前記コンテンツ情報取得ステップにて取得された前記コンテンツ情報を参照して、投影すべきコンテンツを決定するコンテンツ決定ステップと、前記コンテンツ決定ステップにて決定された前記コンテンツを前記被投影体に投影する投影処理ステップと、を実行する。

本発明の各態様に係る投影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記投影装置が備える各部として動作させることにより上記投影装置をコンピュータにて実現させる投影装置のプログラムも本発明の一態様の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、２０１５年９月２９日に出願された日本国特許出願：特願２０１５−１９２０８０に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１０１ 投影装置
２０１ 距離取得部
２０３ コンテンツ取得部（コンテンツ情報取得部）
２０４ 保存部（記憶部）
２０５ 投影映像決定部（コンテンツ決定部）
２０６ 投影処理部
１００２ 角度取得部

Claims (7)

1. 被投影体にコンテンツを投影する投影装置であって、
   前記被投影体と前記投影装置との間の距離に応じて、前記被投影体の内部を表すコンテンツを前記被投影体に投影する投影処理部と、
   を備えており、
   前記投影処理部は、前記被投影体と前記投影装置との間の距離が所定の距離よりも短い場合に、前記被投影体に対し、当該被投影体の内部を表すコンテンツを投影すること を特徴とする投影装置。
2. 前記コンテンツは、３次元モデルであり、
   前記投影処理部は、前記３次元モデルの、前記距離に応じた位置における断面を前記被投影体に投影することを特徴とする請求項１に記載の投影装置。
3. 前記投影装置と、前記被投影体とのなす角度を取得する角度取得部をさらに備えており、
   前記投影処理部は、前記３次元モデルの、前記距離に応じた位置における、前記角度に応じた断面を前記被投影体に投影することを特徴とする請求項２に記載の投影装置。
4. 前記被投影体を含む被写体を撮影する撮影部を備えており、
   前記撮影部が撮影した前記被写体の画像を参照して、前記距離を特定する
   ことを特徴とする請求項１〜３のいずれか一項に記載の投影装置。
5. 前記投影処理部は、前記被投影体における複数の位置ごとに、前記被投影体の各位置と前記投影装置との間の距離に応じて、前記コンテンツを前記被投影体に投影することを特徴とする請求項１〜４のいずれか一項に記載の投影装置。
6. 被投影体にコンテンツを投影する投影装置による投影方法であって、
   前記被投影体と前記投影装置との間の距離に応じて、前記被投影体の内部を表すコンテンツを前記被投影体に投影する投影処理ステップと、
   さらに、前記被投影体と前記投影装置との間の距離が所定の距離よりも短い場合に、前記被投影体に対し、当該被投影体の内部を表すコンテンツを投影する投影処理ステップ を実行することを特徴とする投影方法。
7. 請求項１から５のいずれか１項に記載の投影装置としてコンピュータを機能させるためのプログラムであって、コンピュータを前記各部として機能させるためのプログラム。

Images