JP6456551B1 - 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム - Google Patents

Abstract

光学機器制御装置（１）は、光学機器と対象物との間に存在する物体を検出する物体検出部（１１）と、検出された物体の影と投影するＣＧとが重複状態にあるか否かを判定する重なり判定部（１２）と、投影画像データを投影画像生成部（１４）に提供する属性管理部（１３）と、重なり判定部（１２）により物体の影とＣＧとが重複状態にあると判定された場合に、ＣＧが物体の影以外の領域に投影されるように投影画像データを変更するレイアウト計算部（１５）と、レイアウト計算部（１５）により投影位置が変更されたＣＧを含む投影画像を生成する投影画像生成部（１４）と、記憶部（１６）と、を有することを特徴とする。

Description

本発明は、画像を投影又は撮影する光学機器を制御する光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムに関する。

従来、カメラ又はセンサから取得したユーザの位置姿勢を基に付加情報としての電子情報（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を現実空間に重畳描画する拡張現実感技術がある。拡張現実感技術は、例えば、カメラなどの撮像装置から取得された二次元の画像を基に、任意の三次元座標系におけるカメラの位置姿勢を求めることで、計算機上で生成した三次元座標系におけるＣＧを現実空間に重畳描画することができる技術である。

プロジェクタは、投影レンズから出た光を物体に当てることで、映像を表示する装置であり、カメラとは光の進む向きが逆方向であること以外は、基本的に類似したモデルによって計算できることで知られている。したがって、任意の三次元座標系におけるプロジェクタの位置姿勢を求めることで、計算機上で生成した三次元座標系におけるＣＧを現実空間の任意の位置に投影することができる。

拡張現実感技術は、どこにＣＧを重畳描画するか、といった「幾何学的整合性」の課題に注目するものが一般的である。一方、ユーザに情報を伝えるために、重畳するＣＧをどのように管理するかに注目した技術をビューマネジメントという（例えば、非特許文献１参照）。また、拡張現実感技術を用いてＣＧによる注釈情報を表示する場合、「注釈情報同士や、注釈と説明対象の物体との重なりの量」、「注釈情報と被注釈情報との距離」、及び「時間系における注釈情報の移動量」の３要素が考慮されるべきこととして提案されている（例えば、非特許文献２参照）。

特許文献１は、観察者（ユーザ）とディスプレイなどの表示器との間に物体（光遮蔽物）がある場合、物体を検出する表示遮蔽物検出部と、表示遮蔽物検出部による検出の結果に基づいて情報のレイアウトを決定する表示レイアウト部を備える表示装置を提案している。

特許文献２は、投影対象を撮影する撮影手段と、撮影手段の撮影領域に応じて、注釈情報の表示態様を調整するアノテーション調整手段とを有する遠隔指示システムを提案している。

特許文献３は、外部装置から入力された注釈画像を被写体に投影する投影手段を有し、この投影手段によって注釈画像が投影された被写体を、撮像手段で撮影して得られた情報に基づき、被写体に投影される注釈画像を移動制御する制御手段を有する画像投影装置を提案している。

特許第３８７４７３７号公報（例えば、段落００２０〜００２９） 特許第５０９２４５９号公報（例えば、段落００３７〜００４８、００５３〜００６１） 特開２００８−１５８４１９号公報（例えば、段落００３１〜００４１）

蔵田武志、酒田信親、牧田孝嗣著、「拡張現実感（ＡＲ）：１１．展望３：ＡＲのインタフェース」、情報処理Ｖｏｌ．５１、 Ｎｏ．４、 Ａｐｒ．２０１０、ｐｐ．４２５−４３０ Ｒｏｎａｌｄ Ａｚｕｍａ， Ｃｈｒｉｓ Ｆｕｒｍａｎｓｋｉ、 "Ｅｖａｌｕａｔｉｎｇ Ｌａｂｅｌ Ｐｌａｃｅｍｅｎｔ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｖｉｅｗ Ｍａｎａｇｅｍｅｎｔ"、 ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ ２００３）、（Ｔｏｋｙｏ７−１０ Ｏｃｔｏｂｅｒ ２００３）、 ｐｐ．６６−７５

しかしながら、光学機器（例えば、プロジェクタ）と投影対象との間に物体（光遮蔽物）が存在すると、投影対象に物体（光遮蔽物）の影ができるため、任意の位置にＣＧを投影できないなど、観察者に意図した情報が提供できない問題があった。

例えば、特許文献１に記載の装置は、観察者とモニタなどのデバイスとの間の物体のみを考慮しており、プロジェクタのように投影型の表示デバイスと投影対象との間にある物体については考慮していない。また、特許文献１に記載の装置は、ＣＧが複数ある場合、ＣＧ同士の関係をどのように制御するかについての記載はない。

特許文献２に記載の装置は、ＣＧの投影条件を調整するものであるが、追加するＣＧのみに注目しており、元からＣＧが複数ある場合についての記載はない。特許文献３に記載の装置は、複数のＣＧを移動させるものであるが、ＣＧの移動のさせ方によっては、関連したＣＧが遠くなる可能性がある。

本発明は、上記課題を解決するためになされたものであり、光学機器と対象物との間に物体（光遮蔽物）がある場合であっても、適切な領域にグラフィクス画像を表示することができる光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを提供することを目的とする。

本発明に係る光学機器制御装置は、投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成部と、現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出部と、前記投影画像データと前記物体検出部による検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定部と、前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更部と、前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更部によって変更された投影画像データを前記投影画像データとして前記投影画像生成部に提供する管理部と、第１の画像及び第２の画像の属性を記憶する記憶部と、を有し、前記グラフィクス画像は、前記第１の画像と前記第２の画像とを含み、前記変更部は、前記重なり判定部によって前記第１の画像が前記影と前記重複状態にあると判定された場合に、力学モデルに基づいて前記第１の画像が受ける引力と斥力を算出し、算出した結果に基づいて、前記第２の画像の投影領域以外及び前記影以外の領域に前記第１の画像が投影されるように前記投影画像データを変更する、ことを特徴とする。前記斥力は、前記影の位置に基づいて前記第１の画像が受ける力と、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力とを含み、前記引力は、前記第１の画像が投影された位置に基づいて前記第１の画像が受ける力であり、かつ前記第１の画像と前記第２の画像とが共通の前記属性を備える場合に、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力である。

本発明に係る光学機器制御方法は、投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成ステップと、現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出ステップと、前記投影画像データと前記物体検出ステップによる検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定ステップと、前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更ステップと、前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更ステップによって変更された投影画像データを前記投影画像データとして前記投影画像生成ステップに提供する管理ステップと、を有し、前記グラフィクス画像は、第１の画像と第２の画像とを含み、前記変更ステップでは、前記重なり判定ステップによって前記第１の画像が前記影と前記重複状態にあると判定された場合に、力学モデルに基づいて前記第１の画像が受ける引力と斥力を算出し、算出した結果に基づいて、前記第２の画像の投影領域以外及び前記影以外の領域に前記第１の画像が投影されるように前記投影画像データを変更する、ことを特徴とする。前記斥力は、前記影の位置に基づいて前記第１の画像が受ける力と、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力とを含み、前記引力は、前記第１の画像が投影された位置に基づいて前記第１の画像が受ける力であり、かつ前記第１の画像と前記第２の画像とが共通の属性を備える場合に、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力である。

本発明によれば、光学機器と対象物との間に物体（光遮蔽物）がある場合であっても適切な領域にグラフィクス画像を表示することができるので、観察者に対して意図した情報を提供することができる。

本発明の実施の形態１に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る光学機器制御装置のハードウェア構成の一例を示す図である。 実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 （ａ）から（ｄ）は、実施の形態１に係る光学機器制御装置の動作を説明するための図である。 実施の形態１に係る光学機器制御装置の動作を示すフローチャートである。 実施の形態１における物体検出処理の一例を示すフローチャートである。 実施の形態１における重なり判定処理の一例を示すフローチャートである。 実施の形態１におけるＣＧの移動処理の一例を示すフローチャートである。 本発明の実施の形態２に係る光学機器制御装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る光学機器制御装置の動作を説明するための図である。 実施の形態２における物体検出処理の一例を示すフローチャートである。

以下に、本発明の実施の形態に係る光学機器制御装置、光学機器制御方法、及び光学機器制御プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

《１》実施の形態１
《１−１》構成
図１は、本発明の実施の形態１に係る光学機器制御装置１の構成を概略的に示す機能ブロック図である。光学機器制御装置１は、実施の形態１に係る光学機器制御方法を実施することができる装置である。また、光学機器制御装置１は、実施の形態１に係る光学機器制御プログラムを実行することができる装置である。

図１に示されるように、実施の形態１に係る光学機器制御装置１は、カメラ２０１ａ又はセンサ２０１ｂなど現実空間の情報を取得する装置である現実空間情報取得装置２０１と、プロジェクタ２０２ａなど画像を投影する装置である画像投影装置２０２とに接続されている。現実空間情報取得装置２０１と画像投影装置２０２とは、別個の装置であってもよく、また、一体型の装置であってもよい。

図１に示されるように、実施の形態１に係る光学機器制御装置１は、物体検出部１１と、重なり判定部１２と、管理部としての属性管理部１３と、投影画像生成部１４と、変更部としてのレイアウト計算部１５と、記憶部１６と、を備える。

現実空間情報取得装置２０１は、カメラ２０１ａ又はセンサ２０１ｂなどによって現実空間情報Ｇ１を取得する。物体検出部１１は、現実空間情報取得装置２０１から現実空間情報Ｇ１を受け取り、現実空間情報Ｇ１に基づいて光学機器（例えば、プロジェクタ２０２ａ）と投影対象（対象物）との間に存在する物体（例えば、図３で示される物体１００としての手）を検出する。物体検出部１１は、検出した物体１００に関する検出物体情報Ｇ２を重なり判定部１２に送る。

重なり判定部１２は、物体検出部１１から受け取った検出物体情報Ｇ２と、属性管理部１３から読み込んだＣＧ（後述するグラフィクス画像としてのＣＧ１０４）の情報Ｇ３とから、投影画像に含まれるＣＧ１０４が、プロジェクタ２０２ａから出射される光が物体１００によって投影対象に到達しない領域である影（すなわち、影領域）と重なっている重複状態にあるか否かを判定する（すなわち、重なり判定を行う）。

重なり判定部１２は、重なり判定において物体１００が各ＣＧ１０４を遮蔽するかどうかを判定する。重なり判定部１２により判定された重なり判定の結果Ｇ４は、属性管理部１３に送られる。なお、重なり判定部１２は、投影画像に含まれるＣＧ１０４が影と重なっている部分が存在する場合を重複状態と判定することも可能であるが、投影画像に含まれるＣＧ１０４が影と重なっている部分の面積が、ＣＧ１０４の面積の一定割合以上となっている場合を重複状態と判定することも可能である。

属性管理部１３は、記憶部１６に記憶されている情報（記録内容）を読み込み、又は、記憶部１６に情報を書き込む若しくは記録内容を書き換える管理部である。レイアウト計算部１５は、ＣＧ１０４が物体１００の影以外の領域に投影されるようにＣＧ１０４の配置位置を変更する変更部である。レイアウト計算部１５は属性管理部１３からＣＧ１０４の情報Ｇ３及び重なり判定の結果Ｇ４を受け取り、受け取ったＣＧ１０４の情報Ｇ３及び重なり判定の結果Ｇ４を基にＣＧ１０４の再配置座標１６ａを計算する。

レイアウト計算部１５により計算されたＣＧ１０４の再配置座標１６ａを含む情報Ｇ５は、属性管理部１３に送られる。属性管理部１３は、ＣＧ１０４の情報Ｇ３と、レイアウト計算部１５により計算されたＣＧ１０４の再配置座標１６ａを含む情報Ｇ５とを投影画像生成部１４に提供する。

投影画像生成部１４は、属性管理部１３から受け取ったＣＧ１０４の情報Ｇ３及びＣＧ１０４の再配置座標１６ａを含む情報Ｇ５を基に投影画像データＧ６を生成し、画像投影装置２０２に送る。画像投影装置２０２は、投影画像生成部１４から投影画像データＧ６を受け取り、ＣＧ１０４を含む投影画像（後述する投影画像１０２）を投影する。

記憶部１６は、ＣＧ１０４に関する情報を記録する記録媒体又は記憶装置である。図１に示されるように、記憶部１６には、例えば、ＣＧ１０４の再配置座標１６ａと、階層１６ｂと、面積１６ｃと、配置座標１６ｄと、移動フラグ１６ｅとが記憶される。

図２は、実施の形態１に係る光学機器制御装置１のハードウェア構成の一例を示す図である。光学機器制御装置１は、コンピュータであってもよい。光学機器制御装置１は、プロセッサであるＣＰＵ（Ｃｅｎｔａｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２と、メインメモリ２３と、ストレージ２４と、バス２５とを備えている。

また、図２に示されるように、光学機器制御装置１には、現実空間情報取得装置２０１としてのカメラ２０１ａと、現実空間情報取得装置２０１としてのセンサ２０１ｂと、画像投影装置２０２としてのプロジェクタ２０２ａとが接続されている。現実空間情報取得装置２０１は、カメラ２０１ａ及びセンサ２０１ｂの一方のみであってもよい。また、現実空間情報取得装置２０１は、異なる位置から対象物を撮影する複数のカメラ２０１ａ又は異なる位置から対象物を検出する複数のセンサ２０１ｂであってもよい。

ＣＰＵ２１は、光学機器制御装置１の動作の全体を実行するための演算装置である。ＧＰＵ２２は、主に画像データ処理を行う演算装置である。メインメモリ２３は、光学機器制御装置１のハードウェアがデータの消去及び書き換えが可能な記憶装置である。メインメモリ２３は、揮発性であるが、ストレージ２４より高速に動作することから、使用中のデータ又は直近で使用する必要が生じるデータを保存するために使用される。

光学機器制御プログラムは、ＣＰＵ２１で実行される。ＣＰＵ２１が光学機器制御プログラムを実行することにより、図１に示される物体検出部１１、重なり判定部１２、属性管理部１３、投影画像生成部１４、及びレイアウト計算部１５の全体又は一部を実現することができる。

ストレージ２４は、光学機器制御装置１のハードウェアによって、データの消去及び書き換えが可能な記憶装置であり、図１における記憶部１６に対応する。このストレージに記憶されている光学機器制御プログラムの必要な情報はメインメモリ２３において展開され、ＣＰＵ２１によって実行される。バス２５は、データ交換用のデータ転送路である。

カメラ２０１ａは、現実空間情報Ｇ１を取得するために必要な画像を撮影する現実空間情報取得装置２０１である。

センサ２０１ｂは、現実空間情報Ｇ１を取得するために必要な値を取得する現実空間情報取得装置２０１である。センサ２０１ｂは、例えば、位置を計測するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、加速度を検出する加速度センサ、方位を計測する地磁気センサ、物体までの距離を計測する深度センサである。

プロジェクタ２０２ａは、投影画像１０２を現実空間に投影するために必要な画像投影装置２０２である。

《１−２》動作
図３は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図３に示されるように、実施の形態１では、例えば、現実空間情報取得装置２０１としてカメラ２０１ａを用い、画像投影装置２０２としてプロジェクタ２０２ａを用いる。図３に示されるように、カメラ２０１ａはカメラ座標系（デバイス座標系）２０１１ａを備え、プロジェクタ２０２ａはプロジェクタ座標系２０２１ａを備える。

図３には、プロジェクタ２０２ａの視錐台２０２０ａが示される。プロジェクタ２０２ａの視錐台２０２０ａは、プロジェクタ２０２ａにより画像が投影される空間の範囲を示すものである。図３に示されるように、プロジェクタ２０２ａの視錐台２０２０ａ内には、第１の物体としての物体（例えば、人の手）１００が含まれている（すなわち、物体が存在している）。したがって、プロジェクタ２０２ａにより投影される画像は、その一部が物体１００により遮られている。

図４（ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図４（ａ）は、プロジェクタ２０２ａの投影画像１０２を遮る物体が存在しない状態を示しており、図４（ｂ）はプロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態を示している。

図４（ａ）に示されるように、プロジェクタ２０２ａにより投影対象（対象物）としての投影面１０１上に投影画像１０２が投影されている。投影画像１０２には、個々のＣＧ１０４が含まれる。投影画像１０２の中央部分には、プロジェクタ２０２ａにより注釈を行う対象である部品（部品Ａ）１０３が存在する。

また、投影画像１０２の右上部分には、部品１０３についてのＣＧ（部品１０３が「部品Ａ」であることを示す情報）１０４がプロジェクタ２０２ａにより表示されている。ＣＧ１０４は、プロジェクタ２０２ａにより投影される注釈のための付加情報である。図４（ａ）においては、プロジェクタ２０２ａの投影画像１０２を遮る物体が存在しないため、ＣＧ（付加情報）１０４が観察者に視認可能である。

一方、図４（ｂ）に示されるように、プロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態では、プロジェクタ２０２ａの投影画像１０２の一部は、物体１００によって遮られているため、投影画像１０２の一部に物体１００の影である非投影領域（影領域）１０５が存在する。そして、図４（ｂ）に示されるように、非投影領域１０５とＣＧ１０４の配置位置（投影領域）とが重なっているため、ＣＧ１０４は観察者（例えば、部品１０３に対して手１００による作業を行う作業者）にとって視認不能である。

図５（ａ）及び（ｂ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図５（ａ）及び（ｂ）は、プロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態を示している。図５（ａ）及び（ｂ）においては、ＣＧ１０４が非投影領域１０５と重なっており観察者にとって視認不能であることから、図４（ａ）及び（ｂ）の状態からＣＧ１０４の配置位置の移動（再配置）を行っている。

例えば、図５（ａ）ではＣＧ１０４は投影画像１０２の左下に移動して表示されており、図５（ｂ）ではＣＧ１０４は投影画像１０２の左上に移動して表示されている。このように、実施の形態１に係る光学機器制御装置１は、ＣＧ１０４の配置位置が非投影領域１０５と重ならないように、ＣＧ１０４の配置位置の移動を行うことを特徴とする。これにより、物体１００が存在してプロジェクタ２０２ａの投影画像１０２の一部又は全部が遮られた場合であっても、ＣＧ１０４を観察者が視認可能とすることができる。

図６（ａ）から（ｃ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図６（ａ）から（ｃ）は、プロジェクタ２０２ａによって投影面１０１上に投影された投影画像１０２の平面図を示している。図６（ａ）から（ｃ）は、投影画像１０２内に２個のＣＧ（ＣＧ１０４ａ及びＣＧ１０４ｂ）１０４が含まれている状態を示している。

図６（ａ）は、プロジェクタ２０２ａの投影画像１０２を遮る物体が存在しない状態を示しており、図６（ｂ）及び（ｃ）はプロジェクタ２０２ａの投影画像１０２を遮る物体１００が存在する状態を示している。図６（ｂ）は、ＣＧ１０４ｂの移動前の状態を示しており、図６（ｃ）はＣＧ１０４ｂの移動後の状態を示している。

図６（ａ）に示されるように、投影画像１０２には、ＣＧ１０４として「部品Ａ」を解説する（すなわち、「部品Ａ」に関する）ＣＧ１０４ａ（第１の画像）と、「部品Ｂ」を解説するＣＧ１０４ｂ（第２の画像）とが含まれる。ＣＧ１０４ａとＣＧ１０４ｂとは、距離１０６ａｂ離れて表示されている。

図６（ｂ）に示されるように、物体１００が存在することによって、「部品Ｂ」を解説するＣＧ１０４ｂと物体１００の影（すなわち、図５に示される非投影領域１０５）とが重なり、ＣＧ１０４ｂが観察者にとって視認不能となっているため、光学機器制御装置１は、ＣＧ１０４ｂの配置位置の移動（再配置）を行う。

図６（ｃ）に示されるように、「部品Ｂ」を解説するＣＧ１０４ｂは、図６（ｂ）の状態から図における右上に移動されている。これにより、物体１００の影とＣＧ１０４ｂとが重なることがなくなり、ＣＧ１０４ｂが観察者にとって視認可能となる。移動後におけるＣＧ１０４ｂの位置は、ＣＧ１０４ｂが物体１００の影と重ならず、且つ、ＣＧ１０４ｂがＣＧ１０４ａと距離１０６ａｂ′を確保できる位置であれば自由に設定可能である。距離１０６ａｂ′は、例えば、予め決められた距離、ＣＧ１０４ａ及び物体１００の影に重複しない範囲で、ＣＧ１０４ｂが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。

図７（ａ）から（ｄ）は、実施の形態１に係る光学機器制御装置１の動作を説明するための図である。図７（ａ）から（ｄ）は、プロジェクタ２０２ａによって投影面１０１上に投影された投影画像１０２の平面図を示している。図７（ａ）から（ｄ）は、投影画像１０２内に３個のＣＧ（ＣＧ１０４ａ、ＣＧ１０４ｂ、及びＣＧ１０４ｃ）１０４が含まれている状態を示している。

図７（ａ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃの移動前の状態を示しており、図７（ｂ）は、図７（ａ）に示されるＣＧ１０４ａ，１０４ｂ，１０４ｃの移動後の状態を示している。図７（ｃ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃの移動前の状態を示しており、図７（ｄ）は、図７（ｃ）に示されるＣＧ１０４ａ，１０４ｂ，１０４ｃの移動後の状態を示している。図７（ａ）及び（ｂ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃが互いに親子階層の属性（共通の属性）を有しない場合における移動の一例を示しており、図７（ｃ）及び（ｄ）は、ＣＧ１０４ａ，１０４ｂ，１０４ｃが互いに親子階層の属性を有する場合における移動の一例を示している。

図７（ａ）に示されるように、投影画像１０２には、ＣＧ１０４として、「部品Ａ」を解説するＣＧ１０４ａと、「部品Ｂ」を解説するＣＧ１０４ｂと、「部品Ｃ」を解説するＣＧ１０４ｃとが含まれている。ＣＧ１０４ａとＣＧ１０４ｂとの間には、距離１０６ａｂで示される間隔が存在する。ＣＧ１０４ａとＣＧ１０４ｃとの間には、距離１０６ａｃで示される間隔が存在する。

図７（ａ）に示されるように、物体１００が存在することによって、「部品Ｂ」を解説するＣＧ１０４ｂ及び「部品Ｃ」を解説するＣＧ１０４ｃと物体１００の影とが重なる重複状態となり、ＣＧ１０４ｂ及びＣＧ１０４ｃが観察者にとって視認不能となっているため、図７（ｂ）に示されるように、ＣＧ１０４ｂ及びＣＧ１０４ｃの配置位置の移動（再配置）を行う。

図７（ｂ）に示されるように、「部品Ｂ」を解説するＣＧ１０４ｂは、図における右上に移動している。これにより、物体１００の影とＣＧ１０４ｂとが重なることがなくなり、ＣＧ１０４ｂが観察者にとって視認可能となる。移動後におけるＣＧ１０４ｂの位置は、ＣＧ１０４ｂが物体１００の影及びＣＧ１０４ｃと重ならず、且つ、ＣＧ１０４ｂがＣＧ１０４ａと距離１０６ａｂ′を確保できる位置であれば自由に設定可能である。距離１０６ａｂ′は、例えば、予め決められた距離、ＣＧ１０４ａ、ＣＧ１０４ｃ、及び物体１００の影に重複しない範囲で、ＣＧ１０４ｂが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。

図７（ｂ）に示されるように、「部品Ｃ」を解説するＣＧ１０４ｃは、図における左下に移動している。これにより、物体１００の影とＣＧ１０４ｃとが重なることがなくなり、ＣＧ１０４ｃが観察者にとって視認可能となる。移動後におけるＣＧ１０４ｃの位置は、ＣＧ１０４ｃが物体１００の影及びＣＧ１０４ｂと重ならず、且つ、ＣＧ１０４ｃがＣＧ１０４ａと距離１０６ａｃ′を確保できる位置であれば自由に設定可能である。距離１０６ａｃ′は、例えば、予め決められた距離、ＣＧ１０４ａ、ＣＧ１０４ｂ、及び物体１００の影に重複しない範囲で、ＣＧ１０４ｃが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。

図７（ｃ）及び（ｄ）では、ＣＧ１０４ｂとＣＧ１０４ｃとの間に親子階層の属性がある（例えば、ＣＧ１０４ｂが親で、ＣＧ１０４ｃが子である）場合について示されている。図７（ｃ）に示されるように、投影画像１０２には、「部品Ａ」を解説するＣＧ１０４ａと、「部品Ｂ」を解説するＣＧ１０４ｂと、「部品Ｃ」を解説するＣＧ１０４ｃとが含まれている。ＣＧ１０４ａとＣＧ１０４ｂとの間には、距離１０６ａｂで示される間隔が存在する。

また、ＣＧ１０４ｂとＣＧ１０４ｃとの間には、距離１０６ｂｃで示される間隔が存在している。このような場合には、ＣＧ１０４ｂとＣＧ１０４ｃとの間の距離１０６ｂｃ′が存在するように、ＣＧ１０４ｂとＣＧ１０４ｃの配置位置の移動を行う。また、図７（ａ）及び（ｂ）と同様に、ＣＧ１０４ａとＣＧ１０４ｂとの間の距離１０６ａｂ′が存在するように、ＣＧ１０４ｂの配置位置の移動を行う。

図７（ｄ）に示されるように、「部品Ｂ」を解説するＣＧ１０４ｂと、「部品Ｃ」を解説するＣＧ１０４ｃとは、図における左下に移動されている。これにより、物体１００の影とＣＧ１０４ｂ及びＣＧ１０４ｃとが重なることがなくなり、ＣＧ１０４ｂ及びＣＧ１０４ｃが視認可能となる。移動後におけるＣＧ１０４ｃの位置は、ＣＧ１０４ｃが物体１００の影及びＣＧ１０４ｂと重ならず、且つ、ＣＧ１０４ｃがＣＧ１０４ａと距離１０６ａｃ′を確保できる位置であれば自由に設定可能である。距離１０６ａｃ′は、例えば、予め決められた距離、ＣＧ１０４ａ、ＣＧ１０４ｂ、及び物体１００の影に重複しない範囲で、ＣＧ１０４ｃが投影画像１０２からはみ出さないようにする距離、又はユーザが指定した距離などにすることができる。

また、移動後におけるＣＧ１０４ｃの位置は、ＣＧ１０４ｃが物体１００の影及びＣＧ１０４ａと重ならず、且つ、ＣＧ１０４ｃがＣＧ１０４ｂと距離１０６ｂｃ′を確保できる位置であれば自由に設定可能である。距離１０６ｂｃ′は、ＣＧ１０４ｂとＣＧ１０４ｃとの間に親子階層の属性等の共通の属性がある場合には、物体１００の影及びＣＧ１０４ａと重ならない範囲内で、できるだけ短い距離であることが望ましい。具体的に言えば、ＣＧ１０４ｂとＣＧ１０４ｃとが共通の属性を備える場合に、投影画像データの変更後におけるＣＧ１０４ｂの投影位置とＣＧ１０４ｃの投影位置との間の距離１０６ｂｃ′が、投影画像データの変更前におけるＣＧ１０４ｂの投影位置とＣＧ１０４ｃの投影位置との間の距離１０６ｂｃより短くなるように、又は、予め決められた距離より短くなるように、投影画像データを変更する。

ＣＧ１０４（１０４ａ、１０４ｂ、１０４ｃ）の移動先は、元の位置に近い位置とすることが望ましい。また、ＣＧ１０４の移動先は、注釈を行う部品（オブジェクト）１０３に近い位置とすることが望ましい。また、ＣＧ１０４の移動距離は、短くすることが望ましい。光学機器制御装置１は、このような条件のもと、各ＣＧ１０４の移動を行う。

図８は、実施の形態１に係る光学機器制御装置１の動作を示すフローチャートである。図８に示される動作は、プロジェクタ２０２ａと投影面１０１との間に光遮蔽物（物体１００）があった場合、投影するＣＧ１０４を任意の位置に投影できるかを判定し、投影できないと判断されたＣＧ１０４は属性を考慮しつつ移動し、プロジェクタ２０２ａから投影する投影画像１０２を生成し、実際に投影するまでのＣＧ制御処理を示している。

以下、実施の形態１における光学機器制御装置１のＣＧ制御処理について、図８を参照しながら説明する。ただし、光学機器制御装置１が行うＣＧ制御処理は図８に示される処理と異なる処理であっても構わない。図８に示されるＣＧ制御処理は、現実空間情報取得装置２０１に使用されるカメラ２０１ａ又はセンサ２０１ｂが現実空間情報Ｇ１を取得するごとに（例えば、一定の周期で）実行される。

図８に示されるように、ステップＳ１１において、光学機器制御装置１は、現実空間情報取得装置２０１に、対象物を含む現実空間に基づく現実空間情報Ｇ１を取得させる。現実空間情報取得装置２０１がカメラ２０１ａである場合には、カメラ２０１ａは、現実空間情報Ｇ１として画像データを取得する。現実空間情報取得装置２０１がセンサ２０１ｂである場合には、センサ２０１ｂは、現実空間情報Ｇ１として検出値（例えば、深度センサの場合には距離情報）を取得する。

次のステップＳ１２において、光学機器制御装置１は、現実空間情報取得装置２０１で取得した現実空間情報Ｇ１を基に、物体検出部１１によってプロジェクタ２０２ａと投影面１０１との間に物体１００があるかを検出する。物体１００が検出された場合（ステップＳ１２においてＹＥＳ）には、処理は次のステップＳ１３に進む。

次のステップＳ１３において、光学機器制御装置１は、重なり判定部１２により、ステップＳ１２で検出された物体１００がＣＧ１０４の投影を遮蔽しているかどうか（物体１００の影とＣＧ１０４とが重複状態であるか否か）を判定する。物体１００がＣＧ１０４を遮蔽していると判断された場合（ステップＳ１３においてＹＥＳ）には、処理は次のステップＳ１４に進む。次のステップＳ１４において、光学機器制御装置１は、ステップＳ１３で遮蔽されていると判断されたＣＧ１０４について、属性管理部１３により記憶部１６の移動フラグ１６ｅを読み込み、移動フラグ１６ｅを立てる。

次のステップＳ１５において、光学機器制御装置１は、移動フラグ１６ｅが立てられたＣＧ１０４について、自身の位置及び属性と、他のＣＧ１０４の位置及び属性とを基に、レイアウト計算部１５によって目標となる位置までＣＧ１０４を移動して投影画像１０２を生成する。このとき、移動フラグ１６ｅが立てられたＣＧ１０４は移動後の座標で、移動フラグ１６ｅが立てられていないＣＧ１０４はそのままの座標で投影画像１０２が生成される。

次のステップＳ１６において、光学機器制御装置１は、画像投影装置２０２に、投影画像生成部１４で生成した投影画像１０２を投影させる。

図９は、実施の形態１における物体検出処理の一例を示すフローチャートである。図９は、図８のステップＳ１２における物体検出処理の一例を示している。ステップＳ２１において、光学機器制御装置１は、現実空間情報取得装置２０１で取得した現実空間情報Ｇ１を基に、現実空間情報取得装置２０１で使用したデバイス（例えば、カメラ２０１ａ）の座標系２０１１ａにおける物体１００の位置及び形状を推定する。

次のステップＳ２２において、光学機器制御装置１は、ステップＳ２１で推定した結果（物体１００の位置及び形状の情報）を、プロジェクタ座標系２０２１ａにおける位置及び形状の情報に変換する。次のステップＳ２３において、光学機器制御装置１は、プロジェクタの視錐台２０２０ａ内に物体１００が存在するかどうかを判定する。物体１００が視錐台２０２０ａ内に存在すると判定された場合には、図８のステップＳ１２の判定がＹＥＳとなり、物体１００が視錐台２０２０ａ内に存在しないと判定された場合には、図８のステップＳ１２の判定がＮＯとなる。

図１０は、実施の形態１における重なり判定処理の一例を示すフローチャートである。図１０は、図８のステップＳ１３におけるＣＧ１０４の重なり判定処理の一例を示している。ステップＳ３１において、光学機器制御装置１は、物体検出部１１で検出した物体１００をプロジェクタ画像座標系に投影する。

次のステップＳ３２において、光学機器制御装置１は、投影された物体１００の影の外形から物体１００の影についての凸包（凸包絡）を生成する。なお、凸包とは、与えられた集合を含む最小の凸集合のことをいう。凸集合とは、与えられた集合内の任意の２点を結ぶ線分がこの集合に含まれるとき、この集合のことをいう。

次のステップＳ３３において、光学機器制御装置１は、全てのＣＧ１０４をプロジェクタ画像座標系に投影する。次のステップＳ３４において、光学機器制御装置１は、投影されたＣＧ１０４の外形から各ＣＧ１０４についての凸包を生成する。次のステップＳ３５において、光学機器制御装置１は、検出した物体１００の影の凸包とＣＧ１０４の凸包とを１つずつ、総当たりで（すなわち、全ての組み合わせについて）抽出する。

次のステップＳ３６において、光学機器制御装置１は、抽出した２つの凸包から共通部分の面積を計算し、この面積が予め定められた閾値（面積閾値）以上であるならばＣＧ１０４と物体１００の影とが重なっている（すなわち、重複状態である）と判断する。もし検出した物体１００が複数ある場合は、この処理を物体１００ごとに繰り返す。

なお、ステップＳ３６の重なり判定の方法は、上記方法に限定されない。例えば、抽出した２つの凸包の共通部分の面積のＣＧ１０４の凸包の面積に対する割合が、予め定められた割合（割合閾値）以上となった場合に、ＣＧ１０４と物体１００の影とが重なっている（すなわち、重複状態である）と判断してもよい。

図１１は、実施の形態１におけるＣＧ１０４の移動処理の一例を示すフローチャートである。図１１は、図８のステップＳ１５におけるＣＧ１０４の移動処理の一例を示している。ステップＳ４１において、光学機器制御装置１は、処理ナンバーｎを１とする。

次のステップＳ４２において、光学機器制御装置１は、処理ナンバーｎと投影画像１０２に含まれる投影するＣＧ１０４の個数（総数）との比較を行い、処理ナンバーｎが投影するＣＧ１０４の個数以下の場合に、ＣＧ１０４の処理を続行する。処理ナンバーｎが投影画像１０２に含まれるＣＧ１０４の個数を上回った（すなわち、ｎ＞「ＣＧ１０４の個数」）場合（ステップＳ４２においてＹＥＳ）、ＣＧ１０４の移動処理は終了する。

処理ナンバーｎが投影画像１０２に含まれるＣＧ１０４の個数以下である場合（ステップＳ４２においてＮＯ）、処理はステップＳ４３に進み、光学機器制御装置１は、ＣＧ１０４の移動フラグ１６ｅが立っているかを確認する。移動フラグ１６ｅが立っている場合（ステップＳ４３においてＹＥＳ）、次のステップＳ４４からＳ４７において、例えば、力学モデルによる描画アルゴリズムに従う計算を行う。

この描画アルゴリズムでは、複数の点（本願では、影とＣＧ）の間に引力又は斥力が作用して、複数の点を近づけたり又は遠ざけたりする力学モデルにおいて、全ての点が安定した配置になるよう、互いに重ならないように点の位置を求める。

光学機器制御装置１は、ＣＧ１０４が受ける引力及び斥力の計算を行う。ＣＧ１０４は、例えば、物体１００の影の位置から斥力を受け（ステップＳ４４）、他のＣＧ１０４から斥力を受け（ステップＳ４５）、共通の属性（例えば、親子階層の属性）のＣＧ１０４から引力を受け（ステップＳ４６）、元の位置から引力を受ける（ステップＳ４７）。

次のステップＳ４８において、光学機器制御装置１は、ＣＧ１０４が受けた引力及び斥力を総合して、ＣＧ１０４の移動先の配置位置をレイアウト計算部１５により計算する。次のステップＳ４９において、光学機器制御装置１は、ＣＧ１０４の再配置座標１６ａを更新する。次のステップＳ５０において、光学機器制御装置１は、処理ナンバーｎを１インクリメントし、処理はステップＳ４２に戻り、処理ナンバーｎがＣＧ１０４の個数を上回るまで処理を続行する。

《１−３》効果
以上に説明したように、実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムによれば、物体検出部１１と、重なり判定部１２と、レイアウト計算部１５を備え、重なり判定部１２により物体１００の影とＣＧ１０４とが重なっている（重複状態にある）と判定された場合には、レイアウト計算部１５により物体１００の影と重ならない場所にＣＧ１０４を移動して再配置する。これにより、光学機器（例えば、プロジェクタ２０２ａ）と投影対象（投影面１０１）との間に光遮蔽物（例えば、物体１００）がある場合であっても、ＣＧ１０４を適切な場所に表示することができ、観察者に対して意図した情報を提供することができる。

実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムによれば、複数のＣＧ１０４（例えば、図７（ｃ）、（ｄ）における１０４ｂ、１０４ｃ）が互いに共通の属性を持つ場合には、これらの情報を基にＣＧ１０４の配置位置が決定される。これにより、ＣＧ１０４同士に共通の属性があることが継続して表示され、観察者に対して意図した情報を提供することができる。

《２》実施の形態２
《２−１》構成
図１２は、本発明の実施の形態２に係る光学機器制御装置１ａの概略的な構成を示す機能ブロック図である。図１２に示される光学機器制御装置１ａは、図１に示される光学機器制御装置１と概して同じであるが、ユーザ視線推定部１７を備える点が異なる。図１２において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。また、図１に示される構成と同一又は対応する構成については説明を省略する。

上記の実施の形態１では、プロジェクタ２０２ａから投影されたＣＧ１０４が物体１００によって遮蔽された場合、ＣＧ１０４を移動させることで観察者に情報を提供するものについて説明を行った。しかし、実施の形態１では、観察者の視点及び視線（目の中心である視点と見ている対象とを結ぶ線）は考慮されていない。したがって、実施の形態２では、観察者の視線を考慮し、観察者と投影対象との間に物体（後述する物体１００ａ）があっても観察者に意図した情報を提供することができる形態について記載する。なお、実施の形態２では、実施の形態１と同様に、光学機器（プロジェクタ２０２ａ）と投影対象との間に存在する物体１００についても考慮する。

図１２に示されるように、光学機器制御装置１ａはユーザ視線推定部１７を備える。ユーザ視線推定部１７は、現実空間情報取得装置２０１で取得した現実空間情報Ｇ１を基に観察者（図１３におけるユーザ２０３）の視線の推定を行う。ユーザ視線推定部１７で推定されたユーザ２０３の視線に関する情報Ｇ７は、重なり判定部１２に送られる。また、実施の形態２における物体検出部１１ａは、ユーザ２０３の視点と投影対象（投影面１０１）との間にある物体（第２の物体）１００ａの検出を行う。

重なり判定部１２は、物体検出部１１から受け取った検出物体情報Ｇ２と、ユーザ２０３の視線に関する情報Ｇ７と、属性管理部１３から読み込んだＣＧ１０４の情報Ｇ３とに基づいて、ＣＧ１０４の重なり判定を行う。重なり判定では、投影面１０１上において、ＣＧ１０４が物体検出部１１により検出された物体１００ａによりユーザ２０３にとって視認不能となった視認不能領域（すなわち、物体１００ａによって視線が遮られて視認することができない領域）と重複状態にあるか否かを判定する。レイアウト計算部１５は、ＣＧ１０４が物体１００ａによって視認不能となった視認不能領域以外の領域に投影されるように投影画像データＧ６を変更する。

図１３は、実施の形態２に係る光学機器制御装置１ａの動作を説明するための図である。図１３に示されるように、実施の形態２に係る光学機器制御装置１ａは実施の形態１に係る光学機器制御装置１とは異なり、プロジェクタ２０２ａではなくユーザ２０３の視点２０３ａが起点となっている。図１３に示されるように、実施の形態２では、実施の形態１におけるプロジェクタ座標系２０２１ａとプロジェクタの視錐台２０２０ａ（図３参照）とが、ユーザ座標系２０３１とユーザの視錐台２０３０とに置き換わっている。

ユーザ２０３の視錐台２０３０は、ユーザ２０３により視認される空間の範囲を示すものである。図１３に示されるように、ユーザの視錐台２０３０内には、物体（第２の物体）１００ａが含まれている。したがって、ユーザ２０３により視認される画像は、その一部が物体１００ａにより遮られている。

図１４は、実施の形態２における物体検出処理の一例を示すフローチャートである。図１４は、図８のステップＳ１２における物体検出処理の一例を示している。図１４において、ステップＳ２１からステップＳ２３までの処理は、図９におけるステップＳ２１からステップＳ２３までの処理と同じである。次のステップＳ５１において、光学機器制御装置１ａは、ユーザ視線推定部１７で推定したユーザ２０３の視線の位置をユーザ座標系２０３１に変換する。次のステップＳ５２において、光学機器制御装置１ａは、ユーザの視錐台２０３０内に物体１００ａがあるかどうかを判定する。

《２−２》効果
以上説明したように、実施の形態２に係る光学機器制御装置１ａ、光学機器制御方法、及び光学機器制御プログラムによれば、ユーザ視線推定部１７が構成として追加されることにより、観察者（ユーザ２０３）の視点と投影対象（投影面１０１）との間に光遮蔽物（物体１００）がある場合であっても、観察者が視認できる位置にＣＧ１０４を表示することができ、観察者に意図した情報を提供することができる。

また、実施の形態２に係る光学機器制御装置１ａ、光学機器制御方法、及び光学機器制御プログラムによれば、実施の形態１に係る光学機器制御装置１、光学機器制御方法、及び光学機器制御プログラムと同様の効果が得られる。

《３》変形例
上記実施の形態１及び２においては、ＣＧ１０４を移動させることによってＣＧ１０４を視認可能にしたが、ＣＧ１０４を縮小表示させることによって、又は、ＣＧ１０４の文字配列を変更する（例えば、横書きを縦書きに変更する）ことによって、又は、移動と縮小と文字配列の変更のいずれかの組み合わせによって、ＣＧ１０４を視認可能にしてもよい。

また、図７（ｂ）及び（ｃ）では、ＣＧ１０４ｂとＣＧ１０４ｃとが親子階層の属性を持つ場合を説明したが、親子階層の属性を持つＣＧ配置としたときにＣＧのいずれかが投影面１０１内に収まらない場合に、図７（ａ）及び（ｂ）に示されるように親子階層の属性を考慮しないＣＧ配置などの他の配置に切り換えるようにしてもよい。

１，１ａ 光学機器制御装置、 １１，１１ａ 物体検出部、 １２ 重なり判定部、
１３ 属性管理部、 １４ 投影画像生成部、 １５ レイアウト計算部、 １６ 記憶部、 １６ａ 再配置座標、 １６ｂ 階層、 １６ｃ 面積、 １６ｄ 配置座標、
１６ｅ 移動フラグ、 １７ ユーザ視線推定部、 ２１ ＣＰＵ、 ２２ ＧＰＵ、
２３ メインメモリ、 ２４ ストレージ、 ２５ バス、 １００ 物体、 １０１
投影面、 １０２ 投影画像、 １０３ 部品、 １０４ ＣＧ、 １０５ 非投影領域、 １０６ 距離、 ２０１ 現実空間情報取得装置、 ２０１ａ カメラ、 ２０１ｂ センサ、 ２０２ 画像投影装置、 ２０２ａ プロジェクタ、 ２０３ ユーザ、
Ｇ１〜Ｇ７ 情報。

Claims (9)

1. 投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成部と、
   現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出部と、
   前記投影画像データと前記物体検出部による検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定部と、
   前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更部と、
   前記重なり判定部によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更部によって変更された投影画像データを前記投影画像データとして前記投影画像生成部に提供する管理部と、
   第１の画像及び第２の画像の属性を記憶する記憶部と、
   を有し、
   前記グラフィクス画像は、前記第１の画像と前記第２の画像とを含み、
   前記変更部は、前記重なり判定部によって前記第１の画像が前記影と前記重複状態にあると判定された場合に、力学モデルに基づいて前記第１の画像が受ける引力と斥力を算出し、算出した結果に基づいて、前記第２の画像の投影領域以外及び前記影以外の領域に前記第１の画像が投影されるように前記投影画像データを変更し、
   前記斥力は、前記影の位置に基づいて前記第１の画像が受ける力と、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力とを含み、
   前記引力は、前記第１の画像が投影された位置に基づいて前記第１の画像が受ける力であり、かつ前記第１の画像と前記第２の画像とが共通の前記属性を備える場合に、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力である、
   ことを特徴とする光学機器制御装置。
2. 前記影の位置に基づいて前記第１の画像が受ける力は、前記影の位置と前記第１の画像との間の距離が長いほど小さくなる、
   ことを特徴とする請求項１に記載の光学機器制御装置。
3. 前記第１の画像が投影された位置に基づいて前記第１の画像が受ける力は、前記第１の画像が投影された位置と前記第１の画像との間の距離が長いほど大きくなる、
   ことを特徴とする請求項１又は２に記載の光学機器制御装置。
4. 前記変更部は、前記第１の画像と前記第２の画像とが共通の前記属性を備える場合に、前記投影画像データの変更後における前記第１の画像の投影位置と前記第２の画像の投影位置との間の距離が、前記投影画像データの変更前における前記第１の画像の投影位置と前記第２の画像の投影位置との間の距離より短くなるように、又は、予め決められた距離より短くなるように、前記投影画像データを変更する、
   ことを特徴とする請求項１に記載の光学機器制御装置。
5. 前記第１の画像の投影位置と前記第２の画像の投影位置との位置関係は、前記第１の画像の投影位置と前記第２の画像の投影位置との間の距離、及び前記第１の画像の投影位置の前記第２の画像の投影位置に対する配置方向の内の少なくとも一つに基づくものである
   ことを特徴とする請求項４に記載の光学機器制御装置。
6. 前記重なり判定部は、前記グラフィクス画像が前記影と前記重複状態にある部分の面積が予め定められた面積閾値以上である場合又は前記面積の前記グラフィクス画像に対する割合が予め定められた割合閾値以上である場合に、前記グラフィクス画像が前記影と前記重複状態にあると判定する
   ことを特徴とする請求項１から５のいずれか１項に記載の光学機器制御装置。
7. 前記現実空間情報取得装置によって取得された前記現実空間情報に基づいて、前記投影画像を観察する観察者の視線を推定する視線推定部を更に備え、
   前記物体検出部は、前記観察者の視点と前記対象物との間に存在する第２の物体を検出し、
   前記重なり判定部は、前記投影画像データと、前記視線推定部による推定の結果と、前記物体検出部による検出の結果とに基づいて、前記対象物上において、前記グラフィクス画像が前記物体検出部により検出された前記第２の物体により前記観察者に視認不能となった視認不能領域と前記重複状態にあるか否かを判定し、
   前記変更部は、前記重なり判定部により前記グラフィクス画像が前記視認不能領域と判定された場合に、前記グラフィクス画像が前記視認不能領域以外の領域に投影されるように前記投影画像データを変更する
   ことを特徴とする請求項１から６のいずれか１項に記載の光学機器制御装置。
8. 投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成ステップと、
   現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出ステップと、
   前記投影画像データと前記物体検出ステップによる検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定ステップと、
   前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更ステップと、
   前記重なり判定ステップによって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更ステップによって変更された投影画像データを前記投影画像データとして前記投影画像生成ステップに提供する管理ステップと、
   を有し、
   前記グラフィクス画像は、第１の画像と第２の画像とを含み、
   前記変更ステップでは、前記重なり判定ステップによって前記第１の画像が前記影と前記重複状態にあると判定された場合に、力学モデルに基づいて前記第１の画像が受ける引力と斥力を算出し、算出した結果に基づいて、前記第２の画像の投影領域以外及び前記影以外の領域に前記第１の画像が投影されるように前記投影画像データを変更し、
   前記斥力は、前記影の位置に基づいて前記第１の画像が受ける力と、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力とを含み、
   前記引力は、前記第１の画像が投影された位置に基づいて前記第１の画像が受ける力であり、かつ前記第１の画像と前記第２の画像とが共通の属性を備える場合に、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力である、
   ことを特徴とする光学機器制御方法。
9. コンピュータに、
   投影画像データに基づく投影画像を光学機器から対象物上に投影させる投影画像生成処理と、
   現実空間情報取得装置によって取得された現実空間情報に基づいて、前記光学機器と前記対象物との間に存在する第１の物体を検出する物体検出処理と、
   前記投影画像データと前記物体検出処理による検出の結果とに基づいて、前記投影画像に含まれるグラフィクス画像が、前記投影画像が前記第１の物体によって前記対象物に到達しない領域である影と重複状態にあるか否かを判定する重なり判定処理と、
   前記重なり判定処理によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記グラフィクス画像が前記影以外の領域に投影されるように前記投影画像データを変更する変更処理と、
   前記重なり判定処理によって前記グラフィクス画像が前記影と前記重複状態にあると判定された場合に、前記変更処理によって変更された投影画像データを前記投影画像データとして前記投影画像生成処理に提供する管理処理と、
   を実行させ、
   前記グラフィクス画像は、第１の画像と第２の画像とを含み、
   前記変更処理では、前記重なり判定処理によって前記第１の画像が前記影と前記重複状態にあると判定された場合に、力学モデルに基づいて前記第１の画像が受ける引力と斥力を算出し、算出した結果に基づいて、前記第２の画像の投影領域以外及び前記影以外の領域に前記第１の画像が投影されるように前記投影画像データを変更し、
   前記斥力は、前記影の位置に基づいて前記第１の画像が受ける力と、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力とを含み、
   前記引力は、前記第１の画像が投影された位置に基づいて前記第１の画像が受ける力であり、かつ前記第１の画像と前記第２の画像とが共通の属性を備える場合に、前記第２の画像の投影位置に基づいて前記第１の画像が受ける力である、
   ことを特徴とする光学機器制御プログラム。

Images