JP4298407B2

JP4298407B2 - 映像合成装置及び映像合成方法

Info

Publication number: JP4298407B2
Application number: JP2003204813A
Authority: JP
Inventors: 利果田中; 要冨手; 登志一大島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-30
Filing date: 2003-07-31
Publication date: 2009-07-22
Anticipated expiration: 2023-07-31
Also published as: EP1404126A2; US7487468B2; EP1404126B1; US20040070611A1; DE60313412T2; JP2004178554A; EP1404126A3; CN1324534C; CN1497504A; DE60313412D1

Description

【０００１】
【発明の属する技術分野】
本発明は、現実世界の映像にコンピュータにより生成された映像や情報（ＣＧ: Computer Graphics）を重畳する映像合成装置及び映像合成方法に関し、特に体験者が注目したい現実空間の領域上へのＣＧ表示制御に関する。
【０００２】
【従来の技術】
現実世界の映像にＣＧを重畳した映像を用いて、様々な行動を支援する技術は拡張現実感（ＡＲ: Augmented Reality）や複合現実感（ＭＲ: Mixed Reality）に関する技術として、活発に研究されている。例えば、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途、また、現実風景に地名や名称などを案内表示する用途などがある。
【０００３】
【非特許文献１】
G. Reitmayr and D. Schmalstieg. "Mobile Collaborative Augmented Reality" In Proc. IEEE Virtual Reality 2001, pages 114-123
【特許文献１】
特開２０００−２７６６１０号公報
【０００４】
【発明が解決しようとする課題】
ところで、ＣＧが重畳表示されることにより、ＣＧで隠されて見えなくなってしまう現実空間領域が出てくる。隠されてしまう領域が体験者の興味のない領域であれば問題はないが、従来はそのような考慮は何らなされていないため、たとえ体験者が注目したい現実空間領域であっても、予め設定された内容に従い、ＣＧが重畳されてしまっていた。
【０００５】
非特許文献１では、ＡＲシステムにおけるＣＧ表示位置に関する分類（Head-stabilized:ユーザの視点に応じて情報を固定、Body-stabilized:ユーザの身体の位置に応じて情報を固定、World-stabilized:現実世界の位置にあわせて情報をあわせる）から、特にモバイルＡＲシステムにおける、適切なＣＧ表示位置の考察がなされている。また、特許文献１ではエージェント表示などに関して、ユーザに不快感を与えることなく使いやすいエージェントキャラを表示するシステムが考案されている。しかし両者とも、ＣＧ表示場所についてはなんらかのヒューリスティックス（経験則）を利用しており、注目現実空間がＣＧに覆い隠されてしまった場合については考慮していない。
【０００６】
また、特定の現実物体（例えば体験者の手など）を常に見えるように表示する技術（マスク処理技術）も、例えばクロマキー技術などを用いて実現されている。しかし、現実世界は刻々と変化しており、体験者は常に同じ現実物体に注目しているわけではない。
【０００７】
このような状況から、体験者が観察したい現実空間領域がＣＧで隠された場合、体験者は（１）ＨＭＤを取り外したり、可能であれば、（２）ＣＧと実写とを切り替えて表示したり、さらに可能であれば、（３）（邪魔なＣＧを構成している）仮想物体を選択して、他の場所へ移動することが一般的である。（２）では全てのＣＧを一斉に表示／非表示するため、一部のＣＧのみを選択的に表示することができず、また（３）では、仮想物体を「選択して移動する」というわずらわしい操作が必要である。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、体験者の観察する現実世界に、コンピュータにより生成された画像を重畳する映像合成装置において、簡便な設定により、体験者が注目したい現実空間領域にＣＧ表示を行わないように制御可能な映像合成装置を実現することにある。
【０００９】
【課題を解決するための手段】
すなわち、本発明の要旨は、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成方法であって、画像入力手段が、撮像画像を入力する画像入力工程と、位置姿勢情報入力手段が、体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力工程と、仮想画像生成手段が、位置・姿勢情報に基づいて仮想画像を生成する仮想画像生成工程と、除去領域抽出手段が、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出工程と、合成手段が、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成工程とを有することを特徴とする映像合成方法に存する。
【００１０】
また、本発明の別の要旨は、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力手段と、位置・姿勢情報に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置に存する。
【００１２】
また、本発明の別の要旨は、コンピュータを、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムに存する。
【００１３】
また、本発明の別の要旨は、コンピュータを、体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、撮像画像を入力する画像入力手段と、体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、体験者の除去領域指定指示を、撮像画像から検出し、当検出した指示に基づき、仮想画像の除去領域の位置を設定する除去領域抽出手段と、撮像画像の領域のうち、除去領域を除く領域に対して仮想画像を重畳し、合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体に存する。
【００１４】
【発明の実施の形態】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態に係る映像合成装置の一例は、体験者が表示装置を装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムである。
【００１５】
本実施形態において、表示装置には、位置・姿勢計測可能なビデオシースルーＨＭＤを用いる。つまり、ＨＭＤには位置・姿勢計測センサおよびカメラが内蔵されており、体験者の略視点位置からの映像が体験者頭部の位置・姿勢情報（厳密にはカメラの位置・姿勢）とともに取得可能である。
【００１６】
また、本実施形態において、体験者がＣＧを重畳表示させたくない領域（ＣＧ除去領域）を指定することを可能とするために、マーカーとＣＧ除去領域とを対応付けたユーザインタフェース（以下ＣＧ除去フレームと呼ぶ。）を用いる。体験者の視点位置からの映像から、ＣＧ除去フレームに付加されたマーカーを抽出することにより、ＣＧ除去領域が抽出できる。
【００１７】
図２に、ＣＧ除去フレーム（マーカーとＣＧ除去領域との対応付け）の例を示す（ここでは簡単のため、ＣＧ除去フレームはＨＭＤに設けられたカメラ（撮像部）の撮像面と平行となるように用いるという拘束を加える）。小さい円がマーカーであり、斜線部がＣＧ除去領域である。斜線部は切り抜かれていても、存在していても良い。ＣＧ除去フレームは体験者が手に持つ柄の部分２１と、フレーム部分２２とから構成され、体験者は図１（ａ）に示す様な重畳画像を観察している際、例えば「教会」という吹き出し上の重畳画像を除去したい場合には、このフレームを眼前にかざし、カメラで撮影された現実空間画像を見ながらフレームを所望の位置（ＣＧを表示させたくない領域）に合わせる。
【００１８】
後述するように、フレームに設けられたマーカーからフレームで指定される領域が求まり、当該領域にはＣＧを重畳しないようにすることで、図１（ｂ）に示すように、重畳画像で隠されていた現実世界の画像を見ることができる。後述する第２の実施形態では表示装置が光学シースルータイプであるが、現実世界が表示装置を透かして直接観察されるか、撮影された画像であるかを除けば、同様である。
【００１９】
図２（ａ）では、四角形のフレームの４角それぞれに３つのマーカーが１セットとして付加されている。どれか１セットのマーカーが抽出されれば、ＣＧ除去領域が算出できる。また、（ｂ）ではマーカーが円型フレームを囲むように付加されている。３点が決まれば１つの円が決まることから、任意の３つのマーカーが抽出できれば、その内部をＣＧ除去領域として算出できる。（ｃ）は（ｂ）のマーカーを３点に絞ったものである。ＣＧ除去フレームにマーカーがたくさん付加するのがわずらわしいときに有効である。（ｄ）では、方向性のあるマーカーの先の領域（例えば円）をＣＧ除去領域として定義している。ＣＧ描画部とＣＧ除去領域との境目にマーカーを置きたくない場合に有効である。
【００２０】
フレームの色は任意であるが、マーカーは検出を容易にするため一般に現実物体で使われないような蛍光色等が使われることを考慮すると、マーカーと対照的な色であることが好ましい。また、フレームの大きさ（ＣＧ除去領域の大きさ）は任意であるが、あまり大きいとＣＧ除去領域が大きくなりすぎ、視野に含まれるＣＧの大半が表示されなくなってしまい、逆に小さすぎると位置の調整が難しくなるため、一般的な手の長さを考慮（カメラからフレームまでの距離によって撮影画像中に占めるフレームの割合が変化するため、変化しうる範囲を考慮）して、適切な大きさを設定する。
【００２１】
図３は本発明の第１の実施形態に係る映像合成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。
撮像部１は、ここではＨＭＤに内蔵されたカメラである。撮像部１は体験者の右目及び左目が観察する現実空間の映像をそれぞれ撮影し、撮影映像を映像信号として撮影映像取込部２に出力する。なお、本明細書においては説明を簡単にするため、特に左目用画像と右目用画像の処理を分けて説明しないが、ＨＭＤに表示するための左目用合成画像と右目用合成画像を生成するため、実際には左目、右目用の２系統の処理が行われることは言うまでもない。
【００２２】
撮影映像取込部２は、撮像部１より入力された映像信号を映像合成部６およびＣＧ除去領域抽出部３に適した形式に変換して、映像合成部６およびＣＧ除去領域抽出部３に送出する。
【００２３】
ＣＧ除去領域抽出部３では、撮影映像取込部２より入力された映像から、上述したＣＧ除去フレームに付加されたマーカーを抽出し、ＣＧ除去領域を抽出する。映像上の除去領域をそのままＣＧ除去領域とすればよい。そして除去領域抽出部３は、抽出したＣＧ除去領域を映像合成部６に出力する。
【００２４】
撮影位置・姿勢計測部４は、ここではＨＭＤに内蔵されており、撮像部１の位置・姿勢情報をＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしにＣＧ生成部５に送出する。撮影位置・姿勢計測部４は、例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
【００２５】
ＣＧ生成部５は、撮影位置・姿勢計測部４から撮像部１の位置・姿勢情報を取り出して撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まるため、ＣＧ生成部５はデータ部７から撮像部１の視野に入る部分のデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。
【００２６】
映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧを、ＣＧ除去領域抽出部３からＣＧ除去領域をそれぞれ読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを合成する。この際、ＣＧ除去領域抽出部３から得たＣＧ除去領域に重なる部分にはＣＧを描画しない。これにより、ＣＧ除去領域のみのＣＧが除去された合成映像が生成される。
【００２７】
ＣＧ除去フレームの形状（デザイン）を、虫眼鏡等とすれば、見かけと機能が一致し、ユーザインタフェースとしてより好ましい。また、ＣＧ除去領域にＣＧは描画しないのではなく、例えばＣＧ除去フレームの種類に応じて、透明度の高いＣＧを描画（透明度を示すα成分値を操作）したり、ＣＧを点滅させて描画したりといったことも可能である。映像合成部６で生成されたＣＧは表示部８（本実施形態においてはＨＭＤ）に送出する。
【００２８】
データ部７は、たとえばハードディスクから構成され、ＣＧ生成部５に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データ等といったものが考えられる。データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００２９】
表示部８は本実施形態においてはＨＭＤである。映像合成部６から送出された合成映像信号を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元ＣＧ表示を体験することが可能である。
【００３０】
以上の様な構成を備えた、本発明の第１の実施形態に係る映像合成装置の一例としてのＭＲシステムの動作について、図４に示すフローチャートを用いて以下説明する。なお、データ部７には予め必要なデータが格納されているものとする。
【００３１】
まず、ステップＳ１でシステムが起動される。
ステップＳ２で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６およびＣＧ除去領域抽出部３に送られる。
ステップＳ３で、ＣＧ除去領域抽出部３に読み込まれた撮影映像からマーカーが抽出され、ＣＧ除去領域が算出される。そして算出されたＣＧ除去領域が映像合成部６に送られる。
【００３２】
ステップＳ４では撮影位置・姿勢計測部４が撮像部１の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ生成部５に送られる。
ステップＳ５ではＣＧ生成部５が、撮影位置・姿勢計測部４から送出された位置・姿勢情報から撮像部１の視野を推定し、データ部７から撮像部１の視野に含まれる範囲のデータを取得する。
【００３３】
ステップＳ６ではデータ部７から取得したデータを用いてＣＧ生成部５がＣＧを生成する。生成した映像は映像合成部６に送られる。
ステップＳ７では、映像合成部６において撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたコンピュータ映像が合成される。この際、ＣＧ除去領域抽出部３からの送出されたＣＧ除去領域の部分にはＣＧを合成しない。これにより、ＣＧ除去領域のＣＧが除去された合成映像が生成される。合成された合成映像は表示部８に送られる。
【００３４】
ステップＳ８では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００３５】
以上のように、第１の実施形態によれば、たとえば体験者がＨＭＤを装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムにおいて、注目現実物体がＣＧで隠されてしまった場合においても、ＣＧ除去フレームを対応する位置にかざすだけで、注目現実物体が観察可能となる。
【００３６】
（第２の実施形態）
本発明の第２の実施形態に係る映像合成装置の一例は、患者の体内の様子を透視しているように医師に提示する医療補助システムである。ここでは表示装置として、光学シースルーＨＭＤを用いる。ビデオシースルーＨＭＤでは現実世界の表示解像度に限界があるためである。
【００３７】
また、ＣＧ除去領域を指定するＵＩとして、本実施形態においては位置・姿勢の入力装置、ここではスタイラスを用いる。図５は、スタイラスの例を示す図である。スタイラス５１は例えばペン形状を有し、内部に位置・姿勢センサが設けられている。位置・姿勢センサが検出する位置とスタイラス先端との距離ｄとから、スタイラス先端位置が推定され、この先端位置と、検出されるスタイラスの傾きθから、スタイラスの先端で指定される領域が求められる。本実施形態においては、スタイラスの先端に接する仮想円５２に対応する領域をＣＧ除去指定領域とする。実際には、スタイラスの傾きθに応じてこの仮想円５２から求まる楕円領域がＣＧ除去領域とする。なお、スタイラスの傾き（姿勢情報）が得られない場合は、仮想円５２をそのまま用いてよい。スタイラスの位置、姿勢情報及び図示しないＯＮ−ＯＦＦスイッチの情報は、スタイラスに接続された信号線や、発信機を通じて外部から取得することが可能である。
【００３８】
本実施形態において、位置・姿勢入力装置をＵＩとして用いた理由は、
（１）光学シースルーＨＭＤには、ビデオシースルーＨＭＤとは異なり、一般にカメラが内蔵されていないため、（第１の実施形態に挙げた）画像処理によるＣＧ除去領域指定の実現には、新たにカメラが必要となってしまう。
（２）手術補助システムでは、医師が患部周囲の状態や患部と手術器具との位置関係等を常に把握できるよう、これらの位置関係をリアルタイムにセンサ等で計測して医師に提示することが重要である。よって位置・姿勢計測がある程度正確に行える環境が提供されていると想定される。
（３）手術支援システムを利用して手術する場合、患部周辺はＣＧの補助を必要とするとしても、
−手元のごく近くまでＣＧを表示したい場合と、
−手元のごく近くはＣＧを表示したくない場合
が混在すると考えられるからである。
【００３９】
このような場合を考慮して、スタイラスのＯＮ−ＯＦＦボタンをＣＧ除去領域定義のＯＮ−ＯＦＦに割り当てることができる。
また、手術器具に位置・姿勢センサを設ければ、ただ単に「センサ付きの手術道具」と「センサなしの手術道具」とを持ち換えることで、簡単にＣＧ表示方法の切り替えを行うことができる。
【００４０】
図６は本発明の第２の実施形態に係るＭＲシステムの概略構成例を示すブロック図である。
頭部位置・姿勢計測部１４は、後述する表示部１８としてのＨＭＤに内蔵されており、体験者頭部の位置・姿勢情報をＣＧ除去領域抽出部１３およびＣＧ生成部１５からの要求に応じて、又はＣＧ除去領域抽出部１３およびＣＧ生成部１５からの要求なしに、頭部位置・姿勢情報をＣＧ除去領域抽出部１３およびＣＧ生成部１５に送出する。頭部位置・姿勢計測部１４は、例えば地磁気センサやジャイロや光学式のセンサを利用することが考えられる。
【００４１】
スタイラス状態検出部１９は、スタイラス情報（位置・姿勢・ボタンのオンオフなど）をスタイラス２０から取得し、ＣＧ除去領域抽出部１３からの要求に応じて、又はＣＧ除去領域抽出部１３からの要求なしにＣＧ除去領域抽出部１３に送出する。
【００４２】
ＣＧ除去領域抽出部１３では、頭部位置・姿勢計測部１４より入力された位置・姿勢データおよびスタイラス状態検出部１９より入力されたスタイラス情報から、ＣＧ除去領域を算出する。上述のように、本実施形態においては、頭部の位置・姿勢とスタイラスの位置・姿勢から、画像面上でのスタイラス先端位置および、画像面に対するスタイラスの姿勢が算出できる。そこで、スタイラスの先端から画像面上に広がる楕円（画像面に対するスタイラスの姿勢情報から楕円率を決定）領域をＣＧ除去領域と定義する。ＣＧ除去領域抽出部１３は、抽出したＣＧ除去領域を映像合成部１６に出力する。
【００４３】
ＣＧ生成部１５は、頭部位置・姿勢計測部１４から頭部位置・姿勢情報を取り出して頭部位置・方向を推定する。位置・姿勢が推定できれば体験者の視野が求まるため、ＣＧ生成部１５はデータ部１７から体験者の視野に入る部分のデータを取り出し、体験者の視野に重なるＣＧを生成し、映像合成部１６に出力する。
【００４４】
映像合成部１６は、ＣＧ生成部１５からＣＧを、ＣＧ除去領域抽出部１３からはＣＧ除去領域をそれぞれ読み込む。そしてＣＧ生成部１５からのＣＧからＣＧ除去領域抽出部１３からのＣＧ除去領域データに基づいて、ＣＧを合成する。映像合成部１６で生成されたＣＧは表示部１８に送出する。
【００４５】
データ部１７は、たとえばハードディスクから構成され、ＣＧ生成部１５に引き渡すデータを所持する。データ部１７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧデータ等といったものが考えられる。データ部１７はＣＧ生成部１５からの要求に応じて適切なデータをＣＧ生成部１５に送出する。たとえばＣＧ生成部１５が体験者視野に合成する三次元ＣＧデータを要求してきた時に、データ部１７は格納されている三次元ＣＧデータの中から体験者の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部１７はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００４６】
表示部１８はここでは光学シースルーＨＭＤである。映像合成部１６から送出された合成映像信号を、例えばハーフミラー上に投影することにより、ハーフミラーを透かして見える現実世界に重畳して表示する。
【００４７】
以上の様な構成を備えた、本発明の第２の実施形態に係る映像合成装置の一例としてのＭＲシステムの動作について、図７に示すフローチャートを用いて以下説明する。なお、データ部１７には予め必要なデータが格納されているものとする。
【００４８】
まず、ステップＳ１１でシステムが起動される。
ステップＳ１２ではスタイラス状態検出部１９がスタイラスの状態を検知し、検知された情報はＣＧ除去領域抽出部１３に送られる。
ステップＳ１３では頭部位置・姿勢計測部１４が体験者の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ除去領域抽出部１３およびＣＧ生成部１５に送られる。
【００４９】
ステップＳ１４では、スタイラス状態検出部１９より入力されたスタイラス位置・姿勢情報および、頭部位置・姿勢計測部１４から入力された頭部位置・姿勢情報に基づいて、ＣＧ除去領域抽出部１３がＣＧ除去領域を算出する。このＣＧ除去領域は映像合成部１６に送られる。
ステップＳ１５ではＣＧ生成部１５が、頭部位置・姿勢計測部１４から送出された頭部位置・姿勢情報から体験者の視野を推定し、データ部１７から体験者の視野に含まれる範囲のデータを取得する。
【００５０】
ステップＳ１６ではデータ部１７から取得したデータを用いてＣＧ生成部１５がＣＧを生成する。生成した映像は映像合成部１６に送られる。
ステップＳ１７では、映像合成部１６においてＣＧ生成部１７から送出されたコンピュータ映像が、ＣＧ除去領域抽出部１３からのＣＧ除去領域データに基づいて合成される（ＣＧ除去領域抽出部１３から送出されたＣＧ除去領域の部分にはＣＧを描画しない）。合成された合成映像は表示部１８に送られる。
【００５１】
ステップＳ１８では映像合成部１６から送出されてきた映像情報を光学シースルーＨＭＤである表示部１８に表示することにより、体験者には現実空間に重畳されたＣＧが視認される。
その後ステップＳ１９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はシステムを終了させ、終了させない場合にはステップＳ１２に戻り、上述の処理を繰り返す。
【００５２】
以上のように、第２の実施形態によれば、たとえば手術支援システムを利用して手術する場合、手元のごく近くまでＣＧを表示したい場合や、手元のごく近くにはＣＧを表示したくない場合の切り替えが容易におこなえる。
【００５３】
（第３の実施形態）
本発明の第１の実施形態に係る映像合成装置では、図２に示すようなフレームを用いてＣＧ除去領域を指定していた。
本実施形態に係る映像合成装置は、第１の実施形態に係る映像合成装置において、フレームではなく、体験者の手を用いてＣＧ除去領域を指定可能としたことを特徴とするものである。
【００５４】
具体的には、本実施形態においては、図９に示すように体験者の手で囲まれた領域（斜線で示す領域）をＣＧ除去領域として認識する。つまり体験者は両手又は片手でのぞき穴をつくることで、所望の領域をＣＧ除去領域に指定できる。図９（ａ）は両手で、（ｂ）は片手でＣＧ除去領域を指定している例である。このように、手でＣＧ除去領域を指定可能となることで、フレームを用意する必要がない上、体験者は自然な動作でＣＧ除去領域を指定できる。
【００５５】
体験者は図１（ａ）に示す様な重畳画像を観察している際、例えば「教会」という吹き出し上の重畳画像を除去したい場合には、手でのぞき穴を作って所望の位置（ＣＧを表示させたくない領域）にかざす（図８参照）。
【００５６】
本実施形態に係る映像合成装置は、体験者が目の前にかざした手がＣＧに隠れてしまわないで常に見えるように、体験者の視点位置からの映像から体験者の手領域を抽出し、その領域にはＣＧを描画しないマスク処理（体験者の目の前の物体がＣＧに隠れずに見えるようにする処理）を行う構成を有している。このようなマスク処理を行う構成は、例えば特願２００２−９５５３５で提案されているように、例えばクロマキー技術を利用して実現可能である。
【００５７】
一般に、手のマスク処理の工程には、体験者の視点からの映像における、体験者の手の領域を抽出する工程が含まれているため、観測者の視点からの映像における手の内部領域を抽出することでは容易である。
【００５８】
つまり本実施形態に係る映像合成装置は、手のマスク処理が可能なＭＲシステムに、観測者の視点からの映像における手の内部領域（図９の斜線領域）を抽出する処理を加えるだけで実現可能である。
【００５９】
後述するように、体験者の視点位置からの映像から、体験者の手領域を抽出し、さらにその内部領域（のぞき穴領域）を抽出することで指定される領域が求まる。
【００６０】
観測者の視点からの映像における体験者の手領域、および手の内部領域にＣＧを重畳しないことで、目前にかざした手までもがＣＧで隠れてしまうといった問題が解決され、さらに現実空間の所定領域をＣＧで隠すことなく見ることが可能となる。このことから、本実施形態では、手領域と手の内部領域とをＣＧ除去領域として同様に扱うことで処理を簡略化する。
【００６１】
もちろん、手領域をＣＧ除去領域（手の内部領域）と区別して扱うことも可能である。この場合、肌色部分を手領域として抽出し、その内部領域をＣＧ除去領域として検出することになるが、その際、手領域を抽出しやすくために体験者にはブルーの手袋を装着させ、ブルー領域を手領域として抽出し、手領域には肌色のＣＧを合成し、ＣＧ除去領域にはＣＧを表示しないといった処理を行っても良い。
【００６２】
図１０は本発明の第３の実施形態に係る映像合成装置の一例としてのＭＲシステムの概略構成例を示すブロック図である。図１０において、図３と同じ構成要素には同じ参照数字を付して重複する説明を省略する。図３と図１０とを比較すると明らかなように、本実施形態におけるＭＲシステムはＣＧ除去領域抽出部３’がデータ部７に記憶されたデータ及び撮影位置・姿勢計測部４からの情報を利用可能となっている点である。
【００６３】
すなわち、ＣＧ除去領域抽出部３’は、撮影映像取込部２より入力された映像、必要であればデータ部７からの手領域抽出に関するデータ（例えば上述の特定色を規定するデータ）、さらに必要であれば撮影位置・姿勢計測部４’からの撮像部１の位置・姿勢情報とから、手領域および手領域で囲まれた領域（手の内部領域）を抽出し、少なくとも手の内部領域をＣＧ除去領域とする。そして、除去領域抽出部３は、抽出したＣＧ除去領域を映像合成部６に出力する。
【００６４】
撮影位置・姿勢計測部４’は、ここではＨＭＤに内蔵されており、撮像部１の位置・姿勢情報をＣＧ生成部５からの要求に応じて、又はＣＧ生成部５からの要求なしにＣＧ生成部５に送出する。また、撮影位置・姿勢計測部４’は、撮像部１の位置・姿勢情報をＣＧ除去領域抽出部３からの要求に応じて、又はＣＧ除去領域抽出部３’からの要求なしにＣＧ除去領域抽出部３’に送出する。撮影位置・姿勢計測部４’は、例えば地磁気センサやジャイロ、光学式のセンサを利用することが考えられる。
【００６５】
ＣＧ生成部５は、撮影位置・姿勢計測部４’から撮像部１の位置・姿勢情報を取り出して撮像部１の位置・撮影方向を推定する。撮像部１の位置・撮影方向が推定できれば撮像部１のレンズパラメータから視野が求まるため、ＣＧ生成部５はデータ部７から撮像部１の視野に入る部分のデータを取り出し、撮像部１で撮影した映像に表示すべきＣＧを生成し、映像合成部６に出力する。
【００６６】
映像合成部６は、撮影映像取込部２から撮影映像を、ＣＧ生成部５からＣＧを、ＣＧ除去領域抽出部３’からＣＧ除去領域をそれぞれ読み込む。そして、撮影映像取込部２からの撮影映像にＣＧ生成部５からのＣＧを合成する。この際、ＣＧ除去領域抽出部３’から得たＣＧ除去領域に重なる部分にはＣＧを描画しない。これにより、ＣＧ除去領域のみのＣＧが除去された合成映像が生成される。
【００６７】
また、ＣＧ除去領域にＣＧを描画しないのではなく、例えば透明度の高いＣＧを描画（透明度を示すα成分値を操作）したり、ＣＧを点滅させて描画したりといったことも可能である。映像合成部６で生成されたＣＧは表示部８（本実施形態においてはＨＭＤ）に送出する。
【００６８】
７はデータ部であり、たとえばハードディスクから構成され、ＣＧ生成部５やＣＧ除去領域抽出部３’に引き渡すデータを所持する。データ部７に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データ等といったもの，さらに手領域や手の内部領域といった特定領域を抽出するのに必要なデータ（特定色を規定するデータ等）などが考えられる。
【００６９】
データ部７はＣＧ生成部５からの要求に応じて適切なデータをＣＧ生成部５に送出する。たとえばＣＧ生成部５が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部７は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。
【００７０】
さらにデータ部７はＣＧ除去領域抽出部３’からの要求に応じて適切なデータをＣＧ除去領域抽出部３’に送出する。
【００７１】
８は表示部であり、本実施形態においてはＨＭＤである。映像合成部６から送出された合成映像信号を表示する。なお、本実施形態に係るＭＲシステムにおいても、従来知られるＭＲシステムのように、ＨＭＤは右目用画像表示部と左目用画像表示部とを有し、映像合成部６においては右目用の表示画像と左目用の表示画像を生成してＨＭＤへ供給することにより、体験者は３次元ＣＧ表示を体験することが可能である。
【００７２】
以上の様な構成を備えた、本発明の第３の実施形態に係る映像合成装置の一例としてのＭＲシステムの全体の動作を、図１１のフローチャートを用いて説明する。図１１と第１の実施形態における動作を示す図４のフローチャートとの比較からわかるように、本実施形態に係る映像合成装置の動作は、撮影位置・姿勢情報取得ステップ及びＣＧ除去領域抽出ステップの順序が逆転している点、またＣＧ除去領域抽出処理の内容が異なる点を除いて同様である。なお、データ部７には予め必要なデータが格納されているものとする。
【００７３】
まず、ステップＳ１でシステムが起動される。
ステップＳ２で撮像部１から映像が取得され、取得された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部６およびＣＧ除去領域抽出部３に送られる。
【００７４】
ステップＳ３’では撮影位置・姿勢計測部４が撮像部１の位置・姿勢を計測し、計測された位置・姿勢情報はＣＧ生成部５および必要であればＣＧ除去領域抽出部３に送られる。
ステップＳ４’で、ＣＧ除去領域抽出部３に読み込まれた撮影映像からＣＧ除去領域が算出される。
【００７５】
このステップＳ４’は、本実施形態の特徴的なステップであるため、フローチャートを用いてさらに詳細に説明する。
まず図１２のフローチャートを用いて、手領域を抽出するのに、特定色を抽出するという画像処理を用いて行う場合の、ステップＳ４’の処理の一例を説明する。
【００７６】
ステップＳ４ａ−１で、ＣＧ除去領域抽出部３’は、必要であれば手領域に関するデータをデータ部７から読み込む。手領域に関するデータとしては、手の肌色に関する情報などである。一般には、これら手領域に関するデータは一度読み込めば十分であると考えられるが、例えばリアルタイムに変化する光源の位置を計測し、それに応じた肌色データがその都度必要となる場合は、このステップが必要となる。
【００７７】
ステップＳ４ａ−２で、ＣＧ除去領域抽出部３’に読み込まれた撮影映像から、手領域に関するデータを基に、手領域を抽出する。
ステップＳ４ａ−３で、映像上の手領域の内部領域を抽出する。
ステップＳ４ａ−４で、映像上の手領域および手領域の内部領域をそのまま、ＣＧ除去領域として抽出する。
【００７８】
もちろん、上記方法以外の、手のマスク処理における手領域抽出方法を用いて、ステップＳ４を実装しても良い。
そして算出されたＣＧ除去領域が映像合成部６に送られる。
【００７９】
ステップＳ５ではＣＧ生成部５が、撮影位置・姿勢計測部４から送出された位置・姿勢情報から撮像部１の視野を推定し、データ部７から撮像部１の視野に含まれる範囲のデータを取得する。
ステップＳ６ではデータ部７から取得したデータを用いてＣＧ生成部５がＣＧを生成する。生成した映像は映像合成部６に送られる。
【００８０】
ステップＳ７では、映像合成部６において撮影映像取込部２から送出された撮影映像と、ＣＧ生成部５から送出されたコンピュータ映像が合成される。この際、ＣＧ除去領域抽出部３からの送出されたＣＧ除去領域の部分にはＣＧを合成しない。これにより、ＣＧ除去領域のＣＧが除去された合成映像が生成される。合成された合成映像は表示部８に送られる。
【００８１】
ステップＳ８では映像合成部６から送出されてきた映像情報を表示部８が表示する。
その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００８２】
以上のように、第３の実施形態によれば、たとえば体験者がＨＭＤを装着して風景を眺めると、それに対応した位置情報や名称が補助表示されるＭＲシステムにおいて、注目現実物体がＣＧで隠されてしまった場合においても、手でのぞき穴をつくり、対応する位置にかざすだけで、注目現実物体が観察可能となる。
【００８３】
（第４の実施形態）
上述の第１の実施形態および第２の実施形態では、表示部としてＨＭＤを用いたが、ＨＭＤではなく、例えば特開平１０−０５１７１１号公報に開示されるような、表示装置および視点の位置に合わせて重畳画像を生成するヘッドアップディスプレイ（ＨＵＤ）光学シースルーＡＲシステムなどに応用することも可能である。
【００８４】
（他の実施形態）
また、第２の実施形態は光学シースルーＨＭＤを対象として説明したが、第１の実施形態で説明したようなビデオシースルーＨＭＤを用いる実施形態に適用することも可能である。
【００８５】
また、第３の実施形態では、マスク処理を利用してフレーム等の道具を用いずにＣＧ除去領域を指定する例を示したが、図２に示したようなフレーム等を用いてＣＧ除去領域を指定する場合であっても、マスク処理を利用することが可能である。その場合には、図２（ａ）、（ｂ）に示す様な枠を有するフレームにおいて、枠をある特定色とし、部分ＣＧ除去領域を「ある特定色の内部領域」と定義することで、第３の実施形態と同様の処理によってＣＧ除去処理が可能になる。
【００８６】
この場合、フレームの枠にはマーカーを設けなくても良くなる。また、フレーム枠に用いる特定色は肌色に限定されることはなく、例えばブルーや赤など何でも良いが、背景色に含まれない色に設定することが望ましい。
【００８７】
また、第３の実施形態においては、手領域を抽出するのに、マスク処理を利用した場合を説明したが、マスク処理以外の方法によって手領域を抽出しても良い。例えば、複数の位置センサを設けたグローブを体験者の手に装着させ、グローブのセンサ出力から手領域を抽出することが可能である。
【００８８】
図１３に示すフローチャートを用いて、この方法で手領域を抽出する場合のＣＧ除去領域抽出ステップＳ４’の処理を説明する。
ステップＳ４ｂ−１で、手の位置情報を計測する。
ステップＳ４ｂ−２で、計測した手の位置情報および、体験者の視点位置情報から、体験者の視点位置からの映像上における手領域を算出する。
ステップＳ４ｂ−３で、体験者の視点位置からの映像上における手領域の内部領域を抽出する。
ステップＳ４ｂ−４で、体験者の視点位置からの映像上における手領域および手領域の内部領域から、ＣＧ除去領域を算出する。
以後はステップＳ５以降の処理を同様に行えばよい。
【００８９】
なお、上述した実施形態のみならず、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００９１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９２】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９３】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００９４】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００９５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９８】
【発明の効果】
本発明によれば、現実空間にＣＧを重畳するＭＲシステムに関し、見たい現実空間がＣＧで隠れている場合に、ＣＧを表示したくない領域を簡単に指定して、その領域のＣＧを部分的に表示しない（消去する）ことで、注目現実空間を見ることができる。
【図面の簡単な説明】
【図１】フレームを用いてＣＧ除去領域を指定する本発明の概念を説明する図である。
【図２】ＣＧ除去フレームの構成例を示す図である。
【図３】本発明の第１の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図４】本発明の第１の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図５】本発明の第２の実施形態に係る映像合成装置で用いるスタイラスの例を示す図である。
【図６】本発明の第１の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図７】本発明の第１の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図８】本発明の第３の実施形態に係る映像合成装置におけるＣＧ除去領域の指定方法を模式的に説明する図である。
【図９】本発明の第３の実施形態に係る映像合成装置において、体験者が手を使ってＣＧ除去領域を指定する方法の例を示す図である。
【図１０】本発明の第３の実施形態に係る映像合成装置の概略構成例を示すブロック図である。
【図１１】本発明の第３の実施形態に係る映像合成装置の動作を説明するフローチャートである。
【図１２】本発明の第３の実施形態に係るＣＧ除去領域抽出の動作を説明するフローチャートである。
【図１３】本発明の第３の実施形態に係るＣＧ除去領域抽出の動作を説明するフローチャートである。

Claims

体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成方法であって、
画像入力手段が、前記撮像画像を入力する画像入力工程と、
位置姿勢情報入力手段が、前記体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力工程と、
仮想画像生成手段が、前記位置・姿勢情報に基づいて前記仮想画像を生成する仮想画像生成工程と、
除去領域抽出手段が、前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出工程と、
合成手段が、前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成工程とを有することを特徴とする映像合成方法。
体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、
前記撮像画像を入力する画像入力手段と、
前記体験者の視点の位置・姿勢情報を入力する位置姿勢情報入力手段と、
前記位置・姿勢情報に基づいて前記仮想画像を生成する仮想画像生成手段と、
前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出手段と、
前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成手段とを有することを特徴とする映像合成装置。
前記除去領域抽出工程では、前記除去領域抽出手段が、前記撮像画像内から前記体験者が操作する領域指定手段に設けられたマーカーを検出し、当該検出されたマーカーの位置に基づいて前記除去領域を設定することを特徴とする請求項１に記載の映像合成方法。
前記除去領域抽出工程では、前記除去領域抽出手段が、前記体験者が操作する領域指定手段の位置姿勢情報に基づいて前記除去領域を設定することを特徴とする請求項１に記載の映像合成方法。
前記除去領域抽出工程では、前記除去領域抽出手段が、前記撮像画像から前記体験者の手で形成される閉領域を検出し、当該検出された閉領域に基づいて前記除去領域を設定することを特徴とする請求項１に記載の映像合成方法。
コンピュータを、
体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、
前記撮像画像を入力する画像入力手段と、
前記体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、
前記位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、
前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出手段と、
前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラム。
コンピュータを、
体験者の観察する現実世界の撮像画像に仮想画像を重畳した合成画像を生成する映像合成装置であって、
前記撮像画像を入力する画像入力手段と、
前記体験者の視点の位置および姿勢情報の少なくとも一方を入力する位置姿勢情報入力手段と、
前記位置および姿勢情報の少なくとも一方に基づいて仮想画像を生成する仮想画像生成手段と、
前記体験者の除去領域指定指示を、前記撮像画像から検出し、当該検出した指示に基づき、前記仮想画像の除去領域の位置を設定する除去領域抽出手段と、
前記撮像画像の領域のうち、前記除去領域を除く領域に対して前記仮想画像を重畳し、前記合成画像を生成する合成手段とを有することを特徴とする映像合成装置として機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。