JP4617653B2

JP4617653B2 - 第１の位置から、第２の位置に配置されたターゲットへ注釈付けをする方法、装置、及びシステム

Info

Publication number: JP4617653B2
Application number: JP2003346705A
Authority: JP
Inventors: ティー．フートジョナサン; ジー．キンバードナルド
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-10-15
Filing date: 2003-10-06
Publication date: 2011-01-26
Anticipated expiration: 2023-10-06
Also published as: JP2005033756A; US7333135B2; US20040070674A1

Description

本発明は、一般に、オブジェクト（ターゲット、目標）の遠隔注釈の分野に関し、より詳細には、ターゲットへの注釈の描画及び投影に関する。即ち、本発明は、第１の位置から、第２の位置に配置されたターゲットへ注釈付けをする方法、装置、及びシステムに関する。

現在、「遠隔位置（リモートロケーション）から、局所位置（ローカルロケーション）」におけるターゲットを見る能力を提供し、また、遠隔位置から、局所位置において見ることできる注釈を「描画する（ｄｒａｗ）」能力を提供する方法、装置及びシステムが求められている。本明細書中に述べられているように、局所位置はターゲットの位置である。このような方法、装置、及びシステムについては、以下に示す非特許文献においても開示されている。
ヤマザキ（Ｋ．山崎）外著、「行動レーザ及び行動レーザカー：遠隔命令を支援するための具体化された空間の開発（ＧｅｓｔｕｒｅＬａｓｅｒａｎｄＧｅｓｔｕｒｅＬａｓｅｒＣａｒ：ＤｅｖｅｌｏｐｍｅｎｔｏｆａｎＥｍｂｏｄｉｅｄＳｐａｃｅｔｏＳｕｐｐｏｒｔＲｅｍｏｔｅＩｎｓｔｒｕｃｔｉｏｎ）」、ＥＣＳＣＷ’９９会報、１９９９年、ｐｐ．２３９−２５８、インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｋａｚｕｏｋａ−ｌａｂ．ｅｓｙｓ．ｔｓｕｋｕｂａ．ａｃ．ｊｐ／〜ｋａｚｕｏｋａ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｅｃｓｃｗ９９／ｅｃｓｃｗ９９．ｈｔｍｌ＞ポーロス（Ｐａｕｌｏｓ，Ｅ．）及びカニー（Ｃａｎｎｙ，Ｊ．）著、「個人的移動存在（ＰＲｏＰ：ＰｅｒｓｏｎａｌＲｏｖｉｎｇＰｒｅｓｅｎｃｅ）」、ＣＨＩ会報、ＡＣＭ、１９９８年、ｐｐ．２９６−３０３、インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｐｒｏｐ．ｏｒｇ／ｐａｐｅｒｓ／ｃｈｉ９８．ｐｄｆ．＞アズマ（ＡｚｕｍａＲ．Ｔ．）外著、「増補現実の調査（ＡＳｕｒｖｅｙｏｆＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）」、コンピュータグラフィックス（ＳＩＧＧＲＡＰＨ１９９５年会報、学部記録Ｎｏ．９、進歩した仮想現実アプリケーションの開発（ＤｅｖｅｌｏｐｉｎｇＡｄｖａｎｃｅｄＶｉｒｔｕａｌＲｅａｌｉｔｙＡｐｐｌｉｃａｔｉｏｎｓ）、１９９５年８月、ｐｐ．１−３８、インターネット＜ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒ．ｎｊ．ｎｅｃ．ｃｏｍ／ａｚｕｍａ９６ｓｕｒｖｅｙ．ｈｔｍｌ＞パンゴリン．システム（ＰａｎｇｏｌｉｎＳｙｓｔｅｍｓ）より、「レーザプロジェクタの内部（ＩｎｓｉｄｅｃｔｈｅＬａｓｅｒＰｒｏｊｅｃｔｏｒ）」、インターネット＜ｈｔｔｐ：／／ｗｗｗ．ｐａｎｇｏｌｉｎ．ｃｏｍ／ｒｅｓｇｕｉｄｅ０３．ｈｔｍ＞タング（Ｔａｎｇ，Ｊ．）及びミネマーン（Ｍｉｎｎｅｍａｎ，Ｓ．）著、「ビデオ白板：遠隔コラボレーションを支援するためのビデオ影像（ＶｉｄｅｏＷｈｉｔｅｂｏａｒｄ：ＶｉｄｅｏＳｈａｄｏｗｓｔｏＳｕｐｐｏｒｔＲｅｍｏｔｅＣｏｌｌａｂｏｒａｔｉｏｎ）」、ＣＨＩ、ＡＣＭ、１９９１年、ｐｐ．３１５−３２２、インターネット＜ｈｔｔｐ：／／ｗｗｗ．１．ｉｃｓ．ｕｃｉ．ｅｄｕ／〜ｊｐｄ／ＮｏｎＴｒａｄＵＩ／ｐ３１５−ｔａｎｇ．ｐｄｆ．＞アンダコフラー（Ｕｎｄｅｒｋｏｆｆｌｅｒ，Ｊ．）、ウルマ（Ｕｌｌｍｅｒ，Ｂ．）、及びイシイ（Ｉｓｈｉｉ，Ｈ．）著、「解放された画素：視感反射室における実体面図形（ＥｍａｎｃｉｐａｔｅｄＰｉｘｅｌｓ：Ｒｅａｌ−ＷｏｒｌｄＧｒａｐｈｉｃｓｉｎｔｈｅＬｕｍｉｎｏｕｓＲｏｏｍ）」、ＳＩＧＧＲＡＰＨ１９９９年抄録、コンピュータグラフィックス愛好会（ＳｐｅｃｉａｌＩｎｔｅｒｅｓｔＧｒｏｕｐｏｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）、１９９９年、インターネット＜ｈｔｔｐ：／／ｔａｎｇｉｂｌｅ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ／ｐａｐｅｒｓ／ＬｕｍｉｎｏｕｓＲｏｏｍｒＳＧ９９．ｈｔｍｌ．ツァン（Ｚ．Ｚｈａｎｇ）著、「カメラ較正用のフレキシブルな新技術（ＡＦｌｅｘｉｂｌｅＮｅｗＴｅｃｈｎｉｑｕｅＦｏｒＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ）」、「パターン解析及びマシン知能（ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ）」ＩＥＥＥトランザクション、第２２（１１）版：ｐｐ．１３３０−１３３４、２０００年、インターネット＜ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｇｍｉｃｒｏｓｏｆｔ．ｃｏｍ／〜ｚｈａｎｇ／ｃａｌｉｂ／＞ウォルバーグ（Ｗｏｌｂｅｒｇ，Ｇ．）著、「ディジタル画像ワーピング（ＤｉｇｉｔａｌＩｍａｇｅＷａｒｐｉｎｇ）」、ＩＥＥＥコンピュータ社会出版物、ＩＳＢＮ：０−８１８６−８９４４−７、１９９０年。

発明が解決しようとする課題及び課題を解決するための手段

本発明の一つの態様によれば、遠隔位置から局所位置に配置されたターゲットに注釈付けするための方法が提供されている。この方法は、ビデオキャプチャデバイスによって局所位置のターゲットのビデオをキャプチャするステップと、ビデオ投影デバイスによってこの局所位置のターゲットへ注釈を投影するステップと、を含む。

本発明の他の態様によれば、ターゲットのビデオを遠隔位置において受け取るステップと、受け取られたビデオを遠隔位置のグラフィカルユーザインタフェース上で表示するステップとを含む、局所位置に配置されたターゲットへ遠隔位置から注釈付けするための方法が提供されている。次に、遠隔位置におけるユーザは、表示されたビデオへ「描画」（注釈）してもよい。システムは、注釈を得ると、遠隔位置からこの注釈を転送する。

更に他の態様において、本発明は、ビデオキャプチャデバイス、ビデオ投影デバイス、及び転送装置を含む装置を備える。一つの実施の形態において、ビデオキャプチャデバイス及びビデオ投影デバイスは互いに略同軸的に配置される。

請求項１に記載の発明は、第１の位置から第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けする方法であって、ビデオカメラによって第２の位置におけるターゲットのビデオをキャプチャするステップと、前記ビデオカメラによってキャプチャされたビデオを前記第１の位置へ転送するステップと、前記第１の位置から注釈の画像を受け取るステップと、前記ビデオカメラと視野が互いに交差するように配置され、当該視野の交差部分に配置された透過性を有するミラーによって前記ビデオカメラと視野が同軸的にされたビデオプロジェクタによって前記第１の位置から受け取った前記注釈の画像をビデオプロジェクタによって第２の位置における表面が立体的形状のターゲット上へ投影するステップとを有する方法である。
請求項２に記載されているように、前記ビデオカメラと前記ビデオプロジェクタは、前記ビデオカメラによる撮影領域と前記ビデオプロジェクタによる投影領域が略一致するように配置することが好ましい。

請求項３に記載されているように、投影された注釈がテキストである方法であってもよい。

請求項４に記載されているように、テキストが手書きのテキストである方法であってもよい。

請求項５に記載の発明は、第１の位置から第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けする装置であって、前記第２の位置における前記ターゲットのビデオをキャプチャするビデオキャプチャデバイスと、前記ビデオキャプチャデバイスによってキャプチャされたビデオを前記第１の位置へ転送すると共に、前記第１の位置から転送される注釈の画像を受け取る転送デバイスと、前記ビデオキャプチャデバイスと視野が互いに交差するように配置され、当該視野の交差部分に、透過性を有し、前記ビデオキャプチャデバイスと視野が同軸的となるように視野方向を変更するミラーが設けられ、当該ミラーによって前記転送デバイスにより受け取った前記注釈の画像を前記第２の位置における表面が立体的形状の前記ターゲット上へ投影するビデオ投影デバイスと、を有する装置である。
ここで、請求項６に記載されているように、前記ビデオキャプチャデバイスと前記ビデオ投影デバイスは、前記ビデオキャプチャデバイスによる撮影領域と前記ビデオ投影デバイスによる投影領域が略一致するように配置されることが好ましい。

また、請求項７に示されているように、ビデオキャプチャデバイスがターゲットの画像と投影された画像とをキャプチャするように配置される装置であってもよい。

請求項８に記載の本発明は、第１の位置から第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けするためのシステムであって、前記第２の位置に設けられ、前記ターゲットのビデオをキャプチャし、当該キャプチャされたビデオを前記第１の位置へ転送すると共に、前記第１の位置から注釈の画像を受け取り、キャプチャされる前記ビデオの視野と視野が互いに交差するように配置され、当該視野の交差部分に、透過性を有し、前記ビデオと視野が同軸的となるように視野方向を変更するミラーが設けられ、当該ミラーによって受け取った前記注釈の画像を表面が立体的形状の前記ターゲット上へ投影するビデオカメラ／投影デバイスと、前記第１の位置に設けられ、前記ビデオカメラ／投影デバイスと通信可能とされてビデオカメラ／投影デバイスから転送された前記ビデオを表示し、ターゲットに注釈付けするための注釈の入力を受け取り、前記ビデオカメラ／投影デバイスへ前記受け取られた注釈を転送するコンピュータシステムと、を有するシステムである。

ここで、請求項９に記載されているように、ビデオカメラ／投影デバイスが第１の視野を有するビデオカメラと第２の視野を有するビデオ投影デバイスとを有し、記第１の視野と第２の視野が類似しているシステムであってもよい。

また、請求項１０に記載されているように、第１の位置から、第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けするためのシステムであって、前記第２の位置における前記ターゲットのビデオをキャプチャするビデオカメラと、前記ビデオカメラによってキャプチャされたビデオを前記第１の位置へ転送すると共に、前記第１の位置から注釈の画像を受け取る転送デバイスと、前記ビデオカメラと視野が互いに交差するように配置され、当該視野の交差部分に、透過性を有し、前記ビデオカメラと視野が同軸的となるように視野方向を変更するミラーが設けられ、前記転送デバイスにより前記第１の位置から受け取った前記注釈の画像を前記ミラーによって前記第２の位置における表面が立体的形状の前記ターゲット上へ投影するビデオプロジェクタと、を有する、システムであってもよい。
ここで、請求項１１に記載されているように、前記ビデオカメラと前記ビデオプロジェクタは、前記ビデオカメラによる撮影領域と前記ビデオプロジェクタによる投影領域が略一致するように配置されることが好ましい。

本発明においては、その具体的な実施の形態に関して説明されているが、明細書及び添付図面によって、本発明の目的、特徴、及び利点がより一層明確となるであろう。

図１（ａ）は、遠隔位置１００と局所位置１１０を有する本発明の実施の形態を示す略ブロック図である。局所位置１１０は、遠隔位置１００から注釈１１３を受け取り、これらの注釈１１３を一人以上の局所ユーザ１１５が見ることができるターゲット１１１へ投影するために使用され得る、ビデオカメラ／プロジェクタシステム１０９（以下、「Ｃ／Ｐシステム」と称する）を含む。本明細書中に記載されているところのターゲットとは、局所位置１１０における任意の物理的なオブジェクトであってもよい。例えば、ターゲット１１１は、複写機、マーカーボード、壁、床、オーブン、電子レンジ、テレビ、人等であってもよい。

Ｃ／Ｐシステム１０９は、ターゲット１１１のビデオを撮影したこのターゲット１１１へ投影される任意の注釈とをキャプチャする。Ｃ／Ｐシステム１０９は、転送チャネル１２０を介して、このビデオを遠隔位置１００へ転送する。転送チャネル１２０は、任意のタイプの転送チャネルであってもよい。例えば、転送チャネル１２０は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、光学ファイバネットワーク、ラジオ周波数（ＲＦ）、２地点間、専用又は有線ケーブル等であってもよい。一つの実施の形態において、キャプチャされたビデオは、キャプチャされつつも、転送チャネル１２０を介して転送される。他の実施の形態においては、キャプチャされたビデオの転送以外にビデオの記録も行われる。

遠隔位置１００は、転送チャネル１２０を介してＣ／Ｐシステム１０９とインタフェースするように遠隔ユーザ１０３によって使用され得るコンピュータシステム１０１を含む。一つの実施の形態において、遠隔ユーザ１０３は、転送されたターゲット１１１のビデオと任意の既存の注釈１１３とを見ることができる。更に、遠隔ユーザ１０３は、コンピュータシステム１０１を使って、局所位置１１０に配置されたターゲット１１１へ更なる注釈１１３を「描画（ｄｒａｗ）」することができる。遠隔ユーザ１０３によって描画された注釈は、転送チャネル１２０を介してコンピュータシステム１０１から転送され、Ｃ／Ｐシステム１０９によってターゲット１１１へ投影される。

単純なケースでは、遠隔ユーザ１０３は、局所ユーザ１１５に対してターゲット１１１上の特定の位置へその注意を向けたりその位置を指し示したりするように、ターゲット１１１へ投影される１本以上のスポット光（注釈）を遠隔位置１００から調整することもできる。例えば、白いスポットは、より詳しく観察するために、ターゲット１１１の特定の領域を照らすために使用され得る。一つの実施の形態において、遠隔ユーザ１０３は、コンピュータシステム１０１を用いてより複雑な形やテキストをターゲット１１１上へ「描画」することもできる。例えば、テキスト、ウェブページ、画像やビデオさえ、ターゲット１１１へ投影される注釈１１３として、使用され得る。

図１（ｂ）は、複数の遠隔位置１００₁乃至１００_nを有する本発明の他の実施の形態を示す略ブロック図である。遠隔位置１００₁乃至１００_nは各々、ターゲット１１１のビデオと既存の注釈１１３とを見ることができる。更に、遠隔ユーザ１０３₁乃至１０３_nは各々、Ｃ／Ｐシステム１１２を介して局所位置１１０におけるターゲット１１１へ投影される更なる注釈を、コンピュータシステム１０１₁乃至１０１_nを用いて、「描画」することができる。一つの実施の形態において、ターゲット１１１のビデオと注釈１１３は、転送チャネル１２０を介して、各遠隔位置１００₁乃至１００_nへ転送される。転送チャネル１２０は、例えば、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ラジオ周波数（ＲＦ）、２地点間、専用又は有線ケーブル、又は任意の他のタイプの転送チャネルであってもよい。

Ｃ／Ｐシステム
図２（ａ）は、本発明の一つの実施の形態によるＣ／Ｐシステム２０９を示すブロック図である。図２（ａ）に示されるＣ／Ｐシステム２０９は、図１（ａ）で説明されたＣ／Ｐシステム１０９と同様であることが理解されよう。

ビデオプロジェクタ２０１は遠隔位置から受け取られた注釈をターゲット２０３へ投影する。一つの実施の形態において、液晶ディスプレイ（ＬＣＤ方式）ビデオプロジェクタが使用される。他の実施の形態は、異なるタイプのビデオプロジェクタを使用する場合もある。例えば、ディジタル光処理（「ＤＬＰ方式」）ビデオプロジェクタ、又はサーボ制御走査レーザを用いた単色又は着色プロジェクタが使用されてもよい。

ビデオカメラ２０２は、ターゲット２０３のビデオと、ターゲット２０３へ投影される任意の注釈と、をキャプチャする。一つの実施の形態において、アナログ全国テレビ基準委員会（ａｎａｌｏｇＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎｓｔａｎｄａｒｄｓＣｐｏｍｍｉｔｔｅｅ（“ＮＴＳＣ”））フォーマットのビデオカメラが使用される。他の実施の形態において、他のタイプのビデオカメラが組み入れられる場合もある。例えば、ａｎａｌｏｇＰｈａｓｅＡｌｔｅｒｎａｔｅＬｉｎｅ（アナログ位相入換え回線）（ＰＡＬ式テレビ放送標準）フォーマットのビデオカメラ、ディジタルビデオカメラ、又は任意のフォーマットのディジタルスチールカメラが使用される場合もある。スチールカメラを用いる実施の形態において、画像は、毎秒１画像などのようにやや低速で転送される場合もある。

ビデオカメラ２０２とビデオプロジェクタ２０１を略同軸的に配置することによって、ビデオカメラ２０２の視野２１０とビデオプロジェクタ２０１の視野２１１は略一致する。視野２１０と視野２１１を位置合わせすることによって投影された注釈が遠隔ユーザが意図するものとうまく一致しているように見える。一つの実施の形態において、個々の転送チャネルは、局所ユーザと遠隔ユーザが音声通信するためにも使用される。

図２（ｂ）は、本発明の他の実施の形態による他のＣ／Ｐシステム２１９を示す。Ｃ／Ｐシステム２１９は、ビデオカメラ２０２と直交するように配置されたビデオプロジェクタ２０１と、ビデオプロジェクタ２０１及びビデオカメラ２０２の両視野２１０、２１１内に配置された部分透過性のミラー２５０と、を有する。ミラー２５０は、ビデオプロジェクタ２０１の視野２１０を変えずに、ビデオカメラ２０２の視野２１１の方向を略９０°変更して、ビデオプロジェクタ２０１の視野２１０と一致させる。他の実施の形態において、ミラー２５０はこれとは逆の結果を生じる（即ち、ビデオカメラ２０２の視野２１１を変えずに、ビデオプロジェクタ２０１の視野２１０の方向が略９０°変更される）。また他の実施の形態においては、二つのプリズムの配列を使用して両視野が共に同じターゲット２０３を含むように両視野の方向を変更する。

上記のように、視野２１０、２１１の位置合わせに加えて、遠隔ユーザによる注釈付けが局所位置のターゲットの適切な位置に投影されることを確実とするために、投影及び／又はカメラビューに対する調整が実行されることもある。一つの実施の形態において、この調整は、プロジェクタ２０１及び／又はカメラ２０２における光学的な歪みを補償（補正）するために、投影された注釈及び／又はカメラ２０２によってキャプチャされたビデオをワープ（撓曲）させることによって、達成され得る。一つの実施の形態において、投影された画像と記録された画像を、アファイン変換を使用して、拡大縮小、回転、及び移動させ、これらの画像を一致させる。例えば、非特許文献８に記載されている他の歪み補償技術が使用されてもよい。

更に、カメラ又はプロジェクタのレンズ歪みも補正され得る。例えば、広角レンズからの径方向歪みは、プロジェクタ２０１の出力（投影されたライン注釈は結果的に曲線ではなく直線となる）、及び／又は、ビデオカメラ２０２（これによってキャプチャされたライン注釈は結果的に遠隔位置で表示されるときは直線となる）上で、逆径方向変換によって補正され得る。歪み補正は、多種多様な技術を用いて達成され得る。例えば、非特許文献７に記載されているような径方向変換が使用されてもよいし、記録（又は投影）システムをより正確に近似する他の較正又は補正が使用されてもよい。

図２（ｃ）は、本発明の実施の形態による更に他のＣ／Ｐシステム２７０を示す。図２（ｃ）に示されるＣ／Ｐシステム２７０は、図１（ｂ）に示されるＣ／Ｐシステム１１２と、図２（ａ）に示されるＣ／Ｐシステム２０９と、に類似していることが理解されよう。Ｃ／Ｐシステム２７０は、複数の遠隔位置から受け取られた注釈を結合するために使用されるビデオミキサー２０５の更なる構成部品（コンポーネント）を含む。例えば、図１（ｂ）についていえば、注釈は、遠隔位置１００₁乃至１００_nから受け取られ、ミキサー２０５を用いて結合又は混合され、ビデオプロジェクタ２０１を介してターゲット２０３へ投影されてもよい。

図２（ｄ）は、本発明の実施の形態による、他のＣ／Ｐシステム２１２を示す。図２（ｄ）に示されるＣ／Ｐシステム２１２は、図１（ｂ）に示されるＣ／Ｐシステム１１２と、図２（ｂ）に示されるＣ／Ｐシステム２１９と、に類似していることが理解されよう。Ｃ／Ｐシステム２１２は、複数の遠隔位置から受け取られた注釈を結合するために使用されるビデオミキサー２０５の更なる構成部品を含む。例えば、図１（ｂ）についていえば、注釈は、遠隔位置１００₁乃至１００_nから受け取られ、ミキサー２０５を用いて結合又は混合され、ビデオプロジェクタ２０１を介してターゲット２０３へ投影されてもよい。

グラフィカルユーザインタフェース
図３は、本発明の実施の形態によるグラフィカルユーザインタフェース（ＧＵＩ）３０１を有する遠隔位置３００を示すブロック図である。ＧＵＩ３０１は、局所位置でのＣ／Ｐシステムから受け取られたターゲットのビデオ３１１を表示する。遠隔位置３００におけるユーザは、ペンベース又は他のインタフェースを用いて、ビデオ３１１へ注釈３０３を「描画」する。更に、ユーザは、ＧＵＩ３０１と連動するキーボードを用いて、ビデオ３１１へテキストを入力することができる。

ＧＵＩ３０１は、遠隔ユーザが、着色光のスポット３０５₁やペン型対話３０５₂などの対話モード３０５_Nを選択するのを可能とし、ビデオ３１１を介して移動されたポインターが適切な注釈を残す。一つの実施の形態において、ＧＵＩ３０１は、全てのタイプの画像及びテキストを注釈として使用する能力を提供する。さらに、異なる対話モード３０５_Nを表示する「ツールボックス」３０７が含まれていてもよい。例えば、ユーザは、異なるカラー３０５₃、入力モード、注釈のサイズ、ライン幅３０５₄、ラインの種類３０５₄、３０５₅、３０５₆、消しゴム３０５₇、透明注釈３０５₈等を選択することができる。

一つの実施の形態において、注釈３０３は、ビデオ３１１を覆う「オーバーレイ」として実施され、ポインタのｘ−ｙ座標は、黒の背景（バックグラウンド）などの光を投影しない背景に「オーバーレイ」注釈をレンダリングするために使用される。オーバーレイ注釈は、Ｃ／Ｐシステムへ転送され、ターゲットへ投影される。投影された注釈は、ターゲットへ投影されつつも、Ｃ／Ｐシステムによってキャプチャされ、このキャプチャされたビデオは、転送され、ＧＵＩ３０１へ表示される。投影された注釈のビデオをターゲットへ表示することによって、局所ユーザと同じ注釈を遠隔ユーザが見ることができるようになる。このため、ターゲットへ注釈が十分に投影されない場合（例えば、不可視又は不明瞭な場合）、遠隔ユーザは注釈を変更することができる。

システムオペレーション
図４（ａ）及び図４（ｂ）は、本発明の実施の形態による、ターゲットへ注釈を投影し（プロセス４００ａ）、ターゲットのビデオと任意の注釈とをキャプチャ及び／又は転送するためのＣ／Ｐシステムによって実行されるプロセス４００ａ及び４００ｂを示す。プロセス４００ａ及び４００ｂは、同時且つ非同期的に、Ｃ／Ｐシステムによって実行される。当業者に理解されるであろうが、図４（ａ）、図４（ｂ）、図５（ａ）、図５（ｂ）、及び図６は、特定の機能を実行するための論理ボックスを示す。他の実施の形態において、使用される論理ボックスはより多くともより少なくともよい。本発明の実施の形態において、論理ボックスは、ソフトウェアプログラム、ソフトウェアオブジェクト、ソフトウェアファンクション、ソフトウェアサブルーチン、ソフトウェアメソッド、ソフトウェアインスタンス、コードフラグメント、ハードウェアオペレーション、又はユーザオペレーションを単一又は組み合わせて表す場合もある。

プロセス４００ａは、論理ボックス４０１から開始され、制御は、論理ボックス４０３へ送られる。論理ボックス４０３において、Ｃ／Ｐシステムは、遠隔位置から、注釈を受け取り、論理ボックス４０５において、Ｃ／Ｐシステムは、局所位置におけるターゲットへ注釈を投影する。ターゲットへ注釈を投影した後、制御は、論理ボックス４０３へ戻り、処理が繰り返される。

プロセス４００ｂは、論理ボックス４０１から開始され、制御は、論理ボックス４０７へ送られ、Ｃ／Ｐシステムのビデオカメラがターゲットのビデオと任意の投影された注釈とをキャプチャする。論理ボックス４０９において、論理ボックス４０５においてキャプチャされたターゲットのビデオは、局所位置から遠隔位置へ転送される。ビデオは、キャプチャされると同時に転送されてもよいし（ストリーミング）、又は、所定の間隔を置いて転送されてもよい。更に、転送は、ＮＴＳＣやＰＡＬなどの任意のプロトコル又は任意のディジタルフォーマット（ＭＰＥＧ、ＪＰＥＧなど）を使用する場合もある。次に、制御は、論理ボックス４０７へ戻り、処理が反復される。

図５（ａ）及び図５（ｂ）は、本発明の実施の形態による、遠隔位置から局所位置に位置するターゲットへ注釈付けするための遠隔位置におけるコンピュータシステムによって実行されるプロセス５００ａ及び５００ｂを示す。プロセス５００ａ及び５００ｂは、同時且つ非同期的に実行される。プロセス５００ａは、論理ボックス５０１から開始され、制御は論理ボックス５０３へ送られ、注釈付けされようとするターゲットのビデオが受け取られる。論理ボックス５０５において、受け取られたビデオが遠隔位置におけるユーザへのグラフィカルユーザインタフェース上に表示される。次に、制御は、論理ボックス５０３へ戻り、処理が反復される。

処理５００ｂは、論理ボックス５０１から開始され、制御は、論理ボックス５０７へ送られ、遠隔位置における遠隔ユーザからの注釈が入力されるのを待機する。論理ボックス５０７において注釈を受け取ると、制御は、論理ボックス５０９へ送られ、受け取られた注釈は、局所位置へ転送される。局所位置におけるＣ／Ｐシステムは、ターゲットへ注釈を投影する。

出力選択
いくつかの実施の形態において、ターゲットが非平面である場合は特に局所ユーザは投影された注釈の歪曲したバージョンを目にする場合がある。（図３及び図７に示されるような）単純な行動（ジェスチュア）に関する注釈に関しては、大した問題には発展しない。しかしながら、平行光（鏡面）又は暗吸収オブジェクトの場合は、問題が生じやすい。吸収、反射又は陰影などのために注釈が見え難い場合、これは遠隔ユーザに特に顕著に表れるので、遠隔ユーザはこの注釈を修正してより見やすくすることができる。多くの場合、遠隔ユーザが複雑な注釈を投影することができる、かなり平らな表面が提供されるように画面を調整することが可能である。

しかしながら、ターゲットが注釈を直接表示することができない場合、一つの実施の形態において、ユーザは、局所位置に位置するモニタヘターゲットのビデオと注釈とを表示すること、及び／又は、ターゲットへ注釈を直接表示したりすることを代替的に選択することができる。

図６は、本発明の実施の形態による、局所位置におけるオブジェクトへの注釈を異なる表示装置へ表示するプロセスを示す。方法６００は、論理ボックス６０１から開始され、制御が論理ボックス６０３へ送られ、Ｃ／Ｐシステムは、出力選択が「オブジェクト」であるか否かを判定する。出力選択が「オブジェクト」である場合、制御は、論理ボックス６０４へ送られ、上記のように、注釈は、オブジェクトへ直接投影される。しかしながら、出力選択が、「オブジェクト」でないと判定された場合、制御は、論理ボックス６０５へ送られる。

論理ボックス６０５において、出力選択が「モニタ」か否かが判定される。出力選択がモニタである場合、制御は、論理ボックス６０６へ送られ、システムは、ビデオカメラによって記録されたビデオと遠隔ユーザによって付された注釈とを局所位置においてモニタ表示する。

しかしながら、論理ボックス６０５において、出力選択がモニタでないとが判定された場合、制御は、論理ボックス６０７へ送られる。このような状況では残る出力選択は、「両方」である。論理ボックス６０７においては、上述のように、注釈がオブジェクトへ直接投影され、論理ボックス６０９において、投影されようとする注釈とターゲットの記録されたビデオとが共にモニタ表示される。

図７は、本発明の実施の形態を用いて表示された注釈７１３を含む局所位置７００におけるターゲット７１１_Aを示す。一つの実施の形態において、ターゲット７１１_Aは、記憶され遠隔位置へ転送され、遠隔位置におけるユーザは、ターゲット７１１_Aへ投影された注釈７１３を同時に「描画」することができる。

図７は、メンテナンスを必要とする複写機をターゲット７１１_Aとして示す。ターゲット７１１_Aが位置している局所位置７００において修理人が物理的に現れることを要求する代わりに、本発明の実施の形態を用いれば、遠隔位置に位置する修理人がターゲット７１１_Aのビデオ記録を見て、ターゲット７１１_Aに投影される注釈を「描画」することができる。結果的に、遠隔位置にいる修理人は、ターゲット７１１_Aへ直接視覚的な指示を提供することができ、これにより、ターゲット７１１_Aに必要なメンテナンスを実行する際に局所位置７００における個人を助けることができる。例えば、遠隔位置における修理人は、局所位置７００のユーザへ複写機の特定個所を「引っぱる」ように伝える（ターゲット７１１_Aに投影される）注釈７１３を「描画」した。これらの簡単な注釈に応じることによって、局所位置７００におけるユーザは、ターゲット７１１_Aへ必要なメンテナンスを実行することができる。ターゲット７１１_Bは、局所位置７００におけるユーザが指示されたメンテナンスを実行した後の複写機を示す。

白板上に注釈を投影するために本発明の実施の形態を使用する他の例が挙げられる。この例において、局所位置におけるユーザと遠隔位置におけるユーザは共に同じ白板へ描画することができるわけである。局所位置のユーザによって白板上で物理的に付けられたマークは、記録され、転送され、遠隔位置のユーザへ表示される一方、遠隔ユーザによって付されたマーク及び／又は注釈も転送され、局所位置の白板へ投影される。

局所位置において行われる手術を介助するために遠隔位置の医者が本発明の実施の形態を使用する他の例が挙げられる。手術個所を記録及び／又は投影するために、Ｃ／Ｐシステムを配置することによって、遠隔位置の医者が切開や消毒などの必要な処置をすべき個所を識別することができる。

Ｃ／Ｐシステムを娯楽、スポーツ、又は軍事利用などに利用する他の例が挙げられる。美術的シナリオを実行する際、演出家は、オーバーヘッドＣ／Ｐシステムを介して俳優の動き（ブロッキング）を示すために本発明の実施の形態を使用することができる。無線のペン・タブレット（遠隔コンピュータシステム）を用いれば、演出家は、観客席（遠隔位置）に座りながら、舞台（局所位置）の上へ注釈を投影することによって、特定の俳優に正確な方向を差し示すことができる。高視感度のレーザプロジェクタがあれば、このようなシナリオは、赤外線レーザや軍隊用ＩＲ（赤外線）感知ゴーグルを用いて、スポーツ場や夜間の戦闘地域へも拡大され得る。

なお、ターゲットのビデオを捕捉する例を示したが、これに限られるものではなく、ターゲットの静止画を捕捉（撮像）してもよい。

上記の特別な実施の形態は、本発明の原理を説明するためにのみ行われ、本発明の範囲及び精神を逸脱しない限りにおいて、当業者によって種々の変形が可能であることが理解されよう。従って、本発明の範囲は、以下の請求項によってのみ限定されるものである。

本発明の一つの実施の形態を示す略ブロック図である。本発明の他の実施の形態を示す略ブロック図である。本発明の一つの実施の形態によるビデオカメラ／プロジェクタシステムを示すブロック図である。本発明の一つの実施の形態による他のビデオカメラ／プロジェクタシステムを示すブロック図である。ビデオカメラ／プロジェクタシステムのまた他の実施の形態を示す図である。ビデオカメラ／プロジェクタシステムのさらに他の実施の形態を示す図である。本発明の一つの実施の形態によるグラフィカルユーザインタフェースを有する遠隔位置を示すブロック図である。本発明の一つの実施の形態による、ビデオカメラ／プロジェクタシステムによって実行されるプロセスを示す図である。本発明の一つの実施の形態による、ビデオカメラ／プロジェクタシステムによって実行されるプロセスを示す図である。本発明の一つの実施の形態による、局所位置に位置するオブジェクトを注釈付けするために遠隔位置で実行されるプロセスを示す図である。本発明の一つの実施の形態による、局所位置に位置するオブジェクトを注釈付けするために遠隔位置で実行されるプロセスを示す図である。本発明の一つの実施の形態による、局所位置のオブジェクト上の注釈を異なる表示装置へ表示するプロセスを示す図である。本発明の一つの実施の形態を用いて表示される注釈を含む局所位置でのターゲットを示す図である。

符号の説明

１００：遠隔位置
１０３：遠隔ユーザ
１０９：Ｃ／Ｐシステム
１１０：局所位置
１１１：ターゲット
１１３：注釈
１１５：局所ユーザ
１２０：転送チャネル

Claims

第１の位置から、第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けする方法であって、
ビデオカメラによって前記第２の位置における前記ターゲットのビデオをキャプチャするステップと、
前記ビデオカメラによってキャプチャされたビデオを前記第１の位置へ転送するステップと、
前記第１の位置から注釈の画像を受け取るステップと、
前記ビデオカメラと視野が互いに交差するように配置され、当該視野の交差部分に配置された透過性を有するミラーによって前記ビデオカメラと視野が同軸的にされたビデオプロジェクタによって前記第１の位置から受け取った前記注釈の画像を前記第２の位置における表面が立体的形状の前記ターゲット上へ投影するステップと、
を有する、方法。
前記ビデオカメラと前記ビデオプロジェクタは、前記ビデオカメラによる撮影領域と前記ビデオプロジェクタによる投影領域が略一致するように配置されている、請求項１に記載の方法。
前記投影された注釈がテキストである、請求項１又は請求項２に記載の方法。
前記テキストが手書きのテキストである、請求項３に記載の方法。
第１の位置から第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けする装置であって、
前記第２の位置における前記ターゲットのビデオをキャプチャするビデオキャプチャデバイスと、
前記ビデオキャプチャデバイスによってキャプチャされたビデオを前記第１の位置へ転送すると共に、前記第１の位置から転送される注釈の画像を受け取る転送デバイスと、
前記ビデオキャプチャデバイスと視野が互いに交差するように配置され、当該視野の交差部分に、透過性を有し、前記ビデオキャプチャデバイスと視野が同軸的となるように視野方向を変更するミラーが設けられ、当該ミラーによって前記転送デバイスにより受け取った前記注釈の画像を前記第２の位置における表面が立体的形状の前記ターゲット上へ投影するビデオ投影デバイスと、
を有する、装置。
前記ビデオキャプチャデバイスと前記ビデオ投影デバイスは、前記ビデオキャプチャデバイスによる撮影領域と前記ビデオ投影デバイスによる投影領域が略一致するように配置されている、請求項５に記載の装置。
前記ビデオキャプチャデバイスは、前記ターゲットの画像と前記投影された画像とをキャプチャする、請求項５又は請求項６に記載の装置。
第１の位置から第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けするためのシステムであって、
前記第２の位置に設けられ、前記ターゲットのビデオをキャプチャし、当該キャプチャされたビデオを前記第１の位置へ転送すると共に、前記第１の位置から注釈の画像を受け取り、キャプチャされる前記ビデオの視野と視野が互いに交差するように配置され、当該視野の交差部分に、透過性を有し、前記ビデオと視野が同軸的となるように視野方向を変更するミラーが設けられ、当該ミラーによって受け取った前記注釈の画像を表面が立体的形状の前記ターゲット上へ投影するビデオカメラ／投影デバイスと、
前記第１の位置に設けられ、前記ビデオカメラ／投影デバイスと通信可能とされてビデオカメラ／投影デバイスから転送された前記ビデオを表示し、ターゲットに注釈付けするための注釈の入力を受け取り、前記ビデオカメラ／投影デバイスへ前記受け取られた注釈を転送するコンピュータシステムと、
を有する、システム。
前記ビデオカメラ／投影デバイスが、
第１の視野を有するビデオカメラと、
第２の視野を有するビデオプロジェクタと、
を有し、
前記第１の視野と前記第２の視野が類似している、請求項８に記載のシステム。
第１の位置から、第２の位置に配置された利用者が観察する表面が立体的形状のターゲット上に注釈付けするためのシステムであって、
前記第２の位置における前記ターゲットのビデオをキャプチャするビデオカメラと、
前記ビデオカメラによってキャプチャされたビデオを前記第１の位置へ転送すると共に、前記第１の位置から注釈の画像を受け取る転送デバイスと、
前記ビデオカメラと視野が互いに交差するように配置され、当該視野の交差部分に、透過性を有し、前記ビデオカメラと視野が同軸的となるように視野方向を変更するミラーが設けられ、前記転送デバイスにより前記第１の位置から受け取った前記注釈の画像を前記ミラーによって前記第２の位置における表面が立体的形状の前記ターゲット上へ投影するビデオプロジェクタと、
を有する、システム。
前記ビデオカメラと前記ビデオプロジェクタは、前記ビデオカメラによる撮影領域と前記ビデオプロジェクタによる投影領域が略一致するように配置されている、請求項１０に記載のシステム。