JP4736426B2 - 注釈画像提示システム - Google Patents

Description

本発明は、注釈画像提示システムに関する。

遠隔地からターゲット上にアノテーションを付与する技術として以下のようなものが提案されている。

特許文献１記載の装置は、遠隔地にあるターゲット上にテキスト等のアノテーションをプロジェクタによって投影することで、遠隔地間におけるコミュニケーションを図るというものである。

特許文献２記載の装置は、通信部を通じて受け取った通信データに基づいて生成された画像を、プロジェクタ部を介して筐体の外部へ拡大投影することで、携帯型カメラで撮像した画像を、多人数でも見やすく表示できる。
米国２００４／００７０６７４号公報 特開２００１−２４９２６号公報

しかしながら、特許文献１記載の装置では、リモート側から与えることのできる情報には、線画、文字、画像などが用意されているが、対象物の形状が複雑な場合、コミュニケーションを図りにくいという問題がある。また、特許文献２記載の装置によっては、これらの問題を解決することは想定されていない。

そこで、本発明は、上記問題点に鑑みてなされたもので、対象物が複雑な形状であっても、第一のロケーションと第二のロケーション間のコミュニケーションを支援できる注釈画像提示システムを提供することを目的とする。

上記課題を解決するために、本発明は第二のロケーションに置かれた設計対象物に対して、第一のロケーションから注釈画像を提示する注釈画像提示システムであって、前記第二のロケーションには、前記第二のロケーションに置かれた対象物を撮影する撮影手段と、前記撮影手段が撮影した前記対象物の撮影画像を送信する送信手段と、前記対象物に対応する表面画像及び前記対象物に対する注釈画像を前記対象物上に投影する投影手段と、を備え、前記第一のロケーションには、前記撮影手段が撮影した前記対象物の撮影画像を受信する受信手段と、前記受信した対象物の撮影画像に基づいて、前記対象物に関する注釈を受け付け、注釈画像を生成する注釈画像生成手段と、前記対象物に対応する三次元のＣＡＤデータ、及び前記対象物に関する前記ＣＡＤデータの実寸対応変換値を取得する取得手段と、前記対象物の形状に基づいて前記対象物に対する前記撮影手段の視点位置を推定し、前記ＣＡＤデータ中の座標空間で前記視点位置を指定する視点位置推定手段と、前記実寸対応変換値と前記視点位置から投影面を算出する算出手段と、前記実寸対応変換値と、前記指定された視点位置と、前記投影面とに基づいて、前記ＣＡＤデータを透視変換して二次元の表面画像に変換し、表面画像を生成する画像生成手段と、前記注釈画像及び前記表面画像を、前記第二のロケーションに送信する送信手段と、を備えることを特徴とする注釈画像提示システムである。本発明によれば、対象物に対応して生成される表面画像を対象物上に投影することによって、対象物が複雑な形状であっても、第一のロケーションと第二のロケーション間のコミュニケーションを支援することができる。

本発明は、第一のロケーションから第二のロケーションに置かれた対象物に対して注釈画像を提示する注釈画像提示システムであって、前記第二のロケーションに置かれた対象物を撮影した撮影画像を受信する受信手段と、所定の投影手段が前記対象物上に投影し前記対象物に対応して生成される表面画像を、前記第二のロケーションに送信する送信手段とを備える注釈画像提示システムである。本発明によれば、対象物に対応して生成される表面画像を対象物上に投影することができるので、対象物が複雑な形状であっても、第一のロケーションと第二のロケーション間のコミュニケーションを支援することができる。

本発明は、前記対象物のデータは、前記対象物に対応するＣＡＤデータであり、前記対象物に対応する表面画像は、前記ＣＡＤデータを透視変換した画像である。本発明は、前記画像処理手段は、入力された前記対象物の情報に基づいて、前記対象物に対応する表面画像を生成する。

本発明は、前記対象物の撮影画像を表示する表示制御部を更に備える。本発明は、前記対象物の所定の面を選択する画面を表示する表示制御部を更に備え、前記生成手段は、前記対象物の選択された面に投影するよう前記対象物に対応して生成される表面画像を生成するのが好ましい。本発明は、前記対象物上に投影する注釈画像を選択する画面を表示する表示制御部を更に備える。本発明によれば、ユーザーはテキスト等の注釈画像を選択することができる。本発明は、前記画像処理手段は、縮小パラメータ、視点位置の情報、投影面、および投影方向を対象物のデータまたは対象物の撮影画像から取得して表面画像を生成する。本発明は、前記送信手段は、前記対象物のデータに含まれる前記対象物に関する情報を前記注釈画像として送信する。

本発明によれば、対象物が複雑な形状であっても、第一のロケーションと第二のロケーション間のコミュニケーションを支援できる注釈画像提示システムを提供できる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態におけるシステムの概要を説明するための図である。図１に示すように、注釈画像提示システム１は、リモートシステム１００及びローカルシステム１１０を備える。注釈画像提示システム１は、リモートロケーション（第一のロケーション）からローカルロケーション（第二のロケーション）に置かれた対象物１１１上に注釈画像として表面画像１１２を提示するものである。リモートシステム１００及びローカルシステム１１０は、伝送チャネルを介して接続されている。伝送チャネルには、インターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、光ファイバネットワーク及び無線通信等が含まれる

本実施形態では、対象物１１１は、工業製品のモックアップや部品、基準的な模型等である。注釈画像には、対象物に対応して生成される表面画像（対象物の表面画像）１１２等を含む。対象物の表面画像１１２は、画像に透視変換したＣＡＤ図面、テクスチャ画像等を含む。また、注釈画像は、対象物の表面画像以外に、寸法、材質情報、色彩指定情報、設計関連文字情報等を含む。

ローカルシステム１１０は、Ｃ（Camera）／Ｐ（Projector）システム１１３及びサーバ１１４を備える。Ｃ／Ｐシステム１１３は、カメラ３１及びプロジェクタ３２を備える。カメラ３１は、ローカルロケーションに置かれた対象物１１１や対象物１１１上に投影された注釈画像を撮影するものである。カメラ３１には、ディジタル入出力機能を備えたディジタルビデオカメラを用いる。カメラ３１には、上記以外に、アナログ画像信号のディジタル化装置を伴ったＮＴＳＣ（National TV Standards Committee）形式のアナログビデオカメラまたはＰＡＬ形式のアナログビデオカメラ、撮影制御装置を伴ったディジタルスチールカメラ等を用いても良い。

プロジェクタ３２は、リモートシステム１００から得た対象物の表面画像１１２やそれ以外の注釈画像を対象物１１１上に投影するものである。プロジェクタ３２には、ＬＣＤ（Liquid Crystal Display）ビデオプロジェクタを用いる。プロジェクタ３２には、例えば、ＤＬＰ（Digital Light Processing）ビデオプロジェクタ、モノクロプロジェクタ及びカラープロジェクタ等を用いてもよい。

図２は、Ｃ／Ｐシステム１１３を説明するための図である。Ｃ／Ｐシステム１１３は、カメラ３１、プロジェクタ３２、部分的に透過なミラー３３を備える。カメラ３１及びプロジェクタ３２は、サーバ１１４によって制御されている。ミラー３３は、カメラ３１から対象物の表面画像１１２を撮影でき、かつプロジェクタ３２から対象物１１１に対象物の表面画像１１２を投影できる位置に置かれている。なお、カメラ３１及びプロジェクタ３２の位置は、図２に示す例に限定されず、カメラ３１により対象物１１１及び対象物の表面画像１１２が撮影でき、プロジェクタ３２により対象物１１１上に対象物の表面画像１１２を投影できる位置であればどのような位置であっても良い。

サーバ１１４は、送信部４１及び制御部４２を有する。送信部４１は、カメラ３１で撮影した画像データをリモートシステム１００に送る。制御部４２は、リモートロケーションから送られてくる注釈画像をプロジェクタ３２に送る等の各種制御を行う。

リモートシステム１００は、コンピュータ１０１、データベース１０２、画像処理サーバ１０３及びディスプレイ１０４を備える。コンピュータ１０１は、受信部１１、表示制御部１２及び送信部１３を有する。受信部１１は、ローカルロケーションに置かれた対象物１１１を撮影した撮影画像をローカルシステム１１０から受信する。データベース１０２は、三次元ＣＡＤデータを格納する。画像処理サーバ１０３は、三次元ＣＡＤソフトウエア群を有する。画像処理サーバ１０３は、三次元ＣＡＤソフトウエアが実行されることによって、三次元ＣＡＤシステムを実現する。

画像処理サーバ１３０は、データベース１０２から取得した、対象物１１１に対応する三次元ＣＡＤデータに基づいて、二次元の対象物に対応する表面画像１１２を生成する。このとき、画像処理サーバ１３０は、対象物の撮影画像を、画像処理することによって形状、大きさ等の対象物の特徴を求めた後、対象物の表面画像１１２を生成する。なお、画像処理サーバ１３０は、ユーザーによって例えばキーボードから入力された対象物の情報に基づいて、対象物の特徴を把握するようにしても良い。ユーザーによって入力された対象物の情報には、対象物の形状、大きさ等が含まれる。

表示制御部１２は、受信部１１が受信した対象物の撮影画像を表示するグラフィカルユーザインタフェースをディスプレイ１０４に表示する。これによってユーザーは対象物を確認することができる。また、表示制御部１２は、対象物１１１上に投影する注釈画像を選択する画面を表示するグラフィカルユーザインタフェースをディスプレイ１０４に表示する。これによりユーザーは注釈画像を選択することができる。更に表示制御部１２は、対象物の所定の面を選択する画面を表示するグラフィカルユーザインタフェースをディスプレイ１０４に表示する。画像処理サーバ１０３は、対象物の所定の面が選択された場合には、対象物の選択された面に投影するよう対象物の表面画像１１２を生成する。

図３は、グラフィカルユーザインタフェース（ＧＵＩ）３０１を示す図である。ＧＵＩ３０１は、ローカルシステム１１０から得た対象物１１１の画像を領域３１１に表示する。ユーザーは、ボックス３０５Ｎ内のボタン、キーボード、マウスを操作することによって対象物１１１上に投影する注釈画像を加工することができる。これにより、対象物１１１上に、対象物の表面画像以外に、対象物１１１の寸法、材質情報、色彩指定情報、設計関連文字情報等を表示することができる。送信部１３はプロジェクタ３２が対象物１１１上に投影する対象物の表面画像１１２やそれ以外の注釈画像をローカルロケーションに送る。

次に、システムの動作フローチャートについて説明する。図４はシステムの動作フローチャートである。ステップＳ１１〜Ｓ１５は画像処理サーバ１０３の処理フロー、ステップＳ２１〜Ｓ２９は、コンピュータ１０１の処理フロー、ステップＳ３１〜ステップＳ３５はサーバ１１４の処理フローである。ステップＳ３１で、サーバ１１４は、制御部４２が初期投射画像をプロジェクタ３２に送出し、カメラ３１で撮影した撮像画像の常時送出を開始する。ステップＳ３２で、サーバ１１４はメッセージ待ちループを開始する。

ステップＳ２１で、コンピュータ１０１はユーザーによってコマンド入力、データ指定情報入力が行われると、ステップＳ２２で、画像処理サーバ１０３内の三次元ＣＡＤソフトウエアと連携しているかどうかを調べ、三次元ＣＡＤソフトウエアと連携していないと判断した場合、ステップＳ２７で他のコマンド処理を行い、ステップＳ２８に進む。ステップＳ２２で、コンピュータ１０１は、三次元ＣＡＤソフトウエアと連携していると判断した場合、ステップＳ２３で、連携開始コマンドを発行する。コンピュータ１０１は、発行した連携開始コマンドをプログラム間通信によって画像処理サーバ１０３内の三次元ＣＡＤソフトウエアに送る。

ステップＳ１１で、三次元ＣＡＤソフトウエアは、連携開始コマンドを受け付け、ステップＳ１２で、データ要求であると判断すると、ステップＳ１３に進む。ステップＳ２４で、コンピュータ１０１は、データ指定情報、透視変換情報、付加情報のメッセージ化し、これらをプログラム間通信によって３次元ＣＡＤソフトウエアに送る。ステップＳ１３で、三次元ＣＡＤソフトウエアは、データ指定情報、透視変換情報、付加情報を獲得すると、ステップＳ１４で、三次元ＣＡＤ画像データの透視変換及び画像化処理を行い、生成したデータをプログラム間通信によってコンピュータ１０１に送る。ステップＳ１５で、三次元ＣＡＤソフトウエアは、サーバ待機モードに移行する。

ステップＳ２５で、コンピュータ１０１は、画像処理サーバ１０３からのデータが入力されと、ステップＳ２６で、コンピュータ１０１は、画像描画処理を行う。ステップＳ２８で、コンピュータ１０１は、描画コマンドを送出する。ステップＳ２９で、コンピュータ１０１の処理を終了する。ステップＳ３３で、サーバ１１４は、コンピュータ１０１から描画コマンドの受領する。ステップＳ３４で、サーバ１１４は、描画コマンドに沿った画像投射処理を行う。ステップＳ３５で、サーバ１１４は処理を終了する。プロジェクタは、対象物の表面画像１１２又はその他の注釈画像を対象物１１１上に投影する。これにより、図１に示すように、対象物１１１上にＣＡＤデータから生成される表面画像を投影することができるため、対象物が複雑な形状な場合でも、リモートロケーションとローカルロケーション間のコミュニケーションを支援することができる。

次に、図４のステップＳ１３、Ｓ１４、Ｓ２４、Ｓ２５の詳細フローを説明する。図５は、図４のステップＳ１３、Ｓ１４、Ｓ２４、Ｓ２５の詳細フローを説明する図である。図４及び図５においてＡ〜Ｄは対応している。チャート中の断面形状（外形線画）によるパターンマッチングは公知の技術を用いる。対象物の表面画像１１２を生成する処理には、三次元ＣＡＤシステム中の三次元モデルデータと実体のデータとのリンクさせるために、縮尺パラメータ、視点位置の情報、投影面、投影方向がパラメータとして必要になる。

コンピュータ１０１は、コマンド入力、データ指定情報入力によって（ステップＳ２１）、ステップＳ２０１で、データ指定透視変換情報、付加情報のメッセージ化を行い、画像処理サーバ１０３にこれらのデータを送る。画像処理サーバ１０３は、ステップＳ１０１は、データ指定情報によって指定された三次元ＣＡＤデータファイルが存在して、そのファイルへのアクセスが可能な場合、対象物１１１に関する指定データにおける実寸対応変換値（縮尺値：縮尺パラメータ）を獲得する。ここで、縮尺パラメータは、三次元ＣＡＤデータ中の座標値と実空間の寸法を対応付けるデータで、データベース（三次元ＣＡＤデータ）１０２側にある場合は三次元ＣＡＤデータ側から獲得し、無い場合は、対象物の撮影画像に基づいて、実寸から推定する。

画像処理サーバ１０３は、ステップＳ１０２で、指定データにおける実寸対応変換値を獲得する。ステップＳ１０３で、画像処理サーバ１０３は、指定データにおける実寸対応変換値を獲得できない場合、コンピュータ１０１に対象物１１１の外形、最外寸、最長部寸法を通知する。ステップ２０２で、コンピュータ１０１は、対象物１１１の外形、最外寸、最長部寸法による縮尺パラメータを推定し、ステップＳ２０３で、推定可能ならば、対象物１１１の外形、最外寸、最長部寸法による縮尺パラメータの推定値を画像処理サーバ１０３に送る。

画像処理サーバ１０３は、ステップＳ１０５で、タイムアウトの場合、対象物の外形、最外寸、最長部寸法による縮尺パラメータの規定値を使用する。次に、ステップＳ１０６で、画像処理サーバ１０３は、対象物の断面形状（断面の外形線画）を通知する。ステップＳ２０４で、コンピュータ１０１は、対象物の断面形状による視点位置の推定（断面の外形線画と撮影対象の外形線画とのパターンマッチング）を行い、断面形状による視点位置の推定が可能であることを示すメッセージを通知する（ステップＳ２０５）。視点位置の情報は、実物を眺めている方向を、三次元ＣＡＤ中の座標空間中で指定する必要がある。実物が正立して撮影されている場合は、視点位置の推定のために、０度から１８０度までを１０度きざみ位に断面化した線画に対するパターンマッチングを実施することにより推定することができる。

ステップＳ１０７で、画像処理サーバ１０３は、タイムアウトならば対象物の断面形状による視点位置の規定値を使用する。ステップＳ１０８で、画像処理サーバ１０３は、候補視点毎の投影外形像を提示する。ステップＳ１０９で、画像処理サーバ１０３は、視点位置の指定／自動選択を行う。

ステップＳ１１０で、画像処理サーバ１０３は、投影面を指定する。なお、縮尺と視点位置、外形寸法が判明すれば算出可能である。外形が合っても表裏があるので、投影方向の指定を行う必要がある。画像処理サーバ１０３は、三次元図面データの透視変換／画像化処理を行い、対象物に対応して生成された表面画像を生成する。コンピュータ１０１は、対象物に対応して生成された表面画像を画像処理サーバ１０３から得る。コンピュータ１０１は、対象物に対応して生成された表面画像をサーバ１１４に送る。プロジェクタ３２は、対象物１１１上に対象物に対応して生成された表面画像１１２を投影する。このように、対象物に対応して生成される表面画像を対象物上に投影することによって、対象物が複雑な形状であっても、第一のロケーションと第二のロケーション間のコミュニケーションを支援することができる。

なお、上記では、対象物として工業製品のモックアップや部品、基準的な模型等を例に取って説明した。対象物は上記例には限定されない。例えば、対象物が例えば、工業製品の実物、モックアップ、スケールモデル、建築模型、基準模型、スクリーン等の工業・建築デザインに関する物である場合、対象物の表面画像には、画像に透視変換したデザイン画、テクスチャ画像、写真、合成写真、スケッチ画、建築図面が含まれ、その他の注釈画像には、寸法、材質情報、色彩指定情報、設計関連指定情報、設計者情報等が含まれる。

また、対象物が例えばマネキンあるいはモデル、モックアップ等のような意匠デザインに関する物の場合、対象物の表面画像には、画像に透視変換したデザイン画、テクスチャ画像、写真、ロゴ画像等が含まれ、その他の注釈画像には、デザイン意図、材質情報、デザイン指示、デザイナー情報等が含まれる。また、対象物が例えば人体模型あるいは手術中の患部、摘出臓器、診察中の患部表面等の医療および医療教育に関するものである場合、対象物の表面画像には、透視変換したＸ線／ＭＲＩ／ＣＴ／超音波画像、典型的な患部撮像画像、骨格／血管・リンパ／神経系統等の模式画像等が含まれ、その他の注釈画像には、寸法、検査情報、診断情報、教育用注釈類、撮像の関連データ、遠隔手術指示情報等が含まれる。

なお、コンピュータ１０１内のソフトウエアに、外部画像ストリームからの取り入れ機能を追加する。コンピュータ１０１内のソフトにおける提示情報選択機構に、外部画像ストリームからの取り入れ機能と三次元ＣＡＤソフトウエアに通常用意されている表面画像出力の機能によりアウトプットされる画像ストリームとを結びつけるメニューを追加し、選択時に三次元ＣＡＤデータのうちの表面画像部分を提示できるようにする。画像処理サーバ１０３内の三次元ＣＡＤソフトウエアにおいて保持されている対象物に関する属性情報のうち、テキスト情報部分を上記画像ストリームと併置して表示出来るよう、表示制御部１２における提示情報選択機構に、メニューを増やす。これにより、ＣＡＤデータにおける外形・表面画像の提示と同時に、その寸法や材質情報、色彩情報などを、文字注釈などの形で提示することが出来るようになる。

また、工業デザイン関連の用途において、ローカルロケーション側に置かれた工業製品やそのモックアップ等と、注釈を与えるリモート側に居る専門家が保有している三次元ＣＡＤデータとの間で、関連性を与えて相互運用を図ることができ、専門知識の伝達にあたって、存在するＣＡＤデータを有効に活用できる。

なお、リモートシステム１００及びローカルシステム１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ハードディスク装置を備えたサーバ、ディスプレイ等により構成される。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の実施形態におけるシステムの概要を説明するための図である。 Ｃ／Ｐシステム１１３を説明するための図である。 グラフィカルユーザインタフェース（ＧＵＩ）３０１を示す図である。 システムの動作フローチャートである。 図４のステップＳ１３、Ｓ１４、Ｓ２４及びＳ２５の詳細フローを説明する図である。

符号の説明

１ 注釈画像提示システム
１００ リモートシステム
１０１ コンピュータ
１０２ データベース
１０３ 画像処理サーバ
１０４ ディスプレイ
１１０ ローカルシステム
１１１ 対象物
１１３ Ｃ／Ｐシステム
１１４ サーバ

Claims (8)

1. 第二のロケーションに置かれた設計対象物に対して、第一のロケーションから注釈画像を提示する注釈画像提示システムであって、
   前記第二のロケーションには、
   前記第二のロケーションに置かれた対象物を撮影する撮影手段と、
   前記撮影手段が撮影した前記対象物の撮影画像を送信する送信手段と、
   前記対象物に対応する表面画像及び前記対象物に対する注釈画像を前記対象物上に投影する投影手段と、を備え、
   前記第一のロケーションには、
   前記撮影手段が撮影した前記対象物の撮影画像を受信する受信手段と、
   前記受信した対象物の撮影画像に基づいて、前記対象物に関する注釈を受け付け、注釈画像を生成する注釈画像生成手段と、
   前記対象物に対応する三次元のＣＡＤデータ、及び前記対象物に関する前記ＣＡＤデータの実寸対応変換値を取得する取得手段と、
   前記対象物の形状に基づいて前記対象物に対する前記撮影手段の視点位置を推定し、前記ＣＡＤデータ中の座標空間で前記視点位置を指定する視点位置推定手段と、
   前記実寸対応変換値と前記視点位置から投影面を算出する算出手段と、
   前記実寸対応変換値と、前記指定された視点位置と、前記投影面とに基づいて、前記ＣＡＤデータを透視変換して二次元の表面画像に変換し、表面画像を生成する画像生成手段と、
   前記注釈画像及び前記表面画像を、前記第二のロケーションに送信する送信手段と、を備えることを特徴とする注釈画像提示システム。
2. 前記対象物のデータは、前記対象物に対応するＣＡＤデータであり、
   前記対象物に対応する表面画像は、前記ＣＡＤデータを透視変換した画像であることを特徴とする請求項１に記載の注釈画像提示システム。
3. 前記画像処理手段は、入力された前記対象物の情報に基づいて、前記対象物に対応する表面画像を生成することを特徴とする請求項１又は請求項２に記載の注釈画像提示システム。
4. 前記対象物の撮影画像を表示する表示制御部を更に備えることを特徴とする請求項１から３のいずれか１項に記載の注釈画像提示システム。
5. 前記対象物の所定の面を選択する画面を表示する表示制御部を更に備え、
   前記生成手段は、前記対象物の選択された面に投影するよう前記対象物に対応して生成される表面画像を生成することを特徴とする請求項１から請求項３のいずれか１項に記載の注釈画像提示システム。
6. 前記対象物上に投影する注釈画像を選択する画面を表示する表示制御部を更に備えることを特徴とする請求項１から請求項３のいずれか１項に記載の注釈画像提示システム。
7. 前記画像処理手段は、縮小パラメータ、視点位置の情報、投影面、および投影方向を対象物のデータまたは対象物の撮影画像から取得して表面画像を生成することを特徴とする請求項１から６のいずれか１項記載の注釈画像提示システム。
8. 前記送信手段は、前記対象物のデータに含まれる前記対象物に関する情報を前記注釈画像として送信することを特徴とする請求項１から７のいずれか１項記載の注釈画像提示システム。

Images