JP3486575B2 - 複合現実感提示装置およびその方法並びに記憶媒体 - Google Patents
複合現実感提示装置およびその方法並びに記憶媒体Info
- Publication number
- JP3486575B2 JP3486575B2 JP24677099A JP24677099A JP3486575B2 JP 3486575 B2 JP3486575 B2 JP 3486575B2 JP 24677099 A JP24677099 A JP 24677099A JP 24677099 A JP24677099 A JP 24677099A JP 3486575 B2 JP3486575 B2 JP 3486575B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- illumination
- lighting
- mixed reality
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
複合現実感提示装置及びその方法に関し、現実の照明の
条件をリアルタイムに変化させて、その条件変更に応じ
て複合現実画像を生成する複合現実感提示装置等に関す
る。
を融合することを目的とする。そのために、画像生成に
関して現実空間単独或いは仮想空間単独では容易であっ
たことが困難であることが多い。
明条件を変更させ、その変更に応じてリアルタイムに仮
想画像を現実空間に融合させることがある。
で測定し、検出した照明条件を複合現実空間に反映させ
ることを行っていた。
実の照明の照明条件を変化させたときに、その変更にリ
アルタイム応答して複合現実空間を構築する複合現実感
提示装置を提案するものである。
の、本発明による複合現実感提示装置は、現実の照明装
置によって照明された現実空間に仮想空間を融合する複
合現実感提示装置であって、現実空間を照明する照明装
置の照明条件を変更する変更手段と、前記変更された照
明条件に基づき前記現実空間を照明する照明手段と、前
記現実空間の画像を入力する入力手段と、前記変更され
た照明条件の値に対応した照明条件パラメータの値を設
定する設定手段と、前記設定された照明条件パラメータ
を用いて仮想画像を生成する生成手段と、前記生成され
た仮想画像と前記入力された現実空間の画像とを合成す
る合成手段とを備える。
れば、前記照明条件は、照度、色、照明方向のいずれか
である。
重要である。そこで、請求項3によれば、前記変更手段
は、ユーザにより操作されるGUI手段であって、前記照
明装置の照度、色、照明方向をグラフィカルに変更する
コントロールボタンを表示画面に表示する。
えば請求項5の複合現実感提示方法、更には記憶媒体に
よっても達成可能である。
本発明の好適に実施形態に関わる複合現実感提示装置を
詳細に説明する。
テムの全体構成を示すブロック図である。
及び視線方向を計測するセンサである。このセンサは、
ユーザの外部に設けた磁気センサや光学的センサ、或い
はユーザのHMD(Head Mounted Display)に装着された
センサであってもよい。計測された視点位置及び姿勢は
画像生成モジュール103に送られる。画像生成モジュ
ール103は、ユーザの視点位置及び視線を考慮したC
G画像を生成する。
するビデオカメラ等の撮影装置である。この撮影装置1
05はユーザの頭部に装着するのが、ユーザの視点位置
及び視線方向が変化する場合に好ましい。画像入力モジ
ュール104は、撮影装置104が撮影した画像をオブ
ジェクト化すると共に、その画像中の物体の奥行き値を
も生成して画像合成モジュール102に渡す。
モジュール103が生成したCG画像と、画像入力モジ
ュール104からのビデオ画像とを合成する。この合成
は周知のように、CG画像の奥行き値とビデオ画像との
奥行き値とを比較することにより前後判定を行い、後方
にある物体の隠れる部分に相当するマスクを生成して、
これらビデオ画像とCG画像とを融合する。
現実空間管理モジュール108から照明条件についての
情報を貰う。即ち、画像生成モジュール103は、この
照明条件に応じた陰影を有するCGを生成する。
107を用いる。管理モジュール107は、照明装置の
照度・照射方向等を変えることができる。管理モジュー
ル107は、照明装置107の変更条件を、所定のパラ
メータ値に変更して画像生成モジュール103に渡す。
す。この照明装置は調光ユニット206を有し、調光ユ
ニット206は不図示のジョイントを介してブーム20
5に回動可能に支持されている。ブーム205はジョイ
ント204を介して支持軸柱202に固定されている。
その支持軸202は、回転ステージ203上に回動自在
に固定され、回転ステージ203はスライド台201上
に摺動可能に載置されている。従って、調光ユニット
は、スライド動作、パニング動作、チルト動作、ローテ
ート動作が可能である。しかも、ジョイント部や回転ス
テージなどはモータにより駆動されるので、複合現実空
間管理モジュール108からの信号により制御可能であ
る。また、調光ユニットに加える電圧・電流を制御する
ことにより光量を制御することが可能である。また、モ
ータにはロータリエンコーダが、ジョイント部にはゴニ
オメータが、スライド台にはリニア距離センサが設けら
れ、調光ユニットには照度センサが設けられているの
で、夫々の位置や姿勢情報を取得することができる。
空間管理モジュール108と、画像生成モジュール10
3との関係を説明する。
ール108が表示装置に表示する照明条件を変更するた
めのグラフィックユーザインタフェースである。GUIの
具体例を第4図に示す。同図で、矢印は、マウスなどに
よって変更可能なコントロールボタンである。例えば、
照明ユニットを横にスライドさせたいときには、左右の
いずれかの矢印をマウスでクリックし、その矢印を目的
の方向に移動する。角度を調整したいときには、その変
更部分の矢印をマウスでクリックして選択し、ジョイス
ティックなどで回転する。このGUIを用いれば、第2図
の照明ユニットの各部の操作角度、照明の明るさ、色な
どをキーボード若しくはジョイスティックなどを用いて
変更することができる。
件は、照明装置のコントローラに送られる。コントロー
ラは、この照明条件を、第2図の照明ユニットのモータ
の駆動量等に変換して送る。こうして、照明ユニットは
ユーザがGUIを介して設定した照度などに設定される。
は複合現実空間管理モジュール108により、画像生成
モジュール103が用いる空間言語によって規定されて
いる照明条件パラメータ、例えば、angle, specular, a
mbient, position, diffusion等に変換される。但し、
これらのパラメータ値は、種々の照明条件下での実験に
基づいて前もって決められている。画像生成モジュール
103は、受け取ったパラメータ値を描画ルーチンに設
定する。
08の制御手順を、第6図は画像生成モジュール103
の制御手順を、夫々示す。複合現実空間管理モジュール
108と画像生成モジュール103とは共にプログラム
モジュールであるが、その間は所定のプロトコルのAPI
(Application Program Interface)によって通信され
る。即ち、複合現実空間管理モジュールでは、ステップ
S102において、ユーザがGUIを用いて照明条件を変
更したかを監視している。条件が変更されたならばステ
ップS104で、照明ユニットのための各種制御量を演
算し、ステップS106でコントローラ107bに送
る。ステップS108では、angle等の照明パラメータ
を生成してAPIを介して画像生成モジュール103に送
る。ステップS112ではイベントを発生させて、画像
生成モジュール103に知らせる。
ジュール103は、イベント発生を待っている。イベン
トの発生があったならば、ステップS204で、そのイ
ベントが照明条件変更イベントであることを確認して、
ステップS206で、APIを介して照明パラメータを受
信する。ステップS208では、描画ルーチン内のパラ
メータ部分を受信したパラメータで置き換える。ステッ
プS210では、受信したパラメータに従ってCG画像
を描画する。描画されたCG画像は変更された照明条件
に従って陰影などが変化されている。
範囲内で種々変形が可能である。
を説明する。この例では、調光ユニット206は、チル
ト可能に軸支されたチルトユニット301に支持されて
いる。チルトユニット301は上下動可能である。支持
シャフト304はモータ303に接続されており、支持
シャフトを回転させることにより調光ユニットをパン回
転させることにより、調光ユニットをパン回転させるこ
とができる。支持シャフト304はスライド台302上
を平行に移動可能である。また、そのスライド台302
は、シャフト302の移動方向と垂直な方向と平行に移
動可能である。
GUIを用いていたが、ボリュームやスライドスイッチ、
ジョイスティックなどのハードデバイスを用いてもよ
い。このようなハードデバイスを用いる場合には、その
デバイスの出力信号を管理モジュールを有する装置に通
信する必要があろう。
コンピュータコントロールとしていたが、本発明はその
ようなものに限定されず、例えば、手動による変更にも
適用可能である。また、GUI120による条件変更値を
ソフト的にコントローラ107bが読み取るように変形
することもできる。この変形例では、上記実施形態のロ
ータリエンコーダを不要にすることができる。但し、照
明条件がどのように変更されたかを検知するために、照
度センサや照明方向を検知するセンサなどを設け、これ
らのセンサ出力を管理モジュールに導くようにする。
ラムパラメータは前もって所定のメモリ121に記憶す
るようにしていたが、パラメータを、検出された照度や
照明の方向などに基づいてリアルタイムで演算するよう
にしてもよい。このためには、照明条件の検出値からパ
ラメータ値を導出するための演算用の変換式を前もって
メモリに記憶し、この変換式を用いてリアルタイムにパ
ラメータを導出するようにしてもよい。
仮想画像の照明条件が、現実の照明の変更に応じてリア
ルタイムに修正される。このために、現実画像と仮想画
像との間の照明条件の構造に起因する画質的ズレが軽減
される。
を説明する図。
構成を説明する図。
を機能的に表したブロック図。
図。
すフローチャート。
ローチャート。
Claims (6)
- 【請求項1】 現実の照明装置によって照明された現実
空間に仮想空間を融合する複合現実感提示装置であっ
て、現実空間を照明する 照明装置の照明条件を変更する変更
手段と、前記変更された照明条件に基づき前記現実空間を照明す
る照明手段と、 前記現実空間の画像を入力する入力手段と、 前記 変更された照明条件の値に対応した照明条件パラメ
ータの値を設定する設定手段と、前記設定された照明条件 パラメータを用いて仮想画像を
生成する生成手段と、 前記生成された仮想画像と前記入力された現実空間の画
像とを合成する合成手段とを備える ことを特徴とする複
合現実感提示装置。 - 【請求項2】 前記照明条件は、照度、色、照明方向の
いずれかであることを特徴とする請求項1に記載の複合
現実感提示装置。 - 【請求項3】 前記変更手段は、ユーザにより操作され
るGUI手段であって、前記照明装置の照度、色、照明方
向をグラフィカルに変更するコントロールボタンを表示
画面に表示することを特徴とする請求項1に記載の複合
現実感提示装置。 - 【請求項4】 前記合成手段は、前記現実空間の画像の
奥行き値と、前記仮想画像の奥行き値とを比較すること
により前後判定を行い、該前後判定の結果に応じて前記
現実空間の画像と前記仮想画像とを合成することを特徴
とする請求項1乃至3のいずれかに記載の複合現実感提
示装置。 - 【請求項5】 現実の照明装置によって照明された現実
空間に仮想空間を融合する画像処理方法であって、現実空間を照明する 照明装置の照明条件を変更する変更
工程と、前記照明装置によって照明された現実空間の画像を入力
する入力工程と、 前記 変更された照明条件の値に対応した照明条件パラメ
ータの値を設定する設定工程と、前記設定された照明条件 パラメータを用いて仮想画像を
生成する生成工程と、前記生成された仮想画像と前記入力された現実空間の画
像とを合成する合成工程とを備える ことを特徴とする画
像処理方法。 - 【請求項6】 請求項5の方法を実行するコンピュータ
プログラムを記憶する記憶媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24677099A JP3486575B2 (ja) | 1999-08-31 | 1999-08-31 | 複合現実感提示装置およびその方法並びに記憶媒体 |
EP00103803A EP1074943A3 (en) | 1999-08-06 | 2000-02-23 | Image processing method and apparatus |
US09/512,836 US6930685B1 (en) | 1999-08-06 | 2000-02-25 | Image processing method and apparatus |
US11/115,162 US20050190181A1 (en) | 1999-08-06 | 2005-04-27 | Image processing method and apparatus |
US11/115,344 US20050195332A1 (en) | 1999-08-06 | 2005-04-27 | Image processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24677099A JP3486575B2 (ja) | 1999-08-31 | 1999-08-31 | 複合現実感提示装置およびその方法並びに記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001078230A JP2001078230A (ja) | 2001-03-23 |
JP3486575B2 true JP3486575B2 (ja) | 2004-01-13 |
Family
ID=17153418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24677099A Expired - Fee Related JP3486575B2 (ja) | 1999-08-06 | 1999-08-31 | 複合現実感提示装置およびその方法並びに記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3486575B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004047426A2 (en) * | 2002-11-15 | 2004-06-03 | Esc Entertainment, A California Corporation | Reality-based light environment for digital imaging in motion pictures |
US20080211813A1 (en) * | 2004-10-13 | 2008-09-04 | Siemens Aktiengesellschaft | Device and Method for Light and Shade Simulation in an Augmented-Reality System |
JP4804256B2 (ja) * | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
JP2013250773A (ja) * | 2012-05-31 | 2013-12-12 | Sega Corp | ステージ装置及びステージ施設 |
-
1999
- 1999-08-31 JP JP24677099A patent/JP3486575B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001078230A (ja) | 2001-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102455575B (zh) | 投影型显示装置及其控制方法 | |
JP3909554B2 (ja) | プレゼンテーション制御システム及びその制御方法 | |
JP4770493B2 (ja) | 遠隔指示システム及び遠隔指示方法 | |
US7675542B2 (en) | Camera controller | |
EP2514276B1 (en) | Lighting tool for creating light scenes | |
US20040179121A1 (en) | System and method for displaying captured images according to imaging device position | |
JP2006163360A (ja) | 投影装置、投影方法、投影制御プログラム | |
JP6307852B2 (ja) | 画像表示装置、及び、画像表示装置の制御方法 | |
US7027041B2 (en) | Presentation system | |
CN104284117B (zh) | 图像投影装置以及图像投影装置的控制方法 | |
JP2006236195A (ja) | プレゼンテーション制御装置 | |
JP5162839B2 (ja) | 表示装置及びプログラム | |
JP4243883B2 (ja) | リモコン雲台システム | |
JP2002297119A (ja) | 画像表示装置および画像表示システム | |
JP3486575B2 (ja) | 複合現実感提示装置およびその方法並びに記憶媒体 | |
KR20050103597A (ko) | 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법 | |
JP2008158540A (ja) | 投影装置、投影方法、投影制御プログラム | |
JP2004140845A (ja) | プロジェクタ装置 | |
US20200184222A1 (en) | Augmented reality tools for lighting design | |
CN118118791A (zh) | 视频展台的拍摄区域标识方法、装置、视频展台及介质 | |
JP2003348385A (ja) | 書画カメラ装置およびこれを用いたプレゼンテーション方法 | |
JP2007094661A (ja) | プレゼンテーション制御装置およびプレゼンテーションシステム | |
JP5742379B2 (ja) | 投影システムおよび投影方法 | |
JP2018132769A (ja) | 画像表示装置、及び、画像表示装置の制御方法 | |
KR101263881B1 (ko) | 무인 방송 제어 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031014 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071024 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081024 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091024 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091024 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101024 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101024 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131024 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |