JPH10327431A - 仮想空間における画像生成方法及び装置並びに撮像装置 - Google Patents
仮想空間における画像生成方法及び装置並びに撮像装置Info
- Publication number
- JPH10327431A JPH10327431A JP9133160A JP13316097A JPH10327431A JP H10327431 A JPH10327431 A JP H10327431A JP 9133160 A JP9133160 A JP 9133160A JP 13316097 A JP13316097 A JP 13316097A JP H10327431 A JPH10327431 A JP H10327431A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- viewpoint
- imaging
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】遠隔地に離れている人間同士があたかも一堂に
介しているかのようなリアリティを得ることを可能とす
ることを目的とする。 【解決手段】被写体Ａの各点から射出される光線群のう
ち、仮想的に設定され且つ位置が任意に設定され得る視
点である仮想視点に向かう光線を、被写体Ａを囲む仮想
的な閉曲面上の複数位置において撮像手段ＣＡにより検
出して撮像信号に変換し、撮像信号を、仮想視点とは異
なる位置に存在する観察者Ｂの視点に向けて画像を表示
する表示手段ＥＸに送り、表示手段ＥＸにより、観察者
Ｂの視点に対し仮想視点と被写体Ａとの位置関係に対応
した位置に仮想的に配置された被写体Ａの各点から観察
者Ｂの視点に向かって光線が射出されるように、撮像信
号に基づいて画像を表示する。
介しているかのようなリアリティを得ることを可能とす
ることを目的とする。 【解決手段】被写体Ａの各点から射出される光線群のう
ち、仮想的に設定され且つ位置が任意に設定され得る視
点である仮想視点に向かう光線を、被写体Ａを囲む仮想
的な閉曲面上の複数位置において撮像手段ＣＡにより検
出して撮像信号に変換し、撮像信号を、仮想視点とは異
なる位置に存在する観察者Ｂの視点に向けて画像を表示
する表示手段ＥＸに送り、表示手段ＥＸにより、観察者
Ｂの視点に対し仮想視点と被写体Ａとの位置関係に対応
した位置に仮想的に配置された被写体Ａの各点から観察
者Ｂの視点に向かって光線が射出されるように、撮像信
号に基づいて画像を表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、仮想空間における
画像生成方法及び装置並びにそれに用いられる撮像装置
に関する。
画像生成方法及び装置並びにそれに用いられる撮像装置
に関する。
【０００２】
【従来の技術】従来より、コンピュータによる三次元画
像の作成方法には、ＧＢＲ（GeometryBased Renderin
g）及びＩＢＲ（Image Based Rendering ）がある。
像の作成方法には、ＧＢＲ（GeometryBased Renderin
g）及びＩＢＲ（Image Based Rendering ）がある。
【０００３】ＧＢＲは、比較的古くから用いられている
方法であり、物体の幾何モデルを元にしてレンダリング
を行なう方法である。物体の幾何的形状及び位置がはっ
きりするため、物体同士の衝突や隠蔽を完全に記述でき
るという利点を持つ。その反面、基本的な図形の組み合
わせにより３次元形状を表現するので、複雑な形状の物
体を記述するのには向かない。したがって、写真レベル
のリアリティを出すのは困難である。
方法であり、物体の幾何モデルを元にしてレンダリング
を行なう方法である。物体の幾何的形状及び位置がはっ
きりするため、物体同士の衝突や隠蔽を完全に記述でき
るという利点を持つ。その反面、基本的な図形の組み合
わせにより３次元形状を表現するので、複雑な形状の物
体を記述するのには向かない。したがって、写真レベル
のリアリティを出すのは困難である。
【０００４】一方、ＩＢＲは、複数の平面画像を元にし
て任意視点からの物体の「見え方」を構成する方法であ
り、近年において研究が活発である。ＩＢＲでは、物体
の形状や位置は明確に定まらないが、比較的容易に写真
レべルのリアリティをもつ画像を生成することが可能で
ある。
て任意視点からの物体の「見え方」を構成する方法であ
り、近年において研究が活発である。ＩＢＲでは、物体
の形状や位置は明確に定まらないが、比較的容易に写真
レべルのリアリティをもつ画像を生成することが可能で
ある。
【０００５】さて、遠隔地に離れている人間同士が会議
を行うために、従来よりテレビ会議システムが用いられ
ている。テレビ会議システムでは、ビデオカメラと表示
装置が互いに離れたそれぞれの室に設置され、それらの
間が通信回線で接続される。それぞれの室に入った会議
の参加者の顔や姿は、その室のビデオカメラにより撮影
される。撮像信号は通信回線で遠隔地にある他の室に送
信され、その室に設置された表示装置により表示され
る。
を行うために、従来よりテレビ会議システムが用いられ
ている。テレビ会議システムでは、ビデオカメラと表示
装置が互いに離れたそれぞれの室に設置され、それらの
間が通信回線で接続される。それぞれの室に入った会議
の参加者の顔や姿は、その室のビデオカメラにより撮影
される。撮像信号は通信回線で遠隔地にある他の室に送
信され、その室に設置された表示装置により表示され
る。
【０００６】
【発明が解決しようとする課題】しかし、従来のテレビ
会議システムでは、表示装置の位置は固定されており、
且つその画面は有限の大きさの平面である。会議の参加
者は、常に表示装置の方を向くこととなり、ビデオカメ
ラによる撮影も表示装置の近辺から行われることとな
る。したがって、参加者の視線方向が拘束され、姿勢の
自由度という点で問題がある。また、表示装置の画面が
強く意識されるため、同じ場所で会議を行っているとい
うリアリティに乏しい。
会議システムでは、表示装置の位置は固定されており、
且つその画面は有限の大きさの平面である。会議の参加
者は、常に表示装置の方を向くこととなり、ビデオカメ
ラによる撮影も表示装置の近辺から行われることとな
る。したがって、参加者の視線方向が拘束され、姿勢の
自由度という点で問題がある。また、表示装置の画面が
強く意識されるため、同じ場所で会議を行っているとい
うリアリティに乏しい。
【０００７】リアリティを高めるために、互いに隔てて
配置された２台のビデオカメラと、レンチキュラレンズ
を適用した表示装置とを用い、相手の姿を立体視するこ
とが考えられる。しかし、その場合においても、相手の
参加者に対して任意の位置に設定した視点からの立体画
像を得ることは極めて困難であり、リアリティの向上は
余り望めない。
配置された２台のビデオカメラと、レンチキュラレンズ
を適用した表示装置とを用い、相手の姿を立体視するこ
とが考えられる。しかし、その場合においても、相手の
参加者に対して任意の位置に設定した視点からの立体画
像を得ることは極めて困難であり、リアリティの向上は
余り望めない。
【０００８】本発明は、上述の問題に鑑みてなされたも
ので、遠隔地に離れている人間同士があたかも一堂に介
しているかのようなリアリティを得ることを可能とする
仮想空間における画像生成方法及び装置並びに撮像装置
を提供することを目的とする。
ので、遠隔地に離れている人間同士があたかも一堂に介
しているかのようなリアリティを得ることを可能とする
仮想空間における画像生成方法及び装置並びに撮像装置
を提供することを目的とする。
【０００９】
【課題を解決するための手段】請求項１の発明に係る方
法は、被写体の各点から射出される光線群のうち、仮想
的に設定され且つ位置が任意に設定され得る視点である
仮想視点に向かう光線を、前記被写体を囲む仮想的な閉
曲面上の複数位置において撮像手段により検出して撮像
信号に変換し、前記撮像信号を、前記仮想視点とは異な
る位置に存在する観察者の視点に向けて画像を表示する
表示手段に送り、前記表示手段により、前記観察者の視
点に対し前記仮想視点と前記被写体との位置関係に対応
した位置に仮想的に配置された被写体の各点から前記観
察者の視点に向かって光線が射出されるように、前記撮
像信号に基づいて画像を表示する。
法は、被写体の各点から射出される光線群のうち、仮想
的に設定され且つ位置が任意に設定され得る視点である
仮想視点に向かう光線を、前記被写体を囲む仮想的な閉
曲面上の複数位置において撮像手段により検出して撮像
信号に変換し、前記撮像信号を、前記仮想視点とは異な
る位置に存在する観察者の視点に向けて画像を表示する
表示手段に送り、前記表示手段により、前記観察者の視
点に対し前記仮想視点と前記被写体との位置関係に対応
した位置に仮想的に配置された被写体の各点から前記観
察者の視点に向かって光線が射出されるように、前記撮
像信号に基づいて画像を表示する。
【００１０】請求項２の発明に係る装置は、被写体の各
点から射出される光線群のうち、仮想的に設定された視
点である仮想視点に向かう光線を、前記被写体を囲む仮
想的な閉曲面上の複数位置において検出して撮像信号に
変換する撮像手段と、仮想的に設定された被写体の各点
から観察者の視点に向かって光線が射出されるように、
前記撮像信号に基づいて前記光線を再生して画像を表示
する表示手段と、前記撮像信号をリアルタイムで前記表
示手段に送信する手段と、を有する。
点から射出される光線群のうち、仮想的に設定された視
点である仮想視点に向かう光線を、前記被写体を囲む仮
想的な閉曲面上の複数位置において検出して撮像信号に
変換する撮像手段と、仮想的に設定された被写体の各点
から観察者の視点に向かって光線が射出されるように、
前記撮像信号に基づいて前記光線を再生して画像を表示
する表示手段と、前記撮像信号をリアルタイムで前記表
示手段に送信する手段と、を有する。
【００１１】請求項３の発明に係る装置では、前記撮像
手段は、互いに異なる複数の方向に向かう光線をその方
向毎に検出し、前記表示手段は、前記撮像手段によって
検出された方向に応じた方向に前記光線を再生する。
手段は、互いに異なる複数の方向に向かう光線をその方
向毎に検出し、前記表示手段は、前記撮像手段によって
検出された方向に応じた方向に前記光線を再生する。
【００１２】請求項４の発明に係る装置では、前記撮像
手段は、撮像素子と、前記撮像素子の周囲を回転するス
リットとを備える。請求項５の発明に係る装置では、前
記表示手段は、表示素子と、前記表示素子の周囲を回転
するスリットとを備える。
手段は、撮像素子と、前記撮像素子の周囲を回転するス
リットとを備える。請求項５の発明に係る装置では、前
記表示手段は、表示素子と、前記表示素子の周囲を回転
するスリットとを備える。
【００１３】請求項６の発明に係る装置では、前記撮像
手段は、前記仮想視点に向かう光線を、前記観察者が視
差を感じる方向と直角の方向に延びるライン状に検出
し、前記表示手段は、前記撮像手段で検出されたライン
状の光線を再生する。
手段は、前記仮想視点に向かう光線を、前記観察者が視
差を感じる方向と直角の方向に延びるライン状に検出
し、前記表示手段は、前記撮像手段で検出されたライン
状の光線を再生する。
【００１４】請求項７の発明に係る装置では、前記撮像
手段は、複数の走査線を有するＣＣＤカメラであり、前
記走査線が略鉛直方向となるように設置されている。請
求項８の発明に係る装置では、前記撮像手段は、前記撮
像信号を走査線単位で前記表示手段に向けて順次転送す
る。
手段は、複数の走査線を有するＣＣＤカメラであり、前
記走査線が略鉛直方向となるように設置されている。請
求項８の発明に係る装置では、前記撮像手段は、前記撮
像信号を走査線単位で前記表示手段に向けて順次転送す
る。
【００１５】請求項９の発明に係る装置は、被写体から
射出される光線群のうち、仮想的に設定された視点であ
る仮想視点に向かう光線を、前記被写体を囲む仮想的な
閉曲面上の複数位置において検出して撮像信号に変換す
る撮像装置であって、エリアセンサ、及び、前記仮想視
点の観察者が視差を感じる方向と直角の方向に前記エリ
アセンサを走査し、その走査線に対応したライン状の前
記光線を検出して前記撮像信号に変換するための走査手
段からなる撮像手段と、前記撮像手段を、前記閉曲面上
における前記仮想視点の観察者が視差を感じる方向に移
動させる移動手段と、を有する。
射出される光線群のうち、仮想的に設定された視点であ
る仮想視点に向かう光線を、前記被写体を囲む仮想的な
閉曲面上の複数位置において検出して撮像信号に変換す
る撮像装置であって、エリアセンサ、及び、前記仮想視
点の観察者が視差を感じる方向と直角の方向に前記エリ
アセンサを走査し、その走査線に対応したライン状の前
記光線を検出して前記撮像信号に変換するための走査手
段からなる撮像手段と、前記撮像手段を、前記閉曲面上
における前記仮想視点の観察者が視差を感じる方向に移
動させる移動手段と、を有する。
【００１６】請求項１０の発明に係る装置は、前記エリ
アセンサを走査する複数の走査線によって得られる複数
のライン状の撮像信号の中から、複数の仮想視点にそれ
ぞれ対応するライン状の撮像信号を選択する選択手段を
有する。
アセンサを走査する複数の走査線によって得られる複数
のライン状の撮像信号の中から、複数の仮想視点にそれ
ぞれ対応するライン状の撮像信号を選択する選択手段を
有する。
【００１７】本発明の撮像手段として、例えば図７に示
すように、円周上において鉛直方向に延びるように配置
され且つ円周上を回転移動するＣＣＤラインセンサＣ
Ｌ、及びＣＣＤラインセンサＣＬの前方に鉛直方向に配
置されＣＣＤラインセンサＣＬを中心として回転するス
リットＳＴｍからなる撮像装置（衛星型機構）が用いら
れる。
すように、円周上において鉛直方向に延びるように配置
され且つ円周上を回転移動するＣＣＤラインセンサＣ
Ｌ、及びＣＣＤラインセンサＣＬの前方に鉛直方向に配
置されＣＣＤラインセンサＣＬを中心として回転するス
リットＳＴｍからなる撮像装置（衛星型機構）が用いら
れる。
【００１８】この撮像装置によって、円周上のすべての
位置においてすべての方向に出る光線群が記録される。
光線群のうちのある位置の且つある方向（角度）の光線
の画像は、本発明におけるライン状画像である。
位置においてすべての方向に出る光線群が記録される。
光線群のうちのある位置の且つある方向（角度）の光線
の画像は、本発明におけるライン状画像である。
【００１９】また、本発明の他の撮像手段として、例え
ば図１６に示すように、２次元ＣＣＤからなるエリアセ
ンサＣＥを用いたカメラＣＭが用いられる。エリアセン
サＣＥを鉛直方向に走査しながら水平方向に副走査す
る。鉛直方向に走査することによって多数の走査線が得
られる。多数の走査線のうちのある位置の且つある方向
（角度）の走査線による画像は、本発明におけるライン
状画像である。
ば図１６に示すように、２次元ＣＣＤからなるエリアセ
ンサＣＥを用いたカメラＣＭが用いられる。エリアセン
サＣＥを鉛直方向に走査しながら水平方向に副走査す
る。鉛直方向に走査することによって多数の走査線が得
られる。多数の走査線のうちのある位置の且つある方向
（角度）の走査線による画像は、本発明におけるライン
状画像である。
【００２０】観察者への画像の提示のために、すべての
ライン状画像の中から、必要なライン状画像、つまり特
定の位置の特定の方向（角度）のライン状画像が選択さ
れる。選択されたライン状画像のみが観察者の表示手段
に送られ、送られたライン状画像によって画像の再構成
が行われる。
ライン状画像の中から、必要なライン状画像、つまり特
定の位置の特定の方向（角度）のライン状画像が選択さ
れる。選択されたライン状画像のみが観察者の表示手段
に送られ、送られたライン状画像によって画像の再構成
が行われる。
【００２１】本発明の表示手段として、例えば図３に示
すように、円周面上を回転移動するフルカラーのＬＥＤ
マトリクスＥＸが用いられる。ＬＥＤマトリクスＥＸに
よって、送られたライン状画像に基づき、観察者の左眼
用の画像及び右眼用の画像が提示される。なお、表示を
行うべき面の全面にＬＥＤマトリクスＥＸが設けられる
場合には、ＬＥＤマトリクスＥＸを回転移動させなくて
もよい。
すように、円周面上を回転移動するフルカラーのＬＥＤ
マトリクスＥＸが用いられる。ＬＥＤマトリクスＥＸに
よって、送られたライン状画像に基づき、観察者の左眼
用の画像及び右眼用の画像が提示される。なお、表示を
行うべき面の全面にＬＥＤマトリクスＥＸが設けられる
場合には、ＬＥＤマトリクスＥＸを回転移動させなくて
もよい。
【００２２】
【発明の実施の形態】図１は本発明に係る遠隔会議シス
テム１のブロック図、図２は遠隔会議システム１による
仮想空間ＶＳにおける会議の様子を示す図、図３はブー
スＢＴの構成を示す図である。
テム１のブロック図、図２は遠隔会議システム１による
仮想空間ＶＳにおける会議の様子を示す図、図３はブー
スＢＴの構成を示す図である。
【００２３】図１において、人物Ａ及び人物Ｂは、それ
ぞれ円筒状のブースＢＴＡ及びブースＢＴＢに入ってい
る。人物Ａ，Ｂは互いに遠隔地にいるが、それぞれブー
スＢＴＡ，ＢＴＢに入ることによって、図２に示すよう
に人物Ａ，Ｂは仮想空間ＶＳ内で一堂に介して会議を行
うことができる。
ぞれ円筒状のブースＢＴＡ及びブースＢＴＢに入ってい
る。人物Ａ，Ｂは互いに遠隔地にいるが、それぞれブー
スＢＴＡ，ＢＴＢに入ることによって、図２に示すよう
に人物Ａ，Ｂは仮想空間ＶＳ内で一堂に介して会議を行
うことができる。
【００２４】なお、３人以上の人物が互いに遠隔地にい
る場合には、それぞれブースに入ることによって、共通
の仮想空間ＶＳ内で全員が一堂に介して会議を行うこと
ができる。
る場合には、それぞれブースに入ることによって、共通
の仮想空間ＶＳ内で全員が一堂に介して会議を行うこと
ができる。
【００２５】図３に示すように、ブースＢＴＡには、複
数のカメラＣＭ，ＣＭ…及びフルカラーのＬＥＤマトリ
クスＥＸ，ＥＸ…が備えられており、これらが図示しな
い駆動装置によって一体的に人物Ａの回りを定速度で回
転する。駆動装置として、例えば減速機付きのモータが
用いられる。
数のカメラＣＭ，ＣＭ…及びフルカラーのＬＥＤマトリ
クスＥＸ，ＥＸ…が備えられており、これらが図示しな
い駆動装置によって一体的に人物Ａの回りを定速度で回
転する。駆動装置として、例えば減速機付きのモータが
用いられる。
【００２６】カメラＣＭが回転することにより、人物Ａ
の全周画像が撮像（撮影）される。ＬＥＤマトリクスＥ
Ｘが回転することにより、人物Ａに対し円筒状に画像を
提示する。つまり、ブースＢＴＡは撮像・提示一体型で
ある。
の全周画像が撮像（撮影）される。ＬＥＤマトリクスＥ
Ｘが回転することにより、人物Ａに対し円筒状に画像を
提示する。つまり、ブースＢＴＡは撮像・提示一体型で
ある。
【００２７】人物Ａの頭部には位置センサＤＰが取り付
けられており、位置センサＤＰからは人物Ａの位置及び
姿勢に応じた信号Ｓ１が出力される。位置センサＤＰか
らの信号Ｓ１によって、ブースＢＴＡ内における人物Ａ
の両眼の位置、つまりブースＢＴＡ内における左眼及び
右眼の視点位置が計測される。また、信号Ｓ１と後述の
信号Ｓ２とから、他のブースを観察する観察者としての
人物Ａの視点位置が計測される。
けられており、位置センサＤＰからは人物Ａの位置及び
姿勢に応じた信号Ｓ１が出力される。位置センサＤＰか
らの信号Ｓ１によって、ブースＢＴＡ内における人物Ａ
の両眼の位置、つまりブースＢＴＡ内における左眼及び
右眼の視点位置が計測される。また、信号Ｓ１と後述の
信号Ｓ２とから、他のブースを観察する観察者としての
人物Ａの視点位置が計測される。
【００２８】ＬＥＤマトリクスＥＸの前面にスリットを
設け、スリットにより画像の提示方向に指向性を持たせ
る。ブースＢＴＡ内における両眼の視点位置が分かって
いるので、それぞれの視点位置に向けて視差のある画像
を提示することにより、人物ＡはＨＭＤを装着すること
なしに両眼立体視が可能となる。したがって、人物Ａの
顔がＨＭＤなどで隠れることがなく、人物Ａの表情がそ
のままカメラＣＭによって撮像される。これは、互いに
顔をみて対話をする会議用として極めて大きな利点であ
る。
設け、スリットにより画像の提示方向に指向性を持たせ
る。ブースＢＴＡ内における両眼の視点位置が分かって
いるので、それぞれの視点位置に向けて視差のある画像
を提示することにより、人物ＡはＨＭＤを装着すること
なしに両眼立体視が可能となる。したがって、人物Ａの
顔がＨＭＤなどで隠れることがなく、人物Ａの表情がそ
のままカメラＣＭによって撮像される。これは、互いに
顔をみて対話をする会議用として極めて大きな利点であ
る。
【００２９】また、ＬＥＤマトリクスＥＸは、カメラＣ
Ｍによる撮像の瞬間に特定の背景色を表示する。したが
って、後のデータ処理において人物Ａの画像のみを容易
に取り出すことができる。
Ｍによる撮像の瞬間に特定の背景色を表示する。したが
って、後のデータ処理において人物Ａの画像のみを容易
に取り出すことができる。
【００３０】ブースＢＴＡの床面には、全方向型のトレ
ッドミルＣＴが設けられており、人物Ａはトレッドミル
ＣＴの上を自由に歩くことができる。人物Ａが歩くと、
トレッドミルＣＴはその動きに応じて移動し、人物Ａの
実際の移動をキャンセルするとともに、人物Ａが移動し
たであろう距離及び方向を信号Ｓ２として出力する。な
お、トレッドミルＣＴに代えてジョイスティックを設け
ておき、人物Ａがジョイスティックを操作することでも
代用可能である。
ッドミルＣＴが設けられており、人物Ａはトレッドミル
ＣＴの上を自由に歩くことができる。人物Ａが歩くと、
トレッドミルＣＴはその動きに応じて移動し、人物Ａの
実際の移動をキャンセルするとともに、人物Ａが移動し
たであろう距離及び方向を信号Ｓ２として出力する。な
お、トレッドミルＣＴに代えてジョイスティックを設け
ておき、人物Ａがジョイスティックを操作することでも
代用可能である。
【００３１】他方のブースＢＴＢの構成も上述のブース
ＢＴＡの構成と同じである。図１に戻って、遠隔会議シ
ステム１には、位置センサＤＰ及びトレッドミルＣＴか
らの信号Ｓ１，Ｓ２に基づいて、仮想空間ＶＳ１内にお
ける人物Ａ，Ｂ間の位置を管理するためのホスト１１、
カメラＣＭにより撮像されるライン状画像（走査線）Ｃ
ＡＬを選択するための選択部１２ａ，１２ｂ、及び、Ｌ
ＥＤマトリクスＥＸによりライン状画像ＣＡＬを表示し
て画像を構成するための画像構成部１３ａ，１３ｂが設
けられている。
ＢＴＡの構成と同じである。図１に戻って、遠隔会議シ
ステム１には、位置センサＤＰ及びトレッドミルＣＴか
らの信号Ｓ１，Ｓ２に基づいて、仮想空間ＶＳ１内にお
ける人物Ａ，Ｂ間の位置を管理するためのホスト１１、
カメラＣＭにより撮像されるライン状画像（走査線）Ｃ
ＡＬを選択するための選択部１２ａ，１２ｂ、及び、Ｌ
ＥＤマトリクスＥＸによりライン状画像ＣＡＬを表示し
て画像を構成するための画像構成部１３ａ，１３ｂが設
けられている。
【００３２】ホスト１１は、人物Ａ，Ｂの仮想空間ＶＳ
１内における位置関係の情報ＤＴＲを保有する。人物
Ａ，Ｂが、トレッドミルＣＴ又はジョイスティックの操
作によって仮想空間ＶＳ１内を移動すると、位置関係の
情報ＤＴＲが更新される。
１内における位置関係の情報ＤＴＲを保有する。人物
Ａ，Ｂが、トレッドミルＣＴ又はジョイスティックの操
作によって仮想空間ＶＳ１内を移動すると、位置関係の
情報ＤＴＲが更新される。
【００３３】選択部１２ａ，１２ｂでは、ホスト１１か
ら送られる人物Ａ，Ｂの位置関係の情報ＤＴＲ、特に仮
想視点に関する情報に基づいて、相手が必要とするライ
ン状画像ＣＡＬを選択する。選択されたライン状画像Ｃ
ＡＬは、画像構成部１３ａ，１３ｂに送られる。つま
り、選択されなかったライン状画像は送られないので、
送信される情報量は大幅に減少する。
ら送られる人物Ａ，Ｂの位置関係の情報ＤＴＲ、特に仮
想視点に関する情報に基づいて、相手が必要とするライ
ン状画像ＣＡＬを選択する。選択されたライン状画像Ｃ
ＡＬは、画像構成部１３ａ，１３ｂに送られる。つま
り、選択されなかったライン状画像は送られないので、
送信される情報量は大幅に減少する。
【００３４】画像構成部１３ａ，１３ｂでは、人物Ａ，
Ｂ間の位置関係の情報ＤＴＲ、及びラインの位置及び方
向（角度）に関する情報に基づいて、ライン状画像ＣＡ
Ｌの伸縮及び並び替えなどの処理を行い、提示すべき画
像を構成し生成する。ライン状画像の伸縮の処理は、人
物Ａ，Ｂ間の位置関係に応じて行われる。後述する仮想
視点がカメラＣＭの位置よりも近い場合には拡大され、
これと逆に遠い場合には縮小される。
Ｂ間の位置関係の情報ＤＴＲ、及びラインの位置及び方
向（角度）に関する情報に基づいて、ライン状画像ＣＡ
Ｌの伸縮及び並び替えなどの処理を行い、提示すべき画
像を構成し生成する。ライン状画像の伸縮の処理は、人
物Ａ，Ｂ間の位置関係に応じて行われる。後述する仮想
視点がカメラＣＭの位置よりも近い場合には拡大され、
これと逆に遠い場合には縮小される。
【００３５】選択部１２ａ，１２ｂ及び画像構成部１３
ａ，１３ｂは、それぞれ各ブースＢＴＡ，ＢＴＢの近傍
に設けられている。また、ホスト１１の機能を有する処
理装置が、一方又は各ブースＢＴＡ，ＢＴＢの近傍に設
けられている。処理装置は、コンピュータを用いて構成
されており、これら処理装置間において、通信回線によ
って情報の送受が行われる。この場合に、処理装置が本
発明における撮像信号をリアルタイムで表示手段に送信
する手段に相当する。また、選択部１２ａ，１２ｂ及び
画像構成部１３ａ，１３ｂは、コンピュータ及び適当な
ハードウエア又はソフトウエアを用いて実現される。各
部の機能の詳細については後述する。
ａ，１３ｂは、それぞれ各ブースＢＴＡ，ＢＴＢの近傍
に設けられている。また、ホスト１１の機能を有する処
理装置が、一方又は各ブースＢＴＡ，ＢＴＢの近傍に設
けられている。処理装置は、コンピュータを用いて構成
されており、これら処理装置間において、通信回線によ
って情報の送受が行われる。この場合に、処理装置が本
発明における撮像信号をリアルタイムで表示手段に送信
する手段に相当する。また、選択部１２ａ，１２ｂ及び
画像構成部１３ａ，１３ｂは、コンピュータ及び適当な
ハードウエア又はソフトウエアを用いて実現される。各
部の機能の詳細については後述する。
【００３６】遠隔会議システム１によってスムーズなコ
ミュニケーションを行なうためには、ジェスチャーや顔
の表情、又はアイコンタクトなど、言葉以外による意志
の疎通を可能にするために、そこでやりとりされる人物
の画像には写真レべルのリアリティがあることが望まし
い。そのため、ＬＥＤマトリクスＥＸにより表示される
画像は、ＧＢＲ的な手法ではなくＩＢＲ的な手法によっ
ている。
ミュニケーションを行なうためには、ジェスチャーや顔
の表情、又はアイコンタクトなど、言葉以外による意志
の疎通を可能にするために、そこでやりとりされる人物
の画像には写真レべルのリアリティがあることが望まし
い。そのため、ＬＥＤマトリクスＥＸにより表示される
画像は、ＧＢＲ的な手法ではなくＩＢＲ的な手法によっ
ている。
【００３７】遠隔会議システム１においては、観察者と
しての人物Ａ，Ｂに提示する画像を動画像とする必要が
あり、また画像の取り込みと提示との間にリアルタイム
性が要求される。
しての人物Ａ，Ｂに提示する画像を動画像とする必要が
あり、また画像の取り込みと提示との間にリアルタイム
性が要求される。
【００３８】ところで、従来のＩＢＲの用途としては、
予め風景や静物などを記録しておき、後でそれを再生す
るものであった。これらの中には、複数の画像間の対応
点を人間が指示する必要のあるものもあるが、その種の
ものは設計思想が根本的に異なるため遠隔会議システム
１には用いることができない。
予め風景や静物などを記録しておき、後でそれを再生す
るものであった。これらの中には、複数の画像間の対応
点を人間が指示する必要のあるものもあるが、その種の
ものは設計思想が根本的に異なるため遠隔会議システム
１には用いることができない。
【００３９】また、従来において、人間による対応点の
指示を必要としない光線空間理論がある〔内山普二他著
“光線空間理論に基づく実写データとＣＧモデルを融合
した仮想環境の実現”（３次元画像コンファレンス '9
6,1-3,13/18-1996 ）〕。しかし、実空間画像を光線空
間にエンコードして一旦記録し、それをまた実空間にデ
コードするという方式であるため、リアルタイム性を満
足できない。
指示を必要としない光線空間理論がある〔内山普二他著
“光線空間理論に基づく実写データとＣＧモデルを融合
した仮想環境の実現”（３次元画像コンファレンス '9
6,1-3,13/18-1996 ）〕。しかし、実空間画像を光線空
間にエンコードして一旦記録し、それをまた実空間にデ
コードするという方式であるため、リアルタイム性を満
足できない。
【００４０】本実施形態の遠隔会議システム１では、人
物Ａ，Ｂの周りから取り込んだ画像に基づいて、任意の
視点からの画像をリアルに且つリアルタイムで再生す
る。ここで、幾何光学により導かれる諸性質について説
明する。以下の説明は単一媒質中についてのものであ
り、光は直進することを前提とする。
物Ａ，Ｂの周りから取り込んだ画像に基づいて、任意の
視点からの画像をリアルに且つリアルタイムで再生す
る。ここで、幾何光学により導かれる諸性質について説
明する。以下の説明は単一媒質中についてのものであ
り、光は直進することを前提とする。
【００４１】図４は一般的な３次元空間を説明するため
の図である。図４において、物体（被写体）Ｍの表面を
出て、又は表面を反射して、点Ｐを通る光線群を知りた
いとする。また、点Ｐでは光線群を直接に記録できない
ものとする。そのような場合に、物体Ｍを囲む閉領域Ｒ
を仮定すると、物体Ｍの表面を出て点Ｐに到達する光線
群は、必ず閉領域Ｒの表面上を通る。
の図である。図４において、物体（被写体）Ｍの表面を
出て、又は表面を反射して、点Ｐを通る光線群を知りた
いとする。また、点Ｐでは光線群を直接に記録できない
ものとする。そのような場合に、物体Ｍを囲む閉領域Ｒ
を仮定すると、物体Ｍの表面を出て点Ｐに到達する光線
群は、必ず閉領域Ｒの表面上を通る。
【００４２】したがって、閉領域Ｒの表面上での光線を
記録しておくことにより、それに基づいて物体Ｍの表面
を出て点Ｐを通る光線群を再構成することが可能であ
る。また、点Ｐを透視変換の投影中心と考えると、点Ｐ
の位置からの物体Ｍの「見え方」が得られる。
記録しておくことにより、それに基づいて物体Ｍの表面
を出て点Ｐを通る光線群を再構成することが可能であ
る。また、点Ｐを透視変換の投影中心と考えると、点Ｐ
の位置からの物体Ｍの「見え方」が得られる。
【００４３】次に、上述と同様のことを２次元平面で考
える。図５及び図６は２次元平面での１点を通る光線群
を説明するための図である。なお、図５は点Ｐが閉領域
Ｒの外部にある場合を示し、図６は点Ｐが閉領域Ｒの内
部にある場合を示す。
える。図５及び図６は２次元平面での１点を通る光線群
を説明するための図である。なお、図５は点Ｐが閉領域
Ｒの外部にある場合を示し、図６は点Ｐが閉領域Ｒの内
部にある場合を示す。
【００４４】図５に示すように、閉領域Ｒは、原点Ｏを
中心とした半径Ｒの円周として定式化される。点Ｐの座
標をＰ（ｒ cosφ，ｒ sinφ）として、この点Ｐに図５
に示すβの角度で入射する光線を考える。この光線が、
閉領域Ｒの内部から到達したものであるとき、必ず閉領
域の表面上のある点を通っており、その点をＱとする。
点Ｑの座標をＱ（Ｒ cosθ，Ｒ sinθ）とおき、光線は
図５に示すαの角度でＲの表面上を出るとする。
中心とした半径Ｒの円周として定式化される。点Ｐの座
標をＰ（ｒ cosφ，ｒ sinφ）として、この点Ｐに図５
に示すβの角度で入射する光線を考える。この光線が、
閉領域Ｒの内部から到達したものであるとき、必ず閉領
域の表面上のある点を通っており、その点をＱとする。
点Ｑの座標をＱ（Ｒ cosθ，Ｒ sinθ）とおき、光線は
図５に示すαの角度でＲの表面上を出るとする。
【００４５】このとき、任意の点Ｑにおいて次の（１）
〜（３）式が成立する。まず、 α＋θ＝β＋ψ＝γ（ｃｏｎｓｔ） …… （１） さらに、γ≠π／２＋ｎπ（ｎ：自然数）のとき、 （ｒ sinψ−Ｒ sinθ）／（ｒ cosψ−Ｒ cosθ）＝ tanγ ……（２） また、γ＝π／２＋ｎπ（ｎ：自然数）のとき、 ｒ cosψ−Ｒ cosθ＝０ ……（３） 上述の（１）〜（３）式は、図６に示すように点Ｐが閉
領域Ｒの内部にある場合についても成立する。
〜（３）式が成立する。まず、 α＋θ＝β＋ψ＝γ（ｃｏｎｓｔ） …… （１） さらに、γ≠π／２＋ｎπ（ｎ：自然数）のとき、 （ｒ sinψ−Ｒ sinθ）／（ｒ cosψ−Ｒ cosθ）＝ tanγ ……（２） また、γ＝π／２＋ｎπ（ｎ：自然数）のとき、 ｒ cosψ−Ｒ cosθ＝０ ……（３） 上述の（１）〜（３）式は、図６に示すように点Ｐが閉
領域Ｒの内部にある場合についても成立する。
【００４６】上で説明したように、対象となる物体Ｍの
周りに閉領域Ｒを想定し、その表面での光線を記録する
ことにより、仮想的な視点Ｐでの「見え方」が構築でき
る。ここでは、光線の仰角方向を無視した円筒的な世界
を仮定する。
周りに閉領域Ｒを想定し、その表面での光線を記録する
ことにより、仮想的な視点Ｐでの「見え方」が構築でき
る。ここでは、光線の仰角方向を無視した円筒的な世界
を仮定する。
【００４７】遠隔会議システム１においては、参加者で
ある人物Ａ，Ｂが円筒形のブースＢＴＡ，ＢＴＢに入る
ので、被写体としての人物Ａ，Ｂを物体Ｍ、ブースＢＴ
Ａ，ＢＴＢを閉領域Ｒに対応させることができる。
ある人物Ａ，Ｂが円筒形のブースＢＴＡ，ＢＴＢに入る
ので、被写体としての人物Ａ，Ｂを物体Ｍ、ブースＢＴ
Ａ，ＢＴＢを閉領域Ｒに対応させることができる。
【００４８】図７はブースＢＴｍにおける撮像の状態を
示す図である。図７において、ブースＢＴｍは円筒形で
あるので円周で表されている。ブースＢＴｍ内には、被
写体としての人物Ａが入っている。なお、ブースＢＴｍ
は、ブースＢＴＡ，ＢＴＢにおける撮像装置の部分のみ
を取り出したものと考えればよい。
示す図である。図７において、ブースＢＴｍは円筒形で
あるので円周で表されている。ブースＢＴｍ内には、被
写体としての人物Ａが入っている。なお、ブースＢＴｍ
は、ブースＢＴＡ，ＢＴＢにおける撮像装置の部分のみ
を取り出したものと考えればよい。
【００４９】ブースＢＴｍには、鉛直方向（つまり図７
の紙面に垂直方向）に延びるＣＣＤラインセンサＣＬを
円周上に配置し、鉛直方向の光線を記録する。そして、
ＣＣＤラインセンサＣＬを円周上で回転（公転）させ
る。さらに、ＣＣＤラインセンサＣＬの前方において鉛
直方向に延びるスリットＳＴｍを配置し、スリットＳＴ
ｍによって、ＣＣＤラインセンサＣＬに記録される光線
の方向に指向性を持たせる。そのスリットＳＴｍをＣＣ
ＤラインセンサＣＬを中心として回転（自転）させる。
の紙面に垂直方向）に延びるＣＣＤラインセンサＣＬを
円周上に配置し、鉛直方向の光線を記録する。そして、
ＣＣＤラインセンサＣＬを円周上で回転（公転）させ
る。さらに、ＣＣＤラインセンサＣＬの前方において鉛
直方向に延びるスリットＳＴｍを配置し、スリットＳＴ
ｍによって、ＣＣＤラインセンサＣＬに記録される光線
の方向に指向性を持たせる。そのスリットＳＴｍをＣＣ
ＤラインセンサＣＬを中心として回転（自転）させる。
【００５０】これにより、円周上のすべての位置におい
て、すべての方向に出る光線群を記録することができ
る。このとき、光線群のうちのある位置の且つある方向
（角度）の光線は、１つの走査線（ライン状画像）に対
応する。１つの走査線は、鉛直方向に長さを持ってお
り、その中に画像が記録される。
て、すべての方向に出る光線群を記録することができ
る。このとき、光線群のうちのある位置の且つある方向
（角度）の光線は、１つの走査線（ライン状画像）に対
応する。１つの走査線は、鉛直方向に長さを持ってお
り、その中に画像が記録される。
【００５１】上述のブースＢＴｍの機構を、本明細書に
おいては「衛星型自転公転機構」又は「衛星型機構」と
呼称する。衛星型機構によって、ブースＢＴｍ内のすべ
ての光線が走査線として記録（撮像）される。
おいては「衛星型自転公転機構」又は「衛星型機構」と
呼称する。衛星型機構によって、ブースＢＴｍ内のすべ
ての光線が走査線として記録（撮像）される。
【００５２】次に、衛星型機構によって記録されるすべ
ての走査線から、画像を構成するのに必要な走査線を選
択する方法について説明する。図８は仮想空間ＶＳ１内
における人物Ａ，Ｂの位置関係を示す図、図９は撮像時
における走査線の選択を説明するための図である。
ての走査線から、画像を構成するのに必要な走査線を選
択する方法について説明する。図８は仮想空間ＶＳ１内
における人物Ａ，Ｂの位置関係を示す図、図９は撮像時
における走査線の選択を説明するための図である。
【００５３】先の図１に示すように、実空間では距離を
隔ててブースＢＴＡ，ＢＴＢに入っている人物Ａ，Ｂ
が、仮想空間ＶＳ１内においては図８に示すような位置
関係にある場合について考える。このとき、仮想空間Ｖ
Ｓ１内での位置関係により、各ブースＢＴＡ，ＢＴＢで
画像の構成のために要求される走査線の位置と角度につ
いて考える。
隔ててブースＢＴＡ，ＢＴＢに入っている人物Ａ，Ｂ
が、仮想空間ＶＳ１内においては図８に示すような位置
関係にある場合について考える。このとき、仮想空間Ｖ
Ｓ１内での位置関係により、各ブースＢＴＡ，ＢＴＢで
画像の構成のために要求される走査線の位置と角度につ
いて考える。
【００５４】図９（Ａ）には、人物Ｂから見た人物Ａの
画像を構成するために、ブースＢＴＡのどの位置での且
つどの角度での走査線を選択するかが示されている。こ
の場合は、人物Ｂが見る側つまり観察者であり、人物Ａ
が見られる側つまり被写体である。
画像を構成するために、ブースＢＴＡのどの位置での且
つどの角度での走査線を選択するかが示されている。こ
の場合は、人物Ｂが見る側つまり観察者であり、人物Ａ
が見られる側つまり被写体である。
【００５５】人物Ｂが両眼立体視を行なうためには、左
眼用の走査線と右眼用の走査線をそれぞれ選択する必要
がある。左眼用の走査線は、ブースの円周上において、
人物Ｂの左眼と人物Ａの幅方向の両端を結ぶ線ＮＬＢ，
ＮＬＢの間にある。右眼用の走査線は、ブースの円周上
において、人物Ｂの右眼と人物Ａの幅方向の両端を結ぶ
線ＮＲＢ，ＮＲＢの間にある。その際に、人物Ｂのいず
れかの眼を点Ｐとし、選択する走査線の円周上での位置
を点Ｑとして、上述の（１）〜（３）式を満たすように
（α，θ）を選択すれば良いこととなる。
眼用の走査線と右眼用の走査線をそれぞれ選択する必要
がある。左眼用の走査線は、ブースの円周上において、
人物Ｂの左眼と人物Ａの幅方向の両端を結ぶ線ＮＬＢ，
ＮＬＢの間にある。右眼用の走査線は、ブースの円周上
において、人物Ｂの右眼と人物Ａの幅方向の両端を結ぶ
線ＮＲＢ，ＮＲＢの間にある。その際に、人物Ｂのいず
れかの眼を点Ｐとし、選択する走査線の円周上での位置
を点Ｑとして、上述の（１）〜（３）式を満たすように
（α，θ）を選択すれば良いこととなる。
【００５６】同様に、図９（Ｂ）には、人物Ａから見た
人物Ｂの画像を構成するために、ブースＢＴＢのどの位
置での且つどの角度での走査線を選択するかが示されて
いる。この場合は、人物Ａが観察者であり、人物Ｂが被
写体である。
人物Ｂの画像を構成するために、ブースＢＴＢのどの位
置での且つどの角度での走査線を選択するかが示されて
いる。この場合は、人物Ａが観察者であり、人物Ｂが被
写体である。
【００５７】人物Ａの左眼用の走査線は、ブースの円周
上において、人物Ａの左眼と人物Ｂの幅方向の両端を結
ぶ線ＮＬＡ，ＮＬＡの間にある。右眼用の走査線は、ブ
ースの円周上において、人物Ａの右眼と人物Ｂの幅方向
の両端を結ぶ線ＮＲＡ，ＮＲＡの間にある。その際に、
人物Ａのいずれかの眼を点Ｐとし、選択する走査線の円
周上での位置を点Ｑとして、上述の（１）〜（３）式を
満たすように（α，θ）を選択すれば良いこととなる。
上において、人物Ａの左眼と人物Ｂの幅方向の両端を結
ぶ線ＮＬＡ，ＮＬＡの間にある。右眼用の走査線は、ブ
ースの円周上において、人物Ａの右眼と人物Ｂの幅方向
の両端を結ぶ線ＮＲＡ，ＮＲＡの間にある。その際に、
人物Ａのいずれかの眼を点Ｐとし、選択する走査線の円
周上での位置を点Ｑとして、上述の（１）〜（３）式を
満たすように（α，θ）を選択すれば良いこととなる。
【００５８】次に、走査線の伸縮について説明する。図
１０は走査線の伸縮について説明するための図である。
図１０において、衛星型機構の撮像点をＱ、仮想的な視
点をＰとすると、点Ｑで得られた走査線に対しＲ／γ倍
のスケール変換を行うことによって、点Ｐでの仮想的な
走査線が得られる。但し、鉛直方向のゆがみを生じさせ
ないためには、人物が原点付近に円筒状に集中している
という前提が必要である。
１０は走査線の伸縮について説明するための図である。
図１０において、衛星型機構の撮像点をＱ、仮想的な視
点をＰとすると、点Ｑで得られた走査線に対しＲ／γ倍
のスケール変換を行うことによって、点Ｐでの仮想的な
走査線が得られる。但し、鉛直方向のゆがみを生じさせ
ないためには、人物が原点付近に円筒状に集中している
という前提が必要である。
【００５９】ところで、被写体である人間の形状は実際
に円筒形に近く、観察者である人間の両眼は水平に並ん
でついているので、左右両眼に水平視差をつけて画像を
提示することにより、鉛直方向のゆがみは感じにくい。
したがって、本実施形態における方法を用いることは極
めて合理的である。
に円筒形に近く、観察者である人間の両眼は水平に並ん
でついているので、左右両眼に水平視差をつけて画像を
提示することにより、鉛直方向のゆがみは感じにくい。
したがって、本実施形態における方法を用いることは極
めて合理的である。
【００６０】次に、走査線の再構成について説明する。
遠隔会議システム１においては、参加者は他の相手に
「見られる」と同時に相手を「見る」存在である。つま
り、自分の画像を撮影されるだけではなく、仮想空間内
の相手の画像が提示されなくてはならない。
遠隔会議システム１においては、参加者は他の相手に
「見られる」と同時に相手を「見る」存在である。つま
り、自分の画像を撮影されるだけではなく、仮想空間内
の相手の画像が提示されなくてはならない。
【００６１】上に説明した衛星型機構は、人間への映像
提示としても、同様に用いることができる図１１はブー
スＢＴｐにおける画像表示の状態を示す図である。
提示としても、同様に用いることができる図１１はブー
スＢＴｐにおける画像表示の状態を示す図である。
【００６２】図１１において、ブースＢＴｐ内には観察
者としての人物Ａが入っている。なお、ブースＢＴｐ
は、ブースＢＴＡ，ＢＴＢにおける表示装置の部分のみ
を取り出したものと考えればよい。
者としての人物Ａが入っている。なお、ブースＢＴｐ
は、ブースＢＴＡ，ＢＴＢにおける表示装置の部分のみ
を取り出したものと考えればよい。
【００６３】ブースＢＴｐでは、フルカラーのＬＥＤマ
トリクスＥＸが円筒面上を公転し、円筒状にスクリーン
を形成する。ＬＥＤマトリクスＥＸは、鉛直方向に配列
された多数の列ＬＥＤマトリクスＥＸｃからなる。
トリクスＥＸが円筒面上を公転し、円筒状にスクリーン
を形成する。ＬＥＤマトリクスＥＸは、鉛直方向に配列
された多数の列ＬＥＤマトリクスＥＸｃからなる。
【００６４】人物Ａが位置センサＤＰを取り付けている
場合には、その信号Ｓ１によって人物Ａの両眼の視点位
置が分かるので、それらの視点位置に向かって提示すべ
き画像（光線群）のみをＬＥＤマトリクスＥＸで表示す
る。つまり、この場合には、左眼用の画像と右眼用の画
像の２つの画像を表示すればよい。
場合には、その信号Ｓ１によって人物Ａの両眼の視点位
置が分かるので、それらの視点位置に向かって提示すべ
き画像（光線群）のみをＬＥＤマトリクスＥＸで表示す
る。つまり、この場合には、左眼用の画像と右眼用の画
像の２つの画像を表示すればよい。
【００６５】図１２は左眼用の画像と右眼用の画像を表
示する方法の例を示す図、図１３は図１２に示す方法に
よって画像が見える様子を示す図である。図１２におい
て、ＬＥＤマトリクスＥＸの前方に、ＬＥＤマトリクス
ＥＸの表示面と間隔をあけて、鉛直方向に延びるスリッ
トＳＴｒが設けられている。観察者は、スリットＳＴｒ
のみを通してＬＥＤマトリクスＥＸに表示される画像を
見ることができる。したがって、観察者の左眼ではライ
ン状画像ＣＡＬＬ１が見え、右眼ではライン状画像ＣＡ
ＬＲ１が見える。
示する方法の例を示す図、図１３は図１２に示す方法に
よって画像が見える様子を示す図である。図１２におい
て、ＬＥＤマトリクスＥＸの前方に、ＬＥＤマトリクス
ＥＸの表示面と間隔をあけて、鉛直方向に延びるスリッ
トＳＴｒが設けられている。観察者は、スリットＳＴｒ
のみを通してＬＥＤマトリクスＥＸに表示される画像を
見ることができる。したがって、観察者の左眼ではライ
ン状画像ＣＡＬＬ１が見え、右眼ではライン状画像ＣＡ
ＬＲ１が見える。
【００６６】ＬＥＤマトリクスＥＸ及びスリットＳＴｒ
は互いに一体的に回転移動し、移動に応じてＬＥＤマト
リクスＥＸに表示されるライン状画像ＣＡＬＬ１，ＣＡ
ＬＲ１が変化する。つまり、ライン状画像ＣＡＬＬ１，
ＣＡＬＲ１が水平方向にスキャンされる。図１３に示す
ように、観察者は、スキャンされたライン状画像ＣＡＬ
Ｌ１，ＣＡＬＲ１によって、立体画像を観察することが
できる。
は互いに一体的に回転移動し、移動に応じてＬＥＤマト
リクスＥＸに表示されるライン状画像ＣＡＬＬ１，ＣＡ
ＬＲ１が変化する。つまり、ライン状画像ＣＡＬＬ１，
ＣＡＬＲ１が水平方向にスキャンされる。図１３に示す
ように、観察者は、スキャンされたライン状画像ＣＡＬ
Ｌ１，ＣＡＬＲ１によって、立体画像を観察することが
できる。
【００６７】図１１に戻って、人物Ａが位置センサＤＰ
を取り付けていない場合には、各列ＬＥＤマトリクスＥ
Ｘｃの前方において鉛直方向に延びるスリットＳＴｐを
配置し、スリットＳＴｐによって、列ＬＥＤマトリクス
ＥＸｃから出る光線の方向に指向性を持たせる。そのス
リットＳＴｐを列ＬＥＤマトリクスＥＸｃを中心として
回転（自転）させる。
を取り付けていない場合には、各列ＬＥＤマトリクスＥ
Ｘｃの前方において鉛直方向に延びるスリットＳＴｐを
配置し、スリットＳＴｐによって、列ＬＥＤマトリクス
ＥＸｃから出る光線の方向に指向性を持たせる。そのス
リットＳＴｐを列ＬＥＤマトリクスＥＸｃを中心として
回転（自転）させる。
【００６８】これにより、ブースＢＴｐの中に入ってく
るすべての光線を再現することができる。つまり、円周
上のすべての位置において、すべての方向に対して画像
を提示することができる。但し、ここでは光線の仰角方
向を無視する。
るすべての光線を再現することができる。つまり、円周
上のすべての位置において、すべての方向に対して画像
を提示することができる。但し、ここでは光線の仰角方
向を無視する。
【００６９】したがって、ブースＢＴｐの中にいる観察
者は、ＨＭＤなどを付けることなく立体視を行なうこと
ができる。但し、ＬＥＤマトリクスＥＸの回転軌道上の
すべての位置及びすべての方向に映像を提示するため
に、情報量が多くなる。
者は、ＨＭＤなどを付けることなく立体視を行なうこと
ができる。但し、ＬＥＤマトリクスＥＸの回転軌道上の
すべての位置及びすべての方向に映像を提示するため
に、情報量が多くなる。
【００７０】図１４は表示時における走査線の選択を説
明するための図である。図１４（Ａ）には、図９（Ａ）
で選択した走査線をブースＢＴＢにおいて提示し、人物
Ａの画像を人物Ｂに提示するために、ブースＢＴＡのブ
ースのどの位置で且つどの角度で提示すればよいかが示
されている。
明するための図である。図１４（Ａ）には、図９（Ａ）
で選択した走査線をブースＢＴＢにおいて提示し、人物
Ａの画像を人物Ｂに提示するために、ブースＢＴＡのブ
ースのどの位置で且つどの角度で提示すればよいかが示
されている。
【００７１】人物Ｂが両眼立体視を行なうためには、左
眼用の画像と右眼用の画像をそれぞれ提示する必要があ
る。左眼用の画像は、ブースの円周上において、人物Ｂ
の左眼と人物Ａの幅方向の両端を結ぶ線ＮＬＢ，ＮＬＢ
の間に提示される。右眼用の画像は、ブースの円周上に
おいて、人物Ｂの右眼と人物Ａの幅方向の両端を結ぶ線
ＮＲＢ，ＮＲＢの間に提示される。
眼用の画像と右眼用の画像をそれぞれ提示する必要があ
る。左眼用の画像は、ブースの円周上において、人物Ｂ
の左眼と人物Ａの幅方向の両端を結ぶ線ＮＬＢ，ＮＬＢ
の間に提示される。右眼用の画像は、ブースの円周上に
おいて、人物Ｂの右眼と人物Ａの幅方向の両端を結ぶ線
ＮＲＢ，ＮＲＢの間に提示される。
【００７２】図１４（Ｂ）には、図９（Ｂ）で選択した
走査線をブースＢＴＡにおいて提示し、人物Ｂの画像を
人物Ａに提示するために、ブースＢＴＡのブースのどの
位置で且つどの角度で提示すればよいかが示されてい
る。
走査線をブースＢＴＡにおいて提示し、人物Ｂの画像を
人物Ａに提示するために、ブースＢＴＡのブースのどの
位置で且つどの角度で提示すればよいかが示されてい
る。
【００７３】人物Ａが両眼立体視を行なうために、左眼
用の画像は、ブースの円周上において、人物Ａの左眼と
人物Ｂの幅方向の両端を結ぶ線ＮＬＡ，ＮＬＡの間に提
示される。右眼用の画像は、ブースの円周上において、
人物Ａの右眼と人物Ｂの幅方向の両端を結ぶ線ＮＲＡ，
ＮＲＡの間に提示される。
用の画像は、ブースの円周上において、人物Ａの左眼と
人物Ｂの幅方向の両端を結ぶ線ＮＬＡ，ＮＬＡの間に提
示される。右眼用の画像は、ブースの円周上において、
人物Ａの右眼と人物Ｂの幅方向の両端を結ぶ線ＮＲＡ，
ＮＲＡの間に提示される。
【００７４】今までの説明は、仮想空間ＶＳ内に、２つ
のブースＢＴＡ，ＢＴＢに入った２人の人物Ａ，Ｂが配
置された場合を前提としたものである。次に、仮想空間
ＶＳに３人以上の人物と仮想物体が配置された場合を考
える。
のブースＢＴＡ，ＢＴＢに入った２人の人物Ａ，Ｂが配
置された場合を前提としたものである。次に、仮想空間
ＶＳに３人以上の人物と仮想物体が配置された場合を考
える。
【００７５】仮想空間ＶＳに、ｎ個のブースに入ったｎ
人が配置された場合では、ｎ人のうちの１人が残りの
（ｎ−１）人に見られる、という関係になるので、ｎ
（ｎ−１）通りについて上述と同様のことを考えればよ
い。
人が配置された場合では、ｎ人のうちの１人が残りの
（ｎ−１）人に見られる、という関係になるので、ｎ
（ｎ−１）通りについて上述と同様のことを考えればよ
い。
【００７６】つまり、観察者と被写体との組み合わせ
が、２人のみの場合では２通りであったが、ｎ人の場合
にはｎ（ｎ−１）通りに増加するので、ｎ（ｎ−１）通
りについて、観察者と被写体との組み合わせを考えれば
よいのである。
が、２人のみの場合では２通りであったが、ｎ人の場合
にはｎ（ｎ−１）通りに増加するので、ｎ（ｎ−１）通
りについて、観察者と被写体との組み合わせを考えれば
よいのである。
【００７７】図１５に示すように、仮想空間ＶＳ２内に
５人の人物Ａ〜Ｅが配置された場合には、２０通りの組
み合わせについて考えればよい。また、仮想空間ＶＳ２
には、人物のみではなく、仮想物体ａ，ｂを配置するこ
とも可能である。但し、ＩＢＲの性質上、人物の正確な
幾何的形状は分からないので、仮想空間内での遮蔽関係
は次のようにして考える。
５人の人物Ａ〜Ｅが配置された場合には、２０通りの組
み合わせについて考えればよい。また、仮想空間ＶＳ２
には、人物のみではなく、仮想物体ａ，ｂを配置するこ
とも可能である。但し、ＩＢＲの性質上、人物の正確な
幾何的形状は分からないので、仮想空間内での遮蔽関係
は次のようにして考える。
【００７８】すなわち、位置センサＤＰによる頭部位置
の計測によってブース内の人物の位置は分かっているの
で、人物の周りにそれぞれ円柱領域ＧＺを想定し、円柱
領域ＧＺ内に人物が存在すると仮定しておく。こうする
ことで、人物の相互間、又は人物と仮想物体との遮蔽関
係を、円柱領域ＧＺとの遮蔽関係に置き換えて考えるこ
とができる。これについて、内山普二他著“幾何形状モ
デルを持たない多眼実写データの仮想環境に置ける配置
と操作”（日本バーチャルリアリティ学会大会論文集Vo
l.1,169/172-1996）を参照することができる。
の計測によってブース内の人物の位置は分かっているの
で、人物の周りにそれぞれ円柱領域ＧＺを想定し、円柱
領域ＧＺ内に人物が存在すると仮定しておく。こうする
ことで、人物の相互間、又は人物と仮想物体との遮蔽関
係を、円柱領域ＧＺとの遮蔽関係に置き換えて考えるこ
とができる。これについて、内山普二他著“幾何形状モ
デルを持たない多眼実写データの仮想環境に置ける配置
と操作”（日本バーチャルリアリティ学会大会論文集Vo
l.1,169/172-1996）を参照することができる。
【００７９】しかし、図１５において、円柱領域ＧＺが
互いに重なった人物Ｃと人物Ｄの間、及び人物Ｅと仮想
物体ｂとの間のそれぞれの遮蔽関係を完全には記述する
ことはできない。
互いに重なった人物Ｃと人物Ｄの間、及び人物Ｅと仮想
物体ｂとの間のそれぞれの遮蔽関係を完全には記述する
ことはできない。
【００８０】遠隔会議システム１においては、参加者同
士がそれほど密着するとは考えにくい。また、人物と近
接している仮想物体を提示するには、Ｍｅｄｉａ3 など
のオプジェクト指向型提示デバイスを用いることが考え
られる。これについて、稲見昌彦他著“物体近傍映像提
示ディスプレイ「バーチャルホログラム」の提案”（日
本バーチャルリアリティ学会大会論文集Vol.1,139/142-
1996）を参照することができる。
士がそれほど密着するとは考えにくい。また、人物と近
接している仮想物体を提示するには、Ｍｅｄｉａ3 など
のオプジェクト指向型提示デバイスを用いることが考え
られる。これについて、稲見昌彦他著“物体近傍映像提
示ディスプレイ「バーチャルホログラム」の提案”（日
本バーチャルリアリティ学会大会論文集Vol.1,139/142-
1996）を参照することができる。
【００８１】なお、円柱領域ＧＺは、ブースの領域と同
じである必要はなく、より範囲を狭くとることによって
遮蔽の記述精度を上げることができる。上の説明では、
撮像系としてＣＣＤラインセンサＣＬの前方で機械的な
スリットＳＴｍを回転させてスキャンするという手法を
述べたが、機械的なスキャンの代わりに電子的なスキャ
ンを行うことができる。
じである必要はなく、より範囲を狭くとることによって
遮蔽の記述精度を上げることができる。上の説明では、
撮像系としてＣＣＤラインセンサＣＬの前方で機械的な
スリットＳＴｍを回転させてスキャンするという手法を
述べたが、機械的なスキャンの代わりに電子的なスキャ
ンを行うことができる。
【００８２】図１６はエリアセンサＣＥを用いたカメラ
ＣＭにより走査線に対応したライン状の画像を検出する
様子を示す図である。すなわち、２次元ＣＣＤからなる
エリアセンサＣＥを用いたカメラＣＭを使用し、エリア
センサＣＥを鉛直方向に走査しながら水平方向に副走査
する。鉛直方向に走査することによって、多数の走査線
（ライン状画像）ＣＡＬが得られる。多数の走査線の中
から、必要な走査線ＣＡＬ、つまり特定の方向（角度）
の走査線ＣＡＬを選択するには、副走査方向の番号を指
定すればよい。選択された走査線ＣＡＬは、上述の衛星
型機構によって得られる特定の光線に対応する。
ＣＭにより走査線に対応したライン状の画像を検出する
様子を示す図である。すなわち、２次元ＣＣＤからなる
エリアセンサＣＥを用いたカメラＣＭを使用し、エリア
センサＣＥを鉛直方向に走査しながら水平方向に副走査
する。鉛直方向に走査することによって、多数の走査線
（ライン状画像）ＣＡＬが得られる。多数の走査線の中
から、必要な走査線ＣＡＬ、つまり特定の方向（角度）
の走査線ＣＡＬを選択するには、副走査方向の番号を指
定すればよい。選択された走査線ＣＡＬは、上述の衛星
型機構によって得られる特定の光線に対応する。
【００８３】図１７は遠隔会議システム１における撮像
及び表示の方法を説明するための図である。図１７にお
いて、被写体（例えば人物Ａ）上の１つの点Ａ１から仮
想視点Ｐへ向かう光線は、位置Ｂ１にあるカメラＣＭに
よって、Ｃ１で示される走査線で受光される。同様に、
点Ａ２から仮想視点Ｐへ向かう光線は、位置Ｂ２にある
カメラＣＭによって、Ｃ２で示される走査線で受光され
る。そして、カメラＣＭが位置Ｂ１にある場合にはＣ１
の走査線を選択し、カメラＣＭが位置Ｂ２にある場合に
はＣ２の走査線を選択する。
及び表示の方法を説明するための図である。図１７にお
いて、被写体（例えば人物Ａ）上の１つの点Ａ１から仮
想視点Ｐへ向かう光線は、位置Ｂ１にあるカメラＣＭに
よって、Ｃ１で示される走査線で受光される。同様に、
点Ａ２から仮想視点Ｐへ向かう光線は、位置Ｂ２にある
カメラＣＭによって、Ｃ２で示される走査線で受光され
る。そして、カメラＣＭが位置Ｂ１にある場合にはＣ１
の走査線を選択し、カメラＣＭが位置Ｂ２にある場合に
はＣ２の走査線を選択する。
【００８４】これら光線の受光及び走査線の選択は、被
写体上のすべての点、つまり位置Ｂ１からＢ２に至る間
のすべての画素について行われる。画像の表示に当たっ
て、位置Ｂ１’において、Ａ１’からＢ１’に向かう方
向に、Ｃ１の走査線で得られた画像を表示する。位置Ｂ
２’において、Ａ２’からＢ２’に向かう方向に、Ｃ２
の走査線で得られた画像を表示する。画像の表示は、位
置Ｂ１’からＢ２’に至る間のすべての画素について行
われる。
写体上のすべての点、つまり位置Ｂ１からＢ２に至る間
のすべての画素について行われる。画像の表示に当たっ
て、位置Ｂ１’において、Ａ１’からＢ１’に向かう方
向に、Ｃ１の走査線で得られた画像を表示する。位置Ｂ
２’において、Ａ２’からＢ２’に向かう方向に、Ｃ２
の走査線で得られた画像を表示する。画像の表示は、位
置Ｂ１’からＢ２’に至る間のすべての画素について行
われる。
【００８５】ところで、エリアセンサＣＥ上において、
走査線ＣＡＬに対応した画像信号を読み出すことによっ
て、各光線の撮像信号が得られる。走査線ＣＡＬ単位で
撮像信号を取り出すことは容易であり、簡単なハードウ
エアを用いてリアルタイムで行うことができる。この場
合の走査線ＣＡＬ単位で撮像信号を取り出す手段が本発
明における走査手段に相当する。
走査線ＣＡＬに対応した画像信号を読み出すことによっ
て、各光線の撮像信号が得られる。走査線ＣＡＬ単位で
撮像信号を取り出すことは容易であり、簡単なハードウ
エアを用いてリアルタイムで行うことができる。この場
合の走査線ＣＡＬ単位で撮像信号を取り出す手段が本発
明における走査手段に相当する。
【００８６】なお、人間の姿は鉛直方向に長いので、カ
メラＣＭの画面を縦向きに設定することによって、人物
像を画角いっぱいに撮影することができる。また、多数
のカメラを円周上に固定するのではなく、１つ又は複数
のカメラを円周上を回転させることにより、少ない個数
のカメラで高い空間解像度を得ることが可能となる。
メラＣＭの画面を縦向きに設定することによって、人物
像を画角いっぱいに撮影することができる。また、多数
のカメラを円周上に固定するのではなく、１つ又は複数
のカメラを円周上を回転させることにより、少ない個数
のカメラで高い空間解像度を得ることが可能となる。
【００８７】図１８はインタレース表示を行った場合を
説明するための図である。図１８において、相互に同期
をとったカメラＣＭが円周上を矢印の向きに回る場合を
考える。最初にカメラＣＭの電子シャッターがＡの位置
で切られたとすると、仮想カメラＶＣの映像ＦＶは、そ
のＡのラインのみが更新される。次にカメラの電子シャ
ッターがＢの位置で切られると、映像ＦＶはＢのライン
のみが更新される。次には映像ＦＶのＣのラインのみが
更新され、以降において同様にＡのラインから更新が繰
り返される。
説明するための図である。図１８において、相互に同期
をとったカメラＣＭが円周上を矢印の向きに回る場合を
考える。最初にカメラＣＭの電子シャッターがＡの位置
で切られたとすると、仮想カメラＶＣの映像ＦＶは、そ
のＡのラインのみが更新される。次にカメラの電子シャ
ッターがＢの位置で切られると、映像ＦＶはＢのライン
のみが更新される。次には映像ＦＶのＣのラインのみが
更新され、以降において同様にＡのラインから更新が繰
り返される。
【００８８】このように映像ＦＶが更新されるので、カ
メラの位置を固定した場合と比較して、３倍の空間解像
度を持つ動画像を得ることができる。一方で、あるライ
ンに注目したときの時間の解像度は３分の１に減少す
る。しかし、画像全体のうち、３分の１の部分は本来の
画像更新レートで切り替わるため、画像のちらつきやぎ
こちなさは抑えられる。
メラの位置を固定した場合と比較して、３倍の空間解像
度を持つ動画像を得ることができる。一方で、あるライ
ンに注目したときの時間の解像度は３分の１に減少す
る。しかし、画像全体のうち、３分の１の部分は本来の
画像更新レートで切り替わるため、画像のちらつきやぎ
こちなさは抑えられる。
【００８９】図１９は遠隔会議システム１における画像
生成を全体的に示す図である。図１９に示すように、回
転（公転）するカメラＣＭによって人物Ａを撮像し、多
数のライン状の走査線ＣＡＬの画像を得る。その中か
ら、観察者の視点に応じた走査線ＣＡＬを選択し、視点
の位置に応じて伸縮の処理を行う。観察者毎に得られた
走査線ＣＡＬを、回転（公転）するＬＥＤマトリクスＥ
Ｘにより表示する。
生成を全体的に示す図である。図１９に示すように、回
転（公転）するカメラＣＭによって人物Ａを撮像し、多
数のライン状の走査線ＣＡＬの画像を得る。その中か
ら、観察者の視点に応じた走査線ＣＡＬを選択し、視点
の位置に応じて伸縮の処理を行う。観察者毎に得られた
走査線ＣＡＬを、回転（公転）するＬＥＤマトリクスＥ
Ｘにより表示する。
【００９０】図２０は他の実施形態の遠隔会議システム
１ａのブロック図である。図２０に示す遠隔会議システ
ム１ａでは、図１に示す遠隔会議システム１のホスト１
１に代えて、ホスト１１をダウンサイジングした位置管
理部１１ａ，１１ｂが設けられている。
１ａのブロック図である。図２０に示す遠隔会議システ
ム１ａでは、図１に示す遠隔会議システム１のホスト１
１に代えて、ホスト１１をダウンサイジングした位置管
理部１１ａ，１１ｂが設けられている。
【００９１】位置管理部１１ａ，１１ｂは、各人物Ａ，
Ｂの仮想空間ＶＳ上における絶対位置の情報をそれぞれ
独立に保有する。人物Ａ，Ｂが、トレッドミルＣＴ又は
ジョイスティックの操作によって仮想空間ＶＳ内を移動
すると、位置の情報が更新される。位置管理部１１ａ，
１１ｂの間において、位置の情報を交換し合い、それら
の情報を元に相対座標を計算し、得られた相対座標を他
方の選択部１２ａ，１２ｂに送る。 選択部１２ａ，１
２ｂにおいては、送られてきた相対座標を元に、相手が
必要とするライン状画像ＣＡＬを選択する。
Ｂの仮想空間ＶＳ上における絶対位置の情報をそれぞれ
独立に保有する。人物Ａ，Ｂが、トレッドミルＣＴ又は
ジョイスティックの操作によって仮想空間ＶＳ内を移動
すると、位置の情報が更新される。位置管理部１１ａ，
１１ｂの間において、位置の情報を交換し合い、それら
の情報を元に相対座標を計算し、得られた相対座標を他
方の選択部１２ａ，１２ｂに送る。 選択部１２ａ，１
２ｂにおいては、送られてきた相対座標を元に、相手が
必要とするライン状画像ＣＡＬを選択する。
【００９２】次に、本発明の画像生成方法を適用した他
の実施形態について説明する。図２１は本発明に係る３
次元インタラクティブテレビ２のブロック図、図２２は
３次元インタラクティブテレビ２の概念を示す図であ
る。
の実施形態について説明する。図２１は本発明に係る３
次元インタラクティブテレビ２のブロック図、図２２は
３次元インタラクティブテレビ２の概念を示す図であ
る。
【００９３】図２１に示すように、３次元インタラクテ
ィブテレビ２は、上述の遠隔会議システム１に多数の傍
観者を加えたものと考えることができる。すなわち、３
次元インタラクティブテレビ２においては、テレビジョ
ン装置ＳＴＶの画面ＨＧが仮想空間ＶＳ３であり、画面
ＨＧに表示する画像を構成するために、選択部１４ａ，
１４ｂ及び画像構成部１５が設けられる。
ィブテレビ２は、上述の遠隔会議システム１に多数の傍
観者を加えたものと考えることができる。すなわち、３
次元インタラクティブテレビ２においては、テレビジョ
ン装置ＳＴＶの画面ＨＧが仮想空間ＶＳ３であり、画面
ＨＧに表示する画像を構成するために、選択部１４ａ，
１４ｂ及び画像構成部１５が設けられる。
【００９４】図２２をも参照して、番組の複数の出演者
Ｃ，Ｄは、遠隔会議システム１と同様な装置によって仮
想空間ＶＳ３である画面ＨＧ上で共演する。つまり、出
演者Ｃ，Ｄは互いに遠隔地に離れていても、ブースＢＴ
Ｃ，ＢＴＤに入ることにより、互いにすぐ側にいるよう
な感覚で共演が可能である。
Ｃ，Ｄは、遠隔会議システム１と同様な装置によって仮
想空間ＶＳ３である画面ＨＧ上で共演する。つまり、出
演者Ｃ，Ｄは互いに遠隔地に離れていても、ブースＢＴ
Ｃ，ＢＴＤに入ることにより、互いにすぐ側にいるよう
な感覚で共演が可能である。
【００９５】傍観者である番組の視聴者ＡＵＤは、ブー
スに入る必要はなく、テレビジョン装置ＳＴＶの画面Ｈ
Ｇを見ながらコントローラＲＣＴを操作する。コントロ
ーラＲＣＴは、出演者Ｃ，Ｄに対する視聴者ＡＵＤの視
点位置を可変するためのものであり、出演者Ｃ，Ｄに対
して任意の視点位置を設定することが可能である。視聴
者ＡＵＤの視点位置の情報ＤＴＳはホスト１１Ａに保有
される。視聴者ＡＵＤは、コントローラＲＣＴから信号
Ｓ１１をテレビ局ＢＣＳに送ることによって、自分の見
たい視点位置の画像を要求することができる。
スに入る必要はなく、テレビジョン装置ＳＴＶの画面Ｈ
Ｇを見ながらコントローラＲＣＴを操作する。コントロ
ーラＲＣＴは、出演者Ｃ，Ｄに対する視聴者ＡＵＤの視
点位置を可変するためのものであり、出演者Ｃ，Ｄに対
して任意の視点位置を設定することが可能である。視聴
者ＡＵＤの視点位置の情報ＤＴＳはホスト１１Ａに保有
される。視聴者ＡＵＤは、コントローラＲＣＴから信号
Ｓ１１をテレビ局ＢＣＳに送ることによって、自分の見
たい視点位置の画像を要求することができる。
【００９６】テレビジョン装置ＳＴＶでは、テレビ局Ｂ
ＣＳから送られる画像を立体表示する。画像の立体表示
に当たっては、公知の種々の方式が用いられる。例え
ば、視聴者ＡＵＤは液晶シャッタの付いた眼鏡を着用
し、テレビジョン装置ＳＴＶの画面ＨＧには左眼用の画
像と右眼用の画像とを交互に表示する。画面ＨＧでの画
像の切り替えに同期して、眼鏡の左右の液晶シャッタの
オンオフを切り替える。また、画面ＨＧの前面にレンチ
キュラレンズを適用し、各レンチキュラレンズの背後で
左眼用及び右眼用のスリット状の圧縮画像をそれぞれ表
示する。３次元インタラクティブテレビ２においては、
複数の視聴者ＡＵＤが、それぞれのコントローラＲＣＴ
によって好みの視点位置の画像を要求することができ
る。出演者が３人以上であっても同様である。また、出
演者と背景画像とを重ねることも可能である。
ＣＳから送られる画像を立体表示する。画像の立体表示
に当たっては、公知の種々の方式が用いられる。例え
ば、視聴者ＡＵＤは液晶シャッタの付いた眼鏡を着用
し、テレビジョン装置ＳＴＶの画面ＨＧには左眼用の画
像と右眼用の画像とを交互に表示する。画面ＨＧでの画
像の切り替えに同期して、眼鏡の左右の液晶シャッタの
オンオフを切り替える。また、画面ＨＧの前面にレンチ
キュラレンズを適用し、各レンチキュラレンズの背後で
左眼用及び右眼用のスリット状の圧縮画像をそれぞれ表
示する。３次元インタラクティブテレビ２においては、
複数の視聴者ＡＵＤが、それぞれのコントローラＲＣＴ
によって好みの視点位置の画像を要求することができ
る。出演者が３人以上であっても同様である。また、出
演者と背景画像とを重ねることも可能である。
【００９７】図２３は本発明に係る任意視点ミラー３の
ブロック図である。図２３において、任意視点ミラー３
では、観察者と被写体とが同一人物である。つまり、人
物Ｅが１つのブースＢＴＥに入り、任意の仮想視点から
自分の画像を見ることができる。ホスト１１Ｂには、見
られる自分と見る自分との位置関係の情報ＤＴＴが保有
されている。
ブロック図である。図２３において、任意視点ミラー３
では、観察者と被写体とが同一人物である。つまり、人
物Ｅが１つのブースＢＴＥに入り、任意の仮想視点から
自分の画像を見ることができる。ホスト１１Ｂには、見
られる自分と見る自分との位置関係の情報ＤＴＴが保有
されている。
【００９８】上述の実施形態において、被写体のライン
状画像ＣＡＬを観察者のいるブースに送り、そこで観察
者のための画像を構成して表示するが、これとともに、
被写体から発する音声及び被写体の周囲の音声が観察者
のブースに送られる。送られた音声は、観察者のブース
において立体音響装置により再生される。
状画像ＣＡＬを観察者のいるブースに送り、そこで観察
者のための画像を構成して表示するが、これとともに、
被写体から発する音声及び被写体の周囲の音声が観察者
のブースに送られる。送られた音声は、観察者のブース
において立体音響装置により再生される。
【００９９】上述の実施形態において、カメラＣＭによ
る被写体の撮像、及びＬＥＤマトリクスＥＸによる観察
者への画像の提示は、円周上の全区間でなくてもよい。
例えば、人物の前方の１８０度の区間又は１２０度の区
間などであってもよい。
る被写体の撮像、及びＬＥＤマトリクスＥＸによる観察
者への画像の提示は、円周上の全区間でなくてもよい。
例えば、人物の前方の１８０度の区間又は１２０度の区
間などであってもよい。
【０１００】上述の実施形態において、ＣＣＤラインセ
ンサＣＬ及びエリアセンサＣＥに代えて、他の撮像デバ
イスを用いることも可能である。ＬＥＤマトリクスＥＸ
に代えて、他の表示デバイスを用いることも可能であ
る。その他、ブースＢＴＡ，ＢＴＢの構造、形状、寸
法、遠隔会議システム１、３次元インタラクティブテレ
ビ２、任意視点ミラー３の全体又は各部の構成、処理内
容、操作内容などは、本発明の主旨に沿って適宜変更す
ることができる。
ンサＣＬ及びエリアセンサＣＥに代えて、他の撮像デバ
イスを用いることも可能である。ＬＥＤマトリクスＥＸ
に代えて、他の表示デバイスを用いることも可能であ
る。その他、ブースＢＴＡ，ＢＴＢの構造、形状、寸
法、遠隔会議システム１、３次元インタラクティブテレ
ビ２、任意視点ミラー３の全体又は各部の構成、処理内
容、操作内容などは、本発明の主旨に沿って適宜変更す
ることができる。
【０１０１】
【発明の効果】請求項１乃至請求項１０の発明による
と、遠隔地に離れている人間同士があたかも一堂に介し
ているかのようなリアリティを得ることが可能である。
と、遠隔地に離れている人間同士があたかも一堂に介し
ているかのようなリアリティを得ることが可能である。
【０１０２】請求項４の発明によると、被写体からすべ
ての方向に出る光線群を記録することができる。請求項
５の発明によると、すべての方向に光線を提示すること
ができる。
ての方向に出る光線群を記録することができる。請求項
５の発明によると、すべての方向に光線を提示すること
ができる。
【０１０３】請求項７及び請求項８の発明によると、走
査線単位で撮像信号を取り出すことは容易であるので、
簡単なハードウエアを用いてリアルタイムで撮像を行う
ことができる。また、人間の姿は鉛直方向に長いので、
ＣＣＤカメラの画面を縦向きに設定することによって、
人物像を画角いっぱいに撮影することができる。
査線単位で撮像信号を取り出すことは容易であるので、
簡単なハードウエアを用いてリアルタイムで撮像を行う
ことができる。また、人間の姿は鉛直方向に長いので、
ＣＣＤカメラの画面を縦向きに設定することによって、
人物像を画角いっぱいに撮影することができる。
【０１０４】請求項１０の発明によると、必要な撮像信
号のみが選択されるので、情報量が低減され、撮像信号
を遠隔地へリアルタイムで送信することが容易である。
号のみが選択されるので、情報量が低減され、撮像信号
を遠隔地へリアルタイムで送信することが容易である。
【図１】本発明に係る遠隔会議システムのブロック図で
ある。
ある。
【図２】遠隔会議システムによる仮想空間における会議
の様子を示す図である。
の様子を示す図である。
【図３】ブースの構成を示す図である。
【図４】一般的な３次元空間を説明するための図であ
る。
る。
【図５】２次元平面での１点を通る光線群を説明するた
めの図である。
めの図である。
【図６】２次元平面での１点を通る光線群を説明するた
めの図である。
めの図である。
【図７】ブースにおける撮像の状態を示す図である。
【図８】仮想空間内における人物の位置関係を示す図で
ある。
ある。
【図９】撮像時における走査線の選択を説明するための
図である。
図である。
【図１０】走査線の伸縮について説明するための図であ
る。
る。
【図１１】ブースにおける画像表示の状態を示す図であ
る。
る。
【図１２】左眼用の画像と右眼用の画像を表示する方法
の例を示す図である。
の例を示す図である。
【図１３】図１２に示す方法によって画像が見える様子
を示す図である。
を示す図である。
【図１４】表示時における走査線の選択を説明するため
の図である。
の図である。
【図１５】仮想空間内に５人の人物及び２つの仮想物体
が配置された状態を示す図である。
が配置された状態を示す図である。
【図１６】エリアセンサを用いたカメラにより走査線に
対応したライン状の画像を検出する様子を示す図であ
る。
対応したライン状の画像を検出する様子を示す図であ
る。
【図１７】遠隔会議システムにおける撮像及び表示の方
法を説明するための図である。
法を説明するための図である。
【図１８】インタレース表示を行った場合を説明するた
めの図である。
めの図である。
【図１９】遠隔会議システムにおける画像生成を全体的
に示す図である。
に示す図である。
【図２０】他の実施形態の遠隔会議システムのブロック
図である。
図である。
【図２１】本発明に係る３次元インタラクティブテレビ
のブロック図である。
のブロック図である。
【図２２】３次元インタラクティブテレビの概念を示す
図である。
図である。
【図２３】本発明に係る任意視点ミラーのブロック図で
ある。
ある。
１，１ａ 遠隔会議システム（画像生成装置） ２ ３次元インタラクティブテレビ（画像生成装置） ３ 任意視点ミラー（画像生成装置） １１ ホスト（送信する手段） １１ａ，１１ｂ 位置管理部 １２ａ，１２ｂ 選択部（選択手段） １３ａ，１３ｂ 画像構成部（表示手段） Ａ，Ｂ，Ｃ，Ｄ，Ｅ 人物（被写体、観察者） ＢＴｍ ブース（撮像手段） ＢＴｐ ブース（表示手段） ＣＭ カメラ（撮像手段） ＣＬ ＣＣＤラインセンサ（撮像素子） ＣＥ エリアセンサ（撮像素子） ＳＴｍ スリット ＥＸ ＬＥＤマトリクス（表示手段、表示素子） ＳＴｐ スリット ＣＡＬ 走査線（ライン状画像） Ｐ 点（仮想視点）
───────────────────────────────────────────────────── フロントページの続き (72)発明者 國田 豊 神奈川県横浜市中区末吉町２−25−１ ナ イスアーバン701号室 (72)発明者 稲見 昌彦 東京都葛飾区水元３−13−16
Claims (10)
- 【請求項１】被写体の各点から射出される光線群のう
ち、仮想的に設定され且つ位置が任意に設定され得る視
点である仮想視点に向かう光線を、前記被写体を囲む仮
想的な閉曲面上の複数位置において撮像手段により検出
して撮像信号に変換し、 前記撮像信号を、前記仮想視点とは異なる位置に存在す
る観察者の視点に向けて画像を表示する表示手段に送
り、 前記表示手段により、前記観察者の視点に対し前記仮想
視点と前記被写体との位置関係に対応した位置に仮想的
に配置された被写体の各点から前記観察者の視点に向か
って光線が射出されるように、前記撮像信号に基づいて
画像を表示する、 ことを特徴とする仮想空間における画像生成方法。 - 【請求項２】被写体の各点から射出される光線群のう
ち、仮想的に設定された視点である仮想視点に向かう光
線を、前記被写体を囲む仮想的な閉曲面上の複数位置に
おいて検出して撮像信号に変換する撮像手段と、 仮想的に設定された被写体の各点から観察者の視点に向
かって光線が射出されるように、前記撮像信号に基づい
て前記光線を再生して画像を表示する表示手段と、 前記撮像信号をリアルタイムで前記表示手段に送信する
手段と、 を有することを特徴とする仮想空間における画像生成装
置。 - 【請求項３】前記撮像手段は、互いに異なる複数の方向
に向かう光線をその方向毎に検出し、 前記表示手段は、前記撮像手段によって検出された方向
に応じた方向に前記光線を再生する、 請求項２記載の仮想空間における画像生成装置。 - 【請求項４】前記撮像手段は、撮像素子と、前記撮像素
子の周囲を回転するスリットとを備える、 請求項３記載の仮想空間における画像生成装置。 - 【請求項５】前記表示手段は、表示素子と、前記表示素
子の周囲を回転するスリットとを備える、 請求項３記載の仮想空間における画像生成装置。 - 【請求項６】前記撮像手段は、前記仮想視点に向かう光
線を、前記観察者が視差を感じる方向と直角の方向に延
びるライン状に検出し、 前記表示手段は、前記撮像手段で検出されたライン状の
光線を再生する、 請求項２又は請求項３記載の仮想空間における画像生成
装置。 - 【請求項７】前記撮像手段は、複数の走査線を有するＣ
ＣＤカメラであり、前記走査線が略鉛直方向となるよう
に設置されている、 請求項６記載の仮想空間における画像生成装置。 - 【請求項８】前記撮像手段は、前記撮像信号を走査線単
位で前記表示手段に向けて順次転送する、 請求項７記載の仮想空間における画像生成装置。 - 【請求項９】被写体から射出される光線群のうち、仮想
的に設定された視点である仮想視点に向かう光線を、前
記被写体を囲む仮想的な閉曲面上の複数位置において検
出して撮像信号に変換する撮像装置であって、 エリアセンサ、及び、前記仮想視点の観察者が視差を感
じる方向と直角の方向に前記エリアセンサを走査し、そ
の走査線に対応したライン状の前記光線を検出して前記
撮像信号に変換するための走査手段からなる撮像手段
と、 前記撮像手段を、前記閉曲面上における前記仮想視点の
観察者が視差を感じる方向に移動させる移動手段と、 を有することを特徴とする撮像装置。 - 【請求項１０】前記エリアセンサを走査する複数の走査
線によって得られる複数のライン状の撮像信号の中か
ら、複数の仮想視点にそれぞれ対応するライン状の撮像
信号を選択する選択手段を有する、 請求項９記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13316097A JP3817020B2 (ja) | 1997-05-23 | 1997-05-23 | 仮想空間における画像生成方法及び装置並びに撮像装置 |
| US09/083,174 US6836286B1 (en) | 1997-05-23 | 1998-05-22 | Method and apparatus for producing images in a virtual space, and image pickup system for use therein |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13316097A JP3817020B2 (ja) | 1997-05-23 | 1997-05-23 | 仮想空間における画像生成方法及び装置並びに撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10327431A true JPH10327431A (ja) | 1998-12-08 |
| JP3817020B2 JP3817020B2 (ja) | 2006-08-30 |
Family
ID=15098103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13316097A Expired - Fee Related JP3817020B2 (ja) | 1997-05-23 | 1997-05-23 | 仮想空間における画像生成方法及び装置並びに撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6836286B1 (ja) |
| JP (1) | JP3817020B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003219389A (ja) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体 |
| US7164441B1 (en) | 1999-09-17 | 2007-01-16 | Fuji Photo Film Co., Ltd. | Video image producing method and apparatus |
| US7657055B2 (en) | 2003-07-31 | 2010-02-02 | Canon Kabushiki Kaisha | Image processing method and image generating apparatus |
| JP2011215701A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | イベント参加支援システムおよびイベント参加支援サーバ |
| US9047793B2 (en) | 2009-10-20 | 2015-06-02 | Sharp Kabushiki Kaisha | Three dimensional video display device |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7043073B1 (en) * | 2001-10-19 | 2006-05-09 | Zebra Imaging, Inc. | Distortion correcting rendering techniques for autostereoscopic displays |
| JP4055201B2 (ja) * | 2002-04-12 | 2008-03-05 | ソニー株式会社 | サービス提供システム、情報処理装置および方法、記録媒体、並びにプログラム |
| CN101420525A (zh) * | 2007-10-26 | 2009-04-29 | 鸿富锦精密工业（深圳）有限公司 | 拍照装置及方法 |
| US8441515B2 (en) * | 2009-09-17 | 2013-05-14 | Sony Corporation | Method and apparatus for minimizing acoustic echo in video conferencing |
| KR20110116525A (ko) * | 2010-04-19 | 2011-10-26 | 엘지전자 주식회사 | 3ｄ 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법 |
| US9183560B2 (en) | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
| US9544543B2 (en) | 2011-02-11 | 2017-01-10 | Tangome, Inc. | Augmenting a video conference |
| US8665307B2 (en) * | 2011-02-11 | 2014-03-04 | Tangome, Inc. | Augmenting a video conference |
| CN103098118B (zh) * | 2011-07-13 | 2015-11-25 | 松下电器产业株式会社 | 描绘装置及方法 |
| US20130311528A1 (en) * | 2012-04-25 | 2013-11-21 | Raanan Liebermann | Communications with a proxy for the departed and other devices and services for communicaiton and presentation in virtual reality |
| BE1019941A3 (nl) * | 2012-06-05 | 2013-02-05 | Tait Technologies Bvba | Inrichting voor de weergave van driedimensionale beelden, systeem voor de creatie van driedimensionale beelden, en werkwijze voor de creatie van driedimensionale beelden. |
| WO2015036003A1 (en) * | 2013-09-14 | 2015-03-19 | Taskin Sakarya | Virtual transportation machine |
| WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
| US10887514B2 (en) * | 2018-12-21 | 2021-01-05 | Fuji Xerox Co., Ltd. | System and method of providing gaze and awareness for ultra wide and 360 cameras |
| EP4219090A1 (en) * | 2022-01-17 | 2023-08-02 | Taskin Sakarya | Telepresence in person to a robot |
| US11954246B2 (en) * | 2022-07-06 | 2024-04-09 | Walter L. Terry | Smart individual motion capture and spatial translation (SIMCAST) system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4400724A (en) * | 1981-06-08 | 1983-08-23 | The United States Of America As Represented By The Secretary Of The Army | Virtual space teleconference system |
| ATE46224T1 (de) * | 1985-07-10 | 1989-09-15 | Technolizenz Ets | Anzeigeeinrichtung zur fuehrung eines bildes um eine drehachse. |
| US5631973A (en) * | 1994-05-05 | 1997-05-20 | Sri International | Method for telemanipulation with telepresence |
| US5650813A (en) * | 1992-11-20 | 1997-07-22 | Picker International, Inc. | Panoramic time delay and integration video camera system |
| US5625408A (en) * | 1993-06-24 | 1997-04-29 | Canon Kabushiki Kaisha | Three-dimensional image recording/reconstructing method and apparatus therefor |
-
1997
- 1997-05-23 JP JP13316097A patent/JP3817020B2/ja not_active Expired - Fee Related
-
1998
- 1998-05-22 US US09/083,174 patent/US6836286B1/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7164441B1 (en) | 1999-09-17 | 2007-01-16 | Fuji Photo Film Co., Ltd. | Video image producing method and apparatus |
| JP2003219389A (ja) * | 2002-01-18 | 2003-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体 |
| US7657055B2 (en) | 2003-07-31 | 2010-02-02 | Canon Kabushiki Kaisha | Image processing method and image generating apparatus |
| US9047793B2 (en) | 2009-10-20 | 2015-06-02 | Sharp Kabushiki Kaisha | Three dimensional video display device |
| JP2011215701A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | イベント参加支援システムおよびイベント参加支援サーバ |
Also Published As
| Publication number | Publication date |
|---|---|
| US6836286B1 (en) | 2004-12-28 |
| JP3817020B2 (ja) | 2006-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3817020B2 (ja) | 仮想空間における画像生成方法及び装置並びに撮像装置 | |
| US6583808B2 (en) | Method and system for stereo videoconferencing | |
| Onoe et al. | Telepresence by real-time view-dependent image generation from omnidirectional video streams | |
| US7224382B2 (en) | Immersive imaging system | |
| JP2883265B2 (ja) | 画像処理装置 | |
| US6816158B1 (en) | Three-dimensional display system | |
| US6774869B2 (en) | Teleportal face-to-face system | |
| JP3787841B2 (ja) | 表示装置および表示方法 | |
| JP2004179702A (ja) | 立体視用映像提供方法及び立体映像表示装置 | |
| US20060203363A1 (en) | Three-dimensional image display system | |
| JP5478357B2 (ja) | 表示装置および表示方法 | |
| JPH09238369A (ja) | ３次元像表示装置 | |
| JP2000310826A (ja) | 仮想環境体験表示装置 | |
| CN210605808U (zh) | 一种三维图像重构系统 | |
| JP2842735B2 (ja) | 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置 | |
| McKay et al. | Membrane-mirror-based autostereoscopic display for tele-operation and teleprescence applications | |
| JP2557406B2 (ja) | ３次元画像表示装置 | |
| US20200252585A1 (en) | Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras | |
| JP2744394B2 (ja) | 臨場感画像表示装置および臨場感画像入出力装置 | |
| JP5719754B2 (ja) | 立体パノラマ画像の撮像と表示を行う装置と方法 | |
| JP2585614B2 (ja) | 立体画像出力装置 | |
| Shimamura et al. | Construction and presentation of a virtual environment using panoramic stereo images of a real scene and computer graphics models | |
| Hill | Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays | |
| JP3139100B2 (ja) | 多地点画像通信端末装置および多地点対話方式 | |
| JP2709772B2 (ja) | 観察者追従型表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20040511 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040831 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060609 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |