JP4141620B2 - 立体物表示システム及びその受信装置 - Google Patents
立体物表示システム及びその受信装置 Download PDFInfo
- Publication number
- JP4141620B2 JP4141620B2 JP2000201935A JP2000201935A JP4141620B2 JP 4141620 B2 JP4141620 B2 JP 4141620B2 JP 2000201935 A JP2000201935 A JP 2000201935A JP 2000201935 A JP2000201935 A JP 2000201935A JP 4141620 B2 JP4141620 B2 JP 4141620B2
- Authority
- JP
- Japan
- Prior art keywords
- axis
- viewpoint
- dimensional object
- receiving
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元物体の立体物を２次元のスクリーン上に投影して表示する立体物表示システム及びその受信装置に関するものであり、特に、視点移動に追従して、運動視差によって生じる立体感を再現する任意視点画像表示システム、任意視点画像表示方法及び任意視点画像表示システムの受信装置に関するものである。
【０００２】
【従来の技術】
視点移動に追従する立体物表示装置として、大画面スクリーンを複数用いた取り囲み型立体表示装置であるＣＡＶＥ（ＴＭ）システム(Cruz-Neira,C.,Sandin, D.J., and DeFanti, T.A., Virtual Reality: ”The Design and Implementation of the CAVE”, in Proceedings of SIGGRAPH ’93 Computer Graphicis Conference, ACM SIGGRAPH, August 1993, pp.135-142)などがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の視点移動に追従する任意視点画像表示装置では、部屋に固定された世界座標系又は表示装置に固定されたスクリーン座標系で３次元物体の位置を定義しているので、立体物の制作者の意図した構図で３次元物体を鑑賞するためには、観察者はある特定の位置で観察する必要がある。
【０００４】
また、画像を完全に再現できる視点移動の範囲が制限されている場合、制作者の意図した視点移動範囲を超えて視点を移動させると、画像を正確に再生できないことがある。
【０００５】
本発明の目的は、観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示する立体物表示システム及びその受信装置を提供することである。
【０００６】
本発明の他の目的は、表示可能な観察者の視点移動範囲が制限されている場合でも、観察者が表示可能な視点の移動範囲を逸脱しにくくする立体物表示システム及びその受信装置を提供することである。
【０００７】
【課題を解決するための手段】
本発明による立体物表示システムは、送信側観察者が用いる撮影カメラの視点位置に応じた送信側実視点座標系の立体物の位置情報を送信する送信装置、該送信装置から受信した前記立体物の位置情報を受信側観察者の視点位置に応じて受信側実視点座標系の前記立体物の位置座標に変換する受信装置、及び変換した前記立体物の位置座標に対応する投影画像を表示スクリーンに表示する表示装置からなる立体物表示システムであって、前記送信装置は、送信側で任意に定義される送信側世界座標系で示された立体物の位置情報及び色情報について、前記撮影カメラの位置である視点位置を原点とし、前記視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする送信側実視点座標系で特定した当該立体物の位置情報及び色情報の信号を生成する手段と、前記撮影カメラの視点位置又は該視点位置から前記立体物に向かう視線方向の不連続状態を検出し、該不連続状態を検出するたびにリセット信号を生成する不連続検出手段と、前記位置情報及び色情報の信号、及び前記リセット信号を前記受信装置に送出する手段とを備え、前記受信装置は、前記表示スクリーンの位置及び範囲と受信側観察者の視点位置との位置関係を特定する受信側世界座標系と、前記受信側観察者の第１視点位置と前記表示スクリーンの中心とを結ぶ直線をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする受信側初期視点座標系と、前記第１視点位置とは異なる任意の受信側観察者の第２視点位置を原点とし、該第２視点位置における任意の視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする前記受信側実視点座標系とを定義する手段と、前記リセット信号を受信する間、前記受信側世界座標系で表される前記第１視点位置の情報を保持し、且つ前記リセット信号を受信するたびに、前記受信側初期視点座標系を改めて規定する視点位置保持手段と、前記リセット信号の受信時に受信した前記位置情報の信号に基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を設定する手段と、前記リセット信号の受信後に前記送信装置から受信した当該立体物の位置情報から前記受信側初期視点座標系で定位させた当該立体物の位置座標と、前記第２視点位置の情報とに基づいて、前記第１視点位置の受信側初期視点座標系で定位させた当該立体物の位置座標を、前記前記第２視点位置の受信側実視点座標系における当該立体物の位置座標に変換する座標変換手段と、前記座標変換した当該立体物の位置座標、前記世界座標系で規定した前記表示スクリーンの位置及び範囲の情報、及び前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の色情報に基づいて、前記受信側実視点座標系における当該立体物を透視投影するための前記表示スクリーンの画素情報を算出し、前記第２視点位置を基準にした当該立体物の投影画像を前記表示スクリーンに表示する透視投影手段とを備えることを特徴とする。
【０００８】
本発明によれば、送信側観察者の視点位置又は視線方向の不連続状態を検出すると、立体物の位置を、その瞬時の受信側観察者の視点位置を原点とする３次元座標系に変換する。その結果、受信側観察者の視点移動に応じて画像を切り替えて、運動視差による立体感を再現する際に、送信側観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示することができる。
【０００９】
また、本発明による立体物表示システムにおいて、前記不連続検出手段が、送信側観察者の視点位置の変化の割合が所定の値を超えた場合に前記不連続状態を検出することを特徴とする。これによって、不連続状態を適切に検出することができる。
【００１０】
また、本発明による立体物表示システムにおいて、前記視点位置保持手段によって保持された視点位置を受信装置の外部からリセットするリセット手段を更に具えることを特徴とする。
【００１１】
また、本発明による立体物表示システムにおいて、前記受信側初期視点座標系における前記視線方向のオフセット量を設定するオフセット量設定手段と、前記オフセット量を前記受信側初期視点座標系における前記立体物のｚ軸の座標値に付加して、前記受信側初期視点座標系における前記立体物の新たな位置座標を設定するオフセット位置設定手段とを更に具えることを特徴とする。
【００１２】
観察者と立体物表示面との間の距離が比較的長く、立体物の制作者が意図した画角に比べて立体物表面を見込む画角が小さい場合、立体物の一部が表示されないいわゆる見切れが生じる。しかしながら、オフセット量を立体物の位置に付加して、立体物の新たな位置を設定することによって、このような不都合がなくなる。
【００１３】
本発明による立体物表示システムの受信装置は、送信側観察者が用いる撮影カメラの視点位置に応じた送信側実視点座標系の立体物の位置情報を送信する送信装置、該送信装置から受信した前記立体物の位置情報を受信側観察者の視点位置に応じて受信側実視点座標系の前記立体物の位置座標に変換する受信装置、及び変換した前記立体物の位置座標に対応する投影画像を表示スクリーンに表示する表示装置からなる立体物表示システムの受信装置であって、前記送信装置が、送信側で任意に定義される送信側世界座標系で示された立体物の位置情報及び色情報について、前記撮影カメラの位置である視点位置を原点とし、前記視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする送信側実視点座標系で特定した当該立体物の位置情報及び色情報の信号を生成する手段と、前記撮影カメラの視点位置又は該視点位置から前記立体物に向かう視線方向の不連続状態を検出し、該不連続状態を検出するたびにリセット信号を生成する不連続検出手段と、前記位置情報及び色情報の信号、及び前記リセット信号を前記受信装置に送出する手段とを備える場合に、前記表示スクリーンの位置及び範囲と受信側観察者の視点位置との位置関係を特定する受信側世界座標系と、前記受信側観察者の第１視点位置と前記表示スクリーンの中心とを結ぶ直線をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする受信側初期視点座標系と、前記第１視点位置とは異なる任意の受信側観察者の第２視点位置を原点とし、該第２視点位置における任意の視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする前記受信側実視点座標系とを定義する手段と、前記リセット信号を受信する間、前記受信側世界座標系で表される前記第１視点位置の情報を保持し、且つ前記リセット信号を受信するたびに、前記受信側初期視点座標系を改めて規定する視点位置保持手段と、前記リセット信号の受信時に受信した前記位置情報の信号に基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を設定する手段と、前記リセット信号の受信後に前記送信装置から受信した当該立体物の位置情報から前記受信側初期視点座標系で定位させた当該立体物の位置座標と、前記第２視点位置の情報とに基づいて、前記第１視点位置の受信側初期視点座標系で定位させた当該立体物の位置座標を、前記前記第２視点位置の受信側実視点座標系における当該立体物の位置座標に変換する座標変換手段と、前記座標変換した当該立体物の位置座標、前記世界座標系で規定した前記表示スクリーンの位置及び範囲の情報、及び前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の色情報に基づいて、前記受信側実視点座標系における当該立体物を透視投影するための前記表示スクリーンの画素情報を算出し、前記第２視点位置を基準にした当該立体物の投影画像を前記表示スクリーンに表示する透視投影手段とを備えることを特徴とする。
【００１４】
本発明によれば、受信側観察者の視点移動に応じて画像を切り替えて、運動視差による立体感を再現する際に、送信側観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示することができる。
【００１５】
また、本発明による立体物表示システムの受信装置において、前記不連続検出手段が、送信側観察者の視点位置の変化の割合が所定の値を超えた場合に前記不連続状態を検出することを特徴とする。これによって、不連続状態を適切に検出することができる。
【００１６】
また、本発明による立体物表示システムの受信装置において、前記視点位置保持手段によって保持された視点位置を受信装置の外部からリセットするリセット手段を更に具えることを特徴とする。
【００１７】
また、本発明による立体物表示システムの受信装置において、前記受信側初期視点座標系における前記視線方向のオフセット量を設定するオフセット量設定手段と、前記オフセット量を前記受信側初期視点座標系における前記立体物のｚ軸の座標値に付加して、前記受信側初期視点座標系における前記立体物の新たな位置座標を設定するオフセット位置設定手段とを更に具えることを特徴とする。
【００１８】
このようにオフセット量を立体物の位置に付加して、立体物の新たな位置を設定することによって、いわゆる見切れが生じなくなる。
【００１９】
また、本発明による立体物表示システムの受信装置において、前記受信装置における視点位置を、右目の視点位置及び左眼の視点位置としてそれぞれ処理することを特徴とする。
【００２０】
本発明によれば、送信側観察者の視点移動に応じて画像を切り替えて、運動視差による立体感を再現する際に、受信側観察者の右眼及び左眼の視点位置に関係なく、制作者の意図した構図で立体物を表示することができる。
【００３０】
【発明の実施の形態】
本発明による立体物表示システム及びその受信装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による立体物表示システムを示す図であり、図２は、その送信側座標系（図２Ａ）及び受信側座標系（図２Ｂ）を説明するための図である。この立体物表示システムは、送信側情報処理ブロック１と、受信側情報処理ブロック２とを具える。
【００３１】
送信側情報処理ブロック１は、視点位置又は視線方向不連続検出部１１と、立体物情報設定部１２と、座標変換部１３とを有する。受信側情報処理ブロック２は、視点位置検出部２１と、視点位置保持部２２と、オフセット設定部２３と、オフセット付加部２４と、座標変換部２５と、スクリーン位置設定部２６と、透視投影部２７と、リセット信号発生スイッチ２８とを有する。
【００３２】
視点位置又は視線方向不連続検出部１１は、制作者が意図した立体物３１を観察する視点位置Ｏ１と視線方向を規定する。実際に立体物３１をカメラ３２で撮影する場合には、カメラ３２の位置及び向きを視点位置又は視線方向不連続検出部１１に設定し、視点位置Ｏ１又は視線方向が不連続となる場合には、視点をリセットする信号ａを視点位置保持部２２に出力するとともに、送信側実視点座標系を規定する信号ｂを座標変換部１３に出力する。
【００３３】
送信側実視点座標系は、視点位置Ｏ１を原点とし、視線方向をｚ軸とし、ｚ軸を含む鉛直な平面上でｚ軸に直交する軸をｙ軸とし、ｙ軸及びｚ軸に直交する軸をx軸とする座標系であり、立体物３１の位置はこの座標系を用いて示される。図２Ａにおいて、送信側実視点座標系のｘ軸、ｙ軸及びｚ軸をそれぞれ、Ｘｖｓ，Ｙｖｓ，Ｚｖｓで表す。
【００３４】
なお、立体物３１の位置をこのような送信側実視点座標系に変換できる場合には、立体物３１を他の表現形式で表現することができ、例えば、後に説明するような、スタジオに固定された送信側世界座標系で示された立体物３１の位置座標、視点位置Ｏ２及び視線方向（ｚ軸）を用いることができる。図２Ａにおいて、送信側世界座標系のｘ軸、ｙ軸及びｚ軸をそれぞれＸｗｓ，Ｙｗｓ及びＺｗｓで表す。
【００３５】
立体物情報設定部１２は、送信側世界座標系によって示された立体物３１の位置情報及び色情報を有する信号ｃを座標変換部１３に出力する。立体物３１の位置情報を、点群、三角パッチ、ＮＵＲＢＳサーフェス(L.A.Piegl. On NURBS:A Survey. IEEE Computer Graphics and Applications, 11(1):55-71, January 1991 参照)等によって表現する。
【００３６】
座標変換部１３は、送信側世界座標系で示された立体物３１の位置情報を送信側実視点座標系に座標変換する。座標変換は、信号ｂによって決定される変換行列Ｍを用いて、式（１）によって行われる。
【数１】
座標変換部１３は、送信側実視点座標系による立体物３１の位置情報及び色情報を有する信号ｄをオフセット付加部２４に出力する。
【００３７】
受信側情報処理ブロック２において、先ず、観察者４１ａ，４１ｂが居る部屋に固定された受信側世界座標系を定義し、スクリーン４２の位置（範囲）及び観察者の視点位置を受信側世界座標で表す。図２Ｂにおいて、受信側世界座標系のｘ軸、ｙ軸、ｚ軸及び原点をそれぞれＸｗ，Ｙｗ，Ｚｗ及びＯ５で表す。
【００３８】
次に、信号ａの受信時すなわち視点位置又は視線方向の不連続状態の検出時における観察者の実視点の位置Ｏ３を原点とし、この原点と表示スクリーン４２の上の一点、例えば、表示スクリーン４２の中心Ｏ６を結ぶ直線をｚ軸とし、ｚ軸を含む鉛直な平面上でｚ軸に直交する軸をｙ軸とし、ｙ軸及びｚ軸に直交する軸をx軸とする受信側初期視点座標系も定義する。図２Ｂにおいて、受信側実視点座標系のｘ軸、ｙ軸及びｚ軸をそれぞれ、Ｘｉ，Ｙｉ，Ｚｉで表す。
【００３９】
さらに、視点位置（実視点位置）Ｏ４を原点とし、視線方向をｚ軸とし、ｚ軸を含む鉛直な平面上でｚ軸に直交する軸をｙ軸とし、ｙ軸及びｚ軸に直交する軸をx軸とする受信側実視点座標系を定義する。図２Ｂにおいて、受信側実視点座標系のｘ軸、ｙ軸及びｚ軸をそれぞれ、Ｘｖ，Ｙｖ，Ｚｖで表す。
【００４０】
なお、図２Ｂにおいて、送信側実視点座標系で示された立体物３１の位置データを受信側初期視点座標系で定位した立体物４３ａと、表示スクリーン４２の面に実視点位置を視点として透視撮影された立体物４３ｂの像とを示す。このように定位された立体物４３ａは、制作者の意図した視点位置すなわち構図で観察者４１ａによって観察される。
【００４１】
視点位置検出部２１は、観察者４１ａの視点位置Ｏ３を計測し、図２Ｂに示すような受信側世界座標系による位置情報を有する信号ｅを逐次視点位置保持部２２に出力する。
【００４２】
視点位置保持部２２は、信号ａを受信してから次の信号ａを受信するまでの間、信号ｅを保持し、受信側初期視点座標系を規定する信号ｆを座標変換部２５に出力する。
【００４３】
オフセット設定部２３は、観察者４１ａが設定したｚ座標Ｚｉのオフセット値の情報を有する信号ｇをオフセット付加部２４に出力する。オフセット付加部２４は、立体物４３ａの位置情報のｚ座標Ｚｉにオフセット値を加算し、加算後の位置情報及び色情報を有する信号ｈを座標変換部２５に出力する。
【００４４】
観察者４１ａと表示スクリーン４２との距離が比較的長く、制作者が意図した画角に比べて表示スクリーン４２を見込む画角が小さい場合でも、受信側初期視点座標系で立体物４３ｂの位置のｚ座標Ｚｉにオフセット値を付加することによって、いわゆる見切れが生じるおそれがなくなる。
【００４５】
座標変換部２５は、立体物４３ａの位置情報を受信側実視点座標系に座標変換する。座標変換は、信号ｅ及びｆによって決定される変換行列Ｍ’を用いて、式（２）によって行われる。
【数２】
座標変換部２５は、立体物４３ａの受信側実視点座標系における位置情報及び色情報を有する信号ｉを透視撮影部２７に出力する。
【００４６】
したがって、信号ａを受信してから次の信号ａを受信するまでの間に視点位置又は視線方向が変化しても、立体物４３ａが受信側初期視点座標系を用いて定位されているので、制作者が意図した視点位置からずれた位置で立体物４３ａを観察することができる。このような視点位置からのずれが、制作者が設計した視点移動可能な範囲内にある場合、受信側実視点位置に応じた画像を再現することができる。
【００４７】
スクリーン位置設定部２６は、図示しない表示装置の画素位置と受信側世界座標系による表示スクリーン４２の位置及び範囲とを規定する信号ｊを出力する。
【００４８】
透視投影部２７は、実視点位置Ｏ４を透視変換の視点とする透視投影によって、立体物４３ａの表示スクリーン４２への投影位置を算出し、それを画素位置に換算する。また、透視投影部２７は、換算した画素位置に立体物４３ａの色情報によって規定される色信号ｋを出力する。これによって、立体物４３ａの像４３ｂが表示スクリーン４２に表示される。
【００４９】
立体物４３ａを表示するには、観察者４１ｂの視点Ｏ４による透視投影変換を用いて、表示スクリーン３２の面上に投影する。このような透視投影変換によって、受信側初期視点座標系で表現された立体物４３ａの位置と、世界座標で表現された表示スクリーン３２の位置（範囲）とを受信側実視点座標系に座標変換した後、それを透視投影することによって、容易に表示画像４３ｂを取得することができる。
【００５０】
なお、表示スクリーン４２が部屋に固定されている場合には、世界座標の原点を表示スクリーン４２の一点にとり、ｚ軸を表示スクリーン４２の面に対する垂線とし、ｘ軸及びｙ軸をそれぞれ表示スクリーン４２の面の垂直方向及び水平方向にそれぞれ定義すると、受信側実視点座標系の代わりに、立体物４３ａの位置及び実視点の位置Ｏ４を世界座標に変換した後、それを透視投影することによって、容易に表示画像を取得することができる。
【００５１】
本実施の形態によれば、観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示することができ、かつ、表示可能な観察者の視点移動範囲が制限されている場合でも、観察者が表示可能な視点の移動範囲を逸脱しにくくなる。
【００５２】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、受信側情報処理ブロック２を２式設け、右眼及び左眼のそれぞれに対応した視点での透視投影画像を表示し、両眼による立体視を提供することもできる。
【００５３】
また、視点位置又は視線方向の不連続状態を検出するに際し、視点位置又は視線方向不連続検出部１１が信号ａを出力する代わりに、視点位置及び視点方向に関する情報を有する信号を、送信側情報処理ブロック１から受信側情報処理ブロック２に連続的に送信し、受信側情報処理ブロック２において、しきい値処理によって視点位置又は視線方向の不連続状態を検出することもできる。この場合、視点位置又は視線方向の変化を監視し、その変化がしきい値を超える場合、視点位置保持部２２は信号ｅを保持する。また、信号ａを出力する代わりに、リセット信号発生スイッチ２８から信号ｌを視点位置保持部２２に出力することによって、視点位置保持部２２が信号ｅを保持するようにしてもよい。
【００５４】
さらに、立体物３１の情報を記録媒体（例えば、ＣＤ−ＲＯＭ）に記録する場合には、信号ａ及びｄを記録媒体に記録し、再生時にそれを読み出すこともできる。
【図面の簡単な説明】
【図１】 本発明による立体物表示システムを示す図である。
【図２】 本発明による立体物表示システムの送信側座標系及び受信側座標系を説明するための図である。
【符号の説明】
１ 送信側情報処理ブロック
２ 受信側情報処理ブロック
１１ 視点位置又は視線方向不連続検出部
１２ 立体物情報設定部
１３，２５ 座標変換部
２１ 視点位置検出部
２２ 視点位置保持部
２３ オフセット設定部
２４ オフセット付加部
２６ スクリーン位置設定部
２７ 透視撮影部
２８ リセット信号発生スイッチ
３１，４３ａ 立体物
３２ カメラ
４１ａ 観察者の初期位置
４１ｂ 観察者の実際の位置
４２ スクリーン
４３ｂ 撮影された立体物の像
ａ，ｂ，ｃ，ｄ，ｅ，，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ 信号
【発明の属する技術分野】
本発明は、３次元物体の立体物を２次元のスクリーン上に投影して表示する立体物表示システム及びその受信装置に関するものであり、特に、視点移動に追従して、運動視差によって生じる立体感を再現する任意視点画像表示システム、任意視点画像表示方法及び任意視点画像表示システムの受信装置に関するものである。
【０００２】
【従来の技術】
視点移動に追従する立体物表示装置として、大画面スクリーンを複数用いた取り囲み型立体表示装置であるＣＡＶＥ（ＴＭ）システム(Cruz-Neira,C.,Sandin, D.J., and DeFanti, T.A., Virtual Reality: ”The Design and Implementation of the CAVE”, in Proceedings of SIGGRAPH ’93 Computer Graphicis Conference, ACM SIGGRAPH, August 1993, pp.135-142)などがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の視点移動に追従する任意視点画像表示装置では、部屋に固定された世界座標系又は表示装置に固定されたスクリーン座標系で３次元物体の位置を定義しているので、立体物の制作者の意図した構図で３次元物体を鑑賞するためには、観察者はある特定の位置で観察する必要がある。
【０００４】
また、画像を完全に再現できる視点移動の範囲が制限されている場合、制作者の意図した視点移動範囲を超えて視点を移動させると、画像を正確に再生できないことがある。
【０００５】
本発明の目的は、観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示する立体物表示システム及びその受信装置を提供することである。
【０００６】
本発明の他の目的は、表示可能な観察者の視点移動範囲が制限されている場合でも、観察者が表示可能な視点の移動範囲を逸脱しにくくする立体物表示システム及びその受信装置を提供することである。
【０００７】
【課題を解決するための手段】
本発明による立体物表示システムは、送信側観察者が用いる撮影カメラの視点位置に応じた送信側実視点座標系の立体物の位置情報を送信する送信装置、該送信装置から受信した前記立体物の位置情報を受信側観察者の視点位置に応じて受信側実視点座標系の前記立体物の位置座標に変換する受信装置、及び変換した前記立体物の位置座標に対応する投影画像を表示スクリーンに表示する表示装置からなる立体物表示システムであって、前記送信装置は、送信側で任意に定義される送信側世界座標系で示された立体物の位置情報及び色情報について、前記撮影カメラの位置である視点位置を原点とし、前記視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする送信側実視点座標系で特定した当該立体物の位置情報及び色情報の信号を生成する手段と、前記撮影カメラの視点位置又は該視点位置から前記立体物に向かう視線方向の不連続状態を検出し、該不連続状態を検出するたびにリセット信号を生成する不連続検出手段と、前記位置情報及び色情報の信号、及び前記リセット信号を前記受信装置に送出する手段とを備え、前記受信装置は、前記表示スクリーンの位置及び範囲と受信側観察者の視点位置との位置関係を特定する受信側世界座標系と、前記受信側観察者の第１視点位置と前記表示スクリーンの中心とを結ぶ直線をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする受信側初期視点座標系と、前記第１視点位置とは異なる任意の受信側観察者の第２視点位置を原点とし、該第２視点位置における任意の視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする前記受信側実視点座標系とを定義する手段と、前記リセット信号を受信する間、前記受信側世界座標系で表される前記第１視点位置の情報を保持し、且つ前記リセット信号を受信するたびに、前記受信側初期視点座標系を改めて規定する視点位置保持手段と、前記リセット信号の受信時に受信した前記位置情報の信号に基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を設定する手段と、前記リセット信号の受信後に前記送信装置から受信した当該立体物の位置情報から前記受信側初期視点座標系で定位させた当該立体物の位置座標と、前記第２視点位置の情報とに基づいて、前記第１視点位置の受信側初期視点座標系で定位させた当該立体物の位置座標を、前記前記第２視点位置の受信側実視点座標系における当該立体物の位置座標に変換する座標変換手段と、前記座標変換した当該立体物の位置座標、前記世界座標系で規定した前記表示スクリーンの位置及び範囲の情報、及び前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の色情報に基づいて、前記受信側実視点座標系における当該立体物を透視投影するための前記表示スクリーンの画素情報を算出し、前記第２視点位置を基準にした当該立体物の投影画像を前記表示スクリーンに表示する透視投影手段とを備えることを特徴とする。
【０００８】
本発明によれば、送信側観察者の視点位置又は視線方向の不連続状態を検出すると、立体物の位置を、その瞬時の受信側観察者の視点位置を原点とする３次元座標系に変換する。その結果、受信側観察者の視点移動に応じて画像を切り替えて、運動視差による立体感を再現する際に、送信側観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示することができる。
【０００９】
また、本発明による立体物表示システムにおいて、前記不連続検出手段が、送信側観察者の視点位置の変化の割合が所定の値を超えた場合に前記不連続状態を検出することを特徴とする。これによって、不連続状態を適切に検出することができる。
【００１０】
また、本発明による立体物表示システムにおいて、前記視点位置保持手段によって保持された視点位置を受信装置の外部からリセットするリセット手段を更に具えることを特徴とする。
【００１１】
また、本発明による立体物表示システムにおいて、前記受信側初期視点座標系における前記視線方向のオフセット量を設定するオフセット量設定手段と、前記オフセット量を前記受信側初期視点座標系における前記立体物のｚ軸の座標値に付加して、前記受信側初期視点座標系における前記立体物の新たな位置座標を設定するオフセット位置設定手段とを更に具えることを特徴とする。
【００１２】
観察者と立体物表示面との間の距離が比較的長く、立体物の制作者が意図した画角に比べて立体物表面を見込む画角が小さい場合、立体物の一部が表示されないいわゆる見切れが生じる。しかしながら、オフセット量を立体物の位置に付加して、立体物の新たな位置を設定することによって、このような不都合がなくなる。
【００１３】
本発明による立体物表示システムの受信装置は、送信側観察者が用いる撮影カメラの視点位置に応じた送信側実視点座標系の立体物の位置情報を送信する送信装置、該送信装置から受信した前記立体物の位置情報を受信側観察者の視点位置に応じて受信側実視点座標系の前記立体物の位置座標に変換する受信装置、及び変換した前記立体物の位置座標に対応する投影画像を表示スクリーンに表示する表示装置からなる立体物表示システムの受信装置であって、前記送信装置が、送信側で任意に定義される送信側世界座標系で示された立体物の位置情報及び色情報について、前記撮影カメラの位置である視点位置を原点とし、前記視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする送信側実視点座標系で特定した当該立体物の位置情報及び色情報の信号を生成する手段と、前記撮影カメラの視点位置又は該視点位置から前記立体物に向かう視線方向の不連続状態を検出し、該不連続状態を検出するたびにリセット信号を生成する不連続検出手段と、前記位置情報及び色情報の信号、及び前記リセット信号を前記受信装置に送出する手段とを備える場合に、前記表示スクリーンの位置及び範囲と受信側観察者の視点位置との位置関係を特定する受信側世界座標系と、前記受信側観察者の第１視点位置と前記表示スクリーンの中心とを結ぶ直線をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする受信側初期視点座標系と、前記第１視点位置とは異なる任意の受信側観察者の第２視点位置を原点とし、該第２視点位置における任意の視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする前記受信側実視点座標系とを定義する手段と、前記リセット信号を受信する間、前記受信側世界座標系で表される前記第１視点位置の情報を保持し、且つ前記リセット信号を受信するたびに、前記受信側初期視点座標系を改めて規定する視点位置保持手段と、前記リセット信号の受信時に受信した前記位置情報の信号に基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を設定する手段と、前記リセット信号の受信後に前記送信装置から受信した当該立体物の位置情報から前記受信側初期視点座標系で定位させた当該立体物の位置座標と、前記第２視点位置の情報とに基づいて、前記第１視点位置の受信側初期視点座標系で定位させた当該立体物の位置座標を、前記前記第２視点位置の受信側実視点座標系における当該立体物の位置座標に変換する座標変換手段と、前記座標変換した当該立体物の位置座標、前記世界座標系で規定した前記表示スクリーンの位置及び範囲の情報、及び前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の色情報に基づいて、前記受信側実視点座標系における当該立体物を透視投影するための前記表示スクリーンの画素情報を算出し、前記第２視点位置を基準にした当該立体物の投影画像を前記表示スクリーンに表示する透視投影手段とを備えることを特徴とする。
【００１４】
本発明によれば、受信側観察者の視点移動に応じて画像を切り替えて、運動視差による立体感を再現する際に、送信側観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示することができる。
【００１５】
また、本発明による立体物表示システムの受信装置において、前記不連続検出手段が、送信側観察者の視点位置の変化の割合が所定の値を超えた場合に前記不連続状態を検出することを特徴とする。これによって、不連続状態を適切に検出することができる。
【００１６】
また、本発明による立体物表示システムの受信装置において、前記視点位置保持手段によって保持された視点位置を受信装置の外部からリセットするリセット手段を更に具えることを特徴とする。
【００１７】
また、本発明による立体物表示システムの受信装置において、前記受信側初期視点座標系における前記視線方向のオフセット量を設定するオフセット量設定手段と、前記オフセット量を前記受信側初期視点座標系における前記立体物のｚ軸の座標値に付加して、前記受信側初期視点座標系における前記立体物の新たな位置座標を設定するオフセット位置設定手段とを更に具えることを特徴とする。
【００１８】
このようにオフセット量を立体物の位置に付加して、立体物の新たな位置を設定することによって、いわゆる見切れが生じなくなる。
【００１９】
また、本発明による立体物表示システムの受信装置において、前記受信装置における視点位置を、右目の視点位置及び左眼の視点位置としてそれぞれ処理することを特徴とする。
【００２０】
本発明によれば、送信側観察者の視点移動に応じて画像を切り替えて、運動視差による立体感を再現する際に、受信側観察者の右眼及び左眼の視点位置に関係なく、制作者の意図した構図で立体物を表示することができる。
【００３０】
【発明の実施の形態】
本発明による立体物表示システム及びその受信装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による立体物表示システムを示す図であり、図２は、その送信側座標系（図２Ａ）及び受信側座標系（図２Ｂ）を説明するための図である。この立体物表示システムは、送信側情報処理ブロック１と、受信側情報処理ブロック２とを具える。
【００３１】
送信側情報処理ブロック１は、視点位置又は視線方向不連続検出部１１と、立体物情報設定部１２と、座標変換部１３とを有する。受信側情報処理ブロック２は、視点位置検出部２１と、視点位置保持部２２と、オフセット設定部２３と、オフセット付加部２４と、座標変換部２５と、スクリーン位置設定部２６と、透視投影部２７と、リセット信号発生スイッチ２８とを有する。
【００３２】
視点位置又は視線方向不連続検出部１１は、制作者が意図した立体物３１を観察する視点位置Ｏ１と視線方向を規定する。実際に立体物３１をカメラ３２で撮影する場合には、カメラ３２の位置及び向きを視点位置又は視線方向不連続検出部１１に設定し、視点位置Ｏ１又は視線方向が不連続となる場合には、視点をリセットする信号ａを視点位置保持部２２に出力するとともに、送信側実視点座標系を規定する信号ｂを座標変換部１３に出力する。
【００３３】
送信側実視点座標系は、視点位置Ｏ１を原点とし、視線方向をｚ軸とし、ｚ軸を含む鉛直な平面上でｚ軸に直交する軸をｙ軸とし、ｙ軸及びｚ軸に直交する軸をx軸とする座標系であり、立体物３１の位置はこの座標系を用いて示される。図２Ａにおいて、送信側実視点座標系のｘ軸、ｙ軸及びｚ軸をそれぞれ、Ｘｖｓ，Ｙｖｓ，Ｚｖｓで表す。
【００３４】
なお、立体物３１の位置をこのような送信側実視点座標系に変換できる場合には、立体物３１を他の表現形式で表現することができ、例えば、後に説明するような、スタジオに固定された送信側世界座標系で示された立体物３１の位置座標、視点位置Ｏ２及び視線方向（ｚ軸）を用いることができる。図２Ａにおいて、送信側世界座標系のｘ軸、ｙ軸及びｚ軸をそれぞれＸｗｓ，Ｙｗｓ及びＺｗｓで表す。
【００３５】
立体物情報設定部１２は、送信側世界座標系によって示された立体物３１の位置情報及び色情報を有する信号ｃを座標変換部１３に出力する。立体物３１の位置情報を、点群、三角パッチ、ＮＵＲＢＳサーフェス(L.A.Piegl. On NURBS:A Survey. IEEE Computer Graphics and Applications, 11(1):55-71, January 1991 参照)等によって表現する。
【００３６】
座標変換部１３は、送信側世界座標系で示された立体物３１の位置情報を送信側実視点座標系に座標変換する。座標変換は、信号ｂによって決定される変換行列Ｍを用いて、式（１）によって行われる。
【数１】
【００３７】
受信側情報処理ブロック２において、先ず、観察者４１ａ，４１ｂが居る部屋に固定された受信側世界座標系を定義し、スクリーン４２の位置（範囲）及び観察者の視点位置を受信側世界座標で表す。図２Ｂにおいて、受信側世界座標系のｘ軸、ｙ軸、ｚ軸及び原点をそれぞれＸｗ，Ｙｗ，Ｚｗ及びＯ５で表す。
【００３８】
次に、信号ａの受信時すなわち視点位置又は視線方向の不連続状態の検出時における観察者の実視点の位置Ｏ３を原点とし、この原点と表示スクリーン４２の上の一点、例えば、表示スクリーン４２の中心Ｏ６を結ぶ直線をｚ軸とし、ｚ軸を含む鉛直な平面上でｚ軸に直交する軸をｙ軸とし、ｙ軸及びｚ軸に直交する軸をx軸とする受信側初期視点座標系も定義する。図２Ｂにおいて、受信側実視点座標系のｘ軸、ｙ軸及びｚ軸をそれぞれ、Ｘｉ，Ｙｉ，Ｚｉで表す。
【００３９】
さらに、視点位置（実視点位置）Ｏ４を原点とし、視線方向をｚ軸とし、ｚ軸を含む鉛直な平面上でｚ軸に直交する軸をｙ軸とし、ｙ軸及びｚ軸に直交する軸をx軸とする受信側実視点座標系を定義する。図２Ｂにおいて、受信側実視点座標系のｘ軸、ｙ軸及びｚ軸をそれぞれ、Ｘｖ，Ｙｖ，Ｚｖで表す。
【００４０】
なお、図２Ｂにおいて、送信側実視点座標系で示された立体物３１の位置データを受信側初期視点座標系で定位した立体物４３ａと、表示スクリーン４２の面に実視点位置を視点として透視撮影された立体物４３ｂの像とを示す。このように定位された立体物４３ａは、制作者の意図した視点位置すなわち構図で観察者４１ａによって観察される。
【００４１】
視点位置検出部２１は、観察者４１ａの視点位置Ｏ３を計測し、図２Ｂに示すような受信側世界座標系による位置情報を有する信号ｅを逐次視点位置保持部２２に出力する。
【００４２】
視点位置保持部２２は、信号ａを受信してから次の信号ａを受信するまでの間、信号ｅを保持し、受信側初期視点座標系を規定する信号ｆを座標変換部２５に出力する。
【００４３】
オフセット設定部２３は、観察者４１ａが設定したｚ座標Ｚｉのオフセット値の情報を有する信号ｇをオフセット付加部２４に出力する。オフセット付加部２４は、立体物４３ａの位置情報のｚ座標Ｚｉにオフセット値を加算し、加算後の位置情報及び色情報を有する信号ｈを座標変換部２５に出力する。
【００４４】
観察者４１ａと表示スクリーン４２との距離が比較的長く、制作者が意図した画角に比べて表示スクリーン４２を見込む画角が小さい場合でも、受信側初期視点座標系で立体物４３ｂの位置のｚ座標Ｚｉにオフセット値を付加することによって、いわゆる見切れが生じるおそれがなくなる。
【００４５】
座標変換部２５は、立体物４３ａの位置情報を受信側実視点座標系に座標変換する。座標変換は、信号ｅ及びｆによって決定される変換行列Ｍ’を用いて、式（２）によって行われる。
【数２】
【００４６】
したがって、信号ａを受信してから次の信号ａを受信するまでの間に視点位置又は視線方向が変化しても、立体物４３ａが受信側初期視点座標系を用いて定位されているので、制作者が意図した視点位置からずれた位置で立体物４３ａを観察することができる。このような視点位置からのずれが、制作者が設計した視点移動可能な範囲内にある場合、受信側実視点位置に応じた画像を再現することができる。
【００４７】
スクリーン位置設定部２６は、図示しない表示装置の画素位置と受信側世界座標系による表示スクリーン４２の位置及び範囲とを規定する信号ｊを出力する。
【００４８】
透視投影部２７は、実視点位置Ｏ４を透視変換の視点とする透視投影によって、立体物４３ａの表示スクリーン４２への投影位置を算出し、それを画素位置に換算する。また、透視投影部２７は、換算した画素位置に立体物４３ａの色情報によって規定される色信号ｋを出力する。これによって、立体物４３ａの像４３ｂが表示スクリーン４２に表示される。
【００４９】
立体物４３ａを表示するには、観察者４１ｂの視点Ｏ４による透視投影変換を用いて、表示スクリーン３２の面上に投影する。このような透視投影変換によって、受信側初期視点座標系で表現された立体物４３ａの位置と、世界座標で表現された表示スクリーン３２の位置（範囲）とを受信側実視点座標系に座標変換した後、それを透視投影することによって、容易に表示画像４３ｂを取得することができる。
【００５０】
なお、表示スクリーン４２が部屋に固定されている場合には、世界座標の原点を表示スクリーン４２の一点にとり、ｚ軸を表示スクリーン４２の面に対する垂線とし、ｘ軸及びｙ軸をそれぞれ表示スクリーン４２の面の垂直方向及び水平方向にそれぞれ定義すると、受信側実視点座標系の代わりに、立体物４３ａの位置及び実視点の位置Ｏ４を世界座標に変換した後、それを透視投影することによって、容易に表示画像を取得することができる。
【００５１】
本実施の形態によれば、観察者の視点位置に関係なく、制作者の意図した構図で立体物を表示することができ、かつ、表示可能な観察者の視点移動範囲が制限されている場合でも、観察者が表示可能な視点の移動範囲を逸脱しにくくなる。
【００５２】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、受信側情報処理ブロック２を２式設け、右眼及び左眼のそれぞれに対応した視点での透視投影画像を表示し、両眼による立体視を提供することもできる。
【００５３】
また、視点位置又は視線方向の不連続状態を検出するに際し、視点位置又は視線方向不連続検出部１１が信号ａを出力する代わりに、視点位置及び視点方向に関する情報を有する信号を、送信側情報処理ブロック１から受信側情報処理ブロック２に連続的に送信し、受信側情報処理ブロック２において、しきい値処理によって視点位置又は視線方向の不連続状態を検出することもできる。この場合、視点位置又は視線方向の変化を監視し、その変化がしきい値を超える場合、視点位置保持部２２は信号ｅを保持する。また、信号ａを出力する代わりに、リセット信号発生スイッチ２８から信号ｌを視点位置保持部２２に出力することによって、視点位置保持部２２が信号ｅを保持するようにしてもよい。
【００５４】
さらに、立体物３１の情報を記録媒体（例えば、ＣＤ−ＲＯＭ）に記録する場合には、信号ａ及びｄを記録媒体に記録し、再生時にそれを読み出すこともできる。
【図面の簡単な説明】
【図１】 本発明による立体物表示システムを示す図である。
【図２】 本発明による立体物表示システムの送信側座標系及び受信側座標系を説明するための図である。
【符号の説明】
１ 送信側情報処理ブロック
２ 受信側情報処理ブロック
１１ 視点位置又は視線方向不連続検出部
１２ 立体物情報設定部
１３，２５ 座標変換部
２１ 視点位置検出部
２２ 視点位置保持部
２３ オフセット設定部
２４ オフセット付加部
２６ スクリーン位置設定部
２７ 透視撮影部
２８ リセット信号発生スイッチ
３１，４３ａ 立体物
３２ カメラ
４１ａ 観察者の初期位置
４１ｂ 観察者の実際の位置
４２ スクリーン
４３ｂ 撮影された立体物の像
ａ，ｂ，ｃ，ｄ，ｅ，，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ 信号
Claims (9)
- 送信側観察者が用いる撮影カメラの視点位置に応じた送信側実視点座標系の立体物の位置情報を送信する送信装置、該送信装置から受信した前記立体物の位置情報を受信側観察者の視点位置に応じて受信側実視点座標系の前記立体物の位置座標に変換する受信装置、及び変換した前記立体物の位置座標に対応する投影画像を表示スクリーンに表示する表示装置からなる立体物表示システムであって、
前記送信装置は、
送信側で任意に定義される送信側世界座標系で示された立体物の位置情報及び色情報について、前記撮影カメラの位置である視点位置を原点とし、前記視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする送信側実視点座標系で特定した当該立体物の位置情報及び色情報の信号を生成する手段と、
前記撮影カメラの視点位置又は該視点位置から前記立体物に向かう視線方向の不連続状態を検出し、該不連続状態を検出するたびにリセット信号を生成する不連続検出手段と、
前記位置情報及び色情報の信号、及び前記リセット信号を前記受信装置に送出する手段とを備え、
前記受信装置は、
前記表示スクリーンの位置及び範囲と受信側観察者の視点位置との位置関係を特定する受信側世界座標系と、前記受信側観察者の第１視点位置と前記表示スクリーンの中心とを結ぶ直線をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする受信側初期視点座標系と、前記第１視点位置とは異なる任意の受信側観察者の第２視点位置を原点とし、該第２視点位置における任意の視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする前記受信側実視点座標系とを定義する手段と、
前記リセット信号を受信する間、前記受信側世界座標系で表される前記第１視点位置の情報を保持し、且つ前記リセット信号を受信するたびに、前記受信側初期視点座標系を改めて規定する視点位置保持手段と、
前記リセット信号の受信時に受信した前記位置情報の信号に基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を設定する手段と、
前記リセット信号の受信後に前記送信装置から受信した当該立体物の位置情報から前記受信側初期視点座標系で定位させた当該立体物の位置座標と、前記第２視点位置の情報とに基づいて、前記第１視点位置の受信側初期視点座標系で定位させた当該立体物の位置座標を、前記前記第２視点位置の受信側実視点座標系における当該立体物の位置座標に変換する座標変換手段と、
前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の位置情報と、前記第２視点位置の情報とに基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を、前記受信側実視点座標系における当該立体物の位置座標に座標変換する座標変換手段と、
前記座標変換した当該立体物の位置座標、前記世界座標系で規定した前記表示スクリーンの位置及び範囲の情報、及び前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の色情報に基づいて、前記受信側実視点座標系における当該立体物を透視投影するための前記表示スクリーンの画素情報を算出し、前記第２視点位置を基準にした当該立体物の投影画像を前記表示スクリーンに表示する透視投影手段とを備えることを特徴とする、立体物表示システム。 - 前記不連続検出手段が、送信側観察者の視点位置の変化の割合が所定の値を超えた場合に前記不連続状態を検出することを特徴とする請求項１記載の立体物表示システム。
- 前記視点位置保持手段によって保持された視点位置を受信装置の外部からリセットするリセット手段を更に具えることを特徴とする請求項１又は２記載の立体物表示システム。
- 前記受信側初期視点座標系における前記視線方向のオフセット量を設定するオフセット量設定手段と、前記オフセット量を前記受信側初期視点座標系における前記立体物のｚ軸の座標値に付加して、前記受信側初期視点座標系における前記立体物の新たな位置座標を設定するオフセット位置設定手段とを更に具えることを特徴とする請求項１から３のうちのいずれか１項に記載の立体物表示システム。
- 送信側観察者が用いる撮影カメラの視点位置に応じた送信側実視点座標系の立体物の位置情報を送信する送信装置、該送信装置から受信した前記立体物の位置情報を受信側観察者の視点位置に応じて受信側実視点座標系の前記立体物の位置座標に変換する受信装置、及び変換した前記立体物の位置座標に対応する投影画像を表示スクリーンに表示する表示装置からなる立体物表示システムの受信装置であって、
前記送信装置が、
送信側で任意に定義される送信側世界座標系で示された立体物の位置情報及び色情報について、前記撮影カメラの位置である視点位置を原点とし、前記視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする送信側実視点座標系で特定した当該立体物の位置情報及び色情報の信号を生成する手段と、
前記撮影カメラの視点位置又は該視点位置から前記立体物に向かう視線方向の不連続状態を検出し、該不連続状態を検出するたびにリセット信号を生成する不連続検出手段と、
前記位置情報及び色情報の信号、及び前記リセット信号を前記受信装置に送出する手段とを備える場合に、
前記表示スクリーンの位置及び範囲と受信側観察者の視点位置との位置関係を特定する受信側世界座標系と、前記受信側観察者の第１視点位置と前記表示スクリーンの中心とを結ぶ直線をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする受信側初期視点座標系と、前記第１視点位置とは異なる任意の受信側観察者の第２視点位置を原点とし、該第２視点位置における任意の視線方向をｚ軸とし、該ｚ軸を含む鉛直な平面上で当該ｚ軸に直交する軸をｙ軸とし、該ｙ軸及び該ｚ軸に直交する軸を x 軸とする前記受信側実視点座標系とを定義する手段と、
前記リセット信号を受信する間、前記受信側世界座標系で表される前記第１視点位置の情報を保持し、且つ前記リセット信号を受信するたびに、前記受信側初期視点座標系を改めて規定する視点位置保持手段と、
前記リセット信号の受信時に受信した前記位置情報の信号に基づいて、前記受信側初期視点座標系で定位させた当該立体物の位置座標を設定する手段と、
前記リセット信号の受信後に前記送信装置から受信した当該立体物の位置情報から前記受信側初期視点座標系で定位させた当該立体物の位置座標と、前記第２視点位置の情報とに基づいて、前記第１視点位置の受信側初期視点座標系で定位させた当該立体物の位置座標を、前記前記第２視点位置の受信側実視点座標系における当該立体物の位置座標に変換する座標変換手段と、
前記座標変換した当該立体物の位置座標、前記世界座標系で規定した前記表示スクリーンの位置及び範囲の情報、及び前記リセット信号の受信後に前記送信装置から受信した送信側実視点座標系における当該立体物の色情報に基づいて、前記受信側実視点座標系における当該立体物を透視投影するための前記表示スクリーンの画素情報を算出し、前記第２視点位置を基準にした当該立体物の投影画像を前記表示スクリーンに表示する透視投影手段とを備えることを特徴とする、立体物表示システムの受信装置。 - 前記不連続検出手段が、送信側観察者の視点位置の変化の割合が所定の値を超えた場合に前記不連続状態を検出することを特徴とする、請求項５記載の立体物表示システムの受信装置。
- 前記視点位置保持手段によって保持された視点位置を受信装置の外部からリセットするリセット手段を更に具えることを特徴とする、請求項５又は６記載の立体物表示システムの受信装置。
- 前記受信側初期視点座標系における前記視線方向のオフセット量を設定するオフセット量設定手段と、前記オフセット量を前記受信側初期視点座標系における前記立体物のｚ軸の座標値に付加して、前記受信側初期視点座標系における前記立体物の新たな位置座標を設定するオフセット位置設定手段とを更に具えることを特徴とする、請求項５から７のうちのいずれか１項に記載の立体物表示システムの受信装置。
- 前記受信装置における視点位置を、右目の視点位置及び左眼の視点位置としてそれぞれ処理することを特徴とする、請求項５に記載の立体物表示システムの受信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000201935A JP4141620B2 (ja) | 2000-07-04 | 2000-07-04 | 立体物表示システム及びその受信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000201935A JP4141620B2 (ja) | 2000-07-04 | 2000-07-04 | 立体物表示システム及びその受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002024856A JP2002024856A (ja) | 2002-01-25 |
| JP4141620B2 true JP4141620B2 (ja) | 2008-08-27 |
Family
ID=18699535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000201935A Expired - Fee Related JP4141620B2 (ja) | 2000-07-04 | 2000-07-04 | 立体物表示システム及びその受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4141620B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100932977B1 (ko) | 2005-07-05 | 2009-12-21 | 삼성모바일디스플레이주식회사 | 입체 영상 표시 장치 |
| KR100913173B1 (ko) * | 2005-07-05 | 2009-08-19 | 삼성모바일디스플레이주식회사 | 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치 |
| US8279221B2 (en) | 2005-08-05 | 2012-10-02 | Samsung Display Co., Ltd. | 3D graphics processor and autostereoscopic display device using the same |
| JP5202448B2 (ja) * | 2009-06-17 | 2013-06-05 | シャープ株式会社 | 画像処理システム及び方法 |
| KR101036600B1 (ko) | 2009-12-18 | 2011-05-24 | 주식회사 비전소프트텍 | 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법 |
| JP5242762B2 (ja) * | 2011-11-30 | 2013-07-24 | 株式会社東芝 | 画像再生装置、画像再生方法及びデータ構造 |
| JP6168597B2 (ja) * | 2013-06-25 | 2017-07-26 | Kddi株式会社 | 情報端末装置 |
| KR102170749B1 (ko) | 2013-11-29 | 2020-10-28 | 삼성전자주식회사 | 투명 디스플레이를 포함하는 전자 장치 및 제어 방법 |
-
2000
- 2000-07-04 JP JP2000201935A patent/JP4141620B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002024856A (ja) | 2002-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7825948B2 (en) | 3D video conferencing | |
| JP4553362B2 (ja) | システム、画像処理装置、情報処理方法 | |
| US5625408A (en) | Three-dimensional image recording/reconstructing method and apparatus therefor | |
| US20160323561A1 (en) | Stereoscopic 3d camera for virtual reality experience | |
| RU2019131371A (ru) | Система устройства просмотра смешанной реальности и способ для него | |
| JP2006128818A (ja) | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア | |
| KR20170040342A (ko) | 스테레오 이미지 녹화 및 재생 | |
| JP6512575B2 (ja) | 三次元形状情報の配信または放送の方法 | |
| JP2008146109A (ja) | 画像処理方法、画像処理装置 | |
| JP2010072477A (ja) | 画像表示装置、画像表示方法及びプログラム | |
| EP1919219A1 (en) | Video transmitting apparatus, video display apparatus, video transmitting method and video display method | |
| KR101198557B1 (ko) | 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법 | |
| JP2012216077A (ja) | 拡張現実感提供装置及び仮想物体の重畳方法 | |
| JP4141620B2 (ja) | 立体物表示システム及びその受信装置 | |
| EP3742396A1 (en) | Image processing | |
| CN113382224B (zh) | 一种基于全息沙盘的交互手柄展示方法及装置 | |
| JP6581241B2 (ja) | 平板パネルにおける立体映像入力のためのハードウェアシステム | |
| JP2006128816A (ja) | 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア | |
| KR101960577B1 (ko) | 뷰 공간에 관한 스테레오 정보를 송수신하는 방법 | |
| JPH0340591A (ja) | 立体像の撮影・表示方法及び装置 | |
| CN113891063B (zh) | 一种全息展示方法及装置 | |
| JPH08201941A (ja) | ３次元画像形成方法 | |
| US11388378B2 (en) | Image processing apparatus, image processing method and projection system | |
| KR102048381B1 (ko) | 삼차원 스테레오스코픽 영상 내의 객체 합성을 위한 시점별 양안 시차 영상의 렌더링 방법 및 시스템 | |
| KR101779423B1 (ko) | 영상처리방법 및 영상처리장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080424 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080611 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140620 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |