JP6073121B2 - 立体表示装置及び立体表示システム - Google Patents
立体表示装置及び立体表示システム Download PDFInfo
- Publication number
- JP6073121B2 JP6073121B2 JP2012265947A JP2012265947A JP6073121B2 JP 6073121 B2 JP6073121 B2 JP 6073121B2 JP 2012265947 A JP2012265947 A JP 2012265947A JP 2012265947 A JP2012265947 A JP 2012265947A JP 6073121 B2 JP6073121 B2 JP 6073121B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- camera
- coordinates
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 claims description 113
- 238000006243 chemical reaction Methods 0.000 claims description 92
- 238000004364 calculation method Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 238000013519 translation Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
更に、複数のIP方式の立体表示装置を組み合わせることで、より多角的に観察可能に立体像を表示することも可能となる。
このように、立体表示装置は、表示対象である3次元形状モデルの座標系を、自己を基準とした座標系であるレンズアレー座標に変換することで、この立体表示装置が設置された位置及び方向に応じた立体像を表示する。
これによって、立体表示システムは、1つの立体像を、複数の立体表示装置によって分散表示する。
請求項2に記載の発明によれば、立体表示装置は、簡単な演算でカメラ座標からレンズアレー座標へ変換できる。また、立体像を表示する方向の中心軸であるレンズアレーの中心に配置された要素レンズの光軸と、カメラの撮影方向の中心軸である光軸とが平行であるため、立体表示装置に所望の方向から見た立体像を表示させるように設置する場合に、立体表示装置の表示面の背面をマーカーの方向に向けることで、マーカーがカメラの撮影範囲に入るように設置することができる。
請求項3に記載の発明によれば、複数のIP方式の立体表示装置によって1つの立体像を分散表示できるため、立体像を、より多方向から観察可能に表示することができる。
<実施形態>
[立体表示システムの構成]
まず、実施形態に係る立体表示システムSの構成について、図1を参照して説明する。
図1に示すように、本実施形態においては、立体表示システムSは、カメラ20を備えた3台の立体表示装置11,12,13(以下、適宜に「立体表示装置1」という)が、立体像が再生される領域である立体像再生領域3を取り囲むように配置されている。また、立体像再生領域3の中心付近には、立体像が再生される空間の座標系を定義するためのマーカー2が配置されている。
また、立体表示装置11,12,13は、何れも、共通の1つのマーカー2がそれぞれに設けられたカメラ20の撮影範囲に入るように配置されている。
マーカー2は、立体表示装置1のカメラ20によって撮影される。そして、立体表示装置1によって、撮影されたマーカー2の画像内の座標である画像座標における形状が解析され、カメラ20の位置及び方向に関する情報の検出のために用いられる。
なお、模様2b自体が、回転対称性を有さない場合は、図3(b)に示した例のように、外枠2aの中心部に模様2bを配置するようにしてもよい。
また、マーカー2は、立体像再生領域3の座標系を精度よく定義するために、立体像再生領域3の中心に配置されることが好ましいが、これに限定されるものではなく、立体像再生領域3の領域外にマーカー2を配置するようにしてもよい。
立体像再生領域3は、立体像が再生される領域である。本実施形態では、立体像再生領域3は、立体表示装置1の背面(レンズアレー12が設けられている面と反対側の面)側に設定されているが、これに限定されるものではなく、立体表示装置1の前面側に立体像が再生されるようにしてもよい。
次に、図2を参照(適宜図1参照)して、立体表示装置1の構成について説明する。
図2に示すように、本発明の実施形態に係る立体表示装置1は、IP立体像表示手段10と、カメラ(撮像手段)20と、演算手段30とを備えて構成されている。
画像表示手段11は、例えば、LCD(液晶表示装置)などの、画素が二次元配列された画像表示装置である。画像表示手段11は、その画像表示面側に設けられたレンズアレー12を構成する個々の要素レンズに対応した要素画像の集合体である要素画像群を表示するものである。画像表示手段11は、演算手段30のIP立体像生成手段34から、要素画像群を表示するための画像データであるIP立体像データ(要素画像データ)を入力し、入力したIP立体像データに基づいて画像を表示する。
マーカー2を撮影した画像であるマーカー画像のデータは、演算手段30の第1座標変換式算出手段31に出力される。
このために、演算手段30は、第1座標変換式算出手段31と、第2座標変換式算出手段32と、3次元形状モデル座標変換手段33と、IP立体像生成手段34と、3次元形状モデル記憶手段35と、を備えている。
なお、第1座標変換式の算出方法については後記する。
なお、第2座標変換式の算出方法については後記する。
なお、IP立体像データの生成方法について後記する。
なお、本実施形態では、3次元形状モデルのデータを、演算手段30内に記憶するように構成したがこれに限定されるものではない。例えば、有線、無線を問わず、通信回線を介して、外部のサーバから3次元形状モデルのデータを適宜入力するように構成してもよい。
次に、演算手段30の各部で行われる演算方法について順次に説明する。
(1.座標系)
まず、図2を参照して、立体表示システムS(図1参照)において用いられる座標系について説明する。
本実施形態では、立体像を再生する空間の座標系は、マーカー2によって定義されるマーカー座標系とする。すなわち、立体像再生領域3は、マーカー座標系で定義され、当該立体像再生領域3に表示される立体像の形状を示す3次元立体形状モデルは、マーカー座標系で定義されるものとする。
以下、マーカー座標は、(x,y,z)で表すものとする。
以下、カメラ座標は、(X’,Y’,Z’)で表すものとする。
このように、カメラ座標とレンズアレー座標とが平行移動の関係になるようにカメラ20を設けることにより、後記する座標変換式が簡略になる。
以下、レンズアレー座標は、(X,Y,Z)で表すものとする。
次に、第1座標変換式算出手段31によって算出されるマーカー座標からカメラ座標への座標変換式である第1座標変換式の算出方法について説明する。
透視投影カメラモデルでは、カメラ座標(X’,Y’,Z’)とカメラ20で撮影された画像内の座標である画像座標(u,v)の関係は式(1)で表される。
式(1)をカメラ画像に適用し、カメラの方向・位置を計算する。
図4はマーカー2を撮影した画像の例である。まず、画像中の正方形の外枠2aの輪郭を追跡し、その折れ点を検出することにより、4頂点A〜Dの画像座標を得ることができる。これらの頂点の画像座標から、各辺を直線の方程式として表すことができる。
ここで、向かい合う2つの辺AD及び辺BCの直線の方程式を式(2)で表す。
次に、式(2)を式(1)に代入することで式(3)を得る。
また、式(3)の下側の式は、辺BCとカメラ座標原点で決定される平面であり、その法線ベクトルは、式(4)の下側の式のように表わすことができる。
そこで、マーカー2の外枠2aの内側に描かれている模様2bを検出して、マーカー2に対する撮影方向(カメラ20の方向)を特定する。模様2bは、マーカー2を非回転対称な図形とするためのものである。従って、その模様2bを検出することにより、z軸まわりの回転対称性によるカメラ方向の不確定性を排除することができる。この模様2bはマーカー2を、z軸回りの回転操作に対して非対称にすることができれば、任意の模様とすることができる。また、模様2bを予め登録しておくことにより、マーカー2の種類ごとに描画する3次元立体形状モデルを割り当てることもできる。
なお、マーカー2を用いたカメラ20の位置及び方向に関する情報を検出する計算は、例えば、以下の参考文献1に記載の方法を応用することもできる。
参考文献1:Kato,H.,Billinghurst,M.,"Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System",Proceedings of the 2nd International Workshop on Augmented Reality(IWAR99)
次に、第2座標変換式算出手段32によって算出されるカメラ座標からレンズアレー座標への座標変換式である第2座標変換式の算出方法について説明する。
図2に示し、前記したように、カメラ座標とレンズアレー座標との関係は、平行移動の関係にあるから、式(6)のように平行移動ベクトルcを用いて表すことができる。
なお、平行移動ベクトルcは、カメラ座標の原点から見たレンズアレー座標の原点の位置であるから、これらの原点を定義する光学主点間の距離を予め測定することで得ておくものとする。
次に、3次元形状モデル座標変換手段33によって行われる3次元形状モデルの座標変換について説明する。
本実施形態では、第2座標変換式として、式(7)を用いて、3次元形状モデルの座標データをマーカー座標(x,y,z)からレンズアレー座標(X,Y,Z)に変換する。例えば、3次元形状モデルが、三角形パッチを繋ぎ合わせたポリゴンモデルを用いたCG(コンピュータグラフィックス)データである場合は、3次元形状モデルを構成する三角形パッチの頂点の座標を、レンズアレー座標に変換する。
次のIP立体像の生成においては、レンズアレー座標に変換された3次元形状モデルを用いて、IP立体像のデータが生成される。
次に、IP立体像生成手段34によって行われるIP立体像の生成方法について説明する。
ここで、図5を参照して、3次元形状モデルからIP立体像の要素画像Gを生成する手順について説明する。
IP立体像の要素画像Gは、次の手順(a)〜(d)を行うことで生成することができる。なお、ここでは、レンズアレー12を構成する各要素レンズを、要素レンズの中心位置にピンホールが設けられたものとみなして説明する。また、画像表示手段11は、レンズアレー12から、要素レンズの焦点距離Fだけ離れた位置に配置されているものとする。
(b)仮想カメラVcを、ピンホールBに向けて撮像する。
(c)仮想カメラVcによって撮影される画像の中心画素には、画素A及びピンホールBを通る直線が、3次元形状モデルObjの表面と交わる点Cが射影される。そして、3次元形状モデルObjの表面上の点CのRGB値(色データ)を画素Aの画素値とする。
(d)レンズアレー12は光線をサンプリングするため、折り返し雑音が生じないように仮想カメラVcが撮影した画像に帯域制限フィルタ(ローパスフィルタ)処理を施す。より具体的には、仮想カメラVcが撮影した画像において、点Cが射影された画素を中心とする近傍における所定範囲の画素の画素値の平均又は重み付き平均を、当該画素の画素値とする。
これらの処理(a)〜(d)を、要素画像のすべての画素について行う。
更に、すべての要素画像について、同様の処理を行う。
参考文献2:Y.Iwadate and M.Katayama,"Generating Integral image from 3D object by using Oblique projection",IDW2011,3Dp-1,2011
参考文献3:特開2012−84105号公報
次に、図6を参照(適宜図1及び図2参照)して、立体表示装置1の動作について説明する。
図6に示すように、まず、立体表示装置1は、カメラ20によって、マーカー2を撮影し、撮影したマーカー画像(例えば、図4参照)のデータを、演算手段30の第1座標変換式算出手段31に出力する(ステップS10)。
そして、立体表示装置1は、画像表示手段11によって、IP立体像のデータに基づく画像表示をすることで、立体像再生領域3に立体像を再生する(ステップS15)。
IP方式の立体表示装置1では、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が表示されるため、回り込んで観察するかのように立体像を表示することができる。ここで、画像表示面は一般に平面であるため、1台の装置では立体像を回り込んで観察できる方向に限度がある。そこで、本発明のように複数台の立体表示装置1を用いて立体像を表示することにより、更に多方向から観察可能なように立体像を表示することができる。
2 マーカー
2a 外枠
2b 模様
2c 台紙
3 立体像再生領域
10 IP立体像表示手段
11 画像表示手段
12 レンズアレー
20 カメラ
30 演算手段
31 第1座標変換式算出手段
32 第2座標変換式算出手段
33 3次元形状モデル座標変換手段
34 IP立体像生成手段(要素画像生成手段)
35 3次元形状モデル記憶手段
S 立体表示システム
Claims (3)
- IP(インテグラル・フォトグラフィ)方式の立体表示装置であって、
複数の要素画像からなる要素画像群を表示する画像表示手段と、
前記要素画像群のそれぞれの前記要素画像に対応する要素レンズを二次元配列したレンズアレーと、
立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーを撮影するカメラと、
前記カメラが前記マーカーを撮影した画像であるマーカー画像を解析して検出される前記立体表示装置の位置及び方向に応じて前記画像表示手段に前記要素画像を表示するための画像データを生成する演算手段と、を備え、
前記演算手段は、
前記カメラが撮影した前記マーカー画像を解析して、前記マーカーによって定められた座標系であるマーカー座標から、前記カメラを基準とする座標系であるカメラ座標への座標変換式である第1座標変換式を算出する第1座標変換式算出手段と、
前記レンズアレーを基準とする座標系であるレンズアレー座標と、前記カメラ座標との関係式と、前記第1座標変換式とを合成して、前記マーカー座標から前記レンズアレー座標への座標変換式である第2座標変換式を算出する第2座標変換式算出手段と、
前記第2座標変換式を用いて、前記マーカー座標で定義された3次元形状モデルの座標データを、前記レンズアレー座標に変換する3次元形状モデル座標変換手段と、
前記レンズアレー座標に座標系が変換された前記3次元形状モデルを、前記レンズアレーを介して前記画像表示手段の画像表示面に投影変換することで、前記要素画像を表示するための画像データを生成する要素画像生成手段と、
を備えることを特徴とする立体表示装置。 - 前記レンズアレー座標は、前記レンズアレーの中心に配置される要素レンズの光学主点を原点、前記レンズアレーの中心に配置される要素レンズの光軸をz軸とし、前記画像表示手段の水平方向及び垂直方向に平行な方向をそれぞれx軸及びy軸とする直交座標系であり、
前記カメラ座標は、前記カメラの光学主点を原点、前記カメラの光軸をz軸とするとともに、前記カメラ座標のx軸、y軸及びz軸が、それぞれ前記レンズアレー座標のx軸、y軸及びz軸と平行になるように、前記カメラが配置されたことを特徴とする請求項1に記載の立体表示装置。 - 立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーと、
複数の請求項1又は請求項2に記載の立体表示装置とからなり、
前記複数の立体表示装置は、共通の1つの前記マーカーを撮影したマーカー画像を解析することで前記第1座標変換式を算出するとともに、共通の1つの前記3次元形状モデルについて立体像を表示することを特徴とする立体表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012265947A JP6073121B2 (ja) | 2012-12-05 | 2012-12-05 | 立体表示装置及び立体表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012265947A JP6073121B2 (ja) | 2012-12-05 | 2012-12-05 | 立体表示装置及び立体表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014112758A JP2014112758A (ja) | 2014-06-19 |
JP6073121B2 true JP6073121B2 (ja) | 2017-02-01 |
Family
ID=51169625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012265947A Active JP6073121B2 (ja) | 2012-12-05 | 2012-12-05 | 立体表示装置及び立体表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6073121B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022170264A (ja) * | 2021-04-28 | 2022-11-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN115174879B (zh) * | 2022-07-18 | 2024-03-15 | 峰米(重庆)创新科技有限公司 | 投影画面校正方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4095241B2 (ja) * | 2000-11-16 | 2008-06-04 | 日本放送協会 | 立体画像撮影装置と立体画像表示装置 |
JP2003279310A (ja) * | 2002-03-22 | 2003-10-02 | Canon Inc | 位置姿勢補正装置、及び位置姿勢補正方法 |
JP5541974B2 (ja) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 画像表示プログラム、装置、システムおよび方法 |
-
2012
- 2012-12-05 JP JP2012265947A patent/JP6073121B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014112758A (ja) | 2014-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
US9972120B2 (en) | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces | |
US20160210785A1 (en) | Augmented reality system and method for positioning and mapping | |
JP5872923B2 (ja) | Ar画像処理装置及び方法 | |
JP2019510311A (ja) | 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品 | |
KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
JP2005326274A (ja) | 配置情報推定方法および情報処理装置 | |
JP2014102246A (ja) | 位置姿勢検出システム | |
JP2007129709A (ja) | イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム | |
JP7218435B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法 | |
JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2012190299A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2006267879A (ja) | 画像処理方法、画像処理装置、マーカ | |
JP5522794B2 (ja) | 立体像生成装置およびそのプログラム | |
KR20200056721A (ko) | 증강현실 기기의 광학 특성 측정 방법 및 장치 | |
Liu et al. | Epipolar rectification method for a stereovision system with telecentric cameras | |
JP5452801B2 (ja) | 立体像生成装置およびそのプログラム | |
JP6073123B2 (ja) | 立体表示システム、立体像生成装置及び立体像生成プログラム | |
CN108450031A (zh) | 图像捕获装置 | |
JP6073121B2 (ja) | 立体表示装置及び立体表示システム | |
JP5252703B2 (ja) | 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム | |
JP7141833B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2013231607A (ja) | 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム | |
JP2002032744A (ja) | 3次元モデリング及び3次元画像作成のための装置及び方法 | |
CN116128744A (zh) | 消除图像畸变的方法、电子设备、存储介质及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6073121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |