JP6073121B2 - 立体表示装置及び立体表示システム - Google Patents

立体表示装置及び立体表示システム Download PDF

Info

Publication number
JP6073121B2
JP6073121B2 JP2012265947A JP2012265947A JP6073121B2 JP 6073121 B2 JP6073121 B2 JP 6073121B2 JP 2012265947 A JP2012265947 A JP 2012265947A JP 2012265947 A JP2012265947 A JP 2012265947A JP 6073121 B2 JP6073121 B2 JP 6073121B2
Authority
JP
Japan
Prior art keywords
image
marker
camera
coordinates
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012265947A
Other languages
English (en)
Other versions
JP2014112758A (ja
Inventor
岩舘 祐一
祐一 岩舘
健介 久富
健介 久富
片山 美和
美和 片山
三浦 雅人
雅人 三浦
奥井 誠人
誠人 奥井
健佑 池谷
健佑 池谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2012265947A priority Critical patent/JP6073121B2/ja
Publication of JP2014112758A publication Critical patent/JP2014112758A/ja
Application granted granted Critical
Publication of JP6073121B2 publication Critical patent/JP6073121B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、IP(インテグラル・フォトグラフィ)方式で立体像を表示する立体表示技術に関する。
IP方式の立体表示装置は、裸眼で立体像が観察可能な装置として開発が進められている。また、IP方式の立体表示装置は、表示面に対する観察方向を上下左右に変えることにより、立体像を一方向だけでなく、他の方向からも観察可能に表示することができる。
更に、複数のIP方式の立体表示装置を組み合わせることで、より多角的に観察可能に立体像を表示することも可能となる。
例えば、非特許文献1には、6枚のIP方式の立体表示装置の表示面を、それぞれ立方体の各面となるように組み合わせた立体ディスプレイが開示されている。この立体ディスプレイは、表示面で囲まれた立方体の内部に3軸の磁気センサ及び加速度センサを備え、これらのセンサ情報に基づいて立体像を表示する。これによって、この立体ディスプレイは、ガラスケースに入った物体を観察するかのように、物体の立体像を表示することができる。
吉田俊介、Roberto Lopez-Gulliver、矢野澄男、井ノ上直己、"gCubic:複数人で観察可能なキューブ型裸眼立体ディスプレイ−6面での実装とその対話操作に関する考察"、インタラクション2009、情報処理学会、IPSI Symposium Series Vol.2009,No.4,pp.1-8
しかしながら、非特許文献1に開示された立体ディスプレイは、6枚のディスプレイ間の配置が固定されているため、ディスプレイの内部空間を越える任意の大きさの立体像を適切に表示することが難しかった。そこで、ディスプレイの大きさを超える大きな立体像を表示するために、複数のディスプレイが立体像の再生空間を取り囲むように自由に配置して、1つの立体像を分散表示することが考えられる。この場合、複数のディスプレイの位置関係が定まらないため、それぞれのディスプレイが表示する画像データを適切に生成することができなかった。
本発明は、かかる問題に鑑みて創案されたものであり、任意の大きさの立体像を分割して表示可能であり、また、複数の立体表示装置を組み合わせることにより、立体像を分散表示することができるIP方式の立体表示装置及びこの立体表示装置を備えた立体表示システムを提供することを課題とする。
前記した課題を解決するために、本発明の請求項1に記載の立体表示装置は、IP方式の立体表示装置であって、複数の要素画像からなる要素画像群を表示する画像表示手段と、前記要素画像群のそれぞれの前記要素画像に対応する要素レンズを二次元配列したレンズアレーと、カメラと、演算手段と、を備え、前記演算手段は、第1座標変換式算出手段と、第2座標変換式算出手段と、3次元形状モデル座標変換手段と、要素画像生成手段と、を備えて構成される。
かかる構成によれば、立体表示装置は、まず、カメラによって立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーを撮影する。次に、立体表示装置は、演算手段の第1座標変換式算出手段によって、前記カメラが前記マーカーを撮影した画像である前記マーカー画像を解析して、前記マーカーによって定められた座標系であるマーカー座標から、前記カメラを基準とする座標系であるカメラ座標への座標変換式である第1座標変換式を算出する。次に、立体表示装置は、第2座標変換式算出手段によって、前記レンズアレーを基準とする座標系であるレンズアレー座標と、前記カメラ座標との関係式と、前記第1座標変換式とを合成して、前記マーカー座標から前記レンズアレー座標への座標変換式である第2座標変換式を算出する。次に、立体表示装置は、前記マーカー座標で定義された3次元形状モデル座標変換手段によって、前記第2座標変換式を用いて、前記3次元形状モデルの座標データを、前記レンズアレー座標に変換する、次に、立体表示装置は、要素画像生成手段によって、前記レンズアレー座標に座標系が変換された前記3次元形状モデルを、前記レンズアレーを介して前記画像表示手段の画像表示面に投影変換することで、前記要素画像として表示する画像データを生成する。そして、立体表示装置は、生成した画像データを用いて前記画像表示手段に要素画像を表示することで、立体像を再生する。
このように、立体表示装置は、表示対象である3次元形状モデルの座標系を、自己を基準とした座標系であるレンズアレー座標に変換することで、この立体表示装置が設置された位置及び方向に応じた立体像を表示する。
請求項2に記載の立体表示装置は、請求項1に記載の立体表示装置であって、前記レンズアレー座標は、前記レンズアレーの中心に配置された要素レンズの光学主点を原点、前記レンズアレーの中心に配置される要素レンズの光軸をz軸とし、前記画像表示手段の水平方向及び垂直方向に平行な方向を、それぞれx軸及びy軸とする直交座標系であり、前記カメラ座標は、前記カメラの光学主点を原点、前記カメラの光軸をz軸とするとともに、前記カメラ座標のx軸、y軸及びz軸が、それぞれ前記レンズアレー座標のx軸、y軸及びz軸と平行になるように、前記カメラが配置されるように構成した。
かかる構成によれば、立体表示装置のカメラ座標とレンズアレー座標とは、回転操作を伴わない、平行移動の関係となる。これによって、立体表示装置は、第2座標変換式算出手段によって、第1座標変換式に、この平行移動の関係を示す平行移動ベクトルを加算するだけで、第2座標変換式を算出することができる。
請求項3に記載の立体表示システムは、立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーと、複数の請求項1又は請求項2に記載の立体表示装置とで構成するようにした。
かかる構成によれば、立体表示システムにおいて、前記複数の立体表示装置は、共通の1つの前記マーカーを撮影したマーカー画像を解析することで、それぞれの立体表示装置が配置された位置及び方向に応じた第1座標変換式を算出するとともに、共通の1つの前記3次元形状モデルについて立体像を表示する。
これによって、立体表示システムは、1つの立体像を、複数の立体表示装置によって分散表示する。
請求項1に記載の発明によれば、立体表示装置は、自己の位置及び方向によって特定される方向から立体像を観察できるように表示することができる。
請求項2に記載の発明によれば、立体表示装置は、簡単な演算でカメラ座標からレンズアレー座標へ変換できる。また、立体像を表示する方向の中心軸であるレンズアレーの中心に配置された要素レンズの光軸と、カメラの撮影方向の中心軸である光軸とが平行であるため、立体表示装置に所望の方向から見た立体像を表示させるように設置する場合に、立体表示装置の表示面の背面をマーカーの方向に向けることで、マーカーがカメラの撮影範囲に入るように設置することができる。
請求項3に記載の発明によれば、複数のIP方式の立体表示装置によって1つの立体像を分散表示できるため、立体像を、より多方向から観察可能に表示することができる。
本発明の実施形態に係る立体表示システムの概要を示す模式図であり、複数の立体表示装置によって、共通の立体像が表示される様子を示す。 本発明の実施形態に係る立体表示装置の構成を示す模式図である。 (a)、(b)は、本発明の実施形態に係る立体表示システムで用いるマーカーの例である。 本発明の実施形態に係る立体表示装置が撮影したマーカー画像の例である。 本発明の実施形態に係る立体表示装置に表示されるIP立体像データの生成方法を説明するための説明図である。 本発明の実施形態に係る立体表示装置の動作の流れを示すフローチャートである。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
<実施形態>
[立体表示システムの構成]
まず、実施形態に係る立体表示システムSの構成について、図1を参照して説明する。
図1に示すように、本実施形態においては、立体表示システムSは、カメラ20を備えた3台の立体表示装置1,1,1(以下、適宜に「立体表示装置1」という)が、立体像が再生される領域である立体像再生領域3を取り囲むように配置されている。また、立体像再生領域3の中心付近には、立体像が再生される空間の座標系を定義するためのマーカー2が配置されている。
立体表示装置1は、IP立体像表示手段10と、マーカー2を撮影するためのカメラ(撮像手段)20と、演算手段30(図2参照)とを備えて構成され、IP(インテグラル・フォトグラフィ)方式で立体像を表示する装置である。立体表示装置1,1,1は、カメラ20によってマーカー2を撮影し、撮影したマーカー画像を解析することで、カメラ20、すなわち立体表示装置1が配置された位置及び方向(姿勢)に関する情報を算出し、算出したそれぞれの位置及び方向に関する情報に応じて、例えば3次元CG(コンピュータ・グラフィックス)で作成された共通の1つの立体像を協同して再生するものである。
また、立体表示装置1,1,1は、何れも、共通の1つのマーカー2がそれぞれに設けられたカメラ20の撮影範囲に入るように配置されている。
また、IP立体像表示手段10は、画像表示手段11と、その画像表示面側に対向するように配置されたレンズアレー12とから構成され、レンズアレー12が設けられた面側が画像表示面であり、画像表示面側から立体像を観察するものである。本発明における立体表示装置1はIP方式であるため、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が観察できるように表示される。
立体表示装置1の台数は、3台に限定されるものではなく、1台以上であれば台数に制限はない。1台の場合であっても、例えば、カメラを備えた携帯端末機器として構成した場合に、立体像に対する立体表示装置1の位置及び方向を変えることで、その位置及び方向に応じた立体像を適宜に表示することができる。また、複数の立体表示装置1を配置する場合に、それぞれの立体表示装置1の表示画面は、同じ大きさに揃える必要はなく、異なる大きさの表示画面を有する立体表示装置1を組み合わせるようにしてもよい。
マーカー2は、立体像を表示する空間を定義するための、すなわち、この空間の座標系の基準となる標識である。
マーカー2は、立体表示装置1のカメラ20によって撮影される。そして、立体表示装置1によって、撮影されたマーカー2の画像内の座標である画像座標における形状が解析され、カメラ20の位置及び方向に関する情報の検出のために用いられる。
図3に、マーカー2の例を示す。図3に示すように、マーカー2は、台紙2c上に白黒の平面図形が印刷されたものである。図3(a)に示した例では、マーカー図形は、正方形の図形である外枠2aと、四角形の模様2bとから構成されている。正方形の外枠2aは、マーカー画像における各辺の傾きなどのマーカー図形の変形形状を解析することで、カメラ20の位置及び方向に関する情報を検出するための図形である。外枠2aは、位置及び方向に関する情報の検出を容易に行えるように、正方形とすることが好ましいがこれに限定されるものではない。長方形や、多角形としてもよい。また、模様2bは、マーカー図形が全体として回転対称とならないようにするためのものである。本例では、正方形の外枠2aの左下の角に設けられている。
図3(b)に示した例では、マーカー2は、模様2bとして数字「1」が配置されている。模様2bとして数字や他の文字、記号を用いることで、マーカー2に属性を持たせることができる。また、このような属性などの情報を持たせるための模様2bとして、バーコードを用いてもよい。また、マーカー2の全体の形状として、QRコード(登録商標)のような二次元コードを用いることもできる。
なお、模様2b自体が、回転対称性を有さない場合は、図3(b)に示した例のように、外枠2aの中心部に模様2bを配置するようにしてもよい。
また、立体表示装置1は、マーカー2の属性を検出して、例えば、この属性に対応付けられた立体像を表示するように構成することもできる。
また、マーカー2は、立体像再生領域3の座標系を精度よく定義するために、立体像再生領域3の中心に配置されることが好ましいが、これに限定されるものではなく、立体像再生領域3の領域外にマーカー2を配置するようにしてもよい。
図1に戻って、立体表示システムSの構成について説明を続ける。
立体像再生領域3は、立体像が再生される領域である。本実施形態では、立体像再生領域3は、立体表示装置1の背面(レンズアレー12が設けられている面と反対側の面)側に設定されているが、これに限定されるものではなく、立体表示装置1の前面側に立体像が再生されるようにしてもよい。
[立体表示装置の構成]
次に、図2を参照(適宜図1参照)して、立体表示装置1の構成について説明する。
図2に示すように、本発明の実施形態に係る立体表示装置1は、IP立体像表示手段10と、カメラ(撮像手段)20と、演算手段30とを備えて構成されている。
IP立体像表示手段10は、画像表示手段11とレンズアレー12とを備えて構成されており、演算手段30からIP立体像データを入力して、IP立体像を表示(再生)する。
画像表示手段11は、例えば、LCD(液晶表示装置)などの、画素が二次元配列された画像表示装置である。画像表示手段11は、その画像表示面側に設けられたレンズアレー12を構成する個々の要素レンズに対応した要素画像の集合体である要素画像群を表示するものである。画像表示手段11は、演算手段30のIP立体像生成手段34から、要素画像群を表示するための画像データであるIP立体像データ(要素画像データ)を入力し、入力したIP立体像データに基づいて画像を表示する。
レンズアレー12は、所定の大きさの要素レンズを二次元配列したものであり、画像表示手段11の画像表示面に対向するように設けられている。レンズアレー12を構成する各要素レンズは、画像表示手段11が表示する各要素画像に対応し、要素画像を構成する画素から発する光を、特定の方向に出射するためのものである。これによって、要素画像を構成する画素数分の観察方向から見た立体像が表示される。
カメラ20は、IP立体像表示手段10の画像表示面とは反対側に設けられている。本実施形態では、カメラ20の光軸が、レンズアレー12を構成する要素レンズの光軸と平行となるように設定されている。また、カメラ20は、立体像を表示する空間の座標系を定義するための、すなわち立体像表示空間の座標系の基準となるマーカー2を撮影するためのものである。図2においては、カメラ20による撮影領域21に、マーカー2が含まれるように撮影される様子を示している。
マーカー2を撮影した画像であるマーカー画像のデータは、演算手段30の第1座標変換式算出手段31に出力される。
演算手段30は、カメラ20からマーカー画像を入力し、マーカー画像を解析することで、カメラ20の位置及び方向(姿勢)、すなわち立体表示装置1の位置及び方向に関する情報を検出する。そして、演算手段30は、立体表示装置1の位置及び方向に関する情報に応じて、立体像として表示すべき3次元形状モデルのデータを用いてIP立体像データを生成して、画像表示手段11に出力するものである。
このために、演算手段30は、第1座標変換式算出手段31と、第2座標変換式算出手段32と、3次元形状モデル座標変換手段33と、IP立体像生成手段34と、3次元形状モデル記憶手段35と、を備えている。
第1座標変換式算出手段31は、カメラ20からマーカー画像を入力し、入力したマーカー画像を解析して推定されるカメラ20の位置及び方向に基づいて、カメラ20を基準とする座標系であるカメラ座標系と、マーカー2を基準とする座標系であるマーカー座標系との関係式として、マーカー座標からカメラ座標への座標変換式である第1座標変換式を算出するものである。第1座標変換式算出手段31は、算出した第1座標変換式を、第2座標変換式算出手段32に出力する。
なお、第1座標変換式の算出方法については後記する。
第2座標変換式算出手段32は、第1座標変換式算出手段31から、第1座標変換式を入力し、この第1座標変換式と、予め設定されている、カメラ座標系とレンズアレー12を基準とするレンズアレー座標系との関係と、に基づいて、マーカー座標からレンズアレー座標への座標変換式である第2座標変換式を算出する。第2座標変換式算出手段32は、算出した第2座標変換式を3次元形状モデル座標変換手段33に出力する。
なお、第2座標変換式の算出方法については後記する。
3次元形状モデル座標変換手段33は、第2座標変換式算出手段32から第2座標変換式を入力するとともに、3次元形状モデル記憶手段35から、マーカー座標系で定義された3次元形状モデルのデータを入力し、第2座標変換式を用いて3次元形状モデルの座標データを、マーカー座標からレンズアレー座標に変換する。3次元形状モデル座標変換手段33は、レンズアレー座標系に座標変換した3次元形状モデルのデータを、IP立体像生成手段34に出力する。
IP立体像生成手段(要素画像生成手段)34は、3次元形状モデル座標変換手段33から、マーカー座標系に座標変換された3次元形状モデルのデータを入力し、この3次元形状モデルのデータを用いて、IP立体表示手段10にIP立体像を表示させるための画像データであるIP立体像データを生成する。なお、IP立体像データとは、レンズアレー12の各要素レンズに対応した要素画像として画像表示手段11に表示される画像データの集合体のことである。IP立体像生成手段34は、生成したIP立体像データを画像表示手段11に出力する。
なお、IP立体像データの生成方法について後記する。
3次元形状モデル記憶手段35は、再生対象である立体像の形状を示す3次元形状モデルのデータを記憶するものであり、磁気ディスク、光ディスク又は半導体メモリなどの記憶媒体を用いた記憶装置を用いることができる。
なお、本実施形態では、3次元形状モデルのデータを、演算手段30内に記憶するように構成したがこれに限定されるものではない。例えば、有線、無線を問わず、通信回線を介して、外部のサーバから3次元形状モデルのデータを適宜入力するように構成してもよい。
また、演算手段30は、IP立体像表示手段10と一体に構成されてもよく、有線又は無線の通信回線を介して接続するように構成してもよい。演算手段30は、各構成手段をハードウェア回路で構成してもよいが、演算装置、記憶装置などを備えた一般的なコンピュータ(例えば、パーソナルコンピュータ)を、演算手段30の各構成手段として機能させるプログラムを実行させることで実現することもできる。
また、演算手段30は、立体表示装置1の1台ごとに備えずに、全部又は一部を複数の立体表示装置1で共用するようにしてもよい。一部を共用とする場合は、例えば、第1座標変換式算出手段31及び第2座標変換式算出手段32を、各立体表示装置1に専用手段として備え、3次元形状モデル座標変換手段33、IP立体像生成手段34及び3次元形状モデル記憶手段35を、共用のサーバ(コンピュータ)に備えるように構成することができる。
[演算方法]
次に、演算手段30の各部で行われる演算方法について順次に説明する。
(1.座標系)
まず、図2を参照して、立体表示システムS(図1参照)において用いられる座標系について説明する。
本実施形態では、立体像を再生する空間の座標系は、マーカー2によって定義されるマーカー座標系とする。すなわち、立体像再生領域3は、マーカー座標系で定義され、当該立体像再生領域3に表示される立体像の形状を示す3次元立体形状モデルは、マーカー座標系で定義されるものとする。
なお、3次元立体形状モデルは、全空間の座標を規定する世界座標で定義されるものであってもよい。この場合は、世界座標におけるマーカー2が設けられた位置情報を予め定めておき、この位置情報によって定められる世界座標からマーカー座標への座標変換式を用いて、3次元立体形状モデルの座標データを変換するようにすればよい。
図2に示すように、マーカー座標は、マーカー2の中心を原点とし、マーカー2の外枠2aの辺に平行な2方向を、それぞれx軸及びy軸とし、マーカー面の法線をz軸とする。また、マーカー面に上向きを+z軸方向とする。なお、本実施形態で用いる直交座標系は、特に断らない限りすべて右手系とする。
以下、マーカー座標は、(x,y,z)で表すものとする。
また、カメラ座標は、カメラ20の光学主点を原点とし、カメラ20の光軸をz軸とする。また、画像表示手段11の水平方向及び垂直方向をそれぞれカメラ座標のx軸及びy軸とする。また、カメラ20からみて、被写体方向を+z軸方向とする。
以下、カメラ座標は、(X’,Y’,Z’)で表すものとする。
また、レンズアレー座標は、レンズアレー12の中心に配置された要素レンズの光学主点を原点とし、この要素レンズの光軸をz軸とし、画像表示手段11の水平方向及び垂直方向を、それぞれx軸及びy軸とする。また、IP立体像表示手段10の背面方向を+z軸方向とする。すなわち、カメラ座標とレンズアレー座標とは、カメラ20の光学主点とレンズアレー12の中心に配置された要素レンズの光学主点との差分を平行移動した関係にある。
このように、カメラ座標とレンズアレー座標とが平行移動の関係になるようにカメラ20を設けることにより、後記する座標変換式が簡略になる。
以下、レンズアレー座標は、(X,Y,Z)で表すものとする。
(2.第1座標変換式(マーカー座標からカメラ座標への座標変換式)の算出)
次に、第1座標変換式算出手段31によって算出されるマーカー座標からカメラ座標への座標変換式である第1座標変換式の算出方法について説明する。
透視投影カメラモデルでは、カメラ座標(X’,Y’,Z’)とカメラ20で撮影された画像内の座標である画像座標(u,v)の関係は式(1)で表される。
Figure 0006073121
ここで、「a」は画素のアスペクト比(撮像素子の垂直方向の画素間隔/撮像素子の水平方向の画素間隔)、「F」はカメラレンズの焦点距離を撮像素子の垂直方向の画素間隔で正規化したパラメータ、(C,C)はカメラ座標のZ’軸(カメラ光軸)が画像面と交わる画像座標である。
式(1)をカメラ画像に適用し、カメラの方向・位置を計算する。
図4はマーカー2を撮影した画像の例である。まず、画像中の正方形の外枠2aの輪郭を追跡し、その折れ点を検出することにより、4頂点A〜Dの画像座標を得ることができる。これらの頂点の画像座標から、各辺を直線の方程式として表すことができる。
ここで、向かい合う2つの辺AD及び辺BCの直線の方程式を式(2)で表す。
Figure 0006073121
ここで、α及びβは、辺を表す直線の方程式のパラメータ(係数)である。
次に、式(2)を式(1)に代入することで式(3)を得る。
Figure 0006073121
式(3)はカメラ座標(X’,Y’,Z’)で定義された平面の方程式である。上側の式は、辺ADとカメラ座標原点で決定される平面であり、その法線ベクトルは、式(4)の上側の式のように表すことができる。
また、式(3)の下側の式は、辺BCとカメラ座標原点で決定される平面であり、その法線ベクトルは、式(4)の下側の式のように表わすことができる。
Figure 0006073121
2つの辺ADと辺BCとは平行であるため、共通の方向ベクトルを持つ。この方向ベクトルは、式(4)に示した2つの平面の法線ベクトルの外積として計算される。この計算を辺ABと辺DCとに対しても行うことで,マーカー2と平行で、かつ互いに直交する2つのベクトルが得られる。これらの2つのベクトルの外積からマーカーの面に垂直なベクトルも得られる。これらの3つのベクトルを列ベクトルとする3×3行列は、マーカー座標からカメラ座標への回転行列Rを表す。この回転行列Rは、マーカー座標系におけるカメラ20が向いている方向(姿勢)の情報に相当するものである。これによって、マーカー座標(x,y,z)とカメラ座標(X’,Y’,Z’)の関係式として式(5)を得る。
Figure 0006073121
ここで、Tは、カメラ座標原点からマーカー座標原点への平行移動ベクトルであり、カメラ座標原点を基準としたマーカー座標原点の位置に相当する。すなわち、平行移動ベクトルTは、マーカー座標系におけるカメラ20の位置の情報に相当するものである。また、式(1)におけるパラメータであるa,F,(C,C)は予め計測された既知の値とする。前記したように回転行列Rも得られているので、4頂点A〜Dについてのマーカー座標(x,y,z)及び画像座標(u,v)を、式(1)及び式(5)に代入することにより、8つの方程式が得られる。これを最小二乗法で解くことにより、平行移動ベクトルTが得られる。
また、マーカー2の外枠2aは、マーカー中心のz軸を4回軸とする回転対称性を有するため、マーカー画像中の各辺がマーカー2の外枠2aの正方形の外枠2aどの辺に対応するか特定できない。すなわち、マーカー2を4つの方向の内のどの方向から撮影したのかが特定できない。
そこで、マーカー2の外枠2aの内側に描かれている模様2bを検出して、マーカー2に対する撮影方向(カメラ20の方向)を特定する。模様2bは、マーカー2を非回転対称な図形とするためのものである。従って、その模様2bを検出することにより、z軸まわりの回転対称性によるカメラ方向の不確定性を排除することができる。この模様2bはマーカー2を、z軸回りの回転操作に対して非対称にすることができれば、任意の模様とすることができる。また、模様2bを予め登録しておくことにより、マーカー2の種類ごとに描画する3次元立体形状モデルを割り当てることもできる。
模様2bは、パターンマッチング技術を用いて検出することができる。まず、マーカー2をz軸回りに、90度ずつ回転した4つのマーカー像を、図4に示したマーカーの撮影画像に投影する。撮影したマーカー画像と4つの投影画像との相関を計算することでパターンの一致度を評価し、最も一致度の高い投影画像の回転角度を、対称性の補正角度とする。すなわち、この回転角度から、カメラ20の方向を特定することができる。
以上の手順により、マーカー座標に対するカメラの位置及び方向に関する情報が得られる。これらの情報にもとづいて、3次元立体形状モデルを描画する。
なお、マーカー2を用いたカメラ20の位置及び方向に関する情報を検出する計算は、例えば、以下の参考文献1に記載の方法を応用することもできる。
参考文献1:Kato,H.,Billinghurst,M.,"Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System",Proceedings of the 2nd International Workshop on Augmented Reality(IWAR99)
(3.第2座標変換式(カメラ座標からレンズアレー座標への座標変換式)の算出)
次に、第2座標変換式算出手段32によって算出されるカメラ座標からレンズアレー座標への座標変換式である第2座標変換式の算出方法について説明する。
図2に示し、前記したように、カメラ座標とレンズアレー座標との関係は、平行移動の関係にあるから、式(6)のように平行移動ベクトルcを用いて表すことができる。
なお、平行移動ベクトルcは、カメラ座標の原点から見たレンズアレー座標の原点の位置であるから、これらの原点を定義する光学主点間の距離を予め測定することで得ておくものとする。
Figure 0006073121
式(5)を式(6)に代入することで、レンズアレー座標とマーカー座標との関係を式(7)のように表すことができる。
Figure 0006073121
(4.3次元形状モデルの座標変換)
次に、3次元形状モデル座標変換手段33によって行われる3次元形状モデルの座標変換について説明する。
本実施形態では、第2座標変換式として、式(7)を用いて、3次元形状モデルの座標データをマーカー座標(x,y,z)からレンズアレー座標(X,Y,Z)に変換する。例えば、3次元形状モデルが、三角形パッチを繋ぎ合わせたポリゴンモデルを用いたCG(コンピュータグラフィックス)データである場合は、3次元形状モデルを構成する三角形パッチの頂点の座標を、レンズアレー座標に変換する。
次のIP立体像の生成においては、レンズアレー座標に変換された3次元形状モデルを用いて、IP立体像のデータが生成される。
(5.IP立体像の生成)
次に、IP立体像生成手段34によって行われるIP立体像の生成方法について説明する。
ここで、図5を参照して、3次元形状モデルからIP立体像の要素画像Gを生成する手順について説明する。
IP立体像の要素画像Gは、次の手順(a)〜(d)を行うことで生成することができる。なお、ここでは、レンズアレー12を構成する各要素レンズを、要素レンズの中心位置にピンホールが設けられたものとみなして説明する。また、画像表示手段11は、レンズアレー12から、要素レンズの焦点距離Fだけ離れた位置に配置されているものとする。
(a)画素AとピンホールB(レンズ中心)を通る、単位ベクトルをEとする直線上の、レンズアレー12からZ軸方向に一定距離Lだけ離れた位置に仮想カメラVcを置く。
(b)仮想カメラVcを、ピンホールBに向けて撮像する。
(c)仮想カメラVcによって撮影される画像の中心画素には、画素A及びピンホールBを通る直線が、3次元形状モデルObjの表面と交わる点Cが射影される。そして、3次元形状モデルObjの表面上の点CのRGB値(色データ)を画素Aの画素値とする。
(d)レンズアレー12は光線をサンプリングするため、折り返し雑音が生じないように仮想カメラVcが撮影した画像に帯域制限フィルタ(ローパスフィルタ)処理を施す。より具体的には、仮想カメラVcが撮影した画像において、点Cが射影された画素を中心とする近傍における所定範囲の画素の画素値の平均又は重み付き平均を、当該画素の画素値とする。
これらの処理(a)〜(d)を、要素画像のすべての画素について行う。
更に、すべての要素画像について、同様の処理を行う。
なお、図5において、3次元形状モデルObjは、立体表示装置1の前面側に配置されているが、これに限定されるものではなく、背面側(図5において、レンズアレー12の左側)に配置されるものであってもよい。
これは基本的な方法であり、適宜に、高速アルゴリズムを用いて、リアルタイムでIP立体像を生成することもできる。このような高速アルゴリズムとしては、例えば、参考文献2又は参考文献3に記載された手法を用いることができる。
参考文献2:Y.Iwadate and M.Katayama,"Generating Integral image from 3D object by using Oblique projection",IDW2011,3Dp-1,2011
参考文献3:特開2012−84105号公報
[立体表示装置の動作]
次に、図6を参照(適宜図1及び図2参照)して、立体表示装置1の動作について説明する。
図6に示すように、まず、立体表示装置1は、カメラ20によって、マーカー2を撮影し、撮影したマーカー画像(例えば、図4参照)のデータを、演算手段30の第1座標変換式算出手段31に出力する(ステップS10)。
次に、立体表示装置1は、第1座標変換式算出手段31によって、マーカー画像を解析し、マーカー座標からカメラ座標への座標変換式である第1座標変換式として、式(5)の各パラメータを算出する(ステップS11)。立体表示装置1は、第1座標変換式算出手段31が算出した第1座標変換式を第2座標変換式算出手段32に出力する。
次に、立体表示装置1は、第2座標変換式算出手段32によって、第1座標変換式に、更にカメラ座標からレンズアレー座標への座標変換式を加味した座標変換式、すなわち、マーカー座標からレンズアレー座標への座標変換式である第2座標変換式として、式(7)の各パラメータを算出する(ステップS12)。立体表示装置1は、第2座標変換式算出手段32が算出した第2座標変換式を3次元形状モデル座標変換手段33に出力する。
次に、立体表示装置1は、3次元形状モデル座標変換手段33によって、3次元形状モデル記憶手段35から3次元形状モデルのデータを読み出し、第2座標変換式を用いて、3次元形状モデルのマーカー座標で定義された座標データをレンズアレー座標に変換する(ステップS13)。立体表示装置1は、3次元形状モデル座標変換手段33が座標変換した3次元形状モデルのデータをIP立体像生成手段34に出力する。
次に、立体表示装置1は、IP立体像生成手段34によって、レンズアレー座標に座標変換された3次元形状モデルのデータを用いて、IP立体像データとして、レンズアレー12の各要素レンズに対応した要素画像を表示するためのIP立体像データを生成する(ステップS14)。立体表示装置1は、IP立体像生成手段34が生成したIP立体像のデータをIP立体像表示手段10の画像表示手段11に出力する。
そして、立体表示装置1は、画像表示手段11によって、IP立体像のデータに基づく画像表示をすることで、立体像再生領域3に立体像を再生する(ステップS15)。
以上説明したように、IP方式の複数の立体表示装置1を用いると、それぞれの立体表示装置1の位置及び方向に応じて、1つの共通する立体像を分散して表示することができる。
IP方式の立体表示装置1では、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が表示されるため、回り込んで観察するかのように立体像を表示することができる。ここで、画像表示面は一般に平面であるため、1台の装置では立体像を回り込んで観察できる方向に限度がある。そこで、本発明のように複数台の立体表示装置1を用いて立体像を表示することにより、更に多方向から観察可能なように立体像を表示することができる。
また、マーカー2がカメラ20で捕らえられていれば、立体表示装置1を動かしても、最新のマーカー画像に基づいて3次元形状モデルの座標を変換することで、立体表示装置1の動きに応じた立体像を表示することができる。また、移動式の立体表示装置1として、本発明を、例えば、カメラ20とIP方式の立体像表示手段10とを備えた携帯端末に適用することも可能である。この場合、演算手段30を携帯端末に備えることもできるが、前記したように演算手段30の一部又は全部を、通信回線で接続したサーバに備えるように構成することもできる。
なお、本実施形態では、立体表示装置1はカメラ20を備え、マーカー2を撮影したマーカー画像を解析して、カメラ20の位置及び方向に関する情報を検出し、この情報に基づいて座標変換式を算出するようにしたが、他の手段を用いて座標変換式を算出するようにしてもよい。例えば、3軸の磁気センサと3軸の加速度センサを用いて自己の位置及び方向(姿勢)を検出し、検出した自己の位置及び方向に基づいて座標変換式を算出することもできる。
1 立体表示装置
2 マーカー
2a 外枠
2b 模様
2c 台紙
3 立体像再生領域
10 IP立体像表示手段
11 画像表示手段
12 レンズアレー
20 カメラ
30 演算手段
31 第1座標変換式算出手段
32 第2座標変換式算出手段
33 3次元形状モデル座標変換手段
34 IP立体像生成手段(要素画像生成手段)
35 3次元形状モデル記憶手段
S 立体表示システム

Claims (3)

  1. P(インテグラル・フォトグラフィ)方式の立体表示装置であって、
    複数の要素画像からなる要素画像群を表示する画像表示手段と、
    前記要素画像群のそれぞれの前記要素画像に対応する要素レンズを二次元配列したレンズアレーと、
    立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーを撮影するカメラと、
    前記カメラが前記マーカーを撮影した画像であるマーカー画像を解析して検出される前記立体表示装置の位置及び方向に応じて前記画像表示手段に前記要素画像を表示するための画像データを生成する演算手段と、を備え、
    前記演算手段は、
    前記カメラが撮影した前記マーカー画像を解析して、前記マーカーによって定められた座標系であるマーカー座標から、前記カメラを基準とする座標系であるカメラ座標への座標変換式である第1座標変換式を算出する第1座標変換式算出手段と、
    前記レンズアレーを基準とする座標系であるレンズアレー座標と、前記カメラ座標との関係式と、前記第1座標変換式とを合成して、前記マーカー座標から前記レンズアレー座標への座標変換式である第2座標変換式を算出する第2座標変換式算出手段と、
    前記第2座標変換式を用いて、前記マーカー座標で定義された3次元形状モデルの座標データを、前記レンズアレー座標に変換する3次元形状モデル座標変換手段と、
    前記レンズアレー座標に座標系が変換された前記3次元形状モデルを、前記レンズアレーを介して前記画像表示手段の画像表示面に投影変換することで、前記要素画像を表示するための画像データを生成する要素画像生成手段と、
    を備えることを特徴とする立体表示装置。
  2. 前記レンズアレー座標は、前記レンズアレーの中心に配置される要素レンズの光学主点を原点、前記レンズアレーの中心に配置される要素レンズの光軸をz軸とし、前記画像表示手段の水平方向及び垂直方向に平行な方向をそれぞれx軸及びy軸とする直交座標系であり、
    前記カメラ座標は、前記カメラの光学主点を原点、前記カメラの光軸をz軸とするとともに、前記カメラ座標のx軸、y軸及びz軸が、それぞれ前記レンズアレー座標のx軸、y軸及びz軸と平行になるように、前記カメラが配置されたことを特徴とする請求項1に記載の立体表示装置。
  3. 立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーと、
    複数の請求項1又は請求項2に記載の立体表示装置とからなり、
    前記複数の立体表示装置は、共通の1つの前記マーカーを撮影したマーカー画像を解析することで前記第1座標変換式を算出するとともに、共通の1つの前記3次元形状モデルについて立体像を表示することを特徴とする立体表示システム。
JP2012265947A 2012-12-05 2012-12-05 立体表示装置及び立体表示システム Active JP6073121B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012265947A JP6073121B2 (ja) 2012-12-05 2012-12-05 立体表示装置及び立体表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012265947A JP6073121B2 (ja) 2012-12-05 2012-12-05 立体表示装置及び立体表示システム

Publications (2)

Publication Number Publication Date
JP2014112758A JP2014112758A (ja) 2014-06-19
JP6073121B2 true JP6073121B2 (ja) 2017-02-01

Family

ID=51169625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012265947A Active JP6073121B2 (ja) 2012-12-05 2012-12-05 立体表示装置及び立体表示システム

Country Status (1)

Country Link
JP (1) JP6073121B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022170264A (ja) * 2021-04-28 2022-11-10 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN115174879B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095241B2 (ja) * 2000-11-16 2008-06-04 日本放送協会 立体画像撮影装置と立体画像表示装置
JP2003279310A (ja) * 2002-03-22 2003-10-02 Canon Inc 位置姿勢補正装置、及び位置姿勢補正方法
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法

Also Published As

Publication number Publication date
JP2014112758A (ja) 2014-06-19

Similar Documents

Publication Publication Date Title
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
JP5872923B2 (ja) Ar画像処理装置及び方法
JP2019510311A (ja) 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP2005326274A (ja) 配置情報推定方法および情報処理装置
JP2014102246A (ja) 位置姿勢検出システム
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JP7182976B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2012190299A (ja) 画像処理装置および方法、並びにプログラム
JP2006267879A (ja) 画像処理方法、画像処理装置、マーカ
JP5522794B2 (ja) 立体像生成装置およびそのプログラム
KR20200056721A (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
Liu et al. Epipolar rectification method for a stereovision system with telecentric cameras
JP5452801B2 (ja) 立体像生成装置およびそのプログラム
JP6073123B2 (ja) 立体表示システム、立体像生成装置及び立体像生成プログラム
CN108450031A (zh) 图像捕获装置
JP6073121B2 (ja) 立体表示装置及び立体表示システム
JP5252703B2 (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
JP7141833B2 (ja) 画像処理装置および画像処理プログラム
JP2013231607A (ja) 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム
JP2002032744A (ja) 3次元モデリング及び3次元画像作成のための装置及び方法
CN116128744A (zh) 消除图像畸变的方法、电子设备、存储介质及车辆

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170104

R150 Certificate of patent or registration of utility model

Ref document number: 6073121

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250