JP6926048B2 - 3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法 - Google Patents

3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法 Download PDF

Info

Publication number
JP6926048B2
JP6926048B2 JP2018193229A JP2018193229A JP6926048B2 JP 6926048 B2 JP6926048 B2 JP 6926048B2 JP 2018193229 A JP2018193229 A JP 2018193229A JP 2018193229 A JP2018193229 A JP 2018193229A JP 6926048 B2 JP6926048 B2 JP 6926048B2
Authority
JP
Japan
Prior art keywords
image
parameter
display device
captured image
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018193229A
Other languages
English (en)
Other versions
JP2019082680A (ja
Inventor
柱容 朴
柱容 朴
孝錫 黄
孝錫 黄
東▲ぎょん▼ 南
東▲ぎょん▼ 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019082680A publication Critical patent/JP2019082680A/ja
Application granted granted Critical
Publication of JP6926048B2 publication Critical patent/JP6926048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明の実施形態は、3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法に関する。
立体映像を認知するために必要な要因のうち最も支配的な要因は、ユーザの両眼に見える映像の視差である。ユーザの両眼に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色の波長を相違にした波長分割などを用いて映像をフィルタリングするメガネ方式と、パララックスバリア(parallax barrier)、レンチキュラーレンズ(lenticular lens)、又は、方向性バックライトユニット(directional BLU)などの3D変換装置を用いて各映像を特定の視点でのみ見えるようにする無メガネ方式とがある。
無メガネ方式の場合、メガネ着用の不便を減らすという長所がある。無メガネ方式として、3D映像のクロストークを抑制するためには、ユーザの両眼に3D映像を正確に照射する必要がある。3D表示装置及び3D変換装置の生産過程又は設置過程などに起因して設計値からずれた誤差が生じる場合、映像品質が低下してしまう恐れがある。
本発明の目的は、3次元ディスプレイ装置のパラメータキャリブレーション方法及び装置を提供することにある。
一側面によれば、キャリブレーション方法は、第1パターン映像を表示する3D表示装置が撮影された第1撮影映像を取得するステップと、前記第1撮影映像に基づいて前記3D表示装置の第1パラメータセットを調整するステップと、前記調整された第1パラメータセットに基づいて第2パターン映像を表示する前記3D表示装置が撮影された第2撮影映像を取得するステップと、前記第2撮影映像に基づいて前記3D表示装置の第2パラメータセットを調整するステップとを含む。
前記第1パターン映像は少なくとも1つの水平線を含み、前記第2パターン映像は少なくとも1つの垂直線を含み得る。
前記キャリブレーション方法は、それぞれ複数の視点に対応する第1ソース映像に基づいて前記第1パターン映像を生成するステップをさらに含み得る。前記第1ソース映像それぞれは、対応する視点に応じて異なる位置に水平線を含み得る。前記キャリブレーション方法は、それぞれ複数の視点に対応する第2ソース映像に基づいて前記第2パターン映像を生成するステップをさらに含み得る。前記第2ソース映像それぞれは、対応する視点に応じて異なる位置に垂直線を含み得る。
前記キャリブレーション方法は、第1条件が満たされるまで、前記第1撮影映像を取得するステップ及び前記第1パラメータセットを調整するステップを繰り返すステップをさらに含み得る。前記第1条件は、前記第1撮影映像に示された線形パターンの傾きが予め決定した第1閾値よりも小さいこと、前記第1撮影映像に示された線形パターンの基準線が予め決定した第1範囲内に位置することを含み得る。
前記第1パラメータセットは、前記ディスプレイ装置内の3D変換装置の単位要素の水平方向の周期を示すピッチパラメータを含み、前記第1撮影映像に示された線形パターンが1つの線を含む場合、前記第1パラメータセットを調整するステップは、前記1つの線の傾きを測定するステップと、前記ピッチパラメータを第1値だけ調整するステップと、前記ピッチパラメータが前記第1値だけ調整されることによる前記1つの線の傾き変化に基づいて、前記ピッチパラメータを第2値だけ調整するステップとを含み得る。前記第1パラメータセットは、前記ディスプレイ装置内の3D変換装置の単位要素の水平方向の周期を示すピッチパラメータを含み、前記第1撮影映像に示された線形パターンが複数の線を含む場合、前記第1パラメータセットを調整するステップは、前記複数の線によって示される2次線形パターンを検出するステップと、前記2次線形パターンのピッチ及び前記ピッチパラメータの現在値に基づいて、前記ピッチパラメータの実際値を決定するステップと、前記決定されたピッチパラメータの実際値に基づいて前記ピッチパラメータを調整するステップとを含み得る。
前記第1パラメータセットは、前記ディスプレイ装置内の3D変換装置及び前記ディスプレイ装置内のディスプレイパネル間の相対位置を示す開始位置パラメータを含み、前記第1パラメータセットを調整するステップは、前記第1撮影映像に示された線形パターンの基準線の位置を測定するステップと、前記開始位置パラメータを第1値だけ調整するステップと、前記開始位置パラメータが前記第1値だけ調整されることによる前記基準線の位置変化に基づいて、前記開始位置パラメータを第2値だけ調整するステップとを含み得る。
前記キャリブレーション方法は、第2条件が満たされるまで、前記第2撮影映像を取得するステップ及び前記第2パラメータセットを調整するステップを繰り返すステップをさらに含み得る。前記第2条件は、前記第2撮影映像に示された線形パターンの傾きが予め決定した第2閾値よりも小さいこと、前記第2撮影映像に示された線形パターンの基準線が予め決定した第2範囲内に位置することを含み得る。
前記第2パラメータセットは、前記ディスプレイ装置内の3D変換装置の単位要素の傾きを示す傾斜角度パラメータを含み、前記第2撮影映像に示された線形パターンが1つの線を含む場合、前記第2パラメータセットを調整するステップは、前記1つの線の傾きを測定するステップと、前記傾斜角度パラメータを第1値だけ調整するステップと、前記傾斜角度パラメータが前記第1値だけ調整されることによる前記1つの線の傾き変化に基づいて、前記傾斜角度パラメータを第2値だけ調整するステップとを含み得る。前記第2パラメータセットは、前記ディスプレイ装置内の3D変換装置の単位要素の傾きを示す傾斜角度パラメータを含み、前記第2撮影映像に示された線形パターンが複数の線を含む場合、前記第2パラメータセットを調整するステップは、前記複数の線によって示される2次線形パターンを検出するステップと、前記検出された2次線形パターンのピッチ及び前記傾斜角度パラメータの現在値に基づいて、前記傾斜角度パラメータの実際値を決定するステップと、前記決定された傾斜角度パラメータの実際値に基づいて前記傾斜角度パラメータを調整するステップとを含み得る。前記傾斜角度パラメータを調整するステップは、前記調整された第1パラメータセットに含まれた前記3D変換装置の単位要素の水平方向の周期を示すピッチパラメータをさらに考慮して前記傾斜角度パラメータを調整するステップを含み得る。
前記キャリブレーション方法は、ワーピング映像を表示する前記3D表示装置が撮影された第3撮影映像を取得するステップと、前記第3撮影映像に基づいて、前記第1撮影映像及び前記第2撮影映像をワーピングするためのワーピングパラメータを決定するステップとをさらに含み得る。前記第1撮影映像を取得するステップは、前記ワーピングパラメータに基づいて前記第1撮影映像をワーピングするステップを含み、
前記第2撮影映像を取得するステップは、前記ワーピングパラメータに基づいて前記第2撮影映像をワーピングするステップを含み得る。
一実施形態によれば、3D表示装置の動作方法は、第1パターン映像を表示するステップと、前記第1パターン映像を表示する前記3D表示装置が撮影された、第1撮影映像に基づいて第1パラメータセットを調整するステップと、前記調整された第1パラメータセットに基づいて第2パターン映像を表示するステップと、前記第2パターン映像を表示する前記3D表示装置が撮影された、第2撮影映像に基づいて第2パラメータセットを調整するステップとを含む。
前記3D表示装置の動作方法は、前記第1撮影映像に基づいて生成された第1制御信号を受信するステップをさらに含み、前記第1パラメータセットを調整するステップは、前記第1制御信号に基づいて前記第1パラメータセットを調整するステップを含み得る。前記3D表示装置の動作方法は、前記第2撮影映像に基づいて生成された第2制御信号を受信するステップをさらに含み、前記第2パラメータセットを調整するステップは、前記第2制御信号に基づいて前記第2パラメータセットを調整するステップを含み得る。
前記3D表示装置の動作方法は、前記第1撮影映像及び前記第2撮影映像を撮影するカメラの位置を検出するステップと、前記第1パターン映像に基づいた3D映像の基準視点及び前記第2パターン映像に基づいた3D映像の基準視点が前記カメラの位置に対応するよう、前記第1パターン映像及び前記第2パターン映像をレンダリングするステップとをさらに含み得る。
一実施形態によれば、キャリブレーション装置は、プロセッサと、前記プロセッサで読み出し可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されると、前記プロセッサは、第1パターン映像を表示する3D表示装置が撮影された第1撮影映像を取得し、前記第1撮影映像に基づいて前記3D表示装置の第1パラメータセットを調整し、前記調整された第1パラメータセットに基づいて第2パターン映像を表示する前記3D表示装置が撮影された第2撮影映像を取得し、前記第2撮影映像に基づいて前記3D表示装置の第2パラメータセットを調整する。
一実施形態によれば、3D表示装置は、ディスプレイパネルと、プロセッサと、前記プロセッサで読み出し可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されると、前記プロセッサは前記ディスプレイパネルを介して第1パターン映像を表示し、前記第1パターン映像が表示された状態で前記3D表示装置が撮影された、第1撮影映像に基づいて第1パラメータセットを調整し、前記調整された第1パラメータセットに基づいて前記ディスプレイパネルを介して第2パターン映像を表示し、前記第2パターン映像が表示された状態で前記3D表示装置が撮影された、第2撮影映像に基づいて第2パラメータセットを調整する。
本発明によれば、3次元ディスプレイ装置のパラメータキャリブレーション方法及び装置を提供することができる。
一実施形態に係るキャリブレーションシステムを示す図である。 一実施形態に係るソース映像及び撮影映像を示す図である。 一実施形態に係るキャリブレーション過程を示すフローチャートである。 一実施形態に係る3D表示装置のパラメータ及び撮影映像の線形パターン間の関係を示す図である。 一実施形態に係る線形パターンから基準線を抽出する過程を示す図である。 一実施形態に係るピッチパラメータを用いて線形パターンの傾きを調整する過程を示す図である。 一実施形態に係る現在ピッチ、実際ピッチ、及び2次線形パターンのピッチ間の関係を示す図である。 一実施形態に係る開始位置パラメータを用いて線形パターンの垂直位置を調整する過程を示す図である。 一実施形態に係る傾斜角度パラメータを用いて線形パターンの傾きを調整する過程を示す図である。 一実施形態に係る水平ピッチと垂直ピッチとの間の関係を示す図である。 一実施形態に係る開始位置パラメータを用いて線形パターンの水平位置を調整する過程を示す図である。 一実施形態に係る第1キャリブレーション過程で第1撮影映像の変化過程を示す図である。 一実施形態に係る第2キャリブレーション過程で第2撮影映像の変化過程を示す図である。 一実施形態に係るキャリブレーションが完了した状態の第1撮影映像及び第2撮影映像を示す図である。 一実施形態に係るギャップパラメータの調整過程を示す図である。 一実施形態に係るキャリブレーション方法を示すフローチャートである。 一実施形態に係るディスプレイ装置の動作方法を示すフローチャートである。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更されてもよい。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に第2構成要素は第1構成要素にも命名することができる。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
図1は、一実施形態に係るキャリブレーションシステムを示す図である。図1を参照すれば、キャリブレーションシステム100は、キャリブレーション装置110、3D表示装置120、及びカメラ130を含む。
3D表示装置120は、3D変換装置121及びディスプレイパネル122を含む。図1に図示していないが、3D表示装置120は、プロセッサ及びメモリをさらに含んでもよく、プロセッサ及びメモリによって下記で説明される動作を行うことができる。
3D表示装置120は、ソース映像に基づいてパターン映像を生成する。ソース映像は、3D表示装置120に格納されたり、キャリブレーション装置110によって3D表示装置120に提供されたり、又は他の外部装置によって3D表示装置120に提供される。ソース映像は、それぞれの一定視点に対応する。例えば、ソース映像の数がn個である場合、n個のソース映像は、第1視点(view1)ないし第n視点(view n)に対応する。以下で詳細に説明するが、3D表示装置120は、パラメータに基づいてソース映像に対応する視点それぞれに該当する映像が視聴されるようパターン映像を生成する。
3D表示装置120は、ディスプレイパネル122を介してパターン映像を表示する。パターン映像は、一定のパターンを含むソース映像に基づいて生成されたパネル映像として理解される。3D変換装置121は、無メガネ方式でパターン映像を3D映像に変換できる。3D変換装置121は、レンズアレイ、パララックスバリア、及び方向性バックライトユニットのような光学レイヤを含む。レンズアレイ及びパララックスバリアはディスプレイパネル122の前面に位置し、方向性バックライトユニットはディスプレイパネル122の後面に位置する。図1において、便宜の上、3D変換装置121がレンズアレイ及びパララックスバリアと共にディスプレイパネル122の前面に位置するものと図示したが、3D変換装置121は、方向性バックライトユニットと共にディスプレイパネル122の後面に位置してもい。
3D変換装置121は、ディスプレイパネル122に提供される、又は、ディスプレイパネル122から出力される光に指向性を付与する。指向性光により視聴者の両眼に互いに異なる映像が照射され、視聴者は立体感を感じることができる。無メガネ方式で、ユーザの両眼に互いに異なる映像が正確に照射されなければ、3D映像にクロストークが生じる恐れがある。例えば、3D表示装置120の生産過程又は設置過程などで、3D表示装置120のパラメータの設計値と実際値との間に許容できないほど大きな誤差が発生する場合、そのようなクロストークが発生し得る。3D表示装置120のパラメータは、3D変換装置121のパラメータと称してもよく、3D変換装置121の単位要素の水平方向の周期を示すピッチパラメータ、3D変換装置121とディスプレイパネル122との間の相対位置を示す開始位置パラメータ、及び3D変換装置121の単位要素の傾きを示す傾斜角度(slanted angle)パラメータ、及び3D変換装置121とディスプレイパネル122との間の距離を示すギャップパラメータ等を含む。
カメラ130は、パターン映像を表示する3D表示装置120を撮影し、撮影映像をキャリブレーション装置110に送信する。一実施形態によれば、3D表示装置120は、カメラ130の位置を検出する。例えば、3D表示装置120は、3D表示装置120内に、又は、3D表示装置120の周辺に設置された別途のカメラ(図示せず)を用いてカメラ130の位置を検出する。3D表示装置は、検出されたカメラ130の位置に対応して3D映像をレンダリングする。例えば、3D表示装置120は、3D映像の基準視点を設定し、検出されたカメラ130の位置で基準視点の3D映像が観測されるよう3D映像をレンダリングする。
キャリブレーション装置110は、プロセッサ及びメモリを含んでもよく、プロセッサ及びメモリを介して以下で説明される動作を行うことができる。例えば、メモリは、プロセッサで読み出し可能な命令語を含んでもよく、命令語がプロセッサで実行されると、プロセッサは次に説明される動作を行う。キャリブレーション装置110は、撮影映像に基づいて3D表示装置120のパラメータの設計値と実際値との間の誤差をキャリブレーションする。実施形態によれば、第1パターン映像を用いた第1キャリブレーション及び第2パターン映像を用いた第2キャリブレーションが順次実行される。
第1キャリブレーションにおいて、キャリブレーション装置110は、第1パターン映像を表示する3D表示装置120が撮影された第1撮影映像を取得し、第1撮影映像に基づいて3D表示装置120の第1パラメータセットを調整する。第1キャリブレーションで、第1撮影映像の取得及び第1パラメータセットの調整は、予め決定した第1条件が満たされるまで繰り返される。第2キャリブレーションにおいて、キャリブレーション装置110は、第2パターン映像を表示する3D表示装置120が撮影された第2撮影映像を取得し、第2撮影映像に基づいて3D表示装置120の第2パラメータセットを調整する。第2キャリブレーションで、第2撮影映像の取得及び第2パラメータセットの調整は、予め決定した第2条件が満たされるまで繰り返される。
キャリブレーション装置110が3D表示装置120のパラメータを調整することは、3D表示装置120がキャリブレーション装置110から送信された制御信号に基づいて3D表示装置120のパラメータを調整することを含む概念として理解される。例えば、3D表示装置120は、第1撮影映像に基づいて生成された第1制御信号を受信し、第1制御信号に基づいて第1パラメータセットを調整し、第2撮影映像に基づいて生成された第2制御信号を受信し、第2制御信号に基づいて第2パラメータセットを調整する。その他に、キャリブレーション装置110の動作のうち、3D表示装置120で処理される必要のある動作が存在する場合、キャリブレーション装置110は、3D表示装置120が該当動作を実行できるよう3D表示装置120に制御信号を送信し得る。
実施形態によれば、第1パターン映像は、水平線をそれぞれ含む第1ソース映像に基づいて生成され、第2パターン映像は、垂直線をそれぞれ含む第2ソース映像に基づいて生成される。また、第1パラメータセットはピッチパラメータ及び開始位置パラメータを含んでもよく、第2パラメータセットは傾斜角度パラメータ及び開始位置パラメータを含んでもよい。以下で説明するよう、ピッチパラメータは、横パターンを介して他のパラメータと独立的にキャリブレーションでき、ピッチパラメータがキャリブレーションされた後傾斜角度パラメータは、縦パターンを介して容易にキャリブレーションすることができる。また、ピッチパラメータがキャリブレーションされると、傾斜角度パラメータは、他のパラメータと独立的にキャリブレーションできる。
実施形態に係る横パターン及び縦パターンを用いた順次にキャリブレーションする過程は、チェックパターンなどの異なる複雑なパターンを用いたキャリブレーション過程に比べて低解像度で効率よく実行できる。横パターンを用いたキャリブレーション及び縦パターンを用いたキャリブレーションが分離して実行されるため、パターン映像撮影及びパターン映像の分析において複雑度が低くなるためである。無メガネ式の3D映像技術は、HUD(head up display)のような低解像度のデバイスに実現される。HUDの場合、一般的なディスプレイ装置に比べて視聴距離が長く、1枚のパターン映像でパラメータを推定するために解像度が足りない。また、HUD装置を構成している反射屈折光学系(catadioptric system)により3D映像に歪みが生じる可能性がある。実施形態に係るキャリブレーションは、単なるパターンを介して順次行われるため、このような低解像度デバイスや光学系を含むデバイスでも高い性能を発揮できる。
キャリブレーション装置110は、図1に示すように、3D表示装置120と別途に具現されたり、又は図1に示すものとは相違に3D表示装置120内に実現されてもよい。3D表示装置120内に実現される場合、3D表示装置120のプロセッサによって実現されたり、プロセッサとは別個のチップとして具現されたり、又はT con(timing controller)に実現されてもよい。3D表示装置120は、一般的な3Dディスプレイデバイスのみならず、光学系を用いて空中に像を作るHUDのようなデバイスを含み得る。
図2は、一実施形態に係るソース映像及び撮影映像を示す図である。図2を参照すれば、第1ソース映像210及び第2ソース映像230は複数の視点(第1視点ないし第n視点)に対応し、第1ソース映像210それぞれは、対応する視点に応じて異なる位置に水平線を含み、第2ソース映像230は、対応する視点に応じて異なる位置に垂直線を含む。第1ソース映像210は、第1パターン映像の生成のために使用され、第2ソース映像230は、第2パターン映像の生成のために使用される。
特定パラメータをキャリブレーションするとき、該当のパラメータがキャリブレーションされているかを判断し易いキャリブレーションパターンが存在し得る。第1ソース映像210は、水平線を除いた全領域に黒い領域を含み、第2ソース映像230は、垂直線を除いた全領域に黒い領域を含む。第1ソース映像210はピッチパラメータをキャリブレーションし易く、第2ソース映像230は傾斜角度パラメータをキャリブレーションし易い。
3D表示装置は、カメラの位置を検出し、カメラの位置を中心に繰り返すことなく3D映像が表示される1つの領域、すなわち、ビューコーン(view cone)をn個に割って各ソース映像を表現する位置を決定し、該当位置に各視点の映像が表現されるよう、ライトフィールドレンダリング(light field rendering)を介してパターン映像を生成できる。例えば、カメラの位置が第n−4視点に対応し、第n−4視点を基準視点でパターン映像がレンダリングされているものと仮定する。パラメータキャリブレーションが完了した状態でパターン映像を再生する場合、カメラを用いて第1撮影映像220及び第2撮影映像240が取得される。理想的な環境で、第1撮影映像220及び第2撮影映像240はそれぞれ第n−4視点に対応するソース映像と同一であるが、ある程度のクロストークが存在する実際の環境において、第1撮影映像220及び第2撮影映像240はそれぞれ第n−4視点に対応するソース映像にグラデーションが追加されて撮影されることがある。
ピッチパラメータのキャリブレーションが完了されなければ、第1撮影映像220に示された線形パターンは水平形態でないこともあり、傾斜角度パラメータのキャリブレーションが完了していなければ、第2撮影映像240に示された線形パターンは垂直形態でないこともある。キャリブレーション装置は、第1撮影映像220に示された線形パターンの傾きを算出し、該当の線形パターンが水平に表示させるためのピッチパラメータの値を算出する。また、キャリブレーション装置は、第2撮影映像240に示された線形パターンの傾きを算出し、該当の線形パターンが垂直に表示させるための傾斜角度パラメータの値を算出する。ここで、線形パターンの傾きのみが算出されればよいため、求められるカメラの解像度は極めて高くないこともある。
開始位置パラメータについても、第1パターン映像及び第2パターン映像を介して容易にキャリブレーションできる。開始位置パラメータは、3D変換装置及びディスプレイパネル間の水平方向の相対位置を示す。例えば、3D変換装置及びディスプレイパネルそれぞれに基準位置が定義され、開始位置パラメータは、3D変換装置の基準位置とディスプレイパネルの基準位置との間の水平方向の差に決定される。開始位置パラメータは、第1撮影映像220の線形パターンの傾き及び第2撮影映像240の線形パターンの傾きに影響を与えることなく、第1撮影映像220の線形パターンの位置及び第2撮影映像240の線形パターンの位置に影響を与える。したがって、ピッチパラメータ及び開始位置パラメータは、第1撮影映像220に基づいて独立的に調整され、傾斜角度パラメータ及び開始位置パラメータは第2撮影映像240に基づいて独立的に調整され得る。
ピッチパラメータ及び傾斜角度パラメータは、互いに一定の影響を与えることができる。次に説明するが、第1撮影映像220を用いた1次キャリブレーション過程で傾斜角度パラメータが先に調整され、2次撮影映像240を用いた第2キャリブレーション過程で先に調整された傾斜角度パラメータに基づいて傾斜角度パラメータが容易に調整され得る。
第1キャリブレーション過程で調整される開始位置パラメータ、及び第2キャリブレーション過程で調整される開始位置パラメータは同一ものであってもよい。第1キャリブレーション過程で、開始位置パラメータのキャリブレーションが完了して第1撮影映像220の線形パターンが垂直方向の中心に位置する場合、第2キャリブレーション過程で、開始位置パラメータを別にキャリブレーションしなくても第2撮影映像240の線形パターンは水平方向の中心に位置する。したがって、開始位置パラメータは、第1キャリブレーション過程及び第2キャリブレーション過程の全体にキャリブレーションされ得る。一実施形態によれば、開始位置パラメータは第1キャリブレーション過程で適当に調整され、第2キャリブレーション過程では微細に調整される。このような実施形態は、第1キャリブレーション過程が終了するための条件を第2キャリブレーション過程が完了するための条件よりも緩く設定して実行されてもよい。
図3は、一実施形態に係るキャリブレーション過程を示すフローチャートである。図3を参照すれば、ステップS310において、3D表示装置は、カメラ位置を検出する。ここで、カメラは、キャリブレーションのためにディスプレイ装置を撮影するためのものであって、キャリブレーションカメラとして称される。ディスプレイ装置は、キャリブレーションカメラと別途のカメラを用いてキャリブレーションカメラを撮影しカメラ位置を検出し得る。カメラ位置が検出されると、3D表示装置は、基準視点のソース映像が検出されたカメラ位置で観測されるよう3D映像をレンダリングする。
ステップS321〜ステップS325は、第1キャリブレーション過程と称する。ステップS321において、3D表示装置は第1パターン映像を表示する。3D表示装置は、垂直方向の中心に水平線を含むソース映像が検出されたカメラ位置で観測されるよう、第1パターン映像に基づいた3D映像をレンダリングする。説明の便宜のために、垂直方向の中心に水平線を含むソース映像は、第1ソース映像と称する。第1パターン映像は、3D変換装置によって3D映像に変換される。ステップS322において、キャリブレーション装置は第1撮影映像を取得する。第1撮影映像は、第1パターン映像を表示する3D表示装置が撮影されたものであり、キャリブレーションカメラにより撮影されてキャリブレーション装置に提供される。
一実施形態によれば、キャリブレーション装置は、第1撮影映像をワーピングして第1キャリブレーションを行う。例えば、3D表示装置は、チェスボードのようなワーピング映像を表示し、カメラは、ワーピング映像を表示するディスプレイ装置を撮影してキャリブレーション装置で撮影映像を送信する。キャリブレーション装置は、撮影映像に基づいてワーピングパラメータを決定し、決定されたワーピングパラメータに基づいて第1撮影映像をワーピングする。
ステップS323において、キャリブレーション装置は、第1撮影映像に示された線形パターンの傾き及び垂直位置を測定する。ここで、傾きは、水平線から傾いた角度を示す。線形パターンは、1つ以上の線を含んでもよく、線形パターンに含まれた1つ以上の線は、垂直や水平でない一定の角度を有し得る。説明の便宜のために、第1撮影映像に示された線形パターンは第1線形パターンと称する。第1ソース映像が検出されたカメラ位置で観測されるよう3D映像がレンダリングされるため、キャリブレーションが完了した場合であれば、第1撮影映像は、第1ソース映像にグラデーションが追加された形状を有する。したがって、傾きは水平に測定されてもよく、垂直位置は垂直方向の中心に測定されてもよい。ピッチパラメータのキャリブレーションが完了していない場合、第1撮影映像は、傾いた形態の線形パターンを含んでもよく、開始位置パラメータのキャリブレーションが完了していない場合、第1撮影映像は、垂直方向の中心からいずれか一方向に偏った位置に線形パターンを含む。この場合、傾きは、水平でない一定の角度に測定されてもよく、垂直位置は垂直方向の中心でない一定に偏った位置に測定されてもよい。
ステップS324において、キャリブレーション装置は、第1パラメータセットが第1条件を満たしているかを決定する。第1条件は、第1線形パターンの傾きが予め決定した第1閾値よりも小さいこと、第1線形パターンの基準線が予め決定した第1範囲内に位置することを含む。基準線は、線形パターンの傾き及び垂直位置を決定するために線形パターンから抽出されたものであり、線形パターンが複数の線を含む場合、この複数の線のいずれか1つに対応する。基準線の抽出過程については後述する。第1条件はユーザの設定、又は、試験的なデータに基づいて予め決定され得る。
第1パラメータセットが第1条件を満たさない場合にステップS325が実行される。ステップS325において、キャリブレーション装置は、第1パラメータセットを調整する。第1パラメータセットは、ピッチパラメータ及び開始位置パラメータを含む。キャリブレーション装置は、第1線形パターンの傾きが水平に変化するようピッチパラメータを調整し、第1線形パターンの垂直位置が垂直方向の中心に変化するよう開始位置パラメータを調整する。第1線形パターンの傾きは、ピッチパラメータによってのみ決定され、ピッチパラメータ及び開始位置パラメータは互いに独立的に調整できる。ピッチパラメータがキャリブレーションされた後、第1線形パターンの傾きが水平に近接され、水平状態の第1線形パターンの垂直位置を調整することが容易であるため、ピッチパラメータが調整された後開始位置パラメータが調整できる。
キャリブレーション装置は、第1線形パターンに含まれた線の個数に応じて第1パラメータセットを他の方式に調整されてもよい。第1線形パターンが1つの線を含んでいる場合、キャリブレーション装置は1つの線の傾きを測定し、ピッチパラメータを第1値だけ調整し、ピッチパラメータが第1値だけ調整されることによる1つの線の傾き変化に基づいて、ピッチパラメータを第2値だけ調整し得る。ここで、傾き変化は、傾きの変化方向及び傾きの変化程度を含む。このような方式は、第1線形パターンが複数の線を含む場合にも用いられる。
第1線形パターンが複数の線を含んでいる場合、第1線形パターンから2次線形パターンが検出され、ピッチパラメータの現在値、ピッチパラメータの実際値、及び2次線形パターンのピッチ間に一定の関係が成立する。このような関係を用いてピッチパラメータの実際値が算出される。例えば、第2線形パターンが複数の線を含んでいる場合、キャリブレーション装置は、複数の線によって示される2次線形パターンを検出し、2次線形パターンのピッチ及びピッチパラメータの現在値に基づいてピッチパラメータの実際値を決定し、決定されたピッチパラメータの実際値に基づいてピッチパラメータを調整する。1次パラメータセットの調整方式については、後で詳細に説明する。
ステップS325において、第1パラメータセットが調整された後、ステップS321が実行される。ステップS322で取得された第1撮影映像は、ステップS325で調整された第1パラメータセットが適用されたものである。言い換えれば、ステップS325で第1パラメータセットが調整されると、ステップS321で3D表示装置は、調整された第1パラメータセットに基づいて第1パターン映像を更新し、キャリブレーションカメラは、更新された第1パターン映像を表示する3D表示装置を撮影してキャリブレーション装置に第1撮影映像を提供する。
第1パラメータセットが第1条件が満たされる場合、ステップS331が実行される。ステップS331〜ステップS335は第2キャリブレーション過程と称する。ステップS331において、3D表示装置は、第2パターン映像を表示する。3D表示装置は、第1キャリブレーション過程を介して調整された第1パラメータセットに基づいて第2パターン映像を表示する。3D表示装置は、水平方向の中心に垂直線を含むソース映像が検出されたカメラ位置で観測されるよう、第2パターン映像に基づいた3D映像をレンダリングする。説明の便宜のために、水平方向の中心に垂直線を含むソース映像は第2ソース映像と称する。第2パターン映像は、3D変換装置によって3D映像に変換される。ステップS332において、キャリブレーション装置は、第2撮影映像を取得する。第2撮影映像は、第2パターン映像を表示する3D表示装置が撮影されたものであり、キャリブレーションカメラによって撮影されてキャリブレーション装置に提供される。一実施形態によれば、キャリブレーション装置は、第2撮影映像をワーピングして第2キャリブレーションを行うことができる。
ステップS333において、キャリブレーション装置は、第2撮影映像に示された線形パターンの傾き及び水平位置を測定する。ここで、傾きは、垂直線から傾いた角度を示す。説明の便宜のために第2撮影映像に示された線形パターンは、第2線形パターンと称する。第2ソース映像が検出されたカメラ位置で観測されるよう、3D映像がレンダリングされるため、キャリブレーションが完了した場合であれば、第2撮影映像は、第2ソース映像にグラデーションが追加された形状を含む。したがって、傾きは垂直に測定され、水平位置は水平方向の中心に測定される。傾斜角度パラメータのキャリブレーションが完了していない場合、第2撮影映像は、傾いた形態の線形パターンを含んでもよく、開始位置パラメータのキャリブレーションが完了していない場合、第2撮影映像は、水平方向の中心からいずれか一方向に偏った位置に線形パターンを含んでもよい。この場合、傾きは垂直ではない一定の角度で測定され、水平位置は、水平方向の中心ではない一定に偏った位置に測定される。
ステップS334において、キャリブレーション装置は、調整された第2パラメータセットが第2条件を満たしているかを決定する。第2条件は、第2線形パターンの傾きが予め決定した第2閾値よりも小さいこと、第2撮影映像に示された線形パターンの基準線が予め決定した第2範囲内に位置することを含む。第2条件は、ユーザの設定、又は試験的なデータに基づいて予め決定され得る。
第2パラメータセットが第2条件を満たさない場合、ステップS335が実行される。ステップS335において、キャリブレーション装置は第2パラメータセットを調整する。第2パラメータセットは、傾斜角度パラメータ及び開始位置パラメータを含む。キャリブレーション装置は、第2線形パターンの傾きが垂直に変化するよう傾斜角度パラメータを調整し、第2線形パターンの水平位置が水平方向の中心に変化するよう開始位置パラメータを調整する。ピッチパラメータのキャリブレーションが完了した場合、第2線形パターンの傾きは傾斜角度パラメータによって決定され、傾斜角度パラメータ及び開始位置パラメータは互いに独立的に調整され得る。傾斜角度パラメータがキャリブレーションされた後、第2線形パターンの傾きが垂直に近接され、垂直状態の第2線形パターンの水平位置を調整することが容易であるため、傾斜角度パラメータが調整された後開始位置パラメータが調整され得る。第2キャリブレーション過程で調整される開始位置パラメータは、第1キャリブレーション過程で調整される開始位置パラメータと互いに同一である。第1キャリブレーション過程で、開始位置パラメータのキャリブレーションが完了した場合、第2キャリブレーション過程で開始位置パラメータは大きく調整されないか、保持される。
キャリブレーション装置は、第1キャリブレーション過程と同様に、第2線形パターンに含まれた線の個数に応じて第2パラメータセットを他の方式で調整できる。第2線形パターンが1つの線を含んでいる場合、キャリブレーション装置は、以前の反復ステップ(iteration)で傾斜角度パラメータの調整に対応した1つの線の傾き変化を考慮し、現在の反復ステップで傾斜角度パラメータを調整する。このような方式は、第2線形パターンが複数の線を含んでいる場合にも用いられる。第2線形パターンが複数の線を含んでいる場合、第2線形パターンから2次線形パターンが検出される。2次線形パターンのピッチ及び傾斜角度パラメータの現在値に基づいて、傾斜角度パラメータの実際値を決定し得る。2次パラメータセットの調整方式については後で詳細に説明する。
ステップS335において、第2パラメータセットが調整された後、ステップS331が実行される。ステップS332で取得された第2撮影映像は、ステップS335で調整された第2パラメータセットが適用されたものである。第2パラメータセットが第2条件を満たす場合、キャリブレーションが終了する。第2パラメータセットが第2条件を満たすものと決定された場合、ステップS336において、キャリブレーション装置は、最終的に第1条件及び第2条件の満足の有無を確認する。ステップS336において、第1条件及び第2条件が満たされないものと決定される場合、ステップS321が再び実行される。その他に、第2キャリブレーション過程は、第1キャリブレーション過程について説明された事項が適用され得る。
図4は、一実施形態に係る3D表示装置のパラメータ及び撮影映像の線形パターン間の関係を示す図である。図4を参照すれば、第1ソース映像430に基づいて第1撮影映像435が取得され、第2ソース映像420に基づいて第2撮影映像425が取得される。便宜のために、第1撮影映像435及び第2撮影映像425は、キャリブレーションが完了した状態及びクロストークのない理想的な環境で取得された形態として図示されている。
ディスプレイ装置410について、ピッチ、開始位置、及び傾斜角度が定義される。3D変換装置412は単位要素を含む。単位要素は、ディスプレイパネル411を介して出力される映像に指向性を付与するためのもので、その例として、パララックスバリアのスリット(slit)及びレンチキュラーレンズの単位レンズが挙げられる。ピッチは単位要素の水平方向の周期を示し、ピッチにより3D映像内の視点が繰り返される区間の長さが決定される。ピッチパラメータを介して第1撮影映像435内の線形パターンの傾きが調整される。
傾斜角度は、単位要素が垂直線からの傾きを示す。レンダリング時に傾斜角度のタンジェント値を使用するため、キャリブレーション時にもタンジェント値を基準としてキャリブレーションが実行される。傾斜角度パラメータを介して第2撮影映像425内の線形パターンの傾きが調整される。開始位置は、単位要素とディスプレイパネル411内のピクセル間の相対位置を意味し、ディスプレイパネル411の左側上段を基準とする水平オフセットとしてレンダリングに使用される。開始位置パラメータを介して第1撮影映像435内の線形パターンの垂直位置及び第2撮影映像425内の線形パターンの水平位置が調整され得る。
図5は、一実施形態に係る線形パターンから基準線を抽出する過程を示す図である。キャリブレーション装置は線形パターンから基準線を抽出し、基準線を用いてキャリブレーションを行う。線形パターンが1つの線を含む場合、1つの線が基準線として決定され、線形パターンが複数の線を含む場合、複数の線のいずれか1つが基準線として決定される。
図5を参照すれば、線形パターンは、複数の線510、520、530を含む。キャリブレーション装置は、複数の線510、520、530のいずれか1つを基準線として決定する。一実施形態によれば、キャリブレーション装置は、複数の線510、520、530を構成しているピクセルを抽出し、抽出されたピクセルのうち基準ピクセルを決定する。基準ピクセルは、抽出されたピクセルの分布から平均位置に該当するピクセルとして決定される。
キャリブレーション装置は、複数の線510、520、530を構成しているピクセルのうち、線550上にあるピクセルを抽出する。抽出されたピクセルは同じx座標値を有するため、抽出されたピクセルのy座標値に基づいて抽出されたピクセルの分布を決定する。キャリブレーション装置は、y座標値に基づいて決定されたピクセルの分布から中心位置にあるピクセルを基準ピクセルとして決定する。もし、図5とは異なって、線形パターンが垂直方向の形態を有する場合、線550は水平方向の線に代替される。
キャリブレーション装置は、複数の線510、520、530のうち決定された基準ピクセルを含む線を基準線として決定する。例えば、線520が基準ピクセルを含んでいれば、線520が基準線として決定される。キャリブレーション装置は、基準線の傾き、基準線の垂直位置、又は基準線の水平位置に基づいてパラメータをキャリブレーションすることができる。
図6は、一実施形態に係るピッチパラメータを用いて線形パターンの傾きを調整する過程を示す図である。図6を参照すれば、キャリブレーション装置は、第1撮影映像610に示された線の傾きθを測定する。ここで、傾きは水平線から傾いた角度を示す。第1撮影映像610に示された線が水平線に近接するようキャリブレーションが実行される必要があるため、キャリブレーション装置は、傾きが閾値θTH1よりも小さくなることを目標とし、ピッチパラメータのキャリブレーションを繰り返し行う。
キャリブレーション装置は、ピッチパラメータをα1だけ調整する。第1撮影映像620は、α1だけ調整されたピッチパラメータに基づいて取得される。ピッチパラメータがα1だけ調整されることにより傾きθが傾きθに変化し、キャリブレーション装置は、傾きθ及び傾きθに基づいて傾き変化を測定する。傾き変化は、傾きの変化方向及び変化程度を含む。キャリブレーション装置は、測定された傾き変化に基づいてα2を決定し、ピッチパラメータをα2だけ調整し得る。
図6において、傾きθが傾きθよりも大きいことを確認できる。傾き変化方向が目標方向と反対であるため、キャリブレーション装置はα2をα1と反対方向に設定し得る。例えば、α1が正数であればα2を負数に設定する。また、α1による傾きの変化程度を考慮してα2の大きさを決定できる。
第1撮影映像630は、α2だけ調整されたピッチパラメータに基づいて取得される。傾きθが傾きθよりも小さくなると、α2に基づいた変化方向は目標方向に一致することを確認できる。キャリブレーション装置は、傾きθ及び傾きθに基づいた傾き変化に基づいてα3を決定する。例えば、α2の符号をα3に保持し、傾きの変化程度を考慮してα3の大きさを決定する。もし、ピッチパラメータをα1だけ調整して第1撮影映像630が取得された場合、キャリブレーション装置は、α1の符号をα3に保持し、傾きθ及び傾きθ間の傾きの変化程度を考慮してα3の大きさを決定する。キャリブレーション装置は、ピッチパラメータをα3だけ調整し得る。
キャリブレーション装置は、傾きが閾値θTH1よりも小さくなるまで、このような過程を繰り返す。
図7は、一実施形態に係る現在ピッチ、実際ピッチ、及び2次線形パターンのピッチ間の関係を示す図である。第1線形パターンが複数の線を含む場合、PLFRによるレンダリング形態710、及びPACTUALによるレンダリング形態720間の差により2次線形パターン730が検出される。PLFRは、現在レンダリングに用いられるピッチパラメータ値を意味し、PACTUALは、実際に設置された状態におけるピッチパラメータ値を意味する。PLFRはピッチパラメータの現在値と称し、PACTUALはピッチパラメータの実際値と称する。PLFRをPACTUALに一致させることがピッチパラメータキャリブレーションの目標となる。
LFRがn回繰り返されるとき、PACTUALは(n−1)回又は(n+1)回繰り返され、ここで、2次線形パターン730が一回生じる。したがって、PLFR、PACTUAL及びP間の関係は下記の数式(1)のように示すことができる。
Figure 0006926048
数式(1)において、PLFRはピッチパラメータの現在値を示し、PACTUALはピッチパラメータの実際値を示し、Pは2次線形パターン730のピッチを示し、nは正の整数である。数式(1)をPACTUALについて整理して下記の数式(2)を導き出すことができる。
Figure 0006926048
数式(2)によってPが無限になれば、PACTUAL及びPLFRが同一になることと、P及びPLFRを介してPACTUALを決定できることが分かる。PLFRは、ピッチパラメータの現在値であるため、すでに知っている値であり、第1線形パターンに示された複数の線の間の間隔を分析してPを測定できる。キャリブレーション装置は、P及びPLFRに基づいてPACTUALを決定し、PACTUALに基づいてピッチパラメータを調整し得る。数式(2)に(+)及び(−)の符号が全て存在するため、PACTUALは二種類の値を有する。キャリブレーション装置は、ピッチパラメータにこの値を順次代入して第1撮影映像を確認し、ピッチパラメータをこの値のいずれか1つとして決定し得る。
図8は、一実施形態に係る開始位置パラメータを用いて線形パターンの垂直位置を調整する過程を示す図である。以下で説明される線形パターンの垂直位置を調整する過程は、図6を参照して説明したピッチパラメータを用いて線形パターンの傾きを調整する過程に類似する。図6ではピッチパラメータを用いるが、図8では開始位置パラメータを用いる点、そして、図6では傾きが調整されるが、図8では垂直位置が調整される点が異なる。
図8を参照すれば、キャリブレーション装置は、第1撮影映像810に示された線の位置を測定する。ここで、線の位置は垂直方向位置で示される。測定された線の位置は、線を構成しているピクセルの座標に基づいて特定される。例えば、図8において、線の位置は線を構成しているピクセルのy座標の平均値に特定される。第1撮影映像810に示された線が基準水平線に近接するようキャリブレーションが実行される必要があるため、キャリブレーション装置は、第1撮影映像に示された線の位置が範囲r内に含まれることを目標とし、開始位置パラメータのキャリブレーションを繰り返し行う。
キャリブレーション装置は、開始位置パラメータをα1だけ調整する。第1撮影映像820はα1だけ調整された開始位置パラメータに基づいて取得される。開始位置パラメータがα1だけ調整されることで位置yが位置y2に変化し、キャリブレーション装置は、位置y及び位置yに基づいて位置変化を測定する。位置変化は、位置の変化方向及び変化程度を含む。キャリブレーション装置は、測定された位置変化に基づいてα2を決定し、開始位置パラメータをα2だけ調整し得る。
図8において、位置yが位置yに比べて基準水平線から遠ざかることを確認できる。位置の変化方向が目標方向と反対であるため、キャリブレーション装置は、α2をα1と反対方向に設定し得る。第1撮影映像830は、α2だけ調整された開始位置パラメータに基づいて取得される。位置yが位置yに比べて基準水平線に近いため、α2に基づいた変化方向は、目標方向に一致することが分かる。キャリブレーション装置は、位置y及び位置yに基づいた位置変化に基づいてα3を決定できる。例えば、α2の符号をα3に保持し、位置の変化程度を考慮してα3の大きさを決定する。もし、開始位置パラメータをα1だけ調整して第1撮影映像830が取得された場合、キャリブレーション装置は、α1の符号をα3に保持し、位置y及び位置y間の位置の変化程度を考慮してα3の大きさを決定できる。キャリブレーション装置は、開始位置パラメータをα3だけ調整し得る。
キャリブレーション装置は、線の位置が範囲rに含まれるまでこのような過程を繰り返す。
図9は、一実施形態に係る傾斜角度パラメータを用いて線形パターンの傾きを調整する過程を示す図である。以下で説明される傾斜角度パラメータを用いて線形パターンの傾きを調整する過程は、図6を参照して説明されたピッチパラメータを用いて線形パターンの傾きを調整する過程に類似する。図6では第1撮影映像及びピッチパラメータを用いるが、図9では第2撮影映像及び傾斜角度パラメータを用いる点、そして、図6に示す傾きは水平線から傾いた角度を示すが、図9に示す傾きは垂直線から傾いた角度を示す点が異なる。
キャリブレーション装置は、第2撮影映像に示された線の傾きが閾値θTH2よりも小さくなることを目標とし、傾斜角度パラメータのキャリブレーションを繰り返し行う。図9を参照すれば、キャリブレーション装置は、第2撮影映像910に示された線の傾きθを測定し、傾斜角度パラメータをα1だけ調整し、傾斜角度パラメータがα1だけ調整されることによる傾き変化に基づいて、傾斜角度パラメータをα2だけ調整する。ここで、傾き変化は、傾きθ及び傾きθに基づいて測定される。第2撮影映像920は、傾斜角度パラメータがα1だけ調整された後取得されたものであり、第2撮影映像930は、傾斜角度パラメータがα2だけ調整された後取得されたものである。第2撮影映像930で、傾きθが閾値θTH2よりも大きい状態であるため、前述した過程が繰り返される。その他に、傾斜角度パラメータを用いて線形パターンの傾きを調整する過程には、図6を参照して説明した事項が適用され得る。
図10は、一実施形態に係る水平ピッチと垂直ピッチとの間の関係を示す図である。図7を参照して説明したように、第1線形パターンが複数の線を含んでいる場合、第1線形パターンから2次線形パターンが検出される。同様に、第2線形パターンが複数の線を含む場合、第2線形パターンから2次線形パターンが検出される。言い換えれば、第1キャリブレーション過程で第1線形パターンによる2次線形パターンが検出され、第2キャリブレーション過程で第2線形パターンによる2次線形パターンが検出され得る。図7を参照して説明した内容と類似方法によって2次線形パターンを介して傾斜角度パラメータの実際値が算出され得る。
ピッチは、3D変換装置の単位要素の周期を示す。ピッチは、水平ピッチ及び垂直ピッチを含む。ピッチパラメータは水平ピッチに関する。水平ピッチ及び垂直ピッチについては、図10に示す関係が成立する。図10において、Pは図7を参照して説明したキャリブレーションされた状態のピッチパラメータである。言い換えれば、図10に示すPは、キャリブレーションの完了した状態のPACTUAL及びPLFRと同じ値を有する。水平ピッチPACTUALに関する数式(2)と同様に、垂直ピッチについても類似する数式が得られ、図10に示す関係式を利用すると、次式が得られる。
Figure 0006926048
数式(3)において、Pはキャリブレーションの完了したピッチパラメータを示し、Pは第2線形パターンから検出された2次線形パターンのピッチを示し、θACTUALは傾斜角度パラメータの実際値を示し、θLFRは傾斜角度パラメータの現在値を示す。数式(3)をtan(θACTUAL)について整理すれば、下記の数式(4)を導き出すことができる。
Figure 0006926048
数式(4)によりPがキャリブレーションされた状態でPが無限になれば、tan(θACTUAL)及びtan(θLFR)が同じになることと、P、P及びθLFRによってθACTUALを決定できる点が分かる。Pはすでに算出された値であり、θLFRは傾斜角度パラメータの現在値であるためすでに知っている値であり、第2線形パターンに示された複数の線の間の間隔を分析してPを測定できる。キャリブレーション装置はP、P及びθLFRに基づいてθACTUALを決定し、θACTUALに基づいて傾斜角度パラメータを調整できる。数式(4)に(+)及び(−)の符号が全て存在するため、θACTUALは二種類の値を有する。キャリブレーション装置は、傾斜角度パラメータにこの値を順次代入して第2撮影映像を確認し、傾斜角度パラメータをこの値のいずれか1つとして決定する。
図11は、一実施形態に係る開始位置パラメータを用いて線形パターンの水平位置を調整する過程を示す図である。以下で説明される線形パターンの水平位置を調整する過程は、図8を参照して説明した線形パターンの垂直位置を調整する過程と類似する。図8では第1撮影映像を用いるが、図11では第2撮影映像を用いる点、そして、図8では垂直位置が調整されるが、図11では水平位置が調整される点が異なる。
キャリブレーション装置は、第2撮影映像に示された線の位置が範囲r内に含まれることを目標とし、開始位置パラメータのキャリブレーションを繰り返し行う。図11を参照すれば、キャリブレーション装置は、第2撮影映像1110に示された位置xを測定し、開始位置パラメータをα1だけ調整し、開始位置パラメータがα1だけ調整されることによる線の位置変化に基づいて、開始位置パラメータをα2だけ調整する。ここで、位置変化は、位置x及び位置xに基づいて測定される。第2撮影映像1120は、開始位置パラメータがα1だけ調整された後取得されたものであり、第2撮影映像1130は、開始位置パラメータがα2だけ調整された後取得されたものである。第2撮影映像1130で、位置xが範囲r内に含まれなていない状態であるため前述の過程が繰り返される。その他に、開始位置パラメータを用いて線形パターンの水平位置を調整する過程については、図8を参照して説明した事項が適用される。
図12は、一実施形態に係る第1キャリブレーション過程で第1撮影映像の変化過程を示す図である。図12を参照すれば、ピッチパラメータを調整して第1撮影映像1210〜第1撮影映像1240が取得される。第1撮影映像1210に示された第1線形パターンが複数の線を含んでいるため、前述した数式(2)を用いてピッチパラメータの実際値が取得され得る。取得されたピッチパラメータの実際値を適用して第1撮影映像1230が第1撮影映像1240に変化される。第1撮影映像1240で、第1線形パターンの基準線の傾きが第1条件の閾値よりも小さいと確認され、ピッチパラメータのキャリブレーションが終了する。第1撮影映像1240で、第1線形パターンの基準線の位置が第1条件の範囲に含まれて開始位置パラメータは別に調整されなくてもよい。
図13は、一実施形態に係る第2キャリブレーション過程で第2撮影映像の変化過程を示す図である。図13を参照すれば、傾斜角度パラメータを調整して第2撮影映像1310〜第2撮影映像1340が取得される。第2撮影映像1310に示された第2線形パターンが複数の線を含んでいるため、前述された数式(4)を用いて傾斜角度パラメータの実際値が取得され得る。取得された傾斜角度パラメータの実際値を適用して第2撮影映像1330が第2撮影映像1340に変化される。第2撮影映像1340で、傾斜角度パラメータ及び開始位置パラメータを調整して第2撮影映像1340が第2撮影映像1350に変化される。第2撮影映像1350で、第2線形パターンの基準線の傾きが第2条件の閾値よりも小さいと確認されて傾斜角度パラメータのキャリブレーションが終了し、第2線形パターンの基準線の位置が第2条件の範囲に含まれて開始位置パラメータのキャリブレーションが終了される。
図14は、一実施形態に係るキャリブレーションが完了した状態の第1撮影映像及び第2撮影映像を示す図である。第1撮影映像1410及び第2撮影映像1420は、図12及び図13を参照してキャリブレーションが完了した状態で取得されたものである。第1撮影映像1410の第1線形パターンは水平形態で垂直方向の中心に位置し、第2撮影映像1420の第2線形パターンは垂直形態で水平方向の中心に位置する。また、図14及び前述された数式(1)を参照すれば、第1撮影映像1410でPが無限である状態であるため、PACTUAL及びPLFRが一致することを確認できる。図14及び前述された数式(3)を参照すれば、第2撮影映像1420でPが無限である状態であるため、θACTUAL及びθLFRが一致することを確認できる。
図15は、一実施形態に係るギャップパラメータの調整過程を示す図である。図15を参照すれば、3D表示装置1510、カメラの第1位置a、カメラの第2位置b、及び第1位置a及び第2位置b間の距離dが図示されている。上記ではカメラが固定された状況でピッチパラメータ、傾斜角度パラメータ、及び開始位置パラメータをキャリブレーションする過程について説明した。図15に示すように異なる位置でディスプレイ装置1510を撮影してギャップパラメータをキャリブレーションすることができる。
まず、位置aで前述した第1キャリブレーション及び第2キャリブレーション過程を介してピッチパラメータ、傾斜角度パラメータ、及び開始位置パラメータをキャリブレーションする。説明の便宜のために、ピッチパラメータ、傾斜角度パラメータ、及び開始位置パラメータを第3パラメータセットと指する。例えば、3D表示装置1510は、位置aで基準視点のパターン映像が観測されるようパターン映像をレンダリングし、カメラは、位置aで3D表示装置1510を撮影する。キャリブレーション装置は、撮影映像に基づいて位置aに関する第3パラメータセットのキャリブレーションを行う。
次に、3D表示装置1510は、位置bで基準視点のパターン映像が観測されるようパターン映像をレンダリングし、カメラは、位置bで3D表示装置1510を撮影する。一実施形態によれば、距離dは、目の間の距離(inter−pupil distance)に対応する。ギャップパラメータのキャリブレーションが完了した状況であれば、位置aで第3パラメータセットのキャリブレーションが完了することにより、位置aだけではなく位置bにおいてもクロストークが発生しない。もし、位置aで第3パラメータセットのキャリブレーションが完了したにも関わらず、位置bでクロストークが発生すれば、ギャップパラメータのキャリブレーションが求められる状況である。この場合、キャリブレーション装置は、ギャップパラメータを調整してギャップパラメータのキャリブレーションを行ってもよい。例えば、キャリブレーション装置は、ギャップパラメータを増加させたり減少させながら、位置bでクロストークが発生するかをチェックし、位置bでこれ以上のクロストークが発生しない場合、ギャップパラメータのキャリブレーションを終了する。
図16は、一実施形態に係るキャリブレーション方法を示すフローチャートである。図16を参照すれば、キャリブレーション装置はステップS1610において、第1パターン映像を表示する3D表示装置が撮影された第1撮影映像を取得し、ステップS1620において、第1撮影映像に基づいて3D表示装置の第1パラメータセットを調整し、ステップS1630において、調整された第1パラメータセットに基づいて第2パターン映像を表示する3D表示装置が撮影された第2撮影映像を取得し、ステップS1640において、第2撮影映像に基づいて3D表示装置の第2パラメータセットを調整する。その他に、キャリブレーション方法として、図1〜図15を参照して説明された内容が適用される。
図17は、一実施形態に係る3D表示装置の動作方法を示すフローチャートである。図17を参照すれば、3D表示装置は、ステップS1710において、第1パターン映像を表示し、ステップS1720において、第1パターン映像を表示する3D表示装置が撮影された、第1撮影映像に基づいて第1パラメータセットを調整し、ステップS1730において、調整された第1パラメータセットに基づいて第2パターン映像を表示し、ステップS1740において、第2パターン映像を表示する3D表示装置が撮影された、第2撮影映像に基づいて第2パラメータセットを調整する。その他に、ディスプレイ装置の動作方法として、図1〜図16を参照して説明された内容が適用される。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの1つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び/又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

Claims (30)

  1. 第1パターン映像を表示する3D表示装置が撮影された第1撮影映像を取得するステップと、
    前記第1撮影映像に基づいて前記3D表示装置の第1パラメータセットを調整するステップと、
    前記調整された第1パラメータセットに基づいて第2パターン映像を表示する前記3D表示装置が撮影された第2撮影映像を取得するステップと、
    前記第2撮影映像に基づいて前記3D表示装置の第2パラメータセットを調整するステップと、
    を含み、それぞれ複数の視点に対応する第1ソース映像に基づいて前記第1パターン映像を生成するステップをさらに含み、
    前記第1ソース映像それぞれは、対応する視点に応じて異なる位置に水平線を含む、キャリブレーション方法。
  2. 第1パターン映像を表示する3D表示装置が撮影された第1撮影映像を取得するステップと、
    前記第1撮影映像に基づいて前記3D表示装置の第1パラメータセットを調整するステップと、
    前記調整された第1パラメータセットに基づいて第2パターン映像を表示する前記3D表示装置が撮影された第2撮影映像を取得するステップと、
    前記第2撮影映像に基づいて前記3D表示装置の第2パラメータセットを調整するステップと、
    を含み、それぞれ複数の視点に対応する第2ソース映像に基づいて前記第2パターン映像を生成するステップをさらに含み、
    前記第2ソース映像それぞれは、対応する視点に応じて異なる位置に垂直線を含む、キャリブレーション方法。
  3. 記第1パターン映像は前記水平線を除いた全領域に黒い領域を含む、請求項1に記載のキャリブレーション方法。
  4. 前記第2パターン映像は前記垂直線を除いた全領域に黒い領域を含む、請求項に記載のキャリブレーション方法。
  5. 第1条件が満たされるまで、前記第1撮影映像を取得するステップ及び前記第1パラメータセットを調整するステップを繰り返すステップをさらに含む、請求項1ないし4のうち何れか一項に記載のキャリブレーション方法。
  6. 前記第1条件は、前記第1撮影映像に示された線形パターンの傾きが予め決定した第1閾値よりも小さいこと、前記第1撮影映像に示された線形パターンの基準線が予め決定した第1範囲内に位置することを含む、請求項5に記載のキャリブレーション方法。
  7. 前記第1パラメータセットは、前記3D表示装置内の3D変換装置の単位要素の水平方向の周期を示すピッチパラメータを含み、
    前記第1撮影映像に示された線形パターンが1つの線を含む場合、前記第1パラメータセットを調整するステップは、
    前記1つの線の傾きを測定するステップと、
    前記ピッチパラメータを第1値だけ調整するステップと、
    前記ピッチパラメータが前記第1値だけ調整されることによる前記1つの線の傾き変化に基づいて、前記ピッチパラメータを第2値だけ調整するステップと、
    を含む、請求項1ないし6のうち何れか一項に記載のキャリブレーション方法。
  8. 前記第1パラメータセットは、前記3D表示装置内の3D変換装置の単位要素の水平方向の周期を示すピッチパラメータを含み、
    前記第1撮影映像に示された線形パターンが複数の線を含む場合、前記第1パラメータセットを調整するステップは、
    次線形パターンを検出するステップと、
    前記2次線形パターンのピッチ(p 及び前記ピッチパラメータの現在値(p LFR に基づいて、前記ピッチパラメータの実際値(p ACTUAL を決定するステップと、
    前記決定されたピッチパラメータの実際値に基づいて前記ピッチパラメータを調整するステップと、
    を含み、np LFR =(n±1)p ACTUAL =p が成り立つ、請求項1ないし6のうち何れか一項に記載のキャリブレーション方法。
  9. 前記第1パラメータセットは、前記3D表示装置内の3D変換装置及び前記3D表示装置内のディスプレイパネル間の相対位置を示す開始位置パラメータを含み、
    前記第1パラメータセットを調整するステップは、
    前記第1撮影映像に示された線形パターンの基準線の位置を測定するステップと、
    前記開始位置パラメータを第1値だけ調整するステップと、
    前記開始位置パラメータが前記第1値だけ調整されることによる前記基準線の位置変化に基づいて、前記開始位置パラメータを第2値だけ調整するステップと、
    を含む、請求項1ないし6のうち何れか一項に記載のキャリブレーション方法。
  10. 第2条件が満たされるまで、前記第2撮影映像を取得するステップ及び前記第2パラメータセットを調整するステップを繰り返すステップをさらに含む、請求項1ないし4のうち何れか一項に記載のキャリブレーション方法。
  11. 前記第2条件は、前記第2撮影映像に示された線形パターンの傾きが予め決定した第2閾値よりも小さいこと、前記第2撮影映像に示された線形パターンの基準線が予め決定した第2範囲内に位置することを含む、請求項10に記載のキャリブレーション方法。
  12. 前記第2パラメータセットは、前記3D表示装置内の3D変換装置の単位要素の傾きを示す傾斜角度パラメータを含み、
    前記第2撮影映像に示された線形パターンが1つの線を含む場合、前記第2パラメータセットを調整するステップは、
    前記1つの線の傾きを測定するステップと、
    前記傾斜角度パラメータを第1値だけ調整するステップと、
    前記傾斜角度パラメータが前記第1値だけ調整されることによる前記1つの線の傾き変化に基づいて、前記傾斜角度パラメータを第2値だけ調整するステップと、
    を含む、請求項1ないし11のうち何れか一項に記載のキャリブレーション方法。
  13. 前記第2パラメータセットは、前記3D表示装置内の3D変換装置の単位要素の傾きを示す傾斜角度パラメータを含み、
    前記第2撮影映像に示された線形パターンが複数の線を含む場合、前記第2パラメータセットを調整するステップは、
    次線形パターンを検出するステップと、
    前記検出された2次線形パターンのピッチ(p 及び前記傾斜角度パラメータの現在値(θ LFR に基づいて、前記傾斜角度パラメータの実際値(θ ACTUAL を決定するステップと、
    前記決定された傾斜角度パラメータの実際値に基づいて前記傾斜角度パラメータを調整するステップと、
    を含み、tanθ ACTUAL =tanθ LFR ±p/p が成り立ち、pはキャリブレーション済みのピッチを示す、請求項1ないし11のうち何れか一項に記載のキャリブレーション方法。
  14. 前記傾斜角度パラメータを調整するステップは、
    前記調整された第1パラメータセットに含まれた前記3D変換装置の単位要素の水平方向の周期を示すピッチパラメータをさらに考慮して前記傾斜角度パラメータを調整するステップを含む、請求項13に記載のキャリブレーション方法。
  15. ワーピング映像を表示する前記3D表示装置が撮影された第3撮影映像を取得するステップと、
    前記第3撮影映像に基づいて、前記第1撮影映像及び前記第2撮影映像をワーピングするためのワーピングパラメータを決定するステップと、
    をさらに含む、請求項1ないし14のうち何れか一項に記載のキャリブレーション方法。
  16. 前記第1撮影映像を取得するステップは、前記ワーピングパラメータに基づいて前記第1撮影映像をワーピングするステップを含み、
    前記第2撮影映像を取得するステップは、前記ワーピングパラメータに基づいて前記第2撮影映像をワーピングするステップを含む、請求項15に記載のキャリブレーション方法。
  17. 3D表示装置の動作方法において、
    第1パターン映像を表示するステップと、
    前記第1パターン映像を表示する前記3D表示装置が撮影された、第1撮影映像に基づいて第1パラメータセットを調整するステップと、
    前記調整された第1パラメータセットに基づいて第2パターン映像を表示するステップと、
    前記第2パターン映像を表示する前記3D表示装置が撮影された、第2撮影映像に基づいて第2パラメータセットを調整するステップと、
    を含み、それぞれ複数の視点に対応する第1ソース映像に基づいて前記第1パターン映像を生成するステップをさらに含み、
    前記第1ソース映像それぞれは、対応する視点に応じて異なる位置に水平線を含む、動作方法。
  18. 前記第1パターン映像は少なくとも1つの水平線に基づき、前記第2パターン映像は少なくとも1つの垂直線に基づく、請求項17に記載の動作方法。
  19. 前記第1撮影映像に基づいて生成された第1制御信号を受信するステップをさらに含み、
    前記第1パラメータセットを調整するステップは、前記第1制御信号に基づいて前記第1パラメータセットを調整するステップを含む、請求項17又は18に記載の動作方法。
  20. 前記第2撮影映像に基づいて生成された第2制御信号を受信するステップをさらに含み、
    前記第2パラメータセットを調整するステップは、前記第2制御信号に基づいて前記第2パラメータセットを調整するステップを含む、請求項17ないし19のうち何れか一項に記載の動作方法。
  21. 前記第1撮影映像及び前記第2撮影映像を撮影するカメラの位置を検出するステップと、
    前記第1パターン映像に基づいた3D映像の基準視点及び前記第2パターン映像に基づいた3D映像の基準視点が前記カメラの位置に対応するよう、前記第1パターン映像及び前記第2パターン映像をレンダリングするステップと、
    をさらに含む、請求項17ないし20のうち何れか一項に記載の動作方法。
  22. 請求項1乃至請求項21のうちいずれか一項に記載の方法を装置のコンピュータに実行させる命令語を含むコンピュータプログラム。
  23. プロセッサと、
    前記プロセッサで読み出し可能な命令語を含むメモリと、
    を含み、
    前記命令語が前記プロセッサで実行されると、前記プロセッサは、それぞれ複数の視点に対応する第1ソース映像に基づいて第1パターン映像を生成し、前記第1パターン映像を表示する3D表示装置が撮影された第1撮影映像を取得し、前記第1撮影映像に基づいて前記3D表示装置の第1パラメータセットを調整し、前記調整された第1パラメータセットに基づいて第2パターン映像を表示する前記3D表示装置が撮影された第2撮影映像を取得し、前記第2撮影映像に基づいて前記3D表示装置の第2パラメータセットを調整し、前記第1ソース映像それぞれは、対応する視点に応じて異なる位置に水平線を含む、キャリブレーション装置。
  24. 前記第1パターン映像は少なくとも1つの水平線を含み、前記第2パターン映像は少なくとも1つの垂直線を含む、請求項23に記載のキャリブレーション装置。
  25. 前記プロセッサは、第1条件が満たされるまで、前記第1撮影映像を取得すること及び前記第1パラメータセットを調整することを繰り返す、請求項23又は24に記載のキャリブレーション装置。
  26. 前記第1条件は、前記第1撮影映像に示された線形パターンの傾きが予め決定した第1閾値よりも小さいこと、前記第1撮影映像に示された線形パターンの基準線が予め決定した第1範囲内に位置することを含む、請求項25に記載のキャリブレーション装置。
  27. 前記プロセッサは、第2条件が満たされるまで、前記第2撮影映像を取得すること及び前記第2パラメータセットを調整することを繰り返す、請求項23又は24に記載のキャリブレーション装置。
  28. 前記第2条件は、前記第2撮影映像に示された垂直パターンの傾きが予め決定した第2閾値よりも小さいこと、前記第2撮影映像に示された線形パターンの基準線が予め決定した第2範囲内に位置することを含む、請求項27に記載のキャリブレーション装置。
  29. 3D表示装置において、
    ディスプレイパネルと、
    プロセッサと、
    前記プロセッサで読み出し可能な命令語を含むメモリと、
    を含み、
    前記命令語が前記プロセッサで実行されると、前記プロセッサは、それぞれ複数の視点に対応する第1ソース映像に基づいて第1パターン映像を生成し、前記ディスプレイパネルを介して前記第1パターン映像を表示し、前記第1パターン映像が表示された状態で前記3D表示装置が撮影された、第1撮影映像に基づいて第1パラメータセットを調整し、前記調整された第1パラメータセットに基づいて前記ディスプレイパネルを介して第2パターン映像を表示し、前記第2パターン映像が表示された状態で前記3D表示装置が撮影された、第2撮影映像に基づいて第2パラメータセットを調整し、前記第1ソース映像それぞれは、対応する視点に応じて異なる位置に水平線を含む、3D表示装置。
  30. 前記第1パターン映像は少なくとも1つの水平線を含み、前記第2パターン映像は少なくとも1つの垂直線を含む、請求項29に記載の3D表示装置。
JP2018193229A 2017-10-27 2018-10-12 3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法 Active JP6926048B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0141362 2017-10-27
KR1020170141362A KR102401168B1 (ko) 2017-10-27 2017-10-27 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2019082680A JP2019082680A (ja) 2019-05-30
JP6926048B2 true JP6926048B2 (ja) 2021-08-25

Family

ID=63207481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018193229A Active JP6926048B2 (ja) 2017-10-27 2018-10-12 3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法

Country Status (5)

Country Link
US (2) US10721462B2 (ja)
EP (2) EP3972245A1 (ja)
JP (1) JP6926048B2 (ja)
KR (1) KR102401168B1 (ja)
CN (1) CN109729341B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
KR102650332B1 (ko) 2018-12-12 2024-03-22 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
CN111739359A (zh) * 2020-06-30 2020-10-02 上海乂学教育科技有限公司 增强现实的课件生成系统
WO2022250164A1 (ja) * 2021-05-28 2022-12-01 京セラ株式会社 3次元画像表示システムの設定方法
KR20230018075A (ko) * 2021-07-29 2023-02-07 삼성전자주식회사 시차 광학 소자의 캘리브레이션 장치 및 방법
KR20230046566A (ko) 2021-09-30 2023-04-06 삼성전자주식회사 룩 다운 앵글의 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법
CN118216136A (zh) * 2021-11-17 2024-06-18 索尼集团公司 信息处理装置、图像处理方法和程序
KR102715850B1 (ko) * 2023-01-05 2024-10-15 주식회사 모픽 무안경 3차원 디스플레이를 위한 카메라 모듈의 시점을 테스트하는 방법 및 시스템

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2317771A (en) * 1996-09-27 1998-04-01 Sharp Kk Observer tracking directional display
US5867322A (en) 1997-08-12 1999-02-02 Eastman Kodak Company Remote approval of lenticular images
AU2001266862A1 (en) * 2000-06-12 2001-12-24 Vrex, Inc. Electronic stereoscopic media delivery system
US6759998B2 (en) * 2001-10-19 2004-07-06 Intel Corporation Method and apparatus for generating a three-dimensional image on an electronic display device
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
WO2005101321A2 (en) * 2004-04-05 2005-10-27 Actuality Systems, Inc. Processing three dimensional data for spatial three dimensional displays
JP2006162666A (ja) 2004-12-02 2006-06-22 Toshiba Corp 立体画像表示装置およびそのレンズ位置合わせ方法
US8520060B2 (en) 2007-02-25 2013-08-27 Humaneyes Technologies Ltd. Method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
EP2063647A1 (en) * 2007-11-24 2009-05-27 Barco NV Calibration of a 3-dimensional display
EP2063648A1 (en) * 2007-11-24 2009-05-27 Barco NV Sensory unit for a 3-dimensional display
JP2010039184A (ja) 2008-08-05 2010-02-18 Nippon Hoso Kyokai <Nhk> 画像表示装置
WO2010072065A1 (zh) * 2008-12-25 2010-07-01 深圳市泛彩溢实业有限公司 全息三维图像信息采集装置、方法及还原装置、方法
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
JP5656059B2 (ja) * 2010-08-25 2015-01-21 Nltテクノロジー株式会社 実装精度検査方法及びその検査方法を用いる検査装置
US20120154559A1 (en) * 2010-12-21 2012-06-21 Voss Shane D Generate Media
US8872897B2 (en) * 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
JP2014522591A (ja) * 2011-05-25 2014-09-04 サード ディメンション アイピー リミテッド ライアビリティー カンパニー 角スライス実像3dディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
US8723920B1 (en) * 2011-07-05 2014-05-13 3-D Virtual Lens Technologies, Llc Encoding process for multidimensional display
WO2013028201A1 (en) * 2011-08-25 2013-02-28 Hewlett-Packard Development Company, L.P. Model-based stereoscopic and multiview cross-talk reduction
US9185398B2 (en) * 2011-09-22 2015-11-10 Google Technology Holdings LLC Method and apparatus for providing three-dimensional content
KR101890622B1 (ko) 2011-11-22 2018-08-22 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 칼리브레이션 방법
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
EP2615838B1 (en) * 2012-01-12 2019-08-21 SeeFront GmbH Calibration of an autostereoscopic display system
US9341859B2 (en) * 2012-07-06 2016-05-17 Innolux Corporation 3D image based alignment method
KR101893788B1 (ko) 2012-08-27 2018-08-31 삼성전자주식회사 다시점 카메라간 정합 장치 및 방법
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US20150035993A1 (en) * 2013-08-05 2015-02-05 Sonic Ip, Inc. Systems, methods, and media for calibrating a display device
WO2015023762A2 (en) 2013-08-16 2015-02-19 Dolby Laboratories Licensing Corporation Systems and methods for light field modeling techniques for multi-modulation displays
CN105683814B (zh) * 2013-10-25 2017-12-08 夏普株式会社 立体显示装置
KR20150057431A (ko) * 2013-11-19 2015-05-28 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
DE112015001685T5 (de) * 2014-04-30 2016-12-22 Ankit Singh System und Verfahren zum Kalibrieren der Ausrichtung eines dreidimensionalen Displays innerhalb eines Fahrzeuges
KR102370062B1 (ko) * 2014-11-24 2022-03-04 삼성전자주식회사 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
CN105704480B (zh) * 2014-11-25 2018-01-30 深圳超多维光电子有限公司 立体显示装置检测系统及其检测方法
KR101618463B1 (ko) * 2014-12-09 2016-05-04 한국과학기술연구원 무안경식 3차원 영상표시장치의 시역특성 측정 시스템 및 방법
EP3070943B1 (en) * 2015-03-20 2019-11-06 Nintendo Co., Ltd. Method and apparatus for calibrating an autostereoscopic display device
KR102415501B1 (ko) 2015-08-07 2022-07-01 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
CN106488210B (zh) * 2015-08-28 2019-04-16 深圳超多维科技有限公司 立体显示设备的校正参数获取方法及装置
EP3384845B1 (en) * 2015-11-30 2019-09-18 Alps Alpine Co., Ltd. Calibration method, portable device, and program
KR102176963B1 (ko) * 2016-06-20 2020-11-10 인터내셔널 인스티튜트 오브 인포메이션 테크놀로지, 하이데라바드 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
CN107179613B (zh) * 2017-06-23 2019-08-06 深圳超多维科技有限公司 一种裸眼立体显示设备的显示校正方法、装置及电子设备
CN107155104B (zh) * 2017-06-23 2020-08-04 深圳超多维科技有限公司 一种裸眼立体显示设备的显示校正方法及装置

Also Published As

Publication number Publication date
US20190132581A1 (en) 2019-05-02
EP3972245A1 (en) 2022-03-23
JP2019082680A (ja) 2019-05-30
CN109729341B (zh) 2022-03-22
EP3477945A1 (en) 2019-05-01
KR102401168B1 (ko) 2022-05-24
US10721462B2 (en) 2020-07-21
US11284059B2 (en) 2022-03-22
CN109729341A (zh) 2019-05-07
KR20190047453A (ko) 2019-05-08
US20200322593A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6926048B2 (ja) 3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
KR102415501B1 (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US9286680B1 (en) Computational multi-camera adjustment for smooth view switching and zooming
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US11575883B2 (en) 3D test chart, adjusting arrangement, forming method and adjusting method thereof
US20080080852A1 (en) Single lens auto focus system for stereo image generation and method thereof
US20100194902A1 (en) Method for high dynamic range imaging
KR20120048301A (ko) 디스플레이 장치 및 방법
US20110187827A1 (en) Method and apparatus for creating a stereoscopic image
US20120194905A1 (en) Image display apparatus and image display method
CN103533340A (zh) 移动终端的裸眼3d播放方法和移动终端
JP2009175866A (ja) 立体像生成装置、その方法およびそのプログラム
CN105898338A (zh) 全景视频播放方法及装置
US10523928B2 (en) Method and apparatus for correcting distortion
JP2022061495A (ja) 動的クロストークを測定する方法及び装置
US20220270210A1 (en) Method and device for restoring image obtained from array camera
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
KR102112491B1 (ko) 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결
JP2006267767A (ja) 画像表示装置
CN108377383B (zh) 一种多投影3d系统光场对比度调整方法及其系统
CN114967170B (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN113597758B (zh) 用于校正柱状透镜失真的方法和装置
KR102706802B1 (ko) 집적영상 검출장치 및 그 제어방법
TWI812359B (zh) 裸視三維顯示方法及裸視三維顯示裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210804

R150 Certificate of patent or registration of utility model

Ref document number: 6926048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250