JP5416094B2 - リアルタイムにビデオホログラムを計算する解析的方法 - Google Patents

リアルタイムにビデオホログラムを計算する解析的方法 Download PDF

Info

Publication number
JP5416094B2
JP5416094B2 JP2010507927A JP2010507927A JP5416094B2 JP 5416094 B2 JP5416094 B2 JP 5416094B2 JP 2010507927 A JP2010507927 A JP 2010507927A JP 2010507927 A JP2010507927 A JP 2010507927A JP 5416094 B2 JP5416094 B2 JP 5416094B2
Authority
JP
Japan
Prior art keywords
hologram
sub
lens
prism
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010507927A
Other languages
English (en)
Other versions
JP2010527039A (ja
JP2010527039A5 (ja
Inventor
アレキサンダー シュヴェルトナー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SeeReal Technologies SA
Original Assignee
SeeReal Technologies SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SeeReal Technologies SA filed Critical SeeReal Technologies SA
Publication of JP2010527039A publication Critical patent/JP2010527039A/ja
Publication of JP2010527039A5 publication Critical patent/JP2010527039A5/ja
Application granted granted Critical
Publication of JP5416094B2 publication Critical patent/JP5416094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833Look up table
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45Representation of the decomposed object
    • G03H2210/452Representation of the decomposed object into points

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Description

本発明は、ホログラフィック表示装置に対してリアルタイムにビデオホログラムを計算する解析的方法に関する。
ホログラフィック表示装置等は、実質的には、サブホログラムが再構成されるシーンの各オブジェクト点と共に規定され且つ全体のホログラムが少なくとも1つの光変調器手段を使用してサブホログラムの重畳により形成されるという原理に基づく。尚、少なくとも1つの光変調器手段において、オブジェクト点に分割されるシーンは全体のホログラムとして符号化され、シーンはビデオホログラムの再構成の1周期間隔内に存在する可視領域からの再構成として見られる。一般的に、その原理は、主にオブジェクトから1つ又は複数の可視領域に放射される波面を再構成することである。詳細には、そのような装置は、個々のオブジェクト点の再構成が光変調器手段において符号化される全体のホログラムの部分集合であるサブホログラムのみを必要とするという原理に基づく。ホログラフィック表示装置は、少なくとも1つのスクリーン手段を含む。スクリーン手段は、シーンのホログラムが符号化される光変調器自体であるか、あるいは光変調器において符号化されたシーンのホログラム又は波面が結像されるレンズ又はミラー等の光学素子である。
可視領域におけるシーンの再構成に対するスクリーン手段の定義及び対応する原理は、本出願人により出願された他の文献において説明される。国際公開第WO2004/044659号及び国際公開第WO2006/027228号においては、光変調器自体がスクリーン手段を形成する。国際公開第WO2006/119760号の「Projection device and method for holographic reconstruction of scenes」においては、スクリーン手段は、光変調器上で符号化されたホログラムが結像される光学素子である。独国特許出願公開第10 2006 004 300号の「Projection device for the holographic reconstruction of scenes」においては、スクリーン手段は、光変調器上で符号化されたシーンの波面が結像される光学素子である。本出願人により出願された国際公開第WO2006/066919号は、ビデオホログラムを計算する方法を説明している。
「可視領域」は、観察者が十分な可視性でシーンの再構成全体を見れる制限された領域である。可視領域内において、再構成シーンが観察者に対して可視となるように波面が干渉する。可視領域の位置は、観察者の眼において又は眼に近接して特定される。可視領域は、x方向、y方向及びz方向に移動可能であり、周知の位置検出及び追跡システムを使用して実際の観察者の位置に対して追跡される。2つの可視領域、すなわち各眼に対して1つの可視領域を使用できる。一般的に、可視領域の更に複雑な構成も可能である。更に、個々のオブジェクト又はシーン全体が観察者に対して光変調器の後方に存在するように見えるようにビデオホログラムを符号化できる。
本明細書において、用語「光変調器手段」又は「SLM」は、1つ又は複数の個別の光源により放射された光ビームの切り替え、ゲート制御、又は、変調を行なうことにより光の強度、色及び/又は位相を制御する装置を示す。ホログラフィック表示装置は、一般的に、ディスプレイパネルを通過する光の振幅及び/又は位相を変調することによりオブジェクト点を再構成する制御可能な画素のマトリクスを含む。光変調器手段は、そのようなマトリクスを含む。光変調器手段は、例えば、音響光学変調器AOM、又は、連続型変調器であってもよい。振幅変調によりホログラムを再構成する一実施形態は、液晶ディスプレイ(LCD)を利用するものである。更に、本発明は、十分にコヒーレントな光を光波面又は光波曲線に変調するために使用される制御可能装置に関する。
用語「画素」は、光変調器の制御可能なホログラム画素を示し、画素は、ホログラムポイントの離散値を表し、個別にアドレス指定及び制御される。各画素は、ホログラムのホログラムポイントを表す。LCディスプレイの場合、画素は、個別に制御可能な表示画素である。DLP(デジタルライトプロセッサ)等のDMD(デジタル・マイクロミラーデバイス)の場合、画素は、個別に制御可能なマイクロミラー又はそのようなミラーの小さなグループである。連続した光変調器手段の場合、画素は、ホログラムポイントを表す仮想領域である。カラー表現の場合、一般的に、画素は、原色を表す複数のサブ画素に細分される。
用語「変換」は、変換と同一の又は変換を近似する任意の数学的技術、又は、計算技術を含むものとして解釈される。数学的な意味での変換は、単に物理的な処理の近似であり、これはマクスウェル波動方程式により、更に正確に記述される。フレネル変換又はフーリエ変換として周知の特別なグループの変換等の変換は、2次近似を記述する。一般的に、変換は、代数方程式及び非微分方程式により表され、従って、周知の計算手段を使用して高性能に効率的に処理される。更に、変換は、光学系を使用して正確にモデル化される。
本出願人により出願された国際公開第WO2006/066919号は、ビデオホログラムを計算する方法を説明している。一般的に、その方法は、シーンを光変調器の平面に平行なセクション平面にスライスする工程と、全てのそれらのセクション平面を可視領域に変換する工程と、それらを加算する工程とを含む。その後、加算された結果は、光変調器も配設されるホログラム面に逆変換され、それによりビデオホログラムの複素ホログラム値を決定する。
独国特許出願公開第10 2006 042 324号は、ビデオホログラムをリアルタイムに生成する方法を説明している。その方法は、単一のオブジェクト点の再構成がSLM上で符号化される全体のホログラムの部分集合であるサブホログラムのみを必要とするという原理を使用する。方法は、オブジェクト点毎にサブホログラムの寄与がルックアップテーブルから検索され、シーン全体を再構成するために全体のホログラムを形成するように前記サブホログラムが蓄積されることを特徴とする。
国際公開第WO2004/044659号 国際公開第WO2006/027228号 国際公開第WO2006/119760号 独国特許出願公開第10 2006 004 300号 国際公開第WO2006/066919号 独国特許出願公開第10 2006 042 324号
対話型リアルタイム表現に対してビデオホログラムを生成する前者の方法は、資源に対して大きな労力が費やされることによってのみ実現可能である。更に、複素計算工程が多いため、ビデオホログラムを生成することにより、大きな計算負荷がかかり、高性能でコストのかかる計算ユニットが必要とされる。計算時間が長くなると、ビデオシーケンス及び対話型3次元リアルタイムアプリケーションには所望の回数のリフレッシュが提供されないという危険性がある。
従来のビデオ技術と同様に、速い画像再生速度が要求され、それは計算機生成ビデオホログラムを再生する場合に不可欠である。更に上記方法は、ホログラム値が特定の個別の位置又は個別のセクション層の位置を表すオブジェクト点に対してのみ生成されるという欠点を示す。
本発明の目的は、その従来技術の欠点を克服することである。ホログラム値が再構成空間又は錐台内の任意の位置のオブジェクト点に対して計算されることを可能にする方法が提供される。対応するホログラム値は、リアルタイムに計算される。さらに、本発明の目的は、ホログラム値を計算するのに必要な労力を大幅に減少し、それにより方法のリアルタイム能力をサポートすることである。
本発明に係るビデオホログラムを生成する方法は、オブジェクト点に分割されるシーンがホログラム全体として符号化される少なくとも1つの光変調器手段を有するホログラフィック表示装置に適する。ここで、シーンは、ビデオホログラムの再構成の1周期間隔内にある可視領域からの再構成として見られることができ、サブホログラムは、再構成されるシーンの各オブジェクト点と共に可視領域により規定され、ホログラム全体は、サブホログラムの重畳により形成される。光変調器手段を有するそのようなホログラフィック表示装置は、シーンのオブジェクト点の情報により変調される波面が少なくとも1つの可視領域において重畳されるという原理に基づく。可視領域の定義は、既に上記で与えられている。
更に、シーンの個々のオブジェクト点の再構成が光変調器手段において符号化されたホログラム全体の部分集合であるサブホログラムのみを必要とするという原理が利用される。各々の単一オブジェクト点は、位置がオブジェクト点の位置に依存し、且つ、サイズが観察者の位置に依存する1つのサブホログラムにより作成される。光変調器手段のサブホログラムの領域は、以下において変調器領域と呼ばれる。変調器領域は、オブジェクト点を再構成するのに必要とされる光変調器手段のサブ領域である。それと同時に、変調器領域は、オブジェクト点を再構成するためにアドレス指定される必要がある光変調器上の画素を規定する。オブジェクト点が空間において固定されるオブジェクト点である場合、変調器領域は固定された位置にある。これは、再構成されるオブジェクト点が観察者の位置に依存して位置を変更することを意味する。観察者の位置に依存する変調器領域の変更は、オブジェクト点の固定位置においての符号化を可能とする。すなわち、空間におけるオブジェクト点の位置は、観察者の位置に依存して変更されない。本発明に関する限り、それらの原理は同様に適用可能である。
最も単純な一実施形態によると、変調器領域の中心は、再構成されるオブジェクト点、及び、可視領域の中心を通る直線上にある。最も単純な一実施形態において、変調器領域のサイズは、可視領域が再構成されるオブジェクト点を通って光変調器手段まで追跡される交差線の定理に基づいて判定される。
サブホログラムが好適に使用される場合、光変調器の制御可能な最小単位を表す画素は、単一のサブホログラムの情報だけでなく、重畳の結果として複数のサブホログラムの情報を含む。
本発明は、サブホログラムの複素ホログラム値が再構成されるオブジェクト点の波面から光変調器手段の変調器領域において計算されるという概念に基づいて、変調器領域においてモデル化され且つ再構成されるオブジェクト点が焦点にある結像素子の透過率関数又は変調関数が計算及び解析される。
結像素子の位置は、ホログラフィック表示装置のホログラム面において特定される。ホログラム面はスクリーン手段の位置により規定され、簡潔にするために、スクリーン手段は以下の説明において光変調器自体である。
方法の好適な一実施形態によると、結像素子は、ホログラム面に配設され、焦点距離fを有し且つ傾斜しているレンズを含む。傾斜レンズは、ホログラム面に対して傾斜していないレンズと、水平方向及び垂直方向の双方において有効なプリズムとから構成される。厳密には、オブジェクト点が非焦点プリズムの関数のために再構成されないため、プリズムはサブホログラムを規定しない。しかし、更にプリズムが変調器範囲の複素ホログラム値に部分的に寄与するため、本発明の考察をある程度明確にするために、これはそのように説明される。以下において、レンズ及びプリズムの例により方法を詳細に説明する。当然、方法は、レンズ又はプリズム単独でも適用される。そのような場合、処理工程又は対応する項は実行されないか又は無視される。サブホログラムの複素値を計算するために、方法のその詳細は、シーンの各オブジェクト点に対して以下の工程を含む。
A:上述のように、変調器領域のサイズ及び位置を決定し、変調器領域はローカル座標系を与えられる。ローカル座標系において、原点はその中心に位置付けられ、x軸は横座標を示し、y軸は縦座標を示す。「a」は変調器領域の半分の幅であり、「b」は半分の高さである。ここで、それらの間隔の境界は以下の項に含まれる。
B:ホログラム面においてレンズのサブホログラムを決定する。
B1:レンズの焦点距離fを決定する。
レンズの焦点距離fは、ホログラム面から再構成されるオブジェクト点の標準的な距離であるのが好ましい。
B2:レンズの対応するサブホログラムの複素値。
対応するサブホログラムの複素値は以下の式を使用して決定される。
zL=exp{+/−i*[(π/λf) * (x+y)]]
式中、λは基準波長であり、fは焦点距離であり、(x,y)は対応する座標対である。本明細書において、負符号は凹レンズの特性のためである。凸レンズは、正符号により識別される。
B3:x軸及びy軸に関して対称であるため、1つの象限において複素値を決定し且つ符号の規則を使用して他の象限に値を適用するので十分である。
C:ホログラム面においてプリズム(P)のサブホログラムを決定する。
選択されたプリズムは、以下の図に示すように、横座標又は縦座標を通る。
C1:水平な有効方向を有するプリズム(PH)の線形因子Cxを決定する。これは、間隔x∈[−a,a]において以下の式により示される。
Cx=M*(2π/λ)
式中、Mはプリズムの傾斜である。
C2:垂直な有効方向を有するプリズム(PV)の線形因子Cyを決定する。これは、間隔y∈[−b,b]において以下の式により示される。
Cy=N*(2π/λ)
式中、Nはプリズムの傾斜である。
C3:組み合わされたプリズムの対応するサブホログラムの複素値を決定する。
対応するサブホログラムに対する複素値は、2つのプリズムの項を重畳することにより決定される。
=exp{i*[Cx*(x−a)+Cy*(y−b)]}
重畳されたプリズムは、ローカル座標系の原点を通る。
C4:プリズムの項は、ホログラフィック表示装置が光源を可視領域に結像する特性を示す場合に省略可能である。
D:レンズ及びプリズムに対するサブホログラムを重畳する。
レンズ及びプリズムの複素値は、組み合わされたサブホログラムを決定するために複素乗算される。
SH=z*z
あるいは、記号表記では以下の通りである。
SH=SH*SH
E:ランダム位相の適用。
工程Dの各変調サブホログラムは、可視領域において均一な輝度分布を保証するためにランダム位相を割り当てられる。ランダム位相は、複素乗算によりサブホログラムに加算される。
SH:=zSHexp(iΦ
あるいは、記号表記では以下の通りである。
SH:=SHexp(iΦ
ランダム位相は、各サブホログラムに個々に割り当てられる。全体的に、全てのサブホログラムのランダム位相は均一に分布されるのが好ましい。
F:強度変調。
複素値は、追加の乗算因子を与えられる。これは、強度又は輝度を表す。
SH=C*zSH
あるいは、記号表記では以下の通りである。
SH:=C*SH
G:ホログラム全体が計算される場合、サブホログラムは、ホログラム全体を形成するように重畳される。単純な一実施形態において、サブホログラムはホログラム全体に複素加算され、サブホログラムの位置を考慮する。
ホログラム全体=全てのサブホログラムの複素和
HΣSLM=ΣSH
あるいは、記号表記では以下の通りである。
SLM=ΣzSHi
(グローバル座標系に関して)
方法は、可視オブジェクト点に対してのみ使用されるのが好ましい。オブジェクト点の可視性は、3Dレンダリング・グラフィックス・パイプラインによるシーンのレンダリング処理の結果として決定され、それは眼の瞳孔の位置に依存し、従って、瞳孔の位置に対して追跡される可視領域の位置からの観察者の位置に依存する。
詳細な説明は、可能な最適な解決策の計算に関する。当然、低下された再構成品質が受け入れられるか、又は、望まれる場合、一般的に、上述の関数の項を更に単純な関数の項で置換できる。しかし、再構成品質を向上するために、更新された処理工程が適用されることが分かる。レンズ又はプリズムは、例えば、光変調器手段の収差、許容差等を補正するように選択される。同様のことが例示的に説明された変調器領域を決定する方法にも当てはまる。
この方法を継続すると、特定のホログラフィック表示装置に対する画素値は、ホログラム全体(又はサブホログラム)の複素ホログラム値に基づいて見つけられる。例えば複素ホログラム値は、Burckhardt成分、二相成分又は任意の他の適切なコードに変換される。
この方法は、再構成されるオブジェクト点の位置が再構成空間(錐台)内の任意の位置で特定され且つ例えばセクション平面を使用する場合のようにその位置が離散化により近似されないという利点を有する。
本発明に係る方法は、ホログラフィック表示装置における表現のためにホログラム値を生成することに加え、生成されたサブホログラムによりルックアップテーブルを満たすために使用されるのが好ましい。規定された空間はオブジェクト点に構造化され、各オブジェクト点に対するサブホログラムはルックアップテーブルに格納される。例えば上述の空間は、観察者の眼の瞳孔の位置が特定される許可又は規定された空間であるか、あるいは光変調器手段と可視領域との間にわたる再構成空間(錐台)である。そのような生成されたルックアップテーブルにより、オブジェクト点の先に計算されたサブホログラムを検索でき、ホログラムデータを生成中にそのサブホログラムを使用できる。ルックアップテーブルは、結像素子、すなわち組み合わされたレンズ及びプリズムの関数のサブホログラムにより満たされるのが好ましい。しかし、別個のルックアップテーブルがレンズの関数又はプリズムの関数に関連するサブホログラムによりそれぞれ満たされることも考えられる。一般にそのようなルックアップテーブルは、本発明に係る方法に対して説明されるようなサブホログラムの原理が採用されるのが好ましい任意の他の方法を持続的に促進する。例えばそのようなルックアップテーブルは、継続方法又は大きな計算負荷を要求する方法の促進を可能にする。
その方法により、対話型リアルタイムホログラフィック再構成に対するオブジェクト点は、今日市販されている標準的なハードウェアコンポーネントを使用して再構成空間の任意の位置において生成される。方法が実現される処理ユニットが高性能である場合、シーンは更に精細に構成され、再構成の品質は非常に向上される。本発明に係る方法は、他の方法では使用される複素変換を省略し、解析的に実行される工程の単純な構造により特徴付けられる。更にこれは、本発明に係る方法のリアルタイム能力を実証する。
ホログラフィック表示装置が基づく原理及びオブジェクト点を表す変調器領域を示す図である。 レンズ及びプリズムを含む結像素子を有する表示装置を示す側面図である。 変調器領域及び水平方向有効プリズムを示す図である。 変調器領域及び垂直方向有効プリズムを示す図である。 本発明に係る方法を示すフローチャートである。 ホログラム面の後方でオブジェクト点を再構成する方法のオプションを示す図である。
次に、実施形態を使用し且つ添付の図面と関連して本発明を更に詳細に説明する。
図1は、1人の観察者に対するホログラフィック表示装置(HAE)が基づく一般的な原理を示す。原理は、複数の観察者にも適用される。観察者の位置は、観察者の眼、又は、瞳孔(VP)の位置により特徴付けられる。装置は、簡潔にするために本実施形態では、スクリーン手段(B)と同一である光変調器手段(SLM)を含む。これは、少なくとも1つの可視領域(VR)においてシーン(3D−S)のオブジェクト点の情報により変調される波面を重畳する。可視領域は、眼に対して追跡される。シーン(3D−S)の単一のオブジェクト点(OP)の再構成は、光変調器手段(SLM)上で符号化されるホログラム全体(HΣSLM)の部分集合である1つのサブホログラム(SH)のみを必要とする。変調器領域(MR)は、光変調器(SLM)上のサブホログラムの領域である。この図から分かるように、変調器領域(MR)は、光変調器手段(SLM)の小さなサブセクションのみを含む。最も単純な一実施形態によると、変調器領域(MR)の中心は、再構成されるオブジェクト点(OP)を通って、且つ、可視領域(VR)の中心を通る線上にある。最も単純な一実施形態において、変調器領域(MR)のサイズは、可視領域(VR)が再構成されるオブジェクト点(OP)を通って光変調器手段(SLM)まで追跡される交差線の定理に基づいて決定される。更に、そのオブジェクト点を再構成することを要求される光変調器手段(SLM)上の画素の指標が決定される。
図から分かるように、変調器領域(MR)は、原点がその中心に位置し、x軸が横座標を示し、且つ、y軸が縦座標を示す座標系を与えられる。変調器領域(MR)は、半分の幅「a」及び半分の高さ「b」を有する。
図2aは、ホログラフィック表示装置(HAE)を示す側面図であり、方法の一般的な原理を示す。変調器領域(MR)は、図1で説明されたことに類似して導出される。この領域は、光変調器(SLM)が配設されるホログラム面(HE)に位置する。集束レンズ(L)及びプリズム(P)から成る結像素子(OS)は、変調器領域(MR)にある。図は、垂直方向有効プリズムウェッジのみを示し、明確にするために、結像素子(OS)は光変調器手段(SLM)の前方に示される。
図2bは、使用される座標及び寸法と共に、変調器領域(MR)の前方の水平方向有効プリズムウェッジ(PH)を示す。プリズムウェッジは縦座標を通る。
図2cは、同様に、横座標を通る垂直方向有効プリズムウェッジ(PV)を示す。2つのプリズムウェッジは、以下に説明するように重畳される。
図3は、本発明に係る好適な方法を示すフローチャートである。方法の開始点は、複数のオブジェクト点(OP)から構成される3次元シーン(3D−S)である。色及び奥行き情報は、オブジェクト点(OP)に対して有効である。オブジェクト点の可視性は、観察者の位置、すなわち観察者の眼の瞳孔の位置に依存して奥行き情報に基づいて決定される。工程(A)において、ホログラム面(HE)又は光変調器手段における各変調器領域(MR)のサイズ及び位置は、可視オブジェクト点毎に決定される。本発明の概念に従い、再構成されるオブジェクト点(OP)は、ホログラム面にある結像素子の焦点として解釈される。結像素子は、凸レンズ(L)と図2b、図2cに示すような垂直方向及び水平方向有効プリズム(PV、PH)との組合せとして考えられる。サブホログラム(SH)の複素ホログラム値は再構成されるオブジェクト点(OP)の波面から光変調器手段の変調器領域(MR)において計算され、変調器領域(MR)においてモデル化され且つ再構成されるオブジェクト点(OP)が焦点にある結像素子(OS)の透過率関数又は変調関数が計算及び解析される。工程(B1)において、レンズ(L)の焦点距離は、ホログラム面(HE)からのオブジェクト点(OP)の標準的な距離として可視オブジェクト点毎に決定される。
工程(B2)において、対応するサブホログラム(SHL)に対する複素値は、以下の式を使用して決定される。
zL=exp{−i*[(π/λf)*(x+y)]}
式中、λは基準波長であり、fは焦点距離であり、(x,y)は対応するローカル座標対である。座標系は、上述のように規定される。
工程(C)において、ホログラム面におけるプリズム(P)のサブホログラム(SHP)が決定される。水平な有効方向を有するプリズム(PH)の線形因子Cxは、Mがプリズムの傾斜である場合に式Cx=M*(2π/λ)を使用して決定される。垂直方向有効プリズムの線形因子Cyは、傾斜Nの同様の式により見つけられる。対応するサブホログラム(SHP)の複素値は、2つのプリズムの項を重畳することにより決定される。
SH:=z=exp{i*[Cx*(x−a)+Cy*(y−b)]}
ホログラフィック表示装置が光源を可視領域(VR)に結像する特性を示す場合、1つのプリズムの項は省略される。
ここで、レンズ(L)のサブホログラム(SHL)及びプリズム(P)のサブホログラム(SHP)が有効であり、それらのサブホログラムは、レンズ及びプリズムの複素値を複素乗算することにより組合せサブホログラム(SH)を形成するように、工程(D)において重畳される。
SH=z*z
あるいは、記号表記では以下の通りである。
SH=SH*SH
工程(E)において、サブホログラム(SH)は、均一に分布されたランダム位相を与えられる。
工程(F)において、強度変調が実行され、サブホログラム(SH)は強度因子と乗算される:
SH=C*zSH
あるいは、記号表記では以下の通りである。
SH:=C*SH
この時点でオブジェクト点(OP)の組合せサブホログラム(SH)は、完全に利用可能である。
追加の処理工程(G)において、ホログラム全体(HΣSLM)を形成するようにオブジェクト点のサブホログラムを加算できる。オブジェクト点の個々のサブホログラム(SHi)は、重畳可能であり且つホログラム全体(HΣSLM)を形成するように複素加算される。
ホログラム全体=オブジェクト点の全てのサブホログラムの複素和
HΣSLM=ΣSH
あるいは、
SLM=ΣzSHi
(グローバル座標系に関して)
ホログラム全体(HΣSLM)は、全てのオブジェクト点のホログラムを表す。従って、それはシーン全体(3D−S)を表し且つ再構成する。
最終的な工程(H)において、既に上述したように、全体のホログラムは、符号化を使用してサブホログラムの原理を採用するのが好ましいホログラフィック表示装置に対する画素に変換される。既に上述したように、特にこれらは、国際公開第WO2004/044659号、国際公開第WO2006/027228号、国際公開第WO2006/119760号及び独国特許出願公開第10 2006 004 300号において説明される装置である。
図4は、方法を適用することにより、ホログラム面(HE)の後方に位置するオブジェクト点(OP)が一般的に同様に再構成されることを示す。その場合、結像素子(OS)は同様に上述のプリズム(P)を有するが、結像素子のレンズは、波面が変調器領域において同様に判定される凹レンズ(L)である。
3D−S シーン
VR 可視領域
OP 一般的なオブジェクト点
OPn 参照指標を有するオブジェクト点
SH 一般的なサブホログラム
SHL レンズのサブホログラム
SHP プリズムのサブホログラム
MR 変調器領域
SHi 一般的な指標付きサブホログラム
HΣSLM ホログラム全体
HAE ホログラフィック表示装置
B スクリーン手段
SLM 光変調器手段
HE ホログラム面
VP 観察者の眼/観察者の位置
OS 結像素子
L レンズ
P プリズム
PH 水平な有効方向を有するプリズム
PV 垂直な有効方向を有するプリズム

Claims (13)

  1. 少なくとも1つの光変調器手段(SLM)を有するホログラフィック表示装置(HAE)用に、複数のオブジェクト点を含むシーン(3D−S)のビデオホログラムを計算するための解析的方法であって、
    可視領域(VR)を、前記ビデオホログラムの再構成の、前記少なくとも1つの光変調器手段(SLM)によって回折される回折次数の光に相当する1周期の間隔内に定義し、 前記シーン(3D−S)の再構成対象のオブジェクト点(OP)の各々と、前記各々のオブジェクト点に対する夫々の変調器領域(MR)とを、前記可視領域(VR)により定義し、ここで、前記再構成対象オブジェクト点(OP)の1つのサブホログラム(SH)を各変調器領域(MR)について計算し、ホログラム全体(HΣSLM)をこれらのサブホログラム(SH)の重畳により生成し、
    サブホログラム(SH)の複素ホログラム値を、前記再構成対象オブジェクト点(OP)の波面から前記光変調器手段の前記変調器領域(MR)について計算し、ここで、この計算は、当該変調器領域(MR)においてモデル化され、少なくとも一つのモデル化プリズム(P)を有する、結像素子であって、この結像素子の焦点位置に前記再構成対象オブジェクト点(OP)が位置する結像素子(OS)の透過率関数又は変調関数を用いて、計算する、ことを特徴とする方法。
  2. 前記モデル化された結像素子(OS)は、少なくとも1つのモデル化されたレンズ(L)を含むことを特徴とする請求項1に記載の方法。
  3. 前記再構成対象オブジェクト点の各々に対して、
    A: 半分の幅「a」及び半分の高さ「b」を与えられ且つローカル座標を与えられた変調器領域(MR)としての前記サブホログラム(SH)のサイズ及び位置を決定する工程と;
    B: 前記変調器領域(MR)内に、前記モデル化レンズ(L)のサブホログラムを決定するレンズ・サブホログラム決定工程であって、
    B1: 前記レンズ(L)の焦点距離(f)を、前記変調器領域(MR)から好ましくは前記再構成対象オブジェクト点(OP)までの標準的な距離として決定する副工程と、 B2: λが基準波長を、fが焦点距離を、(x,y)が対応する座標対を、+/−符号が夫々凸レンズ/凹レンズを表すとして、式:
    =exp{+/−i*[(π/λf)*(x+y)]}
    を使用して前記レンズ(L)の対応するサブホログラム(SH)の複素値を決定する副工程とを含む、前記レンズ・サブホログラム決定工程と;
    C: 前記変調器領域(MR)において前記少なくとも1つのモデル化されたプリズム(P)のサブホログラムを決定するプリズム・サブホログラム決定工程であって、
    C1: Mが前記プリズムの水平方向傾斜を表すとして、水平な有効方向を有する前記プリズム(PH)の線形因子Cxを決定する副工程であって、前記線形因子Cxが、間隔x∈[−a,a]の範囲で、式:
    Cx=M*(2π/λ)
    により記述されるものである、前記副工程と、
    C2: Nが前記プリズムの垂直方向傾斜を表すとして、垂直な有効方向を有する前記プリズム(PV)の線形因子Cyを決定する副工程であって、前記線形因子Cyが、間隔y∈[−b,b]の範囲で、式:
    Cy=N*(2π/λ)
    により記述されるものである、前記副工程と、
    C3: 式:
    =exp{i*[Cx*(x−a)+Cy*(y−b)]}
    に従って前記2つのプリズムの項を重畳することにより、組み合わされた前記プリズムの対応するサブホログラム(SH)の複素値を決定する副工程とを含む、前記プリズム・サブホログラム決定工程と;
    D: 前記モデル化レンズの前記サブホログラム(SH)と前記少なくとも1つのモデル化プリズムの前記サブホログラム(SH)とを、前記モデル化レンズの前記複素値(z)と前記少なくとも1つのモデル化プリズムの前記複素値(z)とを、式:
    SH=z*z
    又は記号表記で
    SH=SH*SH
    により乗算することにより、前記モデル化されたレンズ(L)の前記サブホログラム(SH)と前記モデル化されたプリズム(P)の前記サブホログラム(SH)との重畳を行う副工程と;
    E: 重畳されたサブホログラムの各々にランダム位相Φを割り当て、複素乗算を、式:
    SH:=zSH*exp(iΦz)
    又は記号表記では
    SH:=SH*exp(iΦ
    に従って行うことによりランダム位相の印加を行なう副工程と;
    F: 前記ランダム位相を印加されたサブホログラムの値に
    SH:=C*zSH
    又は
    SH:=C*SH
    に従って実強度因子Cを与える強度変調を行なう副工程とを含むことを特徴とする請求項2に記載の方法。
  4. 前記サブホログラム(SH)の位置を考慮して、ホログラム全体(HΣSLM)を形成するための重畳を
    HΣSLM=ΣSH
    に従って前記サブホログラム(SH)の複素和として計算することを特徴とする請求項3に記載の方法。
  5. オブジェクト点の前記重畳されたサブホログラム(SH)はランダム位相を与えられ、全てのサブホログラムのランダム位相は均一に分布していることを特徴とする請求項3に記載の方法。
  6. 前記変調器領域(MR)の位置は、その変調器領域(MR)の中心が、前記再構成対象オブジェクト点(OP)と前記可視領域(VR)の中心とを通る直線上にあるように決定されることを特徴とする請求項3に記載の方法。
  7. 前記変調器領域(MR)のサイズは、前記オブジェクト点(OP)を通って前記光変調器手段(SLM)まで前記可視領域(VR)を追跡することにより決定されることを特徴とする請求項3に記載の方法。
  8. 前記複素ホログラム値は、前記光変調器手段(SLM)の画素値に変換されることを特徴とする請求項1乃至7のいずれか1つに記載の方法。
  9. 前記複素ホログラム値は、コードのBurckhardt成分又は二相成分に変換されることを特徴とする請求項8に記載の方法。
  10. 前記モデル化レンズ(L)の前記変調器領域(MR)内の対応する前記サブホログラムの複素値を決定する前記副工程では、この複素値が、1つの象限内についての複素値を決定し、この1つの象限について決定された複素値を、複素値の対称性を利用して、他の象限の複素値に適用することにより決定される、ことを特徴とする請求項3に記載の方法。
  11. 複数のオブジェクト点を含むシーン(3D−S)のコンピュータ計算されたビデオホログラムと、少なくとも1つの光変調器手段(SLM)と、スクリーン手段(B)とを有するホログラフィック表示装置(HAE)であって、
    この装置は、請求項1乃至8のいずれか1つに記載の方法を実行し、
    前記スクリーン手段(B)は、前記シーン(3D−S)の前記ビデオホログラムが符号化される前記光変調器手段(SLM)自身である、ことを特徴とするホログラフィック表示装置。
  12. 前記スクリーン手段(B)は、前記光変調器(SLM)上で符号化されたホログラム又は前記光変調器手段(SLM)上で符号化された前記シーンの波面が結像される光学素子であることを特徴とする請求項11に記載のホログラフィック表示装置。
  13. 前記光学素子はレンズ又はミラーであることを特徴とする請求項12に記載のホログラフィック表示装置。
JP2010507927A 2007-05-16 2008-05-16 リアルタイムにビデオホログラムを計算する解析的方法 Active JP5416094B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007023785.7A DE102007023785B4 (de) 2007-05-16 2007-05-16 Analytisches Verfahren zu Berechnung von Videohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
DE102007023785.7 2007-05-16
PCT/EP2008/056024 WO2008138981A2 (de) 2007-05-16 2008-05-16 Analytisches verfahren zur berechnung von videohologrammen in echtzeit

Publications (3)

Publication Number Publication Date
JP2010527039A JP2010527039A (ja) 2010-08-05
JP2010527039A5 JP2010527039A5 (ja) 2012-09-06
JP5416094B2 true JP5416094B2 (ja) 2014-02-12

Family

ID=39917197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010507927A Active JP5416094B2 (ja) 2007-05-16 2008-05-16 リアルタイムにビデオホログラムを計算する解析的方法

Country Status (9)

Country Link
US (2) US8437056B2 (ja)
EP (1) EP2158522B1 (ja)
JP (1) JP5416094B2 (ja)
KR (1) KR101496802B1 (ja)
CN (1) CN101681143B (ja)
CA (1) CA2687369A1 (ja)
DE (1) DE102007023785B4 (ja)
TW (1) TWI457730B (ja)
WO (1) WO2008138981A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008025839A1 (de) 2006-09-01 2008-03-06 Seereal Technologies S.A. Verfahren zum generieren von videohologrammen in echtzeit mittels subhologrammen
US9581965B2 (en) * 2007-05-16 2017-02-28 Seereal Technologies S.A. Analytic method for computing video holograms in real time
DE102007023785B4 (de) * 2007-05-16 2014-06-18 Seereal Technologies S.A. Analytisches Verfahren zu Berechnung von Videohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
JP5448981B2 (ja) 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP2012008213A (ja) * 2010-06-22 2012-01-12 Kwang Woon Univ Industry-Academic Collaboration Foundation ルックアップテーブルを用いた計算機合成ホログラムの算出と再生方法及びその装置
US9588489B2 (en) * 2010-06-24 2017-03-07 Disney Enterprises, Inc. Computational highlight holography
KR101766272B1 (ko) 2010-11-01 2017-08-08 삼성전자주식회사 시준화된 지향성의 백라이트 유닛을 사용하는 홀로그래픽 영상 디스플레이 장치 및 방법
FR2986874A1 (fr) * 2012-02-15 2013-08-16 France Telecom Procede de codage de motif holographique, dispositif de codage et programme d'ordinateur correspondants
JP6232778B2 (ja) 2013-06-27 2017-11-22 セイコーエプソン株式会社 画像処理装置、画像表示装置、および画像処理装置の制御方法
JP6634012B2 (ja) * 2013-10-20 2020-01-22 エムティティ イノベーション インコーポレイテッドMtt Innovation Incorporated 光照射野プロジェクタおよび方法
EP3143763B8 (en) 2014-05-15 2023-12-27 MTT Innovation Incorporated Light projector and method for displaying an image
US10191196B2 (en) 2014-11-20 2019-01-29 Samsung Electronics Co., Ltd. Backlight unit for holographic display apparatus and holographic display apparatus including the same
US10191450B2 (en) 2015-12-18 2019-01-29 Electronics And Telecommunications Research Institute Method and apparatus for generating binary hologram
CN109643082A (zh) * 2016-08-24 2019-04-16 视瑞尔技术公司 全息显示装置
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
WO2018074623A1 (ko) 2016-10-19 2018-04-26 주식회사 케이티 굴절식 광학 스크린 및 이를 이용한 플로팅 홀로그램 시스템
FR3094802B1 (fr) * 2019-04-05 2021-04-23 Fond B Com Procédé de construction d’un hologramme numérique et système d’holographie numérique associé
DE102019218627A1 (de) 2019-11-29 2021-06-02 Volkswagen Aktiengesellschaft Augmented-Reality-Head-up-Display
KR102277100B1 (ko) * 2020-01-29 2021-07-15 광운대학교 산학협력단 인공지능 및 딥러닝 기술을 이용한 랜덤위상을 갖는 홀로그램 생성방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0619892A4 (en) * 1992-01-03 1996-10-02 Kenneth A Haines Methods of hologram constructions using computer-processed objects.
JP2999637B2 (ja) * 1992-10-14 2000-01-17 富士通株式会社 ホログラム情報作成方法
JP2989115B2 (ja) * 1995-03-27 1999-12-13 浜松ホトニクス株式会社 立体表示方法および立体表示装置
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
EP1978417A2 (en) * 1996-12-06 2008-10-08 Nippon Telegraph And Telephone Corporation Method and system for producing computer generated holograms realizing time holographic video production and display
DE19934162B4 (de) * 1999-07-21 2006-06-29 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Herstellung von Bildschirmhologrammen, sowie Bildschirmhologramm
LT4842B (lt) * 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6323971B1 (en) * 2000-10-23 2001-11-27 Zebra Imaging, Inc. Hologram incorporating a plane with a projected image
US20040021918A1 (en) * 2000-11-07 2004-02-05 Cameron Colin. D 3D Display
EP1332410A1 (en) * 2000-11-07 2003-08-06 Holographic Imaging LLC Improved 3d display
WO2002039389A1 (en) * 2000-11-07 2002-05-16 Holographic Imaging Llc Computer generated hologram display system
GB0027103D0 (en) * 2000-11-07 2000-12-20 Secr Defence Improved 3D display
GB2378337B (en) * 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
DE10228103A1 (de) 2002-06-24 2004-01-15 Bayer Cropscience Ag Fungizide Wirkstoffkombinationen
BR0316222A (pt) 2002-11-13 2005-10-04 Seereal Technologies Gmbh Holograma de vìdeo e dispositivo para reconstruir hologramas de vìdeo
RU2346996C2 (ru) 2004-06-29 2009-02-20 ЮРОПИЭН НИКЕЛЬ ПиЭлСи Усовершенствованное выщелачивание основных металлов
DE102004044111B4 (de) 2004-09-08 2015-05-07 Seereal Technologies Gmbh Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen
JP4761432B2 (ja) * 2004-10-13 2011-08-31 株式会社リコー レーザ加工装置
DE102004063838A1 (de) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
KR101277370B1 (ko) * 2005-05-13 2013-06-20 씨리얼 테크놀로지스 게엠베하 장면의 홀로그래픽 재생을 위한 투사 장치 및 투사 방법
GB0512179D0 (en) * 2005-06-15 2005-07-20 Light Blue Optics Ltd Holographic dispaly devices
DE102006004300A1 (de) 2006-01-20 2007-08-02 Seereal Technologies S.A. Projektionsvorrichtung zur holographischen Rekonstruktion von Szenen
DE102006042324B4 (de) 2006-09-01 2014-06-18 Seereal Technologies S.A. Verfahren zum Generieren computer-generierter Videohologramme in Echtzeit mittels Teilhologrammen
DE102007023785B4 (de) * 2007-05-16 2014-06-18 Seereal Technologies S.A. Analytisches Verfahren zu Berechnung von Videohologrammen in Echtzeit und holographische Wiedergabeeinrichtung

Also Published As

Publication number Publication date
CN101681143B (zh) 2013-05-01
US8437056B2 (en) 2013-05-07
WO2008138981A4 (de) 2009-11-19
WO2008138981A2 (de) 2008-11-20
KR101496802B1 (ko) 2015-03-02
WO2008138981A3 (de) 2009-09-17
EP2158522B1 (de) 2018-08-01
EP2158522A2 (de) 2010-03-03
CA2687369A1 (en) 2008-11-20
CN101681143A (zh) 2010-03-24
TWI457730B (zh) 2014-10-21
US20130250049A1 (en) 2013-09-26
JP2010527039A (ja) 2010-08-05
US9086681B2 (en) 2015-07-21
TW200912570A (en) 2009-03-16
DE102007023785B4 (de) 2014-06-18
US20100149312A1 (en) 2010-06-17
DE102007023785A1 (de) 2008-12-04
KR20100017609A (ko) 2010-02-16

Similar Documents

Publication Publication Date Title
JP5416094B2 (ja) リアルタイムにビデオホログラムを計算する解析的方法
JP5587766B2 (ja) カラー・ビデオ・ホログラムをリアルタイムにレンダリング及び生成する方法
JP5468537B2 (ja) 3dレンダリング・グラフィック・パイプラインを向上するためにビデオホログラムをリアルタイムに生成する方法
US20220357702A1 (en) Method of computing a hologram
JP5265546B2 (ja) サブホログラムを使用してビデオホログラムをリアルタイムに生成する方法
JP5557737B2 (ja) ランダムアドレッシングを有するホログラフィック表示装置に対してビデオホログラムを生成する方法
JP6426149B2 (ja) ニアアイ装置
US8218210B2 (en) Method for generating computer-generated video holograms in real time by means of propagation
JP2010527040A5 (ja)
JP2010527039A5 (ja)
US9829860B2 (en) Analytic method for computing video holograms in real time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110513

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20120713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130829

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130903

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131114

R150 Certificate of patent or registration of utility model

Ref document number: 5416094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250