JP4258236B2 - Stereoscopic image generation device - Google Patents
Stereoscopic image generation device Download PDFInfo
- Publication number
- JP4258236B2 JP4258236B2 JP2003063806A JP2003063806A JP4258236B2 JP 4258236 B2 JP4258236 B2 JP 4258236B2 JP 2003063806 A JP2003063806 A JP 2003063806A JP 2003063806 A JP2003063806 A JP 2003063806A JP 4258236 B2 JP4258236 B2 JP 4258236B2
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- parallax
- stereoscopic image
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は立体視画像生成装置に関する。特に、n眼式立体視を観察可能とする立体視画像表示装置における立体視画像生成装置に関する。
【0002】
【従来の技術】
近年、観察者が特殊な器具を用いることなく立体視観察を可能とする立体視画像表示装置の開発が進んでいる。かかる立体視画像表示装置の原理は、右目と左眼の間隔によって生じる両眼視差を利用し、レンチキュラやパララックスバリアを有する立体表示素子(ディスプレイ)に右目と左眼に対して異なる視差画像を与えることにより観察者に立体視を感覚させるものである。
【0003】
この原理を拡張して、さらに複数の視野角に対応する立体表示素子に、視野角毎に右目と左眼で異なる視差画像を与えることによりn眼式の立体視画像表示装置が得られる。
【0004】
図1は、視差画像の具体例を説明する図である。S=0〜3は三次元空間上の物体を、視線方向を変えて観察したときのそれぞれ視差角の異なる画像の集まりである。そして、それぞれの画像は光の三原色であるRGB成分によって構成された、座標x,yを有する画素の集まりである。
【0005】
かかる視差画像はコンピュータグラフィック(CG)技術により仮想的にモデリングした三次元空間を計算して映像化したり、ビデオカメラ等で撮影した映像をデジタル化したりして生成することができる。
【0006】
立体視画像表示装置において、かかる視差画像の集まりを色成分レベルで分解し、立体表示素子(ディスプレイ)のバリア形状によって異なる規則に従って合成した画像を立体表示素子に表示することにより、観測者に立体的な映像を感覚させることができる(例えば、特許文献1)。このバリア形状によって異なる規則を、以後の説明において立体画像フォーマットと呼ぶ。
【0007】
従って、立体視画像表示装置において、視差画像データを使用する立体表示素子に対応する立体画像フォーマットに変換する処理が必要である。この処理の方法として、例えば、フレームバッファに視差画像の画素を一旦、書き込み、次いで立体画像フォーマットに合致するように色成分を組み直す方法がある(例えば、特許文献2)。
【0008】
【特許文献1】
特許第3096613号公報
【0009】
【特許文献2】
特開2002-77940号
【0010】
【発明が解決しようとする課題】
しかし、特許文献2に記載されるような、従来の視差画像データを立体画像フォーマットに変換する処理方法では、フレームバッファへのアクセスが多くなり、立体画像表示のリアルタイム性を損なう恐れがあった。
【0011】
従って、本発明の目的は、フレームバッファへのアクセスを大幅に少なくし、帯域、容量ともに大幅な性能改善が得られ、この結果立体画像表示のリアルタイム性を飛躍的に高めることが可能な立体視画像生成装置を提供することにある。
【0012】
【課題を解決するための手段】
上記の課題を達成する本発明に従う立体視画像生成装置の第1の態様は、記録手段に記録され、n個の視差角に対応するn個の視差画像を、前記記録手段から読み出して合成する合成手段と、
前記合成された合成画像が書き込まれるフレームバッファと、
前記フレームバッファに書き込まれた合成画像を、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子を備えたn眼式立体視画像表示手段に出力する出力手段を有し、
前記視差画像が、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有し、
前記合成手段は、前記視差画像番号及び座標と、前記立体表示素子のバリア形状に基づく所定の立体画像フォーマットとに基づいて、各視差画像を構成するn画素分の中から前記合成画像に必要な1画素分の色成分を選択し、選択された色成分を元の視差画像上での座標と一致するように合成することを特徴とする。
【0013】
上記の課題を達成する本発明に従う立体視画像生成装置の第2の態様は、第1の態様において、前記合成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする。
【0014】
上記の課題を達成する本発明に従う立体視画像生成装置の第3の態様は、第1の態様において、前記フレームバッファは、RGB各色対応した3つのバンクを有し、更に、前記立体表示素子の水平,垂直同期信号と、これと同期し、前記3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラを有することを特徴とする。
【0015】
上記の課題を達成する本発明に従う立体視画像生成装置の第4の態様は、記録手段に記録され、n個の視差角に対応し、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有するn個の視差画像を、前記記録手段から読み出す読み出し手段と、
前記視差画像番号及び座標と、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子の前記バリア形状に基づく所定の立体画像フォーマットとに基づいて、前記視差画像のRGB各色毎に各視差画像を構成するn画素分の中から前記立体画像フォーマットに必要な1画素分の色成分を選択し、且つアドレスを出力する画像生成手段と、前記画像生成手段から出力されるアドレスに前記選択された視差画像が書き込まれるRGB各色対応の3つのバンクを有するフレームバッファと、前記立体表示素子の水平,垂直同期信号と、これと同期し、前記3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラを有することを特徴とする。
【0016】
上記の課題を達成する本発明に従う立体視画像生成装置の第5の態様は、第4の態様において、前記画像生成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする。
【0017】
上記の課題を達成する本発明に従う立体視画像生成装置の第6の態様は、記録手段に記録され、n個の視差角に対応し、対応する視差角を示す視差画像番号と、画像位置を特定する座標とを有するn個の視差画像を、前記記録手段から読み出す読み出し手段と、
前記視差画像番号及び座標と、所定の形状を備えたバリアによって前記合成画像からn眼視差を生成する立体表示素子の前記バリア形状に基づく所定の立体画像フォーマットとに基づいて、RGB各色毎に前記複数の視差画像の何れかを選択し、且つアドレスを出力する画像生成手段と、
前記画像生成手段から出力されるアドレスに、前記複数の視差画像の前記選択されたRGB色が書き込まれるフレームバッファと、
前記立体表示素子の水平,垂直同期信号と、これと同期し、前記立体表示素子の表示座標と、該座標に対応する前記フレームバッファのアドレスから前記書き込まれているRGB色を読み出し制御するディスプレイコントローラと、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記ディスプレイコントローラから出力されるRGB色を、前記複数の視差角対応にバッファリングする手段と、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記バッファリングする手段から出力されるRGB色のうち、RGB色毎に前記複数の視差角の何れかに対応するものを選択する画像再生成手段を有することを特徴とする。
【0018】
更に、上記の課題を達成する本発明に従う立体視画像生成装置の第7の態様は、第6の態様において、前記画像再生成手段は、色成分選択と前記立体表示素子の表示の組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする。
【0019】
本発明の特徴は、以下に図面に従って説明される発明の実施の形態例により更に明らかになる。
【0020】
【発明の実施の形態】
以下に、本発明の実施の形態例として、4つの視野角を用いた立体表示を行なう場合を説明する。しかし、本発明の適用は4視野角を用いる場合に限定されるものではなく、本発明原理を立体表示素子の要求する立体画像フォーマットに対応するように適用することにより、1以上のn眼式に適用可能である。
【0021】
以下の説明において、4つの視野角に対応する4つの視差画像を区別するためのパラメータとして、それぞれの視差画像番号をS=0〜3とする。また各視差画像は立体表示素子(ディスプレイ)と同じ解像度の画素数を有しているものとする。
【0022】
本発明に従う立体視画像生成装置は、かかる視差画像に基づき、立体表示素子の要求する立体画像フォーマット、例えば後に詳細に説明する、図2に示す画像フォーマットに変換する機能を有している。
【0023】
図3は本発明に従う立体視画像生成装置のブロック図である。図3において、ブロック1が本発明に従う立体視画像生成装置であって、入力として視差画像10が与えられ、図2に示す立体画像フォーマットが生成され、対応する立体表示素子11に繰り返し出力されて立体画像が表示される。図3において、ブロック間の矢印は、データの流れを示している。
【0024】
図1に示したように、4つの視野角に対応する4つの視差画像10が立体視画像生成装置1のカラーバッファ100に入力される。ここで、視差画像10は、先に説明したように、CG技術により仮想的にモデリングした三次元空間を計算して映像化し、あるいはビデオカメラ等で撮影した映像をデジタル化して作り出すことができる。従って、かかる視差画像の形成については、本発明とは直接に関係しないので形成の仕方についての説明は省略する。
【0025】
図4は、カラーバッファ100の一実施例構成である。図1に示した視差画像の各画素RGBが、パラメータとしての視差画像番号Sと視差画像上での座標x,yと共に、カラーバッファ100に入力される。
【0026】
入力された画素RGBはデコーダ101に入力し、座標xに応じて決定されるカラーバッファメモリ102の対応位置に記憶される。これにより、x方向に4画素連続した状態にパラレル変換される。なお、視差画像10が初めからこの状態で入力されるならば、カラーバッファメモリ102は省略することが可能である。
【0027】
また画素がデコーダ101によりパラレル変換される際に座標xが、4の倍数の時の座標x,yと視差画像番号Sが、それぞれ対応するバッファメモリ103,104,105にバッファされる。ここで、入力される画素の順序はパラレル変換が正常に行われる範囲内であれば、入力される画素の座標や視差画像番号の順序に制限はない。
【0028】
次いで、入力された画素はパラレル変換が完了してから色成分ごとに、カラーバッファメモリ100から座標x,yと視差画像番号Sと共に出力される。色成分ごとに分解された画素は、図4に示すように、それぞれ元の画素のx座標に対応付けて、R0〜R3, G0〜G3, B0〜B3として示されている。
【0029】
図5は立体視画像生成部110であり、本発明の中心となる部分である。立体視画像生成部110は、図4のカラーバッファメモリ100からパラレルに入力される色成分R0〜R3, G0〜G3, B0〜B3から座標x,yと視差画像番号Sによって対応する立体画像フォーマットに合致するよう色成分を選択出力する。
【0030】
その際、選択出力した色成分が表示されるまでの期間中、フレームバッファ120上に記憶されるアドレスを生成する。この処理はR,G,Bの各色成分ごとに行われる。従って、図5に示すようにR,G,Bの各色成分対応に、ピクセル生成器111,112,113を有している。ピクセル生成器111,112,113の各々は、本質的に同じ構成であるので、代表して図6に示すR成分に対応するピクセル生成器111の詳細を次に説明する。
【0031】
実際の色成分選択とアドレス生成はアドレス生成部111cにおいて、座標x,yと視差画像番号Sによって、テーブル111aに予め設定されたテーブル値を参照した値Trに基づいて行われる。
【0032】
周知の立体表示素子の原理より、選択される色成分はパラレル入力された4画素分の中から1画素分であり、フレームバッファ120上に記憶するアドレスは選択された色成分の元の視差画像上での座標と同じ座標になるように生成する。これにより他の画素の処理結果と重複することなくフレームバッファ120に記憶することができる。
【0033】
図7は、テーブル111aからの出力Trの真理値表の例である。座標yと視差画像番号Sの組み合わせに対応して、出力Trが設定されている。なお、本実施例では出力Trの決定に座標xは無関係となっているが、より一般的には座標xも関係することになる。
【0034】
また、図7では、他の色成分G,Bに対する対応するピクセル生成器112,113においても同様であり、ピクセル生成器111のテーブル111a相当のピクセル生成器112,113におけるテーブルからの出力Tg、Tbの真理値の例が同時に示されている。
【0035】
出力Trによって、R成分中の視差画像番号S=0〜3に対応する4画素分のR0,R1,R2,R3の中から1画素が4対1セレクタ111bにより選択される。図8における図8Aは、このセレクタ111bから出力される出力Rの真理値表である。同様に、図8B、図8Cは、他の色成分G,Bに対する対応するピクセル生成器112,113におけるセレクタ111b相当のセレクタからそれぞれ出力される出力G,Bの真理値表である。
【0036】
次いで、アドレス発生器111cは、x,y,Tの関数として、次の関係式によりアドレスArを生成し、出力する。
【0037】
Ar(x,y,Tr)=w×y+x+Tr
ただし、wは定数で視差画像のxサイズ、xはカラーバッファ100からの出力段階では4の倍数である。ピクセル生成器112と113についてもテーブルからの出力がTg,Tbと成るだけの違いで、同様の処理を行う。
【0038】
この段階で立体画像を表示するために画素に含まれる必要のない色成分が除去される。このためにフレームバッファ120に視差画像の画素を書き出してから立体画像フォーマットに合致するように色成分を組み直す従来のシステムに比べ、フレームバッファ120へのアクセスが大幅に少なく、帯域、容量ともに大幅な性能改善が得られることが容易に理解できる。これにより立体画像表示のリアルタイム性を飛躍的に高めることが可能である。
【0039】
また、上記のテーブル111aはメモリで構成することにより、任意に再設定が可能である。このために本発明を適用するシステムでは、採用する立体表示素子(ディスプレイ)が変更になり、それに伴って要求される立体画像フォーマットが変更になる場合や立体表示を目的としない一般的なディスプレイに対してさえも、テーブル111aを再設定することで容易に対応することが可能である。
【0040】
更に、観測者の観測位置によっては左右それぞれの目で観測されるべき視差画像が逆になってしまう逆視と呼ばれる状態になることがあるが、観測者の観測位置によってTr,Tg,Tbを出力するテーブルを動的に修正変更することによりこの逆視状態を補正することもできる。
【0041】
以上の処理を全ての視差画像の全ての画素について行った結果が、図18に示され、これがフレームバッファ120の描画状態である。
【0042】
ここで、図18において、図18A,図18B,図18Cに示すように、フレームバッファ120は、図5の立体視画像生成部110で処理したR,G,Bの各色成分を記録するためそれぞれの色成分に対応する3つのバンクから構成されている。
【0043】
このようにバンクが独立しているのは立体視画像生成部110で処理した結果、記録すべきアドレスが各色成分で異なることに対応するためである。
【0044】
図18において、各バンクから同じ座標の色成分を取り出すことにより図2に示す立体画像フォーマットと同一の状態になることがわかる。
【0045】
図2において、例えば、座標(x、y)=0,0に対応するバッファ位置には、R000、G001,B002が格納されている。これを図1の視差画像と比較すると、R000は視差番号S=0の座標(x、y)=0,0の画素に含まれるR成分であり、G001は視差番号S=1の座標(x、y)=0,0の画素に含まれるG成分であり、B002は、視差番号S=2の座標(x、y)=0,0の画素に含まれるB成分である。
【0046】
図9はディスプレイコントローラ130の実施例構成である。ディスプレイコントローラ130では水平−垂直同期信号に対応してH-Vカウンタ131が周期的にカウントアップしており、立体表示素子11の表示に必要な水平、垂直同期信号H−Sync,V−Syncと表示座標h,vはリードインターフェース132により、図2に示した3つのバンクのフレームバッファ120上のアドレス(Ar,Ag,Ab)に変換され、該当アドレスの色成分RGBを読み出す。
【0047】
ここで、Ar=Ag=Ab=w×v+h ただし、wは定数で視野座標のxサイズである。
【0048】
先に説明したようにアドレスは3つあるバンクに渉って共通である。読み出された画素RGBは同期信号と共に立体表示素子11に出力され観測者に対し立体画像を表示する。
【0049】
ここで、図5に示す立体視画像生成装置では3つの各バンクにわたって同一アドレスに記憶されている色成分は立体表示素子11上で同一座標の画素を構成する色成分であるように出力するようにしている。
【0050】
このためフレームバッファ120に記憶された段階で立体画像表示素子11が要求する立体画像フォーマットになって画素が並んでいるため、立体画像表示素子11に表示する段階ではフレームバッファ120の各バンクに対して同一のアドレスを順に与えて読み出した色成分を立体画像表示素子11に出力するだけで観測者に立体画像を観測させることができる。
【0051】
ここで、上記に述べた実施例ではフレームバッファ120が3バンク構成となっているためメモリ素子数やそれにアクセスするためのバスが増加するという問題がある。
【0052】
そこでフレームバッファ120を1つのバンクで構成する実施例を以下に検討する。このフレームバッファ120を1つのバンクとする構成の立体視画像生成装置1の構成ブロック図が図10に示される。
【0053】
周知の立体表示素子の原理から、同一視差画像に属するx方向に連続した4画素からはR,G,Bの色成分が各1つづつしか抽出されることはない。このため図3に示した立体視画像生成部110において生成されたR,G, Bの各色成分は3つまとめてフレームバッファ上の同一アドレスに記録することにする。
【0054】
具体的には、図5の立体視画像生成部110で生成した各色要素をフレームバッファ120上の同一アドレスへ3つまとめて記憶することとし、フレームバッファを1バンクとしたものが図10に示す構成である。
【0055】
図5の立体視画像生成部110に代えて、図10の立体視画像生成装置1の実施例では、図11に示すように立体視画像生成部110を構成する。図11の立体視画像生成部110は、アドレス発生器114と、R,G,Bの各色成分対応に、ピクセル生成器111,112,113を有している。
【0056】
ピクセル生成器111,112,113の各々は、本質的に同じ構成であるので、代表して図12にR成分に対応するピクセル生成器111の構成を示す。ピクセル生成器111は、基本的に図6に示した実施例構成と同様であるが、上記のように独立したアドレス発生器114があるので、それぞれのピクセル生成器には、アドレス発生器111cは不要である。また、テーブル111a及び4対1セレクタ111bは図6に関して説明したと同様である。G,B成分に関してもまた同様である。
【0057】
ここで、図11の立体視画像生成部110におけるアドレス発生器114から出力されるアドレスAは入力された画素のx座標に対して視差画像の視差画像番号によるオフセットを加えたもので次のようにして求める。
【0058】
A=w*y+x+S
ただし、wは定数で視差画像のxサイズ、xはカラーバッファ100からの出力段階で4の倍数である。
【0059】
図10の立体視画像生成装置1において、全視差画像の全画素を処理した後のフレームバッファ120の描画状態が図13に示される。図13に示すようにフレームバッファ120は1バンク構成である。
【0060】
ここでx方向に連続する4画素に含まれる色成分を組み換えることにより、図2のフレームバッファと同等な状態を作りだせるようになっていることが重要な点であり、表示の段階ではこの4画素の中から立体画像フォーマットに従うように色成分を選択しながら立体表示素子11に出力する。
【0061】
図10の実施例では、かかる制御を行なうために、ディスプレイコントローラ130を図14のように構成している。図14において、ディスプレイコントローラ130ではH-Vカウンタ131が周期的にカウントアップしており、立体表示素子の表示に必要な同期信号H−Sync,V−Syncと表示座標h,vを生成している。
【0062】
この表示座標h,vはリードインターフェース132により図13に示す、1バンク構成のフレームバッファ120上のアドレスAに変換され、該当アドレスの画素RGBをフレームバッファ120から読み出す。
【0063】
ここで、A=w×v+h ただし、wは定数で視野座標のxサイズである。
【0064】
読み出された画素RGBは再びリードインターフェース132で表示座標h,vを付加されて、ディスプレイバッファ140に出力される。同期信号は画素が立体視表示素子11に出力されるまでのレイテンシを考慮して出力される。
【0065】
図15はディスプレイバッファ140の構成例である。入力された画素RGBはデコーダ141を通り、同じく入力された表示座標hに対応したバッファ142に記憶されることでh方向に4画素連続した状態にパラレル変換される。このバッファ142は複数バンクから構成され、フレームバッファ120から画素を読み出すまでの時間を緩衝し、後段に対して絶え間なく画素を出力できるようにする役目も担っている。
【0066】
また画素がパラレル変換される際に座標hが4の倍数のときの表示座標h,vもそれぞれバッファ143,144にバッファリングされる。色成分ごとに分解された画素はそれぞれ元の画素のh座標に対応してR0〜R3, G0〜G3,B0〜B3とする。
【0067】
図16は立体視画像再生成部150の構成例である。立体視画像再生成部150は、図15のディスプレイバッファ140からパラレルに入力される色成分R0〜R3, G0〜G3,B0〜B3から表示座標h,vによって立体画像フォーマットに合致するよう色成分をセレクタ151,152,153により選択しながら出力する。
【0068】
一度の入力で立体表示素子11に4画素を出力することができ、4画素出力するたびにカラーバッファ100から新たな入力を得ることを繰り返す。立体視画像再生成部150において、色成分の選択は各色成分ごとに行われる。RGB成分に対応するセレクタ151、152,153は、本質的に同じであるので、代表してR成分についてのみ図17に構成を示す。
【0069】
実際の色成分の選択は、4対1セレクタ151が色成分R0〜R3と共に入力される表示座標h,vによりテーブル151aのテーブル値を参照することによって行われる。G,B成分についてもテーブルからの出力が異なるのみで同様の処理を行う。
【0070】
これらのテーブルは任意に設定することが可能である。なお、かかるテーブルの設定により、図3の立体視画像生成装置1と同様の仕組みで、立体表示素子11が変更になった場合の対応や逆視状態の補正をおこなうことができる。
最後に立体表示素子11は、ディスプレイコントローラ130から出力される同期信号h、vと図16の立体視画像再生成部150から出力される色成分に基づき、観測者に対し立体画像を表示することができる。
【0071】
また、上記の実施の形態例において、フレームバッファへの書き込みと読み出しにおいて、それぞれアクセスするアドレスに異なるオフセットを加え、当該オフセットを適切に制御することにより、表示のための読み出しが完了するのを待たずにフレームバッファ上の他のアドレスへ次以降のフレームを描画できるような構成にすると立体画像表示のリアルタイム性を更に高めることが出来る。
【0072】
【発明の効果】
以上図面に従い実施の形態例を説明したように、本発明に従う立体視画像生成装置よりフレームバッファへのアクセスを大幅に少なくし、大幅な性能改善が得られ、この結果立体画像表示のリアルタイム性を飛躍的に高めることが可能な立体視画像表示装置が提供可能である。
【図面の簡単な説明】
【図1】視差画像の具体例を説明する図である。
【図2】立体画像フォーマットの例を説明する図である。
【図3】本発明に従う立体視画像生成装置のブロック図である。
【図4】カラーバッファ100の一実施例構成である。
【図5】立体視画像生成部110を示す図である。
【図6】R成分に対応するピクセル生成器111の構成の構成を示す図である。
【図7】ピクセル生成器111,112,113のテーブル出力の真理値表の例である。
【図8】ピクセル生成器111,112,113のセレクタ出力の真理値表の例である。
【図9】ディスプレイコントローラ130の実施例構成である。
【図10】フレームバッファを1つのバンクとする構成の立体視画像生成装置1の構成ブロック図である。
【図11】立体視画像生成部110を構成を示す図である。
【図12】R成分に対応するピクセル生成器111の構成を示す図である。
【図13】図10の立体視画像生成装置1において、全視差画像の全画素を処理した後のフレームバッファ120の描画状態を示す図である。
【図14】ディスプレイコントローラ130の構成を示す図である。
【図15】ディスプレイバッファ140の構成例である。
【図16】立体視画像再生成部150の構成例を示す図である。
【図17】R成分についてのセレクタの構成を示す図である。
【図18】全ての視差画像の全ての画素について行った結果であるフレームバッファ120の描画状態を示す図である。
【符号の説明】
10 視差画像
11 立体表示素子
100 カラーバッファ
110 立体視画像生成部
120 フレームバッファ
130 ディスプレイコントローラ
140 ディスプレイバッファ
150 立体視画像再生成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a stereoscopic image generation apparatus. In particular, the present invention relates to a stereoscopic image generation apparatus in a stereoscopic image display apparatus that can observe n-eye stereoscopic vision.
[0002]
[Prior art]
In recent years, development of a stereoscopic image display apparatus that enables an observer to perform stereoscopic observation without using a special instrument has been advanced. The principle of such a stereoscopic image display device uses binocular parallax generated by the distance between the right eye and the left eye, and displays different parallax images for the right eye and the left eye on a stereoscopic display element (display) having a lenticular or parallax barrier. Giving the viewer a sense of stereoscopic vision.
[0003]
By extending this principle and providing a stereoscopic image display device corresponding to a plurality of viewing angles with different parallax images for the right eye and the left eye for each viewing angle, an n-eye stereoscopic image display device can be obtained.
[0004]
FIG. 1 is a diagram illustrating a specific example of a parallax image. S = 0 to 3 are collections of images having different parallax angles when the objects in the three-dimensional space are observed while changing the viewing direction. Each image is a collection of pixels having coordinates x and y, which are composed of RGB components that are the three primary colors of light.
[0005]
Such a parallax image can be generated by calculating and visualizing a three-dimensional space virtually modeled by computer graphic (CG) technology, or by digitizing an image taken by a video camera or the like.
[0006]
In a stereoscopic image display device, a group of such parallax images is decomposed at the color component level, and an image synthesized according to a different rule depending on the barrier shape of the stereoscopic display element (display) is displayed on the stereoscopic display element, so that the observer can A realistic image can be sensed (for example, Patent Document 1). The rule that varies depending on the barrier shape is referred to as a stereoscopic image format in the following description.
[0007]
Therefore, in the stereoscopic image display device, a process of converting to a stereoscopic image format corresponding to a stereoscopic display element that uses parallax image data is necessary. As a method of this processing, for example, there is a method in which pixels of a parallax image are once written in a frame buffer, and then color components are recombined so as to match a stereoscopic image format (for example, Patent Document 2).
[0008]
[Patent Document 1]
Japanese Patent No. 3096613
[0009]
[Patent Document 2]
JP 2002-77940 A
[0010]
[Problems to be solved by the invention]
However, in the processing method for converting the conventional parallax image data into the stereoscopic image format as described in
[0011]
Accordingly, an object of the present invention is to provide a stereoscopic view that can greatly reduce the access to the frame buffer, greatly improve the performance in terms of both bandwidth and capacity, and as a result, dramatically improve the real-time performance of stereoscopic image display. An object is to provide an image generation apparatus.
[0012]
[Means for Solving the Problems]
The first aspect of the stereoscopic image generating device according to the present invention that achieves the above-described object is to read and synthesize n parallax images corresponding to n parallax angles recorded in the recording means and corresponding to n parallax angles. Combining means;
A frame buffer in which the synthesized composite image is written;
An output unit that outputs the composite image written in the frame buffer to an n-eye stereoscopic image display unit including a stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape; And
The parallax image has a parallax image number indicating a corresponding parallax angle, and coordinates specifying an image position;
The synthesizing means is necessary for the synthesized image among n pixels constituting each parallax image based on the parallax image number and coordinates and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element. A color component for one pixel is selected, and the selected color component is synthesized so as to coincide with the coordinates on the original parallax image.
[0013]
According to a second aspect of the stereoscopic image generating device according to the present invention for achieving the above object, in the first aspect, the synthesizing unit includes a table in which combinations of the parallax image numbers and coordinates are set, and the table. It has a means for selecting a color component necessary for the stereoscopic image format according to the obtained combination.
[0014]
According to a third aspect of the stereoscopic image generating apparatus according to the present invention for achieving the above-mentioned object, in the first aspect, the frame buffer has three banks corresponding to RGB colors, and It has a display controller which generates a horizontal and vertical synchronizing signal and an address for synchronizing with the horizontal and vertical synchronizing signals and accessing the three banks in common.
[0015]
A fourth aspect of the stereoscopic image generating device according to the present invention that achieves the above-described problem is a parallax image number recorded in the recording means, corresponding to n parallax angles, indicating the corresponding parallax angle, and an image position. Reading means for reading out n parallax images having coordinates to be identified from the recording means;
RGB of the parallax image based on the parallax image number and coordinates and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape An image generation unit that selects a color component for one pixel necessary for the stereoscopic image format from n pixels constituting each parallax image for each color and outputs an address; and an output from the image generation unit A frame buffer having three banks corresponding to each color of RGB in which the selected parallax image is written at an address, and a horizontal and vertical synchronization signal of the stereoscopic display element, and the three banks are accessed in common. It has a display controller which generates an address.
[0016]
The fifth aspect of the stereoscopic image generating device according to the present invention that achieves the above-described object is the fourth aspect, wherein the image generating means includes a table in which combinations of the parallax image numbers and coordinates are set, and the table Means for selecting a color component necessary for the stereoscopic image format according to the combination obtained from the above.
[0017]
A sixth aspect of the stereoscopic image generating device according to the present invention that achieves the above-described problem is a parallax image number recorded in the recording means, corresponding to n parallax angles, indicating the corresponding parallax angles, and an image position. Reading means for reading out n parallax images having coordinates to be identified from the recording means;
Based on the parallax image number and coordinates, and a predetermined stereoscopic image format based on the barrier shape of the stereoscopic display element that generates n-eye parallax from the composite image by a barrier having a predetermined shape, for each RGB color Image generating means for selecting one of a plurality of parallax images and outputting an address;
A frame buffer in which the selected RGB colors of the plurality of parallax images are written at addresses output from the image generation unit;
A display controller that reads and controls the written RGB color from the display coordinates of the stereoscopic display element and the address of the frame buffer corresponding to the coordinate in synchronization with the horizontal and vertical synchronization signals of the stereoscopic display element When,
Means for buffering RGB colors output from the display controller in correspondence with the plurality of parallax angles based on display coordinates of the stereoscopic display element output from the display controller;
Based on the display coordinates of the stereoscopic display element output from the display controller, the RGB color output from the buffering means is selected corresponding to one of the plurality of parallax angles for each RGB color. An image regeneration unit is included.
[0018]
Furthermore, a seventh aspect of the stereoscopic image generating apparatus according to the present invention that achieves the above-described problem is that, in the sixth aspect, the image regenerating means sets a combination of color component selection and display of the stereoscopic display element. And a means for selecting a color component necessary for the stereoscopic image format in accordance with a combination obtained from the table.
[0019]
The features of the present invention will become more apparent from the embodiments of the present invention described below with reference to the drawings.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a case where stereoscopic display using four viewing angles is performed will be described as an embodiment of the present invention. However, the application of the present invention is not limited to the case where four viewing angles are used. By applying the principle of the present invention so as to correspond to the stereoscopic image format required by the stereoscopic display element, one or more n-eye type is applied. It is applicable to.
[0021]
In the following description, each parallax image number is set to S = 0 to 3 as a parameter for distinguishing four parallax images corresponding to four viewing angles. Each parallax image has the same number of pixels as the stereoscopic display element (display).
[0022]
The stereoscopic image generation apparatus according to the present invention has a function of converting into a stereoscopic image format required by the stereoscopic display element, for example, an image format shown in FIG.
[0023]
FIG. 3 is a block diagram of a stereoscopic image generating apparatus according to the present invention. In FIG. 3, a
[0024]
As shown in FIG. 1, four
[0025]
FIG. 4 shows an example configuration of the
[0026]
The input pixel RGB is input to the
[0027]
Further, when the pixel is parallel-converted by the
[0028]
Next, the input pixel is output together with the coordinates x and y and the parallax image number S from the
[0029]
FIG. 5 shows a stereoscopic
[0030]
At this time, an address stored in the
[0031]
The actual color component selection and address generation are performed in the
[0032]
According to the principle of a known stereoscopic display element, the selected color component is one pixel out of the four pixels input in parallel, and the address stored in the
[0033]
FIG. 7 is an example of the truth table of the output Tr from the table 111a. An output Tr is set corresponding to the combination of the coordinate y and the parallax image number S. In this embodiment, the coordinate x is irrelevant to the determination of the output Tr, but more generally the coordinate x is also related.
[0034]
In FIG. 7, the same applies to the
[0035]
By the output Tr, one pixel is selected from the four pixels R0, R1, R2, and R3 corresponding to the parallax image numbers S = 0 to 3 in the R component by the 4-to-1
[0036]
Next, the
[0037]
Ar (x, y, Tr) = w × y + x + Tr
However, w is a constant and the x size of the parallax image, and x is a multiple of 4 at the output stage from the
[0038]
At this stage, color components that are not required to be included in the pixels to display a stereoscopic image are removed. For this reason, access to the
[0039]
The table 111a can be arbitrarily reset by configuring it with a memory. For this reason, in the system to which the present invention is applied, the stereoscopic display element (display) to be adopted is changed, and the required stereoscopic image format is changed accordingly, or a general display not intended for stereoscopic display. Even for this, it is possible to easily cope with the problem by resetting the table 111a.
[0040]
Furthermore, depending on the observation position of the observer, there may be a state called reverse viewing in which the parallax images to be observed by the left and right eyes are reversed. Depending on the observation position of the observer, Tr, Tg, Tb This reverse viewing state can also be corrected by dynamically modifying and changing the output table.
[0041]
The result of performing the above processing for all the pixels of all the parallax images is shown in FIG. 18, and this is the drawing state of the
[0042]
In FIG. 18, as shown in FIGS. 18A, 18B, and 18C, the
[0043]
The reason why the banks are independent in this way is to cope with the fact that the addresses to be recorded differ for each color component as a result of processing by the stereoscopic
[0044]
In FIG. 18, it can be seen that the same state as the stereoscopic image format shown in FIG. 2 is obtained by extracting the color component of the same coordinates from each bank.
[0045]
In FIG. 2, for example, R000, G001, and B002 are stored at buffer positions corresponding to coordinates (x, y) = 0,0. Comparing this with the parallax image in FIG. 1, R000 is the R component included in the pixel with the parallax number S = 0 (x, y) = 0, 0, and G001 is the coordinate with the parallax number S = 1 (x Y) = 0, 0 is a G component included in a pixel, and B002 is a B component included in a pixel having a parallax number S = 2 coordinates (x, y) = 0, 0.
[0046]
FIG. 9 shows an example configuration of the
[0047]
Here, Ar = Ag = Ab = w × v + h where w is a constant and x size of visual field coordinates.
[0048]
As described above, the address is common across the three banks. The read out pixel RGB is output to the
[0049]
Here, in the stereoscopic image generating apparatus shown in FIG. 5, the color components stored at the same address over the three banks are output so as to be the color components constituting the pixels of the same coordinates on the
[0050]
For this reason, since the pixels are arranged in the stereoscopic image format required by the stereoscopic
[0051]
Here, in the embodiment described above, since the
[0052]
Therefore, an embodiment in which the
[0053]
From the principle of a known stereoscopic display element, only one R, G, B color component is extracted from each of four consecutive pixels in the x direction belonging to the same parallax image. For this reason, three R, G, and B color components generated by the stereoscopic
[0054]
Specifically, three color elements generated by the stereoscopic
[0055]
Instead of the stereoscopic
[0056]
Since each of the
[0057]
Here, the address A output from the
[0058]
A = w * y + x + S
However, w is a constant and x size of the parallax image, and x is a multiple of 4 at the output stage from the
[0059]
FIG. 13 shows a drawing state of the
[0060]
Here, it is important to be able to create a state equivalent to the frame buffer of FIG. 2 by recombining the color components included in the four pixels continuous in the x direction. The color component is selected from the four pixels so as to conform to the stereoscopic image format and output to the
[0061]
In the embodiment of FIG. 10, in order to perform such control, the
[0062]
The display coordinates h and v are converted by the
[0063]
Here, A = w × v + h where w is a constant and x size of the visual field coordinates.
[0064]
The read pixels RGB are again added with display coordinates h and v by the
[0065]
FIG. 15 shows a configuration example of the
[0066]
Further, when the pixel is converted into parallel, the display coordinates h and v when the coordinate h is a multiple of 4 are also buffered in the
[0067]
FIG. 16 is a configuration example of the stereoscopic
[0068]
Four pixels can be output to the
[0069]
The actual color component is selected by referring to the table value of the table 151a based on the display coordinates h and v input by the 4-to-1
[0070]
These tables can be set arbitrarily. In addition, by the setting of such a table, it is possible to perform the response when the
Finally, the
[0071]
Further, in the above embodiment, in writing to and reading from the frame buffer, a different offset is added to each address to be accessed, and the offset is appropriately controlled to wait for reading for display to be completed. If the configuration is such that the next and subsequent frames can be drawn to other addresses on the frame buffer, the real-time property of the stereoscopic image display can be further enhanced.
[0072]
【The invention's effect】
As described above with reference to the drawings, the stereoscopic image generating apparatus according to the present invention significantly reduces the access to the frame buffer and provides a significant performance improvement. As a result, the real-time property of the stereoscopic image display is improved. It is possible to provide a stereoscopic image display device that can be dramatically improved.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a specific example of a parallax image.
FIG. 2 is a diagram illustrating an example of a stereoscopic image format.
FIG. 3 is a block diagram of a stereoscopic image generating apparatus according to the present invention.
FIG. 4 is a configuration example of the
5 is a diagram showing a stereoscopic
FIG. 6 is a diagram illustrating a configuration of a
FIG. 7 is an example of a truth table of the table output of the
FIG. 8 is an example of a truth table of selector outputs of the
9 is a configuration example of the
FIG. 10 is a configuration block diagram of a stereoscopic
11 is a diagram showing a configuration of a stereoscopic
FIG. 12 is a diagram illustrating a configuration of a
13 is a diagram illustrating a drawing state of the
14 is a diagram showing a configuration of a
15 is a configuration example of a
16 is a diagram illustrating a configuration example of a stereoscopic
FIG. 17 is a diagram illustrating a configuration of a selector for an R component.
FIG. 18 is a diagram illustrating a drawing state of the
[Explanation of symbols]
10 Parallax image
11 3D display element
100 color buffer
110 Stereoscopic image generation unit
120 frame buffer
130 Display controller
140 Display buffer
150 Stereoscopic image regeneration unit
Claims (4)
前記カラーバッファに記憶された画素から、前記視差画像番号と前記座標情報とに関連付けて予め設定されたテーブル値と、立体表示装置の有する視差画像分離用バリアの形状に対応した立体表示フォーマットとに基づいて、RGB各色成分毎に合成画像の色成分を選択してアドレスと共に出力する立体視画像生成部と、
前記立体視画像生成部から出力されるアドレスに対応する位置に、前記選択された色成分を記憶するRGB各色対応の3つのバンクを有するフレームバッファと、
前記立体表示装置の表示素子の水平,垂直同期信号と、前記水平,垂直同期信号と同期し、前記フレームバッファの3つのバンクに共通にアクセスするアドレスを発生するディスプレイコントローラ、
を有することを特徴とする立体視画像生成装置。 Based on the parallax image number and the coordinate information, the RGB color components of the n parallax images corresponding to the n parallax angles and having the parallax image number indicating the corresponding parallax angle and the coordinate information specifying the image position are used. A color buffer temporarily stored in the determined memory location,
From the pixels stored in the color buffer, a table value set in advance in association with the parallax image number and the coordinate information, and a stereoscopic display format corresponding to the shape of the parallax image separation barrier of the stereoscopic display device. A stereoscopic image generation unit that selects a color component of a composite image for each RGB color component and outputs the selected color component together with an address;
In a position corresponding to the address output from the stereoscopic image generation unit, a frame buffer for chromatic three banks of RGB colors corresponding to storing the selected color component,
A display controller for generating horizontal and vertical synchronization signals of the display elements of the stereoscopic display device, and addresses for accessing the three banks of the frame buffer in common with the horizontal and vertical synchronization signals ;
A stereoscopic image generating apparatus characterized by comprising:
前記立体視画像生成手段は、前記視差画像番号と座標との組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする立体視画像生成装置。In claim 1 ,
The stereoscopic image generating means includes a table in which a combination of the parallax image number and coordinates is set, and a means for selecting a color component necessary for the stereoscopic image format according to a combination obtained from the table. A stereoscopic image generating apparatus.
さらに、前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記ディスプレイコントローラから出力されるRGB色を、前記複数の視差角対応にバッファリングする手段と、
前記ディスプレイコントローラから出力される前記立体表示素子の表示座標に基づき、前記バッファリングする手段から出力されるRGB色のうち、RGB色毎に前記複数の視差角の何れかに対応するものを選択する画像再生成手段を有する ことを特徴とする立体視画像生成装置。In claim 1 ,
Furthermore, based on the display coordinates of the stereoscopic display element output from the display controller, means for buffering RGB colors output from the display controller in correspondence with the plurality of parallax angles;
Based on the display coordinates of the stereoscopic display element output from the display controller, the RGB color output from the buffering means is selected corresponding to one of the plurality of parallax angles for each RGB color. A stereoscopic image generating apparatus comprising an image regenerating unit.
前記画像再生成手段は、色成分選択と前記立体表示素子の表示座標の組み合わせを設定したテーブルと、前記テーブルから得られる組み合わせに応じて前記立体画像フォーマットに必要な色成分を選択する手段を有することを特徴とする立体視画像生成装置。Oite to claim 3,
The image regeneration means includes a table in which combinations of color component selection and display coordinates of the stereoscopic display element are set, and means for selecting color components necessary for the stereoscopic image format according to combinations obtained from the table. A stereoscopic image generating apparatus characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003063806A JP4258236B2 (en) | 2003-03-10 | 2003-03-10 | Stereoscopic image generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003063806A JP4258236B2 (en) | 2003-03-10 | 2003-03-10 | Stereoscopic image generation device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004274485A JP2004274485A (en) | 2004-09-30 |
JP2004274485A5 JP2004274485A5 (en) | 2008-02-28 |
JP4258236B2 true JP4258236B2 (en) | 2009-04-30 |
Family
ID=33125296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003063806A Expired - Fee Related JP4258236B2 (en) | 2003-03-10 | 2003-03-10 | Stereoscopic image generation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4258236B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2414882A (en) * | 2004-06-02 | 2005-12-07 | Sharp Kk | Interlacing/deinterlacing by mapping pixels according to a pattern |
CN101203881B (en) * | 2005-06-23 | 2015-04-22 | 皇家飞利浦电子股份有限公司 | Combined exchange of image and related data |
US7652674B2 (en) * | 2006-02-09 | 2010-01-26 | Real D | On the fly hardware based interdigitation |
US8797231B2 (en) | 2009-04-15 | 2014-08-05 | Nlt Technologies, Ltd. | Display controller, display device, image processing method, and image processing program for a multiple viewpoint display |
JP5488984B2 (en) * | 2009-04-15 | 2014-05-14 | Nltテクノロジー株式会社 | Display controller, display device, image processing method, and image processing program |
JP2011217180A (en) * | 2010-03-31 | 2011-10-27 | Toshiba Corp | Image processing circuit |
-
2003
- 2003-03-10 JP JP2003063806A patent/JP4258236B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004274485A (en) | 2004-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100445209B1 (en) | Image processing system and image conversion processor for generating input images into at least one output image through parallax conversion | |
JP4861309B2 (en) | Ghost artifact reduction for rendering 2.5D graphics | |
JP4740135B2 (en) | System and method for drawing 3D image on screen of 3D image display | |
JP3230745B2 (en) | Three-dimensional image generation apparatus and generation method | |
US6954223B2 (en) | Stereoscopic image generating apparatus and game apparatus | |
JPWO2003092303A1 (en) | Multimedia information generating apparatus and multimedia information reproducing apparatus | |
JP2004104368A (en) | Image data processing method, image data processing program, and stereoscopic image display apparatus | |
JPH11511316A (en) | 3D image display drive | |
WO2013108285A1 (en) | Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method | |
JP4258236B2 (en) | Stereoscopic image generation device | |
US7034819B2 (en) | Apparatus and method for generating an interleaved stereo image | |
JPH07200870A (en) | Stereoscopic three-dimensional image generator | |
JP2004102526A (en) | Three-dimensional image display device, display processing method, and processing program | |
JP4516188B2 (en) | Image display device | |
JP5700998B2 (en) | 3D image display apparatus and control method thereof | |
JPH099293A (en) | Three dimensional picture display method and stereoscopic picture data generating method | |
JP3803442B2 (en) | Stereoscopic image display device | |
CN112911268B (en) | Image display method and electronic equipment | |
JP2989376B2 (en) | Image processing device | |
JP2794099B2 (en) | 3D image device | |
JP3223129B2 (en) | Sprite image display control device | |
JP2010245849A (en) | Image presentation system, image processing device, image presentation method, and program | |
JPH07239952A (en) | Method for displaying stereoscopic image and device for displaying stereoscopic image | |
JP2013228452A (en) | Polarization glasses, spectroscopic glasses, display device and method, and projection device and method | |
JP4416974B2 (en) | Stereoscopic image generation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090113 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |