JP4592880B2 - 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 - Google Patents
立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 Download PDFInfo
- Publication number
- JP4592880B2 JP4592880B2 JP2000202537A JP2000202537A JP4592880B2 JP 4592880 B2 JP4592880 B2 JP 4592880B2 JP 2000202537 A JP2000202537 A JP 2000202537A JP 2000202537 A JP2000202537 A JP 2000202537A JP 4592880 B2 JP4592880 B2 JP 4592880B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- original image
- stereoscopic
- pixel
- subpixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体視用画像の生成方法等に関する。
【０００２】
【従来の技術】
従来、多眼レンチキュラ方式の立体視映像表示装置では、図２に示すような、、複数の異なる視点から見た画像（以下、原画像という。）２をサブピクセル毎に順番に割り振ることにより立体視用の画像（レンチキュラ板を通して、立体視映像として表示される画像）（以下、合成画像という。）を生成するサブピクセルインターリーバ（以下、インターリーバという。）が知られている。一般に、複数の異なる視点から見た画像は、それぞれ異なる画像となるが、図２においては、説明を簡明とするため、全ての視点から見た画像を同じものとしている。また、図２は、４眼レンチキュラ方式（以下、４眼式という。）の場合の原画像２を示しており、原画像２としては、４つの原画像（遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３）が含まれる。インターリーバは、これら４つの原画像から合成画像を生成する。また、４眼式の場合には、４ピクセルづつインターリーブし、それを繰り返すことにより、全体の合成画像を生成するが、この図２では、簡明のため原画像２として４ピクセルのみを示している。また、以下の説明においても、簡明のため４ピクセルのみを対象として説明する。
【０００３】
従来、複数の原画像から、合成画像を生成する方法として、図８のように合成画像の各サブピクセル（以下、合成画像サブピクセルという。）に対応する各原画像のサブピクセルを選択し、その選択したサブピクセルの輝度を合成画像サブピクセルの輝度とする方法（以下、ダイレクトサンプリングという。）があった。図８は、遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０をダイレクトサンプリングする場合を示している。
【０００４】
ダイレクトサンプリングについて、より具体的に説明すると、４つの合成画像ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３に含まれる各合成画像サブピクセルｒ0、ｇ0、ｂ0、…、ｒ3、ｇ3、ｂ3は、順番に遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０のサブピクセルの輝度に基づいて決まる。即ち、合成画像サブピクセルｒ0の輝度は、遠右原画像２−３から決まり、合成画像サブピクセルｇ0の輝度は、右原画像２−２から決まり、合成画像サブピクセルｂ0の輝度は、左原画像２−１から決まり、合成画像サブピクセルｒ1の輝度は、遠左原画像２−０から決まる。そして、合成画像サブピクセルｇ1の輝度は、再び遠右原画像２−３から決まる。
【０００５】
合成画像サブピクセルｒ0は、最左合成画像ピクセル（合成画像ピクセルＰ０）のサブピクセルであるため、この合成画像サブピクセルｒ0に対して、遠右原画像２−３のピクセル（以下、遠右原画像ピクセルという。）の内、最左のピクセルＰ３０のサブピクセルｒ30が選択される。同様に、合成画像サブピクセルｇ0に対して右原画像２−２のピクセル（以下、右原画像ピクセルという。）の内、最左のピクセルＰ２０のサブピクセルｇ20が選択され、合成画像サブピクセルｂ0に対して、左原画像２−ｌのピクセル（以下、左原画像ピクセルという。）の内、最左のピクセルＰ１０のサブピクセルｂ10が選択される。また、合成画像サブピクセルｒ1は、左から２番目の合成画像ピクセル（合成画像ピクセルＰ１）のサブピクセルであるため、この合成画像サブピクセルｒ1に対して、遠左原画像２−０のピクセル（以下、遠左原画像ピクセルという。）の内、左から２番目のピクセルＰ０１のサブピクセルｒ01が選択される。
【０００６】
そして、各合成画像サブピクセルの輝度を、選択された各原画像サブピクセルの輝度とすることにより、レンチキュラ板Ｌを通して、立体視映像として表示される合成画像を生成していた。このダイレクトサンプリングにより図２に示すような各原画像２−０、２−１、２−２、２−３をサンプリング及びインターリーブした合成画像は、図９に示すような映像となる。即ち、遠右の視点から見える映像３−３は、遠右原画像２−３のサブピクセルが選択されている合成画像サブピクセルｒ0、ｇ1、ｂ2がレンチキュラ板Ｌの各レンズによりレンズ幅（合成画像サブピクセル４つ分）に拡大されて表示される。合成画像サブピクセルｒ0の輝度は、遠右原画像サブピクセルｒ30の輝度となり、合成画像サブピクセルｇ1の輝度は、遠右原画像サブピクセルｇ31の輝度となり、合成画像サブピクセルｂ2の輝度は、遠右原画像サブピクセルｂ32の輝度となる。また、レンズ幅に拡大されたサブピクセルを見かけの表示セルという。
【０００７】
同様に、右の視点から見える立体視映像３−２は、右原画像２−２のサブピクセルが選択されている合成画像サブピクセルｇ0、ｂ1、ｒ3がそれぞれレンズ幅に拡大されて表示され、左の視点から見える立体視映像３−１は、左原画像２−１のサブピクセルが選択されているｂ0、ｒ2、ｇ3がそれぞれレンズ幅に拡大されて表示される。そして、遠左の視点から見える立体視映像３−０は、遠左原画像２−０のサブピクセルが選択されているｒ1、ｇ2、ｂ3がそれぞれレンズ幅に拡大されて表示される。
【０００８】
また、図１０に示すように、見かけの表示セルの中心を標本点とし、標本点が位置する合成画像ピクセルに対応する原画像ピクセルからサブピクセルを選択する方法（以下、ポイントサンプリングという。）も用いられていた。
【０００９】
図１０は、ポイントサンプリングを説明する図である。図１０に示すように、レンチキュラ板Ｌの各レンチキュラレンズＬ１、Ｌ２、Ｌ３の中心、即ち、見かけの表示セルの中心位置をそれぞれ標本点Ｓ１、Ｓ２、Ｓ３とする。そして、各見かけの表示セルの標本点が位置する合成画像ピクセルに対応する原画像ピクセルからサブピクセルを選択する。
【００１０】
例えば、レンチキュラレンズＬ１の中心、即ち、標本点Ｓ１は、合成画像ピクセルＰ０に位置する。そのため、最左の見かけの表示セルに含まれる（立体視映像として表示される際にレンチキュラレンズＬ１により拡大される）合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1に対して、それぞれ合成画像ピクセルＰ０に対応する原画像ピクセルからサブピクセルを選択する。即ち、合成画像ピクセルＰ０は、最左合成画像ピクセルであるため、各原画像の最左原画像ピクセルＰ００、Ｐ１０、Ｐ２０、Ｐ３０の各サブピクセルを選択する。
【００１１】
従って、表示サブピクセルｒ0に対して遠右原画像サブピクセルｒ30が選択され、合成画像サブピクセルｇ0に対して右原画像サブピクセルｇ20が選択され、合成画像サブピクセルｂ0に対して左原画像サブピクセルｂ10が選択され、合成画像サブピクセルｒ1に対して遠左原画像サブピクセルｒ00が選択される。そして、各合成画像サブピクセルに対して選択された原画像サブピクセルの輝度を各表示サブピクセルの輝度とする。
【００１２】
また、レンチキュラレンズＬ２の中心である標本点Ｓ２は、合成画像ピクセルＰ１と、合成画像ピクセルＰ２の間に位置するので、標本点Ｓ２の位置により合成画像ピクセルが決定されない。そのため、レンチキュラレンズＬ２により拡大される合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2に対しては、合成画像ピクセルＰ１及び合成画像ピクセルＰ２に対応する原画像ピクセルから選択する。即ち、一の合成画像サブピクセルに対して２つの原画像サブピクセルを選択する。そして、選択した２つの原画像サブピクセルの輝度の平均値を合成画像サブピクセルの輝度とする。例えば、合成画像サブピクセルｇ1に対しては、遠右原画像２−３のサブピクセルの内、ｇ31とｇ32が選択され、この２つのサブピクセルの輝度の平均値を合成画像サブピクセルｇ1の輝度とする。
【００１３】
また、レンチキュラレンズＬ３によって拡大される合成画像サブピクセルｂ2、ｒ3、ｇ3、ｂ3については、標本点Ｓ３が最右合成画像ピクセルＰ３に位置するため、各原画像の最右原画像ピクセルＰ０３、Ｐ１３、Ｐ２３、Ｐ３３の各原画像サブピクセルを選択する。そして、選択した原画像サブピクセルの輝度を各合成画像サブピクセルの輝度とする。
【００１４】
【発明が解決しようとする課題】
しかしながら、図２に示すような、全ての視点に対する原画像が同一の白黒パターンが繰り返されている原画像２からダイレクトサンプリングによるサンプリング及びインターリーブによって合成画像を生成した場合には、各視点から見える立体視映像は、図９に示すような立体視映像（遠右立体視映像３−３、右立体視映像３−２、左立体視映像３−１、遠左立体視映像３−０）となる。図２に示すように、遠右原画像２−３は中央が暗くて両端が明るいが、図９に示す遠右立体視映像３−３は左端だけが明るく残りは暗くなっており、遠右原画像２−３と、輪郭情報が異なっている。同様に、遠左立体視映像３−０も遠左原画像２−０と輪郭情報が異なっている。このように原画像の輪郭情報が立体視映像において、再現されないといった問題があった。ここで、輪郭情報とは、各サブピクセルの輝度の値（明暗）で示される表示物体の輪郭（形）を意味する。遠右原画像２−３と遠右立体視映像３−３とは、明るい部分とくらい部分との形が原画像と異なっているため、輪郭情報が再現されていないこととなる。
【００１５】
また、同様の理論によりダイレクトサンプリングによって生成される合成画像を表示した際の立体視映像全体の明るさが、原画像全体の明るさと異なってしまうといった問題があった。例えば、図２に示す各原画像では、原画像全体の半分のサブピクセルの輝度が“１”であり、残りの半分のサブピクセルの輝度が“０”である。即ち、原画像のサブピクセルの輝度を全て“１”とした場合（最も明るい場合）の半分の明るさである。しかし、図９に示した立体視映像においては、遠左立体視映像３−０及び遠右立体視映像３−３においては、立体視映像全体のサブピクセルの輝度を全て“１”とした場合の１／３の明るさとなり、左立体視映像３−１及び右立体視映像３−２においては、立体視映像のサブピクセルの輝度を全て“１”とした場合の２／３の明るさとなり、原画像全体の明るさと異なる。
【００１６】
また、図２に示したような原画像からポイントサンプリングによるサンプリング及びインターリーブによって合成画像を生成した場合には、図１１に示すような立体視映像が表示される。即ち、両端の原画像ピクセルの情報（原画像において白部分）は、それぞれレンチキュラレンズの幅に拡大されて表示されるが、中央の２ピクセル分の情報（原画像において黒部分）が１レンズ幅に縮小されて表示されることとなる。例えば、図２に示したような、中央の２ピクセルが黒（暗）で、両端のピクセルが白（明）といった原画像の場合には、立体視映像において黒（暗）部分が縮小されるため、原画像全体よりも立体視映像全体の方が明るくなってしまうといった問題があった。
【００１７】
また、例えば、図２に示すような原画像において、白黒パターンが水平方向に移動する（白と黒との割合は変化せず、位置のみ変化する。即ち、原画像全体の明るさは変化しない。）動画を立体視映像として表示する場合に、原画像全体の明るさは変化しないのに、ポイントサンプリングにより生成・表示される立体視映像全体の明るさは変化してしまう（白と黒との位置が変わる度に、白部分が縮小されたり、黒部分が縮小されたりするため、立体視映像全体の明るさが原画像全体の明るさより明るくなったり暗くなったりする）ため、映像がちらつき、観察者に目の疲れや不快感を与えるといった問題があった。また、このような問題は視点数が増えるほど顕著であった。
【００１８】
本発明の課題は、立体視映像全体の明るさに対する原画像全体の明るさの再現性をより向上させることである。
【００１９】
【課題を解決するための手段】
上記課題を解決するための第１の発明は、視点の異なる複数の原画像（例えば、図２に示す原画像２）の中から、立体視映像の各サブピクセル（例えば、図３に示す合成画像サブピクセルｒ0，ｇ0，ｂ0，・・・，ｒ3，ｇ3，ｂ3）に対応するサブピクセル（例えば、図２に示す原画像サブピクセルｒ00，ｇ00，ｂ00，・・・，ｒ33，ｇ33，ｂ33の内のいずれか）を選択し、選択したサブピクセルをインターリーブすることにより生成した立体視映像（実施の形態における合成画像）を多眼レンチキュラ方式の立体視映像表示装置（例えば、図１に示す表示部３０）に出力するインターリーバ（例えば、図１に示すインターリーバ１０）であって、表示セルを単位とし、かつ、該表示セルに含まれる、前記立体視映像のピクセル領域の割合に基づいて、前記立体視映像の各サブピクセルの輝度を設定するための輝度設定手段を備えるインターリーバである。
【００２０】
第５の発明は、多眼式レンチキュラ方式の立体視映像表示装置に表示する立体視映像を生成する立体視映像生成方法であって、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、表示セルを単位とし、かつ、該表示セルに含まれる、前記立体視映像のピクセル領域の割合に基づいて、決定する立体視映像生成方法である。
【００２１】
ここで、表示セルとは、レンチキュラ板の一のレンズにより拡大された立体視映像のサブピクセル（見かけの表示セル）を指す。即ち、表示セルの幅は、レンチキュラレンズの幅と等しくなる。
【００２２】
第１または第５の発明によれば、表示セルに含まれる前記立体視映像のピクセル領域の割合に基づいて、立体視映像の各サブピクセルの輝度を設定するため、各表示セルに対応する原画像の各ピクセルの割合を立体視映像の各サブピクセルに反映できるため、立体視映像の明るさにおける原画像全体の明るさの再現性を向上させることができる。
【００２３】
第２の発明は、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブすることにより生成した立体視映像を多眼レンチキュラ方式の立体視映像表示装置に出力するインターリーバであって、前記立体視映像の各サブピクセルの輝度を、前記原画像それぞれのサブピクセルの輝度平均値として設定するための輝度設定手段を備えるインターリーバである。
【００２４】
第６の発明は、多眼式レンチキュラ方式の立体視映像表示装置に表示する立体視映像を生成する立体視映像生成方法であって、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、前記原画像それぞれのサブピクセルの輝度平均値として決定する立体視映像生成方法である。
【００２５】
第２または第６の発明によれば、立体視映像の各サブピクセルの輝度を原画像のそれぞれのサブピクセルの輝度平均値として設定するため、立体視映像のサブピクセルの輝度に原画像の全ピクセルの輝度を反映することができる。そのため、立体視映像全体の明るさを原画像全体の明るさに等しくすることができる。
【００２６】
第３の発明は、多眼レンチキュラ方式の立体視映像表示装置に表示するための立体視映像を、視点の異なる複数の原画像に基づいて生成するインターリーバであって、任意に設定可能なサンプリング係数（例えば、図１に示す行列Ｋ）に基づいて、前記複数の原画像内の、前記立体視映像の各サブピクセルに対応するサブピクセルの選択および混合比率を決定するためのサンプリング方法決定手段を備えるインターリーバである。
【００２７】
第７の発明は、多眼レンチキュラ方式の立体視映像表示装置に表示するための立体視映像を、視点の異なる複数の原画像に基づいて生成する立体視映像生成方法であって、前記原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを、任意に設定可能なサンプリング係数に基づいて選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、前記サンプリング係数に基づいた混合比率に従って決定する立体視映像生成方法である。
【００２８】
第３または第７の発明によれば、サンプリング係数を変更することにより、容易にサンプリング方法の変更ができるため、サンプリング方法の使い分けができ、画質の調整がより容易になる。例えば、明るさの再現性が重要な画像の場合には、より明るさの再現性の高いサンプリング方法によって、原画像から立体視映像を生成し、輪郭情報が重要となる画像の場合には、輪郭情報の再現性の高いサンプリング方法によって、原画像に基づく立体視映像を生成することができる。また、例えば、処理の速度が重要な場合には、より高速処理が可能なサンプリング方法により立体視映像の生成を行なうことができる。ここで、サンプリング方法とは、サンプリング（立体視映像の各サブピクセルに対応するサブピクセルの選択）及びインターリーブを含む方法を指す。
【００２９】
第４の発明として、第１から第３のいずれかの発明のインターリーバを備える立体視映像表示装置を構成してもよい。
【００３０】
この第４の発明によれば、原画像全体の明るさの再現性を向上させた立体視映像を生成・表示する立体視映像表示装置を提供できる。その結果、映像のちらつきを改善できる。
【００３１】
【発明の実施の形態】
以下、本発明の好適な実施形態について図面を参照して説明する。図１は、本発明を適用したインターリーバを備えた立体視映像表示装置１００の概略構成を示す図である。同図において、立体視映像表示装置１００は、インターリーバ１０と、表示部３０とからなる。インターリーバ１０は、外部から入力される行列Ｋに基づいて、原画像２をサンプリング及びインターリーブし、表示部３０に表示する立体視映像の生成装置である。また、画像生成用プログラムを記憶したＲＡＭ、当該プログラムを実行することにより、立体視映像を生成するＣＰＵ等から構成される。また、専用の画像生成ＩＣを用いた回路としてインターリーバ１０を構成することとしても良い。
【００３２】
表示部３０は、液晶表示装置等からなりレンチキュラ板を備えた立体視ディスプレイである。表示部３０は、インターリーバ１０によりインターリーブされた合成画像を表示することにより、レンチキュラ板を介して立体視となる映像を表示する。
【００３３】
また、図１は、４眼式の立体視映像表示装置１００を示しており、原画像２として遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３の４つの原画像がインターリーバ１０によりサンプリング及びインターリーブされる。図１において原画像２は、立体視映像表示装置１００の外部から入力することとしたが、立体視映像表示装置１００内に予め格納される、または立体視映像表示装置１００内で生成されることとしても良い。具体的には、例えば、立体視映像表示装置１００がゲーム装置であって、ゲーム画像をも生成・表示する場合が考えられる。
【００３４】
行列Ｋは、詳細は後述するが、インターリーバ１０がサンプリング及びインターリーブする際のサンプリング方法を決定する係数である。この行列Ｋも図１においては、原画像２と同様に、立体視映像表示装置１００の外部から入力することとしたが、立体視映像表示装置１００内に格納されていることとしても良い。
【００３５】
図２は、原画像２の一例を示す図である。同図において、原画像２としての４つの（４つの視点における）原画像２−０、２−１、２−２、２−３は、全て同じ画像であり、４つのピクセルが左から白（ｒ、ｇ、ｂの値（輝度）が全て“１”）、黒（ｒ、ｇ、ｂの値が全て“０”）、黒、白となる画像とする。本明細書を通して各サブピクセル（ｒ、ｇ、ｂ）の輝度は、最も明るい場合を“１”、最も暗い場合を“０”とする。
【００３６】
図３は、本実施の形態におけるインターリーバ１０によるサンプリング及びインターリーブの一例を示す図である。以下、この図３に示すサンプリング及びインターリーブの方法をエリアサンプリングという。図３（ａ）は、レンチキュラ板Ｌの各レンチキュラレンズの幅に従った領域で合成画像を区切り、当該領域に含まれる合成画像ピクセルの割合を示す図である。例えば、レンチキュラレンズＬ１により区切られる合成画像サブピクセル（合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1）は、合成画像ピクセルＰ０に属するものが３つ（合成画像サブピクセルｒ0、ｇ0、ｂ0）と、合成画像ピクセルＰ１に属するものが１つ（合成画像サブピクセルｒ1）である。
【００３７】
そのため、図３（ｂ）に示すように、レンチキュラレンズＬ１により区切られる領域の合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1に対しては、それぞれ、合成画像ピクセルＰ０の位置に対応する原画像のピクセルＰ３０、Ｐ２０、Ｐ１０、Ｐ００のサブピクセルの輝度を３／４倍したものと、合成画像ピクセルＰ１に対応する原画像ピクセルＰ３１、Ｐ２１、Ｐ１１、Ｐ０１のサブピクセルの輝度を１／４倍したものとを足した値を設定する。
【００３８】
例えば、合成画像サブピクセルｒ0の輝度は、遠右原画像サブピクセルｒ30の輝度を３／４倍した輝度と、遠右原画像サブピクセルｒ31の輝度を１／４倍したものとを足した値に設定される。
【００３９】
また、図３（ａ）に示すように、レンチキュラレンズＬ２により区切られる領域の合成画像サブピクセル（合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2）は、合成画像ピクセルＰ１に属するものが２つ（合成画像サブピクセルｇ1、ｂ1）と、合成画像ピクセルＰ２に属するものが２つ（合成画像サブピクセルｒ2、ｇ2）である。
【００４０】
そのため、図３（ｂ）に示すように、レンチキュラレンズＬ２により区切られる領域の合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2に対しては、それぞれ、合成画像ピクセルＰ１の位置に対応する原画像ピクセルＰ３１、Ｐ２１、Ｐ１１、Ｐ０１のサブピクセルの輝度を２／４（＝１／２）倍したものと、合成画像ピクセルＰ２に対応する原画像ピクセルＰ３２、Ｐ２２、Ｐ１２、Ｐ０２のサブピクセルの輝度を２／４（＝１／２）倍したものとを足した値を設定する。
【００４１】
例えば、合成画像サブピクセルｇ1の輝度は、遠右原画像サブピクセルｇ31の輝度を１／２倍した輝度と、遠右原画像サブピクセルｇ32の輝度を１／２倍したものとを足した値に設定される。
【００４２】
同様にレンチキュラレンズＬ３により区切られる領域の合成画像サブピクセルに対しては、合成画像ピクセルＰ２の位置に対応する原画像ピクセルＰ３２、Ｐ２２、Ｐ１２、Ｐ０２のサブピクセルの輝度を１／４倍したものと、合成画像ピクセルＰ３の位置に対応する原画像ピクセルＰ３３、Ｐ２３、Ｐ１３、Ｐ０３のサブピクセルの輝度を３／４倍したものとを足した値に設定される。
【００４３】
図４は、図２に示すような原画像、即ち、白、黒、黒、白パターンで、全ての視点における原画像が同一である場合に、インターリーバ１０により、エリアサンプリングで生成される各視点の立体視映像を示す図である。図２に示したように原画像の画像全体の明るさは、画像全体が白（最も明るい）である場合の半分の明るさである。また、図４に示したエリアサンプリングで生成される立体視映像全体の明るさも立体視映像全体が白である場合の半分の明るさとなる。
【００４４】
即ち、エリアサンプリングにより立体視映像を生成する場合に、図２に示した原画像のように、各ピクセル中のサブピクセル（ｒ，ｇ，ｂ）の輝度が同じ場合には、原画像の画像全体の明るさがインターリーバ１０により生成される合成画像による立体視映像全体の明るさとして再現することができる。
【００４５】
次に、各原画像のサブピクセルの値（輝度）とインターリーブ後の各サブピクセルの値との関係について説明する。ここでは、４眼式（即ち、視点数４）の場合に限らず、視点数をｎ（ｎは、３の倍数以外の自然数）とした場合について説明する。数式（１）は、各原画像のサブピクセル値とインターリーブ後の各サブピクセル値ｓＩjとの関係を示す式である。
【００４６】
【数１】
【００４７】
ここで、（ｓＩ0，ｓＩ1，ｓＩ2，・・・，ｓＩ3n-1）＝（ｒ0，ｇ0，ｂ0，・・・，ｒn-1，ｇn-1，ｂn-1）である。また、ｖ＝（ｎ−１−（ｊ mod ｎ）、ｃ＝ｊ mod ３、ｊ＝０，１，２，・・・，３ｎ−１である。ここでmodとは、剰余を示す演算子である。
【００４８】
ｖは、各視点の原画像に対応する番号を示す（例えば、４眼式の場合には、ｖ＝３、２、１、０）。また、ｃは、原画像のｒ、ｇ、ｂを示す。（例えば、ｒの場合ｃ＝０、ｇの場合ｃ＝１、ｂの場合ｃ＝２となる。）。
【００４９】
ｊは、合成画像サブピクセルの番号を示す。例えば、ｎ眼式の場合には、ピクセル数がｎである（ｎピクセルづつサンプリング及びインターリーブを行なう）。また、１ピクセルに３サブピクセルが含まれるので、合成画像サブピクセルの数は、３ｎとなる。そのため、ｊの取る値は、“０”から“３ｎ−１”となる。
【００５０】
また、ｉは、ピクセル番号を示す（例えば、ｎ眼式の場合には、ｎピクセルづつサンプリング及びインターリーブを行なうためｉの取る値は“０”から“ｎ−１”となる。）。
【００５１】
即ち、ｓv,3i+cは、サンプリング前の各原画像の各サブピクセルを示す。ｋj,iは、各サブピクセル値を混合する比率を示し、全てのｊ（＝０，１，２，・・・，３ｎ−１）について、数式（２）が成り立つ。
【００５２】
【数２】
【００５３】
また、ベクトルｋj＝（ｋj,0，ｋj,1，・・・，ｋj,n-1）、ベクトルｓj＝（ｓv,c，ｓv,3+c，・・・，ｓv,3(n-1)+c）とすると、数式（１）は、数式（３）のように表される。
【００５４】
ｓＩj＝ｋj・ｓj （３）
（ｊ＝０，１，・・・，３ｎ−１）
【００５５】
また、各ｊの値に対するベクトルｋjを行列Ｋで表すと、行列Ｋは、数式（４）となる。
【００５６】
【数３】
【００５７】
例えば、４眼式において、エリアサンプリングを行なう場合には、行列Ｋは、数式（５）で表される。
【００５８】
【数４】
【００５９】
このように、サンプリング、及びインターリーブを数式（１）に従って行なうこととすると、行列Ｋ、即ち、数式（１）のｋj,iを変えることによりサンプリング方法を変更することができる。
【００６０】
例えば、数式（６）は、４眼式において、ダイレクトサンプリングを行なう際の行列Ｋを示す数式である。
【００６１】
【数５】
【００６２】
また、数式（７）は、４眼式において、ポイントサンプリングを行なう際の行列Ｋを示す数式である。
【００６３】
【数６】
【００６４】
なお、上述した３つのサンプリング以外にも、例えば、数式（８）に示すような行列Ｋを用いてサンプリング及びインターリーブを行なっても良い。
【００６５】
【数７】
【００６６】
図５は、数式（８）に示した行列Ｋを用いた場合の４眼式におけるサンプリング（以下、全平均化サンプリングという。）を説明する図である。同図に示すように、各合成画像サブピクセルに対して、対応する原画像（例えば、合成画像ピクセルがｒ0の場合には、遠右原画像２−３）の全ピクセルの対応するサブピクセル（例えば、合成画像サブピクセルがｒ0の場合には、遠右原画像２−３のｒのサブピクセル（ｒ30、ｒ31、ｒ32、ｒ33））の平均値を設定する。
【００６７】
例えば、図２に示した原画像を全平均化サンプリングし、インターリーブすると、図６に示すような立体映像となる。即ち、インターリーバ１０により生成される立体映像の輪郭情報は、原画像と異なるが、原画像の画像全体の明るさがインターリーバ１０により生成される合成画像による立体視映像全体の明るさとして再現することができる。
【００６８】
このように、行列Ｋを、（例えば、４眼式の場合には、数式（５）〜（８）のように）変更する、即ち、数式（１）のｋj,iを変更することによりサンプリング方法を変更することができる。
【００６９】
例えば、輪郭情報がより重要な画像の場合にはポイントサンプリング、色の情報及び画像全体の明るさの情報がより重要な場合には全平均化サンプリング、輪郭情報及び画像全体の明るさの情報がともに重要な場合にはエリアサンプリング、といったように、サンプリングを使い分けることにより画質の調整が可能となる。即ち生成される立体視映像をより高画質なものとすることができる。
【００７０】
また、例えば、画質よりも処理の高速化を優先する場合には、ダイレクトサンプリングを用いるといった使い分けもできる。
【００７１】
次に、本実施の形態におけるサンプリング及びインターリーブに係る動作を図７に示すフローチャートに基づいて説明する。なお、図７に示す動作は、静止画（動画においては１フレームの画像）の合成画像生成処理に係る動作について示すものである。
【００７２】
まず、インターリーバ１０は、サンプリング方法を決定する、即ち、行列Ｋを決定する（ステップＳ１）。次いで、各視点の原画像からｎ（４眼式の場合には、ｎ＝４）ピクセルを取得し（ステップＳ２）、ステップＳ１において決定した行列Ｋに基づいて、数式（１）に従って、サンプリング及びインターリーブを行なう(ステップＳ３）。
【００７３】
そして、原画像の全ピクセルについて、終了したか否かを判別し（ステップＳ４）、終了していない場合には、ステップＳ２に戻り、次のｎピクセルを取得してステップＳ３〜ステップＳ４の処理を繰り返す。そして、全ピクセルについてインターリーブが終了した場合には、インターリーブ後の合成画像ピクセルの輝度に従って合成画像を表示して（ステップＳ５）、処理を終了する。
【００７４】
なお、ステップＳ２〜ステップＳ５の処理を繰り返し、各フレームの合成画像を順次生成・表示することにより、動画に対する立体視映像の生成・表示も可能である。
【００７５】
以上のように、本発明によれば、エリアサンプリングにより、原画像全体の明るさの立体視映像における再現性をより向上させることができる。そのため、例えば、図２に示したような白黒パターンの画像が水平方向に移動するような動画を立体視映像として表示する場合に生じる画面のちらつき（画面の明るさの変化）をより少なくすることができる。
【００７６】
また、行列Ｋを変更することにより、サンプリングを変更することができるため、画像に応じてサンプリングを容易に変更でき、より高画質な立体視映像の表示を実現できる。
【００７７】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、原画像を、図２に示したように、白、黒、黒、白パターンで、全視点に対する原画像が等しいこととしたが、原画像としては、どのような画像であっても良く、また、各視点に対する画像が、それぞれ異なることとしても良い。
【００７８】
例えば、原画像の各ピクセルにおいて、ｒ、ｇ、ｂの値が異なる場合には、エリアサンプリングで合成画像を生成すると、原画像全体の明るさと、立体視映像全体の明るさとが異なる場合も有り得る。しかし、各レンチキュラレンズで区切られる領域に含まれる合成画像ピクセルの割合に基づいて、合成画像サブピクセルの輝度を設定するため、領域内に含まれる合成画像ピクセルをそれぞれ反映させることができる。従って、従来のポイントサンプリングやダイレクトサンプリングよりは、立体視映像の明るさに原画像の明るさを反映させることができる。
【図面の簡単な説明】
【図１】本実施の形態における立体視映像表示装置の概略構成を示す図である。
【図２】原画像の一例を示す図である。
【図３】エリアサンプリングの原理を説明する図である。
【図４】エリアサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図５】全平均化サンプリングの原理を説明する図である。
【図６】全平均化サンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図７】本実施の形態におけるサンプリング及びインターリーブに係る動作の一例を示すフローチャートである。
【図８】ダイレクトサンプリングの原理を説明する図である。
【図９】ダイレクトサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図１０】ポイントサンプリングの原理を説明する図である。
【図１１】ポイントサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【符号の説明】
２ 原画像
１００ 立体視映像表示装置
１０ インターリーバ
１１ 表示部
【発明の属する技術分野】
本発明は、立体視用画像の生成方法等に関する。
【０００２】
【従来の技術】
従来、多眼レンチキュラ方式の立体視映像表示装置では、図２に示すような、、複数の異なる視点から見た画像（以下、原画像という。）２をサブピクセル毎に順番に割り振ることにより立体視用の画像（レンチキュラ板を通して、立体視映像として表示される画像）（以下、合成画像という。）を生成するサブピクセルインターリーバ（以下、インターリーバという。）が知られている。一般に、複数の異なる視点から見た画像は、それぞれ異なる画像となるが、図２においては、説明を簡明とするため、全ての視点から見た画像を同じものとしている。また、図２は、４眼レンチキュラ方式（以下、４眼式という。）の場合の原画像２を示しており、原画像２としては、４つの原画像（遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３）が含まれる。インターリーバは、これら４つの原画像から合成画像を生成する。また、４眼式の場合には、４ピクセルづつインターリーブし、それを繰り返すことにより、全体の合成画像を生成するが、この図２では、簡明のため原画像２として４ピクセルのみを示している。また、以下の説明においても、簡明のため４ピクセルのみを対象として説明する。
【０００３】
従来、複数の原画像から、合成画像を生成する方法として、図８のように合成画像の各サブピクセル（以下、合成画像サブピクセルという。）に対応する各原画像のサブピクセルを選択し、その選択したサブピクセルの輝度を合成画像サブピクセルの輝度とする方法（以下、ダイレクトサンプリングという。）があった。図８は、遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０をダイレクトサンプリングする場合を示している。
【０００４】
ダイレクトサンプリングについて、より具体的に説明すると、４つの合成画像ピクセルＰ０、Ｐ１、Ｐ２、Ｐ３に含まれる各合成画像サブピクセルｒ0、ｇ0、ｂ0、…、ｒ3、ｇ3、ｂ3は、順番に遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０のサブピクセルの輝度に基づいて決まる。即ち、合成画像サブピクセルｒ0の輝度は、遠右原画像２−３から決まり、合成画像サブピクセルｇ0の輝度は、右原画像２−２から決まり、合成画像サブピクセルｂ0の輝度は、左原画像２−１から決まり、合成画像サブピクセルｒ1の輝度は、遠左原画像２−０から決まる。そして、合成画像サブピクセルｇ1の輝度は、再び遠右原画像２−３から決まる。
【０００５】
合成画像サブピクセルｒ0は、最左合成画像ピクセル（合成画像ピクセルＰ０）のサブピクセルであるため、この合成画像サブピクセルｒ0に対して、遠右原画像２−３のピクセル（以下、遠右原画像ピクセルという。）の内、最左のピクセルＰ３０のサブピクセルｒ30が選択される。同様に、合成画像サブピクセルｇ0に対して右原画像２−２のピクセル（以下、右原画像ピクセルという。）の内、最左のピクセルＰ２０のサブピクセルｇ20が選択され、合成画像サブピクセルｂ0に対して、左原画像２−ｌのピクセル（以下、左原画像ピクセルという。）の内、最左のピクセルＰ１０のサブピクセルｂ10が選択される。また、合成画像サブピクセルｒ1は、左から２番目の合成画像ピクセル（合成画像ピクセルＰ１）のサブピクセルであるため、この合成画像サブピクセルｒ1に対して、遠左原画像２−０のピクセル（以下、遠左原画像ピクセルという。）の内、左から２番目のピクセルＰ０１のサブピクセルｒ01が選択される。
【０００６】
そして、各合成画像サブピクセルの輝度を、選択された各原画像サブピクセルの輝度とすることにより、レンチキュラ板Ｌを通して、立体視映像として表示される合成画像を生成していた。このダイレクトサンプリングにより図２に示すような各原画像２−０、２−１、２−２、２−３をサンプリング及びインターリーブした合成画像は、図９に示すような映像となる。即ち、遠右の視点から見える映像３−３は、遠右原画像２−３のサブピクセルが選択されている合成画像サブピクセルｒ0、ｇ1、ｂ2がレンチキュラ板Ｌの各レンズによりレンズ幅（合成画像サブピクセル４つ分）に拡大されて表示される。合成画像サブピクセルｒ0の輝度は、遠右原画像サブピクセルｒ30の輝度となり、合成画像サブピクセルｇ1の輝度は、遠右原画像サブピクセルｇ31の輝度となり、合成画像サブピクセルｂ2の輝度は、遠右原画像サブピクセルｂ32の輝度となる。また、レンズ幅に拡大されたサブピクセルを見かけの表示セルという。
【０００７】
同様に、右の視点から見える立体視映像３−２は、右原画像２−２のサブピクセルが選択されている合成画像サブピクセルｇ0、ｂ1、ｒ3がそれぞれレンズ幅に拡大されて表示され、左の視点から見える立体視映像３−１は、左原画像２−１のサブピクセルが選択されているｂ0、ｒ2、ｇ3がそれぞれレンズ幅に拡大されて表示される。そして、遠左の視点から見える立体視映像３−０は、遠左原画像２−０のサブピクセルが選択されているｒ1、ｇ2、ｂ3がそれぞれレンズ幅に拡大されて表示される。
【０００８】
また、図１０に示すように、見かけの表示セルの中心を標本点とし、標本点が位置する合成画像ピクセルに対応する原画像ピクセルからサブピクセルを選択する方法（以下、ポイントサンプリングという。）も用いられていた。
【０００９】
図１０は、ポイントサンプリングを説明する図である。図１０に示すように、レンチキュラ板Ｌの各レンチキュラレンズＬ１、Ｌ２、Ｌ３の中心、即ち、見かけの表示セルの中心位置をそれぞれ標本点Ｓ１、Ｓ２、Ｓ３とする。そして、各見かけの表示セルの標本点が位置する合成画像ピクセルに対応する原画像ピクセルからサブピクセルを選択する。
【００１０】
例えば、レンチキュラレンズＬ１の中心、即ち、標本点Ｓ１は、合成画像ピクセルＰ０に位置する。そのため、最左の見かけの表示セルに含まれる（立体視映像として表示される際にレンチキュラレンズＬ１により拡大される）合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1に対して、それぞれ合成画像ピクセルＰ０に対応する原画像ピクセルからサブピクセルを選択する。即ち、合成画像ピクセルＰ０は、最左合成画像ピクセルであるため、各原画像の最左原画像ピクセルＰ００、Ｐ１０、Ｐ２０、Ｐ３０の各サブピクセルを選択する。
【００１１】
従って、表示サブピクセルｒ0に対して遠右原画像サブピクセルｒ30が選択され、合成画像サブピクセルｇ0に対して右原画像サブピクセルｇ20が選択され、合成画像サブピクセルｂ0に対して左原画像サブピクセルｂ10が選択され、合成画像サブピクセルｒ1に対して遠左原画像サブピクセルｒ00が選択される。そして、各合成画像サブピクセルに対して選択された原画像サブピクセルの輝度を各表示サブピクセルの輝度とする。
【００１２】
また、レンチキュラレンズＬ２の中心である標本点Ｓ２は、合成画像ピクセルＰ１と、合成画像ピクセルＰ２の間に位置するので、標本点Ｓ２の位置により合成画像ピクセルが決定されない。そのため、レンチキュラレンズＬ２により拡大される合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2に対しては、合成画像ピクセルＰ１及び合成画像ピクセルＰ２に対応する原画像ピクセルから選択する。即ち、一の合成画像サブピクセルに対して２つの原画像サブピクセルを選択する。そして、選択した２つの原画像サブピクセルの輝度の平均値を合成画像サブピクセルの輝度とする。例えば、合成画像サブピクセルｇ1に対しては、遠右原画像２−３のサブピクセルの内、ｇ31とｇ32が選択され、この２つのサブピクセルの輝度の平均値を合成画像サブピクセルｇ1の輝度とする。
【００１３】
また、レンチキュラレンズＬ３によって拡大される合成画像サブピクセルｂ2、ｒ3、ｇ3、ｂ3については、標本点Ｓ３が最右合成画像ピクセルＰ３に位置するため、各原画像の最右原画像ピクセルＰ０３、Ｐ１３、Ｐ２３、Ｐ３３の各原画像サブピクセルを選択する。そして、選択した原画像サブピクセルの輝度を各合成画像サブピクセルの輝度とする。
【００１４】
【発明が解決しようとする課題】
しかしながら、図２に示すような、全ての視点に対する原画像が同一の白黒パターンが繰り返されている原画像２からダイレクトサンプリングによるサンプリング及びインターリーブによって合成画像を生成した場合には、各視点から見える立体視映像は、図９に示すような立体視映像（遠右立体視映像３−３、右立体視映像３−２、左立体視映像３−１、遠左立体視映像３−０）となる。図２に示すように、遠右原画像２−３は中央が暗くて両端が明るいが、図９に示す遠右立体視映像３−３は左端だけが明るく残りは暗くなっており、遠右原画像２−３と、輪郭情報が異なっている。同様に、遠左立体視映像３−０も遠左原画像２−０と輪郭情報が異なっている。このように原画像の輪郭情報が立体視映像において、再現されないといった問題があった。ここで、輪郭情報とは、各サブピクセルの輝度の値（明暗）で示される表示物体の輪郭（形）を意味する。遠右原画像２−３と遠右立体視映像３−３とは、明るい部分とくらい部分との形が原画像と異なっているため、輪郭情報が再現されていないこととなる。
【００１５】
また、同様の理論によりダイレクトサンプリングによって生成される合成画像を表示した際の立体視映像全体の明るさが、原画像全体の明るさと異なってしまうといった問題があった。例えば、図２に示す各原画像では、原画像全体の半分のサブピクセルの輝度が“１”であり、残りの半分のサブピクセルの輝度が“０”である。即ち、原画像のサブピクセルの輝度を全て“１”とした場合（最も明るい場合）の半分の明るさである。しかし、図９に示した立体視映像においては、遠左立体視映像３−０及び遠右立体視映像３−３においては、立体視映像全体のサブピクセルの輝度を全て“１”とした場合の１／３の明るさとなり、左立体視映像３−１及び右立体視映像３−２においては、立体視映像のサブピクセルの輝度を全て“１”とした場合の２／３の明るさとなり、原画像全体の明るさと異なる。
【００１６】
また、図２に示したような原画像からポイントサンプリングによるサンプリング及びインターリーブによって合成画像を生成した場合には、図１１に示すような立体視映像が表示される。即ち、両端の原画像ピクセルの情報（原画像において白部分）は、それぞれレンチキュラレンズの幅に拡大されて表示されるが、中央の２ピクセル分の情報（原画像において黒部分）が１レンズ幅に縮小されて表示されることとなる。例えば、図２に示したような、中央の２ピクセルが黒（暗）で、両端のピクセルが白（明）といった原画像の場合には、立体視映像において黒（暗）部分が縮小されるため、原画像全体よりも立体視映像全体の方が明るくなってしまうといった問題があった。
【００１７】
また、例えば、図２に示すような原画像において、白黒パターンが水平方向に移動する（白と黒との割合は変化せず、位置のみ変化する。即ち、原画像全体の明るさは変化しない。）動画を立体視映像として表示する場合に、原画像全体の明るさは変化しないのに、ポイントサンプリングにより生成・表示される立体視映像全体の明るさは変化してしまう（白と黒との位置が変わる度に、白部分が縮小されたり、黒部分が縮小されたりするため、立体視映像全体の明るさが原画像全体の明るさより明るくなったり暗くなったりする）ため、映像がちらつき、観察者に目の疲れや不快感を与えるといった問題があった。また、このような問題は視点数が増えるほど顕著であった。
【００１８】
本発明の課題は、立体視映像全体の明るさに対する原画像全体の明るさの再現性をより向上させることである。
【００１９】
【課題を解決するための手段】
上記課題を解決するための第１の発明は、視点の異なる複数の原画像（例えば、図２に示す原画像２）の中から、立体視映像の各サブピクセル（例えば、図３に示す合成画像サブピクセルｒ0，ｇ0，ｂ0，・・・，ｒ3，ｇ3，ｂ3）に対応するサブピクセル（例えば、図２に示す原画像サブピクセルｒ00，ｇ00，ｂ00，・・・，ｒ33，ｇ33，ｂ33の内のいずれか）を選択し、選択したサブピクセルをインターリーブすることにより生成した立体視映像（実施の形態における合成画像）を多眼レンチキュラ方式の立体視映像表示装置（例えば、図１に示す表示部３０）に出力するインターリーバ（例えば、図１に示すインターリーバ１０）であって、表示セルを単位とし、かつ、該表示セルに含まれる、前記立体視映像のピクセル領域の割合に基づいて、前記立体視映像の各サブピクセルの輝度を設定するための輝度設定手段を備えるインターリーバである。
【００２０】
第５の発明は、多眼式レンチキュラ方式の立体視映像表示装置に表示する立体視映像を生成する立体視映像生成方法であって、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、表示セルを単位とし、かつ、該表示セルに含まれる、前記立体視映像のピクセル領域の割合に基づいて、決定する立体視映像生成方法である。
【００２１】
ここで、表示セルとは、レンチキュラ板の一のレンズにより拡大された立体視映像のサブピクセル（見かけの表示セル）を指す。即ち、表示セルの幅は、レンチキュラレンズの幅と等しくなる。
【００２２】
第１または第５の発明によれば、表示セルに含まれる前記立体視映像のピクセル領域の割合に基づいて、立体視映像の各サブピクセルの輝度を設定するため、各表示セルに対応する原画像の各ピクセルの割合を立体視映像の各サブピクセルに反映できるため、立体視映像の明るさにおける原画像全体の明るさの再現性を向上させることができる。
【００２３】
第２の発明は、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブすることにより生成した立体視映像を多眼レンチキュラ方式の立体視映像表示装置に出力するインターリーバであって、前記立体視映像の各サブピクセルの輝度を、前記原画像それぞれのサブピクセルの輝度平均値として設定するための輝度設定手段を備えるインターリーバである。
【００２４】
第６の発明は、多眼式レンチキュラ方式の立体視映像表示装置に表示する立体視映像を生成する立体視映像生成方法であって、視点の異なる複数の原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、前記原画像それぞれのサブピクセルの輝度平均値として決定する立体視映像生成方法である。
【００２５】
第２または第６の発明によれば、立体視映像の各サブピクセルの輝度を原画像のそれぞれのサブピクセルの輝度平均値として設定するため、立体視映像のサブピクセルの輝度に原画像の全ピクセルの輝度を反映することができる。そのため、立体視映像全体の明るさを原画像全体の明るさに等しくすることができる。
【００２６】
第３の発明は、多眼レンチキュラ方式の立体視映像表示装置に表示するための立体視映像を、視点の異なる複数の原画像に基づいて生成するインターリーバであって、任意に設定可能なサンプリング係数（例えば、図１に示す行列Ｋ）に基づいて、前記複数の原画像内の、前記立体視映像の各サブピクセルに対応するサブピクセルの選択および混合比率を決定するためのサンプリング方法決定手段を備えるインターリーバである。
【００２７】
第７の発明は、多眼レンチキュラ方式の立体視映像表示装置に表示するための立体視映像を、視点の異なる複数の原画像に基づいて生成する立体視映像生成方法であって、前記原画像の中から、立体視映像の各サブピクセルに対応するサブピクセルを、任意に設定可能なサンプリング係数に基づいて選択し、選択したサブピクセルをインターリーブする際に、当該サブピクセルそれぞれの輝度を、前記サンプリング係数に基づいた混合比率に従って決定する立体視映像生成方法である。
【００２８】
第３または第７の発明によれば、サンプリング係数を変更することにより、容易にサンプリング方法の変更ができるため、サンプリング方法の使い分けができ、画質の調整がより容易になる。例えば、明るさの再現性が重要な画像の場合には、より明るさの再現性の高いサンプリング方法によって、原画像から立体視映像を生成し、輪郭情報が重要となる画像の場合には、輪郭情報の再現性の高いサンプリング方法によって、原画像に基づく立体視映像を生成することができる。また、例えば、処理の速度が重要な場合には、より高速処理が可能なサンプリング方法により立体視映像の生成を行なうことができる。ここで、サンプリング方法とは、サンプリング（立体視映像の各サブピクセルに対応するサブピクセルの選択）及びインターリーブを含む方法を指す。
【００２９】
第４の発明として、第１から第３のいずれかの発明のインターリーバを備える立体視映像表示装置を構成してもよい。
【００３０】
この第４の発明によれば、原画像全体の明るさの再現性を向上させた立体視映像を生成・表示する立体視映像表示装置を提供できる。その結果、映像のちらつきを改善できる。
【００３１】
【発明の実施の形態】
以下、本発明の好適な実施形態について図面を参照して説明する。図１は、本発明を適用したインターリーバを備えた立体視映像表示装置１００の概略構成を示す図である。同図において、立体視映像表示装置１００は、インターリーバ１０と、表示部３０とからなる。インターリーバ１０は、外部から入力される行列Ｋに基づいて、原画像２をサンプリング及びインターリーブし、表示部３０に表示する立体視映像の生成装置である。また、画像生成用プログラムを記憶したＲＡＭ、当該プログラムを実行することにより、立体視映像を生成するＣＰＵ等から構成される。また、専用の画像生成ＩＣを用いた回路としてインターリーバ１０を構成することとしても良い。
【００３２】
表示部３０は、液晶表示装置等からなりレンチキュラ板を備えた立体視ディスプレイである。表示部３０は、インターリーバ１０によりインターリーブされた合成画像を表示することにより、レンチキュラ板を介して立体視となる映像を表示する。
【００３３】
また、図１は、４眼式の立体視映像表示装置１００を示しており、原画像２として遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３の４つの原画像がインターリーバ１０によりサンプリング及びインターリーブされる。図１において原画像２は、立体視映像表示装置１００の外部から入力することとしたが、立体視映像表示装置１００内に予め格納される、または立体視映像表示装置１００内で生成されることとしても良い。具体的には、例えば、立体視映像表示装置１００がゲーム装置であって、ゲーム画像をも生成・表示する場合が考えられる。
【００３４】
行列Ｋは、詳細は後述するが、インターリーバ１０がサンプリング及びインターリーブする際のサンプリング方法を決定する係数である。この行列Ｋも図１においては、原画像２と同様に、立体視映像表示装置１００の外部から入力することとしたが、立体視映像表示装置１００内に格納されていることとしても良い。
【００３５】
図２は、原画像２の一例を示す図である。同図において、原画像２としての４つの（４つの視点における）原画像２−０、２−１、２−２、２−３は、全て同じ画像であり、４つのピクセルが左から白（ｒ、ｇ、ｂの値（輝度）が全て“１”）、黒（ｒ、ｇ、ｂの値が全て“０”）、黒、白となる画像とする。本明細書を通して各サブピクセル（ｒ、ｇ、ｂ）の輝度は、最も明るい場合を“１”、最も暗い場合を“０”とする。
【００３６】
図３は、本実施の形態におけるインターリーバ１０によるサンプリング及びインターリーブの一例を示す図である。以下、この図３に示すサンプリング及びインターリーブの方法をエリアサンプリングという。図３（ａ）は、レンチキュラ板Ｌの各レンチキュラレンズの幅に従った領域で合成画像を区切り、当該領域に含まれる合成画像ピクセルの割合を示す図である。例えば、レンチキュラレンズＬ１により区切られる合成画像サブピクセル（合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1）は、合成画像ピクセルＰ０に属するものが３つ（合成画像サブピクセルｒ0、ｇ0、ｂ0）と、合成画像ピクセルＰ１に属するものが１つ（合成画像サブピクセルｒ1）である。
【００３７】
そのため、図３（ｂ）に示すように、レンチキュラレンズＬ１により区切られる領域の合成画像サブピクセルｒ0、ｇ0、ｂ0、ｒ1に対しては、それぞれ、合成画像ピクセルＰ０の位置に対応する原画像のピクセルＰ３０、Ｐ２０、Ｐ１０、Ｐ００のサブピクセルの輝度を３／４倍したものと、合成画像ピクセルＰ１に対応する原画像ピクセルＰ３１、Ｐ２１、Ｐ１１、Ｐ０１のサブピクセルの輝度を１／４倍したものとを足した値を設定する。
【００３８】
例えば、合成画像サブピクセルｒ0の輝度は、遠右原画像サブピクセルｒ30の輝度を３／４倍した輝度と、遠右原画像サブピクセルｒ31の輝度を１／４倍したものとを足した値に設定される。
【００３９】
また、図３（ａ）に示すように、レンチキュラレンズＬ２により区切られる領域の合成画像サブピクセル（合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2）は、合成画像ピクセルＰ１に属するものが２つ（合成画像サブピクセルｇ1、ｂ1）と、合成画像ピクセルＰ２に属するものが２つ（合成画像サブピクセルｒ2、ｇ2）である。
【００４０】
そのため、図３（ｂ）に示すように、レンチキュラレンズＬ２により区切られる領域の合成画像サブピクセルｇ1、ｂ1、ｒ2、ｇ2に対しては、それぞれ、合成画像ピクセルＰ１の位置に対応する原画像ピクセルＰ３１、Ｐ２１、Ｐ１１、Ｐ０１のサブピクセルの輝度を２／４（＝１／２）倍したものと、合成画像ピクセルＰ２に対応する原画像ピクセルＰ３２、Ｐ２２、Ｐ１２、Ｐ０２のサブピクセルの輝度を２／４（＝１／２）倍したものとを足した値を設定する。
【００４１】
例えば、合成画像サブピクセルｇ1の輝度は、遠右原画像サブピクセルｇ31の輝度を１／２倍した輝度と、遠右原画像サブピクセルｇ32の輝度を１／２倍したものとを足した値に設定される。
【００４２】
同様にレンチキュラレンズＬ３により区切られる領域の合成画像サブピクセルに対しては、合成画像ピクセルＰ２の位置に対応する原画像ピクセルＰ３２、Ｐ２２、Ｐ１２、Ｐ０２のサブピクセルの輝度を１／４倍したものと、合成画像ピクセルＰ３の位置に対応する原画像ピクセルＰ３３、Ｐ２３、Ｐ１３、Ｐ０３のサブピクセルの輝度を３／４倍したものとを足した値に設定される。
【００４３】
図４は、図２に示すような原画像、即ち、白、黒、黒、白パターンで、全ての視点における原画像が同一である場合に、インターリーバ１０により、エリアサンプリングで生成される各視点の立体視映像を示す図である。図２に示したように原画像の画像全体の明るさは、画像全体が白（最も明るい）である場合の半分の明るさである。また、図４に示したエリアサンプリングで生成される立体視映像全体の明るさも立体視映像全体が白である場合の半分の明るさとなる。
【００４４】
即ち、エリアサンプリングにより立体視映像を生成する場合に、図２に示した原画像のように、各ピクセル中のサブピクセル（ｒ，ｇ，ｂ）の輝度が同じ場合には、原画像の画像全体の明るさがインターリーバ１０により生成される合成画像による立体視映像全体の明るさとして再現することができる。
【００４５】
次に、各原画像のサブピクセルの値（輝度）とインターリーブ後の各サブピクセルの値との関係について説明する。ここでは、４眼式（即ち、視点数４）の場合に限らず、視点数をｎ（ｎは、３の倍数以外の自然数）とした場合について説明する。数式（１）は、各原画像のサブピクセル値とインターリーブ後の各サブピクセル値ｓＩjとの関係を示す式である。
【００４６】
【数１】
ここで、（ｓＩ0，ｓＩ1，ｓＩ2，・・・，ｓＩ3n-1）＝（ｒ0，ｇ0，ｂ0，・・・，ｒn-1，ｇn-1，ｂn-1）である。また、ｖ＝（ｎ−１−（ｊ mod ｎ）、ｃ＝ｊ mod ３、ｊ＝０，１，２，・・・，３ｎ−１である。ここでmodとは、剰余を示す演算子である。
【００４８】
ｖは、各視点の原画像に対応する番号を示す（例えば、４眼式の場合には、ｖ＝３、２、１、０）。また、ｃは、原画像のｒ、ｇ、ｂを示す。（例えば、ｒの場合ｃ＝０、ｇの場合ｃ＝１、ｂの場合ｃ＝２となる。）。
【００４９】
ｊは、合成画像サブピクセルの番号を示す。例えば、ｎ眼式の場合には、ピクセル数がｎである（ｎピクセルづつサンプリング及びインターリーブを行なう）。また、１ピクセルに３サブピクセルが含まれるので、合成画像サブピクセルの数は、３ｎとなる。そのため、ｊの取る値は、“０”から“３ｎ−１”となる。
【００５０】
また、ｉは、ピクセル番号を示す（例えば、ｎ眼式の場合には、ｎピクセルづつサンプリング及びインターリーブを行なうためｉの取る値は“０”から“ｎ−１”となる。）。
【００５１】
即ち、ｓv,3i+cは、サンプリング前の各原画像の各サブピクセルを示す。ｋj,iは、各サブピクセル値を混合する比率を示し、全てのｊ（＝０，１，２，・・・，３ｎ−１）について、数式（２）が成り立つ。
【００５２】
【数２】
また、ベクトルｋj＝（ｋj,0，ｋj,1，・・・，ｋj,n-1）、ベクトルｓj＝（ｓv,c，ｓv,3+c，・・・，ｓv,3(n-1)+c）とすると、数式（１）は、数式（３）のように表される。
【００５４】
ｓＩj＝ｋj・ｓj （３）
（ｊ＝０，１，・・・，３ｎ−１）
【００５５】
また、各ｊの値に対するベクトルｋjを行列Ｋで表すと、行列Ｋは、数式（４）となる。
【００５６】
【数３】
例えば、４眼式において、エリアサンプリングを行なう場合には、行列Ｋは、数式（５）で表される。
【００５８】
【数４】
このように、サンプリング、及びインターリーブを数式（１）に従って行なうこととすると、行列Ｋ、即ち、数式（１）のｋj,iを変えることによりサンプリング方法を変更することができる。
【００６０】
例えば、数式（６）は、４眼式において、ダイレクトサンプリングを行なう際の行列Ｋを示す数式である。
【００６１】
【数５】
また、数式（７）は、４眼式において、ポイントサンプリングを行なう際の行列Ｋを示す数式である。
【００６３】
【数６】
なお、上述した３つのサンプリング以外にも、例えば、数式（８）に示すような行列Ｋを用いてサンプリング及びインターリーブを行なっても良い。
【００６５】
【数７】
図５は、数式（８）に示した行列Ｋを用いた場合の４眼式におけるサンプリング（以下、全平均化サンプリングという。）を説明する図である。同図に示すように、各合成画像サブピクセルに対して、対応する原画像（例えば、合成画像ピクセルがｒ0の場合には、遠右原画像２−３）の全ピクセルの対応するサブピクセル（例えば、合成画像サブピクセルがｒ0の場合には、遠右原画像２−３のｒのサブピクセル（ｒ30、ｒ31、ｒ32、ｒ33））の平均値を設定する。
【００６７】
例えば、図２に示した原画像を全平均化サンプリングし、インターリーブすると、図６に示すような立体映像となる。即ち、インターリーバ１０により生成される立体映像の輪郭情報は、原画像と異なるが、原画像の画像全体の明るさがインターリーバ１０により生成される合成画像による立体視映像全体の明るさとして再現することができる。
【００６８】
このように、行列Ｋを、（例えば、４眼式の場合には、数式（５）〜（８）のように）変更する、即ち、数式（１）のｋj,iを変更することによりサンプリング方法を変更することができる。
【００６９】
例えば、輪郭情報がより重要な画像の場合にはポイントサンプリング、色の情報及び画像全体の明るさの情報がより重要な場合には全平均化サンプリング、輪郭情報及び画像全体の明るさの情報がともに重要な場合にはエリアサンプリング、といったように、サンプリングを使い分けることにより画質の調整が可能となる。即ち生成される立体視映像をより高画質なものとすることができる。
【００７０】
また、例えば、画質よりも処理の高速化を優先する場合には、ダイレクトサンプリングを用いるといった使い分けもできる。
【００７１】
次に、本実施の形態におけるサンプリング及びインターリーブに係る動作を図７に示すフローチャートに基づいて説明する。なお、図７に示す動作は、静止画（動画においては１フレームの画像）の合成画像生成処理に係る動作について示すものである。
【００７２】
まず、インターリーバ１０は、サンプリング方法を決定する、即ち、行列Ｋを決定する（ステップＳ１）。次いで、各視点の原画像からｎ（４眼式の場合には、ｎ＝４）ピクセルを取得し（ステップＳ２）、ステップＳ１において決定した行列Ｋに基づいて、数式（１）に従って、サンプリング及びインターリーブを行なう(ステップＳ３）。
【００７３】
そして、原画像の全ピクセルについて、終了したか否かを判別し（ステップＳ４）、終了していない場合には、ステップＳ２に戻り、次のｎピクセルを取得してステップＳ３〜ステップＳ４の処理を繰り返す。そして、全ピクセルについてインターリーブが終了した場合には、インターリーブ後の合成画像ピクセルの輝度に従って合成画像を表示して（ステップＳ５）、処理を終了する。
【００７４】
なお、ステップＳ２〜ステップＳ５の処理を繰り返し、各フレームの合成画像を順次生成・表示することにより、動画に対する立体視映像の生成・表示も可能である。
【００７５】
以上のように、本発明によれば、エリアサンプリングにより、原画像全体の明るさの立体視映像における再現性をより向上させることができる。そのため、例えば、図２に示したような白黒パターンの画像が水平方向に移動するような動画を立体視映像として表示する場合に生じる画面のちらつき（画面の明るさの変化）をより少なくすることができる。
【００７６】
また、行列Ｋを変更することにより、サンプリングを変更することができるため、画像に応じてサンプリングを容易に変更でき、より高画質な立体視映像の表示を実現できる。
【００７７】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、原画像を、図２に示したように、白、黒、黒、白パターンで、全視点に対する原画像が等しいこととしたが、原画像としては、どのような画像であっても良く、また、各視点に対する画像が、それぞれ異なることとしても良い。
【００７８】
例えば、原画像の各ピクセルにおいて、ｒ、ｇ、ｂの値が異なる場合には、エリアサンプリングで合成画像を生成すると、原画像全体の明るさと、立体視映像全体の明るさとが異なる場合も有り得る。しかし、各レンチキュラレンズで区切られる領域に含まれる合成画像ピクセルの割合に基づいて、合成画像サブピクセルの輝度を設定するため、領域内に含まれる合成画像ピクセルをそれぞれ反映させることができる。従って、従来のポイントサンプリングやダイレクトサンプリングよりは、立体視映像の明るさに原画像の明るさを反映させることができる。
【図面の簡単な説明】
【図１】本実施の形態における立体視映像表示装置の概略構成を示す図である。
【図２】原画像の一例を示す図である。
【図３】エリアサンプリングの原理を説明する図である。
【図４】エリアサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図５】全平均化サンプリングの原理を説明する図である。
【図６】全平均化サンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図７】本実施の形態におけるサンプリング及びインターリーブに係る動作の一例を示すフローチャートである。
【図８】ダイレクトサンプリングの原理を説明する図である。
【図９】ダイレクトサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【図１０】ポイントサンプリングの原理を説明する図である。
【図１１】ポイントサンプリングにより画像を合成した際に表示される立体視映像の一例を示す図である。
【符号の説明】
２ 原画像
１００ 立体視映像表示装置
１０ インターリーバ
１１ 表示部
Claims (4)
- 視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成装置であって、
前記合成画像サブピクセルそれぞれの輝度を、前記原画像それぞれの原画像サブピクセルの輝度平均値として設定するための輝度設定手段を備える立体視用画像生成装置。 - 前記視点の異なる前記複数の原画像を生成する原画像生成手段を更に備えた請求項１に記載の立体視用画像生成装置。
- 請求項１又は２に記載の立体視用画像生成装置を備える多眼レンチキュラ方式の立体視映像表示装置。
- 視点の異なる複数の原画像の中から、立体視映像として表示される合成画像を構成する合成画像サブピクセルそれぞれに対応する原画像サブピクセルをインターリーブすることにより前記合成画像を生成する立体視用画像生成方法であって、
前記合成画像サブピクセルそれぞれの輝度を、前記原画像それぞれの原画像サブピクセルの輝度平均値として設定することを含む立体視用画像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000202537A JP4592880B2 (ja) | 2000-07-04 | 2000-07-04 | 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000202537A JP4592880B2 (ja) | 2000-07-04 | 2000-07-04 | 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010180031A Division JP2011002843A (ja) | 2010-08-11 | 2010-08-11 | 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002027505A JP2002027505A (ja) | 2002-01-25 |
| JP4592880B2 true JP4592880B2 (ja) | 2010-12-08 |
Family
ID=18700051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000202537A Expired - Fee Related JP4592880B2 (ja) | 2000-07-04 | 2000-07-04 | 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4592880B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100943274B1 (ko) * | 2002-12-20 | 2010-02-23 | 삼성전자주식회사 | 색신호 보정장치 및 그 방법, 및 그것을 이용한영상신호처리 시스템 및 그 방법 |
| JP2006520921A (ja) * | 2003-03-12 | 2006-09-14 | シーグベルト ヘントシュケ | ３次元ディスプレイ用自動立体視再現システム |
| JP2008527456A (ja) * | 2005-01-18 | 2008-07-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチビューディスプレイ装置 |
| JP5036253B2 (ja) * | 2005-08-31 | 2012-09-26 | 株式会社東芝 | 三次元画像表示用要素画像アレイの作成方法、作成装置、および作成プログラム |
| BRPI0923658A2 (pt) * | 2008-12-26 | 2019-09-24 | Sharp Kk | aparelho de tela de cristal líquido |
| KR102047228B1 (ko) * | 2013-06-11 | 2019-12-02 | 엘지디스플레이 주식회사 | 렌티큘러 입체 디스플레이 장치 및 그 구동 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000010332A1 (fr) * | 1998-08-13 | 2000-02-24 | Pierre Allio | Procede d'affichage autostereoscopique |
-
2000
- 2000-07-04 JP JP2000202537A patent/JP4592880B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000010332A1 (fr) * | 1998-08-13 | 2000-02-24 | Pierre Allio | Procede d'affichage autostereoscopique |
| JP2002523932A (ja) * | 1998-08-13 | 2002-07-30 | アリオ，ピエール | 自動立体表示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002027505A (ja) | 2002-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5615136B2 (ja) | 立体画像補正方法、立体表示装置、および立体画像生成装置 | |
| CN104900205B (zh) | 液晶面板及其驱动方法 | |
| KR100547066B1 (ko) | 화상 표시 방법 | |
| JP4798358B2 (ja) | 画像処理システム、表示装置および画像処理方法 | |
| JP2726631B2 (ja) | 液晶表示方法 | |
| CN109147644A (zh) | 显示面板及显示方法 | |
| EP1424675A2 (en) | Display apparatus, method and program with selective image smoothing based on subpixel colour values | |
| CN105096856B (zh) | 液晶面板的驱动方法及驱动装置 | |
| CN108122544B (zh) | 显示装置及其驱动方法 | |
| CN106847205A (zh) | 液晶显示器件及其驱动方法 | |
| CN109643462B (zh) | 基于渲染引擎的实时图像处理方法以及显示设备 | |
| CN109584774A (zh) | 一种显示面板的边缘处理方法及显示面板 | |
| CN105632424A (zh) | 一种扩展显示灰阶数的色彩增强算法及控制装置 | |
| US8089556B2 (en) | Flat display and driving method thereof | |
| CN108428435A (zh) | 一种Delta型排列子像素渲染的验证显示方法 | |
| AU2015289185B2 (en) | Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor | |
| JP4592880B2 (ja) | 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 | |
| US10290252B2 (en) | Image display method, image display apparatus and delta pixel arrangement display device | |
| CN116895220B (zh) | 一种像素点的排布结构及其控制方法、显示设备 | |
| CN108154848A (zh) | 像素排列的显示方法、装置及显示设备 | |
| JPH09102968A (ja) | 立体画像表示装置 | |
| JP2011002843A (ja) | 立体視用画像生成装置、立体視映像表示装置、及び立体視用画像生成方法 | |
| CN112102793A (zh) | 一种显示设备及图像显示的方法 | |
| TWI499279B (zh) | 影像處理裝置及其方法 | |
| JPH10191400A (ja) | ３次元画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070702 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070702 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070810 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100414 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100511 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4592880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |