JP4268415B2 - 立体視方法およびヘッドマウントディスプレイ装置 - Google Patents

立体視方法およびヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
JP4268415B2
JP4268415B2 JP2003032697A JP2003032697A JP4268415B2 JP 4268415 B2 JP4268415 B2 JP 4268415B2 JP 2003032697 A JP2003032697 A JP 2003032697A JP 2003032697 A JP2003032697 A JP 2003032697A JP 4268415 B2 JP4268415 B2 JP 4268415B2
Authority
JP
Japan
Prior art keywords
image
light shielding
stereoscopic
observer
depth position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003032697A
Other languages
English (en)
Other versions
JP2004245889A (ja
Inventor
篤史 葛岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003032697A priority Critical patent/JP4268415B2/ja
Publication of JP2004245889A publication Critical patent/JP2004245889A/ja
Application granted granted Critical
Publication of JP4268415B2 publication Critical patent/JP4268415B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、立体視方法及びヘッドマウントディスプレイ装置に関するものであり、左右眼の画像信号を、該左右眼のそれぞれに対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察する立体視方法、及びヘッドマウントディスプレイ装置に関するものである。
【0002】
【従来の技術】
従来技術の立体視が可能なヘッドマウントディスプレイ装置としては、図8に示すような平面表示装置がある。図8に示す平面表示装置は、液晶表示装置(LCD)800L、800Rと凸レンズ801L、801Rを用いるものであり、以下、図8に示す平面表示装置の原理について説明する。例えば、三次元物体802、804をそれぞれ異なる方向から見た像(これを視差像と呼ぶ)を、カメラ803L、803Rによって撮像する。このカメラ803L、803Rからの画像をそれぞれ左右の液晶表示装置800L、800Rに入力し、表示する。観察者1は、左右の液晶表示装置800L、800Rの別々な表示画像を、それぞれ別々の凸レンズ801L、801Rを通して、左右の眼で別々に観察する。これにより、観察者1は、同時に両眼により視差像を観察でき、両眼視差による立体視が可能となる。また、観察者1の左眼および右眼のそれぞれに対して、奥行き位置の異なる複数の表示面を配置し、表示対象物体を観察者1の左眼および右眼から見た視差像から、観察者1の左眼および右眼に対する各表示面に表示される二次元像が観察者1の左眼および右眼から見て重なるようにされた左眼および右眼用の複数の二次元像を生成し、観察者1に対する各表示面に表示される二次元像の輝度を、各表示面毎にそれぞれ独立に変化させるものもある(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開2000−333211号公報
【0004】
【発明が解決しようとする課題】
立体視を行う際に、例えば、光学的手段を用いて立体画像802aを3m離れた位置で観察した場合、表示素子の枠および周辺部分が、同じく3m離れた位置に見えるため、該枠および周辺部分より手前の奥行き位置であり、周囲の枠に掛かった立体画像部分804aについては、枠よりも手前に見えるように視差を調整していても、枠よりも向こうに見えることから、立体画像における距離の知覚に矛盾が生じ、正常な立体視が阻害される問題があった。
【0005】
本発明は、上記従来の課題を解決するために為されたものであり、観察者が立体画像における知覚に矛盾が生じることなく、正常な立体視を行うことができる立体視方法及びヘッドマウントディスプレイ装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記の課題を解決するために、本発明の請求項1に記載の立体視方法は、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察する立体視方法であって、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より任意の距離だけ観察者に近い奥行き位置にて、前記三次元立体像がかかった表示素子の枠および周辺部分遮光するように、遮光手段を左右眼と上記左右の表示素子との間に配置し、該遮光手段を介して、該左右の表示素子を左右眼のそれぞれにより観て三次元立体像を観察するものである。
これにより、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾を、観察者の近傍に枠を設置することにより抑制し、正常な立体視を行うことができる。
【0007】
また、本発明の請求項2に記載の立体視方法は、請求項1に記載の立体視方法において、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より、任意の距離だけ観察者に近い奥行き位置にて、該表示素子を遮光するように、上記遮光手段による遮光位置の位置制御を行うものである。
これにより、全ての画像信号において、立体画像における距離の知覚の矛盾をなくし、正常な立体視を行うことができる。
【0008】
また、本発明の請求項3に記載の立体視方法は、請求項2に記載の立体視方法において、上記遮光位置の位置制御は、上記左右眼の画像信号の1フレーム内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に該遮光位置を移動させるものである。
これにより、遮光位置が、立体画像における距離の知覚の矛盾がなくなる奥行き位置のうち、観察者から最遠方の奥行き位置となるため、遮光する領域を小さくすることができる。
【0009】
また、本発明の請求項4に記載の立体視方法は、請求項2に記載の立体視方法において、上記遮光位置の位置制御は、連続して観察する画像信号の内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に該遮光位置を移動させるものである。
これにより、観察する画像信号にあわせて遮光位置を移動させることなく、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾をなくし、正常な立体視を行うことができる。
【0010】
また、本発明の請求項5に記載の立体視方法は、請求項1ないし3のいずれかに記載の立体視方法において、上記左眼用の画像信号と上記右眼用の画像信号とを比較し、上記左右の表示素子に表示された表示対象物体の視差を求めて、上記遮光位置を、観察する表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に設定するように、位置情報を算出するものである。
これにより、画像信号を入力するだけで、遮光位置を求めることができる。
【0011】
また、本発明の請求項6に記載の立体視方法は、請求項1ないし4のいずれかに記載の立体視方法において、上記表示素子の遮光位置に応じて、遮光領域の大きさを変化させるものである。
これにより、遮光位置それぞれの位置において、最適な視野で立体視を行うことができる。
【0012】
また、本発明の請求項7に記載の立体視方法は、請求項6に記載の立体視方法において、上記遮光領域は、上記表示素子の遮光位置における、該表示素子の周辺部分の遮光を保持し、且つ観察者の視野が最も広く確保できる大きさに変化させるものである。
これにより、遮光位置それぞれの位置において、最適な視野で立体視を行うことができる。
【0013】
また、本発明の請求項8に記載の立体視方法は、請求項6または7に記載の立体視方法において、上記遮光手段に液晶表示素子を用いて、該液晶表示素子の透過率を制御することにより、上記遮光領域の大きさを変化させるものである。
これにより、遮光領域を容易に変更できる。
【0015】
また、本発明の請求項に記載の立体視方法は、請求項1に記載の立体視方法において、上記遮光手段を、上記表示素子に映し出す立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に設置するものである。
これにより、移動手段を用いることなく、低コストで、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾をなくし、正常な立体視を行うことが実現できる。
【0016】
また、本発明の請求項1に記載の立体視方法は、請求項1ないしのいずれかに記載の立体視方法において、上記表示素子の、上記遮光手段により視界から外れた箇所の画像信号を映し出さないものである。
これにより、画像を表示する消費電力を低減することができる。
【0017】
また、本発明の請求項1に記載の立体視方法は、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察する立体視方法であって、上記左右の表示素子の周辺部分で表示する画像を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像とし、三次元立体像とともに上記枠画像を観察するものである。
これにより、表示素子の周囲の枠が、該枠に掛かった立体画像部分の距離における知覚の矛盾を生じない位置に枠画像として観察でき、正常な立体視を行うことができる。
【0018】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察するヘッドマウントディスプレイ装置であって、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より任意の距離だけ観察者に近い奥行き位置にて、前記三次元立体像がかかった表示素子の枠および周辺部分を遮光するように、遮光手段を左右眼と上記左右の表示素子との間に配置し、該遮光手段を介して、該左右の表示素子を左右眼のそれぞれにより観て三次元立体像を観察するものである。
これにより、立体画像における距離の知覚の矛盾がなく、正常な立体視が行えるヘッドマウントディスプレイ装置を提供することができる。
【0019】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、請求項1に記載のヘッドマウントディスプレイ装置において、上記遮光手段は、連続して観察する前記左右眼の画像信号の内、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より、任意の距離だけ近い奥行き位置にて、該表示素子を遮光するように、遮光位置の位置制御を行う位置制御手段を備えたものである。
これにより、全ての画像信号において、立体画像における距離の知覚の矛盾をなくし、正常な立体視が行えるヘッドマウントディスプレイ装置を提供することができる。
【0020】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、請求項1に記載のヘッドマウントディスプレイ装置において、上記位置制御手段は、観察する前記左右眼の画像信号の1フレーム内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に遮光位置を移動させるものである。
これにより、遮光位置が、立体画像における距離の知覚の矛盾がなくなる位置のうち、観察者から最遠方の奥行き位置となるため、遮光する領域を小さくすることができる。
【0021】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、請求項1ないし1のいずれかに記載のヘッドマウントディスプレイ装置において、上記左眼用の画像信号と上記右眼用の画像信号とを比較し、上記左右の表示素子に表示された表示対象物体の視差を求めて、上記遮光位置を、観察する表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に設定するように、位置情報を算出する位置検出手段を備えたものである。
これにより、画像信号の入力だけで遮光位置を求めることができるヘッドマウントディスプレイ装置を提供することができる。
【0022】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、請求項1ないし1のいずれかに記載のヘッドマウントディスプレイ装置において、上記遮光手段は、上記表示素子の遮光位置に応じて、遮光領域の大きさを変化させる遮光領域制御手段を備えたものである。
これにより、遮光位置それぞれの位置で、最適な視野で立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる。
【0023】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、請求項1に記載のヘッドマウントディスプレイ装置において、上記遮光領域制御手段は、該遮光領域を、上記表示素子の遮光位置における、該表示素子の周辺部分の遮光を保持し、且つ観察者の視野が最も広く確保できる大きさに変化させるものである。
これにより、遮光位置それぞれの位置で、最適な視野で立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる。
【0024】
また、本発明の請求項1に記載のヘッドマウントディスプレイ装置は、請求項1または1に記載のヘッドマウントディスプレイ装置において、上記遮光手段は液晶表示素子を用いたものとし、上記遮光領域制御手段は、該液晶表示素子の透過率を制御することにより、上記遮光領域の大きさを変化させるものである。
これにより、遮光領域を容易に変更できるヘッドマウントディスプレイ装置を提供することができる。
【0026】
また、本発明の請求項19に記載のヘッドマウントディスプレイ装置は、請求項1に記載のヘッドマウントディスプレイ装置において、上記遮光手段は、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に設置したものである。
これにより、移動手段を用いることなく、低コストで、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾をなくし、正常な立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる。
【0027】
また、本発明の請求項2に記載のヘッドマウントディスプレイ装置は、請求項1ないし19のいずれかに記載のヘッドマウントディスプレイ装置において、上記表示素子は、上記遮光手段により視界から外れた箇所の画像信号を映し出さないものである。
これにより、ヘッドマウントディスプレイ装置の消費電力を低減することができる。
【0028】
また、本発明の請求項2に記載のヘッドマウントディスプレイ装置は、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察するヘッドマウントディスプレイ装置であって、上記左右の表示素子の周辺部分で表示する画像信号を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像信号として保持し、表示対象物体とともに上記枠を表示する枠画像表示手段を備えたものである。
これにより、表示素子の周囲の枠が、該枠に掛かった立体画像部分の距離における知覚の矛盾を生じない位置に枠画像として表示され、正常な立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる。
【0029】
【発明の実施の形態】
(実施の形態1)
以下に、本発明の実施の形態1について説明する。
図1は、本実施の形態1のヘッドマウントディスプレイ装置の構成を示すブロック図である。図において101は、右眼用表示素子102で表示した右眼用の画像を右眼用光学素子104を通して右眼で、左眼用表示素子103で表示した左眼用の画像を左眼用光学素子105を通して左眼で、それぞれ表示した画像を観察することにより、観察者1が両眼視差による立体視が可能となる画像表示装置である。右眼用表示素子102と左眼用表示素子103は、それぞれ同一スペックであり、例えば液晶ディスプレイ、CRTなどの画像を表示できるものであればよい。104は右眼用光学素子、105は左眼用光学素子であり、例えばレンズ、偏光素子等を使用する。
【0030】
106は、画像表示装置101により表示される表示素子102、103の枠および周辺部分を観察者1から見えないようにする遮光装置(遮光手段)である。また、本実施の形態1における遮光装置106は、三次元立体像が表示素子102、103の枠に掛かって見える奥行き位置で観察者1に最も近い奥行き位置より、任意の距離だけ観察者1に近い奥行き位置にて、該枠および周辺部分を遮光するように、遮光位置を移動させることができる位置制御手段(図示せず)を備えている。
【0031】
次に、遮光位置を決める位置制御手段を、図2を用いて説明する。図2は、観察者1が、遮光装置106を通して表示素子102、103のそれぞれに表示された二次元像の表示対象物体を立体視している様子を表す図、及び観察者1が観察する立体画像である。例えば、図2に示すように表示素子102、103の枠にかかって映し出される立体画像200が、観察者1から見える表示素子102、103の位置(視差0)T1よりも手前の奥行き位置T2に表示される場合、位置制御手段は、立体画像200が見える奥行き位置T2よりも、任意の距離だけ観察者に近い奥行き位置で、表示素子102、103の周辺部分を遮光するように、遮光位置を移動させる。また、奥行き位置T2については、画像表示装置101で表示するために必要となる画像信号を作成する際に求めておき、その位置情報を画像信号と共にヘッドマウントディスプレイ装置に入力し、遮光位置の位置制御を行う。
【0032】
ここで、位置制御手段は、左右眼の画像信号の1フレーム内で、観察する表示素子の枠に掛かった三次元立体像の奥行き位置の観察者に最も近い奥行き位置で、表示素子102、103の周辺部分を遮光するように、遮光位置を移動させてもよい。この場合、遮光位置が、立体画像における距離の矛盾がなくなる位置のうち、観察者から最遠方の奥行き位置となるため、遮光する領域を小さくすることができる。
【0033】
また、連続して観察する画像信号の内で、表示素子102、103の枠にかかって映し出される立体画像の見える奥行き位置が変化する場合、表示素子102,103の枠にかかった表示対象物体が表示される奥行き位置で、観察者1に最も近い奥行き位置を基準位置とし、その基準位置で、表示素子102、103の周辺部分を遮光するように制御することにより、フレームごとに遮光位置の移動を行うより、移動回数を減少させることも可能である。
【0034】
また、遮光装置106は、遮光位置により観察者1の視野が変化するのにあわせて、観察者1の視野が可能な限り広く確保できるように、遮光領域を変える遮光領域制御手段(図示せず)も備えている。
【0035】
次に、遮光領域を変える方法について図3を用いて説明する。図において、遮光装置306は、遮光位置によって透過率を変えることができる液晶表示素子を用いたものである。そして、遮光領域制御手段は、遮光装置306の液晶表示素子の透過率を制御することによって、遮光領域を変える。図3のように観察者1から距離10aの位置で遮光する場合、距離10bの位置で遮光する場合、それぞれの位置で黒く示した個所の透過率を下げることにより遮光領域を変えることができる。このとき、観察者1は、距離10aの位置と距離10bの位置とで遮光する場合は、それぞれ図4(a)、(b)のように画像を観察する。図4(a)は、図3における距離10aの遮光位置で表示素子102、103を遮光した三次元立体像を表すものであり、観察者は、黒く示した箇所の、距離10aの遮光領域401aが遮光された三次元立体像402aを観察する。図4(b)は、図3における距離10bの遮光位置で表示素子102、103を遮光した三次元立体像を表すものであり、観察者は、黒く示した箇所の、距離10bの遮光領域401bが遮光された三次元立体像402bを観察する。この場合、距離10bの遮光領域401bは、距離10aの遮光領域401aに比べて、視野を広く取ることができる。さらに、表示素子102、103は、遮光領域の変化により、観察者1の視界から外れた領域については、画像信号を表示しないようにすることができ、これにより、ヘッドマウントディスプレイ装置の消費電力を下げることができる。
【0036】
なお、本実施の形態1では、遮光位置について、位置情報を予め求めておく必要があるが、その位置情報が無い場合、人間が立体視可能な最近傍の位置で遮光するように遮光位置を制御、または、遮光装置を設置してもよい。また、遮光装置106による遮光領域は、実像を用いていたが、遮光装置106と観察者1との間に光学素子を設置し、遮光領域を虚像で表示し、光学素子を制御することにより、その虚像位置を移動させても同様の効果が得られる。
【0037】
以上のような、本発明の実施の形態1に係るヘッドマウントディスプレイ装置は、左右眼から表示素子102、103の枠及び周辺部分が見えないように遮光する遮光装置106を、観察者1と表示素子102、103との間に備え、観察者に最も近い位置の立体画像より、任意の距離だけ観察者に近い奥行き位置で表示素子102、103の枠及び周辺部分を遮光するので、立体画像における距離の知覚の矛盾をなくし、正常な立体視を行うことができる効果が得られる。
【0038】
(実施の形態2)
実施の形態2に係るヘッドマウントディスプレイ装置は、画像信号のみの入力で遮光位置を求めるために、左眼用の画像信号と右眼用の画像信号とを比較し、表示対象物体の視差を求めるものである。
【0039】
次に本発明の実施の形態2に係るヘッドマウントディスプレイ装置について説明する。なお、前述した実施の形態と同じ構成については同じ符号を用い、ここでの説明は省略する。
【0040】
図5は、本実施の形態2のヘッドマウントディスプレイ装置の構成を示すブロック図である。図5は基本的に図1の実施の形態1の構成と同じであり、実施の形態1と異なる点を以下に説明する。501は、ヘッドマウントディスプレイ装置に送られてくる左右眼の画像信号が画像表示装置101で表示される前に、観察する表示素子102,103の枠にかかった三次元立体像の奥行き位置で、観察者1に最も近い奥行き位置の位置情報を求め、その位置情報を遮光装置106に送る位置検出装置(位置検出手段)である。
【0041】
次に位置検出装置501で行う位置検出方法について説明する。位置検出装置501では、まず、送られてくる左右眼用の画像を用いて視差を計算する。計算方法は左右眼用の画像の輝度パターンの相関を計算する相関マッチング方法や左右画像のエッジ情報のマッチングを行う方法等、多くの方法が提案されているが、ここでは例として輝度パターンの相関を計算する相関マッチング法について、図6を用いて説明する。図6において、大きさN×Mの左右眼用の画像を考える。図6(a)の左眼用の画像でn×n画素(図では3×3画素)のブロック窓を考える。このブロック窓と同じ画像を図6(b)の右眼用の画像で同じサイズの窓を用いて探し、この時の左右のブロック位置のずれを示すベクトル(Δx、Δy)の水平成分Δxが、そのブロック窓の中心座標での画像の視差となる。基準となる左眼用の画像のブロック窓の位置を周辺(表示素子103の枠)に沿って移動し、全ての場合において右眼用の画像に対応するブロックの位置(視差)を求める。左眼用の画像を基準とした場合、視差の値が正のときは、観察者1から見える表示素子102、103の奥行き位置(視差0)より奥側を示し、視差の値が負のときは視差0の奥行き位置より手前側に表示対象物体が観察されることを示す。以上のようにして求めた視差の最小値(観察者1に最も近い奥行き位置に表示される表示対象物体の視差)に対して、人間が立体視可能な最近傍の位置とそのときの視差の値の比率から、遮光する位置を算出する。
【0042】
そして、位置検出装置501は、以上のようにして得られた位置情報を、遮光装置106に送る。
【0043】
以上のような、本発明の実施の形態2に係るヘッドマウントディスプレイ装置は、左眼用、及び右眼用の画像信号の相関を基に両画像の視差を求め、画像の奥行き位置を得ることにより、遮光位置を設定するための位置情報を求めることができ、上記画像信号と該位置信号とを用いて、実施の形態1と同様に、観察者における距離の知覚の矛盾をなくし、正常な立体視を行うことができる効果が得られる。
【0044】
(実施の形態3)
実施の形態3に係るヘッドマウントディスプレイ装置は、立体画像における距離の知覚の矛盾をなくし、正常な立体視を行うため、左右の表示素子の周辺部分で表示する画像信号を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像として、表示対象物体とともに表示するものである。
【0045】
図7を用いて本発明の実施の形態3に係るヘッドマウントディスプレイ装置について説明する。なお、前述した実施の形態と同じ構成については同じ符号を用い、ここでの説明は省略する。
【0046】
図7は、本実施の形態3のヘッドマウントディスプレイ装置の構成を示すブロック図である。図7に示す画像表示装置101は、基本的に図1の実施の形態1の構成と同じであり、実施の形態1と異なる点を以下に説明する。図において、700は、左右眼の画像信号として表示素子102、103の周辺部分で表示する枠画像信号を記憶しておき、表示対象物体とともに枠画像を表示し、該表示対象物体とともに、枠画像の立体視を可能にする枠画像表示装置(枠画像表示手段)である。この枠画像表示装置700で記憶させておく枠画像信号は、複数の奥行き位置で表示されるように視差を調整した複数のものを用意しておく。そして、該記憶させた枠画像信号から、位置情報で得られた表示奥行き位置よりも、観察者1に近い奥行き位置に表示される枠画像信号を選択し、ヘッドマウントディスプレイ装置に入力された画像信号と共に、枠画像として表示を行う。これにより、観察者1は、三次元立体像とともに、立体の枠画像900を観察することができ、正常な立体視が可能になる。また、表示する枠のテキスチャーの種類を複数用意しておき、観察者1の好み及び、画像に合わせて選択し、枠を表示しても良い。
【0047】
以上のような実施の形態3に係るヘッドマウントディスプレイ装置は、表示素子の周辺部分で表示する画像として、位置情報で得られた奥行き位置よりも観察者1に近い奥行き位置に枠が観察可能な枠画像を表示することにより、三次元立体像とともに、立体の枠画像を観察することができ、立体画像における距離の知覚の矛盾をなくし、正常な立体視を行うことができる効果が得られる。
【0048】
【発明の効果】
以上のように、本発明の請求項1に係る立体視方法によれば、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察する立体視方法であって、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より任意の距離だけ観察者に近い奥行き位置にて、前記三次元立体像がかかった表示素子の枠および周辺部分遮光するように、遮光手段を左右眼と上記左右の表示素子との間に配置し、該遮光手段を介して、該左右の表示素子を左右眼のそれぞれにより観て三次元立体像を観察するので、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾を、観察者の近傍に枠を設置することにより抑制し、正常な立体視を行うことができる効果がある。
【0049】
また、本発明の請求項2に係る立体視方法によれば、請求項1に記載の立体視方法において、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より、任意の距離だけ観察者に近い奥行き位置にて、該表示素子を遮光するように、上記遮光手段による遮光位置の位置制御を行うので、全ての画像信号において、立体画像における距離の知覚の矛盾をなくし、正常な立体視を行うことができる効果がある。
【0050】
また、本発明の請求項3に係る立体視方法によれば、請求項2に記載の立体視方法において、上記遮光位置の位置制御は、上記左右眼の画像信号の1フレーム内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に該遮光位置を移動させるものであるので、遮光位置が、立体画像における距離の知覚の矛盾がなくなる奥行き位置のうち、観察者から最遠方の奥行き位置となるため、遮光する領域を小さくすることができる効果がある。
【0051】
また、本発明の請求項4に係る立体視方法によれば、請求項2に記載の立体視方法において、上記遮光位置の位置制御は、連続して観察する画像信号の内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に該遮光位置を移動させるものであるので、観察する画像信号にあわせて遮光位置を移動させることなく、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾をなくし、正常な立体視を行うことができる効果がある。
【0052】
また、本発明の請求項5に係る立体視方法によれば、請求項1ないし3のいずれかに記載の立体視方法において、上記左眼用の画像信号と上記右眼用の画像信号とを比較し、上記左右の表示素子に表示された表示対象物体の視差を求めて、上記遮光位置を、観察する表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に設定するように、位置情報を算出するので、画像信号を入力するだけで、遮光位置を求めることができる効果がある。
【0053】
また、本発明の請求項6に係る立体視方法によれば、請求項1ないし4のいずれかに記載の立体視方法において、上記表示素子の遮光位置に応じて、遮光領域の大きさを変化させるので、遮光位置それぞれの位置において、最適な視野で立体視を行うことができる効果がある。
【0054】
また、本発明の請求項7に係る立体視方法によれば、請求項6に記載の立体視方法において、上記遮光領域は、上記表示素子の遮光位置における、該表示素子の周辺部分の遮光を保持し、且つ観察者の視野が最も広く確保できる大きさに変化させるものであるので、遮光位置それぞれの位置において、最適な視野で立体視を行うことができる効果がある。
【0055】
また、本発明の請求項8に係る立体視方法によれば、請求項6または7に記載の立体視方法において、上記遮光手段に液晶表示素子を用いて、該液晶表示素子の透過率を制御することにより、上記遮光領域の大きさを変化させるので、遮光領域を容易に変更できる効果がある。
【0057】
また、本発明の請求項に係る立体視方法によれば、請求項1に記載の立体視方法において、上記遮光手段を、上記表示素子に映し出す立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に設置するので、移動手段を用いることなく、低コストで、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾をなくし、正常な立体視を行うことが実現できる効果がある。
【0058】
また、本発明の請求項1に係る立体視方法によれば、請求項1ないしのいずれかに記載の立体視方法において、上記表示素子の、上記遮光手段により視界から外れた箇所の画像信号を映し出さないので、画像を表示する消費電力を低減することができる効果がある。
【0059】
また、本発明の請求項1に係る立体視方法によれば、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察する立体視方法であって、上記左右の表示素子の周辺部分で表示する画像を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像とし、三次元立体像とともに上記枠画像を観察するので、表示素子の周囲の枠が、該枠に掛かった立体画像部分の距離における知覚の矛盾を生じない位置に枠画像として観察でき、正常な立体視を行うことができる効果がある。
【0060】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察するヘッドマウントディスプレイ装置であって、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より任意の距離だけ観察者に近い奥行き位置にて、前記三次元立体像がかかった表示素子の枠および周辺部分を遮光するように、遮光手段を左右眼と上記左右の表示素子との間に配置し、該遮光手段を介して、該左右の表示素子を左右眼のそれぞれにより観て三次元立体像を観察するので、立体画像における距離の知覚の矛盾がなく、正常な立体視が行えるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0061】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、請求項1に記載のヘッドマウントディスプレイ装置において、上記遮光手段は、連続して観察する前記左右眼の画像信号の内、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より、任意の距離だけ近い奥行き位置にて、該表示素子を遮光するように、遮光位置の位置制御を行う位置制御手段を備えたので、全ての画像信号において、立体画像における距離の知覚の矛盾をなくし、正常な立体視が行えるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0062】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、請求項1に記載のヘッドマウントディスプレイ装置において、上記位置制御手段は、観察する前記左右眼の画像信号の1フレーム内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に遮光位置を移動させるものであるので、遮光位置が、立体画像における距離の知覚の矛盾がなくなる位置のうち、観察者から最遠方の奥行き位置となるため、遮光する領域を小さくすることができる効果がある。
【0063】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、請求項13ないし15のいずれかに記載のヘッドマウントディスプレイ装置において、上記左眼用の画像信号と上記右眼用の画像信号とを比較し、上記左右の表示素子に表示された表示対象物体の視差を求めて、上記遮光位置を、観察する表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に設定するように、位置情報を算出する位置検出手段を備えたので、画像信号の入力だけで遮光位置を求めることができるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0064】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、請求項1ないし1のいずれかに記載のヘッドマウントディスプレイ装置において、上記遮光手段は、上記表示素子の遮光位置に応じて、遮光領域の大きさを変化させる遮光領域制御手段を備えたので、遮光位置それぞれの位置で、最適な視野で立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0065】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、請求項1に記載のヘッドマウントディスプレイ装置において、上記遮光領域制御手段は、該遮光領域を、上記表示素子の遮光位置における、該表示素子の周辺部分の遮光を保持し、且つ観察者の視野が最も広く確保できる大きさに変化させるものであるので、遮光位置それぞれの位置で、最適な視野で立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0066】
また、本発明の請求項1に係るヘッドマウントディスプレイ装置によれば、請求項1または1に記載のヘッドマウントディスプレイ装置において、上記遮光手段は液晶表示素子を用いたものとし、上記遮光領域制御手段は、該液晶表示素子の透過率を制御することにより、上記遮光領域の大きさを変化させるものであるので、遮光領域を容易に変更できるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0068】
また、本発明の請求項19に係るヘッドマウントディスプレイ装置によれば、請求項1に記載のヘッドマウントディスプレイ装置において、上記遮光手段は、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に設置したものであるので、移動手段を用いることなく、低コストで、表示素子の周囲の枠に掛かった立体画像部分の距離における知覚の矛盾をなくし、正常な立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる効果がある。
【0069】
また、本発明の請求項2に係るヘッドマウントディスプレイ装置によれば、請求項1ないし19のいずれかに記載のヘッドマウントディスプレイ装置において、上記表示素子は、上記遮光手段により視界から外れた箇所の画像信号を映し出さないものであるので、ヘッドマウントディスプレイ装置の消費電力を低減することができる効果がある。
【0070】
また、本発明の請求項2に係るヘッドマウントディスプレイ装置によれば、左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察するヘッドマウントディスプレイ装置であって、上記左右の表示素子の周辺部分で表示する画像信号を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像信号として保持し、表示対象物体とともに上記枠を表示する枠画像表示手段を備えたので、表示素子の周囲の枠が、該枠に掛かった立体画像部分の距離における知覚の矛盾を生じない位置に枠画像として表示され、正常な立体視を行うことができるヘッドマウントディスプレイ装置を提供することができる効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態1におけるヘッドマウントディスプレイ装置の構成図
【図2】本発明の実施の形態1におけるヘッドマウントディスプレイ装置の遮光位置を示す図
【図3】本発明の実施の形態1における遮光装置の遮光領域を示す図
【図4】(a)は本発明の実施の形態1における距離10aの位置で遮光した場合に、観察される画像の一例を示す図、(b)は本発明の実施の形態1における距離10bの位置で遮光した場合に、観察される画像の一例を示す図。
【図5】本発明の実施の形態2におけるヘッドマウントディスプレイ装置の構成図
【図6】視差の計算方法を説明する図
【図7】本発明の実施の形態3におけるヘッドマウントディスプレイ装置の構成図
【図8】従来の立体視が可能なヘッドマウントディスプレイ装置を示す図
【符号の説明】
1 観察者
101 画像表示装置
102 表示素子(右眼用)
103 表示素子(左眼用)
104 光学素子(右眼用)
105 光学素子(左眼用)
106、306 遮光装置
200 立体画像
401a、401b 遮光領域
402a、402b 三次元立体像
501 位置検出装置
700 枠画像表示装置
900 立体枠画像

Claims (21)

  1. 左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察する立体視方法であって、
    示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より任意の距離だけ観察者に近い奥行き位置にて、前記三次元立体像がかかった表示素子の枠および周辺部分遮光するように、遮光手段を左右眼と上記左右の表示素子との間に配置し、
    該遮光手段を介して、該左右の表示素子を左右眼のそれぞれにより観て三次元立体像を観察する、
    ことを特徴とする立体視方法。
  2. 請求項1に記載の立体視方法において、
    表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より、任意の距離だけ観察者に近い奥行き位置にて、該表示素子を遮光するように、上記遮光手段による遮光位置の位置制御を行う、
    ことを特徴とする立体視方法。
  3. 請求項2に記載の立体視方法において、
    上記遮光位置の位置制御は、上記左右眼の画像信号の1フレーム内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に該遮光位置を移動させるものである、
    ことを特徴とする立体視方法。
  4. 請求項2に記載の立体視方法において、
    上記遮光位置の位置制御は、連続して観察する画像信号の内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に該遮光位置を移動させるものである、
    ことを特徴とする立体視方法。
  5. 請求項1ないし3のいずれかに記載の立体視方法において、
    上記左眼用の画像信号と上記右眼用の画像信号とを比較し、上記左右の表示素子に表示された表示対象物体の視差を求めて、上記遮光位置を、観察する表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に設定するように、位置情報を算出する、
    ことを特徴とする立体視方法。
  6. 請求項1ないし4のいずれかに記載の立体視方法において、
    上記表示素子の遮光位置に応じて、遮光領域の大きさを変化させる、
    ことを特徴とする立体視方法。
  7. 請求項6に記載の立体視方法において、
    上記遮光領域は、上記表示素子の遮光位置における、該表示素子の周辺部分の遮光を保持し、且つ観察者の視野が最も広く確保できる大きさに変化させるものである、
    ことを特徴とする立体視方法。
  8. 請求項6または7に記載の立体視方法において、
    上記遮光手段に液晶表示素子を用いて、該液晶表示素子の透過率を制御することにより、上記遮光領域の大きさを変化させる、
    ことを特徴とする立体視方法。
  9. 請求項1に記載の立体視方法において、
    上記遮光手段を、上記表示素子に映し出す立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に設置する、
    ことを特徴とする立体視方法。
  10. 請求項1ないしのいずれかに記載の立体視方法において、
    上記表示素子の、上記遮光手段により視界から外れた箇所の画像信号を映し出さない、
    ことを特徴とする立体視方法。
  11. 左右眼の画像信号を、左右眼に対応する左右の表示素子に2次元像を表示して、左右眼により三次元立体像を観察する立体視方法であって、
    上記左右の表示素子の周辺部分で表示する画像を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像とし、
    三次元立体像とともに上記枠画像を観察する、
    ことを特徴とする立体視方法。
  12. 左右眼の画像信号を、左右眼に対応する左右の表示素子に2次元像を表示して、左右眼により三次元立体像を観察するヘッドマウントディスプレイ装置であって、
    表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より任意の距離だけ観察者に近い奥行き位置にて、前記三次元立体像がかかった表示素子の枠および周辺部分を遮光するように、遮光手段を左右眼と上記左右の表示素子との間に配置し、
    該遮光手段を介して、該左右の表示素子を左右眼のそれぞれにより観て三次元立体像を観察する
    ことを特徴とするヘッドマウントディスプレイ装置。
  13. 請求項1に記載のヘッドマウントディスプレイ装置において、
    上記遮光手段は、連続して観察する前記左右眼の画像信号の内、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置より、任意の距離だけ近い奥行き位置にて、該表示素子を遮光するように、遮光位置の位置制御を行う位置制御手段を備えた、
    ことを特徴とするヘッドマウントディスプレイ装置。
  14. 請求項1に記載のヘッドマウントディスプレイ装置において、
    上記位置制御手段は、観察する前記左右眼の画像信号の1フレーム内で、表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に遮光位置を移動させるものである、
    ことを特徴とするヘッドマウントディスプレイ装置。
  15. 請求項1ないし1のいずれかに記載のヘッドマウントディスプレイ装置において、
    上記左眼用の画像信号と上記右眼用の画像信号とを比較し、上記左右の表示素子に表示された表示対象物体の視差を求めて、上記遮光位置を、観察する表示素子の枠にかかった三次元立体像の奥行き位置で観察者に最も近い奥行き位置に設定するように、位置情報を算出する位置検出手段を備えた、
    ことを特徴とするヘッドマウントディスプレイ装置。
  16. 請求項1ないし1のいずれかに記載のヘッドマウントディスプレイ装置において、
    上記遮光手段は、上記表示素子の遮光位置に応じて、遮光領域の大きさを変化させる遮光領域制御手段を備えた、
    ことを特徴とするヘッドマウントディスプレイ装置。
  17. 請求項1に記載のヘッドマウントディスプレイ装置において、
    上記遮光領域制御手段は、該遮光領域を、上記表示素子の遮光位置における、該表示素子の周辺部分の遮光を保持し、且つ観察者の視野が最も広く確保できる大きさに変化させるものである、
    ことを特徴とするヘッドマウントディスプレイ装置。
  18. 請求項1または1に記載のヘッドマウントディスプレイ装置において、
    上記遮光手段は液晶表示素子を用いたものとし、
    上記遮光領域制御手段は、該液晶表示素子の透過率を制御することにより、上記遮光領域の大きさを変化させるものである、
    ことを特徴とするヘッドマウントディスプレイ装置。
  19. 請求項1に記載のヘッドマウントディスプレイ装置において、
    上記遮光手段は、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に設置したものである、
    ことを特徴とするヘッドマウントディスプレイ装置。
  20. 請求項1ないし19のいずれかに記載のヘッドマウントディスプレイ装置において、
    上記表示素子は、上記遮光手段により視界から外れた箇所の画像信号を映し出さないものである、
    ことを特徴とするヘッドマウントディスプレイ装置。
  21. 左右眼の画像信号を、左右眼に対応する左右の表示素子に二次元像を表示して、左右眼により三次元立体像を観察するヘッドマウントディスプレイ装置であって、
    上記左右の表示素子の周辺部分で表示する画像信号を、立体視可能な表示対象物体の観察者に最も近い奥行き位置より、観察者に近い奥行き位置に枠があるものと観察可能とする、左右眼の枠画像信号として保持し、表示対象物体とともに上記枠を表示する枠画像表示手段を備えた、
    ことを特徴とするヘッドマウントディスプレイ装置。
JP2003032697A 2003-02-10 2003-02-10 立体視方法およびヘッドマウントディスプレイ装置 Expired - Fee Related JP4268415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003032697A JP4268415B2 (ja) 2003-02-10 2003-02-10 立体視方法およびヘッドマウントディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003032697A JP4268415B2 (ja) 2003-02-10 2003-02-10 立体視方法およびヘッドマウントディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2004245889A JP2004245889A (ja) 2004-09-02
JP4268415B2 true JP4268415B2 (ja) 2009-05-27

Family

ID=33018967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003032697A Expired - Fee Related JP4268415B2 (ja) 2003-02-10 2003-02-10 立体視方法およびヘッドマウントディスプレイ装置

Country Status (1)

Country Link
JP (1) JP4268415B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401626B2 (en) 2017-02-27 2019-09-03 Seiko Epson Corporation Image display apparatus with light adjusting members

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013019923A (ja) * 2009-11-18 2013-01-31 Sharp Corp 立体映像表示装置
JP2015039076A (ja) * 2011-05-31 2015-02-26 株式会社東芝 立体映像データ出力装置および立体映像データ出力方法
CN102955292B (zh) * 2011-08-18 2015-07-08 群康科技(深圳)有限公司 显示模块与使用该显示模块的显示装置
US10547831B2 (en) * 2013-11-27 2020-01-28 Semiconductor Energy Laboratory Co., Ltd. Display device and display device frame

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401626B2 (en) 2017-02-27 2019-09-03 Seiko Epson Corporation Image display apparatus with light adjusting members

Also Published As

Publication number Publication date
JP2004245889A (ja) 2004-09-02

Similar Documents

Publication Publication Date Title
EP2494402B1 (en) Stereo display systems
EP0751689B1 (en) Stereoscopic image generating apparatus and display therefor
US9280951B2 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
KR101852209B1 (ko) 자동입체 디스플레이 및 그 제조방법
US20120206444A1 (en) Display and displaying method
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
KR20120114145A (ko) 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법
EP2466362A2 (en) Method and apparatus for providing stereoscopic image
US10317689B2 (en) 3D display device and driving method thereof
JP2023164866A (ja) 空中映像表示装置
JP4268415B2 (ja) 立体視方法およびヘッドマウントディスプレイ装置
JPH06235885A (ja) 立体映像表示装置
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
EP2408217A2 (en) Method of virtual 3d image presentation and apparatus for virtual 3d image presentation
JP2004294914A (ja) 立体映像表示装置
JP3789901B2 (ja) 立体映像表示装置の調整方法及びそれを用いた立体表示システム
EP3859429B1 (en) Display apparatus and method of compensating for visual artifacts
KR20050076946A (ko) 입체영상 표시장치 및 방법
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
JP2013024910A (ja) 観察用光学機器
TW201929786A (zh) 影像顯示裝置及影像顯示方法
WO2022158328A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6424947B2 (ja) 表示装置、およびプログラム
JP2006221128A (ja) 3次元表示方法および3次元表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees