JP4051702B2 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP4051702B2
JP4051702B2 JP2003023732A JP2003023732A JP4051702B2 JP 4051702 B2 JP4051702 B2 JP 4051702B2 JP 2003023732 A JP2003023732 A JP 2003023732A JP 2003023732 A JP2003023732 A JP 2003023732A JP 4051702 B2 JP4051702 B2 JP 4051702B2
Authority
JP
Japan
Prior art keywords
pattern
unit
specific
video
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003023732A
Other languages
English (en)
Other versions
JP2004236101A (ja
Inventor
正樹 大槻
信行 三宅
茂 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2003023732A priority Critical patent/JP4051702B2/ja
Publication of JP2004236101A publication Critical patent/JP2004236101A/ja
Application granted granted Critical
Publication of JP4051702B2 publication Critical patent/JP4051702B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は顔面に装着して映像を観測するヘッドマウントディスプレイに関するものである。
【0002】
【従来の技術】
近年、液晶パネル(LCD)等のディスプレイ上に表示された映像を、接眼レンズやハーフミラー等を有する光学系を介して拡大した虚像として観察する眼鏡タイプの映像表示装置が種々と提案され、ヘッドマウントディスプレイと呼ばれている。
【0003】
この映像表示装置は、多くの場合、頭に巻いた形で顔面に装着する構成とされ、両眼に対応する位置に映像表示系を形成した両眼タイプと左右眼の一方の眼に対応する位置に映像表示系を形成した片眼タイプとがある。
【0004】
【先行文献1】
特開平9−93531
【先行文献2】
特開平6−314259
【0005】
【発明が解決しようとする課題】
ヘッドマウントディスプレイは眼の近くで映像を表示して光学的に投影するため、眼の疲れや視力の悪化などが懸念される。特に成長途中の子供が使用した場合の影響については現在医学的検討も含め、検討中である。よって、ヘッドマウントディスプレイを使用するときには、使用者が誰であるかを判断し、不適当な使用者である場合には使用を制限することが好ましい。
【0006】
又、市販されている映像ソースには未成年者には不適切な映像ソースが存在する。一般的な表示装置の場合、複数の人物が映像を見ることができるため、例えば大人が注意することもできるが、ヘッドマウントディスプレイの場合、見ている本人以外は何が表示されているか確認することができない。そのため使用者に対して、映像ソースが不適切かどうか確認させることが重要である。
【0007】
又、このようなヘッドマウンドディスプレイは、ウエアラブルパソコンの端末等として使用されることがある。このような場合には、画像の中には、特定の人間にしか開示できないような秘密情報が含まれることがあり、それを不特定多数の人間が見ることは情報漏洩をもたらすおそれがある。
【0008】
本発明はこのような事情に鑑みてなされたもので、使用可能な人物を制限することができるヘッドマウントディスプレイ、表示される情報の内容によって表示を制限できるヘッドマウントディスプレイを提供することを課題とする。
【0015】
【課題を解決するための手段】
前記課題を解決するための第1の手段は、頭部に装着した状態で映像を表示する映像表示部を有するヘッドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、映像表示を続行するかどうかを使用者に確認する機能を有することを特徴とするもの(請求項1)である。
【0016】
本手段においては、表示している映像に含まれるパターンを認識して、登録された特定のパターンと一致した場合には、映像表示を続行するかどうかを使用者に確認するようにしている。よって、不適当な映像を使用者が見てしまうことを防止できる。なお、映像に含まれている文字列を切り出すことは、映像データをOCRソフトを使用して文字化することにより実現できる。
【0017】
前記課題を解決するための第2の手段は、頭部に装着した状態で映像を表示する映像表示部を有するヘッドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部と、パスワード入力手段とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、映像表示を続行するかどうかを使用者に確認する機能を有すると共に、前記パスワード入力手段から正しい前記パスワードが入力されたときのみ、前記映像表示を続行する機能を有することを特徴とするもの(請求項2)である。
【0018】
本手段においては、映像に特定のパターンが含まれる場合には、映像表示を続行するかどうかを使用者に確認して、パスワードの入力を促し、正しいパスワードが入力されたときのみ、映像表示を続行する。よって、特定の人間のみが、続く映像データを見ることができる。
【0019】
前記課題を解決するための第3の手段は、頭部に装着した状態で映像を表示する映像表示部を有するヘッドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部と、特定の人体固有の情報を記憶しておく記憶部と、前記人体固有の情報を読み取る装置と、前記記憶されている特定の前記人体固有の情報と読み取られた前記人体固有の情報とを照合する照合部とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、前記照合部の照合の結果、前記記憶されている特定の前記人体固有の情報と読み取られた前記人体固有の情報とが一致している場合、又は一致していない場合にのみ、映像表示を続行する機能を有する機能を有することを特徴とするもの(請求項3)である。
【0020】
本手段は、前記第1の手段と第4の手段とを組み合わせたものである。すなわち、予め特定の人間かどうかを認識しておき、映像表示中に特定のパターンが現れたとき、特定の人間にのみ映像表示の継続的な使用を許したり、特定の人間にのみ映像表示の継続的な使用を禁止する。これにより、情報のセキュリティがより確実になったり、未成年者に不適切な映像を見せることを避けたりすることが確実に行える。
【0021】
前記課題を解決するための第4の手段は、前記第1の手段から第3の手段のいずれかであって、前記パターン認識部は、青地に白で書かれた文字のみを認識の対象とし、前記パターン認識部で認識の対象外となった文字列は、記憶された前記特定のパターンとは異なるものとして処理する機能を有することを特徴とするもの(請求項4)である。
【0022】
通常、警告メッセージは青地に白で描かれているため、背景が青く文字が白い場合のみ文字列認識を行えば、処理の負担を軽くでき、かつ認識率を上げることができる。
前記課題を解決するための第5の手段は、頭部に装着した状態で映像の表示、又は映像の表示と音声の出力を行うヘツドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、映像に制限をかけるように出力制御を変更する機能を有することを特徴とするもの(請求項5)である。
【0023】
なお、以上の各手段(請求項の記載)において、各構成要素が行っている機能をまとめて一つの構成要素で行わせたり、各構成要素が行っている機能の一部を別の構成要素で行わせることは、設計上の問題であり、当業者が自由にできることであって、このようなものが、本発明の範囲に入ることは言うまでもない。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態の例を、図を用いて説明する。図1は、本発明の実施の形態の第1の例であるヘッドマウントディスプレイを示す図である。ヘッドマウントディスプレイ本体部1は、人間の頭部2に装着した状態で使用される。ヘッドマウントディスプレイ本体部1は、リアアーム3、ディスプレイアーム4、表示部5、ヘッドホーン6を主要部としている。そして、リアアーム3により頭部2に装着されている。
【0025】
この実施の形態においては、ディスプレイアーム4は、後部ディスプレイアーム4a、前部ディスプレイアーム4b、回動部4cからなり、前部ディスプレイアーム4bが回動部4cを中心として図の上下に回動し、眼球の直前に表示部5の位置を合わせることができるようになっている。表示部5は、後に詳しく説明するようにLCDや有機エレクトロルミネッセンス表示素子等の表示デバイスの画像を、接眼レンズを介して拡大し、眼球の網膜上に結像させるようになっている。
【0026】
本実施の形態においては、表示部5に光源7と撮像装置8(CCDカメラ等)が取り付けられている。そして、光源7により装着者の眼球を照明し、その虹彩の像を撮像装置8で撮像する。撮像された光彩の画像例を図1(b)に示す。
【0027】
図2は、本発明の実施の形態の第2の例であるヘッドマウントディスプレイを示す図である。以下の図において前出の図に示された構成要素と同じ構成要素には同じ符号を付して、その説明を省略することがある。又、図2に示す例は、表示部5の構成を除いてその他の部分は図1に示したものと同じであるので、異なる部分を中心に説明する。
【0028】
図2においては、表示デバイスからの光を光源として用い、撮像装置の一部のレンズを接眼レンズと共用している。図2(b)に表示部5の概要を示す。ケース9の中に、LCDや有機エレクトロルミネッセンス表示素子等の表示デバイス10が設けられ、その表示画像がハーフミラー11、接眼レンズ12、13を介して、眼球14の網膜に拡大画像として結像するようになっている。
【0029】
表示デバイス10からの光束は、水晶体位置で広がりを持っているので、この光を、光彩の撮像の際に照明光の代わりに使用する。撮像の際には、表示デバイス10の全画素(全面)を最大輝度として照明光を強くすることが好ましい。そして、水晶体の像を、接眼レンズ13、12を通してハーフミラー11で反射し、撮像レンズ15を介してCCD等の撮像素子16で撮像し、光彩の像を画像化する。
【0030】
図3に、図1に対応する制御回路の1例の概要図を示す。光源7で眼球を照明し、撮像装置8で光彩の像を撮像する。この信号は画像処理装置17に送られて画像処理され、光彩を特徴づけるデータ(光彩データ)となる。一方、光彩データ記憶装置18には、予め登録された人間の光彩データが登録されている。
【0031】
照合部19は、画像処理装置17から光彩データが得られたとき、そのデータが光彩データ記憶装置18に記憶されている登録された光彩データと一致するかどうかを判断し、その結果に基づいて、制御信号を画像表示を制御している制御部(図示せず)に送る。例えば、登録している人間にのみ映像を見ることを許す場合には、一致がとれたとき、映像データを表示デバイス10に送るようにし、登録している人間にのみ映像を見ることを禁止する場合には、一致がとれたとき、映像データを表示デバイス10に送らないようにする。
【0032】
なお、撮像装置8を指紋読み取り装置に代え、画像処理装置17を指紋データを抽出するものに代え、光彩データ記憶装置18を指紋データ記憶装置に代えれば、同様の処理により、指紋を人間の識別装置として用いることができる。
【0033】
図4に、他の制御回路の1例の概要図を示す。表示デバイス制御装置21は、表示デバイス10に表示する内容を画像信号として保持している。文字認識装置22は、この画像信号を取り込み、OCRソフトを使用してその中から文字を切り出す。この際、背景が青であって、文字の色が白である文字のみを切り出すようにしてもよい。そうすれば、文字を切り出す時間を短縮することができる。
【0034】
文字照合部23は、切り出された文字列を受け取り、文字列記憶装置24に予め記憶されている文字列と比較し、切り出された文字列の中に、記憶されている文字列と同じものがあれば、制御信号を、画像表示を制御している制御部(図示せず)に送る。例えば、画像表示の中に警告メッセージを入れ、さらに映像表示を見るかどうかの確認を求めたり、パスワードの入力を求めたりする。そして、入力装置25から映像表示を見ると言う確認入力がなされたり、正しいパスワードが入力された場合には、制御部にその旨の信号を出し、続く映像信号を出すように促す。なお、入力装置25からの入力を受け付け、それ以後の判断を行うのは、制御部で行ってもよい。
【0035】
また、映像表示を見送るかどうかの確認を求めたりパスワードの入力を求めたりせずに、そのまま表示を打ち切ってもよい。また映像表示の変更と併せて、音声出力の制御についても様々なパターンが考えられる。
【0036】
以上の説明においては、映像表示に制限をかける内容として文字情報を対象としたが、同様の制限を行う対象は、文字情報に限る必要はなく、画像パターンを対象にしてもよい。例えば映像中に丸秘マークや印鑑が存在する場合に使用者に制限をかけるようにしてもよい。この場合、文字列記憶装置の代わりに、画像パターン記憶装置を用意し、丸秘マークや印鑑のパターンを記憶させる。そして、文字認識装置の代わりにパターン照合装置を用意し、映像表示中に画像パターン記憶装置に登録されているパターンが存在するかどうかをチェックする。このとき、文字照合部は不要となる。
【0037】
図3に示した制御回路と図4に示した制御回路は組み合わせて使用することができる。すなわち、図4に示した制御回路により、特定の文字列が検出された場合には、図3に示す制御回路により、使用者が特定の人間であるかどうかを判定し、特定の人間であるときのみ、あるいは特定の人間でないときのみ、以後の映像を表示デバイス10に表示するようにする。この機能は、文字照合部23に持たせてもよいし、照合部に持たせてもよいし、図示しない制御部に持たせてもよい。
【0038】
【発明の効果】
以上説明したように、本発明によれば、使用可能な人物を制限することができるヘッドマウントディスプレイ、表示される情報の内容によって表示を制限できるヘッドマウントディスプレイを提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の第1の例であるヘッドマウントディスプレイを示す図である。
【図2】本発明の実施の形態の第2の例であるヘッドマウントディスプレイを示す図である。
【図3】図1に対応する制御回路の1例の概要図である。
【図4】他の制御回路の1例の概要図である。
【符号の説明】
1…ヘッドディスプレイ本体部、2…頭部、3…リアアーム、4…ディスプレイアーム、4a…後部ディスプレイアーム、4b…前部ディスプレイアーム、4c…回動部、5…表示部、6…ヘッドホーン、7…光源、8…撮像装置、9…ケース、10…表示デバイス、11…ハーフミラー、12…接眼レンズ、13…接眼レンズ、14…眼球、15…撮像レンズ、16…撮像素子、17…画像処理装置、18…光彩データ記憶装置、19…照合部、21…表示デバイス制御装置、22…文字認識装置、23…文字照合部、24…文字列記憶装置、25…入力装置

Claims (5)

  1. 頭部に装着した状態で映像を表示する映像表示部を有するヘッドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、映像表示を続行するかどうかを使用者に確認する機能を有することを特徴とするヘッドマウントディスプレイ。
  2. 頭部に装着した状態で映像を表示する映像表示部を有するヘッドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部と、パスワード入力手段とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、映像表示を続行するかどうかを使用者に確認する機能を有すると共に、前記パスワード入力手段から正しい前記パスワードが入力されたときのみ、前記映像表示を続行する機能を有することを特徴とするヘッドマウントディスプレイ。
  3. 頭部に装着した状態で映像を表示する映像表示部を有するヘッドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部と、特定の人体固有の情報を記憶しておく記憶部と、前記人体固有の情報を読み取る装置と、前記記憶されている特定の前記人体固有の情報と読み取られた前記人体固有の情報とを照合する照合部とを有し、前記パターン照合部は、パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、前記照合部の照合の結果、前記記憶されている特定の前記人体固有の情報と読み取られた前記人体固有の情報とが一致している場合、又は一致していない場合にのみ、映像表示を続行する機能を有する機能を有することを特徴とするヘッドマウントディスプレイ。
  4. 前記パターン認識部は、青地に白で書かれた文字のみを認識の対象とし、前記パターン認識部で認識の対象外となった文字は、記憶された前記特定のパターンとは異なるものとして処理する機能を有することを特徴とする請求項1から請求項3のうちいずれか1項に記載のヘッドマウントディスプレイ。
  5. 頭部に装着した状態で映像の表示、又は映像の表示と音声の出力を行うヘツドマウントディスプレイであって、特定のパターンを記憶しておく記憶部と、表示している映像に含まれるパターンを認識するパターン認識部と、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあるかどうかを照合するパターン照合部とを有し、前記パターン照合部は、前記パターン認識部により認識されたパターンの中に、前記記憶部に記憶された前記特定のパターンがあると認識した場合には、映像に制限をかけるように出力制御を変更する機能を有することを特徴とするヘッドマウントディスプレイ。
JP2003023732A 2003-01-31 2003-01-31 ヘッドマウントディスプレイ Expired - Fee Related JP4051702B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003023732A JP4051702B2 (ja) 2003-01-31 2003-01-31 ヘッドマウントディスプレイ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003023732A JP4051702B2 (ja) 2003-01-31 2003-01-31 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2004236101A JP2004236101A (ja) 2004-08-19
JP4051702B2 true JP4051702B2 (ja) 2008-02-27

Family

ID=32952456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003023732A Expired - Fee Related JP4051702B2 (ja) 2003-01-31 2003-01-31 ヘッドマウントディスプレイ

Country Status (1)

Country Link
JP (1) JP4051702B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455746A (zh) * 2013-09-10 2013-12-18 百度在线网络技术(北京)有限公司 头戴式显示设备
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
US12001600B2 (en) 2018-11-09 2024-06-04 Beckman Coulter, Inc. Service glasses with selective data provision

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103376554B (zh) * 2012-04-24 2017-12-26 联想(北京)有限公司 手持电子设备和显示方法
US9232145B2 (en) 2012-04-24 2016-01-05 Lenovo (Beijing) Co., Ltd. Hand-held electronic device and display method
KR102191151B1 (ko) 2013-12-30 2020-12-16 삼성디스플레이 주식회사 전자 기기 및 전자 기기의 구동 방법
JP7128597B1 (ja) * 2021-07-05 2022-08-31 克弥 西沢 熱画像を用いる生体認証装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455746A (zh) * 2013-09-10 2013-12-18 百度在线网络技术(北京)有限公司 头戴式显示设备
CN103455746B (zh) * 2013-09-10 2016-10-05 百度在线网络技术(北京)有限公司 头戴式显示设备
US12001600B2 (en) 2018-11-09 2024-06-04 Beckman Coulter, Inc. Service glasses with selective data provision
US11983959B2 (en) 2019-04-18 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment

Also Published As

Publication number Publication date
JP2004236101A (ja) 2004-08-19

Similar Documents

Publication Publication Date Title
US10915180B2 (en) Systems and methods for monitoring a user's eye
US20200218892A1 (en) Apparatus for preventing unauthorized access to computer files and for securing medical records
US10156900B2 (en) Systems and methods for discerning eye signals and continuous biometric identification
JP6946649B2 (ja) 電子機器、情報処理方法およびプログラム
JP6175945B2 (ja) 視線検出装置及び視線検出方法
US6785406B1 (en) Iris authentication apparatus
US20130242262A1 (en) Enhanced optical and perceptual digital eyewear
JP2014092940A (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US6426740B1 (en) Visual-axis entry transmission apparatus and method therefor
US20050168569A1 (en) Visual aid display apparatus
JP7075404B2 (ja) マルチメディア取得、登録及び管理システム及び方法
JP2008241822A (ja) 画像表示装置
JP6036291B2 (ja) 表示装置、表示システム、および、表示装置の制御方法
US9946930B2 (en) Apparatus and method for verifying the identity of an author and a person receiving information
CN105956538A (zh) 基于rgb摄像头和虹膜摄像头的图像呈现装置和方法
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
JP4051702B2 (ja) ヘッドマウントディスプレイ
JP2005270451A (ja) 斜視訓練用虚像表示装置
US20160073099A1 (en) User information extraction method and user information extraction apparatus
US11200713B2 (en) Systems and methods for enhancing vision
JP2012008745A (ja) ユーザインターフェース装置及び電子機器
US10459255B2 (en) Compensating visual impairment by using an eye-mounted display
WO2015070536A1 (zh) 用户信息获取方法及用户信息获取装置
JP2006203440A (ja) 外界光透過型ヘッドマウントディスプレイ
JP2006136450A (ja) 虹彩認証装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4051702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees