JP4500992B2 - 三次元視点計測装置 - Google Patents
三次元視点計測装置 Download PDFInfo
- Publication number
- JP4500992B2 JP4500992B2 JP2004006359A JP2004006359A JP4500992B2 JP 4500992 B2 JP4500992 B2 JP 4500992B2 JP 2004006359 A JP2004006359 A JP 2004006359A JP 2004006359 A JP2004006359 A JP 2004006359A JP 4500992 B2 JP4500992 B2 JP 4500992B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- pupil
- light source
- image
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 210000001747 pupil Anatomy 0.000 claims description 65
- 210000001508 eye Anatomy 0.000 claims description 43
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 3
- 239000000284 extract Substances 0.000 claims 1
- 239000013598 vector Substances 0.000 description 35
- 238000000034 method Methods 0.000 description 16
- 210000003128 head Anatomy 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 210000001742 aqueous humor Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
・特許文献2(特開平10−066678号公報:NTT,NAC)には、顔面に3点のマーカを貼付し、ステレオタイプの2台のワイドカメラにより眼球位置を検出し、1台のナローカメラにより眼球トラッキングを行なう技術が記載されている。
・特許文献3(特許第2988235号:日産自動車)には、複数の照明により角膜反射像から角膜球中心を求め、角膜球中心と瞳孔中心とから視線方向を求める技術が記載されている。
・特許文献4(特許第3324295号:日産自動車)には、特許文献3と同様に複数の照明により角膜反射像から角膜球中心を求め、角膜球中心と瞳孔中心とから視線方向を求める技術が記載されている。これらの技術はいずれも視線方向の向いている視点の位置を求めるものではなく、あくまでも視線方向を検出する技術である。
本装置は、被験者の顔から離れた2台のカメラの開口近傍に設けた光源で顔全体を照らし、それら2台のカメラで捉えた両目を含む顔画像から、頭部の前後、左右の大きな動き(たとえば、30cm)を許容しながら非接触で両目の視線を同時に検出できる非接触視線検出装置であって2台のカメラで捉えた顔画像から三角測量により、2つの瞳孔の3次元位置を検出し、さらに2つの顔画像のそれぞれにおいて検出される2つの瞳孔のそれぞれの周りを詳細に解析し、2つの正確な瞳孔中心と2つの角膜反射中心を検出し、2つの眼の視線を検出する。それら2本の視線の交点が視点であり、三次元の視点の計測ができる。
図2に示すように、カメラ1に取り付けてある光源5を奇数フィールドで点灯させると、カメラ1の奇数フィールドの画像では瞳孔が周囲より明るく写る現象が起こり(明瞳孔:図3左)、カメラ2の奇数フィールドの画像には瞳孔が周囲よりも暗く写る現象が起こる(暗瞳孔:図3右)。
同様に、カメラ2に取り付けてある光源6を偶数フィールドで点灯させると、カメラ1とカメラ2の偶数フィールドの画像において、それぞれの暗瞳孔(図4左)と明瞳孔(図4右)が観察される。
瞳孔検出処理の高速化のためには、初期画像においては、画面全体に対して、飛び飛びの画素を解析することにより、2つの瞳孔のおよそのありかを検出する。その後、検出したおよその瞳孔を中心にウインドウを与え(図5中の2つの四角)、次のフレームからは、同ウインドウ内だけを画像解析をするか、もしくは、はじめからカメラからウインドウ内の画像だけを取り込み、画像解析にかかる時間を短縮する。
2つのウインドウ内の解析においては、基本的に全画素を詳細に解析し、両目の瞳孔中心と角膜反射中心を精度よく検出し、視線を決定する(図6)。
さらに、差分をする連続する2つの画像間の時間間隔を短くすることによって、2つの画像における瞳孔像に位置ずれが生じにくいために、視点や視線だけでなく、三次元瞳孔位置の精度や検出率の向上に寄与する。それにより頭部が移動して瞳孔像がカメラフレーム内をすばやく移動しても、差分により瞳孔が検出しやすくすると同時に、2つのカメラの同期を実質的に取ることを可能にする。
なお、カメラ2台を使用することは変わらないが、光源を増やしたり光学フィルターを利用したり、専用のカメラを製作することで、カメラ同士の同期のずれを改善する方法などが考えられる。
視対象の存在する平面が不明であるときには、両目の視線ベクトルの交点が視点Gである。
さらに大きく右を見たときは、右側のカメラでさえも角膜反射が検出できなくなる。その場合は、瞳孔の楕円度からおよその視線方向を検出する。θ>30°のとき、もしくは何らかの理由(例えば、眼鏡反射やまつげが角膜反射に重なったとき)で角膜反射が検出不可能なとき瞳孔の楕円度を利用することとする。このように、瞳孔の楕円度を利用する方法は精度の面で問題があるものの、正面に対して大きくずれたところを見た場合であって精度を必要としない場合などに有効である。
<角膜反射の特徴>
図11左のように、光源21(点光源)から発射した光が、反射平面で反射し、カメラに入射する場合、入射角と反射角が等しいため、このように表現される。ここで、対象は平面ではなく、球面だとすると図11右のように表現できる。この場合、カメラ20から見たとき、あたかも光源21は、球面の接平面25と球面24との接点22にあるように見える。このとき球面の中心23と接点22とを結ぶ直線に対し、入射角と反射角が等しくなる。
図14のように、視線検出用カメラの視野内を眼球が移動するとする。いま、ステレオカメラによって、瞳孔の三次元位置がわかっているので、瞳孔がカメラおよび光源から同一の距離上を移動したとする。ただし、そのとき、カメラ-瞳孔ベクトルと視線ベクトルのなす角度θは変化しなかったとする。ただし、ここでは、簡単のため、カメラの水平軸上を瞳孔(眼球)が動いたとする。このとき、注意すべきことは、カメラから見た角膜反射像と瞳孔像の位置関係は全く変化しないことである。瞳孔がカメラ(レンズ,光源)を中心とした円周上を動くときは、画像上で角膜反射像と瞳孔像の相対距離は変化しない。
また、図17において、実際には、光源と瞳孔中心とを結ぶ光経路は直線ではなく、空気と角膜前面との境界面,角膜後面と房水との境界面などで屈折する。図17で明らかなように、距離OPが変化すると、光源と瞳孔中心とを結ぶ光経路は変化し、その経路は別の角膜位置を通る。角膜位置に依存して、前記境界面への光の入射角度が変化するため、境界面における屈折角度も変化する。したがって、前記のカメラの補正をしても、|r|は距離OPの影響を微妙に受ける。必要に応じて、人間の標準的な角膜及び房水の屈折率および角膜曲率半径情報を用いるなどして、|r|を補正する。
ところで、視線ベクトルを決定するためには、θだけでなくφを明らかにしなければならない。ただし、以前述べたように、基本的には、φと画像中の角膜反射から瞳孔中心へ向かうベクトルrとカメラの水平軸(図8中の横軸)とのなす角度φ’は等しくなるはずである。
したがって、カメラ-瞳孔ベクトル周りの視線ベクトルの角度(φ)に関しては、較正が必要ないことを示唆する。もし、それが正しく、さらに、図16に示したθ-|r|関係に線形性があり、原点を通るならば、視線の較正は、どこか一点を被験者に見させさえすればできることになる。
このことは、発展型3Dディプレイなどへの応用が考えられる。通常の3Dディスプレイでは、眼の焦点はディスプレイ上に合っていなければクリアーな画像を見ることができない。よって、輻輳角は変わっても目の焦点が変わらないという人間の通常の視覚機能とは異なった不自然な見方をしなければならない。ところが、奥行き方向に焦点をずらしてもそれに応じてピントが合うような発展型3Dディスプレイを用いれば、より自然な立体視感を持つことができる。
この種のディスプレイでは、眼の空間位置と眼の焦点位置を与えれば、それに合わせて2つの眼の方向に映像を選択的に映し出すと同時に眼の焦点位置において実際にピントが合うようにディスプレイを調整することができる。これを行うための情報(2つの瞳孔の三次元位置および両目の視線の交差した点、3D視点)を本システムから得ることができる。また、視線による3次元的なポインティングが可能となる。
すなわち、普通の2Dディスプレイと片目による視点マウスにおいては、単に2次元平面に並んだウインドウの選択に視点マウスが用いられるだけだが、上述の本格的な3Dディスプレイにおいては、ウインドウが3D空間に配列されることになり、奥に隠れているウインドウを三次元視点により瞬時に手前に表示させることなどができる。このように、本システムは立体的なポインティングにも使用できる。
1つの応用としては、仮想現実や現実の世界において、ユーザの前方にスクリーンと壁があり、その先をみることができないと仮定する(図9)。しかし、スクリーンの先には、スクリーンに映し出す画像を撮影するためのカメラがおいてあるとし、スクリーン以外のところは壁があるとする。
このとき、あたかもスクリーンが窓であり、窓の外を眺めるように作用させることができる。つまり頭部が動いたら(図10)、それに合わせて、広角のカメラで撮影した画像の内の一部をスクリーンに表示させるわけである。このように臨場感あふれた形態で必要な画像を表示することができる。
本発明者が提案する「瞳孔移動によるポインティングシステム」の概念では、単にカメラフレーム内の瞳孔の動きをカーソルの動きに反映させたものであったが、本方式では、瞳孔の三次元位置がわかるために、スクリーンに対する奥行き方向の頭部の動きを反映させることができる。
したがって、パソコンと組み合わせて使用すれば、3次元物体(例えば分子モデル)をパソコン画面に表示してそれを回転させるなどして見たいとき、通常はデスクトップパソコン用のマウスを利用するが、本装置を利用すれば、頭を回転させたり、平行移動させたりするだけで、対象の物体を自然な雰囲気で自由に動かすことができるようになる。
この方式では、このままだと、2つの眼に同一の映像が映ることになる。これが、不都合であれば、3Dディスプレイを用いて、カメラも2台用いて、左右の眼に、別々のカメラからの映像を入射させればよい。
同様に、周囲に人がいる中で(例えば、新幹線の中で)他人に見られたくないパソコン作業をしたいとき、ある特定の方向にからしか内容が見えないようにできるディスプレイを本方式と組み合わせることによって、操作している人にしか見えないようにできる。
この目的のためには、液晶ディスプレイのような視野角が狭く、かつ制御可能な表示装置が好適である。
この方法では、べつの利点がある。強い指向性をディスプレイに持たせることができるため、電気消費量を少なくして強い光を眼に送り込むことができる。
ここでは、電子図書用専用装置に視点検出手段を組み合わせるものとして説明したが、ノートパソコン使用状況下であっても有効であり、液晶ディスプレイの周辺に2つのカメラを埋め込めば、ユーザの視線を利用して、アクティブウインドウの選択や、高速マウス移動などに視線を利用できる。
2.2つの瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか(どこを見ているかではなく)がわかる。したがって、どこから見ているかを厳密に知る必要のあるシステムにおいて有効である。
(従来は、頭部に磁気センサ等を取り付けて頭の動きを計ることによってこれを実現しなければならなかったが、頭部にセンサを取り付けねばならないだけでなく、瞳孔のありかを正確に測ることができなかった)
3.本方式は、駆動部がなく、2個のカメラは固定されているので、実現が容易である。
また、カメラの感度さえあれば、カメラの開口部を小さくできるし、光源も高輝度のものを製作すれば、小型化が容易である。
4.2つのカメラの両方で視線検出ができるため、それらから得られる検出結果を平均するなどの処理により、より視線精度を高めることができる。
3,4 レンズ
5,6 光源
7 顔
8 瞳孔
9 角膜反射
10 カメラ
11 スクリーン
20 カメラ
21 光源
22 球面の接平面と球面との接点
23 球面の中心
24 球面
25 球面の接平面
26 眼球
Claims (4)
- 第1のカメラと、第2のカメラと、前記第1のカメラの近傍に配置された第1の光源と、前記第2のカメラの近傍に配置された第2の光源と、前記第1の光源及び前記第2の光源の点灯・消灯を制御すると共に点灯・消灯に同期した画像信号を得る制御手段と、得られた画像信号から被験者の2つの瞳孔及び2つの角膜反射を抽出する演算手段とからなる三次元視点計測装置であって、
演算手段により抽出された被験者の2つの瞳孔及び2つの角膜反射から被験者の2つの眼の視線を検出し、検出された2つの眼の視線から視点の三次元位置を計測することを特徴とする三次元視点計測装置。 - 前記第1の光源と前記第2の光源の発光波長はほぼ同一である請求項1に記載の三次元視点計測装置。
- 前記演算手段は、前記制御手段によって前記第1の光源及び前記第2の光源を交互に点灯させることで得られた画像信号である明瞳孔画像と暗瞳孔画像とから、画像差分により瞳孔部を検出し、被験者の2つの瞳孔及び2つの角膜反射を抽出することを特徴とする、請求項1または2に記載の三次元視点計測装置。
- 被験者の2つの眼の視線を同時に検出することを特徴とする、請求項1〜3の何れか一項に記載の三次元視点計測装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004006359A JP4500992B2 (ja) | 2004-01-14 | 2004-01-14 | 三次元視点計測装置 |
PCT/JP2004/019311 WO2005063114A1 (ja) | 2003-12-25 | 2004-12-24 | 視線検出方法および装置ならびに三次元視点計測装置 |
US10/584,635 US7533989B2 (en) | 2003-12-25 | 2004-12-24 | Sight-line detection method and device, and three-dimensional view-point measurement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004006359A JP4500992B2 (ja) | 2004-01-14 | 2004-01-14 | 三次元視点計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005198743A JP2005198743A (ja) | 2005-07-28 |
JP4500992B2 true JP4500992B2 (ja) | 2010-07-14 |
Family
ID=34820353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004006359A Expired - Lifetime JP4500992B2 (ja) | 2003-12-25 | 2004-01-14 | 三次元視点計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4500992B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4528980B2 (ja) * | 2005-08-23 | 2010-08-25 | 国立大学法人静岡大学 | 瞳孔検出装置及び瞳孔検出方法 |
WO2007023798A1 (ja) | 2005-08-23 | 2007-03-01 | National University Corporation Shizuoka University | 瞳孔検出装置及び瞳孔検出方法 |
KR100667026B1 (ko) | 2005-12-15 | 2007-01-12 | 소종필 | 폭주근점 측정장치 |
EP2042079B1 (en) * | 2006-07-14 | 2010-10-20 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
WO2012020760A1 (ja) | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
JP5858433B2 (ja) * | 2010-12-08 | 2016-02-10 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
JP5719216B2 (ja) * | 2011-04-05 | 2015-05-13 | 日本放送協会 | 視線測定装置および視線測定プログラム |
JP5761049B2 (ja) * | 2012-01-24 | 2015-08-12 | 株式会社Jvcケンウッド | 自閉症診断支援装置、および自閉症診断支援方法 |
JP5817582B2 (ja) * | 2012-02-22 | 2015-11-18 | 株式会社Jvcケンウッド | 脳機能疾患診断支援装置および脳機能疾患診断支援方法 |
WO2014051010A1 (ja) | 2012-09-28 | 2014-04-03 | 株式会社Jvcケンウッド | 診断支援装置および診断支援方法 |
JP6217445B2 (ja) | 2013-03-07 | 2017-10-25 | 株式会社Jvcケンウッド | 診断支援装置および診断支援方法 |
WO2014208761A1 (ja) | 2013-06-28 | 2014-12-31 | 株式会社Jvcケンウッド | 診断支援装置及び診断支援方法 |
EP2823751B1 (en) * | 2013-07-09 | 2023-07-05 | Smart Eye AB | Eye gaze imaging |
JP6135550B2 (ja) | 2013-07-31 | 2017-05-31 | 株式会社Jvcケンウッド | 診断支援装置および診断支援方法 |
JP6608137B2 (ja) * | 2014-01-03 | 2019-11-20 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ディスプレイ上の両眼転導検出 |
AU2015235511B2 (en) | 2014-03-25 | 2017-06-01 | JVC Kenwood Corporation | Detection device and detection method |
JP6256165B2 (ja) * | 2014-04-09 | 2018-01-10 | 富士通株式会社 | 視線検出装置、視線検出プログラム及び視線検出方法 |
JP7312277B2 (ja) | 2020-01-07 | 2023-07-20 | 久範 山原 | エレベータ制御システム |
CN112926521B (zh) | 2021-03-30 | 2023-01-24 | 青岛小鸟看看科技有限公司 | 基于光源亮灭的眼球追踪方法、系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02138673A (ja) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | 瞳孔画像撮影装置 |
JPH09238905A (ja) * | 1996-03-05 | 1997-09-16 | Nissan Motor Co Ltd | 視線方向計測装置 |
JPH105178A (ja) * | 1996-06-26 | 1998-01-13 | Nissan Motor Co Ltd | 視線入力装置 |
JP2739331B2 (ja) * | 1988-11-16 | 1998-04-15 | 株式会社エイ・ティ・アール通信システム研究所 | 非接触視線検出装置 |
JPH1156782A (ja) * | 1997-08-12 | 1999-03-02 | Techno Works:Kk | 二光源及び画像差分手段を用いた眼球特徴点検出方式 |
JP2006507054A (ja) * | 2002-11-21 | 2006-03-02 | トビイ・テクノロジー・エイビイ | 眼及びその凝視方向を検知し、追跡する方法と装置 |
-
2004
- 2004-01-14 JP JP2004006359A patent/JP4500992B2/ja not_active Expired - Lifetime
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02138673A (ja) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | 瞳孔画像撮影装置 |
JP2739331B2 (ja) * | 1988-11-16 | 1998-04-15 | 株式会社エイ・ティ・アール通信システム研究所 | 非接触視線検出装置 |
JPH09238905A (ja) * | 1996-03-05 | 1997-09-16 | Nissan Motor Co Ltd | 視線方向計測装置 |
JPH105178A (ja) * | 1996-06-26 | 1998-01-13 | Nissan Motor Co Ltd | 視線入力装置 |
JPH1156782A (ja) * | 1997-08-12 | 1999-03-02 | Techno Works:Kk | 二光源及び画像差分手段を用いた眼球特徴点検出方式 |
JP2006507054A (ja) * | 2002-11-21 | 2006-03-02 | トビイ・テクノロジー・エイビイ | 眼及びその凝視方向を検知し、追跡する方法と装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2005198743A (ja) | 2005-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4500992B2 (ja) | 三次元視点計測装置 | |
US7533989B2 (en) | Sight-line detection method and device, and three-dimensional view-point measurement device | |
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
US10108261B1 (en) | Eye tracking based on light polarization | |
JP4604190B2 (ja) | 距離イメージセンサを用いた視線検出装置 | |
JP4783018B2 (ja) | 眼及びその凝視方向を検知し、追跡する方法と装置 | |
JP5167545B2 (ja) | 視点検出装置 | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
CN107533362A (zh) | 眼睛跟踪设备和用于操作眼睛跟踪设备的方法 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
US11624907B2 (en) | Method and device for eye metric acquisition | |
US11557020B2 (en) | Eye tracking method and apparatus | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
CN113260299A (zh) | 用于眼睛追踪的系统和方法 | |
CN114503011A (zh) | 跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用 | |
US11423569B1 (en) | Gaze-tracking system and method employing selective glints | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2009240551A (ja) | 視線検出装置 | |
WO2017179280A1 (ja) | 視線測定装置および視線測定方法 | |
US11960648B2 (en) | Method for determining a current viewing direction of a user of data glasses with a virtual retina display and data glasses | |
US20240160287A1 (en) | Optical sightline tracking for a wearable system | |
JP2024008006A (ja) | 画像処理装置、表示装置、画像処理方法、およびプログラム | |
IL295191A (en) | Method and system for determining gaze direction | |
JPH06326946A (ja) | 眼球運動追従型視覚提示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041116 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20041115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050315 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061215 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061215 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4500992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
EXPY | Cancellation because of completion of term |