JP4747703B2 - ホログラフィックステレオグラム作成装置及び方法 - Google Patents

ホログラフィックステレオグラム作成装置及び方法 Download PDF

Info

Publication number
JP4747703B2
JP4747703B2 JP2005209579A JP2005209579A JP4747703B2 JP 4747703 B2 JP4747703 B2 JP 4747703B2 JP 2005209579 A JP2005209579 A JP 2005209579A JP 2005209579 A JP2005209579 A JP 2005209579A JP 4747703 B2 JP4747703 B2 JP 4747703B2
Authority
JP
Japan
Prior art keywords
holographic stereogram
recording material
slit
hologram recording
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005209579A
Other languages
English (en)
Other versions
JP2007025421A (ja
Inventor
信宏 木原
明 白倉
茂幸 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005209579A priority Critical patent/JP4747703B2/ja
Priority to US11/485,312 priority patent/US20070019266A1/en
Priority to KR1020060066432A priority patent/KR20070011121A/ko
Priority to CNB200610107527XA priority patent/CN100483269C/zh
Publication of JP2007025421A publication Critical patent/JP2007025421A/ja
Application granted granted Critical
Publication of JP4747703B2 publication Critical patent/JP4747703B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0486Improving or monitoring the quality of the record, e.g. by compensating distortions, aberrations
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • G03H2001/2695Dedicated printer

Description

本発明は、画像を三次元認識することができるホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成装置及び方法に係り、特に奥行き方向のボケの低減に関する。
ホログラフィックステレオグラムは、被写体を異なる観察点から順次撮影することにより得られた多数の画像を原画として、これらを1枚のホログラム記録媒体に短冊状又はドット状の要素ホログラムとして順次記録することにより作成される。例えば、水平方向のみに視差情報を持つホログラフィックステレオグラムでは、被写体を水平方向の異なる観察点から順次撮影することにより得られた複数の原画が、短冊状の要素ホログラムとしてホログラム記録媒体に順次記録される。このホログラフィックステレオグラムは、これをある位置から片方の目で見た場合、各要素ホログラムの一部分の画像情報の集合体である二次元画像が見え、目の位置を水平方向に動かせば、各要素ホログラムの別の部分の画像情報の集合体である二次元画像が見える。したがって、このホログラフィックステレオグラムを観察者が両目で見たときには、左右の目の位置が水平方向で若干異なるため、それぞれに写る二次元画像は若干異なるものとなる。これにより、観察者は視差を感じ、三次元画像として認識される。
ところで、上記ホログラフィックステレオグラムを作成する際に、それぞれの要素ホログラムは、干渉性の良いレーザ光源を分岐し、一つは画像表示手段(例えば液晶パネル)により二次元画像変調された投影像(物体光)として、一つは参照光として、感光材料を記録材料とするホログラム記録材料に集光し、前記感光材料の屈折率変化として干渉縞を記録することにより形成される。このとき、反射型のホログラムの場合には、縦方向(非視差方向)での視点の移動に対応するために(非視差方向の視野角を確保するために)、ホログラム記録材料の手前に拡散板(1次元拡散板)を配置することがある(例えば、特許文献1参照)。
図5は上記した従来のホログラフィックステレオグラム作成装置の物体光投影光学系の構成例を示したブロック図である。物体光光学系は、レンズ21、スリット22、レンズ23、レンズ24により構成され、空間変調器(SLM)25により変調された物体光をホログラム記録材料50に集光する。その際、スリット22によりSLM25から発生する高次光をカットすることで、要素ホログラム以外の部分がホログラム記録材料50に露光されていることを防いでいる。
図6は横視差のみを有する従来のホログラフィックステレオグラムの物体光投影光学系の構成例を示したブロック図である。この物体光投影光学系の構成は図5のそれとほぼ同じであるが、対物レンズ26がシリンドリカルレンズとなっている。そのため、図中上段の非視差方向では物体光は単にシリンドリカルレンズ26を透過するだけであるが、下段の視差方向では凸レンズとして作用するシリンドリカルレンズ26によって物体光がホログラム記録材料50に集光される。その際、スリット22によりSLM25から発生する高次光をカットすることで、要素ホログラム以外の部分がホログラム記録材料50に露光されていることを防いでいる。
しかしながら、図5に示したような従来のホログラフィックステレオグラムの物体光投影光学系では、SLM25の1点から出た光が、ホログラム上で平行光にならない場合、奥行き方向にボケを生じる。また、図6に示したような従来のHPO(Horizontal Parallax Only)ステレオグラムの物体光投影光学系では、視差方向に関しては要素ホログラム上での光線の平行度は意識して設計されていないため、SLM25の1点から出た光がホログラム上で平行光にならない場合、奥行き方向にボケを生じる。そこで、奥行き方向のボケを低減する方法として、図7に示すように、ホログラム記録材料50に近接して凸レンズ28を配置する方法がある(例えば特許文献1参照)。
Patent No:US 6330088B1 (第10頁、第9図)
しかしながら、上記のように奥行き方向のボケを低減するために、ホログラム記録材料に50近接して凸レンズ28を配置する方法を採ると、凸レンズ28がホログラム記録材料50に近接しているため、両者が接触するなどすることがあって、凸レンズ28やホログラム記録材料50に傷が付く恐れがあるという問題があった。
本発明は前記事情に鑑み案出されたものであって、本発明の目的は、光学部品やホログラム記録材料を傷付けることなく、ホログラフィックステレオグラムの奥行き方向でのボケを低減させることができるホログラフィックステレオグラム作成装置及び方法を提供することにある。
本発明のホログラフィックステレオグラム作成装置は、異なる観察点により描画された複数の画像により順次空間変調された物体光と参照光との干渉縞を1枚のホログラム記録材料に短冊状又はドット状の要素ホログラムとして順次記録してホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成装置であって、空間変調された物体光をホログラム記録材料に照射する物体光投影光学系のホログラム記録材料と共役な位置に配置されて不要光を除去するスリットと、スリットに取り付けられ、物体光をホログラム記録材料上において平行光化するレンズとを備えている
このように本発明では、物体光投影光学系のホログラム記録材料と共役な位置(要素ホログラムと共役な位置に同じ)に位置する不要光除去スリットに、物体光をホログラム記録材料上において平行光化するレンズを取り付けると、このレンズはホログラム記録材料のところに取り付けてあるのと等価の作用をするため、空間変調器の1点から出た光はホログラム上で平行光になり、ホログラフィックステレオグラムの奥行き方向がボケないシャープな三次元画像を得ることができる。
本発明によれば、空間変調された物体光をホログラム記録材料に照射する物体光投影光学系のホログラム記録材料と共役な位置に配置される不要光除去スリットに、スリット機能を残して凸レンズ機能を付与することにより、ホログラフィックステレオグラムの奥行き方向でのボケを低減させることができる。
また、レンズが取り付けられたスリットはホログラム記録材料から離れているため、レンズやホログラム記録材料を傷付けることなく、上記効果を得ることができる。
更に、ホログラム記録材料に近接する光学部品数を減らせるので、機構上の制約を少なくすることができる。
光学部品やホログラム記録材料を傷付けることなく、ホログラフィックステレオグラムの奥行き方向でのボケを低減させる目的を、空間変調された物体光を前記ホログラム記録材料に照射する物体光投影光学系の前記ホログラム記録材料と共役な位置に配置される不要光除去スリットに、スリット機能を残して凸レンズ機能を付与することによって、光学部品やホログラム記録材料を傷付けることなく、ホログラフィックステレオグラムの奥行き方向でのボケを低減させることができる。
図1は、本発明の第1の実施形態に係るホログラフィックステレオグラム作成装置の構成を示したブロック図である。ホログラフィックステレオグラム作成装置は、レーザ光源1、シャッター2、半波長板(HWP)3、偏光ビームスプリッタ(PBS)4、物体光照明光学系5、空間変調器(SLM)6、物体光投影光学系7、ホログラム記録材料50、参照光照明光学系8、参照光スリット9、参照光投影光学系10を有して構成される。
次に本実施形態の動作について説明する。レーザ光源1から出射されたレーザ光はHWP3を通って偏光方向を調整された後、PBS4に入射されて、物体光100と参照光200とに分岐される。物体光100は物体光照明光学系5を通して空間変調器6に入射され、表示画像により強度変調された後、物体光投影光学系7を通してホログラム記録材料50に照射される。一方、参照光200は参照光照明光学系8、参照光スリット9、参照光投影光学系10を通してホログラム記録材料50に照射される。これにより、物体光100と参照光200の干渉縞がホログラム記録材料50に記録される。その際、被写体を水平方向の異なる観察点から順次撮影することにより得られた複数の原画を空間変調器6に表示することにより、短冊状の要素ホログラムがホログラム記録材料50に順次記録される。
図2は図1に示した物体光投影光学系7の構成を示したブロック図である。物体光投影光学系7は、レンズ11、レンズ12、レンズ13、及びホログラム記録材料50と共役な位置に配置され、凸レンズ141を有するスリット14を有している。
本実施形態によれば、ホログラム記録材料50と共役な位置に配置されたスリット14のスリット部分に嵌め込まれるような形で凸レンズ141を設けることにより、凸レンズ141をホログラム記録材料50に近接して配置した場合と等価になる。これによって、空間変調器6の1点から出た光がホログラム記録材料50上で平行光になり、ホログラフィックステレオグラムの奥行き方向にボケを生じることを防止することができる。しかも、凸レンズ141はホログラム記録材料50から離れているため、凸レンズ141とホログラム記録材料50が接触することがないため、凸レンズ141やホログラム記録材料50が傷付くことがなくなり、装置の信頼性を高めることができる。
尚、スリット14に凸レンズ141を取り付ける方法としては、図3に示すようにスリット14の前面に凸レンズ141を密着配置すれば、ホログラム記録材料50の記録面に凸レンズ141を密着して配置したのと等価になり、ホログラフィックステレオグラムの奥行き方向をよりシャープにピントが合った三次元画像とすることができる。
図4は、本発明の第2の実施形態に係るホログラフィックステレオグラム作成装置の要部の構成を示したブロック図である。本例はHPOステレオグラムの物体光投影光学系の例であり、その構成は第1の実施形態と同様であるが、ホログラム記録材料50の対物レンズがシリンドリカルレンズ15となっている点と、スリット14のスリット部分にシリンドリカルレンズ142が嵌め込まれている点が異なる。したがって、図中上段の非視差方向では物体光は単にシリンドリカルレンズ142、シリンドリカルレンズ15を透過するだけであるが、下段の視差方向ではこれらシリンドリカルレンズは凸レンズとして作用し、空間変調器6の1点から出た光がホログラム記録材料50上で平行光となってホログラム記録材料50に照射される。
本実施形態によれば、視差方向では、ホログラム記録材料50と共役な位置に配置されたスリット14のスリット部分に取り付けられたシリンドリカルレンズ142により、空間変調器6の1点から出た光がホログラム記録材料50上で平行光になるため、ホログラム記録材料50に記録されたホログラフィックステレオグラムの奥行き方向のボケをなくすことができる。
尚、本実施形態も図3と同様にスリットにシリンドリカルレンズを取り付けることにより、ホログラフィックステレオグラムの奥行き方向をシャープにピントの合った三次元画像とすることができる。
尚、本発明は上記実施形態に限定されることなく、その要旨を逸脱しない範囲において、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができる。
本発明の第1の実施形態に係るホログラフィックステレオグラム作成装置の構成を示したブロック図である。 図1に示した物体光投影光学系の構成を示したブロック図である。 図1に示したスリットに凸レンズを取り付ける他の方法を示した図である。 本発明の第2の実施形態に係るホログラフィックステレオグラム作成装置の要部の構成を示したブロック図である。 従来のホログラフィックステレオグラム作成装置の物体光投影光学系の構成例を示したブロック図である。 横視差のみを有する従来のホログラフィックステレオグラムの物体光投影光学系の構成例を示したブロック図である。 ホログラフィックステレオグラムの奥行き方向のボケを低減する従来の方法を示した図である。
符号の説明
1……レーザ光源、2……シャッター、3……半波長板(HWP)、4……偏光ビームスプリッタ(PBS)、5……物体光照明光学系、6……空間変調器(SLM)、7……物体光投影光学系、8……参照光照明光学系、9……参照光スリット、10……参照光投影光学系、11、12、13……レンズ、14……スリット、15、142……シリンドリカルレンズ、50……ホログラム記録材料、141……凸レンズ。

Claims (7)

  1. 異なる観察点により描画された複数の画像により順次空間変調された物体光と参照光との干渉縞を1枚のホログラム記録材料に短冊状又はドット状の要素ホログラムとして順次記録してホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成装置であって、
    前記空間変調された物体光を前記ホログラム記録材料に照射する物体光投影光学系の前記ホログラム記録材料と共役な位置に配置されて、不要光を除去するスリットと、
    前記スリットに取り付けられ、前記物体光を前記ホログラム記録材料上において平行光化するレンズと
    を備えたホログラフィックステレオグラム作成装置。
  2. 前記ホログラフィックステレオグラムは、横視差のみを有する
    求項1記載のホログラフィックステレオグラム作成装置。
  3. 前記複数の画像は、被写体を異なる観察点から順次撮影することにより得られる
    求項1または2記載のホログラフィックステレオグラム作成装置。
  4. 前記レンズは前記スリットに嵌め込まれている
    求項1または2記載のホログラフィックステレオグラム作成装置。
  5. 前記レンズは、前記スリットの前面にこのスリットを覆うように密着している
    求項1または2記載のホログラフィックステレオグラム作成装置。
  6. 前記レンズは凸レンズ或いはシリンドリカルレンズである
    求項1乃至5いずれか1項記載のホログラフィックステレオグラム作成装置。
  7. 異なる観察点により描画された複数の画像により順次空間変調された物体光と参照光との干渉縞を1枚のホログラム記録材料に短冊状又はドット状の要素ホログラムとして順次記録してホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成方法であって、
    前記空間変調された物体光を前記ホログラム記録材料に照射する物体光投影光学系の前記ホログラム記録材料と共役な位置に不要光除去スリットを配置し、このスリットに、前記物体光を前記ホログラム記録材料上において平行光化するレンズを取り付ける
    ログラフィックステレオグラム作成方法。
JP2005209579A 2005-07-20 2005-07-20 ホログラフィックステレオグラム作成装置及び方法 Expired - Fee Related JP4747703B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005209579A JP4747703B2 (ja) 2005-07-20 2005-07-20 ホログラフィックステレオグラム作成装置及び方法
US11/485,312 US20070019266A1 (en) 2005-07-20 2006-07-13 Holographic stereogram creation device and its method
KR1020060066432A KR20070011121A (ko) 2005-07-20 2006-07-14 홀로그래픽 스테레오그램 작성 장치 및 방법
CNB200610107527XA CN100483269C (zh) 2005-07-20 2006-07-20 全息立体照创建装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005209579A JP4747703B2 (ja) 2005-07-20 2005-07-20 ホログラフィックステレオグラム作成装置及び方法

Publications (2)

Publication Number Publication Date
JP2007025421A JP2007025421A (ja) 2007-02-01
JP4747703B2 true JP4747703B2 (ja) 2011-08-17

Family

ID=37656753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005209579A Expired - Fee Related JP4747703B2 (ja) 2005-07-20 2005-07-20 ホログラフィックステレオグラム作成装置及び方法

Country Status (4)

Country Link
US (1) US20070019266A1 (ja)
JP (1) JP4747703B2 (ja)
KR (1) KR20070011121A (ja)
CN (1) CN100483269C (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103109158B (zh) * 2010-10-05 2015-03-04 英派尔科技开发有限公司 一种生成深度数据的方法、装置及系统
KR101766272B1 (ko) 2010-11-01 2017-08-08 삼성전자주식회사 시준화된 지향성의 백라이트 유닛을 사용하는 홀로그래픽 영상 디스플레이 장치 및 방법
CN102073264B (zh) * 2010-11-19 2013-04-24 中山大学 分时复用计算全息三维显示系统及其显示方法
CN102354082B (zh) * 2011-09-28 2013-07-10 李雨顺 激光全息电影拍摄装置
US9291997B2 (en) 2012-05-17 2016-03-22 Samsung Electronics Co., Ltd. High speed hologram recording apparatus and method
JP5975438B2 (ja) * 2012-07-17 2016-08-23 国立研究開発法人情報通信研究機構 電子ホログラフィ表示装置
RU2650086C1 (ru) 2016-12-22 2018-04-06 Самсунг Электроникс Ко., Лтд. Устройство отображения голографических изображений и способ функционирования блока управления, содержащегося в нем
CN109765695B (zh) * 2019-03-29 2021-09-24 京东方科技集团股份有限公司 一种显示系统和显示装置
KR102255555B1 (ko) * 2019-08-20 2021-05-25 울산과학기술원 디더링 마스크를 이용한 홀로그래픽 패턴 발현 유기젤의 제조방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5147347B1 (ja) * 1971-04-10 1976-12-14
US6011577A (en) * 1997-06-30 2000-01-04 Polaroid Corporation Modular optical print head assembly
US6330088B1 (en) * 1998-02-27 2001-12-11 Zebra Imaging, Inc. Method and apparatus for recording one-step, full-color, full-parallax, holographic stereograms
JP2001350395A (ja) * 2000-06-08 2001-12-21 Sony Corp ホログラフィックステレオグラム露光装置及び方法、並びにホログラフィックステレオグラム作成システム
US6675863B1 (en) * 2000-09-07 2004-01-13 Physical Optics Corporation Seamless master and method of making same
JP3829819B2 (ja) * 2003-05-08 2006-10-04 ソニー株式会社 ホログラフィックステレオグラム作成装置

Also Published As

Publication number Publication date
CN1900850A (zh) 2007-01-24
JP2007025421A (ja) 2007-02-01
US20070019266A1 (en) 2007-01-25
KR20070011121A (ko) 2007-01-24
CN100483269C (zh) 2009-04-29

Similar Documents

Publication Publication Date Title
JP4747703B2 (ja) ホログラフィックステレオグラム作成装置及び方法
JP3829819B2 (ja) ホログラフィックステレオグラム作成装置
EP3295259B1 (en) Display system
KR101328970B1 (ko) 영상 형성 방법 및 영상 투사 장치
US20180129166A1 (en) Holographic display apparatus for providing expanded viewing window
KR100225790B1 (ko) 광편향장치, 광주사장치, 정보판독장치 및 입체표시장치
JP5975438B2 (ja) 電子ホログラフィ表示装置
KR101894017B1 (ko) 홀로그래픽 광학 소자의 제조 장치 및 홀로그램 재생 장치
JP5569198B2 (ja) 立体画像提示方法および提示装置
JP2007114463A (ja) 3次元カラー画像記録装置
JP5332032B2 (ja) ホログラム表示装置
US8908249B2 (en) Wide angle hologram device illuminated with a near field source and method for manufacturing same
US11953856B2 (en) Holographic display apparatus
JP2001350395A (ja) ホログラフィックステレオグラム露光装置及び方法、並びにホログラフィックステレオグラム作成システム
JP5299954B2 (ja) 3次元ディスプレイ装置及び3次元画像表示方法
JP6614635B2 (ja) ホログラム記録制御装置
JP2017032947A (ja) ホログラフィックステレオグラム作成装置及び拡散部材
KR102110866B1 (ko) 디지털 홀로그램 영상 재생 장치 및 그 장치에 의한 입체 영상 재생 방법
JP5099825B2 (ja) 干渉縞データ生成装置、干渉縞データ生成方法及び干渉縞データ生成プログラム
JP2013195801A (ja) ホログラフィックステレオグラム記録装置及び方法
JP2013195802A (ja) ホログラフィックステレオグラム記録装置及び方法
JP2016061935A (ja) ホログラム
JP2012155130A (ja) ホログラム記録装置
JP2008197335A (ja) セキュリティ用ホログラムの作製方法
JP2005070106A (ja) 立体映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080709

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees