JP5385028B2 - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JP5385028B2
JP5385028B2 JP2009159721A JP2009159721A JP5385028B2 JP 5385028 B2 JP5385028 B2 JP 5385028B2 JP 2009159721 A JP2009159721 A JP 2009159721A JP 2009159721 A JP2009159721 A JP 2009159721A JP 5385028 B2 JP5385028 B2 JP 5385028B2
Authority
JP
Japan
Prior art keywords
image
information
acquired
image information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009159721A
Other languages
English (en)
Other versions
JP2011013610A (ja
Inventor
光裕 中野
竜男 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009159721A priority Critical patent/JP5385028B2/ja
Priority to EP10006630.7A priority patent/EP2278378B1/en
Priority to US12/828,342 priority patent/US8994806B2/en
Publication of JP2011013610A publication Critical patent/JP2011013610A/ja
Application granted granted Critical
Publication of JP5385028B2 publication Critical patent/JP5385028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、顕微鏡装置に関するものである。
従来、異なる観察方法によって取得された複数の画像データを関連づけて1つの画像データファイルとして保存する顕微鏡装置が知られている(例えば、特許文献1参照。)。
特開2005−149397号公報
しかしながら、この顕微鏡装置では、異なる観察方法により取得される画像データは同時に取得されたものに限られており、異なる画像取得方法によって異なるタイミングで複数の画像が取得された場合については処理することができないという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、複数の画像取得方法によって異なるタイミングで取得された複数の画像情報を整理して保存することができる顕微鏡観察装置を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、時間を計数する計時手段と、複数の異なる画像取得手段と、該画像取得手段により画像情報が取得されたときに、取得された画像情報と前記計時手段により計数された時間情報とを対応づけて記憶する記憶手段と、前記画像情報を表示する画像表示手段と、該画像表示手段により表示されたいずれかの画像情報を指定する画像指定手段と、該画像指定手段により指定された画像情報に対応づけて記憶されている時間情報に基づいて、指定された画像情報を取得した画像取得手段以外の画像取得手段により取得された画像情報を検索する画像検索手段と、を備え、前記画像表示手段が、前記画像検索手段により検索された画像情報を表示するを備える顕微鏡装置を提供する。
本発明によれば、複数の異なる画像取得手段により取得された画像情報が、計時手段により計数された共通の時間軸に対応づけられた形態で記憶手段に記憶されるので、画像取得手段が異なるタイミングで画像情報を取得しても時間情報を手がかりとして記憶手段に記憶されている画像情報を時間順に呼び出すことが可能となる。例えば、画像取得手段として、スキャナによりレーザ光を走査して蛍光を検出するLSM装置と被写体の2次元画像を撮影するCCD装置とが備えられている場合に、それぞれの画像取得のタイミングは異なるが、それぞれを同一の時間軸の時間情報に対応づけて記憶することで、相互に関連させて観察することができる
また、画像表示手段によりいずれかの画像情報を表示した状態で、画像指定手段によっていずれかの画像を指定すると、画像検索手段によって、指定された画像情報に対応づけて記憶されている時間情報を手がかりとして他の画像取得手段により取得された画像情報が検索され、画像表示手段によって表示される。これにより、異なる画像取得手段により取得された関連する画像情報を簡易に呼び出して表示し、観察することができる。
上記発明においては、前記記憶手段は、前記画像取得手段により取得された画像情報および該画像情報が取得されたときに前記計時手段により計数された時間情報に、前記画像情報を取得した画像取得手段を示す識別情報とシリアル番号とをそれぞれ付与して別々に記憶してもよい。
このようにすることで、画像情報を時間情報に直接対応づけて記憶する場合と同様にして、画像取得手段を示す識別情報とシリアル番号を介して間接的に画像情報と時間情報とを関連させて観察することができる。
また、上記発明においては、前記記憶手段は、前記画像取得手段により取得された画像情報および該画像情報が取得されたときに前記計時手段により計数された時間情報に、前記画像情報を取得した画像取得手段を示す識別情報とシリアル番号とをそれぞれ付与して、画像情報どうしおよび時間情報どうしで纏めて記憶してもよい。
また、上記発明においては、前記記憶手段は、前記画像取得手段により取得された画像情報と該画像情報が取得されたときに前記計時手段により計数された時間情報とを対にして、時間情報の順序に従って配列して記憶してもよい。
本発明によれば、複数の画像取得方法によって異なるタイミングで取得された複数の画像情報を整理して保存することができるという効果を奏する。
本発明の一実施形態に係る顕微鏡装置を示すブロック図である。 図1の顕微鏡装置により取得される画像情報の一例を示すタイムチャートである。 図2のタイムチャートに従って取得された画像情報の記憶方法の一例を示す図である。 図1の顕微鏡装置による画像取得を説明するフローチャートである。 画像情報の記憶方法の変形例を示す図である。 画像情報の記憶方法の他の変形例を示す図である。 画像情報の記憶方法のさらに他の変形例を示す図である。
本発明の一実施形態に係る顕微鏡装置1について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡装置1は、図1に示されるように、LSM装置2と、該LSM装置2に付属する面照明光源3およびCCD(撮像素子)4と、LSM装置2およびCCD4を制御する制御部5と、制御部5に対して入力を行う入力部6と、LSM装置2およびCCD4により取得された画像等を表示するモニタ7と、観察時間を計数するタイマ8と、LSM装置2およびCCD4により取得された画像情報等を記憶する記憶部9とを備えている。
LSM装置2は、共焦点顕微鏡であって、レーザ光を出射するレーザ光源10と、該レーザ光源10から出射されたレーザ光を2次元的に走査するスキャナ11と、該スキャナ11により走査されたレーザ光を標本A上に集光し、標本Aにおいて発生した蛍光を集光する対物レンズ12と、該対物レンズ12により集光されスキャナ11を介して戻る蛍光をレーザ光の光路から分岐するダイクロイックミラー13と、該ダイクロイックミラー13により分岐された蛍光を集光する集光レンズ14と、該集光レンズ14の焦点位置に配置された共焦点ピンホール15と、該共焦点ピンホール15を通過した蛍光を検出する光検出器(PMT:光電子増倍管)16とを備えている。図中、符号17,18はダイクロイックミラーである。
スキャナ11は、例えば、独立して揺動可能な一対のガルバノミラー(図示略)を備える、いわゆる近接ガルバノミラーである。制御部5はスキャナ11に対してレーザ光の照射位置を指令し、スキャナ11は制御部5からの指令に応じた揺動角度となるように各ガルバノミラーを駆動するようになっている。
また、制御部5は、LSM装置2の光検出器16から蛍光の輝度情報を受け取ると、その輝度情報をスキャナ11の揺動角度位置と対応づけて逐次記憶することにより、2次元的なLSM画像情報を生成するようになっている。
また、制御部5は、CCD4から画像信号を受け取ると、2次元的なCCD画像情報を生成し、モニタ7に表示するようになっている。
さらに、制御部5は、図2に示されるように、CCD4からの画像信号の受け取りが開始されると、その開始時にタイマ8から受け取った時間情報を、生成されたCCD画像情報に対応づけるようになっている。同様に、制御部5は、LSM装置2のPMT16からの蛍光輝度情報の受け取りが開始されると、その開始時にタイマ8から受け取った時間情報を、生成されたLSM画像情報に対応づけるようになっている。
図2においてCCD画像情報は、それぞれ複数の2次元画像であるフレームの集合から構成されており、LSM画像情報は、それぞれ単一の2次元画像から構成されている。
タイマ8は、入力部6から入力された観察の開始指令に基づいて時間の計数を開始するようになっている。
記憶部9は、図3に示されるように、制御部5によって対応づけられた時間情報と画像情報との対を、時間情報の順序に従って配列して記憶するようになっている。この場合には時間情報には観察開始からタイマ8により計数された時間を示す情報のみが含まれていれば足りる。
入力部6は、ユーザにより操作されるキーボード、マウスあるいはジョイスティック等により構成されている。ユーザは入力部6を操作することにより、観察の開始を指令し、モニタ7に表示されたいずれかの画像を指定することができるようになっている。
そして、制御部5は、入力部6により特定の画像がユーザにより指定されると、指定された画像情報に関連づけて記憶されている時間情報を読み出し、さらに、読み出された時間情報に近い時間情報を検索し、当該時間情報に関連づけて記憶されている画像情報を読み出されてモニタ7に表示するようになっている。これにより、指定された画像に関連する他の画像を表示することができるようになっている。
このように構成された本実施形態に係る顕微鏡装置1の作用について以下に説明する。
本実施形態に係る顕微鏡装置1を用いて標本Aを観察するには、図4に示されるように、まず、ユーザが入力部6を操作して、LSM画像の取得条件およびCCD画像の取得条件を設定する(ステップS1)。取得条件としては、LSM画像の取得範囲であるスキャナ11の揺動角度範囲、LSM画像の取得タイミング(インタバル)、LSM画像の取得枚数等、およびCCD画像の取得タイミング(インタバル)、CCD画像の取得枚数等を挙げることができる。
次いで、ユーザが入力部6を操作して、観察開始を指令すると(ステップS2)、タイマによる時間の計数が開始され(ステップS3、図2のt=0)、取得条件に従って、LSM画像の取得およびCCD画像の取得が並列して開始される。
LSM画像の取得は、レーザ光源10を作動させてレーザ光を出射し、スキャナ11および対物レンズ12を介して標本Aに照射されたレーザ光を、スキャナ11の作動によって、標本A上において2次元的に走査することにより行われる。レーザ光が照射された標本Aにおいては、蛍光物質が励起されて蛍光が発生し、発生した蛍光が、対物レンズ12により集光され、ダイクロイックミラー17,18およびスキャナ11を介して戻る途中で、ダイクロイックミラー13によって分岐され、集光レンズ14により集光され、共焦点ピンホール15を通過したものが光検出器16により検出される。
LSM画像の取得が開始されると(ステップS4)、その開始された時点でタイマ8から読み取られた時間情報が記憶部9に記憶され(ステップS5)、その後に、LSM画像が取得完了するまで待って(ステップS6)、取得されたLSM画像の画像情報が、ステップS5で記憶された時間情報に対応づけて記憶される(ステップS7)。取得条件によって設定された枚数のLSM画像が取得されたか否かが判定され(ステップS8)、取得されていない場合にはステップS4〜S8の工程が繰り返される。設定された枚数のLSM画像が取得された場合には、処理が終了される。
一方、CCDの取得は、面照明光源3を作動させて、対物レンズ12を介して面照明光を標本Aに照射することにより行われる。面照明光が照射されることで、標本A内に存在する蛍光物質が励起されることにより発生した蛍光が、対物レンズ12によって集光され、CCDにより撮影される。
CCD画像の取得が開始されると(ステップS9)、その開始された時点でタイマ8から読み取られた時間情報が記憶部9に記憶され(ステップS10)、その後に、CCD画像が取得完了するまで待って(ステップS11)、取得されたCCD画像の画像情報が、ステップS10で記憶された時間情報に対応づけて記憶される(ステップS12)。取得条件によって設定された枚数のCCD画像が取得されたか否かが判定され(ステップS13)、取得されていない場合にはステップS9〜S13の工程が繰り返される。設定された枚数のCCD画像が取得された場合には、処理が終了される。
このように、本実施形態に係る顕微鏡装置1によれば、LSM装置2およびCCD4のように異なる画像取得方法によって異なるタイミングで取得された画像情報に、各画像情報を取得開始した時点での単一の時間軸に従う時間情報が対応づけて記憶されるので、LSM装置2とCCD4のように取得タイミングが全く関連なく個別に画像情報が取得される場合であっても、取得された画像情報を事後的に容易に時系列に観察することができる。
そして、本実施形態に係る顕微鏡装置1によれば、例えば、CCD画像をモニタ7に順次表示して観察している際に、ユーザが入力部6を操作して特定のCCD画像を指定すると、制御部5が、指定されたCCD画像に対応づけて記憶している時間情報を記憶部9から読み出し、読み出された時間情報に近い時間情報を有するLSM画像を記憶部9内において検索する。そして、制御部5は検索したLSM画像をモニタ7に表示する。
例えば、図2に示される例では、画像情報としてCCD画像(CCD2)を指定したときに、該画像(CCD2)に対応づけられている時間情報(CCDt2)が読み出され、制御部5は、この時間情報(CCDt2)に近い時間情報(LSMt2、LSMt3)を検索し、これに対応づけられているLSM画像(LSM2,LSM3)をモニタ7に表示する。
これにより、CCD画像によって標本Aの全体を観察している途中で、特に詳細に観察したい変化が標本Aに発生した場合等に、その時点に最も近いLSM画像をモニタ7に表示して標本Aを詳細に観察することができるという利点がある。
なお、本実施形態においては、モニタ7上に表示したCCD画像を指定して、近接するLSM画像を呼び出すこととしたが、これに代えて、モニタ7上に表示したLSM画像を指定して近接するCCD画像を呼び出すことにしてもよい。
また、本実施形態においては、タイマ8により計数した時間情報とLSM画像またはCCD画像とを対応づけた対のデータとして記憶することとしたが、これに代えて、図5に示されるように、時間情報と画像情報とをそれぞれ纏めて記憶部9に記憶してもよい。この場合には、時間情報と画像情報とを相互に対応づけるために、時間情報および画像情報にそれぞれLSM画像に対応するものであるかCCD画像に対応するものであるかを示す識別情報と、時系列を示すシリアル番号とを対応づけて記憶する必要がある。
また、このように識別情報およびシリアル番号を対応づけて記憶する場合には、図6に示されるように、時間情報と画像情報とを別個のファイルとして記憶してもよい。さらに、図7に示されるように、LSM画像に対応する時間情報、CCD画像に対応する時間情報、LSM画像情報およびCCD画像情報をそれぞれ別個のファイルとして記憶してもよい。さらに、全ての時間情報および画像情報を別個のファイルとして記憶してもよい。
また、画像取得手段としてCCDおよびPMTを例示したが、これに限定されるものではなく、画像取得方法の異なる任意の画像取得手段を採用することにしてもよい。例えば、CCDに代えてCMOSやレゾナントスキャナを採用してもよい。
A 標本
1 顕微鏡装置
4 CCD(画像取得手段)
5 制御部(画像検索手段)
6 入力部(画像指定手段)
7 モニタ(画像表示手段)
8 タイマ(計時手段)
9 記憶部(記憶手段)
16 PMT(画像取得手段)

Claims (4)

  1. 時間を計数する計時手段と、
    複数の異なる画像取得手段と、
    該画像取得手段により画像情報が取得されたときに、取得された画像情報と前記計時手段により計数された時間情報とを対応づけて記憶する記憶手段と
    前記画像情報を表示する画像表示手段と、
    該画像表示手段により表示されたいずれかの画像情報を指定する画像指定手段と、
    該画像指定手段により指定された画像情報に対応づけて記憶されている時間情報に基づいて、指定された画像情報を取得した画像取得手段以外の画像取得手段により取得された画像情報を検索する画像検索手段と、を備え、
    前記画像表示手段が、前記画像検索手段により検索された画像情報を表示する顕微鏡装置。
  2. 前記記憶手段は、前記画像取得手段により取得された画像情報および該画像情報が取得されたときに前記計時手段により計数された時間情報に、前記画像情報を取得した画像取得手段を示す識別情報とシリアル番号とをそれぞれ付与して別々に記憶する請求項1に記載の顕微鏡装置。
  3. 前記記憶手段は、前記画像取得手段により取得された画像情報および該画像情報が取得されたときに前記計時手段により計数された時間情報に、前記画像情報を取得した画像取得手段を示す識別情報とシリアル番号とをそれぞれ付与して、画像情報どうしおよび時間情報どうしで纏めて記憶する請求項1に記載の顕微鏡装置。
  4. 前記記憶手段は、前記画像取得手段により取得された画像情報と該画像情報が取得されたときに前記計時手段により計数された時間情報とを対にして、時間情報の順序に従って配列して記憶する請求項1に記載の顕微鏡装置。
JP2009159721A 2009-07-06 2009-07-06 顕微鏡装置 Active JP5385028B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009159721A JP5385028B2 (ja) 2009-07-06 2009-07-06 顕微鏡装置
EP10006630.7A EP2278378B1 (en) 2009-07-06 2010-06-25 Microscope apparatus comprising time counting unit and different image acquisition units
US12/828,342 US8994806B2 (en) 2009-07-06 2010-07-01 Microscope apparatus chronologically storing different types of image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009159721A JP5385028B2 (ja) 2009-07-06 2009-07-06 顕微鏡装置

Publications (2)

Publication Number Publication Date
JP2011013610A JP2011013610A (ja) 2011-01-20
JP5385028B2 true JP5385028B2 (ja) 2014-01-08

Family

ID=42797208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009159721A Active JP5385028B2 (ja) 2009-07-06 2009-07-06 顕微鏡装置

Country Status (3)

Country Link
US (1) US8994806B2 (ja)
EP (1) EP2278378B1 (ja)
JP (1) JP5385028B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119678A2 (en) 2010-03-23 2011-09-29 California Institute Of Technology Super resolution optofluidic microscopes for 2d and 3d imaging
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
EP2633267A4 (en) 2010-10-26 2014-07-23 California Inst Of Techn MICROSCOPE SYSTEM WITHOUT PROJECTION LENS AND SCAN
US9643184B2 (en) 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
JP5738580B2 (ja) * 2010-12-03 2015-06-24 オリンパス株式会社 顕微鏡装置および観察方法
KR20140027113A (ko) 2011-03-03 2014-03-06 캘리포니아 인스티튜트 오브 테크놀로지 도광 픽셀
JP6134281B2 (ja) 2013-03-13 2017-05-24 三星電子株式会社Samsung Electronics Co.,Ltd. イメージを処理する電子装置及びその動作方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078681A (en) * 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
JP3874893B2 (ja) * 1997-06-20 2007-01-31 株式会社キーエンス 走査顕微鏡
US7078663B2 (en) * 2001-07-04 2006-07-18 Olympus Optical Co., Ltd. Scanning laser microscope and external signal recording method
US7020665B2 (en) * 2002-03-07 2006-03-28 Microsoft Corporation File availability in distributed file storage systems
JP2005149397A (ja) 2003-11-19 2005-06-09 Olympus Corp 顕微鏡画像管理装置及びプログラム
JP5123660B2 (ja) 2005-03-30 2013-01-23 オリンパス株式会社 測定装置
JP4970869B2 (ja) * 2005-09-12 2012-07-11 オリンパス株式会社 観察装置および観察方法
JP4893275B2 (ja) 2006-11-30 2012-03-07 株式会社ニコン 顕微鏡装置
JP2008139487A (ja) 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
JP2009232980A (ja) 2008-03-26 2009-10-15 Konica Minolta Medical & Graphic Inc 医用画像管理装置、印刷画像順設定方法、及びプログラム
DE202008004271U1 (de) * 2008-03-28 2008-05-21 Leica Microsystems (Schweiz) Ag Mikroskop umfassend wenigstens zwei Komponenten
US8184298B2 (en) 2008-05-21 2012-05-22 The Board Of Trustees Of The University Of Illinois Spatial light interference microscopy and fourier transform light scattering for cell and tissue characterization
JP5443100B2 (ja) 2009-08-25 2014-03-19 富士フイルム株式会社 放射線画像撮影装置、放射線画像撮影システム及び放射線画像撮影方法
JP5738580B2 (ja) 2010-12-03 2015-06-24 オリンパス株式会社 顕微鏡装置および観察方法

Also Published As

Publication number Publication date
US8994806B2 (en) 2015-03-31
US20110001815A1 (en) 2011-01-06
JP2011013610A (ja) 2011-01-20
EP2278378B1 (en) 2018-09-26
EP2278378A1 (en) 2011-01-26

Similar Documents

Publication Publication Date Title
JP5385028B2 (ja) 顕微鏡装置
DK3018520T3 (en) DIGITAL MICROSCOPE
JP4756819B2 (ja) 走査型顕微鏡システム
EP2758825B1 (en) Slide scanner with a tilted image plane
US10088655B2 (en) Preview station and method for taking preview images of microscope slides
EP1898246A2 (en) Microscope apparatus control method and microscope apparatus
JP5745752B2 (ja) 細胞スクリーニング方法、その方法に用いる制御ソフトウェア、細胞スクリーニング装置、及び画像解析装置、並びに細胞スクリーニングシステム
JP4526988B2 (ja) 微小高さ測定方法及びそれに用いる微小高さ測定装置並びに変位ユニット
JP5829030B2 (ja) 顕微鏡
JP5738580B2 (ja) 顕微鏡装置および観察方法
JP4725967B2 (ja) 微小高さ測定装置及び変位計ユニット
JP2021184769A (ja) 細胞吸引支援装置および細胞吸引支援装置の制御方法
JP4578822B2 (ja) 顕微観察装置、顕微観察方法および顕微観察プログラム
JP4963567B2 (ja) 微小高さ測定装置
JP4968337B2 (ja) 共焦点顕微鏡装置
JP5119111B2 (ja) 顕微鏡装置
JP4366975B2 (ja) 顕微鏡システム
JP2005149397A (ja) 顕微鏡画像管理装置及びプログラム
JP6570434B2 (ja) 顕微鏡システム
JP2005173561A5 (ja)
JP2004354346A (ja) 測定装置
JP2010091739A (ja) 自動焦点合焦装置を備えた画像撮像装置
WO2019012573A1 (ja) 細胞画像取得装置および培養細胞管理方法
JP4769035B2 (ja) 走査型観察装置
JP6637345B2 (ja) 顕微鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131003

R151 Written notification of patent or utility model registration

Ref document number: 5385028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250