JP6436613B2 - 眼科撮影装置および眼科撮影装置の制御方法 - Google Patents

眼科撮影装置および眼科撮影装置の制御方法 Download PDF

Info

Publication number
JP6436613B2
JP6436613B2 JP2012247754A JP2012247754A JP6436613B2 JP 6436613 B2 JP6436613 B2 JP 6436613B2 JP 2012247754 A JP2012247754 A JP 2012247754A JP 2012247754 A JP2012247754 A JP 2012247754A JP 6436613 B2 JP6436613 B2 JP 6436613B2
Authority
JP
Japan
Prior art keywords
fundus
function
automatic
alignment
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012247754A
Other languages
English (en)
Other versions
JP2014094183A5 (ja
JP2014094183A (ja
Inventor
原 廣志
廣志 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012247754A priority Critical patent/JP6436613B2/ja
Priority to US14/066,909 priority patent/US9301684B2/en
Priority to CN201310551729.3A priority patent/CN103799965B/zh
Publication of JP2014094183A publication Critical patent/JP2014094183A/ja
Publication of JP2014094183A5 publication Critical patent/JP2014094183A5/ja
Application granted granted Critical
Publication of JP6436613B2 publication Critical patent/JP6436613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/15Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、たとえば眼科医院や集団健診等で用いられる眼底カメラのような、被検眼の眼底を観察または撮影する眼科撮影装置、眼科撮影装置の制御方法、およびプログラムに関するものである。
従来、眼底カメラにおいて、眼底カメラ光学系と被検眼とのアライメント調整操作、およびフォーカス調整操作の簡略化を行うために、アライメント調整操作、およびフォーカス調整操作を自動的に実行する眼底カメラが提案されている(特許文献1、特許文献2参照)。
また、オートフォーカス機能とオート小瞳孔切換え機能とオートシュート機能を有し、各オート機能を個別に有効、無効に設定可能な眼科撮影装置が提案されている(特許文献3参照)。
特許第3490796号公報 特開2005−160549号公報 特開2009−172157号公報
特許文献1および特許文献2に記載の眼底カメラでは、撮影処理は撮影ボタンのONによって開始され、アライメント調整、およびフォーカス調整、および撮影が自動的に行われて終了するように構成されている。
しかしながら、眼底撮影においては、被検眼の状態に応じて、アライメントおよびフォーカスの自動調整後に検者がアライメント状態、フォーカス状態を変更する場合があり、特許文献1および特許文献2に記載の眼底カメラにおいては、撮影が自動で行われるため、検者による変更を行うことができないという課題がある。
これに対して、特許文献3に記載の眼科撮影装置においては、オートフォーカス機能およびオートシュート機能の有効、無効を個別に設定可能となるように構成しているため、検者によるアライメント、およびフォーカスの調整を行うことが可能となる。
しかしながら、撮影動作開始前に各機能の有効、無効を設定する必要があり、オートフォーカス機能およびオートシュート機能を有効として撮影動作を開始した後に、撮影する被検眼の観察像から被検眼の状態を判別して、オートフォーカス機能およびオートシュート機能を動的に無効にすることができないという課題がある。
また、特許文献3に記載の眼科撮影装置においては、オートフォーカス機能およびオートシュート機能の動作について、あらかじめ動作を無効とする条件を持ち、当該条件が成立すると、オートフォーカス機能およびオートシュート機能を無効とするよう構成されているが、動作を無効とする条件をあらかじめ設定しておく必要があり、撮影動作中に動的に機能を無効化することができないという課題がある。
また、白内障等、水晶体に混濁がある被検眼の撮影を行う場合、被検眼眼底を観察し、眼底観察像の中で混濁がない領域を検索し、当該領域でフォーカス合わせを行うといった操作が行われる。このような操作の場合、手動によってフォーカス領域を変更するとともに、フォーカス可能な領域においてオートフォーカス機能を実行したいという要求がある。
しかしながら、特許文献1、特許文献2、および特許文献3においては、撮影動作中にオートフォーカス機能およびオートシュート機能を無効から有効に変更することができないという課題がある。
このように、従来の眼科撮影装置では検者のニーズに合わせた操作を行うことが困難である。
上記の課題に鑑み、本発明は、眼科撮影装置に対する検者の操作性を向上させることを目的とする。
上記の目的を達成する本発明に係る眼科撮影装置の一つは、
前眼観察と眼底観察とを異なるタイミングで行うための共通の撮像素子を有し、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能を有する眼科撮影装置であって、
前眼アライメントの完了時に前眼観察状態から眼底観察状態への自動遷移を実行し、前記自動遷移が実行された後に眼底観察時のオートフォーカスと眼底アライメントの完了時の自動撮影とを実行するまでの一連の撮影動作開始後の第1のユーザ操作に応じて、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を無効にする第1の制御手段と、
前記撮影動作開始後の第2のユーザ操作に応じて、前記無効にされた、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を再度有効にする第2の制御手段と、
を備えることを特徴とする。
本発明によれば、眼科撮影装置に対する検者の操作性を向上させることができる。
第1実施形態に係る眼科撮影装置の全体構成図。 第1実施形態に係る眼科撮影装置の構成例を示す図。 第1実施形態に係る眼科撮影装置の動作を表すフローチャート。 第1実施形態に係る合焦動作部の構成説明図。 第1実施形態に係るモニタ15に映出された眼底像の一例を示す図。 第1実施形態に係る合焦動作部による合焦位置検出を示した図。 第1実施形態に係る合焦動作部の動作を表すフローチャート。 第1実施形態に係るモニタ15に映出された合焦と位置合わせ完了時の眼底像を示す図。 第1実施形態に係るプリズム付レンズ106の詳細図。 第1実施形態に係る撮像素子14により撮像される前眼画像の一例を示す図。 第1実施形態に係る前眼部アライメント検出部の動作を表すフローチャート。 第1実施形態に係るフォーカス指標投影部を示した図。 第1実施形態に係るフォーカス指標投影部を光軸L2方向から観察した図。 第1実施形態に係る被検眼瞳上のフォーカス指標光束の位置を示した図。 第1実施形態に係るフォーカス指標の機能説明図。 第1実施形態に係る撮像素子14により撮像される眼底画像の一例を示す図。 第1実施形態に係る眼底部アライメント検出部の動作を表すフローチャート。
以下、添付の図面を参照しながら、本発明の実施の形態を詳細に説明する。本発明の実施形態を通じて、同一の参照符号は同一の構成要素を示している。
(第1実施形態)
図1(a)は本発明を実施した眼科撮影装置である眼底カメラの全体図であり、図1(b)は、図1(a)中のフォーカス操作部分、およびジョイスティック部分の構成を示す概略図である。
被検眼を観察・撮影するための光学系を備えた光学本体200は、固定基台201上を前後左右に移動可能な可動ステージ202に固定されている。また、可動ステージ202には、フォーカス操作部205、撮影スイッチ203、アライメント切換スイッチ206を有するジョイスティック204が設置されている。検者はジョイスティック204の操作によって可動ステージ202を所望の位置へ移動させることができると共に、フォーカス操作部205の操作によって、撮影対象眼のフォーカス位置調整が可能となっている。
撮影スイッチ203は、2段階の押下が可能な形に構成している。撮影スイッチ203を1段押下した場合、2段押下した場合のそれぞれの機能については、後述する。
図2は、本実施形態に係る眼科撮影装置の構成例を示した図である。光軸L1上には、ハロゲンランプ等の定常光を発する観察用光源1、コンデンサレンズ2、赤外光を透過し可視光を遮断するフィルタ3、ストロボ等の撮影用光源4、レンズ5、ミラー6が配置され、ミラー6の反射方向の光軸L2上には、リング状開口を有するリング絞り7、リレーレンズ8、中央部開口を有する穴あきミラー9が順次に配列されている。
また、穴あきミラー9の反射方向の光軸L3上には、前眼部の観察を行うための補助レンズ102および被検眼Eの前眼部と共役な位置に光束を分割するイメージスプリットプリズムを有するプリズム付レンズ106を備える前眼観察ユニット107、被検眼Eに対向して対物レンズ10が配置されており、前眼観察ユニット107は光軸L3に対して挿脱可能となっている。そして、穴あきミラー9の穴部には撮影絞り11、光軸L3上の位置を移動することによりピントを調整するフォーカスレンズ12、撮影レンズ13、ハーフミラー100が順次配列されている。ハーフミラー100の先には、撮影カメラC内部の動画観察と静止画撮影を兼ねた撮像素子14が配列され、ハーフミラー100の反射方向である光軸L4の先には内部固視灯101が配列されている。撮像素子14は、可視波長のみではなく、赤外波長に対しても感度を持たせることにより、赤外画像をも撮影可能となるよう構成する。一方、穴あきミラー9の前面にLED光源103aからの光束を導くライトガイド104aの出射端が配置され、この出射端はアライメント指標P1とされている。アライメント指標P1は光軸L3から外れて配置されており、光軸L3の周りのアライメント指標P1と対称位置に、LED光源103aと同様の波長を持つ不図示のLED光源103bからの光束を導く不図示のライトガイド104bの出射端が配置されており、この出射端はアライメント指標P2とされていて、これらによりアライメント用指標投影光学系を構成している。
ここで、撮像素子14の出力は画像処理部17へ送出され、画像処理部17の出力はシステム制御部18へ送出される。画像処理部17はモニタ15に撮像素子14により撮像される観察像を映出する。
一方、光軸L2上のリング絞り7とリレーレンズ8との間には、フォーカス指標投影部22が配置されている。このフォーカス指標投影部22の詳細は、後ほど詳しく説明する。なお、フォーカス指標投影部22およびフォーカスレンズ12は、システム制御部18からの制御に基づいて、それぞれフォーカスレンズ駆動部19およびフォーカス指標駆動部20により、光軸L2、光軸L3方向に連動して移動するようになっている。このシステム制御部18は、検者によるフォーカス操作部205の操作の有無を検出して、手動合焦モード、自動合焦モードを切り換えるように制御を行い、手動合焦モード時には、フォーカス操作部205の操作に従って、フォーカスレンズ駆動部19およびフォーカス指標駆動部20を制御する。このとき、フォーカス指標投影部22と、撮像素子14とが光学的に共役関係になっている。また、自動合焦モード時には、システム制御部18が備える合焦動作部30の検出結果に基づいて、フォーカスレンズ駆動部19およびフォーカス指標駆動部20を制御する。また、システム制御部18は、前眼部アライメント検出部31を備える。システム制御部18は、自動アライメント切換モード時には、前眼部アライメント検出部31の検出結果に基づいて、アライメント完了と判定し、かつ前眼観察ユニット107が、光軸L3上に挿入されていた場合には、前眼観察ユニット107を光軸L3上から離脱し、観察部位を前眼から眼底に変更する。手動アライメント切換モード時には、アライメント切換スイッチ206の操作によって、前眼観察ユニット107の挿入、離脱を行う。また、システム制御部18は、眼底部アライメント検出部32を備える。システム制御部18は、自動撮影モード時には、眼底部アライメント検出部32の検出結果に基づいて、アライメント完了と判定し、かつ前眼観察ユニット107が、光軸L3上から離脱されていた場合には、撮影スイッチ203を操作して、画像撮影処理を行う。手動撮影モード時には、検者による撮影スイッチ203の操作に従って、画像撮影処理を行う。
また、システム制御部18では、観察用光源1の光量調整・点灯・消灯などの制御や、撮影用光源4の光量調整・点灯・消灯などの制御も行っている。
次に、本実施形態でのシステム制御部18の動作について説明する。まず、システム制御部18は、観察用光源1を消灯した状態で、前眼部観察用光源105を点灯する。前眼部観察用光源105から射出した光束は、被検眼Eの前眼部で反射散乱され、対物レンズ10、前眼観察ユニット107、撮影絞り11、フォーカスレンズ12、撮影レンズ13、ハーフミラー100を介した後、撮像素子14に結像する。そして、画像処理部17は、撮像素子14で撮像した前眼部像をモニタ15に映出する。
検者は、モニタ15に映出された前眼部像を観察しながら、ジョイスティック204の操作によって可動ステージ202を移動させ、被検眼Eと光学ユニットとの位置合せの粗調整を行う。次いでアライメント切換スイッチ206を押下、眼底部の観察を行う。
次に、システム制御部18は、前眼観察ユニット107を光軸L3から離脱させるとともに、前眼部観察用光源105を消灯し観察用光源1を点灯する。観察用光源1から射出した光束は、コンデンサレンズ2で集光され、フィルタ3で可視光をカットされ赤外光のみが透過され、ストロボ等の撮影用光源4を透過し、レンズ5、ミラー6、及びリング絞り7によりリング光束とされた後、リレーレンズ8、穴あきミラー9により光軸L3方向に偏向され、対物レンズ10を介して瞳Epを通じ被検眼Eの眼底Erを照明する。眼底Erに達した光束は、反射散乱され、被検眼Eから射出し、対物レンズ10、撮影絞り11、フォーカスレンズ12、撮影レンズ13、ハーフミラー100を介した後、撮像素子14に結像する。そして、画像処理部17は、撮像素子14で撮像した眼底像をモニタ15に映出する。
検者は、モニタ15に映出された眼底像を観察しながら、被検眼Eと光学ユニットとの位置合せの微調整を行い、次いでフォーカス調整を行った後、撮影スイッチ203を押下して撮影を行う。本実施形態では、上述した前眼部から眼底部への観察部位の変更を自動的に実行する自動アライメント切換機能、および、フォーカス調整を自動的に実行する自動合焦(オートフォーカス)機能、さらには、自動的に撮影を行う自動撮影機能を有する眼科撮影装置として説明する。
自動アライメント切換機能を実行するため、画像処理部17の出力はシステム制御部18へ送出され、システム制御部18に設けられた前眼部アライメント検出部31へ送出される。さらに、前眼部アライメント検出部31が、前眼観察ユニット107を駆動する駆動部(不図示)に接続されており、当該駆動部によって自動アライメント切換動作が行われる。
自動合焦機能を実行するため、画像処理部17の出力はシステム制御部18へ送出され、システム制御部18に設けられた合焦動作部30へ送出される。さらに、合焦動作部30がフォーカスレンズ駆動部19およびフォーカス指標駆動部20と接続されており、これらの制御により自動合焦動作が行われる。
自動撮影機能を実行するため、画像処理部17の出力はシステム制御部18へ送出され、システム制御部18に設けられた眼底部アライメント検出部32へ送出される。さらに、眼底部アライメント検出部32が撮影スイッチ203と接続されており、自動撮影動作が行われる。
ここで、フォーカス指標投影部22の機能について説明する。図12において、フォーカス指標照明用LED25からの光束はフォーカススプリットプリズム23のプリズム部23aにより光軸L2方向に偏向され、プリズム部23b、23cに達する。ここで、プリズム部23b、23cは、互いに対称な角度のプリズム面を有している。プリズム部23b、23cに達した光束は、図13のフォーカス指標24の矩形状の開口部24aを通過し、それぞれ光軸L2に対照な2つのフォーカス指標光束lb、lcとなり、リレーレンズ8、穴あきミラー9、対物レンズ10を介し、被検眼Eに達する。
図14は、フォーカス指標光束lbの被検眼Eの瞳Ep上の位置lp1と、フォーカス指標光束lcの被検眼Eの瞳Ep上の位置lp2を示した図である。
図15(a)、図15(b)、および図15(c)は、フォーカス指標光束lb、lcが被検眼Eの眼底Erに達する様子と、フォーカス指標光束lb、lcによる眼底Er上のフォーカス指標像39b、39cを示した図である。
図15(a)は、被検眼Eの眼底Erとフォーカス指標24とが光学的に共役な位置関係にある場合を示した図である。眼底Erとフォーカス指標24とが光学的に共役なので、2つに分離されたフォーカス指標光束lb、lcは、眼底Er上で、フォーカス指標24の矩形状の開口部24aの像39b、39c(以降、フォーカス指標像39b、39cと記す。)となり、一列に並ぶ。
図15(b)は、被検眼Eが図15(a)よりも近視の場合を示した図である。このとき、眼底Erとフォーカス指標24とが光学的に共役でないので、2つに分離されたフォーカス指標光束lb、lcは眼底Er上で、フォーカス指標像39b、39cとなり、互いに上下方向にずれ、フォーカス指標像39bが上方へ、フォーカス指標像39cが下方へずれる。
図15(c)は、被検眼Eが(a)よりも遠視の場合を示した図である。このとき、眼底Erとフォーカス指標24とが光学的に共役でないので、2つに分離されたフォーカス指標光束lb、lcは眼底Er上で、フォーカス指標像39b、39cとなり、互いに上下方向にずれ、フォーカス指標像39bが下方へ、フォーカス指標像39cが上方へずれる。
従来の眼底カメラにおけるオートフォーカス方法は、フォーカス指標像39b、39cを検出し、フォーカス指標像39b、39cが一列に並ぶようにする。つまり、眼底Erとフォーカス指標24とが光学的に共役となるようにする。そして、フォーカスレンズ12を駆動するフォーカスレンズ駆動部19とフォーカス指標24を駆動するフォーカス指標駆動部20がフォーカスリンクして動作することで、フォーカス指標24と撮像素子14とが光学的に共役関係になっているので、眼底Erと撮像素子14とは光学的に共役関係になり、眼底Erにピントを合わせることができる。
次に、本実施形態において、自動アライメント切換機能を実現するための前眼部アライメント検出部31の動作について、図9、図10、図11を用いて説明する。
図9は、前眼観察ユニット107を構成する、被検眼Eの前眼部と共役な位置に光束を分割するイメージスプリットプリズムを有するプリズム付レンズ106の詳細図である。プリズム付レンズ106には、フレネルプリズム106−1、106−2が被検眼Eの前眼部と共役な位置に設けられている。また、フレネルプリズム106−1、106−2の反対面は球面であり、被検眼Eの前眼部に対し、フィールドレンズの役目を果している。
眼科撮影装置と被検眼Eとの位置関係、つまりアライメント位置が理想位置にある場合、被検眼Eの前眼部からの光束は、プリズム付レンズ106のフレネルプリズム106−1、106−2上に一度結像し、プリズム効果により、イメージスプリットされるが、撮像素子14の撮像面もフレネルプリズム106−1、106−2と共役なため、図10(a)に示したような前眼画像が撮像素子14により撮像される。アライメント位置がXYZ方向すべて理想位置にない場合には、図10(b)に示したような前眼画像となる。また、アライメント位置のXY方向が理想位置にあり、Z方向が遠い場合は図10(c)、Z方向が近い場合は図10(d)に示した前眼画像となる。
次に、図11のフローチャートを参照して、前眼部アライメント検出部31の動作について説明する。前眼部アライメント検出処理を開始すると、まずS1101において、前眼部アライメント検出部31は、撮像素子14に対して画像撮影を要求する。このとき、撮影のための光源を赤外波長とすることで、被検眼Eの縮瞳を防ぐ。
S1102において、前眼部アライメント検出部31は、S1101で撮影した画像から瞳孔像を検出する。瞳孔像の検出は、例えば、瞳の周辺、瞳の虹彩、瞳孔それぞれの輝度の違いに着目し、画像から瞳孔像のみを抽出可能な閾値を用いて、撮影画像を2値化することで行う。
S1103において、前眼部アライメント検出部31は、瞳孔像の上下左右のズレの有無を判定する。瞳孔像の上下左右のズレの有無は、例えば、S1102で検出した瞳孔像の中心位置を求め、瞳孔像の中心位置と、撮像素子14の中心位置との差を求め、位置の差が閾値以上である場合にズレありと判定し、位置の差が閾値未満である場合にズレなしと判定する。
S1103の判定結果がズレなしの場合、S1104の分岐で、S1105へ進む。一方、S1103の判定結果がズレありの場合、S1108へ進む。
S1105において、前眼部アライメント検出部31は、瞳孔像の前後ズレの有無を判定する。瞳孔像の前後ズレの有無は、例えば、S1102で検出した瞳孔像の形状が、フレネルプリズム106−1、106−2により分割されているか否かを判定することにより行う。瞳孔像の形状が円形であった場合にズレなしと判定することができる。S1105の判定結果がズレありの場合、S1106の分岐で、S1108へ進む。一方、S1105の判定結果がズレなしの場合、S1106の分岐で、S1107へ進む。
S1107において、前眼部アライメント検出部31は、システム制御部18へ前眼部アライメントが完了したことを通知して処理を終了する。また、S1104、S1106からS1108へ進んだ場合、S1108において、前眼部アライメント検出部31は、システム制御部18へ前眼部アライメントが未完了であることを通知して処理を終了する。
次に、図4を参照して、本実施形態において自動合焦機能を実現するための合焦動作部30の詳細を説明する。合焦動作部30は、合焦のために用いる合焦動作開始部401と、合焦検出部402と、合焦動作終了部403とを備えている。そのうち、合焦動作開始部401と合焦動作終了部403は、合焦検出部402と接続されており、合焦動作の実行を管理している。また、合焦検出部402には、画像処理部17から送出されてきた画像が入力され、フォーカスレンズ駆動部19およびフォーカス指標駆動部20への出力が可能となっている。このように、合焦状態の検出を行い合焦動作のための出力を行う合焦検出部402と、合焦動作開始部401と合焦動作終了部403とによって、合焦動作の実行を管理可能となっている。
まず、自動合焦動作を説明するため、合焦検出部402が検出する合焦検出位置について図5を用いて説明する。図5は、モニタ15に映出された眼底像を表示した図であり、図5中の領域A501が、合焦検出部402の合焦検出位置である。このように、領域A501には、フォーカス指標像39bとフォーカス指標像39cとを有するフォーカス指標像が含まれている。
なお、図5中のP1およびP2は、図1で説明した眼科撮影装置と被検眼との位置合わせを行うためのアライメント指標P1およびP2を示しており、アライメント指標P1とP2のガイド枠A1とA2が表示されている。
次に、図6、および図7のフローチャートを用いて、合焦動作部30の動作について説明する。
S701において、合焦動作部30が備える合焦動作開始部401は、眼底に投影されたフォーカス指標像の輝点の位置検出を開始する。そのときのフォーカス指標像は図6のようになっているものとする。
S702において、合焦動作部30が備える合焦検出部402は、図6の中のフォーカス指標像39bの左端からフォーカス指標像39cの右端までを含む斜線の領域を検出する。
次に、S703において、合焦検出部402は、図6中を縦方向にスキャンを行うことで、S702で検出したフォーカス指標像39bに対するピーク位置SP1と,フォーカス指標像39cに対するピーク位置SP2をそれぞれ検出し、この2つの位置関係から距離D1を算出する。
以上説明したように、S701からS703までの処理によって、合焦動作部30は、フォーカス指標像39bとフォーカス指標像39cの位置関係から距離D1を算出し、合焦位置を検出することができる。
続いて、S704において、合焦動作部30が備える合焦動作終了部403は、S703で算出した距離D1がゼロであれば、合焦動作部30による合焦動作を終了する。一方、S703で算出した距離D1がゼロでなければ、合焦動作部30による合焦動作を継続する。
次に、S705において、合焦検出部は、S703で算出した距離D1に相当するフォーカス移動量を算出する。S706において、合焦検出部402は、S705で算出された駆動量に従って、フォーカスレンズ駆動部19およびフォーカス指標駆動部20それぞれを用いて、フォーカスレンズ駆動とフォーカス指標駆動を行う。
以上説明したように、合焦検出部402により実行されるS702、S703、S705、S706の合焦動作が、合焦動作開始部401により実行されるS701によって開始され、合焦動作終了部403により実行されるS704によって終了される。
これまで説明した合焦動作が実行され合焦動作終了が完了すると、図8のような観察画像がモニタ15に映出される。この状態で撮影を行うことで、ピントの合った読影に適する静止画像を得ることが可能となっている。
次に、図16(a)−図16(c)、および図17のフローチャートを参照して、本実施形態における、自動撮影機能を実現するための眼底部アライメント検出部32の動作について説明する。
図16(a)は、撮像素子14により撮影した眼底観察像を示し、図中のP1およびP2は、図1で説明した眼科撮影装置と被検眼との位置合わせを行うためのアライメント指標P1とP2を示している。B1、B2は、後述するアライメント指標検出領域を示している。
次に、眼底部アライメント検出部32の動作について図17のフローチャートを用いて説明する。眼底部アライメント検出を開始すると、まずS1701において、眼底部アライメント検出部32は、撮像素子14に対して、画像撮影を要求する。このとき、撮影のための光源を赤外波長とすることで、被検眼Eの縮瞳を防ぐ。
次にS1702において、眼底部アライメント検出部32は、S1701で撮影した画像からアライメント指標検出領域B1、B2の画像を切り出す。
S1703において、眼底部アライメント検出部32は、S1702で切り出したアライメント指標検出領域画像をあらかじめ指定した閾値に基づいて2値化する。アライメント指標検出領域画像を2値化処理した画像例を図16(b)、図16(c)に示す。
S1704において、眼底部アライメント検出部32は、アライメント指標検出領域画像中のアライメント指標像P1、P2の面積を検出する。S1705において、アライメント指標像の面積が、規定値を超えているか否かを判定する。ここでの規定値は、例えば、アライメント指標検出領域全体の面積に対する、アライメント指標像の面積の割合という形で定義し、値は25%とする。
S1705でアライメント指標像の面積が規定値を超えていると判定された場合には、S1706へ進む。S1706において、眼底部アライメント検出部32は、システム制御部18へ眼底部アライメントが完了したことを通知する。また、S1705でアライメント指標像の面積が規定値以下であると判定された場合には、S1707へ進む。S1707において、眼底部アライメント検出部32は、システム制御部18へ眼底部アライメントが未完了であることを通知する。
ここで図16(b)は、システム制御部18へ眼底部アライメントが未完了であることを通知する画像の例であり、図16(c)は、システム制御部18へ眼底部アライメントが完了したことを通知する画像の例である。
次に、図3のフローチャートを参照して、本実施形態に係る眼科撮影装置で実施される特徴的な制御について説明する。
撮影動作を開始すると、S301において、検者はジョイスティック204の操作によって可動ステージ202を移動させることで前眼アライメント操作を行う。
次にS302において、前眼部アライメント検出処理を行う。前眼部アライメント検出処理の詳細は、図9、図10、図11を用いて説明した通りである。次にS303において、システム制御部18は、前眼部アライメント検出処理の結果として、前眼部アライメント完了通知を受信したか否かを判定する。S303で前眼部アライメント完了通知が受信されていない場合、S301−S303の処理を繰り返す。
S303で前眼部アライメント完了通知が受信された場合には、S304において、システム制御部18は前眼観察ユニット107を光軸L3から離脱し、S305において前眼観察用光源105を消灯する。
次に、S306でフォーカス指標照明用LED25を点灯する。次にS307でフォーカス合焦操作を行う。フォーカス合焦動作の詳細は、図4、図5、図6、図7を用いて説明した通りである。
次にS308において、システム制御部18はアライメント指標照明用LED103a、103bを点灯し、S309で眼底観察用光源1を点灯する。次に、S310において、システム制御部18は、フォーカス操作部205が検者により操作されたか否かを判定する。フォーカス操作部205が検者により操作された場合には、マニュアルモードに移行したと判定して、S320へ進む。すなわち、システム制御部18は、第1の制御部として機能し、フォーカス操作部205のユーザ操作(第1のユーザ操作)に応じて、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能を一時的に無効に制御し、マニュアルモードへ移行する。
一方、フォーカス操作部205が検者により操作されていない場合には、自動モードであると判定してS311へ進む。S311において、検者はジョイスティック204の操作によって可動ステージ202を移動させることで眼底アライメント操作を行う。
次に、S312において、眼底部アライメント検出処理を行う。眼底部アライメント操作については、図16、図17を用いて説明した通りである。次にS313において、システム制御部18は、眼底部アライメント検出処理の結果として、眼底部アライメント完了通知を受信したか否かを判定する。S313で眼底部アライメント完了通知が受信されていない場合、S310に戻る。
S313で眼底部アライメント完了通知が受信された場合には、S314でフォーカス合焦操作を行う。
次にS315において、システム制御部18は撮影動作を行う。その後、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能を一時的に無効に制御してもよい。S316において、システム制御部18は、撮影動作を終了するか否かを判定する。例えばユーザ操作による装置の電源スイッチのOFFや、撮影中止操作を受け付けたことによって撮影動作を終了する。撮影動作を継続する場合、S317へ進む。
S317において前眼観察ユニット107を光軸L3に挿入する。次に、S318において、システム制御部18は撮影スイッチ203の検者による押下状態を判定する。より具体的には、撮影スイッチ203の1段目のスイッチが、予め規定した時間以上押下されたか否かを判定する。
撮影スイッチ203の1段目のスイッチが規定時間以上押下されたと判定された場合、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能が無効にされているなら、再度これらの機能を有効に制御して、S301に戻る。一方、撮影スイッチ203の1段目のスイッチが規定時間以上押下されていないと判定された場合、S319へ進む。
S319において、システム制御部18は、撮影する対象眼が変更されたか否かを判定する。撮影する対象眼が変更されたかの判定は、例えば、図1中で説明した、固定基台201上の光学本体200の現在位置と、S315の撮影を行った時点での位置との間でのユーザ操作による移動量を求め、移動量があらかじめ規定した量を超えた場合に、撮影する対象眼が変更されたと判定することにより行う。
S319の判定で、撮影する対象眼が変更されたと判定された場合、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能が無効にされているなら、再度これらの機能を有効に制御して、S301に戻る。一方、S319の判定で、撮影する対象眼が変更されていないと判定された場合、S318に戻る。
次に、S310の判定でS320以降に進んだ場合の動作について説明する。S320において、システム制御部18は、フォーカス操作部205のユーザによる操作に合わせて、フォーカスレンズ12を駆動する。
次に、S321において、システム制御部18は、撮影スイッチ203の検者による押下状態を判定する。S321で撮影スイッチ203の1段目のスイッチが、あらかじめ規定した時間以上押されている(第2のユーザ操作が行われた)と判定された場合、システム制御部18は、第2の制御部として機能し、一時的に無効にされた、自動遷移機能、オートフォーカス機能、および自動撮影機能を再度有効に制御し、S311へ移行する。一方、S321の判定で、撮影スイッチ203の1段目のスイッチが、あらかじめ規定した時間以上押下されていないと判定した場合、S322へ進む。S322において、システム制御部18は、撮影スイッチ203の2段目のスイッチが押下されているか否かを判定する。S322の判定で、撮影スイッチ203の2段目のスイッチが押下されていると判定された場合には、S315へ移行し、撮影処理を行う。一方、S322の判定で、撮影スイッチ203の2段目のスイッチが押下されていないと判定された場合には、S321に戻る。
なお、図3のフローチャートに示したタイミングに限定されず、フォーカス操作部や、撮影スイッチ、その他のスイッチなどによるユーザ操作を受け付けた任意のタイミングで、自動遷移機能、オートフォーカス機能、および自動撮影機能の無効、有効を切り替えるように構成してもよい。
以上説明したように、本実施形態に係る眼科撮影装置は、前眼観察状態から眼底観察状態への自動遷移機能、および眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能を一時的に無効化する構成をもつ。従って、装置による前眼観察状態から眼底観察状態への自動遷移、あるいは、オートフォーカスを行った結果、検者がさらなる調整が必要と判定した場合に、検者による操作が可能となる。このため、眼科撮影装置の操作者である検者にとって使い勝手が向上する。
また、本実施形態に係る眼科撮影装置は、一時的に無効化された、眼観察状態から眼底観察状態への自動遷移、および眼底観察時のオートフォーカス、および眼底アライメント完了時の自動撮影機能を再度有効とする構成をもつ。従って、検者が手動によってフォーカス領域を変更するとともに、フォーカス可能な領域において、オートフォーカス機能を実行することが可能となる。このため、眼科撮影装置の操作者である検者にとって使い勝手が向上する。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 前眼観察と眼底観察とを異なるタイミングで行うための共通の撮像素子を有し、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能を有する眼科撮影装置であって、
    前眼アライメントの完了時に前眼観察状態から眼底観察状態への自動遷移を実行し、前記自動遷移が実行された後に眼底観察時のオートフォーカスと眼底アライメントの完了時の自動撮影とを実行するまでの一連の撮影動作開始後の第1のユーザ操作に応じて、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を無効にする第1の制御手段と、
    前記撮影動作開始後の第2のユーザ操作に応じて、前記無効にされた、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を再度有効にする第2の制御手段と、
    を備えることを特徴とする眼科撮影装置。
  2. フォーカスレンズを駆動するためのフォーカス操作部をさらに備え、
    前記第1のユーザ操作は、前記フォーカス操作部の操作であることを特徴とする請求項1に記載の眼科撮影装置。
  3. 2段階の押下が可能な撮影スイッチをさらに備え、
    前記第2のユーザ操作は、前記撮影スイッチの1段目を規定時間以上押下する操作であることを特徴とする請求項1または2に記載の眼科撮影装置。
  4. 前記撮影スイッチの2段目を押下する操作に応じて撮影が実行されることを特徴とする請求項3に記載の眼科撮影装置。
  5. 前記第2のユーザ操作は、撮影する対象眼を変更する操作であり、
    前記第2の制御手段は、前記対象眼が変更された場合に、前記無効にされた、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を再度有効に制御することを特徴とする請求項1または2に記載の眼科撮影装置。
  6. 前眼観察と眼底観察とを異なるタイミングで行うための共通の撮像素子を有し、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能および眼底アライメント完了時の自動撮影機能を有する眼科撮影装置であって、
    前眼アライメントの完了時に前眼観察状態から眼底観察状態への自動遷移を実行し、前記自動遷移が実行された後に眼底観察時のオートフォーカスと眼底アライメントの完了時の自動撮影とを実行するまでの一連の撮影動作開始後の第1のユーザ操作に応じて、前記オートフォーカス機能および前記自動撮影機能を無効にする第1の制御手段と、
    前記撮影動作開始後の第2のユーザ操作に応じて、前記無効にされた、前記オートフォーカス機能および前記自動撮影機能を再度有効にする第2の制御手段と、
    を備えることを特徴とする眼科撮影装置。
  7. 記撮像素子の撮像面と共役な位置に設けられたイメージスプリットプリズムと、
    前記撮像素子の出力により得られた前眼画像を用いて前記前眼アライメントが完了したか否かを検出する検出手段と、をさらに備え、
    前記自動遷移は、前記前眼アライメントの完了の検出時に実行されることを特徴とする請求項1乃至6の何れか1項に記載の眼科撮影装置。
  8. 前記検出手段は、前記前眼画像の瞳孔像の位置を用いて前眼に対する前記眼科撮影装置の本体の上下左右のズレの有無を判定し、前記上下左右のズレなしと判定された場合に前記イメージスプリットプリズムにより前記前眼画像の瞳孔像が分割されて得た複数の瞳孔像を用いて前眼に対する前記眼科撮影装置の本体の前後のズレの有無を判定し、前記前後のズレなしと判定された場合に前記前眼アライメントの完了を検出することを特徴とする請求項に記載の眼科撮影装置。
  9. 前記眼科撮影装置の本体を基台に対して移動可能な可動ステージをさらに備え、
    前記前眼アライメント及び前記眼底アライメントは、ユーザ操作に応じて前記基台に対して前記本体を移動させることにより実行されることを特徴とする請求項乃至の何れか1項に記載の眼科撮影装置。
  10. 前眼観察と眼底観察とを異なるタイミングで行うための共通の撮像素子を有し、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能、および眼底アライメント完了時の自動撮影機能を有する眼科撮影装置の制御方法であって、
    前眼アライメントの完了時に前眼観察状態から眼底観察状態への自動遷移を実行し、前記自動遷移が実行された後に眼底観察時のオートフォーカスと眼底アライメントの完了時の自動撮影とを実行するまでの一連の撮影動作開始後の第1のユーザ操作に応じて、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を無効にする第1の制御工程と、
    前記撮影動作開始後の第2のユーザ操作に応じて、前記無効にされた、前記自動遷移機能、前記オートフォーカス機能、および前記自動撮影機能を再度有効にする第2の制御工程と、
    を備えることを特徴とする眼科撮影装置の制御方法。
  11. 前眼観察と眼底観察とを異なるタイミングで行うための共通の撮像素子を有し、前眼観察状態から眼底観察状態への自動遷移機能、眼底観察時のオートフォーカス機能および眼底アライメント完了時の自動撮影機能を有する眼科撮影装置の制御方法であって、
    前眼アライメントの完了時に前眼観察状態から眼底観察状態への自動遷移を実行し、前記自動遷移が実行された後に眼底観察時のオートフォーカスと眼底アライメントの完了時の自動撮影とを実行するまでの一連の撮影動作開始後の第1のユーザ操作に応じて、前記オートフォーカス機能および前記自動撮影機能を無効にする第1の制御工程と、
    前記撮影動作開始後の第2のユーザ操作に応じて、前記無効にされた、前記オートフォーカス機能および前記自動撮影機能を再度有効にする第2の制御工程と、
    を備えることを特徴とする眼科撮影装置の制御方法。
  12. 請求項10又は11に記載の眼科撮影装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2012247754A 2012-11-09 2012-11-09 眼科撮影装置および眼科撮影装置の制御方法 Active JP6436613B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012247754A JP6436613B2 (ja) 2012-11-09 2012-11-09 眼科撮影装置および眼科撮影装置の制御方法
US14/066,909 US9301684B2 (en) 2012-11-09 2013-10-30 Ophthalmic imaging apparatus, control method for ophtalmic imaging apparatus, and storage medium
CN201310551729.3A CN103799965B (zh) 2012-11-09 2013-11-07 眼科摄像装置及眼科摄像装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012247754A JP6436613B2 (ja) 2012-11-09 2012-11-09 眼科撮影装置および眼科撮影装置の制御方法

Publications (3)

Publication Number Publication Date
JP2014094183A JP2014094183A (ja) 2014-05-22
JP2014094183A5 JP2014094183A5 (ja) 2015-12-24
JP6436613B2 true JP6436613B2 (ja) 2018-12-12

Family

ID=50681419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012247754A Active JP6436613B2 (ja) 2012-11-09 2012-11-09 眼科撮影装置および眼科撮影装置の制御方法

Country Status (3)

Country Link
US (1) US9301684B2 (ja)
JP (1) JP6436613B2 (ja)
CN (1) CN103799965B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
JP2015221090A (ja) * 2014-05-22 2015-12-10 キヤノン株式会社 眼科装置及びその制御方法
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
JP6923392B2 (ja) * 2017-08-28 2021-08-18 株式会社トプコン 眼科装置
US11096574B2 (en) * 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3165714B2 (ja) 1991-10-08 2001-05-14 キヤノン株式会社 眼底カメラ
JP3439546B2 (ja) 1994-10-28 2003-08-25 株式会社トプコン 角膜形状測定装置
JP3490796B2 (ja) 1995-04-20 2004-01-26 株式会社コーナン・メディカル 眼底カメラ
JP4047255B2 (ja) * 2003-09-25 2008-02-13 株式会社ニデック 眼底カメラ
JP4359489B2 (ja) * 2003-11-28 2009-11-04 株式会社ニデック 眼底カメラ
US7445336B2 (en) 2004-10-21 2008-11-04 Nidek Co., Ltd. Fundus camera
JP4628763B2 (ja) * 2004-12-01 2011-02-09 株式会社ニデック 眼底カメラ
JP4843242B2 (ja) * 2005-03-31 2011-12-21 株式会社トプコン 眼底カメラ
JP4673677B2 (ja) 2005-06-15 2011-04-20 興和株式会社 眼底撮影装置
JP5032203B2 (ja) * 2007-05-24 2012-09-26 株式会社トプコン 眼底観察装置及びそれを制御するプログラム
JP5046814B2 (ja) * 2007-09-11 2012-10-10 株式会社トプコン 眼科装置および眼科装置を用いたオートアライメント方法
JP5080998B2 (ja) 2008-01-24 2012-11-21 株式会社トプコン 眼科撮影装置
JP2010233998A (ja) * 2009-03-31 2010-10-21 Nidek Co Ltd 眼科装置
JP2010240177A (ja) 2009-04-07 2010-10-28 Kowa Co 眼光刺激装置
JP5361522B2 (ja) * 2009-05-08 2013-12-04 キヤノン株式会社 眼底カメラ
JP5317830B2 (ja) * 2009-05-22 2013-10-16 キヤノン株式会社 眼底観察装置
JP5335734B2 (ja) 2009-06-11 2013-11-06 キヤノン株式会社 眼科撮像装置及び眼科撮像方法
JP5430260B2 (ja) * 2009-07-09 2014-02-26 キヤノン株式会社 眼科撮像装置および眼科撮像方法
JP5545982B2 (ja) * 2010-04-28 2014-07-09 株式会社ニデック 眼底カメラ
JP5665432B2 (ja) 2010-08-31 2015-02-04 キヤノン株式会社 眼科装置
JP5729949B2 (ja) 2010-08-31 2015-06-03 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5773598B2 (ja) 2010-08-31 2015-09-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20140132926A1 (en) 2014-05-15
CN103799965B (zh) 2016-03-30
CN103799965A (zh) 2014-05-21
US9301684B2 (en) 2016-04-05
JP2014094183A (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
JP6436613B2 (ja) 眼科撮影装置および眼科撮影装置の制御方法
JP5341386B2 (ja) 眼科撮影装置
JP5080998B2 (ja) 眼科撮影装置
EP2730214B1 (en) Ophthalmologic apparatus, control method, and program
JP5022452B2 (ja) 眼科装置
JP5059638B2 (ja) 眼科撮影装置
JP6173169B2 (ja) 眼科装置及び眼科装置の制御方法
JP5641786B2 (ja) 眼科装置、制御方法及びプログラム
JP5193614B2 (ja) 眼科装置
JP2005160549A (ja) 眼底カメラ
JP5080997B2 (ja) 眼科撮影装置
JP6124556B2 (ja) 眼科装置及び眼科撮影方法
JP2012143270A (ja) 眼底撮影装置
JP2003290146A (ja) 眼底カメラ
JP5059911B2 (ja) 眼科撮影装置
JP5693682B2 (ja) 眼科撮影装置及び眼科撮影方法
JP2014094115A (ja) 眼科装置及び眼科検査方法
WO2022091431A1 (ja) 眼科観察装置
US20220117486A1 (en) Ophthalmic apparatus, method for controlling ophthalmic apparatus, and storage medium
JP2011030689A (ja) 眼底撮影システム及び立体眼底画像処理方法
JP2014113422A (ja) 眼科撮影装置、眼科撮影装置の制御方法、およびプログラム
JP2012192095A (ja) 眼底撮影装置
JP2014094162A (ja) 眼科撮像装置
JP2014000485A (ja) 制御装置および制御方法
JPH06142056A (ja) 立体眼底カメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181113

R151 Written notification of patent or utility model registration

Ref document number: 6436613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151