JP7114710B2 - 画像経路において照明を備えた眼球撮像 - Google Patents

画像経路において照明を備えた眼球撮像 Download PDF

Info

Publication number
JP7114710B2
JP7114710B2 JP2020529624A JP2020529624A JP7114710B2 JP 7114710 B2 JP7114710 B2 JP 7114710B2 JP 2020529624 A JP2020529624 A JP 2020529624A JP 2020529624 A JP2020529624 A JP 2020529624A JP 7114710 B2 JP7114710 B2 JP 7114710B2
Authority
JP
Japan
Prior art keywords
image
images
eye
arms
les
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020529624A
Other languages
English (en)
Other versions
JP2021506353A (ja
Inventor
クラーマー,ライアン
グリク,エリエゼル
ウー,ホンレイ
Original Assignee
ヴェリリー ライフ サイエンシズ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェリリー ライフ サイエンシズ エルエルシー filed Critical ヴェリリー ライフ サイエンシズ エルエルシー
Publication of JP2021506353A publication Critical patent/JP2021506353A/ja
Application granted granted Critical
Publication of JP7114710B2 publication Critical patent/JP7114710B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Stroboscope Apparatuses (AREA)
  • Lenses (AREA)

Description

関連出願の相互参照
本出願は、2017年12月22日に出願された米国出願第62/609,956号の利益を主張し、その内容は参照により本明細書に組み込まれる。
本開示は、概して、撮像技術に関し、具体的には、網膜撮像に関する。
網膜撮像は、多くの網膜疾患のスクリーニング、現場診断、および進行モニタリングのための、基本的な眼検査の一部である。高忠実度の網膜画像は、正確なスクリーニング、診断、およびモニタリングに重要である(例えば、特許文献1参照)。瞳孔を通して眼の後部内面(例えば、網膜)を明るく照らすと、画像の忠実度が向上する一方で、光学収差、またはレンズフレアなどの画像アーチファクトが生じることがよくある。レンズフレアは、内部反射、様々な内部境界での屈折率変化、不完全性などにより、レンズシステムの内部コンポーネントから光が散乱する現象である。この散乱光は、網膜像にレンズフレアとして現れ、画像品質に有害である。明るく照らすほど、レンズフレアが顕著になり、画像の忠実度を向上させるという目標が損なわれる。瞳孔との不整合による角膜反射または虹彩反射が原因で、他の画像アーチファクトが生じる場合がある。
特表2012-505729号公報
本発明の非限定的かつ非網羅的な実施形態を以下の図を参照して説明するが、ここで、特に指定されない限り、同様の参照番号は、様々な図全体を通して同様の部分を指す。必要に応じて図面が煩雑にならないように、要素のすべての事例が必ずしも標識されているわけではない。図面は必ずしも縮尺通りではなく、説明されている原理を示すことに重点が置かれている。
本開示の実施形態による、眼の内部を撮像するための装置を示す。 本開示の実施形態による、図1A~1Bの装置に含まれ得る動的照明器を示す。 本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラの機能ブロック図である。 本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラによる画像処理を示すブロック流れ図である。 本開示の実施形態による、虹彩の焦点合成画像を示す。 本開示の実施形態による、眼の内部を撮像する方法のためのフローチャートを示す。
本明細書では、画像経路内の照明源を用いた、眼の撮像のための装置および方法の実施形態について説明する。以下の説明では、多くの特定の詳細は、実施形態の徹底的な理解を提供するために、示されている。しかしながら、関連技術の当業者は、本明細書に記載された技術が、具体的な詳細のうちの1つ以上を用いずに、または他の方法、コンポーネント、材料などを用いて実施することができることを認識するであろう。他の事例では、周知の構造、材料、または操作は、特定の態様を不明瞭にしないように、詳細には図示または記載されていない。
本明細書全体を通した「一実施形態」または「実施形態」への参照は、実施形態に関連して記載された特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。このように、本明細書全体を通して、様々な場所での「一実施形態では」または「実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、1つ以上の実施形態において、任意の好適な様式で組み合わされ得る。
明るい照明は両刃の剣である。それは、光学収差(角膜反射/フレアなど)を作成しながら、網膜像の忠実度を向上させる。一部のカメラは、リング状の照明光源/環状発光体を有してもよい。これらのカメラは、角膜反射の大部分(すべてではないとしても)が遮断されるような、環状光源の直径に対して十分に小さい直径を有する照明口径を有してもよい。従来のカメラは、患者1人につき1枚の静止画像を撮影し得る。したがって、角膜反射は、患者の網膜像を台無しにするため、許容できない。この問題を解決するために、ここに提示される開示の実施形態は、網膜像の焦点合成を提供する。しかしながら、マルチ画像スタッキング技術を使用して合成高忠実度画像を作成する場合でも、空間的に静止照明光源では、非常に小さな口径が必要となる場合がある。したがって、本開示の実施形態は、これらの欠陥を是正する動的照明器(画像経路に配置され、固定式または移動式であってもよい)のための設計を含む。さらに、動的照明器を画像経路(例えば、眼から、または撮像領域からカメラへ向かう光の経路)に配置することにより、位置がずれた眼に対して満足できる画像を達成することが可能である。そして、焦点合成を用いることで、眼の画像に現れる動的照明器の存在に起因する画像アーチファクトを、合成画像を形成する前に除去し得る。これらのアーチファクトは、角膜からの反射、レンズ要素、および内眼散乱から生じる。
図1A~1Bは、本開示の一実施形態による、眼の内部を撮像するための装置を示す。より具体的には、図1Aは装置を示し、図1Bは装置100に使用されるレンズ光学系150の詳細図を示す。網膜撮像システム100の図示された実施形態は、動的照明器105(これは、1つ以上の発光体(LE)がその中に/その上に配置されている)、網膜カメラ110、コントローラ115、ユーザインタフェース117、ディスプレイ120、およびレンズ125とビームスプリッタ130とを含む光学リレーシステムを含む。示されているように、装置全体は、カメラ110による撮像のための眼を配置するための撮像領域を画定する開口を有するハウジング構造(例えば、プラスチックまたは金属構造/ケーシング)内に配置されてもよく、またはそれを含んでいてもよい。
描写された実施形態では、網膜カメラ110は、感光性センサ(例えば、CMOS画像センサ、CCD画像センサなど)を含む。1つ以上のLE(例えば、可視または赤外発光ダイオード、レーザーダイオード、フラッシュ電球など)は、網膜の複数の画像の撮影中に網膜カメラ110と眼との間の画像経路内に配置されている動的照明器105(照明システムの一部)上に配置されている。コントローラ115(例えば、汎用プロセッサまたは特殊プロセッサ、分散システム、マイクロコントローラなど)は、網膜カメラ110内の複数のLEおよび感光性センサに結合されており、コントローラ115は、コントローラ115によって実行されると、装置100が一連の操作を実行するロジックを実装している。例えば、装置100は、1つ以上のLEで眼101を照明してもよく、眼101が1つ以上のLEからの光で照明されている間に、眼(例えば、網膜)の内部の複数の画像を(感光センサで)取り込んでもよい。
いくつかの実施形態では、コントローラ115は、装置は、複数の画像のうちの少なくとも一部の画像を合成して眼の内部の合成画像を形成させるロジック(例えば、ハードウェア、ソフトウェア、またはそれらの組み合せにおいて)をさらに実装してもよい。一実施形態では、合成は、焦点合成(すなわち、異なる焦点距離で撮影された複数の画像を合成して、個々のソース画像のいずれよりも大きな被写界深度を有する結果画像を得ること)、画像スティッチング(すなわち、重なり合う視野を有する複数の写真画像を結合して、セグメント化されたパノラマまたは高解像度画像を生成すること)、画像ブレンディング(すなわち、背景画像と前景画像を合成して、部分的な透明性の外観を与えること)、またはそれらの任意の組み合わせのうちの少なくとも1つを含んでもよい。本開示の利益を有する当業者は、本明細書に記載されるものに加えて、他の技術が使用され得ることを理解するであろう。一実施形態では、眼101は、画像経路内の複数の位置から1つ以上のLEで照らされる。これは、画像経路内の異なる位置に配置された複数の静止LEを有することによって、または撮像中に1つ以上の静止LEを異なる位置に移動させることによって達成されてもよい。画像経路は、感光センサに入射するか、または感光センサに向けられる経路を有する眼の内部から反射された光を含んでもよく、この光の一部は、動的照明器105によって吸収されてもよいことが理解される。いくつかの実施形態では、動的照明器は、回路基板上に取り付けられた発光ダイオードを有する回路基板を含んでもよい。いくつかの実施形態では、発光体(例えば、照明システム)を保持する構造の少なくとも一部は、実質的に透明(例えば、ガラス、アクリルなど)であるか、または透明または実質的に透明になることが可能な(例えば、透明になることが可能な液晶ベースのデバイス)である。透明度の別の形式は、焦点が合っていないために複数の画像に表示されないように構造を配置することである。
動的照明器105の少なくとも一部は、眼101の光経路内に物理的に配置される。図2A~2Dに示されるように、網膜画像を形成するために使用される光は、動的照明器を通してか、またはその周りを網膜カメラ210に通過する。しかしながら、画像光の一部は、動的照明器105が画像経路内に配置されているため、動的照明器105によって吸収されてしまう場合がある。角膜からの有害な反射による画像アーチファクトを低減することに加えて、動的照明器105からの複数の照明位置を使用することは、システム100のアイボックスを増加させることにも役立つ。アイボックスは、眼101が位置して撮像可能な空間内の領域である。アイボックスを増加させるための1つの戦略は、撮像口径の中央部(または他の部分)から来る光を採用し、対称口径の一部を突出させることによって、この光を生成することが可能である。いくつかの実施形態では、動的照明器105に含まれる離散的な光源のすべては、眼101から網膜カメラ110まで延在する撮像経路の周囲の内側に配置され、他の実施形態では、いくつかの光源(発光体)は撮像経路の外側に配置されている。いくつかの(移動可能な)実施形態では、光源は撮像経路の内外を移動してもよく、画像は両方の照明位置で取り込まれてもよい。
描写された実施形態は、ディスプレイ120から出力されたディスプレイ光を眼101に反射させながら、網膜画像の光の一部を網膜カメラ110に渡すように配置されたビームスプリッタ130(または偏光ビームスプリッタ)を含む。ディスプレイ光は、撮像中に網膜整列を助けるための固視標または他の視覚刺激を含み得る。いくつかの実施形態では、ビームスプリッタ130は、反射性よりも透過性が大きい。一実施形態では、ビームスプリッタ130は、約90%の透過性および約10%の反射性である。他の反射/透過比が実施されてもよい。レンズ125は、システム100の全体に設けられており、光経路内の画像および光集束を提供する。しかしながら、図1Bで示されるように、図1Aでここに描写されたレンズは、より複雑なレンズシステムのカートーン図に過ぎない。ユーザインタフェース117は、バースト画像取り込みを開始するための機構を提供する。一実施形態では、ユーザインタフェース117は、ボタン、タッチスクリーン、マウスなどである。また、自動取り込みは、事前取り込み中にメリットベースの式を満たすことに基づいて使用されてもよい。
図1Bは、本開示の実施形態による、装置100において使用されるレンズ光学系150の詳細図を示す。「レンズ光学系150」は、口径、ビームスプリッタなどのレンズ以外の光学デバイスを含んでもよいことが理解される。描写された実施形態は、6つの別個のレンズ(それらのいくつかは複数の構成要素を有し得る)を含む。下図は、動的照明器105から放射された光がどのようにして眼101に入射するかを示す光線図である。
動的照明器105と眼101との間には、口径161と、2つの凸面を含む第1のレンズ163とが配置されている。描写されているように、口径161は、そうでなければ望ましくない反射を引き起こし得る光を遮断するために、動的照明器105と第1のレンズ163との間に配置される。レンズ159は、2つの凸面および2つの別個の部品を有し、レンズ157と動的照明器105との間に配置される。示されているように、レンズ157は、レンズ159と同様の特徴を有し、レンズ155とレンズ159との間に配置されている。レンズ155は、レンズ157と153との間に配置され、凹面(網膜カメラ110に面する)および凸面(動的照明器105に面する)を有する。レンズ153は、レンズ151とレンズ155との間に配置される。当業者であれば、ここに描写されたレンズおよび他の光学構成要素は、本開示の教示に従って、システム100のレンズ光学系を組み立てるための多くの方法のうちの1つに過ぎないことを理解するであろう。
下の拡大図に示されるように、アイボックス内の眼の位置に応じて、また使用されたLEに基づいて、LEの位置によっては、異なるアーチファクトおよび異なる照明プロファイルが画像内で発生する可能性がある。LEを撮像口径に配置することにより、Y方向にシフトされた眼の位置に必要となり得るY方向(例えば、ページの上部と下部の間の方向)でより高い焦点を達成することが可能である。
図2A~2Dは、本開示の実施形態による、図1A~1Bの装置に含まれ得る動的照明器を示す。当業者は、動的照明器205の4つの実施形態がここに示されているが、これらの例は網羅的ではなく、本開示の教示による、他の多くの形状および構成が可能であることを理解するであろう。さらに、任意の数の設計を使用して、所与の光学系のモジュラー伝達関数(MTF:Modular Transfer Function)を最適化してもよい。
図2Aは、図1Aで描写されたデバイス内の画像経路内に存在し得る動的照明器205の一実施形態を描写する。示されているように、動的照明器205は、眼201(瞳孔203を含む)の前に配置され、中心点から外向きに延在するアーム207を有する。アーム207の遠位端(中心点または回転軸と反対側)には、LE209が設けられている。画像取得プロセスの少なくとも一部において、アーム207が画像経路内にあることが理解される(例えば、画像取り込み中にアーム207が画像経路内にスピンしてもよい)。
動作において、中央枢動点は、眼に対して様々な位置(例えば、位置1~7)にアーム207をスピンまたは回転させる(結果的に枢動点の周りでLE209をスピンまたは回転させる)ために使用され得るモータ(例えば、電動モータ)に結合されてもよい。LE209は、複数の場所でストロボ発光してもよく、そのうちのいくつかは、眼とカメラとの間の画像経路の内側であってもよい。個別/離散フラッシュは、カメラによる個別/離散画像の画像取り込みに対応していてもよい。取り込まれた画像と同じ数のフラッシュ(照明イベント)があってもよいし、取り込まれた画像よりも多い数のフラッシュがあってもよいし、取り込まれた画像よりも少ない数のフラッシュがあってもよいことが理解される。さらに、枢動点は、アーム207が回転している間、静止していてもよいし、移動してもよい。本開示の教示により、1つ以上の動的照明器205は同時に採用されてもよく、アーム207は1つ以上のLE209を含んでもよいことが理解される。
図2Bは、眼201(瞳孔203を含む)の前に配置された動的照明器205の別の実施形態を描写する。示されるように、動的照明器205は、実質的にリング形状(すなわち、環状)であり、アーム207は、リングの中心に向かって延在する。LE209は、アームの遠位端(リングの中心付近)に配置されている。示されるように、動的照明器205は、LE209が異なる位置(例えば、位置1~8)に移動するように回転してもよい。示されるように、LE209(例えば、LED)は、端部で固定され、中間部では、撮像経路軸を中心にスピンするリングに取り付けられたアーム207に固定されている。アーム(例えば、アーム207)が撮像経路を掃引すると、アームが第1の位置にある状態でフレームが取り込まれる。アーム/リングは、別のフレームが取り込まれる次の位置までスピンし続ける。これは、8つのフレームすべてが取り込まれるまで継続され、個々のフレーム内のアームの任意の入射を除去しながら、最終的な積層画像を均一に照らすことが可能になる。図1Aのデバイスと同様に、この回転は、コントローラに結合された電動モータを使用して達成されてもよい。カメラ(または感光センサ)は、8つの場所のそれぞれで画像を取り込んでもよい。ここでは8つの場所が描写されているが、本開示の利点を有する当業者であれば、アーム207が任意の数の場所にあるときに画像が取り込まれ得ることを理解するであろう。描写された実施形態は、2つのLE209を有する1つのアーム207のみを有するが、他の実施形態では、リングの中心に向かって、またはリングから外側に向かって延在する複数のアーム(1つ以上のLEを有する)があってもよい。アームは、本開示の教示により、対称的であってもよいし、異なる形状および長さを有していてもよい。
図2Cは、静止動的照明器205を描写する。示されているように、アーム207の一部(ここでは実質的に半円形である)は、リングの中心に向かって延在し、アーム207の一部は、リングの中心から離れて延在する。示されるように、アーム207はそれぞれ、単一のLE209を有する。また、アーム207は、リングの中心に向かって延在する両方のアーム207と、リングの中心から外に延在するアーム207とに対して、リングの周囲の実質的にπ/2ラジアンに位置する。動的照明器205の他の実施形態と同様に、描写された実施形態では、静止動的照明器は、網膜からカメラへの光の画像経路内に少なくとも部分的に配置されている。描写された実施形態では、(画像光が通過する)透明な口径は、LE209を撮像口径の内側および周囲の両方に配置することを可能にする。1つの利点としては、口径が左右対称であるため、口径の一部を、画像を突き出させることなく、非対称的に突き出させることができる。
図2Dは、動的照明器205の別の静止した(例えば、アーム207およびLE209は、画像経路内の固定位置にある)実施形態を描写する。描写された実施形態では、アーム207は、画像経路の中心に向かって延在して、画像経路内に十字形構造を形成する(十字形構造によって形成された4つの象限は、画像光が通過するための空の空間、または透明な材料である)。他の実施形態では、2、3、5などの任意の数の交差アームが存在してもよいことが理解される。描写されているように、複数のLE209は、アーム207に沿って、画像経路の周縁部に配置されている。描写された実施形態では、LE209は、連続して発射されてもよい(例えば、左上隅に最も近いLE209から右下隅に向かって下降するように、一度に1つずつ発射されてもよい)。代替的にまたは追加的に、LE209の一部またはすべてが同時に発射されてもよい。本開示の利益を有する当業者は、採用され得るかなりの数のLE照明パターンがあることを理解するであろう。
図3は、本開示の一実施形態による、統合画像信号プロセッサを含む網膜カメラ300の機能ブロック図である。網膜カメラ300は、網膜カメラ110の1つの考えられる実装である。図示した網膜カメラ300の実施形態は、2次元センサアレイ305、データ変換回路310、メモリバッファ315、統合画像信号プロセッサ(ISP)320、および出力ポート325を含む。
動作中、2次元画像データ(例えば、網膜画像)が、センサアレイ305によって取得され、データ変換回路310によってアナログドメインからデジタルドメインに変換される。画像データは、高フレームレート(例えば、毎秒24、48、60、240、1000フレーム)で取得され、メモリバッファ315に記憶され得る。ISP320は、バッファリングされた網膜画像フレーム上で動作して、使用可能な領域または欠陥領域を特定し、画像フレーム内の関心領域に注釈を付け、および/または使用可能な領域を高品質の合成網膜画像に組み合わせる。したがって、1つの実施形態では、上記の画像処理タスクのいくつかは、コントローラ315からISP320に搭載変更されてもよい。ISP320は、コントローラ315の論理的サブコンポーネントとみなし得る。
図4は、本開示の一実施形態による、統合画像信号プロセッサ(例えば、図3のISP320)を含む網膜カメラ(例えば、図3の網膜カメラ300)による画像処理を示すブロックフロー図である。図示したように、網膜の画像フレーム405A~405Cが、センサアレイ(例えば、図3のセンサアレイ305)によって高フレームレートで取得され、データ変換回路(例えば、図3のデータ変換回路310)によってデジタルドメインに変換され、メモリバッファに(例えば、図3のメモリバッファ315)にバッファリングされる。画像分析器410が、ISPによって実行され、バッファリングされた網膜画像405を分析して(一種の前処理)、画像フレームのどの部分が十分な品質であり、どれが、容認不可の画像アーチファクトのために不十分な品質であるかを決定する。例えば、画像分析器410は、ぼやけた部分、有用であるために十分なコントラストを有さず、色褪せたり、かつ/または容認不可の角膜または虹彩反射、もしくはレンズフレアを含む部分について、画像フレーム405を分析し得る。容認不可とみなされた画像部分には容認不可のフラグが付けられ(例えば、マークまたは注釈が付けられる)、容認可とみなされた画像部分にはそのようなフラグが付けられる。次に、画像フレームは、互いに見当合わせされ(例えば、画素間アラインメント)、画像見当合わせ/クロッピングモジュール415によって共通視野にクロップされ、次にスタッキングモジュール420によって組み合わされて単一の合成網膜画像425になる。スタッキングモジュール420は、画像を合成して、高動的範囲の画像を生成し得る。他の実施形態では、画像フレーム405は、個々の画像フレームの分析および/または注釈付けなしに、単純に合成される。図3および図4に関連して説明したすべての画像処理ステップおよびハードウェアは、本開示の教示に従って「コントローラ」の一部とみなすことができる。
図5は、本開示の実施形態による、虹彩の焦点合成画像を示す。示されるように、網膜の4つの画像フレーム(505A~505D)が、画像センサで取り込まれている。長い線は、網膜内または網膜上の完全に解像された静脈および他の解剖学的構造を表し、短い破線は、画像の焦点が合っていない、または色褪せた部分を表している。示されるように、画像フレーム505Aの左下角は完全に解像されているが、この画像の残りの部分はそうではない。同様に、画像フレーム505Bの中間部分(フレームの左上角から右下角に延在する)は、ピントが合っており完全に解像されているが、画像フレーム505Bの残りの部分は、そうではない。示されるように、画像フレーム505Cの左下角は完全に解像されているが、この画像の残りの部分はそうではない。最後に、画像フレーム505Dは、ピンボケしており、何も有用な情報を含んでいない。したがって、画像フレーム505Dは、取り除かれ、合成画像525で使用するようにスタッキングモジュール520には送られない。画像フレームの残り505A~505Cは、スタッキングモジュール520に送られ、組み合わされて、被写界深度が大きい単一の高解像度合成画像525になる。1つの実施形態では、エッジ検出、特徴検出、またはフーリエ解析を使用して画像を合成し得る。
図6は、本開示の実施形態による、眼の内部を撮像する方法600用のフローチャートを示す。方法600におけるブロック(例えば、ブロック601~605)がどのような順番でも、並行でも行われ得ることが理解される。また、本開示の教示に従えば、方法600にブロックが加えられてもよく、方法600からブロックが取り除かれてもよい。
ブロック601は、画像シーケンスの取り込みの間、感光センサと眼との間の画像経路に配置された1つ以上の発光体(LE)で眼を照らすことを示す。いくつかの実施形態では、これは、画像経路内の複数の位置から眼を照らすことを含み得る。例えば、眼は、複数の画像の取り込みの間、画像経路に配置された動的照明器から、1つ以上のアームに配置された1つ以上のLEで照らされ得る。いくつかの実施形態では、1つ以上のアームが、眼に対して回転し、眼は、1つ以上のアームが回転している間に、複数の位置にある1つ以上のLEで照らされる。逆に、眼は、画像経路内の固定位置から照らされ得る。
ブロック603は、眼が1つ以上のLEからの光で照らされている間に、感光センサで眼の内部の複数の画像を取り込むことを示す。一実施形態において、LEが点灯するのと同じ割合で、カメラが画像を取り込み得る。代替的に、LEが、画像取り込みの間、眼を絶えず照らし得る。
ブロック605は、コントローラを使用して、複数の画像における画像のうちの少なくともいくつかを組み合わせ、眼の内部の合成画像を形成することを開示する。いくつかの実施形態では、これは、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも1つを含み得る。
一実施形態において、複数の画像のうちの1つ以上の画像が合成画像から排除され得る。排除される1つ以上の画像には、ピントが合っていない画像、画像アーチファクト、画像内の映り込み、または画像内の眼以外の物体(例えば、動的照明器)のうちの少なくとも1つが含まれ得る。質の劣った画像をフィルタ処理で取り除くためのいくつかの技法が使用され得ることが理解される。例えば、第1の低品質画像集合には、第1の閾値輝度値よりも大きな輝度値(例えば、画像内のすべての画素、または画素集合にわたる平均輝度値)を有する露出オーバーの画像、または第2の閾値輝度値よりも小さい輝度値を有する露出アンダーの画像が含まれ得る。いくつかの実施形態では、第1のセットの画像は、(例えば、撮像中に画像センサが動いたために)画像がぼやけすぎている、(例えば、撮像中に被写体が動いたために)画像が網膜の画像を含まないなど、他の理由ではっきりと解像されないことがある。画像は、手動選択または自動選択によって除外され得る(例えば、高域/低域フィルタを使用して高すぎるまたは低すぎる輝度値を有する画像を除外する、および/または機械学習アルゴリズムを使用して、網膜を含まない画像を除外するなど)。
上記で説明したプロセスは、コンピュータソフトウェアおよびハードウェアの観点から説明されている。説明された技法は、機械によって実行されると、説明された動作を機械に実行させる、有形のまたは非一時的な機械(例えば、コンピュータ)可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、プロセスは、特定用途向け集積回路(「ASIC」:Application Specific Integrated Circuit)などのハードウェア内に具現化され得る。
有形の機械可読記憶媒体には、機械またはコントローラ(例えば、コンピュータ、ネットワークデバイス、携帯情報端末、製造ツール、1つ以上のプロセッサのセットを有する任意のデバイス、ファームウェア/ソフトウェアによって構成された汎用プロセッサ、プログラマブルゲートアレイ、または特定用途向け集積回路など)によってアクセス可能な非一時的形態の情報を提供する(例えば、格納する)任意の機構も含む。例えば、機械可読記憶媒体は、記録可能/記録不可能な媒体(例えば、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど)を含む。
要約中に記載されているものを含む、本発明の図示された実施形態の上記の記載は、網羅的であること、または本発明を開示された正確な形態に限定することを意図していない。本発明の特定の実施形態、およびそのための実施例は、例示的目的のために本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。
これらの修正は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。

Claims (16)

  1. 眼の内部を撮像するための装置であって、
    感光センサと、
    前記感光センサによって撮像するために前記眼を置く撮像エリアを画定する開口を有するハウジング構造体と、
    光を発することができ、かつ前記感光センサと前記撮像エリアとの間の画像経路に配置された、1つ以上の発光体(LE)を備える動的照明器であって、前記動的照明器は、前記1つ以上のLEが配置された、前記画像経路に延びた1つ以上のアームを備え、複数の画像の取り込みの間、前記1つ以上のアームが前記画像経路に配置される、動的照明器と、
    前記1つ以上のLEを備える動的照明器、および前記感光センサに結合されたコントローラと、を備え、前記コントローラが、前記コントローラによって実行されると、前記装置に、
    前記動的照明器の前記1つ以上のLEで異なる位置から前記撮像エリアを照らすことと、
    前記1つ以上のLEからの光で異なる位置から照らされた前記眼の内部の複数の画像を前記感光センサで取り込むことと、
    前記複数の画像のうちの少なくとも2つの画像を組み合わせて、前記画像経路に存在する前記1つ以上のアームに起因する1つ以上の画像アーチファクトを除去した前記眼の内部の合成画像を形成することと、を含む動作を行わせるロジックを実装する、装置。
  2. 前記コントローラが、前記コントローラによって実行されると、前記装置に、
    前記複数の画像のうちの少なくとも2つの画像を組み合わせて、前記眼の内部の合成画像を形成することであって、前記組み合わせることが、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも1つを含む、形成することを含む動作を行わせるロジックをさらに実装する、請求項1に記載の装置。
  3. 前記コントローラが、前記コントローラによって実行されると、前記装置に、
    前記合成画像から、前記複数の画像のうちの1つ以上の画像を排除することであって、前記1つ以上の画像が、ビンポケの画像、前記画像アーチファクト、前記画像内の映り込み、または前記画像内の前記眼以外の物体のうちの少なくとも1つを含む、排除することを含む動作を行わせるロジックをさらに実装する、請求項2に記載の装置。
  4. 前記コントローラが、前記コントローラによって実行されると、前記装置に、
    前記画像経路内の複数の異なる位置から、前記1つ以上のLEで前記撮像エリアを連続して照らすことを含む動作を行わせるロジックをさらに実装する、請求項1に記載の装置。
  5. 前記1つ以上のLEが単一のアーム上に配置され、前記コントローラが、前記コントローラによって実行されると、前記装置に、
    前記単一のアームを回転させることと、
    前記単一のアームが回転している間に前記1つ以上のLEで前記撮像エリアを照らすことと、を含む動作を行わせるロジックをさらに実装する、請求項1に記載の装置。
  6. 前記単一のアームが、輪に取り付けられ、かつ前記輪の中心に向かって延在し、前記単一のアームを回転させることが枢動点を中心として前記輪を回転させることを含むか、または、
    前記単一のアームが、取り付け点を中心として回転し、前記1つ以上のLEが前記取り付け点と反対側の前記単一のアームの遠位端に配置されている、請求項に記載の装置。
  7. 前記1つ以上のアームが、前記画像経路内の固定位置に配置されている、請求項1に記載の装置。
  8. 前記1つ以上のアームが、複数のアームであり、かつ輪形の構造体上に配置されており、前記1つ以上のアームのうちの少なくとも1つが前記輪形の構造体の中心に向かって延在し、前記1つ以上のアームのうちの少なくとも1つが、前記輪形の構造体の中心から離れて延在する、請求項に記載の装置。
  9. 前記動的照明器の少なくとも一部が、透明であるか、または透明になることができる、請求項1に記載の装置。
  10. 眼の内部を撮像する方法であって、
    複数の画像の取り込みの間、感光センサと前記眼との間の画像経路に配置された動的照明器の1つ以上の発光体(LE)で前記眼を照らすことであって、前記動的照明器は、前記1つ以上のLEが配置された、前記画像経路に延びた1つ以上のアームを備え、前記複数の画像の取り込みの間、前記1つ以上のアームが前記画像経路に配置されることと、
    前記1つ以上のLEからの光で異なる位置から照らされた前記眼の内部の複数の画像を前記感光センサで取り込むことと、
    コントローラを使用して、前記複数の画像における画像のうちの少なくとも2つを組み合わせて、前記画像経路に存在する前記1つ以上のアームに起因する1つ以上の画像アーチファクトを除去した前記眼の内部の合成画像を形成することと、を含む、方法。
  11. 前記複数の画像における前記画像のうちの少なくとも2つを組み合わせて、前記合成画像を形成することが、焦点合成、画像スティッチング、画像ブレンディング、またはそれらの任意の組み合わせのうちの少なくとも1つを含む、請求項10に記載の方法。
  12. 前記合成画像から、前記複数の画像のうちの1つ以上の画像を排除することであって、前記1つ以上の画像が、ピントが合っていない画像、画像アーチファクト、前記画像内の映り込み、または前記画像内の前記眼以外の物体のうちの少なくとも1つを含む、排除することをさらに含む、請求項11に記載の方法。
  13. 1つ以上のLEで前記眼を照らすことが、前記画像経路内の複数の異なる位置から前記眼を連続して照らすことを含む、請求項10に記載の方法。
  14. 複数の位置から前記眼を照らすことが、前記複数の画像の取り込みの間、前記画像経路に位置付けられた1つ以上のアーム上に配置された1つ以上のLEで前記眼を照らすことを含む、請求項13に記載の方法。
  15. 前記1つ以上のアームを回転させることと、
    前記1つ以上のアームが回転している間に前記1つ以上のLEで前記眼を照らすことと、をさらに含む、請求項14に記載の方法。
  16. 前記1つ以上のアームを回転させることが、
    枢動点を中心として輪を回転させることであって、前記1つ以上のアームが前記輪の中心に向かって延在する、回転させること、または、
    取り付け点を中心として前記1つ以上のアームを回転させること、のうちの少なくとも1つを含み、前記1つ以上のLEが、前記取り付け点と反対側の前記1つ以上のアームの遠位端に近接して配置されている、請求項15に記載の方法。
JP2020529624A 2017-12-22 2018-12-19 画像経路において照明を備えた眼球撮像 Active JP7114710B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762609956P 2017-12-22 2017-12-22
US62/609,956 2017-12-22
US16/191,938 2018-11-15
US16/191,938 US10708473B2 (en) 2017-12-22 2018-11-15 Ocular imaging with illumination in image path
PCT/US2018/066594 WO2019126382A1 (en) 2017-12-22 2018-12-19 Ocular imaging with illumination in image path

Publications (2)

Publication Number Publication Date
JP2021506353A JP2021506353A (ja) 2021-02-22
JP7114710B2 true JP7114710B2 (ja) 2022-08-08

Family

ID=66950903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529624A Active JP7114710B2 (ja) 2017-12-22 2018-12-19 画像経路において照明を備えた眼球撮像

Country Status (4)

Country Link
US (1) US10708473B2 (ja)
JP (1) JP7114710B2 (ja)
CN (1) CN111511267B (ja)
WO (1) WO2019126382A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11389060B2 (en) * 2018-10-31 2022-07-19 Verily Life Sciences Llc Dynamic eye fixation for retinal imaging
US11571124B2 (en) 2019-03-26 2023-02-07 Verily Life Sciences Llc Retinal imaging system with user-controlled fixation target for retinal alignment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153797A1 (en) 2004-08-12 2009-06-18 Medivision Medical Imaging Ltd. Integrated Retinal Imager And Method
WO2009102064A1 (ja) 2008-02-15 2009-08-20 National University Corporation NARA Institute of Science and Technology 白内障検査装置、白内障検査方法、および白内障判定プログラム
JP2012505729A (ja) 2008-10-16 2012-03-08 スティーブン,バードナー 眼の画像化装置及び方法
JP2013527775A (ja) 2010-03-23 2013-07-04 ニューロビジョン イメージング,エルエルシー 目を撮像するための装置および方法
WO2015123724A1 (en) 2014-02-20 2015-08-27 Ingeneus Pty Ltd Ophthalmic device, method and system
JP2017526507A (ja) 2014-08-31 2017-09-14 ベレシュトカ,ジョン 目を解析するためのシステム及び方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4834528A (en) 1986-08-15 1989-05-30 Cornell Research Foundation, Inc. Infrared photoretinoscope
US5303709A (en) 1991-12-16 1994-04-19 Dreher Andreas W Retinal eye disease diagnostic system
JP4769365B2 (ja) 2001-03-29 2011-09-07 キヤノン株式会社 眼科装置、及びそのオートアライメント方法
AU2003903157A0 (en) 2003-06-20 2003-07-03 The Lions Eye Institute of Western Australia Incorporated The Ophthalmic camera and ophthalmic camera adaptor
EP1602321A1 (en) 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device
US7458685B2 (en) 2005-08-03 2008-12-02 Carestream Health, Inc. Automated fundus imaging system
JP5006585B2 (ja) 2006-06-20 2012-08-22 興和株式会社 手持ち式眼底撮像装置
US7878653B2 (en) 2007-11-08 2011-02-01 Nidek Co., Ltd. Fundus camera
US8514277B2 (en) * 2008-11-05 2013-08-20 Dyer Holdings, Llc Video infrared retinal image scanner
US20130057828A1 (en) 2009-08-31 2013-03-07 Marc De Smet Handheld portable fundus imaging system and method
WO2011038457A1 (en) * 2009-09-30 2011-04-07 Lions Eye Institute Limited Imager, module for an imager, imaging system and method
WO2011047214A2 (en) 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
DE102010045364A1 (de) * 2010-09-14 2012-03-15 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen
US8408464B2 (en) 2011-02-03 2013-04-02 Metrologic Instruments, Inc. Auto-exposure method using continuous video frames under controlled illumination
JP5772065B2 (ja) 2011-03-01 2015-09-02 株式会社ニデック 眼底撮影装置
EP2682048A4 (en) 2011-03-02 2014-09-10 Kowa Co OPHTHALMOLOGICAL IMAGING APPARATUS
US20130194548A1 (en) 2011-04-07 2013-08-01 Raytheon Company Portable retinal imaging device
US8684529B2 (en) 2011-04-28 2014-04-01 Carl Zeiss Meditec, Inc. Systems and methods for improved visual field testing
US20130010259A1 (en) 2011-07-05 2013-01-10 Escalon Digital Vision, Inc. Region based vision tracking system for imaging of the eye for use in optical coherence tomography
DK2583618T3 (en) 2011-10-22 2018-03-12 Alcon Pharmaceuticals Ltd Apparatus for monitoring one or more parameters of the eye
JP2013165818A (ja) 2012-02-15 2013-08-29 Canon Inc 眼科装置および眼科制御方法並びにプログラム
JP2014161439A (ja) 2013-02-22 2014-09-08 Sony Corp 眼底情報取得装置および方法、並びにプログラム
US20140268040A1 (en) * 2013-03-14 2014-09-18 Physical Sciences, Inc. Multimodal Ocular Imager
EP2967313B1 (en) 2013-03-15 2020-08-05 Amo Wavefront Sciences, LLC Wavefront interactive refraction display
FI126928B (en) 2013-06-20 2017-08-15 Icare Finland Oy OPTOMETRIC INSTRUMENT WITH MEASURES TO DIRECT THE INSTRUMENT AND PROCEDURE TO PERFORM THIS
WO2015116981A1 (en) 2014-01-30 2015-08-06 Duke University Systems and methods for eye tracking for motion corrected ophthalmic optical coherenece tomography
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
CN105852798B (zh) * 2014-09-14 2017-11-14 苏州六六视觉科技股份有限公司 广域眼底相机
US9662014B2 (en) 2015-04-17 2017-05-30 Massachusetts Institute Of Technology Methods and apparatus for visual cues for eye alignment
US10092181B2 (en) 2015-04-29 2018-10-09 University Of Rochester Method of imaging multiple retinal structures
US20160366317A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for image based biometric recognition
US10157312B2 (en) * 2015-10-08 2018-12-18 Microsoft Technology Licensing, Llc Iris recognition
JP2017099717A (ja) 2015-12-02 2017-06-08 株式会社ニデック 眼科撮影装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153797A1 (en) 2004-08-12 2009-06-18 Medivision Medical Imaging Ltd. Integrated Retinal Imager And Method
WO2009102064A1 (ja) 2008-02-15 2009-08-20 National University Corporation NARA Institute of Science and Technology 白内障検査装置、白内障検査方法、および白内障判定プログラム
JP2012505729A (ja) 2008-10-16 2012-03-08 スティーブン,バードナー 眼の画像化装置及び方法
JP2013527775A (ja) 2010-03-23 2013-07-04 ニューロビジョン イメージング,エルエルシー 目を撮像するための装置および方法
WO2015123724A1 (en) 2014-02-20 2015-08-27 Ingeneus Pty Ltd Ophthalmic device, method and system
JP2017526507A (ja) 2014-08-31 2017-09-14 ベレシュトカ,ジョン 目を解析するためのシステム及び方法

Also Published As

Publication number Publication date
CN111511267B (zh) 2023-05-30
JP2021506353A (ja) 2021-02-22
CN111511267A (zh) 2020-08-07
US10708473B2 (en) 2020-07-07
US20190199893A1 (en) 2019-06-27
WO2019126382A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP7060727B2 (ja) ブロードライン眼底イメージングにおいて散乱光を低減するための方法および装置
JP7093402B2 (ja) 網膜のバースト撮像における動的照明
US11045083B2 (en) Flash optimization during retinal burst imaging
US11766170B2 (en) Focus stacking for retinal imaging
JP7195619B2 (ja) 眼科撮像装置およびシステム
US11828927B2 (en) Accelerating digital microscopy scans using empty/dirty area detection
JP7114710B2 (ja) 画像経路において照明を備えた眼球撮像
JP7478727B2 (ja) アライメント支援のための一体化瞳カメラを有する低コスト眼底撮像器
JP7441588B2 (ja) スリット走査型眼底撮像装置の改良
US11153463B2 (en) Region of interest table
JP2021104229A (ja) 眼底画像処理装置および眼底画像処理プログラム
JPWO2019045094A1 (ja) 走査型眼底撮影装置
WO2021049405A1 (ja) 角膜内皮細胞撮影装置、その制御方法、及びプログラム
WO2024143140A1 (ja) 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体
JP2024098233A (ja) 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体
JP2024108014A (ja) 眼科装置、眼科装置の制御方法、眼科撮影方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220519

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150