JP7289691B2 - 身体の空洞の開口部の位置の特定 - Google Patents

身体の空洞の開口部の位置の特定 Download PDF

Info

Publication number
JP7289691B2
JP7289691B2 JP2019062624A JP2019062624A JP7289691B2 JP 7289691 B2 JP7289691 B2 JP 7289691B2 JP 2019062624 A JP2019062624 A JP 2019062624A JP 2019062624 A JP2019062624 A JP 2019062624A JP 7289691 B2 JP7289691 B2 JP 7289691B2
Authority
JP
Japan
Prior art keywords
points
cavity
processor
point
minimum distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019062624A
Other languages
English (en)
Other versions
JP2019171069A (ja
Inventor
バディム・グリナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2019171069A publication Critical patent/JP2019171069A/ja
Application granted granted Critical
Publication of JP7289691B2 publication Critical patent/JP7289691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

(関連出願の相互参照)
本願は、本願と同一日に出願され、参照により本明細書に組み込まれる「Static Virtual Camera Positioning」と題された米国特許出願に関連する。
(発明の分野)
本発明は、概して、画像提示に関し、具体的には、画像内の選択されたバンテージポイント(vantage point)からの三次元画像を提示する静的仮想カメラの位置決めに使用することができる身体の空洞の開口部の位置を特定することに関する。
いくつかの医療処置は、患者の三次元(3D)画像を使用して実施される。医療処置に使用される3D画像の一例は、異なる角度から撮影された複数のX線測定値を組み合わせて患者の特定の領域の断面仮想「スライス」を生成し、それによって、医師が手術を必要とせずに患者の内部を見ることを可能にする、コンピュータ断層撮影(CT)スキャンである。
Geigerに付与された米国特許出願公開第2003/0152897号は、構造の内腔内の仮想内視鏡の視点をナビゲートすることによって、仮想内視鏡検査を行う間に自動でナビゲーションする方法を記載している。この方法は、仮想内視鏡検査の初期視点を決定することと、初期視点から内腔までの最長光線を決定することと、を含む。
Gauldieらに付与された米国特許出願公開第2008/0118117号は、生体構造内の内腔の仮想内視鏡検査画像をレンダリングするために仮想カメラを方向付ける方法を記載している。この方法は、レイキャスティングを使用してカメラ位置から壁までの最長光線を見つけることによって、内腔内の壁を回避する好適な経路を計算することを含む。
Grahamらに付与された米国特許出願公開第2007/0052724号は、三次元ボリュームデータセットによって表される内腔を有する生物学的物体に沿ってナビゲートするための方法を記載している。この方法は、シーケンス内で接続可能な複数のナビゲーションセグメントを生成することと、セグメントの開始点からオブジェクト壁まで外側に向かう光線の群を投射して、各セグメントのそれぞれの方向を決定することと、各群のそれぞれの平均光線長を計算することと、を含む。
上記説明は、当該分野における関連技術の一般的概論として記載したものであって、この説明に含まれる何らの情報が本特許出願に対する先行技術を構成することを容認するものと解釈するべきではない。
参照により本特許出願に援用される文献は、これらの援用文献において、いずれかの用語が本明細書において明示的又は暗示的になされた定義と矛盾して定義されている場合には、本明細書における定義のみを考慮するものとする点を除き、本出願の一部とみなすものとする。
本発明の一実施形態によれば、医療用撮像のための方法であって、プロセッサによって、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、3D画像データをセグメント化して、身体組織内の空洞及び空洞を取り囲む壁を識別することと、空洞内の複数の点における各点について、点から壁までの対応の最小距離を見つけることと、複数の点の中から、対応の最小距離が複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、対応の最小距離がセット内の1つ又は2つ以上の点のうちで最小である、セット内の点のうちの1つを、空洞への入口として特定することと、を含む、方法、が提供される。
いくつかの実施形態では、当該方法は、特定された点を、空洞内に仮想カメラを位置決めするためのシード位置として使用することを含む。別の実施形態では、当該方法は、各点について最小距離を見つける前に、身体の空洞に点を充填することを含む。
追加の実施形態では、身体の空洞に点を充填することは、空洞内の起点位置及び半径を選択することと、起点及び半径を含む球状領域内に含まれる身体の空洞内の領域に点を充填するために充填アルゴリズムを適用することと、を含む。更なる実施形態では、充填アルゴリズムはフラッドフィルアルゴリズムを含む。
一実施形態では、3D画像データはコンピュータ断層撮影スキャンを含む。補助的な実施形態では、空洞は、洞通路及び洞腔を含み、開口部は、洞通路から洞腔への開口部を含む。
いくつかの実施形態では、点は、初期直径及びそれぞれの座標を有する球面を含み、各所与の点ごとの局所的最小距離を見つけることは、所与の球面の座標が壁の座標と交差するまで、所与の球面の直径を成長させることを含み、対応の最小距離が複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることは、対応の成長直径が、複数の球面のうちの隣接する成長した球面の対応の成長直径に対して局所的最大値である、1つ又は2つ以上の球面の球面セットを見つけることを含み、点のうちの1つを特定することは、対応の成長直径が、球面セット内の1つ又は2つ以上の球面のうちで最小である、球面セット内の球面のうちの1つを特定することを含む。更なる実施形態では、隣接する成長した球面は、所与の球面に最も近くに隣接した成長した球面を含む。
更なる実施形態では、点は、初期を有する球面を含み、各所与の点ごとの局所的最小距離を見つけることは、各所与の球面が空洞内で動きが取れなくなるまで、直径を成長させる、各所与の球面を移動させることを含み、点のうちの1つを特定することは、最も短い成長直径を有する球面セット内の球面のうちの1つを特定することを含む。
本発明の実施形態によれば、医療用撮像のための装置であって、入力/出力(I/O)通信インターフェースと、プロセッサであって、I/Oインターフェースを介して、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、3D画像データをセグメント化して、身体組織内の空洞及び空洞を取り囲む壁を識別することと、空洞内の複数の点のうちの各点について、点から壁までの対応の最小距離を見つけることと、複数の点の中から、対応の最小距離が複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、対応の最小距離がセット内の1つ又は2つ以上の点のうちで最小である、セット内の点のうちの1つを、空洞への入口として特定することと、を行うように構成されている、プロセッサと、を含む、装置もまた提供される。
本発明の実施形態によれば、プログラム命令を記憶した非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品であって、命令が、コンピュータによって読み込まれると、コンピュータに、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、3D画像データをセグメント化して、身体組織内の空洞及び空洞を取り囲む壁を識別することと、空洞内の複数の点のうちの各点について、点から壁までの対応の最小距離を見つけることと、複数の点の中から、対応の最小距離が複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、対応の最小距離がセット内の1つ又は2つ以上の点のうちで最小である、セット内の点のうちの1つを、空洞への入口として特定することと、を行わせる、コンピュータソフトウェア製品が更に提供される。
本明細書で、本開示をあくまで一例として添付図面を参照しつつ説明する。
本発明の実施形態による、患者の身体の空洞の開口部の位置を特定するように構成された三次元(3D)医療用撮像システムの概略絵画図である。 本発明の実施形態による、身体の空洞の開口部の位置を特定する方法を概略的に示すフローチャートである。 本発明の実施形態による、点で充填されている身体の空洞の二次元画像を示す概略絵画図である。 本発明の実施形態による、身体の空洞の壁までのそれぞれの最小距離がそれらのそれぞれの隣接点に対して局所的最大値である点のセットの2次元画像を示す概略絵図である。 本発明の第1の代替実施形態による、成長球面アルゴリズム(growing spheres algorithm)を使用して身体の空洞の開口部の位置を特定する方法を概略的に示すフローチャートである。 本発明の実施形態による、成長球面アルゴリズムによって使用される成長した球面を含む身体の空洞を示す概略絵図である。 本発明の第2の代替実施形態による、成長球面アルゴリズムを使用して身体の空洞の開口部の位置を特定する方法を概略的に示すフローチャートである。
概説
コンピュータ断層撮影(CT)画像などの三次元(3D)画像を使用して、医療処置前又は医療処置中に患者内の1つ又は2つ以上の身体の空洞を医師が見るのを助けることができる。3D画像は、身体の空洞を異なるバンテージポイントから見ることを可能にする。これらのバンテージポイントはまた、患者内の異なる位置に配置され得る「仮想カメラ」と呼ばれる場合もある。
いくつかの耳鼻咽喉(ENT)処置は、狭い副鼻腔開口部を通してガイドワイヤをナビゲートすることを伴う。これらの処置の前又は処置中に、狭い開口部を観察することができる位置に(すなわち、医師がガイドワイヤを開口部内へと操作している間に医師に視覚的ガイドを提供するために)医師が仮想カメラを正確に配置することは困難であり得る。この困難さの理由としては、以下が挙げられる。
●副鼻腔開口部は、典型的には、小さい及び/又は狭い。
●使用されるCT画像は二次元(2D)スライス/投影であるが、仮想カメラは3D座標系に配置される必要がある。
●医師には、通常、カメラの位置及び向きを調整しようとする時間がほとんどない。
本発明の実施形態は、副鼻腔開口部などの身体の空洞の開口部を検出することができる、医療用撮像のための方法及びシステムを提供する。以下に記載されるように、生体内の身体組織を含む三次元(3D)領域についての3D画像データが受信される。3D画像データは、身体組織内の空洞及び空洞を取り囲む壁を識別するためにセグメント化され、空洞内の複数の点のうちの各点について、点から壁までの対応の最小距離が見出される。複数の点の中から、対応の最小距離が複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットが見出され、対応の最小距離がセット内の1つ又は2つ以上の点のうちで最小である、セット内の点のうちの1つが、空洞への入口として特定される。
いくつかの実施形態では、空洞への入口として特定された点は、空洞内の仮想カメラのための位置を特定するときに、シード位置として使用することができる。
システムの説明
図1は、本発明の実施形態による、患者の身体の空洞の開口部の位置を特定するように構成された医療用撮像システム20の概略絵画図である。医療用撮像システム20は、コンピュータ断層撮影(CT)スキャナ22と制御コンソール24とを含む。本明細書に記載される実施形態では、医療用撮像システム20は、診断又は治療処置のために使用されることが想定される。
患者26に対して侵襲性医療処置を実施する前に、コンピュータ断層撮影スキャナ22は、患者の内腔(例えば、鼻腔又は副鼻腔)に関する画像データを含む電気信号を発生し、生成された画像データを制御コンソール24に搬送する。コンピュータ断層撮影スキャナ22は、X軸30、Y軸32及びZ軸34を含む画像座標系28に画像データを生成する。X軸、Y軸、及びZ軸は、典型的には、患者26の中央面、冠状面、及び軸方向平面の交点に平行である。
制御コンソール24は、プロセッサ36と、メモリ38と、入力/出力(I/O)通信インターフェース40とを備える。動作中、プロセッサ36は、受信した画像データを使用して、表示画面44上に画像42(本明細書では画像スライス42とも呼ばれる)を提示する。メモリ38は画像データを記憶し、I/O通信インターフェース40は、制御コンソールが有線接続46を介してCTスキャナ22から信号を転送すること、及び/又はCTスキャナ22に信号を転送することを可能にする。
ディスプレイ44は、一例として、液晶ディスプレイ、発光ダイオードディスプレイ、有機発光ダイオードディスプレイ又はプラズマディスプレイのような、平面パネルディスプレイを含むと想定される。しかしながら、他の表示装置もまた、本発明の実施形態の実施に使用することができる。いくつかの実施形態では、ディスプレイ44は、画像42を提示することに加えて、操作者(図示せず)からの入力を受け付けるように構成することができるタッチスクリーンを含んでもよい。
いくつかの実施形態では、操作者(本明細書では医療専門家とも呼ばれる)は、典型的には、1つ又は2つ以上の入力装置48を使用して、ディスプレイ44上のX軸、Y軸、又はZ軸に直交するスライス内に画像を提示することによって、画像データを操作することができる。ディスプレイ44がタッチスクリーンディスプレイを含む実施形態では、操作者は、タッチスクリーンディスプレイを介して画像データ及び所与の画像スライスを操作することができる。
プロセッサ36は、典型的には、CTスキャナ22からの信号を受信しかつ制御コンソール24のその他の構成要素を制御するのに適したフロントエンド回路及び追加のインターフェース回路を有する、汎用コンピュータを含む。プロセッサ36は、本明細書に記載される機能を実施するようにソフトウェアでプログラムされていてもよい。このソフトウェアは、例えば、ネットワークを介して電子的形態で制御コンソール24にダウンロードされてもよく、又は光学的、磁気的、若しくは電子的記録媒体など、非一時的な有形媒体上に提供されてもよい。代替的に、プロセッサ36の機能の一部又は全ては、専用の又はプログラム可能なデジタルハードウェア構成要素によって実行されてもよい。
身体の空洞開口検出
図2は、本発明の実施形態による、患者26の身体の空洞内の開口部を検出する方法を概略的に示すフローチャートであり、図3及び図4は、患者26の3D領域80の所与の画像スライス42の概略絵画図である。受信ステップ50において、プロセッサ36は、CTスキャナから、身体組織82を含む3D領域80の3D画像データを受信し、第1の特定ステップ52において、プロセッサは、身体組織82内の空洞84及び空洞を取り囲む壁86を識別するために、3D画像データをセグメント化する。図3に示される例では、空洞84は、洞腔90に開口する洞通路88を含む。
充填ステップ54において、プロセッサ36は、空洞84(すなわち、所与の画像スライス42内の)に、座標系28内に対応の座標を有する複数の点92(図3)を充填する。一実施形態では、プロセッサ36は、起点94の初期座標を選択し、半径96を指定し、かつ、フラッドフィルアルゴリズムなどの充填アルゴリズムを使用して身体の空洞の3D部分(すなわち、原点から発出する半径内の領域)に点92を充填することによって、空洞74に点92を充填することができる。図5~図7を参照した説明において以下で述べるように、点92は、本明細書では球面92と呼ぶ場合もある。
第1の選択ステップ56において、プロセッサ36は、未選択点92を選択し、見つけるステップ58において、プロセッサは、選択された点に対して、選択された点から壁86までの最小距離100を見つける(図4)。換言すれば、プロセッサ36は、選択された点に最も近い壁86上の位置102(本明細書では壁位置102とも呼ばれる)を見つけ、選択された点と見つけた位置との間の最小距離100を、選択された点の最小距離として特定する。図4に示される例では、視覚的に簡潔にする目的で、4つの選択された最小距離100A~100Dのみが、4つの選択された点92A~92Dに関して示されている。92A~92Dなどの点の選択及び100~100Dなどの最小距離については以下で説明する。
第1の比較ステップ60において、追加の未選択点92が存在する場合には、プロセッサ36はステップ56に戻る。プロセッサ36が全ての点92に対して全ての最小距離100を見つけたら(すなわち、全ての点が選択されている)、次に、初期化ステップ62において、プロセッサは、局所的最大値のセット(すなわち、最小距離の)を初期化する。第2の選択ステップ64において、局所的最大値のセットを初期化すると、プロセッサ36は、所与の点92を選択することによって新しい選択プロセスを開始する。
第2の比較ステップ66において、プロセッサ36は、選択された点の最小距離を隣接点92(すなわち、選択された点を取り囲む点)の最小距離と比較し、選択された点の最小距離が隣接点の最小距離に対して局所的最大値である場合には、プロセッサは、追加ステップ68において、選択された点をセットに追加する。
第3の比較ステップ70において、未選択点92が存在する場合には、方法はステップ64を続ける。ステップ66戻って、選択された点の最小距離が隣接点の最小距離に対して局所的最大値でない場合には、この方法は、ステップ70を続ける。ステップ70に戻って、未選択点92が存在しない場合には、第2の特定ステップ72において、プロセッサ36は、そのセットにおいて、最も短い、すなわち最小の最小距離を有する所与の点92を、空洞84への入口104として特定し、方法は終了する。
図4に示される例では、点92A~92Dは、対応の最小距離100が、それらのそれぞれの隣接する接点92の最小距離に対して局所的最大値である点を含む。点92A~92Dに対応する最小距離及び壁位置は、識別番号に文字を付加することによって区別することができ、そのため、最小距離は最小距離100A~100Dを含み、壁位置は壁位置102A~102Dを含む。
図4に示す例では、プロセッサ36は、点92Bを最短最小距離を有するとして特定する。したがって、図4に示される例では、入口104は点92Bの座標を含む。
いくつかの実施形態では、入口104は、洞通路88から洞腔90への入口(又はその逆)を含み、空洞内の仮想カメラのカメラ位置を特定するときに、この入口をシード位置として使用することができる。
図5は、本発明の第1の代替実施形態による、入口104を見つけるために成長球面アルゴリズムを使用する方法を概略的に示すフローチャートであり、図6は、患者26内の3D領域80の所与の画像スライス42の概略絵画図である。図5において、受信ステップ110及び特定ステップ112は、上述した図2のステップ50及び52と実質的に同じである。
充填ステップ114では、プロセッサ36は、3D画像データにおいて、空洞84に複数の球面92を充填する。上述したように、点92は、本明細書では球面92とも呼ばれる場合がある。図6に示すように、各球面92は、対応の直径130及び座標系28内の対応の座標を有する。プロセッサが空洞84を複数の球面で充填する際に、球面のそれぞれは、小さい初期直径130(例えば、0.5mm)を有する。
成長ステップ116において、プロセッサ36は、成長した球面の任意の座標が壁86の座標のいずれかと交差するまで所与の球面92のそれぞれの直径を漸増的に増加させることによって、各球面92ごとの「成長」直径130を決定する。いくつかの実施形態では、プロセッサは、各所与の球面の直径を一定量(例えば、初期直径)だけ漸増的に増加させることができる。
初期化ステップ118において、プロセッサ36は、局所的最大値のセット(すなわち、上述した最小距離のもの)を初期化し、選択ステップ120において、プロセッサは、未選択の成長した球面92を選択する。第1の比較ステップ122において、選択された球面の成長した球面の成長直径が、隣接する球面の成長直径に対して局所的最大値である場合(換言すれば、選択された球面の成長直径は、選択された球面を直接取り囲む球面の全ての成長直径以上である)、次いで、追加ステップ124において、プロセッサ36は、選択された球面(その座標及びその成長直径を含む)をセットに加える。いくつかの実施形態では、隣接する球面は、選択された球面に最も近くに隣接した球面を含むので、選択された球面の成長直径は、選択された球面を直接取り囲む球面の全ての成長直径以上である。
第2の比較ステップ126において、残っている未選択の球面が存在する場合には、当該方法はステップ120を続ける。ステップ122に戻って、選択された球面の成長した球面の成長した直径が、隣接する球面の成長直径に対して局所的最大値でない場合には、方法はステップ126を続ける。
ステップ126に戻って、未選択の球面が存在しない場合には、第2の特定ステップ128において、プロセッサ36は、そのセットにおいて、最も短い、すなわち、最小の成長直径を有する球面の座標を特定し、当該方法は終了する。図5に示す例では、特定された球面は、球面92B(図4の点92Bに対応する)を含む。
図2を参照した説明において上述したように、本発明の実施形態は、(a)空洞84内の複数の点のうちの各点92について、その点から壁86までのまでの対応の最小距離100を見つけることによって、(b)複数の点の中から、対応の最小距離が複数の点のうちの隣接点92に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることによって(図2のステップ64~70)、及び(c)対応の最小距離がセット内の1つ又は2つ以上の点のうちの最小である、セット内の点のうちの1つを、空洞への入口であると特定することによって(図2のステップ72)、入口104を特定する。
図5及び図6に示される実施形態では、図5のステップ116は、図2のステップ56~60に対応し、図5のステップ120~126は、図2のステップ64~70に対応し、図5のステップ128は、図2のステップ72に対応する。換言すれば、図5に記載されている実施形態では、プロセッサ36は、(a)ステップ116を実行することによって、対応の最小距離を見つけることができ、(b)ステップ120~126を実行することによって、1つ又は2つ以上の点のセット(すなわち、局所的最大値)を見つけることができ、(c)ステップ128を実行することによって入口を識別することができる。
本発明のこの第1の代替実施形態では、ステップ128で特定された座標は、洞通路88から洞腔90への開口部を示す。セットが、同一の成長直径を有する複数の球面92を含む場合がある。これらの球面(すなわち、同一の最も短い成長直径を有する)は、典型的には互いに隣接しているため、プロセッサ36は、これらの球面のうちの1つの座標を洞腔90への入口として選択することができる。例えば、同じ成長直径を有する球面のうち、プロセッサ36は、起点94に最も近い球面の座標を選択することができる。あるいは、プロセッサ36は、画像スライス上に球面を重ね合わせることによってディスプレイ44上に球面を提示することができ、ユーザ(図示せず)は、提示された球面のうちの1つを選択するために入力装置48を使用することができる。
図7は、本発明の第2の代替実施形態による、成長球面アルゴリズムを使用して入口104を見つける方法を概略的に示すフローチャートである。図7において、受信ステップ140及び第1の特定ステップ142は、上記に述べた図2のステップ50及び52(図5のステップ110及び112)と実質的に同じである。加えて、充填ステップ144は、上述した図5のステップ114と実質的に同じである。
選択ステップ146において、プロセッサ36は、未選択の球面92を選択し、成長ステップ148において、プロセッサは、選択された球面の直径を特定の長さ(例えば、選択された球面の初期直径130)だけ増加させることによって、選択された球面を成長させることを試みる。本発明の実施形態では、ステップ148は、成長した球面の座標のどれもが壁86の座標のいずれにも一致しない場合に成功となる。
第1の比較ステップ150において、ステップ148で選択された球面を成長させる試みが成功した場合には、方法はステップ148を続ける。しかしながら、ステップ148で選択された球面を成長させる試みが成功しなかった場合には、移動ステップ152において、プロセッサ36は、選択された球面を、任意の方向に特定の距離(例えば、選択された球面の初期直径130)だけ移動させようと試みる。本発明の実施形態では、ステップ152は、移動された球面の座標のどれもが壁86の座標のいずれにも一致しない場合に成功となる。
第2の比較ステップ154において、ステップ152で球面を移動させる試みが成功した場合には、方法はステップ148を続ける。しかしながら、ステップ142で球面を移動させる試みが成功しなかった場合には、選択された球面は「動きが取れなくなり」(すなわち、選択された球面は成長又は移動することができない)、第3の比較ステップ156において、プロセッサ36は、残っている未選択の球面92が存在するかどうかを確認する。任意の未選択の球面92が存在する場合には、方法はステップ146を続ける。残っている未選択の球面92が存在しない場合には、第2の特定ステップ158において、プロセッサ36は、最も短い、すなわち最小の直径を有する成長した球面の初期座標を入口104の座標として特定し、この方法を終了する。
上記に述べたように、本発明の実施形態は、最初に、空洞84内の複数の点のうちの各点92について、点から壁86までの対応の最小距離100を見つけることによって(図2のステップ56~60)、複数の点の中から、対応の最小距離が複数の点のうちの隣接点92に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることによって(図2のステップ64~70)、及び、対応の最小距離がセット内の1つ又は2つ以上の点のうちで最小である、セット内の点のうちの1つを、空洞への入口としてとして特定することによって(図2のステップ72)、入口104を特定する。図7に示す実施形態では、プロセッサ36は、対応の最小距離を見つけることができ(すなわち、ステップ56~60)、ステップ146~156を実行することによって1つ又は2つ以上の点のセットを見つけることができ(すなわち、ステップ64~70)、プロセッサは、ステップ158を実行することによって入口を特定することができる(図2のステップ72)。
上述の図5を参照した説明において記載したように、セットが同一の成長直径を有する複数の球面92を含む場合がある場合がある。これらの例では、プロセッサ36は、上記の実施形態を使用して入口104の座標を特定することができる。
上に述べた実施形態は例として挙げたものであり、本発明は上記に具体的に示し、説明したものに限定されない点は理解されよう。むしろ、本発明の範囲は、本明細書の上文に記載された様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の説明を一読すると当業者が想起すると思われる、先行技術に開示されていないそれらの変形及び改変を含む。
〔実施の態様〕
(1) 医療用撮像のための方法であって、
プロセッサによって、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、
前記3D画像データをセグメント化して、前記身体組織内の空洞及び前記空洞を取り囲む壁を識別することと、
前記空洞内の複数の点のうちの各点ごとに、前記点から前記壁までの対応の最小距離を見つけることと、
前記複数の点の中から、前記対応の最小距離が前記複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、
前記対応の最小距離が前記セット内の前記1つ又は2つ以上の点のうちで最小である、前記セット内の前記点のうちの1つを、前記空洞への入口として特定することと、を含む、方法。
(2) 前記特定された点を、前記空洞内に仮想カメラを位置決めするためのシード位置として使用することを含む、実施態様1に記載の方法。
(3) 各点ごとの前記最小距離を見つける前に、前記身体の空洞に前記点を充填することを含む、実施態様1に記載の方法。
(4) 前記身体の空洞に前記点を充填することは、前記空洞内の起点位置及び半径を選択することと、前記起点及び前記半径を含む球状領域内に含まれる前記身体の空洞内の領域に前記点を充填するために充填アルゴリズムを適用することと、を含む、実施態様3に記載の方法。
(5) 前記充填アルゴリズムは、フラッドフィルアルゴリズムを含む、実施態様4に記載の方法。
(6) 前記3D画像データはコンピュータ断層撮影スキャンを含む、実施態様1に記載の方法。
(7) 前記空洞は、洞通路と洞腔とを備え、前記開口部は、前記洞通路から前記洞腔への前記開口部を含む、実施態様1に記載の方法。
(8) 前記点は、初期直径及びそれぞれの座標を有する球面を含み、各所与の点ごとの前記局所的最小距離を見つけることは、前記所与の球面の前記座標が前記壁の座標と交差するまで、前記所与の球面の前記直径を成長させることを含み、前記対応の最小距離が前記複数の点のうちの隣接点に対して前記局所的最大値である、前記1つ又は2つ以上の点のセットを見つけることは、前記対応の成長直径が前記複数の球面のうちの隣接する成長した球面の前記対応の成長直径に対して局所的最大値である、1つ又は2つ以上の球面の球面セットを見つけることを含み、前記点のうちの1つを特定することは、前記対応の成長直径が前記球面セット内の前記1つ又は2つ以上の球面のうちで最小である、前記球面セット内の前記球面のうちの1つを特定することを含む、実施態様1に記載の方法。
(9) 前記隣接する成長した球面は、前記所与の球面に最も近くに隣接した成長した球面を含む、実施態様8に記載の方法。
(10) 前記点は、初期を有する球面を含み、各所与の点ごとの前記局所的最小距離を見つけることは、各所与の球面が前記空洞内で動きが取れなくなるまで、前記直径を成長させ、各所与の球面を移動させることを含み、前記点のうちの1つを特定することは、最も短い成長直径を有する前記球面セット内の前記球面のうちの1つを特定することを含む、実施態様1に記載の方法。
(11) 医療用撮像のための装置であって、
入力/出力(I/O)通信インターフェースと、
プロセッサであって、
前記I/Oインターフェースを介して、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、
前記3D画像データをセグメント化して、前記身体組織内の空洞及び前記空洞を取り囲む壁を識別することと、
前記空洞内の複数の点のうちの各点について、前記点から前記壁までの対応の最小距離を見つけることと、
前記複数の点の中から、前記対応の最小距離が前記複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、
前記対応の最小距離が前記セット内の前記1つ又は2つ以上の点のうちで最小である、前記セット内の前記点のうちの1つを、前記空洞への入口として特定することと、を行うように構成されている、プロセッサと、を含む、装置。
(12) 前記プロセッサは、前記特定された点を前記空洞内に仮想カメラを位置決めするためのシード位置として使用するように構成されている、実施態様11に記載の装置。
(13) 各点についての前記最小距離を見つける前に、前記プロセッサは、前記身体の空洞に前記点を充填するように構成されている、実施態様11に記載の装置。
(14) 前記プロセッサは、前記空洞内の起点位置及び半径を選択し、充填アルゴリズムを適用して、前記起点及び前記半径を含む球状領域内に含まれる前記身体の空洞内の領域に前記点を充填することによって、前記身体の空洞に前記点を充填するように構成されている、実施態様13に記載の装置。
(15) 前記充填アルゴリズムは、フラッドフィルアルゴリズムを含む、実施態様14に記載の装置。
(16) 前記3D画像データはコンピュータ断層撮影スキャンを含む、実施態様11に記載の装置。
(17) 前記空洞は、洞通路と洞腔とを備え、前記開口部は、前記洞通路から前記洞腔への前記開口部を含む、実施態様11に記載の装置。
(18) 前記点は、初期直径及びそれぞれの座標を有する球面を含み、前記プロセッサは、前記所与の球面の前記座標が前記壁の座標と交差するまで、前記所与の球面の前記直径を成長させることによって、各所与の点ごとの前記局所的最小距離を見つけるように構成されており、前記プロセッサは、前記対応の成長直径が、前記複数の球面のうちの隣接する成長した球面の前記対応の成長直径に対して局所的最大値である、1つ又は2つ以上の球面の球面セットを見つけることによって、前記対応の最小距離が前記複数の点のうちの隣接点に対して前記局所的最大値である、前記1つ又は2つ以上の点のセットを見つけるように構成されており、前記プロセッサは、前記対応の成長直径が前記球面セット内の前記1つ又は2つ以上の球面のうちで最小である、前記球面セット内の前記球面のうちの1つを特定することによって、前記点のうちの1つを特定するように構成されている、実施態様11に記載の装置。
(19) 前記隣接する成長した球面は、前記所与の球面に最も近くに隣接した成長した球面を含む、実施態様18に記載の装置。
(20) 前記点は、初期直径を有する球面を含み、前記プロセッサは、各所与の球面が前記空洞内で動きが取れなくなるまで、前記直径を成長させ、各所与の球面を移動させることによって、各所与の点ごとの前記局所的最小距離を見つけるように構成されており、前記プロセッサは、最も短い成長直径を有する前記球面セット内の前記球面のうちの1つを特定することによって、前記点のうちの1つを特定するように構成されている、実施態様11に記載の装置。
(21) プログラム命令を記憶した非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品であって、前記命令が、コンピュータによって読み込まれると、前記コンピュータに、
生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、
前記3D画像データをセグメント化して、前記身体組織内の空洞及び前記空洞を取り囲む壁を識別することと、
前記空洞内の複数の点のうちの各点について、前記点から前記壁までの対応の最小距離を見つけることと、
前記複数の点の中から、前記対応の最小距離が前記複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、
前記対応の最小距離が前記セット内の前記1つ又は2つ以上の点のうちで最小である、前記セット内の前記点のうちの1つを、前記空洞への入口として特定することと、を行わせる、コンピュータソフトウェア製品。

Claims (13)

  1. 医療用撮像のための方法であって、
    プロセッサによって、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、
    前記3D画像データをセグメント化して、前記身体組織内の空洞及び前記空洞を取り囲む壁を識別することと、
    前記空洞内の複数の点のうちの各点ごとに、前記点から前記壁までの対応の最小距離を見つけることと、
    前記複数の点の中から、前記対応の最小距離が前記複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、
    前記対応の最小距離が前記セット内の前記1つ又は2つ以上の点のうちで最小である、前記セット内の前記点のうちの1つを、前記空洞への入口として特定することと、を含む、方法。
  2. 前記特定された点を、前記空洞内に仮想カメラを位置決めするためのシード位置として使用することを含む、請求項1に記載の方法。
  3. 各点ごとの前記最小距離を見つける前に、前記空洞に前記点を充填することを含む、請求項1に記載の方法。
  4. 前記空洞に前記点を充填することは、前記空洞内の起点位置及び半径を選択することと、前記起点位置及び前記半径を含む球状領域内に含まれる前記空洞内の領域に前記点を充填するために充填アルゴリズムを適用することと、を含む、請求項3に記載の方法。
  5. 前記充填アルゴリズムは、フラッドフィルアルゴリズムを含む、請求項4に記載の方法。
  6. 前記3D画像データはコンピュータ断層撮影スキャンを含む、請求項1に記載の方法。
  7. 医療用撮像のための装置であって、
    入力/出力(I/O)通信インターフェースと、
    プロセッサであって、
    前記I/Oインターフェースを介して、生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、
    前記3D画像データをセグメント化して、前記身体組織内の空洞及び前記空洞を取り囲む壁を識別することと、
    前記空洞内の複数の点のうちの各点について、前記点から前記壁までの対応の最小距離を見つけることと、
    前記複数の点の中から、前記対応の最小距離が前記複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、
    前記対応の最小距離が前記セット内の前記1つ又は2つ以上の点のうちで最小である、前記セット内の前記点のうちの1つを、前記空洞への入口として特定することと、を行うように構成されている、プロセッサと、を含む、装置。
  8. 前記プロセッサは、前記特定された点を前記空洞内に仮想カメラを位置決めするためのシード位置として使用するように構成されている、請求項に記載の装置。
  9. 各点についての前記最小距離を見つける前に、前記プロセッサは、前記空洞に前記点を充填するように構成されている、請求項に記載の装置。
  10. 前記プロセッサは、前記空洞内の起点位置及び半径を選択し、充填アルゴリズムを適用して、前記起点位置及び前記半径を含む球状領域内に含まれる前記空洞内の領域に前記点を充填することによって、前記空洞に前記点を充填するように構成されている、請求項に記載の装置。
  11. 前記充填アルゴリズムは、フラッドフィルアルゴリズムを含む、請求項10に記載の装置。
  12. 前記3D画像データはコンピュータ断層撮影スキャンを含む、請求項に記載の装置。
  13. プログラム命令を記憶した非一時的なコンピュータ可読媒体を含むコンピュータソフトウェア製品であって、前記命令が、コンピュータによって読み込まれると、前記コンピュータに、
    生体内の身体組織を含む三次元(3D)領域についての3D画像データを受信することと、
    前記3D画像データをセグメント化して、前記身体組織内の空洞及び前記空洞を取り囲む壁を識別することと、
    前記空洞内の複数の点のうちの各点について、前記点から前記壁までの対応の最小距離を見つけることと、
    前記複数の点の中から、前記対応の最小距離が前記複数の点のうちの隣接点に対して局所的最大値である、1つ又は2つ以上の点のセットを見つけることと、
    前記対応の最小距離が前記セット内の前記1つ又は2つ以上の点のうちで最小である、前記セット内の前記点のうちの1つを、前記空洞への入口として特定することと、を行わせる、コンピュータソフトウェア製品。
JP2019062624A 2018-03-29 2019-03-28 身体の空洞の開口部の位置の特定 Active JP7289691B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/940,613 US10685486B2 (en) 2018-03-29 2018-03-29 Locating an opening of a body cavity
US15/940,613 2018-03-29

Publications (2)

Publication Number Publication Date
JP2019171069A JP2019171069A (ja) 2019-10-10
JP7289691B2 true JP7289691B2 (ja) 2023-06-12

Family

ID=66001037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019062624A Active JP7289691B2 (ja) 2018-03-29 2019-03-28 身体の空洞の開口部の位置の特定

Country Status (7)

Country Link
US (1) US10685486B2 (ja)
EP (1) EP3547255B1 (ja)
JP (1) JP7289691B2 (ja)
CN (1) CN110322506B (ja)
AU (1) AU2019201974A1 (ja)
CA (1) CA3037887A1 (ja)
IL (1) IL265519B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063509A (ja) 2007-09-07 2009-03-26 Olympus Corp 神経細胞画像解析装置及び神経細胞画像解析ソフトウェア
JP2012115635A (ja) 2010-11-30 2012-06-21 Toshiba Corp 画像処理方法、画像処理装置、画像システム及びプログラムコード
JP2017521159A (ja) 2014-07-09 2017-08-03 アクラレント インコーポレイテッドAcclarent, Inc. 副鼻腔形成術(Sinuplasty)向けのガイドワイヤナビゲーション
US20170231714A1 (en) 2014-10-31 2017-08-17 Scopis Gmbh Instrument guidance system for sinus surgery

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US20030152897A1 (en) * 2001-12-20 2003-08-14 Bernhard Geiger Automatic navigation for virtual endoscopy
US7596403B2 (en) * 2004-06-30 2009-09-29 Given Imaging Ltd. System and method for determining path lengths through a body lumen
EP1861011A1 (en) * 2005-02-21 2007-12-05 Flip Technologies Limited Method and apparatus for mechanical measurement of sphincters and narrowing regions in hollow biological organs
US7623900B2 (en) * 2005-09-02 2009-11-24 Toshiba Medical Visualization Systems Europe, Ltd. Method for navigating a virtual camera along a biological object with a lumen
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
DE102007026520A1 (de) * 2007-06-08 2008-12-11 Siemens Ag Bildakquisitons-, Bildarchivierungs- und Bildrenderingsystem zur Reproduzierung von eingestellten Untersuchungsparametern einer CT-, PET-CT- bzw. MRT- gestützten Erstuntersuchung bei nachfolgenden radiologischen Kontrolluntersuchungen
WO2013187335A1 (ja) * 2012-06-15 2013-12-19 株式会社東芝 超音波診断装置、コンピュータプログラムプロダクト及び制御方法
ITMI20121156A1 (it) * 2012-06-29 2013-12-30 Consiglio Nazionale Ricerche Metodo di elaborazione di immagini di tomografia a coerenza ottica
CN109008972A (zh) * 2013-02-01 2018-12-18 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9775578B2 (en) * 2013-08-12 2017-10-03 Biosense Webster (Israel) Ltd. Unmapped region visualization
EP3094865A4 (en) * 2014-01-16 2017-09-13 United Technologies Corporation Systems and methods for thermal location of cooling holes
US10737073B2 (en) * 2015-03-27 2020-08-11 Project Moray, Inc. Fluid-expandable body articulation of catheters and other flexible structures
US10136799B2 (en) * 2015-09-28 2018-11-27 Bio-Medical Engineering (HK) Limited Endoscopic systems, devices, and methods
US10500373B2 (en) * 2015-12-04 2019-12-10 Project Moray, Inc. Lateral articulation anchors for catheters and other uses
CN110383345B (zh) * 2017-01-12 2023-08-15 纳维斯国际有限公司 用于内腔导航的扁平化视图

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009063509A (ja) 2007-09-07 2009-03-26 Olympus Corp 神経細胞画像解析装置及び神経細胞画像解析ソフトウェア
JP2012115635A (ja) 2010-11-30 2012-06-21 Toshiba Corp 画像処理方法、画像処理装置、画像システム及びプログラムコード
JP2017521159A (ja) 2014-07-09 2017-08-03 アクラレント インコーポレイテッドAcclarent, Inc. 副鼻腔形成術(Sinuplasty)向けのガイドワイヤナビゲーション
US20170231714A1 (en) 2014-10-31 2017-08-17 Scopis Gmbh Instrument guidance system for sinus surgery

Also Published As

Publication number Publication date
EP3547255A1 (en) 2019-10-02
CN110322506B (zh) 2024-01-12
EP3547255B1 (en) 2020-12-23
IL265519A (en) 2019-05-30
AU2019201974A1 (en) 2019-10-17
CN110322506A (zh) 2019-10-11
CA3037887A1 (en) 2019-09-29
IL265519B (en) 2021-03-25
US10685486B2 (en) 2020-06-16
US20190304187A1 (en) 2019-10-03
JP2019171069A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN106163408B (zh) 使用同时的x平面成像的图像配准和引导
EP2573735B1 (en) Endoscopic image processing device, method and program
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US11446095B2 (en) 2D pathfinder visualization
US11596481B2 (en) 3D pathfinder visualization
JP2017086917A (ja) Ct画像に対して局所的に適用される透過法
US10980603B2 (en) Updating a volumetric map
JP7289691B2 (ja) 身体の空洞の開口部の位置の特定
JP7301573B2 (ja) 静的仮想カメラの配置方法
JP2018102912A (ja) 解剖学的空腔の改善された視覚化
US20240197411A1 (en) System and method for lidar-based anatomical mapping
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230531

R150 Certificate of patent or registration of utility model

Ref document number: 7289691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150