JP6696237B2 - 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 - Google Patents

類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 Download PDF

Info

Publication number
JP6696237B2
JP6696237B2 JP2016049800A JP2016049800A JP6696237B2 JP 6696237 B2 JP6696237 B2 JP 6696237B2 JP 2016049800 A JP2016049800 A JP 2016049800A JP 2016049800 A JP2016049800 A JP 2016049800A JP 6696237 B2 JP6696237 B2 JP 6696237B2
Authority
JP
Japan
Prior art keywords
image
bed
search key
search
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016049800A
Other languages
English (en)
Other versions
JP2017164043A (ja
Inventor
亮夫 小澤
亮夫 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016049800A priority Critical patent/JP6696237B2/ja
Publication of JP2017164043A publication Critical patent/JP2017164043A/ja
Application granted granted Critical
Publication of JP6696237B2 publication Critical patent/JP6696237B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

開示の技術は、類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置に関する。
医療機関において、患者の体内等の状態を調べるために、放射線を患者に照射して、コンピュータを用いて検体の断層画像(検体断層画像)を生成する、コンピュータ断層撮影(Computed Tomography:CT)を用いた画像診断が行なわれている。
検体断層画像を用いた画像診断を行なう場合、例えば特定の患者について今回撮影した検体断層画像と、過去に撮影した検体断層画像とを並べて表示し、これらの検体断層画像を比較することで、医師が時間の経過に伴う撮影部位の状態の変化等を把握する。
特開平8−103439号公報
検体断層画像を用いた画像診断においては、医師等が選択した複数の検体断層画像の中から、比較元の検体断層画像(検索キー画像)と撮影位置等ができるだけ類似する検体断層画像(比較画像)を選択することが好ましい。
しかしながら、検体断層画像には患者が横たわる寝台も像として写り込むことがあるため、患者の体とは直接関係のない寝台の像に含まれる特徴点が、類似性の評価に影響を及ぼすことが考えられる。
一つの側面として、開示の技術は、複数の検体断層画像の中から、特定の検体断層画像に類似する検体断層画像の検索精度を向上させることを目的とする。
一つの態様として、類似画像検索プログラムは、コンピュータに、寝台及び寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付けさせる。また、類似画像検索プログラムは、コンピュータに、記憶部に記憶された寝台の断層画像又は形状データに基づいて、指定された検索キー画像の撮像の際の撮像条件で寝台が撮像された場合の寝台の特徴点を抽出させる。更に、類似画像検索プログラムは、コンピュータに、検索キー画像以外の複数の検体断層画像の中から、検索キー画像の特徴点のうち、寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された検索キー画像に類似する画像の検索を実行させる。
一つの側面として、開示の技術は、複数の検体断層画像の中から、特定の検体断層画像に類似する検体断層画像の検索精度を向上させることができる、という効果を有する。
本実施の形態に係る画像診断システムの一例を示す図である。 CT装置の構成例を示す図である。 検体断層画像の種類について説明するための模式図である。 患者画像の一例を示す図である。 寝台画像の一例を示す図である。 検索キー画像の一例を示す図である。 基準寝台画像の一例を示す図である。 検索キー画像及び基準寝台画像における特徴点を説明する模式図である。 基準寝台画像に含まれる特徴点が取り除かれた検索キー画像の一例を示す図である。 患者画像の検索について説明する模式図である。 検索キー画像と検索キー画像に類似する患者画像の一例を示す図である。 端末をコンピュータで実現する場合の構成例を示す図である。 類似画像検索処理の流れの一例を示すフローチャートである。 画像DBのデータ構造の一例を示す図である。 特徴点の抽出方法を説明する模式図である。 特徴点における特徴量の算出方法を説明する模式図である。 検索キー画像特徴量DBのデータ構造の一例を示す図である。 寝台画像特徴量DBのデータ構造の一例を示す図である。 特徴点の対応づけについて説明する模式図である。 類似度DBのデータ構造の一例を示す図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では、同じ働きを担う構成要素又は処理には全図面を通して同じ符号を付与し、重複する説明を適宜省略する。
まず、図1を用いて、本実施の形態に係る画像診断システム10について説明する。
図1に示すように、画像診断システム10はCT装置20、画像サーバ30、及び端末40を含み、CT装置20と画像サーバ30、並びに、画像サーバ30と端末40がそれぞれ電気的に接続されている。
CT装置20は、検体にエックス線を多方向から照射し、検体を透過したエックス線の量を検出器で測定することで検体の各部分におけるエックス線の吸収係数(CT値)を計算し、検体断層画像を生成する。
図2に示すように、CT装置20は、寝台12及びガントリー14を含む。患者が上面部に横たわった寝台12を矢印18の方向に移動させることで、患者が寝台12と共にガントリー14に設けられたエックス線照射空間16に搬送される。そして、ガントリー14によって検体である患者にエックス線が照射され、検体断層画像が生成される。
CT装置20によって生成される検体断層画像は、表示する検体断面の方向によって複数の種類が存在する。図3に示すように、検体断層画像には、例えば検体の両眼を通過する面に沿った断面である体軸断面11(axial断面ともいう)を表示する画像、及び患者の前後方向を通過する面に沿った断面である矢状断面13(sagittal断面ともいう)を表示する画像が存在する。また、検体断層画像には、患者の左右方向を通過する面に沿った断面である冠状断面15(coronal断面ともいう)を表示する画像、及び患者を斜め方向に輪切りにした場合の断面である斜断面17(oblique断面ともいう)を表示する画像が存在する。
以降では一例として、検体断層画像は体軸断面11の画像を表示しているものとして説明を行なうが、これに限らず、検体断層画像は矢状断面13、冠状断面15、又は斜断面17の画像を表示するものであってもよい。なお、体軸断面11、矢状断面13、冠状断面15、及び斜断面17の違いによる検体断層画像の属性を「検体断層画像の断層方向」という。
CT装置20は、撮影範囲にわたって予め定めた距離s毎に検体断層画像を撮影する。この予め定めた距離sは「スライス間隔」と呼ばれ、本実施の形態に係る検体断層画像では、スライス間隔とスライス厚を一致させるものとする。ここで「スライス厚」とは、検体断層画像に含まれる断面の厚みを指す。
なお、エックス線照射空間16には撮影位置を規定するための座標系が定義されている。一例として、エックス線照射空間16内に原点Pを設定し、寝台12に仰向けに横たわる患者の左右方向をX軸、前後方向をY軸、及び患者の頭頂部から足に沿った方向である高さ方向をZ軸とする座標系を用いる。
既に説明したように、患者は寝台12と共にガントリー14に設けられたエックス線照射空間16に搬送されるため、図4に示すように、検体断層画像には患者1の断層画像の他、寝台12の断層画像が含まれる。
また、本実施形態に係るCT装置20は、患者1及び寝台12の断層画像を含む検体断層画像の他、図5に示すように、患者1が上面部に横たわっていない状態で寝台12だけを含む検体断層画像を、予め定めたスライス厚で複数枚撮影する。そして、CT装置20は、CT装置20で撮影した患者1及び寝台12の断層画像を含む検体断層画像、並びに、寝台12だけを含む検体断層画像を画像サーバ30に出力する。
以降、寝台12だけを含む複数枚の検体断層画像を「寝台画像2」といい、患者1及び寝台12を含む複数枚の検体断層画像を「患者画像4」という。
CT装置20で撮影された検体断層画像は、画像サーバ30に格納される。画像サーバ30は、寝台画像DB32及び患者画像DB34を含み、寝台画像DB32に寝台画像2を格納し、患者画像DB34に患者画像4を格納する。患者画像4には患者に一意に付与された患者IDが対応付けられているため、患者画像DB34では、患者毎に患者画像4が管理されている。また、各寝台画像2及び各患者画像4には、各々の画像を一意に識別するための画像番号が付与されている。
一方、端末40は、入出力部42、取得部44、生成部46、抽出部48、除去部50、及び検索部52を含むと共に、画像DB54、寝台画像特徴量DB56、検索キー画像特徴量DB58、及び類似度DB60を含む。
入出力部42は、例えば医師等の医療従事者から各種指示を受け付け、受け付けた指示を取得部44又は抽出部48に通知する。
取得部44は、医療従事者からの指示の一例である患者IDを入出力部42から受信すると、患者IDを画像サーバ30に通知する。なお、取得部44は、例えば端末40の起動後から寝台画像2を取得していない場合には、画像サーバ30に対して寝台画像2を要求する。
画像サーバ30は、患者IDに対応した患者画像4を患者画像DB34から取得して、取得部44に送信する。また、画像サーバ30は、寝台画像2の取得要求が取得部44からあった場合には、寝台画像2を寝台画像DB32から取得して、取得部44に送信する。
取得部44は、画像サーバ30から取得した、患者IDに対応する患者画像4を画像DB54に格納すると共に、取得した患者画像4を入出力部42に出力する。また、取得部44は、寝台画像2を画像サーバ30から取得した場合には、取得した寝台画像2を画像DB54に格納する。
入出力部42は、患者IDに対応する患者画像4を取得部44から受け付けると、患者画像4を図示しないディスプレイ等の表示装置に出力する。なお、患者IDに対応する患者画像4が複数存在する場合には、表示装置には複数枚の患者画像4が表示される。通常、CT装置20を用いた画像の撮影では、スライス厚毎に複数の患者画像4を生成するため、以降では、患者IDに対応する患者画像4が複数存在するものとして説明を行なう。
医療従事者が、例えばマウス等を用いて、表示装置に表示される複数の患者画像4の中から、図6に示す診断対象となる特定の患者画像4を1枚選択すると、選択された患者画像4の画像番号が入出力部42に出力される。なお、以降では、医療従事者によって選択された診断対象となる特定の患者画像4を、特に「検索キー画像6」ということにする。
入出力部42は、医療従事者からの指示の一例である検索キー画像6の画像番号を、抽出部48に出力する。
抽出部48は、受け付けた画像番号に基づいて検索キー画像6を画像DB54から取得する。また、抽出部48は、検索キー画像6の画像番号を受け付けると、生成部46に対して、検索キー画像6の撮影条件と一致する寝台画像2を生成するよう指示する。なお、以降では、検索キー画像6の撮影条件と一致するように生成される寝台の断層画像を、「基準寝台画像8」という。なお、検索キー画像6の撮影条件にはスライス厚等が含まれるが、撮影条件に関する詳細については後ほど説明する。
生成部46は、基準寝台画像8の生成が抽出部48から指示されると、寝台画像2を画像DB54から取得して、取得した寝台画像2から寝台12の立体モデル、すなわち3D(3 Dimensions)モデルを作成する。そして、生成部46は、寝台12の3Dモデルを用いて、図7に示すような検索キー画像6の撮影条件に一致する基準寝台画像8を生成し、生成した基準寝台画像8を抽出部48に出力する。
また、抽出部48は、検索キー画像6及び基準寝台画像8の各々の画像から、画像の特徴を表す部分の画素を特徴点22として抽出する。なお、図8に示すように、検索キー画像6及び基準寝台画像8には、複数の特徴点22が含まれる場合がある。
特徴点22の抽出後、抽出部48は、検索キー画像6及び基準寝台画像8の各々の画像から抽出した各特徴点22に対して、特徴点22の特徴量を算出する。そして、抽出部48は、基準寝台画像8の特徴点22と当該特徴点22の特徴量を対応づけて寝台画像特徴量DB56に格納する。また、抽出部48は、検索キー画像6の特徴点22と当該特徴点22の特徴量を対応付けて検索キー画像特徴量DB58に格納する。
除去部50は、基準寝台画像8の特徴点22と当該特徴点22の特徴量を寝台画像特徴量DB56から取得と共に、検索キー画像6の特徴点22と当該特徴点22の特徴量を検索キー画像特徴量DB58から取得する。そして、除去部50は、画像間で特徴量が最も類似している特徴点22を検出して、基準寝台画像8の各特徴点22を検索キー画像6の特徴点22と対応づける。そして、除去部50は、図9に示すように、検索キー画像6に含まれる特徴点22の中から、基準寝台画像8に含まれる特徴点22と対応づけられた特徴点22を取り除く。
検索部52は、検索キー画像6以外の患者画像4を画像DB54から取得して、患者画像4毎に特徴点22を抽出すると共に、抽出した特徴点22の特徴量を算出する。一方、検索部52は、基準寝台画像8の特徴点22と対応付けられた特徴点22が取り除かれた検索キー画像6の特徴点22と当該特徴点22の特徴量を検索キー画像特徴量DB58から取得する。
そして、検索部52は、画像間で特徴量が最も類似している特徴点22を検出することで、検索キー画像6の各特徴点を患者画像4の特徴点22と対応づけた上で、検索キー画像6に対する各患者画像4の類似度を算出する。検索部52は、検索キー画像6に対する各患者画像4の類似度を、患者画像4の画像番号と対応づけて類似度DB60に格納する。なお、検索部52において、検索キー画像6と特徴点22の類似度を比較する、検索キー画像6を除いた患者画像4を特に「比較画像9」という。
そして、検索部52は、図10に示すように、類似度DB60に記憶した比較画像9の類似度を参照して、比較画像9の中から最も類似度が高い患者画像4を1枚選択し、入出力部42に出力する。
入出力部42は、検索キー画像6と、当該検索キー画像6に最も類似している画像として検索部52から受け付けた患者画像4とを、図示しない表示装置に出力する。したがって、図11に示すように、検索キー画像6と検索キー画像6に最も類似する患者画像4とが表示装置に表示され、医療従事者による画像診断の準備が整えられる。
なお、上記に説明した本実施の形態に係る端末40は、類似画像検索装置の一例である。
図1に示した端末40は、図12に示すようにコンピュータ100で実現可能である。
コンピュータ100は、CPU102、メモリ104及び不揮発性の記憶部106を含む。CPU102、メモリ104及び記憶部106は、バス108を介して互いに接続される。また、コンピュータ100は、入力装置112、表示装置114、及び通信IF116と、コンピュータ100とを接続するI/O(Input/Output)110を備え、I/O110はバス108に接続される。
ここで、入力装置112は、例えば端末40に医療従事者の指示を通知するボタン、スイッチ、及びタッチパネル等の入力デバイスを含む。更に、入力装置112は、例えばCD(Compact Disc)、DVD(Digital Versatile Disk)又はメモリカード等の記録媒体118に記録されるプログラム等を読み取る読み取り装置を含む場合がある。
表示装置114は、例えば液晶ディスプレイ等を含み、医療従事者に患者画像4等の各種画像を表示する。
通信IF116は、画像サーバ30が接続されるネットワークと接続され、画像サーバ30とデータを送受信する。なお、画像サーバ30が接続されるネットワークには、他の外部装置が接続されていてもよい。また、通信IF116に接続されるネットワークの形態に制限はなく、有線であっても無線であってもよく、インターネット、イントラネット、又は専用線等の回線の種類を問わない。
また、記憶部106は、フラッシュメモリ又はHDD(Hard Disk Drive)等によって実現できる。
記憶部106には、コンピュータ100を図1に示す端末40として機能させるための類似画像検索プログラム120が記憶される。そして、類似画像検索プログラム120は、入出力プロセス122、取得プロセス124、抽出プロセス126、除去プロセス128、検索プロセス130、及び生成プロセス132を含む。
CPU102は、類似画像検索プログラム120を記憶部106から読み出してメモリ104に展開し、類似画像検索プログラム120に含まれる各プロセスを実行することで、コンピュータ100を図1に示す端末40として動作させる。
すなわち、CPU102が入出力プロセス122を実行することで、コンピュータ100が図1に示す入出力部42として動作する。また、CPU102が取得プロセス124を実行することで、コンピュータ100が図1に示す取得部44として動作する。また、CPU102が抽出プロセス126を実行することで、コンピュータ100が図1に示す抽出部48として動作する。また、CPU102が除去プロセス128を実行することで、コンピュータ100が図1に示す除去部50として動作する。また、CPU102が検索プロセス130を実行することで、コンピュータ100が図1に示す検索部52として動作する。また、CPU102が生成プロセス132を実行することで、コンピュータ100が図1に示す生成部46として動作する。
なお、コンピュータ100は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、本実施の形態に係る端末40の作用について説明する。端末40は、例えば端末40が起動した後に類似画像検索プログラム120を実行して、図13に示す類似画像検索処理を実行する。なお、画像サーバ30の寝台画像DB32及び患者画像DB34には、それぞれCT装置20で撮影された寝台画像2及び患者画像4が予め格納されているものとする。
まず、ステップS10において、入出力部42は、医療従事者による診断対象となる患者の患者IDが入力装置112から入力されたか否かを判定する。当該判定が否定判定の場合には、患者IDが入力されるまでステップS10の処理を繰り返し実行する。一方、肯定判定の場合、すなわち、患者IDが入力された場合には、入出力部42は、患者IDを取得部44に通知してステップS20に移行する。
ステップS20において、取得部44は、ステップS10で取得された患者IDを画像サーバ30に通知して、患者IDに対応した患者画像4を画像サーバ30から取得する。また、取得部44は、端末40の起動後に一度も寝台画像2を取得していない場合、画像サーバ30に対して寝台画像2を要求して、寝台画像2を取得する。
図14は、患者画像DB34における患者画像4のデータ構造の一例を示しており、例えば番号、画像データ、撮影日時、撮影条件に関する項目が対応づけられて、患者画像DB34に格納される。
番号とは画像番号のことであり、画像データは、CT装置によって撮影された検体断層画像の画像データであり、撮影日時は、画像データを撮影した日時を示す。また、図14に示す患者画像DB34のデータ構造の例では、患者画像4の撮影条件として、ピクセル間隔、スライス厚、Z値、及び断層方向を含む。
ここで、ピクセル間隔とは、患者画像4の隣り合う画素との間隔を示している。通常、患者画像4等のCT装置20で撮影される検体断層画像は、縦512画素×横512画素の大きさとなるよう設定されるため、ピクセル間隔によって、患者画像4の撮影範囲を示す有効視野(Field Of View:FOV)が示される。
また、Z値とは、CT装置20のエックス線照射空間16内におけるZ軸方向の撮影位置を示す値であり、Z値によって患者画像4の撮影位置が示される。なお、「スライス厚」及び「断層方向」については既に説明したため、ここでは説明を省略する。
なお、寝台画像DB32に格納される寝台画像2のデータ構造も、図14に示した患者画像4のデータ構造と同様である。
そして、取得部44は、取得した寝台画像2及び患者画像4を画像DB54に格納すると共に、患者画像4を入出力部42に出力する。
ステップS30において、入出力部42は、ステップS20で取得部44から受け付けた患者画像4を表示装置114に表示する。
ステップS40において、入出力部42は、検索キー画像6の画像番号が入力装置112から入力されたか否かを判定する。当該判定が否定判定の場合には、検索キー画像6の画像番号が入力されるまでステップS40の処理を繰り返し実行する。一方、肯定判定の場合、すなわち、検索キー画像6の画像番号が入力された場合には、入出力部42は、検索キー画像6の画像番号を抽出部48に通知する。
ステップS50において、抽出部48は、ステップS40で受け付けた検索キー画像6の画像番号に基づいて、検索キー画像6を画像DB54から取得する。具体的には、抽出部48は、画像番号に対応した画像データを検索キー画像6として、画像DB54から取得する。なお、抽出部48は、取得した検索キー画像6を入出力部42に通知する。
また、抽出部48は、画像DB54から取得した検索キー画像6に対応する撮影条件を生成部46に通知して、基準寝台画像8の生成を指示する。
ステップS60において、生成部46は、寝台画像2を画像DB54から取得して、取得した寝台画像2を積み重ねることで寝台12の3Dモデルを作成する。なお、寝台画像2の枚数が多いほど、より高精度な寝台12の3Dモデルを作成することができるため、CT装置20で設定可能な最も小さいスライス厚で寝台画像2を撮影することが好ましい。
寝台12の3Dモデルを作成した後、生成部46は、ステップS50で取得した検索キー画像6の撮影条件と一致する基準寝台画像8を、寝台12の3Dモデルを用いて再構成する。具体的には、例えば検索キー画像6のピクセル間隔と一致するように寝台12の3Dモデルを拡大縮小し、検索キー画像6のZ値で表される位置で、検索キー画像6と同じ断層方向及びスライス厚で切り取った寝台画像2を、基準寝台画像8として生成する。
そして、生成部46は、生成した基準寝台画像8を抽出部48に出力する。
ステップS70において、抽出部48は、ステップS50で取得した検索キー画像6及びステップS60で取得した基準寝台画像8の各々の画像から、特徴点22を抽出する。
具体的には、抽出部48は、検索キー画像6及び基準寝台画像8に写っている検体或いは寝台12といった物体の輪郭線のうち、物体の角に相当する位置の画素を特徴点22として抽出する。これは、物体の形状の特徴は、直線部分よりも角の部分の位置及び個数に現われる傾向があるためである。
抽出部48における特徴点22の抽出方法について、図15を用いて説明する。なお、図15は、検索キー画像6を例にした特徴点22の抽出方法を示しているが、基準寝台画像8における特徴点22も同様の方法によって抽出できる。
抽出部48は、検索キー画像6の特定の画素pを中心にして、例えば半径がr画素の円70を設定する。そして円70上に位置する各画素のうち、画素値が予め定めた画素値(規定画素値)以上又は以下の画素の連続数mが、予め定めた連続数mの所定範囲内か否かに基づいて、抽出部48は、画素pを物体の角の部分に対応する特徴点22か否かを判定する。なお、連続数mの所定範囲は円70上に位置する画素数の半分の値よりも大きい範囲、及び、円70上に位置する画素数の半分の値より小さい範囲の少なくとも一方を用いることができる。
仮に、画素pが直線の輪郭線上の画素である場合、円70上に位置する画素のうち、輪郭線を境界とした一方の領域(内側)と他方の領域(外側)に存在する画素数は半分ずつになると考えることができる。例えば、輪郭線の内側が規定画素値未満の画素であり、輪郭線の外側が規定画素値以上の画素である場合、画素値が規定画素値以上となる画素の連続数mは、円70上に位置する画素の1/2となる傾向が見られる。
したがって、連続数mの所定範囲として、円70上に位置する画素数の1/2よりも大きい範囲を用いたり、或いは1/2より小さい範囲を用いたりすることで、画素pが物体の角の部分に対応する画素である可能性が高くなる。連続数mの所定範囲として円70上に位置する画素数の1/2よりも大きい範囲を用いた場合、輪郭線の外側において画素値が規定画素値以上となる画素がm個以上連続すれば、抽出部48は、画素pを物体の角の部分に対応する特徴点22として抽出する。一方、連続数mの所定範囲として円70上に位置する画素数の1/2よりも小さい範囲を用いた場合、輪郭線の内側において規定画素値未満となる画素がm個を超えない範囲で連続すれば、抽出部48は、画素pを物体の角の部分に対応する特徴点22として抽出する。
抽出部48は、以上に示した処理を、検索キー画像6及び基準寝台画像8の各々の画像に含まれる各画素について実行することで、特徴点22を検索キー画像6及び基準寝台画像8から抽出する。
なお、規定画素値は、輪郭線の内側と外側における画素値の差、すなわち濃度差に基づいて、輪郭線の内側の領域と外側の領域を分離できるような値に設定すればよい。
ステップS80において、抽出部48は、検索キー画像6及び基準寝台画像8の各々の画像に含まれる各特徴点22の特徴量を算出する。
図16は、検索キー画像6を例にした特徴点22の特徴量の算出方法を示しているが、基準寝台画像8の特徴点22の特徴量も同様の方法によって算出できる。また、ここでは説明の便宜上、特徴点22を区別して説明する必要がある場合には、検索キー画像6から抽出した特徴点22を「特徴点αj」(j=1,・・・,J)で表し、基準寝台画像8から抽出した特徴点22を「特徴点βk」(k=1,・・・,K)で表す。
抽出部48は、検索キー画像6から特徴点αjを抽出した場合と同様に、特徴点αjを中心にして、例えば半径がr画素の円70を設定する。そして、抽出部48は、円70に含まれる任意の2つの画素、例えば画素Aと画素Bを選択し、画素Aと画素Bとの画素値の差分が所定の閾値より大きければ“1”を、所定の閾値以下であれば“0”を対応づける。
そして、抽出部48は、円70の中から任意の2つの画素を選択する処理をV回行い、選択した各々の画素AV、画素BVの差分に対して“1”又は“0”を対応づけることによって、“1”又は“0”をV桁並べた値を特徴点αjの特徴量として設定する。
抽出部48は、上記のようにして設定した特徴点αjの特徴量を、図17に示すように特徴点αjと対応づけて検索キー画像特徴量DB58に格納する。また、抽出部48は、同様の方法によって設定した基準寝台画像8の特徴点βkの特徴量を、図18に示すように特徴点βkと対応づけて寝台画像特徴量DB56に格納する。
ステップS90において、除去部50は、基準寝台画像8の特徴点βkと当該特徴点βkの特徴量を寝台画像特徴量DB56から取得すると共に、検索キー画像6の特徴点αjと当該特徴点αjの特徴量を検索キー画像特徴量DB58から取得する。
そして、除去部50は、基準寝台画像8の各特徴点βkを検索キー画像6の特徴点αjと対応づける。具体的には、図19に示すように、例えば基準寝台画像8の特徴点β1の特徴量と、検索キー画像6の各特徴点αjの特徴量との排他的論理和(XOR)を算出する。
XORは、算術対象となる2つの値が一致する場合は“0”、不一致の場合は“1”となる。したがって、XORの計算結果であるXOR値のうち、基準寝台画像8の特徴点β1に対して“0”が最も多く含まれるXOR値が得られた検索キー画像6の特徴点αjを基準寝台画像8の特徴点β1として対応づける。
このように除去部50は、基準寝台画像8の各特徴点βkに対して、検索キー画像6の各特徴点αjとの間で算出したXOR値を評価することで、基準寝台画像8の特徴点βk毎に最も類似している検索キー画像6の特徴点αjを対応づけることができる。
そして、除去部50は、検索キー画像6の各特徴点αjから、基準寝台画像8の各特徴点βkに対応付けられた特徴点を除去して、検索キー画像特徴量DB58に格納する。基準寝台画像8には寝台12の断層画像だけが含まれていることから、寝台12の断層画像に対応する特徴点が検索キー画像6の特徴点αjから取り除かれることになる。すなわち、検索キー画像特徴量DB58に格納されている検索キー画像6の特徴点22には、患者1の断層画像の特徴点22のみが含まれることになる。
ステップS100において、検索部52は、検索キー画像6以外の患者画像4、すなわち比較画像9のうち、未選択の比較画像9を画像DB54から取得する。
ステップS110において、検索部52は、公知のパターン認識手法を用いて、ステップS100で選択した比較画像9の患者1の断層画像の位置が、検索キー画像6の患者1の断層画像の位置と略一致するよう、比較画像9に対して大域的位置合わせを実行する。具体的には、検索部52は、検索キー画像6に写る患者1の断層画像に合わせて、比較画像9に写る患者1の断層画像に対して回転処理及び平行移動処理等の線形変換を行なう。そして、検索部52は、検索キー画像6と比較画像9を重ねた場合に患者1の断層画像の重複領域が最大になるようにする。なお、ステップS110は必ずしも実施する必要はなく、省略してもよい。
ステップS120において、検索部52は、ステップS70で説明した特徴点22の抽出方法と同様の方法によって、ステップS100で選択した比較画像9の特徴点22を抽出する。
ステップS130において、検索部52は、ステップS80で説明した特徴点22の特徴量の算出方法と同様の方法によって、ステップS120で抽出した比較画像9の特徴点22の特徴量を算出する。
ステップS140において、検索部52は、検索キー画像6の各特徴点22に対して、比較画像9の特徴点22を対応づける。当該特徴点の対応付けは、ステップS90で説明した特徴点の対応付け方法と同様の方法を用いることができる。具体的には、検索部52は、検索キー画像特徴量DB58に格納されている検索キー画像6の特徴点22の特徴量と、ステップS130で算出した比較画像9の特徴点22の特徴量とのXOR値を評価する。そして、検索部52は、検索キー画像6の特徴点22毎に最も類似している比較画像9の特徴点22を対応づける。
ステップS150において、検索部52は、検索キー画像6に対するステップS100で選択した比較画像9の類似度Qを算出する。具体的には、検索部52は、ステップS140において、検索キー画像6の各特徴点22に対して、比較画像9の特徴点22を対応づける際に算出した各々のXOR値に含まれる“0”の数を集計する。そして、検索部52は、各々のXOR値に含まれる“0”の個数を検索キー画像6に対する比較画像9の類似度Qとする。すなわち、各々のXOR値に含まれる“0”の個数が多いほど、検索キー画像6と比較画像9の類似度Qが高くなる。
検索部52は、図20に示すように、算出した検索キー画像6及び比較画像9の類似度Qと、比較画像9の画像番号Nとを対応づけて、類似度DB60に格納する。
ステップS160において、検索部52は、比較画像9の中に未選択の比較画像9が存在するか否かを判定し、未選択の比較画像9が存在する場合には、ステップS100に移行する。ステップS100において、検索部52は、未選択の比較画像9の中から新たな比較画像9を画像DB54から取得し、当該新たな比較画像9に対してステップS110〜S150の処理を行なうことで、検索キー画像6と新たな比較画像9の類似度Qを算出する。すなわち、検索部52は、ステップS100〜S160の処理を繰り返すことで、比較画像9の各々について検索キー画像6との類似度Qを算出し、各々の比較画像9と類似度Qを対応づけて類似度DB60に格納する。
一方、ステップS160の判定処理が否定判定の場合、すなわち、未選択の比較画像9が存在しない場合には、ステップS170に移行する。
ステップS170において、検索部52は、類似度DB60を参照して、類似度Qが最も大きい画像番号Nに対応する患者画像4を画像DB54から取得して、入出力部42に通知する。
検索部52から患者画像4を受け付けた入出力部42は、ステップS50で取得部44から受け付けた検索キー画像6と、検索部52から受け付けた患者画像4を表示装置114に出力する。したがって、診断対象である検索キー画像6と、検索キー画像6に最も類似する患者画像4とが表示装置114に表示される。
このように本実施の形態に係る端末40によれば、診断対象である検索キー画像6の特徴点22から寝台12に対応する特徴点22を除去した上で、検索キー画像6と類似する患者画像4を検索する。これは、検索キー画像6の特徴点22の中に寝台の特徴点22が含まれる場合、患者1の診断に不要な寝台の形状までも検索キー画像6と患者画像4の類似性の評価対象に含まれるため、患者画像4の検索精度が低下する要因の一つになると考えられるためである。したがって、端末40は、寝台12に対応する特徴点22を含む検索キー画像6の特徴点22の特徴量に基づいて類似する患者画像4を検索する場合に比べて、検索キー画像6に類似する患者画像4を精度よく検索することができる。
また、端末40は、寝台画像2を用いて寝台12の3Dモデルを作成した上で、検索キー画像6の撮影条件と一致する基準寝台画像8を生成する。このように、寝台12の3Dモデルを生成することで、検索キー画像6の撮影条件と一致するようにCT装置20で寝台画像2を撮影し直さなくても、寝台12の3Dモデルから検索キー画像6の撮影条件と一致する寝台画像2を生成することができる。したがって、検索キー画像6の撮影条件と一致するようにCT装置20で寝台画像2を撮影し直す場合に比べて、検索キー画像6に類似する患者画像4の検索時間を短縮することができる。
また、端末40は、検索キー画像6の撮影条件と一致する基準寝台画像8を生成するため、基準寝台画像8の特徴点22に対して、検索キー画像6の特徴点22を精度よく対応づけることができる。したがって、端末40は、検索キー画像6と異なる撮影条件で撮影した寝台画像2の特徴点22に対して検索キー画像6の特徴点22を対応づける場合と比べて、検索キー画像6の特徴点22から寝台12に対応する特徴点22を精度よく取り除くことができる。
なお、図1では、画像サーバ30を経由してCT装置20と端末40を接続する画像診断システム10を示したが、画像診断システム10のシステム形態はこれに限られない。例えば、CT装置20と端末40を直接接続して、画像サーバ30の寝台画像DB32及び患者画像DB34を端末40に含めるようにしてもよい。この場合、画像サーバ30は不要となる。
また、上記では、検索キー画像6の特徴点22から基準寝台画像8の特徴点22に対応する特徴点22を除去した後に、個々の比較画像9との類似度Qを評価する態様を説明したが、これに限定されるものではない。例えば検索キー画像6と個々の比較画像9との類似度Qの算出において、個々の特徴点22毎に基準寝台画像8の特徴点に対応する特徴点22か否かを判定し、否定判定の場合に、当該特徴点22を類似度Qの算入対象に加えてもよい。個々の特徴点22が基準寝台画像8の特徴点22に対応する特徴点22か否かは、一度判定しさえすれば、個々の特徴点22に判定結果を示すラベルを付与することで、以後の処理の高速化が図れる。しかし、検索キー画像6の特徴点22から基準寝台画像8の特徴点22に対応する特徴点22を除去した後に、個々の比較画像9との類似度Qを評価する態様の方が、類似度Qの演算対象となる特徴点22の数が少なくなる。したがって、より効果的な処理の高速化を実現することができる。
以上、各実施形態を用いて開示の技術を説明したが、開示の技術は各実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で各実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。
また、各実施形態では、類似画像検索プログラム120が記憶部106に予め記憶(インストール)されている形態を説明したが、これに限定されるものではない。開示の技術に係る類似画像検索プログラムは、コンピュータ読取可能な記録媒体118に記録された形態で提供することも可能である。例えば、開示の技術に係る類似画像検索プログラムは、CD−ROM(Compact Disc-Read Only Memory)、DVD−ROM又はUSB(Universal Serial Bus)メモリ等の可搬型記録媒体に記録された形態で提供することも可能である。また、開示の技術に係る類似画像検索プログラムは、フラッシュメモリ等の半導体メモリ等に記録された形態で提供することも可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
コンピュータに、
寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付け、
記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出し、
前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する
処理を実行させる類似画像検索プログラム。
(付記2)
前記検索キー画像の特徴点から前記寝台の特徴点を取り除く
付記1記載の類似画像検索プログラム。
(付記3)
前記寝台を撮影した複数の断層画像から前記寝台の3Dモデルを作成し、前記寝台の3Dモデルから前記検索キー画像の撮影条件に応じた前記寝台の画像を生成する
付記1又は付記2記載の類似画像検索プログラム。
(付記4)
前記検索キー画像及び前記寝台の特徴点として、前記寝台及び前記検体における角部を抽出する
付記1〜付記3の何れか1項に記載の類似画像検索プログラム。
(付記5)
前記検索キー画像の撮影条件は、前記検索キー画像の断層方向、スライス厚、ピクセル間隔、及び検体におけるスライス位置の少なくとも1つを含む
付記1〜付記4の何れか1項に記載の類似画像検索プログラム。
(付記6)
前記複数の検体断層画像に、コンピュータ断層撮影による断層画像を用いる
付記1〜付記5の何れか1項に記載の類似画像検索プログラム。
(付記7)
コンピュータに、
寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付け、
記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出し、
前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する
処理を実行させる類似画像検索方法。
(付記8)
前記検索キー画像の特徴点から前記寝台の特徴点を取り除く
付記7記載の類似画像検索方法。
(付記9)
前記寝台を撮影した複数の断層画像から前記寝台の3Dモデルを作成し、前記寝台の3Dモデルから前記検索キー画像の撮影条件に応じた前記寝台の画像を生成する
付記7又は付記8記載の類似画像検索方法。
(付記10)
前記検索キー画像及び前記寝台の特徴点として、前記寝台及び前記検体における角部を抽出する
付記7〜付記9の何れか1項に記載の類似画像検索方法。
(付記11)
前記検索キー画像の撮影条件は、前記検索キー画像の断層方向、スライス厚、ピクセル間隔、及び検体におけるスライス位置の少なくとも1つを含む
付記7〜付記10の何れか1項に記載の類似画像検索方法。
(付記12)
前記複数の検体断層画像に、コンピュータ断層撮影による断層画像を用いる
付記7〜付記11の何れか1項に記載の類似画像検索方法。
(付記13)
寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付ける入出力部と、
記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出する抽出部と、
前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記抽出部によって抽出された前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する検索部と、
を含む類似画像検索装置。
(付記14)
前記検索キー画像の特徴点から前記寝台の特徴点を取り除く除去部を更に含む
付記13記載の類似画像検索装置。
(付記15)
前記寝台を撮影した複数の断層画像から前記寝台の3Dモデルを作成し、前記寝台の3Dモデルから前記検索キー画像の撮影条件に応じた前記寝台の画像を生成する生成部を更に含む
付記13又は付記14記載の類似画像検索装置。
(付記16)
前記抽出部は、前記検索キー画像及び前記寝台の特徴点として、前記寝台及び前記検体における角部を抽出する
付記13〜付記15の何れか1項に記載の類似画像検索装置。
(付記17)
前記検索キー画像の撮影条件は、前記検索キー画像の断層方向、スライス厚、ピクセル間隔、及び検体におけるスライス位置の少なくとも1つを含む
付記13〜付記16の何れか1項に記載の類似画像検索装置。
(付記18)
前記複数の検体断層画像に、コンピュータ断層撮影による断層画像を用いる
付記13〜付記17の何れか1項に記載の類似画像検索装置。
(付記19)
コンピュータに、
寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付け、
記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出し、
前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する
処理を実行させる類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
1・・・患者、2・・・寝台画像、4・・・患者画像、6・・・検索キー画像、8・・・基準寝台画像、9・・・比較画像、10・・・画像診断システム、12・・・寝台、20・・・CT装置、22・・・特徴点、30・・・画像サーバ、32・・・寝台画像DB、34・・・患者画像DB、40・・・端末、42・・・入出力部、44・・・取得部、46・・・生成部、48・・・抽出部、50・・・除去部、52・・・検索部、54・・・画像DB、56・・・寝台画像特徴量DB、58・・・検索キー画像特徴量DB、60・・・類似度DB、100・・・コンピュータ、102・・・CPU、104・・・メモリ、106・・・記憶部、108・・・バス、120・・・類似画像検索プログラム

Claims (8)

  1. コンピュータに、
    寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付け、
    記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出し、
    前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する
    処理を実行させる類似画像検索プログラム。
  2. 前記検索キー画像の特徴点から前記寝台の特徴点を取り除く
    請求項1記載の類似画像検索プログラム。
  3. 前記寝台を撮影した複数の断層画像から前記寝台の3Dモデルを作成し、前記寝台の3Dモデルから前記検索キー画像の撮影条件に応じた前記寝台の画像を生成する
    請求項1又は請求項2記載の類似画像検索プログラム。
  4. 前記検索キー画像及び前記寝台の特徴点として、前記寝台及び前記検体における角部を抽出する
    請求項1〜請求項3の何れか1項に記載の類似画像検索プログラム。
  5. 前記検索キー画像の撮影条件は、前記検索キー画像の断層方向、スライス厚、ピクセル間隔、及び検体におけるスライス位置の少なくとも1つを含む
    請求項1〜請求項4の何れか1項に記載の類似画像検索プログラム。
  6. 前記複数の検体断層画像に、コンピュータ断層撮影による断層画像を用いる
    請求項1〜請求項5の何れか1項に記載の類似画像検索プログラム。
  7. コンピュータ
    寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付け、
    記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出し、
    前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する
    処理を実行る類似画像検索方法。
  8. 寝台及び前記寝台上の検体を撮影した複数の検体断層画像から選択された検索キー画像の指定を受け付ける入出力部と、
    記憶部に記憶された前記寝台の断層画像又は形状データに基づいて、指定された前記検索キー画像の撮像の際の撮像条件で前記寝台が撮像された場合の前記寝台の特徴点を抽出する抽出部と、
    前記検索キー画像以外の前記複数の検体断層画像の中から、前記検索キー画像の特徴点のうち、前記抽出部によって抽出された前記寝台の特徴点に対応する特徴点以外の特徴点を用いて、指定された前記検索キー画像に類似する画像の検索を実行する検索部と、
    を含む類似画像検索装置。
JP2016049800A 2016-03-14 2016-03-14 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置 Active JP6696237B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016049800A JP6696237B2 (ja) 2016-03-14 2016-03-14 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016049800A JP6696237B2 (ja) 2016-03-14 2016-03-14 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置

Publications (2)

Publication Number Publication Date
JP2017164043A JP2017164043A (ja) 2017-09-21
JP6696237B2 true JP6696237B2 (ja) 2020-05-20

Family

ID=59908533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016049800A Active JP6696237B2 (ja) 2016-03-14 2016-03-14 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置

Country Status (1)

Country Link
JP (1) JP6696237B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008200373A (ja) * 2007-02-22 2008-09-04 Fujifilm Corp 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
US8787647B2 (en) * 2009-06-10 2014-07-22 Mitsubishi Electric Corporation Image matching device and patient positioning device using the same

Also Published As

Publication number Publication date
JP2017164043A (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
US11538575B2 (en) Similar case retrieval apparatus, similar case retrieval method, non-transitory computer-readable storage medium, similar case retrieval system, and case database
US10362941B2 (en) Method and apparatus for performing registration of medical images
US20050226486A1 (en) Image processing apparatus and method, and program
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8483470B2 (en) Radiological image area extracting apparatus, radiological image area extraction program, and radiographic apparatus
US20140140604A1 (en) Method for processing dual-energy radiological images
JP2009000153A (ja) 画像診断支援装置、方法及びプログラム
JP6185262B2 (ja) 核医学骨画像解析技術
CN110895812A (zh) Ct图像的检测方法、装置、存储介质及电子设备
EP3954277A1 (en) Medical document generation device, method, and program
JP6696237B2 (ja) 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置
JP5001002B2 (ja) 画像診断支援装置及びその方法
JP6827786B2 (ja) 輪郭抽出装置、輪郭抽出方法およびプログラム
JP6309417B2 (ja) 検出器生成装置、方法およびプログラム並びに画像検出装置
US20160157726A1 (en) Projection image generating device, method and program
JP5871104B2 (ja) 病変判定装置、類似症例検索装置、病変判定装置の駆動方法、類似症例検索装置の駆動方法、およびプログラム
US20220245797A1 (en) Information processing apparatus, information processing method, and information processing program
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP5192751B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2006181025A (ja) 異常陰影検出方法および装置並びにプログラム
JP6386629B2 (ja) 核医学骨画像解析技術
JP4411011B2 (ja) 画像処理装置、プログラム及びコンピュータ読み取り可能な記録媒体
JP2007330419A (ja) 画像表示装置および方法並びにプログラム
JP7355849B2 (ja) 診断支援装置、診断支援方法、及び診断支援プログラム
US20220245925A1 (en) Information processing apparatus, information processing method, and information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R150 Certificate of patent or registration of utility model

Ref document number: 6696237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150