JP6914233B2 - 類似度決定装置、方法およびプログラム - Google Patents

類似度決定装置、方法およびプログラム Download PDF

Info

Publication number
JP6914233B2
JP6914233B2 JP2018162859A JP2018162859A JP6914233B2 JP 6914233 B2 JP6914233 B2 JP 6914233B2 JP 2018162859 A JP2018162859 A JP 2018162859A JP 2018162859 A JP2018162859 A JP 2018162859A JP 6914233 B2 JP6914233 B2 JP 6914233B2
Authority
JP
Japan
Prior art keywords
finding
medical image
findings
image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018162859A
Other languages
English (en)
Other versions
JP2020032044A (ja
Inventor
昭治 金田
昭治 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018162859A priority Critical patent/JP6914233B2/ja
Priority to US16/528,805 priority patent/US11062443B2/en
Publication of JP2020032044A publication Critical patent/JP2020032044A/ja
Application granted granted Critical
Publication of JP6914233B2 publication Critical patent/JP6914233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Description

本開示は、２つの医用画像の類似度を決定する類似度決定装置、方法およびプログラムに関するものである。
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。
一方、医療分野において、検査の対象となるＣＴ画像等の検査画像に基づいて、検査画像に類似する過去の症例を検索する類似症例検索装置が知られている（例えば非特許文献１および特許文献１，２参照）。非特許文献１には、肺の症例画像を複数種類の組織または病変（以下組織または病変を所見と総称するものとする）をそれぞれ示す複数の領域に分類した上で、症例データベースに登録しておき、検査画像についても同様に肺を複数種類の所見をそれぞれ示す複数の領域に分類し、検査画像についての所見の分類結果に基づいて、検査画像に類似する症例画像を検索する手法が提案されている。また、特許文献１，２には、画像の濃度ヒストグラム、濃度の平均または濃度の分散等の画像の特徴量とデータベースに登録された画像との特徴量を比較することにより、検査画像に類似する画像を検索する手法が提案されている。また、画像間の類似度を算出する手法として、複数の画像のうち少なくとも一つの画像内に複数の部分領域を設定し、設定した部分領域毎に、他の画像内の対応する領域との間の類似度を決定し、決定した部分領域類似度を、各部分領域に対して設定された重み係数を用いて重み付け加算することにより、全体領域類似度を算出する手法が提案されている（特許文献３参照）。
ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者のＣＴ画像を解析することにより、ＣＴ画像に含まれる蜂窩肺、網状影および嚢胞等の特定の所見を示す病変を分類して定量化する手法が提案されている（非特許文献２，３参照）。このようにＣＴ画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てて表示することにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。
また、ＣＴ画像等の３次元画像から注目する臓器等の構造物を抽出するためには、３次元画像において構造物を検出する必要がある。ここで、画像における注目する画素を複数のクラスに分類するために、深層学習（ディープラーニング）の手法が提案されている。ディープラーニングとは、複数の処理層が階層的に接続されることにより構築された多層ニューラルネットワークを用いた機械学習の手法である。
ディープラーニングにおいては、多層ニューラルネットワークの各層において、入力されるデータに対する前段の階層により得られる異なる複数の演算結果データ、すなわち特徴量の抽出結果データに対して演算処理を行う。そして、これにより得られる特徴量のデータに対して、次段以降の処理層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させて、入力されたデータを複数のクラスに分類することができる。
このようなディープラーニングの手法を、上述した３次元画像に適用して、３次元画像の各画素を複数のクラスに分類することが考えられる。例えば、３次元画像に含まれる複数種類の構造物を分類するに際し、３次元画像を入力として、３次元画像における処理対象となる画素を、複数種類の構造物のいずれかに分類するように、ニューラルネットワークに対してディープラーニングを行う。このようにしてディープラーニングがなされたニューラルネットワークを用いることにより、入力された３次元画像の対象とする画素を、複数種類の構造物のいずれかに分類することが可能となる。
再公表２０１３−６５０９０号 特開２０１１−１１８５４３号公報 特開２０００−３４２５５８号公報
Case-based lung image categorization and retrieval For interstitial lung diseases: clinical workflow、Adrien Depeursingeら、Int J CARS (2012) 7:97-110、Published online: 1 June 2011 Evaluation of computer-based computer tomography stratification against outcome models in connective tissue disease-related interstitial lung disease: a patient outcome study、Joseph Jacob1ら、BMC Medicine (2016) 14:190、DOI 10.1186/s12916-016-0739-7 コンピュータによる間質性肺炎のＣＴ画像の定量評価、岩澤多恵、断層映像研究会雑誌 第４１巻第２号、２０１４年８月
非特許文献１および特許文献１〜３に記載された手法を用いることにより、検査画像の肺に含まれる病変が類似する症例画像を検索することができる。一方、検査画像に含まれる特徴的な所見はそのサイズによって、さらには所見の種類によって重要度が異なる。
本開示は上記事情に鑑みなされたものであり、画像に含まれる所見のサイズおよび種類に応じて適切に画像間の類似度を決定できるようにすることを目的とする。
本開示による類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数を調整して調整重み係数を導出する調整部と、
調整重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を所見グループ毎に行って、第１の医用画像と第２の医用画像との類似度を導出する類似度導出部とを備える。
本開示において、所見グループには、１以上の所見が分類されてなる。
なお、本開示による類似度決定装置においては、調整部は、分類毎に設定された重み係数の所見グループ毎の代表値に基づいて、重み係数を調整するものであってもよい。
この場合、代表値は分類毎に設定された重み係数の所見グループ毎の総和であってもよい。
また、本開示による類似度決定装置においては、調整部は、重み係数の調整の程度の変更指示に応じて重み係数を調整するものであってもよい。
この場合、調整部は、表示部に表示された重み係数の変更指示を受け付けることにより、重み係数を調整するものであってもよい。
またこの場合、調整部はスライダーであってもよい。
また、本開示による類似度決定装置においては、複数の所見グループは、第１の医用画像に含まれる背景となる所見グループおよび第１の医用画像に含まれる重要所見となる所見グループを含むものであってもよい。
また、本開示による類似度決定装置においては、複数種類の所見が、２以上の所見グループに分類される少なくとも１つの特定所見を含み、
調整部は、特定所見に関して、２以上の所見グループとの関連性に応じた重み付けを行って、重み係数を調整するものであってもよい。
また、本開示による類似度決定装置においては、所見分類部は、複数種類の所見を分類するように機械学習がなされた判別器を有し、判別器により第１の医用画像の各画素を複数種類の所見に分類するものであってもよい。
また、本開示による類似度決定装置においては、複数の第２の医用画像が登録された症例データベースであって、複数の第２の医用画像のそれぞれについての第２の特徴量が、複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、第１の医用画像と複数の第２の医用画像との類似度に基づいて、第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えるものであってもよい。
また、本開示による類似度決定装置においては、類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による類似度決定装置においては、所見分類部は、第１の医用画像の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、第１の医用画像の各画素を複数種類の所見のうちの少なくとも１つの所見に分類するものであってもよい。
本開示による類似度決定方法は、第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
第１の医用画像において分類された所見毎に第１の特徴量を算出し、
第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数を調整して調整重み係数を導出し、
調整重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を所見グループ毎に行って、第１の医用画像と第２の医用画像との類似度を導出する。
なお、本開示による類似度決定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の類似度決定装置は、第１の医用画像と第２の医用画像との類似度を決定する処理をコンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
第１の医用画像において分類された所見毎に第１の特徴量を算出し、
第１の医用画像において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数を調整して調整重み係数を導出し、
調整重み係数に応じて、第１の医用画像において算出された所見毎の第１の特徴量と、第２の医用画像において予め算出された所見毎の第２の特徴量との重み付け演算を所見グループ毎に行って、第１の医用画像と第２の医用画像との類似度を導出する処理を実行する。
本開示によれば、所見のサイズおよび種類に応じて、第１の医用画像と第２の医用画像との類似度を適切に決定することができる。
本開示の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図 本実施形態による類似度決定装置の構成を示す概略ブロック図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に応じた評価値を示す図 分類に応じた色が割り当てられたマッピング画像における一断面を示す図 所見の体積の算出結果を示す図 類似度の算出結果を示す図 類似度の算出結果を示す図 検索結果リストを示す図 検索結果を示す図 本実施形態において行われる処理を示すフローチャート スライダーを含む検索結果を示す図
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による類似度決定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による類似度決定装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。この３次元画像撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、被検体の肺を含む胸部のＣＴ画像を３次元画像として生成する。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。なお、本実施形態においては、画像保管サーバ３には、検査の対象となる３次元画像（以下、検査画像とする）、および症例画像が登録された症例データベースＤＢが保存されているものとする。症例データベースＤＢについては後述する。また、本実施形態においては、検査画像は１以上のスライス画像（以下、検査スライス画像とする）からなる３次元画像である。また、症例画像も１以上のスライス画像（以下、症例スライス画像とする）からなる３次元画像である。なお、検査画像が第１の医用画像に、症例画像が第２の医用画像にそれぞれ対応する。
類似度決定装置１は、１台のコンピュータに、本開示の類似度決定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。類似度決定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに類似度決定プログラムをインストールすることにより実現される本開示の実施形態による類似度決定装置の概略構成を示す図である。図２に示すように、類似度決定装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、類似度決定装置１には、液晶ディスプレイ等からなる表示部１４、並びにキーボードおよびマウス等からなる入力部１５が接続されている。
ストレージ１３は、ハードディスクおよびＳＳＤ(Solid State Drive)等からなる。ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、被検体の検査画像および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、類似度決定プログラムが記憶されている。類似度決定プログラムは、ＣＰＵ１１に実行させる処理として、検査の対象となる検査画像を取得する画像取得処理、検査画像の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する所見分類処理、検査画像において分類された所見毎に第１の特徴量を算出する特徴量算出処理、所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定処理、複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数を調整して調整重み係数を導出する調整処理、調整重み係数に応じて、検査画像において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像と症例画像との類似度を導出する類似度導出処理、導出された類似度に基づいて、検査画像に類似する症例画像を検索する検索処理、並びに検索結果を表示部１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、調整部２５、類似度導出部２６、検索部２７および表示制御部２８として機能する。
画像取得部２１は、検査の対象となる被検体の検査画像Ｖ０を取得する。なお、検査画像Ｖ０が既にストレージ１３に保存されている場合には、画像取得部２１は、ストレージ１３から検査画像Ｖ０を取得するようにしてもよい。
所見分類部２２は、検査画像Ｖ０に含まれる肺領域の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する。具体的には、所見分類部２２は、検査画像Ｖ０に含まれる肺領域の画素毎に、複数種類の組織または病変（すなわち所見）のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類する。本実施形態においては、所見分類部２２は、検査画像Ｖ０の各画素を１つの所見に分類するものとする。
本実施形態の所見分類部２２は、機械学習の１つであるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、検査画像Ｖ０の各画素が属する所見の種類を特定する。なお、機械学習の手法としては、ディープラーニングに限定されるものではなく、サポートベクターマシン等の他の手法を用いることもできる。
多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。
なお、本実施形態においては、多層ニューラルネットワークを、検査画像Ｖ０を入力として、肺領域の複数種類の所見への分類結果を出力するものとして説明するが、検査画像Ｖ０を構成する複数の検査スライス画像のそれぞれを入力とし、肺領域の複数種類の所見への分類結果を出力するように構成することも可能である。
図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク４０は、入力層４１および出力層４２を含む複数の階層からなる。本実施形態においては、検査画像Ｖ０に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、点状影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、気腫傾向、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、血管、正常肺、胸壁および縦隔等の複数の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。
本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク４０に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク４０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク４０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。
なお、入力される画像が検査スライス画像である場合において、多層ニューラルネットワーク４０の学習の際には、病変が既知の３次元画像を構成するスライス画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）に正規化された２次元領域を切り出し、切り出した２次元領域の画像を教師データとして用いる。
所見分類部２２は、分類のために、検査画像Ｖ０から対象領域である肺領域を抽出する。肺領域を抽出する手法としては、検査画像Ｖ０における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、または肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、肺領域を抽出するように機械学習がなされた判別器を用いるようにしてもよい。
所見分類部２２は、所見分類処理を行う際に、検査画像Ｖ０の肺領域から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク４０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、所見の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。
図４は、ある関心領域の中心画素についての所見の種類に応じた評価値を示す図である。なお、図４においては、説明を簡単なものとするために一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素を、複数の所見のうち、最も評価値が大きい所見に分類する。例えば、図４に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、図４に示すような評価値が取得された場合、所見分類処理により、関心領域の中心画素は評価値が最大の８．５である網状影に分類される。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれに分類される。
所見分類部２２は、上述したように学習がなされた多層ニューラルネットワーク４０からなる判別器に、抽出した肺領域から教師データと同一のボクセル領域を順次切り出して入力する。これにより、切り出した領域の中心画素について、複数種類の病変領域のそれぞれに対する複数の評価値が出力される。所見分類部２２は、多層ニューラルネットワーク４０に入力された領域の中心画素を、複数の評価値のうち最大の評価値となる所見に分類して所見分類結果を生成する。これにより、検査画像Ｖ０に含まれる肺領域の全画素が複数種類の所見のいずれかに分類される。
所見分類部２２は、所見分類処理の結果に基づいて、検査画像Ｖ０における各分類の領域に色を割り当てることによってマッピング画像を生成する。具体的には、所見分類部２２は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図５は、複数種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像における一断面を示す図である。なお、図５においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影、低吸収域および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。なお、後述する表示制御部２８によりマッピング画像を表示部１４に表示してもよい。マッピング画像を表示部１４に表示する際には、図５に示すように、３次元のマッピング画像における任意の断面の断面画像を表示すればよい。しかしながら、これに限らず、３次元のマッピング画像を表示部１４に表示してもよい。
特徴量算出部２３は、検査画像Ｖ０において分類された所見毎に特徴量を算出する。具体的には、所見毎の領域の大きさ、所見毎の平均濃度、所見毎の濃度の分散、所見毎の領域の数および所見毎の領域の平均サイズ等の少なくとも１つを特徴量として算出する。なお、検査画像Ｖ０について算出した特徴量を、第１の特徴量と称するものとする。また、所見毎の領域の大きさ、所見毎の領域の数および所見毎の領域の平均サイズ等がサイズ特徴量である。所見毎の領域の大きさとしては、所見毎の領域の体積を用いることができる。
なお、上述した症例データベースＤＢには、複数の症例画像のそれぞれに対して、ファイル名、各画素における複数の所見についての評価値、および所見毎の特徴量が登録されている。症例画像について症例データベースＤＢに登録されている特徴量を第２の特徴量と称するものとする。第１の特徴量および第２の特徴量は０以上１以下の値となるように正規化される。また、検査画像Ｖ０について、各画素における複数の所見についての評価値、および所見毎の特徴量が取得されると、その検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。その際、その検査画像Ｖ０についての評価値および第１の特徴量が、新たな症例画像の評価値および第２の特徴量として症例データベースＤＢに登録される。
重み係数設定部２４は、検査画像Ｖ０の各画素が分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する。重み係数は、後述する類似度導出処理の際に、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された、すなわち症例データベースＤＢに登録された所見毎の第２の特徴量との重み付け演算を行う際の重み係数である。
ここで、医用画像の特徴は多彩であるため、医用画像の観点での特徴量の重要性を考慮して、特徴量に対して適切な重みを付けしないと、特徴量の違いの大きさが医学的な画像の違いの大きさと対応せず、類似度が医学的な感覚とずれてしまう。したがって、特徴量に対して適切に重み付けをしないと、検査画像Ｖ０に類似する症例画像を検索した場合、検索結果が不適切な類似度順となる可能性がある。
ここで、検査画像Ｖ０および症例画像において、同一の所見が略同一の大きさで存在すれば、医学的に２つの画像は類似することとなる。また、所見領域が大きいほど、その所見は診断上重要であるため、所見の大きさが画像間の類似性を判断する上で、極めて重要である。
一方、所見には、点状影のようにサイズが小さくても疾患の初期状態の特性を表す重要な所見もある。また、高齢化による肺の気腫化が進むと、肺にはやや低吸収の状態が発生してくるが、このような低吸収の所見は高齢患者で頻度が高いため、それほど重要ではない。このような高齢者の低吸収の所見は、サイズが大きくてもそれほど重要ではない。
このため、点状影の所見および高齢者の低吸収の所見を同等に判断すると、大きな領域の低吸収域の微妙な差異が点状影の差異よりも大きくなる。その結果、点状影の類似性が低吸収域の類似性に埋もれ、医学的に重要な点状影の症例を含む症例画像を検索できないことになる。
このため、本実施形態においては、重み係数設定部２４は、各所見のサイズに応じて重み付けの程度が異なる重み係数を、複数の所見のそれぞれに対して設定する。所見のサイズとしては、特徴量算出部２３が算出した第１の特徴量に含まれるサイズ特徴量を用いることができる。具体的には、所見の体積を用いることができる。ここで、所見の体積は３次元の検査画像Ｖ０に含まれる各所見の画素数に対して検査画像Ｖ０の１ボクセル当たりの体積を乗算することにより算出することができる。図６に所見の体積の算出結果を示す。図６においては体積の単位は立方ミリメートルである。ところで、肺の大きさは患者により異なる。このため、所見の体積を臓器の体積、すなわち肺の体積により正規化した所見占有率（＝所見体積／肺体積）を所見のサイズとして用いることが好ましい。本実施形態においては、所見のサイズとして所見占有率を用いるものとする。なお、所見占有率をサイズ特徴量として第１の特徴量に含めてもよい。この場合、特徴量算出部２３が所見占有率を算出してもよい。
重み係数設定部２４は、検査画像Ｖ０の各所見について、下記の式（１）により所見毎の重み係数Ｗｉを設定する。なお、式（１）において、ｉは所見の種類、ｆｉは検査画像Ｖ０における所見毎の所見占有率Ｐｖｉをパラメータとする関数である。
Ｗｉ＝ｆｉ（Ｐｖｉ） （１）
ここで、図６に示すように大きいサイズの所見と小さいサイズの所見とでは、体積の値の桁数が異なる。このため、３次元の情報である所見占有率を関数ｆｉにより２次元相当に変換する等して次元を下げることが好ましい。これにより、所見のサイズの差異が医師の感覚と一致するものとなる。このため、上述したように、サイズが小さくても重要性が高い所見は、その重要度を高くするために、関数ｆｉにより非線形に変換することが好ましい。このため、本実施形態においては、関数ｆｉを下記の式（２）に示すように設定する。
ｆｉ＝ａ・（ｂ・Ｘ＋（１−ｂ）・Ｘc） （２）
なお、式（２）において、ａは所見毎の全体的な重要性の違いを決定する定数である。ｃは１以下の値をとり、サイズが小さい所見を強調する効果を決定する定数である。ｂは定数ｃによる効果の程度を決定する定数である。また、Ｘ＝（Ｐｖｉ）2/3 である。所見占有率Ｐｖｉを２／３乗することにより、所見占有率Ｐｖｉを３次元から２次元相当に変換することとなる。
重み係数設定部２４は、式（２）に示す関数を所見毎に設定して式（１）に適用することにより、複数種類の所見のそれぞれについての重み係数Ｗｉを設定する。
調整部２５は、複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数を調整して調整重み係数を導出する。ここで、所見には浸潤影、腫瘤影およびすりガラス影等の病変である所見、すなわち異常がある所見の他、正常肺および縦隔等の異常が無い所見が含まれる。異常がある所見は、検査画像Ｖ０と症例画像との類似度を決定する際に重要なものとなる。一方、気腫傾向は異常がある所見ではあるが、高齢者によく見られる症状であり、治療が必要でない場合が多い。このため、気腫傾向は類似度を決定するに際しては、それほど重要ではない。
また、点状影は重要な所見ではあるが、低吸収側は一部の小領域のみの状態から、肺全体に及ぶような広範囲の状態まである。このため、所見サイズのみで重み係数Ｗｉを設定すると、類似度を決定するに際し、点状影と低吸収域とのバランスとを取ることが難しくなる。また、１つの病変に複数の所見が含まれる場合もある。このような場合、１つ１つの所見毎に重み係数Ｗｉを調整するよりも、１つの病変として重み係数Ｗｉを調整することが好ましい。
このため、本実施形態においては、調整部２５は、重み係数設定部２４が設定した所見のサイズに応じた重み係数Ｗｉを、複数の種類の所見が分類されてなる所見グループ毎に調整する。具体的には、調整部２５は、複数種類の所見を、正常肺および気腫傾向等の背景となる所見グループ（以下、背景所見グループとする）、並びに点状影、すりガラス影および浸潤影等の重要所見となる所見グループ（以下、重要所見グループとする）に分類し、所見グループ毎に重み係数Ｗｉを調整する。なお、各所見グループには１以上の所見が分類される。
重み係数Ｗｉを調整するために、調整部２５は、まず下記の式（３）により、背景所見グループについての重み係数Ｗｉ１の総和Ｓｕｍ１、重要所見グループについての重み係数Ｗｉ２の総和Ｓｕｍ２を算出する。なお、総和に代えて、重み係数Ｗｉの平均値、中間値、最大値および最小値等の代表値を用いてもよい。
Ｓｕｍ１＝ΣＷｉ１
Ｓｕｍ２＝ΣＷｉ２ （３）
背景所見グループについては、類似度を決定するに際しての重要度はそれほど大きくない。このため、本実施形態においては、調整部２５は、総和Ｓｕｍ１が総和Ｓｕｍ２のｐ倍未満となるように、類似度決定のための調整係数を設定する。ｐは類似度を調整するためのしきい値であり、本実施形態においては例えば１／４を用いる。この場合、調整部２５は、Ｓｕｍ１＜（Ｓｕｍ２）／４となるよう類似度決定のための調整係数を設定することとなる。なお、Ｓｕｍ１≧（Ｓｕｍ２）／４となる場合には、調整部２５は、調整係数を設定しない。Ｓｕｍ１＜（Ｓｕｍ２）／４である場合、調整部２５は背景所見グループ用の調整係数α１および重要所見グループ用の調整係数α２を、下記の式（４）により設定する。
α１＝Ｓｕｍ２／（４×Ｓｕｍ１＋Ｓｕｍ２）
α２＝４×Ｓｕｍ１／（４×Ｓｕｍ１＋Ｓｕｍ２） （４）
調整部２５は、背景所見グループに属する所見についての重み係数Ｗｉ１に調整係数α１を乗算して、調整重み係数α１×Ｗｉ１を導出する。また、重要所見グループに属する所見についての重み係数Ｗｉ２に調整係数α２を乗算して、調整重み係数α２×Ｗｉ２を導出する。
類似度導出部２６は、調整部２５が導出した調整重み係数α１×Ｗｉ１，α２×Ｗｉ２に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する。なお、類似度導出部２６は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。
このために、類似度導出部２６は、検査画像Ｖ０について算出された第１の特徴量を０以上１以下の値に正規化する。そして、下記の式（５）に示すように、所見毎に、第１の特徴量と症例画像の第２の特徴量との距離の差を特徴量の差Ｄｄｉとして算出する。なお、式（５）において、ｋは特徴量の種類、Ｔｖｋは検査画像Ｖ０における種類毎の第１の特徴量を、Ｔｃｋは症例画像における種類毎の第２の特徴量を表す。なお、差分が算出される第１の特徴量と第２の特徴量とは特徴量の種類は同一である。また、式（５）においてΣはすべての種類の特徴量についての（Ｔｖｋ−Ｔｃｋ）2の総和を求めることを表す。なお、第１の特徴量および第２の特徴量は０以上１以下の値に正規化されているため、特徴量の差Ｄｄｉも０以上１以下の値となる。なお、第１の特徴量Ｔｖｋと第２の特徴量Ｔｃｋとが一致する場合、特徴量の差Ｄｄｉは０となる。なお、第１の特徴量と第２の特徴量との距離の差に代えて、第１の特徴量と第２の特徴量との差の絶対値等を用いてもよい。
Ｄｄｉ＝√（Σ（Ｔｖｋ−Ｔｃｋ）2） （５）
そして、類似度導出部２６は、調整重み係数α１×Ｗｉ１，α２×Ｗｉ２を用いて、検査画像Ｖ０と症例画像との類似度Ｓ０を下記の式（６）により算出する。すなわち、背景所見グループにおいて、所見毎に調整重み係数α１×Ｗｉ１と特徴量の差Ｄｄｉ１とを乗算し、乗算結果をすべての所見について加算する。また、重要所見グループにおいても、所見毎に調整重み係数α２×Ｗｉ２と特徴量の差Ｄｄｉ２とを乗算し、乗算結果をすべての所見について加算する。そして、背景所見グループおよび重要所見グループにおける重み付け演算結果を加算することにより類似度Ｓ０を算出する。なお、式（６）を用いて類似度Ｓ０を算出した場合、第１の特徴量と第２の特徴量との距離が小さいほど、検査画像Ｖ０と症例画像とが類似することとなる。このため、式（６）には負号を付与し、検査画像Ｖ０と症例画像とが類似するほど、類似度Ｓ０の値が大きくなるようにしている。
Ｓ０＝−（Σ（α１×Ｗｉ１×Ｄｄｉ１）
＋Σ（α２×Ｗｉ２×Ｄｄｉ２）） （６）
なお、式（６）は下記の式（７）と同義である。したがって、調整部２５において調整係数α１，α２のみを算出し、類似度導出部２６において、背景所見グループについての重み付け演算結果ΣＷｉ１×Ｄｄｉ１に調整係数α１を乗算し、重要所見グループについての重み付け演算結果ΣＷｉ２×Ｄｄｉ２に調整係数α２を乗算し、これらの乗算結果を加算して類似度Ｓ０を導出してもよい。
Ｓ０＝−（α１×Σ（Ｗｉ１×Ｄｄｉ１）
＋α２×Σ（Ｗｉ２×Ｄｄｉ２）） （７）
一方、上記式（６）により類似度を算出した場合、同一の所見が同一のサイズであれば、類似度は０となる。しかしながら、同一の病変同士を比較した場合、病変が大きいほど類似するというのが事実である。上記式（６）により類似度を算出した場合、サイズが比較的大きい所見が同一の特徴量である場合と、サイズが比較的小さい所見が同一の特徴量である場合とで両者の相違がなく、病変のサイズが大きいほど類似するという事実を反映できていないものとなる。
したがって、検査画像Ｖ０および症例画像に含まれる同一の所見については、サイズは単なる差として扱うべきではなく、サイズが類似するほど類似度を大きくすることが好ましい。このため、本実施形態においては、類似度導出部２６は、以下の式（８）により、検査画像Ｖ０と症例画像との間において、所見毎のサイズの差Ｄｓｉをさらに算出する。なお、式（８）において、Ｐｖｉは検査画像Ｖ０の所見ｉの所見占有率、Ｐｃｉは症例画像の所見ｉの所見占有率を示す。
Ｄｓｉ＝１−｜Ｐｖｉ−Ｐｃｉ｜／（Ｐｖｉ＋Ｐｃｉ） （８）
したがって、類似度導出部２６は、下記の式（９）により検査画像Ｖ０と症例画像との類似度Ｓ１を算出することが好ましい。ここで、Ｄｄｉは検査画像Ｖ０および症例画像において所見の特徴量が類似するほど値が小さくなり、Ｄｓｉは検査画像Ｖ０および症例画像において所見のサイズが類似するほど大きい値となる。このため、式（９）を用いることにより、同一の所見についてのサイズを考慮して、検査画像Ｖ０と症例画像とが類似するほど大きい値となる類似度を算出することができる。なお、式（９）は式（１０）と同義である。式（９）および式（１０）において、Ｄｓｉ１は背景所見グループにおけるサイズの差であり、Ｄｓｉ２は重要所見グループにおけるサイズの差である。
Ｓ１＝Σ（α１×Ｗｉ１×（Ｄｓｉ１−Ｄｄｉ１））
＋Σ（α２×Ｗｉ２×（Ｄｓｉ２−Ｄｄｉ２）） （９）
Ｓ１＝α１×Σ（Ｗｉ１×（Ｄｓｉ１−Ｄｄｉ１））
＋α２×Σ（Ｗｉ２×（Ｄｓｉ２−Ｄｄｉ２）） （１０）
なお、式（９）により類似度Ｓ１を算出した場合、検査画像Ｖ０に応じて類似度Ｓ１の最大値が異なるものとなる。このため、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件、すなわち検査画像Ｖ０と症例画像との差異が無いという条件により類似度Ｓ１を正規化することが好ましい。式（１１）は式（９）により算出した類似度Ｓ１を、検査画像Ｖ０と症例画像との類似度Ｓ１が最大となる条件により正規化したものである。式（１１）においてＳ２は正規化した類似度である。なお、式（１１）は式（１２）と同義である。
Ｓ２＝（Σ（α１×Ｗｉ１×（Ｄｓｉ１−Ｄｄｉ１））
＋Σ（α２×Ｗｉ２×（Ｄｓｉ２−Ｄｄｉ２）））／ΣＷｉ （１１）
Ｓ２＝（α１×Σ（Ｗｉ１×（Ｄｓｉ１−Ｄｄｉ１））
＋α２×Σ（Ｗｉ２×（Ｄｓｉ２−Ｄｄｉ２）））／ΣＷｉ （１２）
一方、式（６）により類似度を算出する場合も、類似度Ｓ０を正規化することが好ましい。式（１３）は式（６）を検査画像Ｖ０と症例画像との類似度Ｓ０が最大となる条件により正規化したものである。式（１３）においてＳ３は正規化した類似度である。なお、式（１４）は式（１３）と同義である。
Ｓ３＝−（Σ（α１×Ｗｉ１×Ｄｄｉ１）
＋Σ（α２×Ｗｉ２×Ｄｄｉ２））／ΣＷｉ （１３）
Ｓ３＝−（α１×Σ（Ｗｉ１×Ｄｄｉ１）
＋α２×Σ（Ｗｉ２×Ｄｄｉ２））／ΣＷｉ （１４）
図７は重み係数を調整しない場合の類似度の算出結果を示す図、図８は重み係数を調整した場合の類似度の算出結果を示す図である。なお、図７および図８において、類似度１は検査画像Ｖ０とある症例画像Ｇ１との類似度を、類似度２は検査画像Ｖ０と症例画像Ｇ１とは異なる症例画像Ｇ２との類似度をそれぞれ示す。図７に示すように、重み係数を調整しない場合、類似度１，２の双方とも背景所見グループに属する正常肺および気腫傾向が高くなり、かつ検査画像Ｖ０との類似度は、症例画像Ｇ１よりも症例画像Ｇ２の方が高くなる。これに対して、本実施形態のように所見毎に重み係数Ｗｉを調整した場合、類似度１，２の双方とも、背景所見グループに属する正常肺および気腫傾向が低くなり、点状影、すりガラス影および網状影等の異常所見グループに属する所見が高くなる。その結果、検査画像Ｖ０との類似度は症例画像Ｇ２よりも症例画像Ｇ１の方が高くなる。したがって、本実施形態によれば、重要所見グループに属する所見を考慮して類似度を導出することができる。
検索部２７は、症例データベースＤＢから、類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する検索処理を行う。まず、症例データベースＤＢについて説明する。
症例データベースＤＢには、１以上の症例スライス画像からなる症例画像が複数登録されている。詳細には、複数の症例画像のそれぞれについての所見分類結果、特徴量（すなわち第２の特徴量）が、複数の症例画像のそれぞれと対応づけられて登録されている。本実施形態においては、検査画像Ｖ０が新たに取得されると、検査画像Ｖ０が症例データベースＤＢに新たな症例画像として登録される。
検索部２７は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度Ｓ２に基づいて、検査画像Ｖ０に類似する症例画像を類似症例画像として検索する。具体的には、検索部２７は、類似度Ｓ２が大きい順に症例画像をソートして検索結果リストを作成する。図９は検索結果リストを示す図である。図９に示すように、検索結果リストＬ０には、症例データベースＤＢに登録された症例画像が、類似度Ｓ２が大きい順にソートされている。そして、検索部２７は、検索結果リストＬ０におけるソート順が上位所定数の症例画像を、症例データベースＤＢから類似症例画像として抽出する。
表示制御部２８は、検索部２７による検索結果を表示部１４に表示する。図１０は検索結果を示す図である。図１０に示すように、検索結果５１には、ラベリングされた検査画像Ｖ１およびラベリングされた類似症例画像Ｒ１〜Ｒ４が表示されている。なお、ここでは４つの類似症例画像Ｒ１〜Ｒ４を表示しているが、さらに多くの類似症例画像を表示してもよい。
図１０において、検査画像Ｖ１および類似症例画像Ｒ１〜Ｒ４は予め定められた投影方法により投影された投影画像となっている。なお、図１０においては説明のために５種類のラベリングのみを示しているが、実際には分類された所見の種類に応じたラベリングがなされている。検査画像Ｖ１の下方には、アキシャル断面、サジタル断面およびコロナル断面の３つの断面における検査スライス画像５２〜５４が表示されている。また、類似症例画像Ｒ１〜Ｒ４の下方にも、同様の３つの断面における症例スライス画像が表示されている。また、検査画像Ｖ１の下方に表示された検査スライス画像５２〜５４および類似症例画像Ｒ１〜Ｒ４の下方に表示された症例スライス画像のスライス面は、入力部１５からの操作により切り替えることが可能である。
次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、検査画像Ｖ０を取得し（ステップＳＴ１）、所見分類部２２が、検査画像Ｖ０に含まれる肺領域を、複数種類の所見をそれぞれ示す複数種類の病変領域に分類して所見分類結果を生成する（ステップＳＴ２）。そして、特徴量算出部２３が、検査画像Ｖ０において分類された所見毎に第１の特徴量を算出する（ステップＳＴ３）。さらに、重み係数設定部２４が、検査画像Ｖ０の所見毎の重み係数Ｗｉを設定する（ステップＳＴ４）。
次いで、調整部２５が、複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数を調整して調整重み係数α１×Ｗｉ１，α２×Ｗｉ２を導出する（ステップＳＴ５）。 続いて、類似度導出部２６が、調整重み係数α１×Ｗｉ１，α２×Ｗｉ２に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算を行って、検査画像Ｖ０と症例画像との類似度を導出する（ステップＳＴ６）。なお、上述したように、類似度導出部２６は、検査画像Ｖ０と症例データベースＤＢに登録されたすべての症例画像との類似度を導出するものである。さらに、検索部２７が、類似度に基づいて検索処理を行い（ステップＳＴ７）、表示制御部２８が検索結果を表示部１４に表示し（ステップＳＴ８）、処理を終了する。
このように、本実施形態によれば、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値が算出され、複数の評価値に基づいて、検査画像Ｖ０の各画素が複数種類の所見のうちの少なくとも１つの所見に分類される。また、検査画像Ｖ０において分類された所見毎に第１の特徴量が算出される。また、検査画像Ｖ０において分類された各所見に対して、各所見のサイズに応じて重み付けの程度が異なる重み係数が設定される。さらに、複数種類の所見が分類されてなる複数の所見グループ毎に、重み係数が調整されて調整重み係数が導出される。そして、調整重み係数に応じて、検査画像Ｖ０において算出された所見毎の第１の特徴量と、症例画像において予め算出された所見毎の第２の特徴量との重み付け演算が行われて、検査画像Ｖ０と症例画像との類似度が導出される。本実施形態によれば、このように、各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、所見グループ毎に重み係数を調整しているため、検査画像Ｖ０および症例画像に含まれる所見のサイズおよび種類に応じて、検査画像Ｖ０と症例画像との類似度を適切に決定することができる。
なお、上記実施形態においては、類似度を調整するためのしきい値ｐとして１／４を用いているが、しきい値ｐの値を変更できるようにしてもよい。例えば、図１２に示すように、検索結果５１にしきい値ｐを変更するためのスライダー６０を含め、スライダー６０のつまみ６１を入力部１５を用いて移動させることにより、しきい値ｐを調整するようにしてもよい。なお、検索結果５１とは別個にスライダー６０を表示部１４に表示するようにしてもよい。また、しきい値ｐを変更する手法はスライダーに限定されるものではなく、直接数値を入力する等してもよい。
ここで、類似症例画像を検索する状況としては、下記の状況が考えられる。まず、背景と重要所見とのバランスを取って検索を行う状況である。具体的には、検索を行う医師が、検査画像Ｖ０において背景および注目疾患の存在を確認した上で、検査画像Ｖ０と同程度の背景を含み、かつ注目疾患と類似する疾患に対応する所見を含む症例画像を検索して、治療の参考にしたいような状況である。また、医師が検査画像Ｖ０を詳細に読影する前に類似症例画像を検索し、これにより得られた類似症例画像に含まれる所見に基づく疾患の観点から、検査画像Ｖ０を見直して所見を再確認したり、最初の読影では気がつかなかった所見を見つけたいような状況もある。このような状況においては、例えばしきい値ｐを上記実施形態と同様に１／４程度にすればよい。
また、類似症例画像を検索する状況として、背景を検索の条件としない状況が考えられる。例えば、希な疾患であり、かつ気腫等の背景疾患を含む検査画像Ｖ０では、類似する症例画像が存在しない場合がある。このような場合には、しきい値ｐをより小さくすることにより背景の重要性を下げて、重要所見を主体に類似度を決定して類似症例画像を検索することが好ましい。
さらに、類似症例画像を検索する状況として、背景を主体として検索する状況が挙げあれる。例えば、検査画像Ｖ０が背景以外の病変を含んでいても、その検査画像Ｖ０における注目疾患が気腫であれば、気腫の状態が検査画像Ｖ０に類似する症例画像を検索することが必要となる。このような場合、背景の検索精度を上げるために、しきい値ｐをより大きい値とすることが好ましい。
このように、しきい値ｐを変更可能とすることにより、上述した様々な状況においても適切な類似症例画像を検索することができる。
また、上記実施形態においては、複数種類の所見を背景所見グループおよび重要所見グループに分類しているが、例えば、肺疾患の中でも癌とその他のびまん性疾患とは注目する所見が異なる。このため、所見の性質を考慮して重要所見をさらに複数種類の所見グループに分類することが好ましい。例えば、背景所見グループに加えて、腫瘤および結節所見グループ並びにその他の所見グループのように、複数種類の所見を３以上の所見グループに分類してもよい。なお、所見グループの分類はこれに限定されるものではなく、注目する疾患に特有の所見を含む所見グループ等、任意の所見グループを作成してもよい。この場合、入力部１５を用いて、操作者が所望とする所見グループを作成可能なようにしてもよい。
また、上記実施形態においては、気腫を背景所見グループに分類しているが、気腫にも様々な種類がある。例えば、比較的初期の状態を示す小葉中心性気腫等は比較的正常に近いが、汎小葉性気腫等は進行した状態であるため、疾患として注意が必要である。このように、同じ気腫であっても疾患として重要度の相違があるため、必ずしも一律に背景所見グループに分類しない方がよい場合がある。
このため、１つの所見に関して、背景所見グループおよび重要所見グループとの関連性に応じた重み付けを行って，重み係数を調整することが好ましい。例えば、気腫について、所見分類部２２がさらに汎小葉性気腫および小葉中心性気腫に分類できるようにし、重み係数設定部２４が、以下の式（１５）に示すように、背景所見グループについての重み係数Ｗｉ１の総和Ｓｕｍ１、および重要所見グループについての重み係数Ｗｉ２の総和Ｓｕｍ２を算出する際に、汎小葉性気腫の重み係数Ｗ１１および小葉中心性気腫の重み係数Ｗ１２に対して重みを設定して、重み係数Ｗｉを調整できるようにすることが好ましい。
この場合、汎小葉性気腫に関しては、背景と重要所見とで重みを０．５ずつとし、小葉中心性気腫に関しては、背景の重みを０．９、重要所見の重みを０．１とすればよい。なお、背景および重要所見に対する割合に代えて、重み係数Ｗｉをしきい値と比較し、しきい値未満となる重み係数Ｗｉを算出した所見をすべて背景所見グループに属するものとして重み係数Ｗｉの総和を算出してもよい。なお、しきい値以上となる重み係数Ｗｉを算出した所見については、重み係数Ｗｉにおけるしきい値を超える割合分を重要所見グループに割り当て、式（１５）と同様に重み係数Ｗｉの総和を算出してもよい。
Ｓｕｍ１＝ΣＷｉ１＝（０．５×Ｗ１１＋０．９×Ｗ１２＋．．．．）
Ｓｕｍ２＝ΣＷｉ２＝（０．５×Ｗ１１＋０．１×Ｗ１２＋．．．．） （１５）
この場合において、上記式（９）により類似度Ｓ１を算出する場合を考える。この場合、式（９）の右辺の第１項、すなわち背景所見グループについての類似度を算出するための項から気腫についての項を除き、これに代えて、下記の式（１６）の類似度Ｓ１１を加算する。なお、式（１６）において、Ｄｓ１１＿１およびＤｓ１２＿１は、それぞれ汎小葉性気腫および小葉中心性気腫についてのサイズの差であり、Ｄｄ１１＿１およびＤｄ１２＿１は、それぞれ汎小葉性気腫および小葉中心性気腫についての特徴量の差である。
S11=(0.5×α1+0.5×α2)×Wi11×(Ds11_1-Dd11_1)
+(0.9×α1+0.1×α2)×Wi12×(Ds12_1-Dd12_1) （１６）
また、上記各実施形態においては、検査画像Ｖ０の画素毎に、複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、複数の評価値に基づいて、検査画像Ｖ０の各画素を複数種類の所見のうちの少なくとも１つの所見に分類しているが、所見分類の手法は評価値を用いる手法に限定されるものではない。
なお、上記各実施形態においては、画像保管サーバ３に症例データベースＤＢを保存しているが、ストレージ１３に症例データベースＤＢを保存してもよい。
また、上記各実施形態においては、検査画像を症例データベースＤＢに登録しているが、検査画像以外の画像を登録対象画像として症例データベースに登録してもよい。
また、上記各実施形態において、例えば、画像取得部２１、所見分類部２２、特徴量算出部２３、重み係数設定部２４、調整部２５、類似度導出部２６、検索部２７および表示制御部２８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
１ 類似度決定装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 所見分類部
２３ 特徴量算出部
２４ 重み係数設定部
２５ 調整部
２６ 類似度導出部
２７ 検索部
２８ 表示制御部
４０ 多層ニューラルネットワーク
４１ 入力層
４２ 出力層
５１ 検索結果
５２〜５４ 検査スライス画像
６０ スライダー
６１ つまみ
ＤＢ 症例データベース
Ｌ０ 検査リスト
Ｒ１〜Ｒ４ 類似症例画像
Ｖ０，Ｖ１ 検査画像

Claims (14)

  1. 第１の医用画像と第２の医用画像との類似度を決定する類似度決定装置であって、
    前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する所見分類部と、
    前記第１の医用画像において分類された所見毎に第１の特徴量を算出する特徴量算出部と、
    前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する重み係数設定部と、
    前記複数種類の所見が分類されてなる複数の所見グループ毎に、前記重み係数を調整して調整重み係数を導出する調整部と、
    前記調整重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を前記所見グループ毎に行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度導出部とを備えた類似度決定装置。
  2. 前記調整部は、前記分類毎に設定された重み係数の前記所見グループ毎の代表値に基づいて、前記重み係数を調整する請求項１に記載の類似度決定装置。
  3. 前記代表値は前記分類毎に設定された重み係数の前記所見グループ毎の総和である請求項２に記載の類似度決定装置。
  4. 前記調整部は、前記重み係数の調整の程度の変更指示に応じて前記重み係数を調整する請求項１から３のいずれか１項に記載の類似度決定装置。
  5. 前記調整部は、表示部に表示された前記重み係数の変更指示を受け付けることにより、前記重み係数を調整する請求項４に記載の類似度決定装置。
  6. 前記調整部は、スライダーである請求項５に記載の類似度決定装置。
  7. 前記複数の所見グループは、前記第１の医用画像に含まれる背景となる所見グループおよび前記第１の医用画像に含まれる重要所見となる所見グループを含む請求項１から６のいずれか１項に記載の類似度決定装置。
  8. 前記複数種類の所見が、２以上の所見グループに分類される少なくとも１つの特定所見を含み、
    前記調整部は、前記特定所見に関して、前記２以上の所見グループとの関連性に応じた重み付けを行って、前記重み係数を調整する請求項１から７のいずれか１項に記載の類似度決定装置。
  9. 前記所見分類部は、前記複数種類の所見を分類するように機械学習がなされた判別器を有し、該判別器により前記第１の医用画像の各画素を前記複数種類の所見に分類する請求項１から８のいずれか１項に記載の類似度決定装置。
  10. 複数の前記第２の医用画像が登録された症例データベースであって、複数の前記第２の医用画像のそれぞれについての前記第２の特徴量が、前記複数の第２の医用画像のそれぞれと対応づけられて登録された症例データベースを参照して、前記第１の医用画像と複数の前記第２の医用画像との類似度に基づいて、前記第１の医用画像に類似する第２の医用画像を類似医用画像として検索する検索部をさらに備えた請求項１から９のいずれか１項に記載の類似度決定装置。
  11. 前記類似医用画像の検索結果を表示部に表示する表示制御部をさらに備えた請求項１０に記載の類似度決定装置。
  12. 前記所見分類部は、前記第１の医用画像の画素毎に、前記複数種類の所見のそれぞれであることの可能性を表す複数の評価値を算出し、該複数の評価値に基づいて、前記第１の医用画像の各画素を前記複数種類の所見のうちの少なくとも１つの所見に分類する請求項１から１１のいずれか１項に記載の類似度決定装置。
  13. 第１の医用画像と第２の医用画像との類似度を決定する類似度決定方法であって、
    前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類し、
    前記第１の医用画像において分類された所見毎に第１の特徴量を算出し、
    前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定し、
    前記複数種類の所見が分類されてなる複数の所見グループ毎に、前記重み係数を調整して調整重み係数を導出し、
    前記調整重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を前記所見グループ毎に行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する類似度決定方法。
  14. 第１の医用画像と第２の医用画像との類似度を決定する手順をコンピュータに実行させる類似度決定プログラムであって、
    前記第１の医用画像の各画素を、複数種類の所見のうちの少なくとも１つの所見に分類する手順と、
    前記第１の医用画像において分類された所見毎に第１の特徴量を算出する手順と、
    前記第１の医用画像において分類された各所見に対して、該各所見のサイズに応じて重み付けの程度が異なる重み係数を設定する手順と、
    前記複数種類の所見が分類されてなる複数の所見グループ毎に、前記重み係数を調整して調整重み係数を導出する手順と、
    前記調整重み係数に応じて、前記第１の医用画像において算出された前記所見毎の前記第１の特徴量と、前記第２の医用画像において予め算出された前記所見毎の第２の特徴量との重み付け演算を前記所見グループ毎に行って、前記第１の医用画像と前記第２の医用画像との類似度を導出する手順とをコンピュータに実行させる類似度決定プログラム。
JP2018162859A 2018-08-31 2018-08-31 類似度決定装置、方法およびプログラム Active JP6914233B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018162859A JP6914233B2 (ja) 2018-08-31 2018-08-31 類似度決定装置、方法およびプログラム
US16/528,805 US11062443B2 (en) 2018-08-31 2019-08-01 Similarity determination apparatus, similarity determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018162859A JP6914233B2 (ja) 2018-08-31 2018-08-31 類似度決定装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020032044A JP2020032044A (ja) 2020-03-05
JP6914233B2 true JP6914233B2 (ja) 2021-08-04

Family

ID=69641475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018162859A Active JP6914233B2 (ja) 2018-08-31 2018-08-31 類似度決定装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US11062443B2 (ja)
JP (1) JP6914233B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3557449B1 (en) * 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
JP7414236B2 (ja) 2020-05-22 2024-01-16 富士通株式会社 肺陰影計測プログラム、肺陰影計測方法及び肺陰影計測システム
CN113409312B (zh) * 2021-08-03 2021-11-02 广东博创佳禾科技有限公司 一种用于生物医疗影像的图像处理方法和装置
CN115908296B (zh) * 2022-11-10 2023-09-22 深圳大学 医学图像类激活映射评价方法、装置、计算机设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342558A (ja) 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
US6941323B1 (en) * 1999-08-09 2005-09-06 Almen Laboratories, Inc. System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images
US8144949B2 (en) * 2007-11-15 2012-03-27 Carestream Health, Inc. Method for segmentation of lesions
JP5026939B2 (ja) * 2007-12-04 2012-09-19 富士フイルム株式会社 画像処理装置およびそのプログラム
JP2010167042A (ja) * 2009-01-21 2010-08-05 Canon Inc 医用診断支援装置及びその制御方法、並びに、プログラム
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP5383431B2 (ja) * 2009-10-27 2014-01-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
JP4979842B1 (ja) * 2011-06-30 2012-07-18 パナソニック株式会社 類似症例検索装置および類似症例検索方法
WO2013018363A1 (ja) * 2011-08-04 2013-02-07 パナソニック株式会社 類似症例検索装置および類似症例検索方法
CN103200861B (zh) * 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
JP5661890B2 (ja) * 2013-10-03 2015-01-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2015196102A1 (en) * 2014-06-20 2015-12-23 Google Inc. Fine-grained image similarity
JP6301277B2 (ja) * 2015-03-20 2018-03-28 富士フイルム株式会社 診断補助画像生成装置および診断補助画像生成方法、並びに、診断補助画像生成プログラム
US20160306936A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Diagnosis support system, information processing method, and program
KR101850772B1 (ko) * 2015-05-27 2018-04-23 삼성에스디에스 주식회사 의료용 메타 데이터베이스 관리 방법 및 그 장치
JP2017079896A (ja) * 2015-10-26 2017-05-18 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP6906347B2 (ja) * 2017-04-10 2021-07-21 富士フイルム株式会社 医用画像分類装置、方法およびプログラム
JP6837376B2 (ja) * 2017-04-10 2021-03-03 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US11657087B2 (en) * 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images

Also Published As

Publication number Publication date
US20200074621A1 (en) 2020-03-05
US11062443B2 (en) 2021-07-13
JP2020032044A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
JP6807820B2 (ja) 画像検索装置、方法およびプログラム
JP6914233B2 (ja) 類似度決定装置、方法およびプログラム
US11756292B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
Abed et al. A comprehensive survey on breast cancer thermography classification using deep neural network
JP7034306B2 (ja) 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
Nanthagopal et al. A region-based segmentation of tumour from brain CT images using nonlinear support vector machine classifier
US20210279879A1 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
US11893735B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP2023114463A (ja) 表示装置、方法およびプログラム
Chacón et al. Computational assessment of stomach tumor volume from multi-slice computerized tomography images in presence of type 2 cancer
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
JP2023545570A (ja) 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること
Thool et al. Artificial Intelligence in Medical Imaging Data Analytics using CT Images
CN111265234A (zh) 一种肺部纵膈淋巴结的性质判定方法及系统
CN112638262B (zh) 相似度确定装置、方法及程序
Mohamed Aarif et al. Deep MammoNet: Early Diagnosis of Breast Cancer Using Multi-layer Hierarchical Features of Deep Transfer Learned Convolutional Neural Network
Jain et al. SumNet Convolution Neural network based Automated pulmonary nodule detection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210713

R150 Certificate of patent or registration of utility model

Ref document number: 6914233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150