JPWO2013088806A1 - 医用画像を検索する方法、装置及びコンピュータプログラム - Google Patents

医用画像を検索する方法、装置及びコンピュータプログラム Download PDF

Info

Publication number
JPWO2013088806A1
JPWO2013088806A1 JP2013549142A JP2013549142A JPWO2013088806A1 JP WO2013088806 A1 JPWO2013088806 A1 JP WO2013088806A1 JP 2013549142 A JP2013549142 A JP 2013549142A JP 2013549142 A JP2013549142 A JP 2013549142A JP WO2013088806 A1 JPWO2013088806 A1 JP WO2013088806A1
Authority
JP
Japan
Prior art keywords
image
wavelet
spatial distance
calculating
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013549142A
Other languages
English (en)
Other versions
JP5902196B2 (ja
Inventor
中野 宏毅
宏毅 中野
由美 森
由美 森
意弘 土居
意弘 土居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2013549142A priority Critical patent/JP5902196B2/ja
Publication of JPWO2013088806A1 publication Critical patent/JPWO2013088806A1/ja
Application granted granted Critical
Publication of JP5902196B2 publication Critical patent/JP5902196B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

新たにX線撮像した画像を用いて、類似症例に該当する既存画像を高い精度で検索することができる、医用画像を検索する方法、装置及びコンピュータプログラムを提供する。
過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する。過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出し、記憶してある画像ごとの読影情報に含まれるキーワードを抽出する。新たに撮像した画像を取得し、取得した画像のウェーブレット特徴を算出し、取得した画像に対応する読影情報に含まれるキーワードを抽出する。抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索し、検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する。算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力する。

Description

本発明は、記憶してある複数の画像の中から、取得した画像との類似度が高い画像を検索することができる医用画像を検索する方法、装置及びコンピュータプログラムに関する。
医療行為において、X線撮像により取得した画像に基づいて患者の体内の状態を把握することが重要である。患者をX線撮像した画像と、過去に撮像されたX線画像とを比較することにより、患者の症状の原因を特定し、適切な医療行為を選択することにより、患者の症状の早期改善を図ることができる。
類似する技術として、例えば特許文献1では、心臓磁気信号を計測し、計測した心臓磁気信号と過去に計測された心臓磁気信号との比較を行い、心疾患であるか否かの推定、及び心疾患の候補を推定する心臓磁気計測装置が開示されている。また、画像を比較して検索する例として、例えば特許文献2では、過去の読影レポートデータ内の診断画像と、新規診断画像との類似度を算出し、併せて過去の読影レポートデータ内の診断結果名の出現率を考慮して、過去の診断画像及び対応する読影レポートデータを検索する検索システムが開示されている。
特開2005−237781号公報 特開2008−077163号公報
しかし、特許文献1では、心臓磁気信号という間接的な情報に基づく判断となり、他の疾患により類似信号が発生した場合と区別することができない。また、特許文献2では、画像間の類似度を両画像の特徴部分のユークリッド距離で算出しているが、撮像した画像のどの部分が特徴部分であるかを判断する必要があり、医師の読影技術の優劣により判断に差異が生じるおそれがあるという問題点があった。
本発明は斯かる事情に鑑みてなされたものであり、新たにX線撮像した画像を用いて、類似症例に該当する既存画像を高い精度で検索することができる、医用画像を検索する方法、装置及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る方法は、過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する装置で実行することが可能な方法であって、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するステップと、記憶してある画像ごとの読影情報に含まれるキーワードを抽出するステップと、記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶するステップと、新たに撮像した画像を取得するステップと、取得した画像のウェーブレット特徴を算出するステップと、取得した画像に対応する読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索するステップと、検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出するステップと、算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力するステップとを含む。
また、第2発明に係る方法は、第1発明において、前記ウェーブレット特徴として、2次元のガボールウェーブレット特徴を算出する。
また、第3発明に係る方法は、第1又は第2発明において、画像ごとにM(Mは2以上の自然数)個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりM次元のビット列に換算し、すべての画像について度数分布ベクトルを算出するステップを含み、算出した度数分布ベクトル間のなす角度として前記空間距離を算出する。
次に、上記目的を達成するために第4発明に係る装置は、過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する装置であって、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する特徴算出手段と、記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段と、記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段と、新たに撮像した画像を取得する画像取得手段と、取得した画像のウェーブレット特徴を算出するウェーブレット特徴算出手段と、取得した画像に対応する読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索する読影情報検索手段と、検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する空間距離算出手段と、算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力する出力手段とを備える。
また、第5発明に係る装置は、第4発明において、前記特徴算出手段及び前記ウェーブレット特徴算出手段は、前記ウェーブレット特徴として、2次元のガボールウェーブレット特徴を算出する。
また、第6発明に係る装置は、第4又は第5発明において、画像ごとにM(Mは2以上の自然数)個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりM次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段を備え、前記空間距離算出手段は、算出した度数分布ベクトル間のなす角度として前記空間距離を算出する。
次に、上記目的を達成するために第7発明に係るコンピュータプログラムは、過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する装置で実行することが可能なコンピュータプログラムであって、前記装置を、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する特徴算出手段、記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段、記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段、新たに撮像した画像を取得する画像取得手段、取得した画像のウェーブレット特徴を算出するウェーブレット特徴算出手段、取得した画像に対応する読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索する読影情報検索手段、検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する空間距離算出手段、及び算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力する出力手段として機能させる。
また、第8発明に係るコンピュータプログラムは、第7発明において、前記特徴算出手段及び前記ウェーブレット特徴算出手段を、前記ウェーブレット特徴として、2次元のガボールウェーブレット特徴を算出する手段として機能させる。
また、第9発明に係るコンピュータプログラムは、第7又は第8発明において、前記装置を、画像ごとにM(Mは2以上の自然数)個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりM次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段として機能させ、前記空間距離算出手段を、算出した度数分布ベクトル間のなす角度として前記空間距離を算出する手段として機能させる。
本発明によれば、取得した医用画像の特徴を示すウェーブレット特徴に基づいて、過去の症例として記憶されている画像の中から類似する画像を検索することができるので、経験の浅い医師であっても、最も類似する症例に対応する画像を検索することができ、適切な医療行為を選択することが可能となる。
本発明の実施の形態に係る医用画像検索装置の構成を模式的に示すブロック図である。 本発明の実施の形態に係る医用画像検索装置の機能ブロック図である。 本発明の実施の形態に係る医用画像検索装置の画像内の座標設定の説明図である。 二次元のガボールウェーブレット関数の例示図である。 本発明の実施の形態に係る医用画像検索装置の二次元のガボールウェーブレット関数の方向を示す模式図である。 本発明の実施の形態に係る医用画像検索装置のビジュアルワード記憶部に記憶されるビジュアルワードのデータ構造の例示図である。 本発明の実施の形態に係る医用画像検索装置のキーワード抽出の例示図である。 本発明の実施の形態に係るヒストグラムの例示図である。 本発明の実施の形態に係る医用画像検索装置の検索結果表示画面の例示図である。 本発明の実施の形態に係る医用画像検索装置のCPUの処理手順を示すフローチャートである。
以下、本発明の実施の形態に係る、過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する医用画像検索装置について、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。
また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきものではない。実施の形態を通じて同じ要素には同一の符号を付している。
以下の実施の形態では、コンピュータシステムにコンピュータプログラムを導入した装置について説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータプログラムとして実施することができる。したがって、本発明は、過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する医用画像検索装置というハードウェアとしての実施の形態、ソフトウェアとしての実施の形態、又はソフトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータプログラムは、ハードディスク、DVD、CD、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。
本発明の実施の形態によれば、取得した医用画像の特徴を示すウェーブレット特徴に基づいて、過去の症例として記憶されている画像の中から類似する画像を検索することができるので、経験の浅い医師であっても、最も類似する症例に対応する画像を検索することができ、適切な医療行為を選択することが可能となる。
図1は、本発明の実施の形態に係る医用画像検索装置の構成を模式的に示すブロック図である。本発明の実施の形態に係る医用画像検索装置1は、少なくともCPU(中央演算装置)11、メモリ12、記憶装置13、I/Oインタフェース14、ビデオインタフェース15、可搬型ディスクドライブ16、通信インタフェース17及び上述したハードウェアを接続する内部バス18で構成されている。
CPU11は、内部バス18を介して医用画像検索装置1の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置13に記憶されたコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ12は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。
記憶装置13は、内蔵される固定型記憶装置(ハードディスク)、ROM等で構成されている。記憶装置13に記憶されたコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ16によりダウンロードされ、実行時には記憶装置13からメモリ12へ展開して実行される。もちろん、通信インタフェース17を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。
記憶装置13は、医用画像記憶部131、読影情報記憶部132、ビジュアルワード記憶部133、及び度数分布情報記憶部134を備える。医用画像記憶部131は、X線撮像した過去の画像データを、読影情報を識別する識別情報に対応付けて記憶してある。
読影情報記憶部132は、過去の医用画像に対して、医師が読影して診断した結果を記憶してある。例えば「左肺野上葉に結節影が認められる。扁平上皮癌の疑い。HR−CTにて精密検査を指示」等の医師の診断結果をテキストデータとして、識別情報に対応付けて記憶する。
ビジュアルワード記憶部133は、後述するガボールウェーブレット特徴群をビジュアルワードとして記憶する。度数分布情報記憶部134は、算出したウェーブレット特徴を二値化してM次元のビット列に換算した値の度数分布ベクトルを記憶する。
通信インタフェース17は内部バス18に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。
I/Oインタフェース14は、キーボード21、マウス22等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース15は、CRTディスプレイ、液晶ディスプレイ等の表示装置23と接続され、表示装置23に検出結果を表示する。
図2は、本発明の実施の形態に係る医用画像検索装置1の機能ブロック図である。図2において、医用画像検索装置1の特徴算出部201は、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する。本実施の形態では、ウェーブレット特徴としてガボールウェーブレット特徴を算出する。
図3は、本発明の実施の形態に係る医用画像検索装置1の画像内の座標設定の説明図である。図3に示すように、画像の左上を原点として、x方向にm画素、y方向にn画素で構成されている画像をs(x,y)と定義している。任意のi(iは自然数)番目の画素Pi の座標をPi (xi ,yi )と表す。
まず座標Pi (xi ,yi )を座標(Xi ,Yi )へ(式1)に従ってアフィン変換する。

(式1)において、行列Aは3×3のアフィン変換行列である。画像全体をx方向へtx、y方向へty移動するアフィン変換は(式2)で、画像全体を回転角θで回転させるアフィン変換は(式3)で、それぞれ表すことができる。


二次元のガボールウェーブレット関数は、回転するアフィン変換後の座標値(xドット,yドット)に対して(式4)に示すように定義される。

二次元のガボールウェーブレット関数は、実部と虚部とで構成される。図4は、二次元のガボールウェーブレット関数の例示図である。図4(a)は、二次元のガボールウェーブレット関数の実部の例示図を、図4(b)は、二次元のガボールウェーブレット関数の虚部の例示図を、それぞれ示している。図4からわかるように、二次元のガボールウェーブレット関数の実部は、(x,y)=(0,0)近傍で極大値を有する帽子状に波打ったような形状を有している。(式4)のu0 は斯かる波形状の周波数を示しており、σは帽子状の幅の広さを示している。また、rは後述する方向を示している。
(式4)に示す窓関数gσは二次元ガウス関数であり、(式5)で表すことができる。

二次元のガボールウェーブレット関数を用いて、取得した画像s(x,y)に対するガボールウェーブレット特徴は、(式6)で算出することができる。ガボールウェーブレット特徴の絶対値が極大値を有する格子点及び該格子点の近傍のガボールウェーブレット特徴は、画像に対して拡大/縮小、回転等のアフィン変換を施した場合であっても不変であることから、画像の特徴量として適している。

(式6)において、aj ,a-jはダイレーション(拡大/縮小)の度合いを示すパラメータを、x0 ,y0 は平行移動を示している。また、rは方向を示しており、本実施の形態では8方向について、それぞれガボールウェーブレット特徴を算出する。
図5は、本発明の実施の形態に係る医用画像検索装置1の二次元のガボールウェーブレット関数の方向を示す模式図である。図5に示すように、本実施の形態では、(1)〜(8)の方向、すなわち所定の方向から22.5度ずつ回転させた8方向について、ガボールウェーブレット特徴を算出する。
ガボールウェーブレット特徴を算出することにより、例えば人間の臓器の形状のバラツキ等を吸収したウェーブレット特徴量を算出することができるので、高い精度で類似画像を検索することができる。
例えば、座標(x,y)(画像内の格子点)ごとに、(式6)を用いてガボールウェーブレット特徴を算出する場合、8方向(r=1〜8)、5スケール(j=1〜5)を選択し、一座標につき40個のガボールウェーブレット特徴を算出する。ここで、スケールとは、拡大/縮小する大きさを区別する値であり、例えば1から5へ向かうほど拡大されていることを示す。算出したガボールウェーブレット特徴のうち、絶対値が所定の閾値以上であるガボールウェーブレット特徴を抽出して、その中で極大値を有するガボールウェーブレット特徴を選択する。
ガボールウェーブレット特徴の絶対値が極大値となるということは、(式6)における積分値の絶対値が極大であることを意味しており、画像の平均輝度を変更する、画像の縮尺を変更する、画像を回転する等の操作をした場合であっても変わらない、不変の特徴量となる。
本実施の形態では、極大値となるスケールにおける8方向のガボールウェーブレット特徴、及びその前後それぞれのスケールにおける8方向のガボールウェーブレット特徴からなる、併せて24個(3スケール×8方向)のガボールウェーブレット特徴を、一組のビジュアルワードとしてビジュアルワード記憶部133に記憶する。
図6は、本発明の実施の形態に係る医用画像検索装置1の記憶装置13のビジュアルワード記憶部133に記憶されるビジュアルワードのデータ構造の例示図である。図6に示すように、識別番号1、2、3、・・・ごとに、算出した24個のガボールウェーブレット特徴を列挙して記憶している。すなわち、最初の‘1’は識別番号、ブランクを挟んで次の‘1:’〜‘24:’の後ろに記載されている数値が、それぞれ算出した24個のガボールウェーブレット特徴を示している。図6の例は、1つの画像内に極大値が3つ存在する場合のビジュアルワードを示している。したがって、図6では、識別番号‘1’、‘2’、‘3’の3つについてビジュアルワードが記憶されているが、極大値の数が1つであれば識別番号‘1’のみであることは言うまでもない。
図2に戻って、キーワード抽出部202は、記憶装置13の医用画像記憶部131に記憶してある過去の画像に対応している、記憶装置13の読影情報記憶部132に記憶してある読影情報に含まれるキーワードを抽出する。例えば、記憶装置13の読影情報記憶部132に「左肺野上葉に結節影が認められる。扁平上皮癌の疑い。HR−CTにて精密検査を指示」が記憶されている場合、形態素解析等を用いて構文解析し、「部位」、「症状」、「病名」、「処置」等に区分してキーワードを抽出する。
図7は、本発明の実施の形態に係る医用画像検索装置1のキーワード抽出の例示図である。図7の例では、「左肺野上葉に結節影が認められる。扁平上皮癌の疑い。HR−CTにて精密検査を指示」を構文解析することにより、「部位」は「左肺野上葉」であり、「症状」は「結節影」、「病名」は「扁平上皮癌の疑い」、「処置」は「HR−CTにて精密検査」とキーワードを抽出している。
情報記憶部203は、記憶装置13の医用画像記憶部131に記憶してある過去の画像に対応付けて、上述した方法で算出したウェーブレット特徴及び抽出したキーワードを記憶装置13のビジュアルワード記憶部133にビジュアルワードとして記憶する。
画像取得部204は、新たに撮像した画像を取得する。同時に、対応する読影情報も取得することが好ましい。類似画像を検索する対象となる画像を絞り込むことができるからである。
ウェーブレット特徴算出部205は、上述した方法と同様にして、取得した画像のウェーブレット特徴を算出して、ビジュアルワードとしてビジュアルワード記憶部133に記憶する。
読影情報検索部206は、取得した画像の読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶装置13の読影情報記憶部132に記憶してあるキーワードから類似する読影情報を検索する。これにより、類似画像を検索する対象となる画像を効果的に絞り込むことができる。
空間距離算出部207は、検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する。具体的には、画素ごとにM(Mは2以上の自然数)個のウェーブレット特徴、例えば24個のウェーブレット特徴を算出し、それぞれ二値化することによりM(M=24)次元のビット列に換算する。
度数分布ベクトル算出部209は、換算した24次元のビット列の値の度数分布を示すヒストグラムを生成する。ヒストグラムは、新たに取得した画像だけではなく、医用画像記憶部131に記憶してあるすべての画像、あるいは読影情報検索部206で検索された読影情報に対応する画像についても、同様にヒストグラムを生成する。
図8は、本発明の実施の形態に係るヒストグラムの例示図である。横軸に224の値をとり、それぞれの値の度数分布を求める。そして、画像ごとの度数分布を度数分布ベクトルとして用いることで、類似する画像を検索する対象となる画像を効果的に絞り込むことができる。生成したヒストグラムに関する情報は、記憶装置13の度数分布情報記憶部134に記憶する。
空間距離算出部207は、算出した度数分布ベクトル間のなす角度として、新たに取得した画像と、医用画像記憶部131に記憶してある画像との間の空間距離を算出する。具体的には、新たに取得した画像の度数分布ベクトルをV1、医用画像記憶部131に記憶してある画像の度数分布ベクトルをV2とした場合、(式7)に従って2つのベクトルのなす角φに対するcosφとして算出する。

なお、(式7)において、<V1,V2>はベクトルV1とベクトルV2との内積を、分母は、ベクトルV1のノルム(長さ)とベクトルV2のノルムとの積を、それぞれ示している。
図2に戻って、結果出力部(出力手段)208は、算出した空間距離が所定値より短い画像を、空間距離が短い順に検索結果として出力する。つまり、空間距離が短い画像であればあるほど、新たに取得した画像との類似度が高いと判断することができ、類似した過去の画像を参照することにより、適切な医療行為を選択することが可能となる。
なお、検索結果として表示装置23に表示出力された画像に、特徴ベクトルを重畳して表示出力しても良い。図9は、本発明の実施の形態に係る医用画像検索装置1の検索結果表示画面の例示図である。
図9に示すように、取得した画像に最も類似していると判断された過去の画像が表示されるとともに、ウェーブレット特徴のうち所定値より大きいウェーブレット特徴を、特徴ベクトルとして画像に重畳して表示している。矢印の長さが特徴量の大きさを示しており、方向は8方向のうち特徴量が一番大きい方向を示している。また、色、線種等により、スケールの区別をしても良い。
図10は、本発明の実施の形態に係る医用画像検索装置1のCPU11の処理手順を示すフローチャートである。図10において、医用画像検索装置1のCPU11は、過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する(ステップS1001)。本実施の形態では、ウェーブレット特徴としてガボールウェーブレット特徴を算出する。
CPU11は、記憶してある過去の画像について、画像ごとの読影情報に含まれるキーワードを抽出し(ステップS1002)、記憶してある過去の画像に対応付けて上述した方法で算出したウェーブレット特徴及び抽出したキーワードを記憶しておく。
CPU11は、新たに撮像した画像を、読影情報に対応付けて取得し(ステップS1003)、上述した方法を用いて、取得した画像のウェーブレット特徴を算出し(ステップS1004)、ビジュアルワードとしてビジュアルワード記憶部133に記憶する。
CPU11は、取得した画像に対応する読影情報に含まれるキーワードを抽出し(ステップS1005)、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索する(ステップS1006)。これにより、類似画像を検索する対象となる画像を効果的に絞り込むことができる。
CPU11は、検索した読影情報に対応する複数の画像それぞれについて、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する(ステップS1007)。CPU11は、検索した読影情報に対応する複数の画像から一の画像を選択し(ステップS1008)、選択した画像について算出した空間距離が所定値より短いか否かを判断する(ステップS1009)。
CPU11が、所定値より短いと判断した場合(ステップS1009:YES)、該画像は類似していると判断し、空間距離が短い順に検索結果として出力する(ステップS1010)。例えば表示装置23に、画像を表示出力する。
CPU11が、所定値以上であると判断した場合(ステップS1009:NO)、該画像は類似していないと判断し、ステップS1010をスキップする。CPU11は、全ての画像を選択したか否かを判断し(ステップS1011)、CPU11が、まだ選択していない画像が存在すると判断した場合(ステップS1011:NO)、CPU11は、次の画像を選択して(ステップS1012)、処理をステップS1009へ戻して、上述した処理を繰り返す。CPU11が、全ての画像を選択したと判断した場合(ステップS1011:YES),CPU11は、処理を終了する。
以上のように本実施の形態によれば、取得した医用画像の特徴を示すウェーブレット特徴に基づいて、過去の症例として記憶されている画像の中から類似する画像を検索することができるので、経験の浅い医師であっても、最も類似する症例に対応する画像を検索することができ、適切な医療行為を選択することが可能となる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。
1 医用画像検索装置
11 CPU
12 メモリ
13 記憶装置
14 I/Oインタフェース
15 ビデオインタフェース
16 可搬型ディスクドライブ
17 通信インタフェース
18 内部バス
90 可搬型記録媒体
100 コンピュータプログラム
131 医用画像記憶部
132 読影情報記憶部
133 ビジュアルワード記憶部
134 度数分布情報記憶部

Claims (9)

  1. 過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する装置で実行することが可能な方法であって、
    過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出するステップと、
    記憶してある画像ごとの読影情報に含まれるキーワードを抽出するステップと、
    記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶するステップと、
    新たに撮像した画像を取得するステップと、
    取得した画像のウェーブレット特徴を算出するステップと、
    取得した画像に対応する読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索するステップと、
    検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出するステップと、
    算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力するステップと
    を含む方法。
  2. 前記ウェーブレット特徴として、2次元のガボールウェーブレット特徴を算出する請求項1に記載の方法。
  3. 画像ごとにM(Mは2以上の自然数)個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりM次元のビット列に換算し、すべての画像について度数分布ベクトルを算出するステップを含み、
    算出した度数分布ベクトル間のなす角度として前記空間距離を算出する請求項1又は2に記載の方法。
  4. 過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する装置であって、
    過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する特徴算出手段と、
    記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段と、
    記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段と、
    新たに撮像した画像を取得する画像取得手段と、
    取得した画像のウェーブレット特徴を算出するウェーブレット特徴算出手段と、
    取得した画像に対応する読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索する読影情報検索手段と、
    検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する空間距離算出手段と、
    算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力する出力手段と
    を備える装置。
  5. 前記特徴算出手段及び前記ウェーブレット特徴算出手段は、前記ウェーブレット特徴として、2次元のガボールウェーブレット特徴を算出する請求項4に記載の装置。
  6. 画像ごとにM(Mは2以上の自然数)個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりM次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段を備え、
    前記空間距離算出手段は、算出した度数分布ベクトル間のなす角度として前記空間距離を算出する請求項4又は5に記載の装置。
  7. 過去の症例に基づく医用画像の中から、新たに撮像した画像に類似する画像を検索する、医用画像を検索する装置で実行することが可能なコンピュータプログラムであって、
    前記装置を、
    過去に撮像して記憶してある複数の画像のウェーブレット特徴を算出する特徴算出手段、
    記憶してある画像ごとの読影情報に含まれるキーワードを抽出するキーワード抽出手段、
    記憶してある画像に対応付けて、算出したウェーブレット特徴及び抽出したキーワードを記憶する情報記憶手段、
    新たに撮像した画像を取得する画像取得手段、
    取得した画像のウェーブレット特徴を算出するウェーブレット特徴算出手段、
    取得した画像に対応する読影情報に含まれるキーワードを抽出し、抽出したキーワードに基づいて、記憶してあるキーワードから類似する読影情報を検索する読影情報検索手段、
    検索した読影情報に対応する画像と、取得した画像との間のウェーブレット特徴に基づく空間距離を算出する空間距離算出手段、及び
    算出した空間距離が所定値より短い画像を、前記空間距離が短い順に検索結果として出力する出力手段
    として機能させるコンピュータプログラム。
  8. 前記特徴算出手段及び前記ウェーブレット特徴算出手段を、前記ウェーブレット特徴として、2次元のガボールウェーブレット特徴を算出する手段として機能させる請求項7に記載のコンピュータプログラム。
  9. 前記装置を、画像ごとにM(Mは2以上の自然数)個の前記ウェーブレット特徴を算出し、それぞれ二値化することによりM次元のビット列に換算し、すべての画像について度数分布ベクトルを算出する度数分布ベクトル算出手段として機能させ、
    前記空間距離算出手段を、算出した度数分布ベクトル間のなす角度として前記空間距離を算出する手段として機能させる請求項7又は8に記載のコンピュータプログラム。
JP2013549142A 2011-12-13 2012-09-20 医用画像を検索する方法、装置及びコンピュータプログラム Expired - Fee Related JP5902196B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013549142A JP5902196B2 (ja) 2011-12-13 2012-09-20 医用画像を検索する方法、装置及びコンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011272174 2011-12-13
JP2011272174 2011-12-13
JP2013549142A JP5902196B2 (ja) 2011-12-13 2012-09-20 医用画像を検索する方法、装置及びコンピュータプログラム
PCT/JP2012/074063 WO2013088806A1 (ja) 2011-12-13 2012-09-20 医用画像を検索する方法、装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2013088806A1 true JPWO2013088806A1 (ja) 2015-04-27
JP5902196B2 JP5902196B2 (ja) 2016-04-13

Family

ID=48612265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549142A Expired - Fee Related JP5902196B2 (ja) 2011-12-13 2012-09-20 医用画像を検索する方法、装置及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US9201902B2 (ja)
JP (1) JP5902196B2 (ja)
CN (1) CN103988204B (ja)
DE (1) DE112012004814T5 (ja)
GB (1) GB2511686A (ja)
WO (1) WO2013088806A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016073841A1 (en) * 2014-11-06 2016-05-12 Siemens Medical Solutions Usa, Inc. Scan data retrieval with depth sensor data
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
JP6310529B1 (ja) * 2016-11-01 2018-04-11 ヤフー株式会社 検索装置、検索方法および検索プログラム
CN113556978A (zh) * 2018-12-11 2021-10-26 深圳市智慧健康产业发展有限公司 一种b超智能辅助采集方法及系统
WO2021124869A1 (ja) * 2019-12-17 2021-06-24 富士フイルム株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
CN116152189B (zh) * 2023-01-31 2023-12-19 华纺股份有限公司 一种图案织物瑕疵检测方法、系统及检测终端机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326286A (ja) * 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2004078939A (ja) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd オブジェクト識別方法および装置ならびにプログラム
JP2006164008A (ja) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2008077163A (ja) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd 検索システム、検索方法及び検索プログラム
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2011040050A (ja) * 2009-07-15 2011-02-24 Nikon Corp 画像分類装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3850104B2 (ja) * 1997-05-23 2006-11-29 ユー・エム・シー・ジャパン株式会社 半導体装置の製造方法
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
CN1445696A (zh) * 2002-03-18 2003-10-01 朗迅科技公司 自动检索图像数据库中相似图象的方法
JP3910997B2 (ja) * 2003-07-02 2007-04-25 聰 山竹 画像データベースシステム
US7734107B2 (en) * 2006-02-24 2010-06-08 Sony Corporation System and method for performing wavelet-based texture feature extraction and classification
JP4905967B2 (ja) * 2007-03-02 2012-03-28 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP5098559B2 (ja) * 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
CN101515285B (zh) * 2009-04-03 2010-09-08 东南大学 基于图像小波特征的图像检索与过滤装置及方法
JP2011050040A (ja) 2009-07-31 2011-03-10 Renesas Electronics Corp 演算増幅器及びそれを用いた半導体装置
JP5670079B2 (ja) * 2009-09-30 2015-02-18 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
JP5383431B2 (ja) * 2009-10-27 2014-01-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN102117329B (zh) * 2011-03-04 2012-08-15 南方医科大学 基于小波变换的胶囊内窥镜图像检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326286A (ja) * 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
JP2002230518A (ja) * 2000-11-29 2002-08-16 Fujitsu Ltd 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2004078939A (ja) * 2002-07-30 2004-03-11 Fuji Photo Film Co Ltd オブジェクト識別方法および装置ならびにプログラム
JP2006164008A (ja) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2008077163A (ja) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd 検索システム、検索方法及び検索プログラム
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2011040050A (ja) * 2009-07-15 2011-02-24 Nikon Corp 画像分類装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNG200100301003; 上原 祐介、外5名: 'MIRACLES:マルチメディア情報のパノラミック検索システム-Web検索への応用-' 電子情報通信学会技術研究報告 第100巻,第31号, 20000502, p.17-24, 社団法人電子情報通信学会 *
CSNG200100378005; 菊池 久和: 'ウェーブレット変換とその応用-IV' システム/制御/情報 第41巻,第12号, 19971215, p.36-41, システム制御情報学会 *
JPN6015004276; 上原 祐介、外5名: 'MIRACLES:マルチメディア情報のパノラミック検索システム-Web検索への応用-' 電子情報通信学会技術研究報告 第100巻,第31号, 20000502, p.17-24, 社団法人電子情報通信学会 *
JPN6015004277; 菊池 久和: 'ウェーブレット変換とその応用-IV' システム/制御/情報 第41巻,第12号, 19971215, p.36-41, システム制御情報学会 *

Also Published As

Publication number Publication date
JP5902196B2 (ja) 2016-04-13
DE112012004814T5 (de) 2014-08-14
CN103988204A (zh) 2014-08-13
CN103988204B (zh) 2017-05-17
US20140348402A1 (en) 2014-11-27
US9201902B2 (en) 2015-12-01
WO2013088806A1 (ja) 2013-06-20
GB201410417D0 (en) 2014-07-23
GB2511686A (en) 2014-09-10

Similar Documents

Publication Publication Date Title
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
JP5902196B2 (ja) 医用画像を検索する方法、装置及びコンピュータプログラム
US8958614B2 (en) Image-based detection using hierarchical learning
US9959615B2 (en) System and method for automatic pulmonary embolism detection
JP6587610B2 (ja) 映像医療機器により取得した画像を処理するシステムおよびそのシステムの作動方法
JP5801379B2 (ja) 確率密度関数推定器
US8023710B2 (en) Virtual colonoscopy via wavelets
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
US9208173B1 (en) Techniques for medical image retreival
JP2021144675A (ja) 方法及びプログラム
JP5072625B2 (ja) 画像処理装置及びその方法
JP5764220B2 (ja) 症例ごとの代表画像及び読影情報を生成する方法、装置及びコンピュータプログラム
JPWO2019111339A1 (ja) 学習装置、検査システム、学習方法、検査方法およびプログラム
Lucassen et al. Deep learning for detection and localization of B-lines in lung ultrasound
JP5655327B2 (ja) プログラムおよび情報処理装置
US9262442B2 (en) Techniques for generating a representative image and radiographic interpretation information for a case
US10176612B2 (en) System and method for retrieval of similar findings from a hybrid image dataset
Şekeroğlu et al. A computer aided diagnosis system for lung cancer detection using support vector machine
CN108875814B (zh) 图片检索方法、装置及电子设备
JP6521053B2 (ja) 検索プログラム、検索方法および検索装置
Bergamasco et al. Using bipartite graphs for 3d cardiac model retrieval
US20240119750A1 (en) Method of generating language feature extraction model, information processing apparatus, information processing method, and program
JP7151464B2 (ja) 肺画像処理プログラム、肺画像処理方法および肺画像処理システム
US20210383547A1 (en) Medical image processing
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150430

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20150626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160309

R150 Certificate of patent or registration of utility model

Ref document number: 5902196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees