JP7380668B2 - 表示制御装置、表示制御システム、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御システム、表示制御方法及びプログラム Download PDF

Info

Publication number
JP7380668B2
JP7380668B2 JP2021203346A JP2021203346A JP7380668B2 JP 7380668 B2 JP7380668 B2 JP 7380668B2 JP 2021203346 A JP2021203346 A JP 2021203346A JP 2021203346 A JP2021203346 A JP 2021203346A JP 7380668 B2 JP7380668 B2 JP 7380668B2
Authority
JP
Japan
Prior art keywords
index
disease
attribute
display control
disease attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021203346A
Other languages
English (en)
Other versions
JP2022033975A5 (ja
JP2022033975A (ja
Inventor
茜 皆川
弘志 古賀
和久 松永
玲 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019122644A external-priority patent/JP7176486B2/ja
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of JP2022033975A publication Critical patent/JP2022033975A/ja
Publication of JP2022033975A5 publication Critical patent/JP2022033975A5/ja
Application granted granted Critical
Publication of JP7380668B2 publication Critical patent/JP7380668B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、表示制御装置、表示制御システム、表示制御方法及びプログラムに関する。
皮膚科において、皮膚の疾患の診断は、熟練を要し、かなり困難な作業である。そこで、最近では、患部を撮影してその撮影画像をコンピュータにより解析する技術が開発されてきている。大量の症例をデータベース化して、患者の患部の撮影画像をクエリ画像として類似画像検索を行い、類似した症例を参考に診断を行なうものである。
類似画像を表示する装置として、例えば、特許文献1には、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出し、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する画像検索装置等が記載されている。
また、診断を支援するために、患部の良性/悪性を判定する技術も開発されてきている。例えば、非特許文献1には、皮膚疾患の良性/悪性の度合いを1軸の情報で視覚的に提供する診断支援装置が記載されている。
特開2010-250529号公報
"Nevisense - a breakthrough in non-invasive detection of melanoma"、[online]、[令和1年6月14日検索]、インターネット〈URL:https://scibase.com/the-nevisense-product/〉
特許文献1に記載の画像検索装置は、クエリ画像と類似する画像をクエリ画像の周囲にリンク線とともに表示し、新たなクエリ画像が指定された場合、過去の検索結果に追加表示することはできるが、クエリ画像と類似する複数の画像について、その類似の関係性がわかりにくいという課題があった。
また、非特許文献1に記載の診断支援装置は、診断対象部分の良性/悪性の度合いを視覚的に把握できる情報を提供するが、良性/悪性の度合いしか把握できず、診断対象部分の疾患の属性情報を把握しにくいという課題があった。
発明の目的は、診断対象部分の疾患の属性情報を把握しやすく表示させることができる表示制御装置、表示制御システム、表示制御方法及びプログラムを提供することである。
上記目的を達成するため、本発明の表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御手段と、を備え
前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である
本発明によれば、診断対象部分の疾患の属性情報を把握しやすく表示させることができる。
本発明の実施形態1に係る類似画像表示装置の機能構成を示す図である。 実施形態1に係る位置決定部によるカテゴリの位置の決定の一例を示す図である。 実施形態1に係る画像表示制御部による類似画像表示の一例を示す図である。 実施形態1に係る類似画像表示装置の類似画像表示処理のフローチャートである。 実施形態1に係る比較表示画面の一例を示す図である。 本発明の変形例1に係る画像表示制御部による類似画像表示の一例を示す図である。 本発明の変形例2に係る画像表示制御部による類似画像表示の一例を示す図である。 本発明の実施形態2に係る表示制御装置の機能構成を示す図である。 実施形態2に係る表示制御装置による表示の一例を示す図である。 実施形態2に係る表示制御装置の表示制御処理のフローチャートである。 実施形態2に係る表示制御装置のリスク境界線生成処理のフローチャートである。 本発明の実施形態3に係る表示制御装置の機能構成を示す図である。 実施形態3に係る表示制御装置による表示の一例を示す図である。 実施形態3に係る表示制御装置の表示制御処理のフローチャートである。 本発明の実施形態4に係る表示制御装置の機能構成を示す図である。 実施形態4に係る表示制御装置による表示の一例を示す図である。 実施形態4に係る表示制御装置の表示制御処理のフローチャートである。
以下、本発明の実施形態に係る類似画像表示装置等について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。
(実施形態1)
本発明の実施形態1に係る類似画像表示装置100は、クエリ画像に対する類似画像検索の結果得られた類似画像を、所定のカテゴリ毎に集めて、クエリ画像との類似度に基づいてカテゴリ内に配置する。そして、その類似画像が集まって配置されたカテゴリを、所定の軸で定義されたn次元空間内に配置して表示することにより、類似画像間の関係性をわかりやすく表示する。このような表示を行うための仕組みについて、以下に説明する。
実施形態1に係る類似画像表示装置100は、図1に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。
制御部10は、CPU(Central Processing Unit)等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(類似画像取得部11、カテゴリ設定部12、位置決定部13、分類部14、画像表示制御部15)の機能を実現する。
記憶部20は、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、制御部10のCPUが実行するプログラム及び必要なデータを記憶する。
入力部31は、類似画像表示装置100のユーザが類似画像表示装置100に与える指示を入力したり、クエリ画像を入力したりするためのデバイス(キーボード、マウス、タッチパネル、カメラ等)である。制御部10は、入力部31を介してユーザからの指示や、クエリ画像を取得する。入力部31としては、制御部10がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部10は、クエリ画像を、通信部33を介して取得してもよい。なお、クエリ画像とは、ユーザが類似画像表示装置100に表示させる類似画像を検索する際に入力する画像データである。類似画像表示装置100は、クエリ画像に類似する複数の画像をユーザにわかりやすく提示する。
出力部32は、制御部10が、類似画像をユーザに提示するためのデバイス(ディスプレイ、ディスプレイ用のインタフェース等)である。類似画像表示装置100は、出力部32としてディスプレイ(表示部)を備えてもよいし、出力部32を介して接続した外部のディスプレイに検索結果等を表示してもよい。なお、ディスプレイ(表示部)を備えない類似画像表示装置100(出力部32がディスプレイ(表示部)用のインタフェースになっている類似画像表示装置100)は、類似画像表示制御装置とも呼ばれる。
通信部33は、外部の他の装置(例えば、画像データのデータベースが格納されているサーバ、類似画像検索装置等)とデータの送受信を行うためのデバイス(ネットワークインタフェース等)である。制御部10は、通信部33を介してクエリ画像やクエリ画像に類似する画像を取得することができる。
次に、制御部10の機能について説明する。制御部10は、類似画像取得部11、カテゴリ設定部12、位置決定部13、分類部14及び画像表示制御部15の機能を実現する。
類似画像取得部11は、クエリ画像に対する類似画像検索の結果得られたデータ(類似画像の画像データ及び該画像のクエリ画像との類似度)を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部11は、制御部10がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部33を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。類似画像取得部11は、類似画像取得手段として機能する。
カテゴリ設定部12は、類似画像取得部11が取得した画像データを分類するカテゴリ群(複数のカテゴリ)を設定する。このカテゴリ群とは、例えば、皮膚の画像データを対象とする場合は、疾患名(色素性母斑、メラノーマ、基底細胞癌等)、外形形状(円形、星形、楕円形等)、色味(赤、黒、茶等)、大きさ、内部構造、母斑(色素斑)の状態(網状パターン、小球状パターン、敷石状パターン、均一パターン、平行パターン、スターバーストパターン、多構築パターン、非特異的パターン等)等である。例えば、疾患名をカテゴリ群とする場合、具体的な疾患名である色素性母斑、メラノーマ、基底細胞癌等が、それぞれ1つのカテゴリとなる。分類するカテゴリ群(複数のカテゴリ)の情報は、予め記憶部20に記憶されており、カテゴリ設定部12は、記憶部20に記憶されているカテゴリ群の情報に基づいて、画像データを分類するカテゴリ群(複数のカテゴリ)を設定する。カテゴリ設定部12は、カテゴリ設定手段として機能する。
位置決定部13は、カテゴリ設定部12が設定したカテゴリ群(複数のカテゴリ)に含まれる各カテゴリを示す領域を表示する位置を、n種類(nは1以上の整数)の属性に従ってn次元の空間における座標として決定する。より詳細には、n種類の属性のそれぞれを、n次元空間の座標を定義するn本の座標軸に1対1で対応させ、各カテゴリを示す領域(カテゴリ領域)を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性の属性値に基づいて決定する。
例えば、カテゴリ設定部12が設定したカテゴリ群が疾患名で、位置決定部13が、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の2種類の属性でそのカテゴリ群(疾患名)の2次元空間での位置を決定する場合を考える。この場合、位置決定部13は、例えば図2に示すように、「良性/悪性」を縦軸(Y軸)、「メラノサイト系/非メラノサイト系」を横軸(X軸)とする2次元空間において、各疾患名を表示する位置の座標を決定することになる。ここでは、縦軸(Y軸)においては、良性が下側、悪性が上側とし、横軸(X軸)においては、メラノサイト系が左側、非メラノサイト系が右側とする。
具体例として、疾患名として色素性母斑、メラノーマ、脂漏性角化症、血腫・血管腫、基底細胞癌の5つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、血腫・血管腫が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部13は、図2に示すように、色素性母斑201を左下の領域に、メラノーマ202を左上の領域に、脂漏性角化症203を右下の領域(領域中央より少し左)に、血腫・血管腫204も右下の領域(領域中央より少し右)に、基底細胞癌205を右上の領域に表示されるように、それぞれの位置を決定する。
なお、位置決定部13は、異なるカテゴリが表示される位置が同じ座標にならないように、必要に応じてカテゴリの表示位置を調整してもよい。例えば、図2に示す例では、脂漏性角化症203も血腫・血管腫204も「良性、非メラノサイト系」なので、表示位置を調整しないと両カテゴリともに同じ右下の領域に表示されることになってしまう。このため、図2に示す例では、位置決定部13は、脂漏性角化症203を右下の領域の中央よりも少し左にずらした位置に、血腫・血管腫204を右下の領域の中央よりも少し右にずらした位置に、それぞれ表示されるように表示位置を調整している。
位置決定部13が各カテゴリの表示位置を決定する空間の座標軸を決めるために用いるn種類の属性の情報と、各カテゴリの該属性の情報と、各属性の配置情報は、予め記憶部20に記憶されている。位置決定部13は、記憶部20に記憶されているn種類の属性の情報、各カテゴリの該属性の情報及び各属性の配置情報に基づいて、カテゴリ群(複数のカテゴリ)を表示する位置のn次元空間における座標を決定する。図2に示す例においては、属性の情報として「良性/悪性」の属性と、「メラノサイト系/非メラノサイト系」の属性の2種類の属性の情報が記憶部20に記憶されている。そして、各カテゴリの該属性の情報として、色素性母斑201は「良性、メラノサイト系」、メラノーマ202は「悪性、メラノサイト系」、脂漏性角化症203は「良性、非メラノサイト系」、血腫・血管腫204は「良性、非メラノサイト系」、基底細胞癌205は「悪性、非メラノサイト系」という情報が記憶部20に記憶されている。そして、各属性の配置情報として、「良性/悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系/非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部20に記憶されている。位置決定部13は、位置決定手段として機能する。
分類部14は、類似画像取得部11が取得した画像データを、カテゴリ設定部12が設定したカテゴリ群(複数のカテゴリ)のいずれかのカテゴリに分類する。なお、分類部14は、各画像データに付加されているタグ情報(例えば、各画像データには疾患名がタグ情報として付加されている)を利用して画像データを分類することができる。分類部14は、分類手段として機能する。
画像表示制御部15は、分類部14によって各カテゴリに分類された画像データを、クエリ画像との類似度に基づいて、位置決定部13によりn次元空間における座標が決定されたそのカテゴリを示す領域の内部に配置し、出力部32を介して表示する。画像表示制御部15は、例えば図3に示すように、色素性母斑に分類された類似画像を色素性母斑の領域301(図3の左下の円内)に、メラノーマに分類された類似画像をメラノーマの領域302(図3の左上の円内)に、脂漏性角化症に分類された類似画像を脂漏性角化症の領域303(図3の右下の少し左寄りの円内)に、血腫・血管腫に分類された類似画像を血腫・血管腫の領域304(図3の右下の少し右寄りの円内)に、基底細胞癌に分類された類似画像を基底細胞癌の領域305(図3の右上の円内)に、それぞれクエリ画像300との類似度が高い程、各領域(円内)の中心に位置するように配置して表示する。画像表示制御部15は、画像表示制御手段として機能する。
以上、類似画像表示装置100の機能構成について説明した。次に、類似画像表示装置100が行う類似画像表示処理の内容について、図4を参照して説明する。類似画像表示処理は、ユーザが入力部31を介して類似画像表示装置100に類似画像表示処理の開始を指示すると開始される。
まず、類似画像表示装置100の制御部10は、クエリ画像を取得する(ステップS101)。例えば、ユーザが入力部31を介してクエリ画像を類似画像表示装置100に入力(例えば画面の指定領域にクエリ画像をドラッグ・アンド・ドロップする)すると、制御部10は、クエリ画像を取得する。
次に、類似画像取得部11は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する(ステップS102)。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部11は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。ステップS102は、類似画像取得ステップとも呼ばれる。類似画像検索の処理は、類似画像表示装置100の代わりに外部の類似画像検索装置で行ってもよい。その場合は、制御部10は、ステップS101で取得したクエリ画像を、通信部33を介して類似画像検索装置に送信し、類似画像検索装置が類似画像検索をした結果を類似画像取得部11が取得する。
そして、分類部14は、類似画像取得部11が取得した類似画像を、各類似画像に付加されているタグ情報に基づいて、カテゴリ設定部12が設定したカテゴリに分類する(ステップS103)。ステップS103は、分類ステップとも呼ばれる。
次に、画像表示制御部15は、ステップS103で各カテゴリに分類された類似画像を、位置決定部13が位置を決定した各カテゴリの領域に配置し、出力部32を介して表示する(ステップS104)。具体的には、図3に示すように、各カテゴリの領域に、クエリ画像との類似度が高い画像ほどそのカテゴリの領域の中心に配置されるように、同心円状に配置する。図3に示す例では、各カテゴリに分類された類似画像のうち、クエリ画像との類似度が最も高い画像をそのカテゴリの中心に配置し、類似度の高さが2番目以降の画像をその外側に上から時計回りに配置することによって、同心円状に配置している。
また、画像表示制御部15はステップS104において、各カテゴリの領域にそのカテゴリに分類された類似画像の個数に応じた大きさの円を表示する。この円を表示することにより、各カテゴリの規模を直感的に把握しやすくなる。さらに、画像表示制御部15はこの円の円周の線の太さを、中心の画像(そのカテゴリでクエリ画像との類似度が最も高い類似画像)とクエリ画像との類似度が高いほど太く表示する。このように円の太さを太くすることによって、ユーザは最もクエリ画像に類似する類似画像の配置場所を直感的に把握できるようになる。また、画像表示制御部15は、この円の円周の線の太さを、中心の画像に限らず、所定の画像(例えばそのカテゴリでクエリ画像との類似度がn番目(nは1以上かつそのカテゴリに分類された類似画像の個数以下の整数)に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等)とクエリ画像との類似度に応じて所定の太さ(例えば類似度が高ければ太く、類似度が低ければ細く)で表示してもよい。なお、ユーザが各類似画像とクエリ画像の比較を容易にできるようにするために、画像表示制御部15はステップS104において、図3に示すように、クエリ画像300を表示画面の中心部に表示する処理も行う。ステップS104は、画像表示制御ステップとも呼ばれる。
次に、制御部10は、ステップS104で表示された類似画像が入力部31を介して選択(例えばユーザによりクリック)されたか否かを判定する(ステップS105)。類似画像が選択されなければ(ステップS105;No)、ステップS108に進む。
類似画像が選択されたら(ステップS105;Yes)、画像表示制御部15は、ステップS105で選択された画像とクエリ画像とを比較できるように、これらの画像を拡大表示する(ステップS106)。例えば、図3の色素性母斑の中心の画像(色素性母斑に分類された類似画像の中で、クエリ画像に最も類似する画像)が比較対象画像としてクリックされた場合は、図5に示すように、クエリ画像51とクリックされた比較対象画像52とが拡大表示される比較表示画面が出力部32を介して表示される。図5は、画像表示制御部15が、比較対象画像52の下に、その比較対象画像に付加されているタグ情報53、その比較対象画像52とクエリ画像51との類似度の順位54、比較対象画像52を類似度の順番に切り換える順送りボタン55及び逆送りボタン56を表示することも示している。
そして、画像表示制御部15は、ユーザ操作に応じた画像表示を行う(ステップS107)。例えば、画像表示制御部15は、クエリ画像51又は比較対象画像52の上で、ドラッグ操作が行われたら該画像を平行移動させ、ホイールの回転が行われたら該画像を拡大又は縮小させ、クエリ画像51の上でダブルクリックされたら図3に示すクエリ画像表示画面に戻す。また、画像表示制御部15は、順送りボタン55又は逆送りボタン56がクリックされたら、比較対象画像をクエリ画像との類似度の順番に切り替える。
次に、制御部10は、類似画像表示処理の終了が指示されたか否かを判定する(ステップS108)。類似画像表示処理の終了が指示されていないなら(ステップS108;No)、ステップS107に戻る。類似画像表示処理の終了が指示されたら(ステップS108;Yes)、類似画像表示処理を終了する。例えば、入力部31を介してユーザにより類似画像表示処理の終了が指示されたら、類似画像表示処理を終了する。
以上のように、類似画像表示装置100は、類似画像をカテゴリに分類して、カテゴリ毎にクエリ画像との類似度の高い順に類似画像を配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。
例えば、皮膚疾患の画像を表示させる場合、メラノーマ、基底細胞癌、日光角化症はいずれも悪性疾患であるが、悪性度(人体への影響度)は大きく異なる。従って、例えば、各カテゴリの属性の情報として、メラノーマは「悪性度10、メラノサイト系」、基底細胞癌は「悪性度8、非メラノサイト系」、日光角化症は「悪性度3、非メラノサイト系」、というように、悪性度の情報(属性の属性値)も記憶部20に記憶しておき、位置決定部13が、悪性度に応じて、例えば悪性度が高いカテゴリほど画面の上部の方にそのカテゴリの円が表示されるように当該カテゴリの位置を決定すると、ユーザは各カテゴリに配置された類似画像を、その悪性度とともに確認することができるようになる。他の属性についても同様にその属性の属性値に基づいて位置が決定されることにより、ユーザは類似画像をその属性の属性値に応じて確認することができるようになる。なお、これらはあくまで一例として示したものであって、必ずしも医学的に正しいという意味ではない。医師等、類似画像表示装置100のユーザの考え方や状況に応じてこれらの表示位置は適宜変更可能である。
(変形例1)
上述の実施形態1では、類似画像表示処理において、図3のような表示を行っていたが、さらに類似の関係性を分かり易くする変形例1について図6を参照して説明する。
変形例1にかかる類似画像表示装置100では、類似画像表示処理(図4)のステップS104において、画像表示制御部15が次のような処理を行う。(なお、各カテゴリの領域に描画する円の大きさは、上述の実施形態1と同様に、そのカテゴリに分類された類似画像の個数が多いほど大きくする。例えば図6に示されるように、色素性母斑のカテゴリ円311はメラノーマのカテゴリ円312より大きい。)
‐各カテゴリの領域に描画する円の背景を、中心を濃く、外側になるほど薄く描画する。例えば図6に示されるように、色素性母斑のカテゴリ円311のカテゴリの領域に描画する円の背景に、中心側から同心円状のグラフィック図形311a、311b、311c、311dを表示している。なお、図6では濃さを各カテゴリ円の大きさに応じて2~4段階で変化させているが、このような段階を設けずにスムーズに(グラデーションで)変化させてもよい。
‐クエリ画像から各カテゴリの中心の画像までを接続線で接続する。
‐接続線の太さはその接続線が接続しているカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太くする。例えば色素性母斑のカテゴリ円311への接続線321の太さはメラノーマのカテゴリ円312への接続線322より太い。(なお、接続線の太さは、中心の画像に限らず、所定の画像(例えばそのカテゴリでクエリ画像との類似度がn番目(nは1以上そのカテゴリに分類された類似画像の個数以下の整数)に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等)とクエリ画像との類似度に応じて所定の太さ(例えば類似度が高ければ太く、類似度が低ければ細く)で表示してもよい。)
‐接続線321,322,323,324,325の途中には位置決定部13が各カテゴリの位置を決定する際に用いる属性の情報を表示する。例えば、メラノーマのカテゴリにおいては悪性332、メラノサイト系334という属性の情報を表示している。
‐上記のような接続線321,322,323,324,325により、各カテゴリを示す領域は、クエリ画像を根ノードとする木構造を介して、葉ノードとして接続される。つまり、クエリ画像を根ノードとし、各カテゴリを示す領域を葉ノードとして、各カテゴリを示す領域に対応するカテゴリの属性に基づいた接続線が根ノードから葉ノードに接続した木構造により、類似画像等が表示されることになる。そして、各カテゴリに接続される接続線321,322,323,324,325の内部ノードとして該カテゴリの属性の情報を示す属性名(良性331、悪性332、メラノサイト系333,334、非メラノサイト系335,336等)が表示される。
‐属性の情報は、特に注目して欲しい場合には大きく表示する。(例えば、皮膚の疾患の画像データを対象として類似画像表示を行う場合に、悪性の類似画像の方が良性の類似画像より多い場合には、属性の情報のうち悪性332を大きく表示する。なお、図6では良性の類似画像の方が多いため、悪性332は良性331と同じ大きさで表示されている。)
‐各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、血腫・血管腫のカテゴリ円314の中心に配置されている類似画像を囲う小さい円3141の線の太さは、その周辺に配置されている類似画像を囲う小さい円3142の線の太さより太い。
類似画像表示処理(図4)のステップS104にて、画像表示制御部15が以上のような処理を行うことにより、例えば図6に示すような、類似画像の表示が行われる。このような表示が行われることにより、以下のような効果が得られる。
‐各カテゴリ円311,312,313,314,315がn種類の属性に従ってn次元空間に配置されることによって、ユーザは直感的にクエリ画像の性質を把握することができる。
‐各カテゴリ円311,312,313,314,315がそのカテゴリに分類された件数(検索件数)の多いほど大きく表示されることによって、ユーザは検索件数を直感的に把握することができる。
‐各カテゴリへの接続線321,322,323,324,325の太さが、そのカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太く表示されることによって、ユーザはクエリ画像に最も類似する類似画像の配置場所を直感的に把握することができる。
‐各カテゴリの領域に描画されるカテゴリ円の背景が、中心を濃く、外側になるほど薄く描画されることによって、円中心部側の症例の重要度が高いことをユーザに視覚的に認識させることができる。
(変形例2)
上述の実施形態1では、画像表示制御部15が類似画像検索結果をカテゴリ毎に同心円状にまとめて配置しているが、これに限られず、放射状、楕円形状、四角形状、等でもよい。例えば、四角形状に配置すると、図7に示すように、よりコンパクトに表示することができ、検索結果が多い場合等でも全ての類似画像を一度に一覧性よく表示することができる。図7に示す例では、画像表示制御部15は、各カテゴリの四角形351,352,353,354,355の大きさをそのカテゴリに分類された類似画像の個数が多いほど大きくし、その四角形内に左上からクエリ画像300との類似度が高い順に右に類似画像を並べ、右端に来たら、左端に戻って一段下から類似画像を並べて表示している。
なお、上述の実施形態1では、位置決定部13が位置を決定する際に用いる属性の数を2種類とし、この2つの属性を2次元空間の2つの軸(X軸及びY軸)に対応させて、類似画像検索結果の表示位置の2次元空間における座標を決定する場合を例として説明したが、これに限られない。例えば、位置を決定する際に用いる属性の数を1種類にして、直線上(1次元空間)に各カテゴリが配置されるようにしてもよい。この場合、カテゴリの配置は直線上に行われるが、カテゴリ内の類似画像は同心円状に配置されるので、最終的には2次元空間に配置されることになる。
また、位置を決定する際に用いる属性の数を3種類にして、3次元空間に各カテゴリが配置されるようにしてもよい。この場合、カテゴリや類似画像は3次元空間に配置されるが、出力部32に出力する際はそれを2次元空間に投影したものを出力することにより、通常のディスプレイ上に表示することができる。また、位置を決定する際に用いる属性の種類数nを4以上にしたい場合は、各カテゴリを仮想的にn次元空間に配置し、最終的に2次元空間に投影して出力するようにしてもよい。なお、属性の種類としては、上述した「良性/悪性」及び「メラノサイト系/非メラノサイト系」だけでなく、「上皮性/非上皮性」、「転移性/非転移性」、「浸潤性/非浸潤性」、「ウイルス性/非ウイルス性」、「サイズ(例えば、疾患部に外接する楕円の長径)」、「扁平率(例えば、疾患部に外接する楕円の扁平率)」、「病変面積(疾患部の面積)」、「輪郭線の長さ(疾患部の外縁の輪郭線の長さ)」、「腫瘍の深さ(例えば、色(浅ければ黒、深くなるにつれて、褐色、灰青色、青白い鋼色)で判断する)」、「疾患部の色(例えば、腫瘍の深さに対応させて色の軸に並べる)」、「形状(例えば、モーメント(病変領域の座標値、病変領域の輪郭線の座標値、病変領域の画素値等についてモーメント計算を行って算出)の値を用いる)」、「時間(例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる)」等を用いてもよい。
また、上述の実施形態1では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、類似画像を表示させる分野において広く適用できる。例えば、花の画像の類似検索、細菌の顕微鏡写真の類似検索等にも適用できる。
また、上述の実施形態1では、類似画像表示処理を制御部10が行っていたが、外部のサーバに処理させた結果を通信部33で受信して出力部32に出力してもよい。
また、上述の実施形態1及び変形例1,2は適宜組み合わせることができる。例えば、変形例1と変形例2とを組み合わせることにより、類似画像をカテゴリ毎に四角形状に表示させ、接続線や四角形の背景の描画を行うことができ、変形例1の効果と変形例2の効果を両方とも得ることができる。例えば、この場合、各カテゴリの四角形内の一番左上の類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)への接続線をその類似画像とクエリ画像との類似度に応じて太くし、その四角形の背景を、左上を濃く右下にいくほど薄く描画することになる。
(実施形態2)
本発明の実施形態2に係る表示制御装置101は、クエリ画像に写っている診断対象部分の疾患の属性(例えば「良性/悪性」、「メラノサイト系/非メラノサイト系」等)を各座標軸に対応させて、疾患が各属性に関係する可能性を表す指標を、疾患の属性数を次元数とする空間にプロットして表示する。このような表示を行うことにより、表示制御装置101は、診断対象部分の疾患の属性情報を把握しやすくする。なお、実施形態2では、診断対象部分の疾患が人の皮膚疾患である場合を例にして説明するが、診断対象部分(疾患)としては、他に人の子宮(子宮頸がん)や口腔(口腔がん)、人以外の動物(犬猫)の皮膚(皮膚がん)や口腔(口腔がん)等、撮影画像に基づいて診断する様々な部分(疾患)があり得る。
実施形態2に係る表示制御装置101は、図8に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。
制御部10は、CPU等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(指標取得部16、リスク取得部17、表示制御部18)の機能を実現する。
記憶部20は、ROM、RAM等で構成され、制御部10のCPUが実行するプログラム及び必要なデータを記憶する。
入力部31は、表示制御装置101のユーザが表示制御装置101に与える指示を入力したり、クエリ画像を入力したりするためのデバイス(キーボード、マウス、タッチパネル、カメラ等)である。制御部10は、入力部31を介して、ユーザからの指示や、クエリ画像を取得する。入力部31としては、制御部10がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部10は、クエリ画像を、通信部33を介して取得してもよい。なお、クエリ画像とは、ダーモスコープ等を用いて診断対象部分を撮影した画像の画像データである。表示制御装置101は、クエリ画像に写っている診断対象部分の疾患の属性情報を、ユーザにわかりやすく提示する。
出力部32は、制御部10が、疾患の属性情報をユーザにわかりやすく提示するためのデバイス(ディスプレイ、ディスプレイ用のインタフェース等)である。表示制御装置101は、出力部32としてディスプレイ(表示部)を備えてもよいし、出力部32を介して接続した外部のディスプレイ(表示部)に疾患の属性情報等を表示してもよい。
通信部33は、外部の他の装置(例えば、画像データのデータベースが格納されているサーバ、画像識別装置等)とデータの送受信を行うためのデバイス(ネットワークインタフェース等)である。制御部10は、通信部33を介して、画像識別装置による画像識別結果等を取得することができる。
次に、制御部10の機能について説明する。制御部10は、指標取得部16、リスク取得部17及び表示制御部18の機能を実現する。
指標取得部16は、識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率(可能性)を求め、求めた確率を当該属性の指標として取得する。この識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部16は、このような学習済みの識別器を備えてもよいし、例えば、通信部33を介して、学習済みの識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率(可能性)を当該属性の指標として取得してもよい。なお、指標取得部16が取得する指標は確率に限定されず、指標取得部16は、より一般的なスコア(可能性が高いほどより大きな値となるスコア(確率の値と一致するとは限らない)や、逆に可能性が低いほどより大きな値となるスコアがあり得る)を指標として取得してもよい。指標取得部16は、取得手段として機能する。
ここでは、指標取得部16は、クエリ画像に写っている診断対象部分の疾患が4つの疾患(メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症)の各々である確率(以下「疾患該当確率」という)を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて89.0%、基底細胞癌について4.4%、色素性母斑について6.4%、脂漏性角化症について0.2%であるとする。なお、これらの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。
この例では、診断対象部分の疾患の属性が「悪性」である確率が89.0%+4.4%=93.4%、「良性」である確率が6.4%+0.2%=6.6%と算出される。また、診断対象部分の疾患の属性が「メラノサイト系」である確率が89.0+6.4%=95.4%、「非メラノサイト系」である確率が4.4%+0.2%=4.6%と算出される。指標取得部16は、このようにして算出された診断対象部分の疾患の属性が各種の属性である確率を、診断対象部分の疾患の属性が各種の属性である可能性を表す指標として取得する。特に、診断対象部分の疾患の属性が「悪性」である確率及び「良性」である確率についてはそれぞれ、悪性指標及び良性指標とも呼ばれ、診断対象部分の疾患の属性が「メラノサイト系」や「非メラノサイト系」等の所定の疾患属性である確率については、疾患属性指標とも呼ばれる。また、複数の疾患属性を区別して呼ぶ場合は、第1、第2等を付ける。例えば診断対象部分の疾患の属性のうち、「メラノサイト系」を第1疾患属性、「非メラノサイト系」を第2疾患属性とした場合、診断対象部分の疾患の属性が「メラノサイト系」である確率は第1疾患属性指標、診断対象部分の疾患の属性が「非メラノサイト系」である確率は第2疾患属性指標と呼ばれる。
なお、指標取得部16は、必ずしも診断対象部分の疾患該当確率を取得する疾患識別器を用いなくても良い。指標取得部16は、例えば疾患識別器の代わりに、診断対象部分の疾患の種類によらずに診断対象部分の疾患の属性が「悪性」である確率(悪性指標)を出力する識別器や、診断対象部分の疾患の属性が「メラノサイト系」のような所定の疾患属性である確率(疾患属性指標)を出力する識別器を用いてもよい。
リスク取得部17は、疾患の属性が悪性であり、かつ、当該疾患の属性が所定の疾患属性である場合における当該疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、リスクとしては、見逃しリスク(識別器の誤判定(悪性未検出)のリスク)や予後リスク(放置リスク)が考えられるが、リスク取得部17は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらの値を総合的に扱って1つのリスク指標として扱ってもよい。例えば、制御部10は、疾患識別器の学習に用いた学習用データ以外の画像データ(試験用症例データ)を用いる等して見逃しリスクのリスク指標を求めたり、専門家等による予後リスクに関するデータを用いる等して予後リスクのリスク指標を求めたりして、予めリスク指標を記憶部20に保存しておく。または、外部のサーバ等で予めリスク指標を求めておいてもよい。そして、リスク取得部17は、予め制御部10又は外部のサーバ等により求めたリスク指標を取得する。本実施形態では、このリスク指標は、疾患の属性が悪性の場合における当該疾患の見逃しリスクの高さを当該疾患の悪性指標を基準として表した指標であり、予め後述するリスク境界線生成処理によって生成されているものとする。
例えば、「悪性」の確率(悪性指標)が同じであっても、メラノサイト系の悪性疾患は非メラノサイト系の悪性疾患よりも識別難易度が高く、見逃しリスクが高い。本実施形態では、悪性指標がリスク指標より高ければ見逃しリスクが高いことを表すので、疾患属性が「メラノサイト系」の場合のリスク指標は、疾患属性が「非メラノサイト系」の場合のリスク指標より低い値となる。そこで、リスク取得部17は、疾患属性が「メラノサイト系」の場合は、疾患属性が「非メラノサイト系」の場合よりも低い値のリスク指標を取得することになる。リスク取得部17は、リスク取得手段として機能する。
表示制御部18は、後述する表示制御処理により、指標取得部16が取得した複数の指標を、互いに関連づけて表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部16が「悪性」の指標として93.4%を取得し、「メラノサイト系」の指標として95.4%を取得したら、図9に示すように、(95.4%,93.4%)に対応する点として、点206を表示部に表示させる。表示制御部18は表示制御手段として機能する。
なお、図9においては、縦軸に悪性及び良性、横軸にメラノサイト系及び非メラノサイト系、というように、各軸の両端に属性の名称を記載した。しかし、実際には各軸とも1つの指標に基づいている(各軸の両端の属性は表裏の関係であり、例えば悪性100%は良性0%を意味する)ので、例えば、縦軸には悪性のみ、横軸にはメラノサイト系のみ、というように単一の名称のみを記載しても良い。図9において、縦軸と横軸の交点は、悪性及び良性の指標がいずれも50%、かつ、メラノサイト系及び非メラノサイト系の指標がいずれも50%であることを示す点となる。
また、表示制御部18は、リスク取得部17で取得されたリスク指標を、指標取得部16が取得した複数の指標と互いに関連づけて表示部に表示させる。このための表示として、表示制御部18は、例えば、後述するリスク境界線生成処理によって生成したリスク境界線を、図9に点線で示すようなリスク境界線207として表示する。図9では、点206がリスク境界線207よりも上にあるが、これは、クエリ画像に写っている診断対象部分の疾患のリスクが高いことを示している。なお、図9は、見逃しリスクに基づくリスク境界線207の例を示しているが、リスク取得部17が見逃しリスクだけでなく予後リスクも取得する場合は、表示制御部18は、見逃しリスクに基づくリスク境界線207に加えて、予後リスクに基づくリスク境界線(図示せず)を表示してもよい。また、リスク取得部17が予後リスクのみを取得する場合は、表示制御部18は、見逃しリスクに基づくリスク境界線207は表示せずに、予後リスクに基づくリスク境界線(図示せず)のみを表示してもよい。
以上、表示制御装置101の機能構成について説明した。次に表示制御装置101が行う表示制御処理の内容について、図10を参照して説明する。表示制御処理は、ユーザが入力部31を介して表示制御装置101に表示制御処理の開始を指示すると開始される。また、ユーザは表示制御処理の開始の指示に先立って、座標軸に用いる属性の種類(例えば、縦軸に「良性/悪性」、横軸に「メラノサイト系/非メラノサイト系」)を予め表示制御装置101に指示しているものとする。
まず、表示制御部18は、表示部に座標軸を表示する(ステップS201)。ここで表示する座標軸は、予めユーザから指示されている属性に基づく座標軸である。例えば図9に示す例では、縦軸が悪性(良性/悪性)の座標軸で、横軸がメラノサイト系(メラノサイト系/非メラノサイト系)の座標軸である。
次に、表示制御装置101の制御部10は、クエリ画像を取得する(ステップS202)。例えば、ユーザが入力部31を介してクエリ画像を表示制御装置101に入力する(例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする)と、制御部10は、クエリ画像を取得する。
次に、指標取得部16は、クエリ画像を識別器に入力して、各属性の指標を取得する(ステップS203)。ステップS203は取得ステップとも呼ばれる。そして、表示制御部18は、表示部に表示されている座標軸において、指標取得部16が取得した指標で表される座標に、点206を表示する(ステップS204)。ステップS204は表示制御ステップとも呼ばれる。
次に表示制御部18は、後述するリスク境界線生成処理によって予め生成して記憶部20に保存しておいたリスク境界線207を表示部に表示し(ステップS205)、表示制御処理を終了する。
次に、リスク境界線生成処理について、図11を参照して説明する。リスク境界線生成処理は、表示制御処理(図10)が実行される前に予め実行されているものとする。具体的には、例えば、図9の座標軸に用いる属性をユーザから指示されるとリスク境界線生成処理が開始される。ただし、リスク境界線生成処理は、予め外部のサーバ等で実行されていてもよい。この場合、制御部10は、その結果(リスク境界線の座標)を通信部33を介して取得して、記憶部20に保存する。では、予め制御部10がリスク境界線生成処理を実行する場合を説明する。
まず、制御部10は、記憶部20から、又は通信部33を介して、(疾患識別器の学習に用いていない)試験用症例の画像データを取得する(ステップS301)。次に、指標取得部16は、試験用症例の画像データを疾患識別器に入力して、各座標軸に対応する属性の指標を取得する(ステップS302)。図9に示す例ではこの属性は「悪性」と「メラノサイト系」であり、ここでは、「悪性」の指標を悪性指標、「メラノサイト系」の指標を疾患属性指標と呼ぶ。
そして、制御部10は、ステップS302で取得された指標について、悪性指標を疾患属性指標の各区間に分類する(ステップS303)。ここで、疾患属性指標の各区間とは、例えば疾患属性指標の値を0%以上100%以下とし、各区間の幅を10%とすると、疾患属性指標の値が0%以上10%未満の区間1、疾患属性指標の値が10%以上20%未満の区間2、…、疾患属性指標の値が90%以上100%以下の区間10、の10個の区間である。例えば、ステップS302で取得された指標が、悪性指標35%、疾患属性指標55%だったとすると、制御部10は、悪性指標35%を、区間6に分類する。
次に、制御部10は、ステップS303で分類された悪性指標が全ての区間(上記の例では区間1から区間10までの全ての区間)にそれぞれ所定数(例えば20)以上分類されたか否かを判定する(ステップS304)。所定数未満しか分類されていない区間が存在するなら(ステップS304;No)、ステップS301に戻って、新たな試験用症例データによる指標の分類を繰り返す。
全ての区間で所定数以上分類されているなら(ステップS304;Yes)、制御部10は、各区間について、悪性疾患の感度が所定感度(例えば感度95%)となる悪性指標の悪性判定閾値(例えば感度95%の場合、一定数の悪性疾患の試験用症例を識別させたときに、95%が当該悪性疾患と判定されるようにする閾値)を算出する(ステップS305)。この閾値が低いほど、疾患の属性が悪性であると判定されやすく、感度が上がり、特異度(良性症例の正解率)が下がる。
そして、制御部10は、各区間の悪性判定閾値の値をスプライン曲線等で結んだ線をリスク境界線とし、このリスク境界線の座標を記憶部20に保存し(ステップS306)、リスク境界線生成処理を終了する。表示制御処理(図10)のステップS204で表示される点が、このリスク境界線よりも上部にあると、クエリ画像に示される診断対象部分の疾患のリスクが高いことを意味する。
なお、上述のリスク境界線生成処理は、あくまでも一例に過ぎず、以下のような変形例も考えられる。
‐疾患リスクに応じて変化させる(メラノサイト系(メラノーマ等)の方が、非メラノサイト系(基底細胞癌等)よりも転移可能性が格段に高く、予後リスクが上がるので、疾患の属性がメラノサイト系である確率が高い領域において、リスク境界線を下げる。)
‐診断対象部分のサイズに応じて上下させる(サイズが大きくなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分の病変深度に応じて上下させる(診断対象部分の色による判定等の画像処理によって病変深度を推定し、病変深度が深くなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分としての潰瘍のサイズ、診断対象部分における出血している領域のサイズに応じて、上下させる(潰瘍、出血があり、またその領域が大きいほど予後リスクが上がるので、リスク境界線を下げる。)
以上説明したように、表示制御装置101は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の属性情報を図9に示すように点206の座標によって分かり易く表示することができる。また、リスク境界線207も表示することにより、点206とリスク境界線207との位置関係によって、診断対象部分の疾患のリスクの高さを把握することができる。
実施形態2に係る表示制御装置101においても、実施形態1に係る類似画像表示装置と同様、属性としては、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の少なくとも一方に代えて、「上皮性/非上皮性」、「転移性/非転移性」、「浸潤性/非浸潤性」、「ウイルス性/非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間(例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる)」等を用いてもよい。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図9に示す例では、疾患の属性がメラノサイト系(メラノサイト系/非メラノサイト系)である可能性を表す指標を横軸に取っている。
また、上述の実施形態2では、属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の二つを縦軸及び横軸に割り当てて2次元空間上で点206を表示した。しかし、用いる属性を3種類にして、3次元空間上に点206を配置して、それを2次元空間に投影したものを出力部32に出力してもよい。また、用いる属性の種類数nを4以上にしたい場合は、仮想的にn次元空間に点206を配置し、それを最終的に2次元空間に投影して出力部32に出力するようにしてもよい。
(実施形態3)
本発明の実施形態3に係る表示制御装置102は、クエリ画像に写っている診断対象部分の疾患の属性を、診断対象部分の疾患が所定の疾患である確率と共に、クエリ画像を根ノードとする木構造で表示する。このような表示を行うことにより、表示制御装置102は、診断対象部分の疾患の属性情報を把握しやすくする。
実施形態3に係る表示制御装置102は、図12に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。これらのうち、記憶部20、入力部31、出力部32及び通信部33は、実施形態2に係る表示制御装置101が備える記憶部20、入力部31、出力部32及び通信部33と同様であるので、説明を省略する。
制御部10は、CPU等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(指標取得部16、位置決定部13、疾患リスク取得部19、表示制御部18)の機能を実現する。
指標取得部16は、所定の疾患数の疾患を識別する疾患識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率(可能性)を求め、求めた確率を当該属性の指標として取得する。この疾患識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部16は、このような学習済みの疾患識別器を備えてもよいし、例えば、通信部33を介して、学習済みの疾患識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率(可能性)を当該属性の指標として取得してもよい。
ここでは、指標取得部16は、実施形態2に係る指標取得部16の項目で説明したように、例えば、4つの疾患(メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症)についての疾患該当確率を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて89.0%、基底細胞癌について4.4%、色素性母斑について6.4%、脂漏性角化症について0.2%であるとする。
この例では、実施形態2に係る指標取得部16の説明で説明したように、診断対象部分の疾患の属性が各種の属性である可能性を表す指標は、悪性指標が93.4%、良性指標が6.6%、「メラノサイト系」の疾患属性指標が95.4%、「非メラノサイト系」の疾患属性指標が4.6%となる。また、実施形態3に係る指標取得部16は、疾患識別器が出力する各疾患の確率も疾患指標として取得する。この例では、メラノーマの疾患指標が89.0%、基底細胞癌の疾患指標が4.4%、色素性母斑の疾患指標が6.4%、脂漏性角化症の疾患指標が0.2%となる。
位置決定部13は、指標取得部16が取得する疾患指標の数の各疾患(カテゴリ)に関する情報を表示する位置を、n種類(nは1以上の整数)の属性に従ってn次元の空間における座標として決定する。より詳細には、n種類の属性のそれぞれを、n次元空間の座標を定義するn本の座標軸に1対1で対応させ、各疾患に関する情報を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性に当該疾患が関係する可能性を表す指標に基づいて決定する。
例えば、上記n種類の属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の2種類の属性を採用する場合は、位置決定部13は、指標取得部16が取得する疾患指標に対応する各疾患に関する情報を表示する2次元空間上の座標を決定する。位置決定部13は、例えば図13に示すように、「良性/悪性」を縦軸(Y軸)、「メラノサイト系/非メラノサイト系」を横軸(X軸)とする2次元空間において、診断対象部分の各疾患の確率の大きさを表す円(確率円)を表示する位置の座標を決定することになる。なお、図13では、縦軸(Y軸)においては、良性が下側、悪性が上側とし、横軸(X軸)においては、メラノサイト系が左側、非メラノサイト系が右側としている。
具体例として、疾患として色素性母斑、メラノーマ、脂漏性角化症、基底細胞癌の4つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部13は、図13に示すように、色素性母斑を左下の領域に、メラノーマを左上の領域に、脂漏性角化症を右下の領域に、基底細胞癌を右上の領域に表示されるように、それぞれの位置を決定する。
なお、位置決定部13は、異なる疾患に関する情報が表示される位置が同じ座標にならないように、必要に応じて疾患に関する情報の表示位置を調整してもよい。図13には示されていないが、例えば指標取得部が血腫・血管腫の疾患指標も取得する場合、血腫・血管腫も、脂漏性角化症と同様にその属性は「良性、非メラノサイト系」なので、疾患に関する情報の表示位置を調整しないと両疾患ともに同じ右下の領域に当該疾患に関する情報が表示されることになってしまう。このような場合、位置決定部13は、例えば、脂漏性角化症に関する情報の表示位置を右下の領域の中央よりも少し左にずらし、血腫・血管腫に関する情報の表示位置を右下の領域の中央よりも少し右にずらす等、各疾患に関する情報の表示位置を調整してもよい。
位置決定部13が各疾患に関する情報の表示位置を決定する空間の座標軸を決めるために用いるn種類の属性の情報と、各疾患の該属性の情報と、各属性の配置情報は、予め記憶部20に記憶されている。位置決定部13は、記憶部20に記憶されているn種類の属性の情報、各疾患の該属性の情報及び各属性の配置情報に基づいて、各疾患に関する情報を表示する位置のn次元空間における座標を決定する。図13に示す例においては、属性の情報として「良性/悪性」の属性と、「メラノサイト系/非メラノサイト系」の属性の2種類の属性の情報が記憶部20に記憶されている。そして、各疾患の該属性の情報として、色素性母斑は「良性、メラノサイト系」、メラノーマは「悪性、メラノサイト系」、脂漏性角化症は「良性、非メラノサイト系」、基底細胞癌は「悪性、非メラノサイト系」という情報が記憶部20に記憶されている。そして、各属性の配置情報として、「良性/悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系/非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部20に記憶されている。
疾患リスク取得部19は、疾患毎にその疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、疾患のリスクには、予後リスク(疾患を放置した場合の放置リスク)や、見逃しリスク(疾患識別器が悪性疾患を悪性疾患と判定しない誤判定リスク)があるが、疾患リスク取得部19は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらのリスクを総合的に扱って一つのリスク指標として扱ってもよい。例えば、メラノーマは基底細胞癌よりも予後リスク、見逃しリスクともに高い。したがって、疾患リスク取得部19は、例えば、メラノーマのリスク指標として10%を、基底細胞癌のリスク指標として80%を、それぞれ取得する。これは、診断対象部分の疾患がメラノーマであれば確率(疾患指標)が10%でもリスクが高いが、基底細胞癌であれば確率(疾患指標)が80%以上でないとリスクが高いとは言えない場合の例である。これらの各疾患のリスク指標の値は、疾患毎に医師等が予め設定した値であっても良いし、実施形態2のリスク境界線生成処理(図11)の処理と同様にして、学習用に用いたデータとは異なる試験用症例データを用いて、予め各疾患について感度が所定の値(例えば95%や90%)となる疾患指標を判定閾値として求めておき、求めた判定閾値をリスク指標として取得するようにしてもよい。疾患リスク取得部19は、疾患リスク取得手段として機能する。
表示制御部18は、後述する表示制御処理により、指標取得部16が取得した複数の指標を、互いに関連づけて木構造で図13に示すように表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部16が各疾患の疾患指標として、メラノーマ 89.0%、基底細胞癌 4.4%、色素性母斑 6.4%、脂漏性角化症 0.2%という値を取得したら、図13に示すように、表示制御部18は、診断対象部分の疾患が色素性母斑である確率を6.4%に相当する大きさの確率円411で、診断対象部分の疾患がメラノーマである確率を89.0%に相当する大きな確率円412で、診断対象部分の疾患が脂漏性角化症である確率を0.2%に相当する小さな確率円413で、診断対象部分の疾患が基底細胞癌である確率を4.4%に相当する大きさの確率円414で、それぞれ表示する。なお、図13では、各確率円の中心に中心を示すドットを表示しているが、このようなドットを表示するか否かは任意であり、ユーザの指示等により、中心のドットの表示をオン/オフできるようにしてもよい。
以上、表示制御装置102の機能構成について説明した。次に表示制御装置102が行う表示制御処理の内容について、図14を参照して説明する。表示制御処理は、ユーザが入力部31を介して表示制御装置102に表示制御処理の開始を指示すると開始される。
まず、表示制御装置102の制御部10は、クエリ画像を取得する(ステップS401)。例えば、ユーザが入力部31を介してクエリ画像を表示制御装置102に入力する(例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする)と、制御部10は、クエリ画像を取得する。
次に、表示制御部18は、図13に示すように、クエリ画像400を表示画面の中央部に表示する(ステップS402)。
次に、指標取得部16は、クエリ画像を疾患識別器に入力して、各疾患の疾患指標を取得する(ステップS403)。そして、表示制御部18は、図13に示すように、各疾患の疾患指標の大きさに基づく確率円を、位置決定部13が位置を決定した各疾患に関する情報の表示位置に表示する(ステップS404)。
そして、表示制御部18は、疾患リスク取得部19で取得された各疾患のリスク指標の大きさを示すリスク円を、その中心が各疾患の確率円の中心と一致する位置で、表示する(ステップS405)。例えば、図13では、メラノーマの感度90%となるリスク指標の大きさに基づくリスク円415を実線で、感度95%となるリスク指標の大きさに基づくリスク円416を点線で示している。また、基底細胞癌の感度90%となるリスク指標の大きさに基づくリスク円417を実線で、感度95%となるリスク指標の大きさに基づくリスク円418を点線で示している。ここで、「疾患Sの感度P%となるリスク指標」とは、一定数の疾患Sの試験用症例画像を疾患識別器で識別した場合に、そのP%が疾患Sと判定されるようにするための疾患識別器の出力(疾患Sの確率値)の閾値である。
図13に示す例では、メラノーマの確率円412は、感度90%となるリスク指標の大きさに基づくリスク円415よりも大きいため、メラノーマの見逃しリスクが高いことが示されている。反面、基底細胞癌の確率円414は、感度95%となるリスク指標の大きさに基づくリスク円418よりも小さいため、基底細胞癌の見逃しリスクは低いことが示されている。
次に、表示制御部18は、表示画面の中央部のクエリ画像400を根ノードとし、各疾患の確率円411,412,413,414を葉ノードとし、それらを接続線421,422,423,424で接続した木構造を図13に示すように表示し(ステップS406)、表示制御処理を終了する。
ステップS406での木構造の表示においては、表示制御部18は、指標取得部16により取得された指標に基づき、悪性指標が良性指標より大きければ、図13に示すように、悪性ノード432を良性ノード431よりも大きく表示する。また、悪性ノード432、良性ノード431のあとに、メラノサイト系ノード433,434や非メラノサイト系ノード435,436の各ノードを設定し、それらの各ノードから各属性に対応する疾患の確率円411,412,413,414に接続線421,422,423,424を延ばした木構造を表示する。
図13では示されていないが、表示制御部18は、各疾患の危険度を分かり易くするために、良性疾患の確率円には緑枠、悪性疾患の確率円には赤枠を付ける等の表示を行ってもよい。
また、図13では、各確率円の大きさは対応する疾患の確率の大きさに応じた大きさになっているが、これに限られない。確率が同じでも疾患に応じてリスクの高さは異なるため、例えば、疾患リスク取得部19で取得されたリスク指標が当該疾患の確率よりも高い場合は、その疾患の確率が小さくても大きな確率円を表示するようにしてもよいし、疾患リスク取得部19で取得されたリスク指標が当該疾患の確率よりも低い場合は、その疾患の確率が大きくても小さな確率円を表示するようにしてもよい。
以上説明したように、表示制御装置102は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を図13に示すように確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円415,416,417,418も表示することにより、確率円412,414とリスク円415,416,417,418との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。
実施形態3に係る表示制御装置102においても、上述の実施形態と同様、属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の少なくとも一方に代えて、「上皮性/非上皮性」、「転移性/非転移性」、「浸潤性/非浸潤性」、「ウイルス性/非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間(例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる)」等を用いることができる。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図13に示す例では、疾患の属性がメラノサイト系(メラノサイト系/非メラノサイト系)である可能性を表す指標を横軸に、疾患の属性が悪性(良性/悪性)である可能性を表す指標を縦軸に、それぞれ取った木構造を表示している。
また、表示制御部18は、悪性ノード432や良性ノード431、メラノサイト系ノード433,434や非メラノサイト系ノード435,436の各ノードや、それらの各ノードから各属性に対応する疾患の確率円411,412,413,414への接続線421,422,423,424等を延ばした木構造を表示せずに、確率円411,412,413,414のみを表示してもよいし、確率円411,412,413,414とリスク円415,416,417,418のみを表示してもよいし、これらの円並びに、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。
また、上述の実施形態3では、属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の二つを縦軸及び横軸に割り当てて2次元空間上で木構造を表示した。しかし、用いる属性を3種類にして、3次元空間上に木構造を配置して、それを2次元空間に投影したものを出力部32に出力してもよい。また、用いる属性の種類数nを4以上にしたい場合は、仮想的にn次元空間に木構造を配置し、それを最終的に2次元空間に投影して出力部32に出力するようにしてもよい。
(実施形態4)
本発明の実施形態4に係る表示制御装置103は、実施形態3に係る表示制御装置102の木構造の表示に加えて、クエリ画像に類似する画像を各確率円の周囲に表示する。このような表示を行うことにより、表示制御装置103は、診断対象部分の疾患の属性情報を把握しやすくするとともに、類似画像間の関係性をよりわかりやすく表示する。
実施形態4に係る表示制御装置103は、図15に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。これらのうち、記憶部20、入力部31及び出力部32は、実施形態3に係る表示制御装置102が備える記憶部20、入力部31及び出力部32と同様であるので、説明を省略する。通信部33も実施形態3に係る表示制御装置102が備える通信部33と同様であるが、データの送受信先の外部の他の装置として類似画像検索装置等も想定されており、制御部10は、通信部33を介して類似画像検索装置による類似画像検索結果(例えば、クエリ画像に類似する画像)を取得することができる。
制御部10は、CPU等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(指標取得部16、位置決定部13、疾患リスク取得部19、類似画像取得部11、分類部14、表示制御部18)の機能を実現する。
指標取得部16、位置決定部13及び疾患リスク取得部19は、実施形態3に係る表示制御装置102が備える指標取得部16、位置決定部13及び疾患リスク取得部19と同様なので、説明を省略する。
類似画像取得部11は、実施形態1に係る類似画像取得部11と同様に、クエリ画像に対する類似画像検索の結果得られたデータ(類似画像の画像データ及び該画像のクエリ画像との類似度)を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部11は、制御部10がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部33を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。
分類部14は、類似画像取得部11が取得した画像データを、指標取得部16が用いる疾患識別器が識別する疾患のいずれかに分類する。分類部14は、各画像データに付加されているタグ情報(例えば、各画像データには疾患名がタグ情報として付加されている)を利用して画像データをいずれかの疾患に分類することができる。
表示制御部18は、後述する表示制御処理により、実施形態3に係る表示制御部18の処理に加え、類似画像取得部11が取得した類似画像のデータを、図16に示すように、分類部14が分類した疾患に対応する確率円の周囲に表示する処理を行う。
以上、表示制御装置103の機能構成について説明した。次に表示制御装置103が行う表示制御処理の内容について、図17を参照して説明する。表示制御処理は、ユーザが入力部31を介して表示制御装置103に表示制御処理の開始を指示すると開始される。ただし、図17に示す表示制御処理のうち、ステップS401からステップS406までは、実施形態3に係る表示制御装置102の表示制御処理(図14)と同様の処理であるので、説明を省略する。
ステップS406までの処理で木構造が表示されると、次に、類似画像取得部11は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する(ステップS407)。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部11は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。
そして、分類部14は、類似画像取得部11が取得した類似画像を、各類似画像に付加されているタグ情報(疾患名)に基づいて、指標取得部16が用いる疾患識別器が識別する疾患のいずれかに分類する(ステップS408)。
そして、表示制御部18は、類似画像取得部11がステップS407で取得した類似画像を、分類部14がステップS408で分類した疾患に対応する確率円の周囲(又は内部)に配置して表示部に表示し(ステップS409)、表示制御処理を終了する。
ステップS409での表示制御部18による類似画像の表示は、図16に示すように、各疾患の確率円の周囲(又は内部)に、クエリ画像との類似度が高い画像ほど、その確率円の中心に配置されるように、同心円状に配置して表示する。図16に示す例では、各疾患に分類された類似画像のうち、クエリ画像との類似度が最も高い類似画像を各確率円の中心の上に配置し、そこから時計回りに配置することによって、同心円状に配置している。
また、各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、図16に示す例では、メラノーマの確率円412の中心の上部に配置されている類似画像を囲う小さい円4121の線の太さは、その隣に配置されている類似画像を囲う小さい円4122の線の太さより太く表示されている。さらに、メラノーマの確率円412の中心の上部に配置されている類似画像を囲う小さい円4121の線の太さは、色素性母斑の確率円411の上部に配置されている類似画像を囲う小さい円4111の線の太さや、脂漏性角化症の確率円413の上部に配置されている類似画像を囲う小さい円4131の線の太さや、基底細胞癌の確率円414の上部に配置されている類似画像を囲う小さい円4141の線の太さのいずれよりも太く表示されている。これは、類似画像取得部11が取得した類似画像のうちクエリ画像に最も類似する類似画像がメラノーマの画像(類似画像を囲う小さい円4121に囲われている画像)であることを意味する。
以上説明したように、表示制御装置103は、入力されたクエリ画像に対し、図16に示すように、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円415,416,417,418も表示することにより、確率円412,414とリスク円415,416,417,418との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。さらに、クエリ画像との類似度の高い順に類似画像を各確率円の周囲(又は内部)に配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。
実施形態4に係る表示制御装置102においても、実施形態3に係る表示制御装置102と同様に、様々な属性を用いることができ、また表示制御部18は、確率円411,412,413,414、リスク円415,416,417,418、クエリ画像400、類似画像、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。また、属性の種類数が2の木構造(2次元空間上の木構造)だけでなく、属性の種類をn種類にして、n次元空間に木構造を配置し、それを最終的に2次元空間に投影して出力部32に出力するようにしてもよい。
また、上述の実施形態2,3,4では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、識別器で画像を識別させる分野において広く適用できる。例えば、花の画像による花の種類の識別、細菌の顕微鏡写真による細菌の識別等にも適用できる。また、これらの識別器の実現方法は任意であり、CNN(Convolutional Neural Network)等のDNN(Deep Neural Network)を用いて実現してもよいし、SVM(Support Vector Machine)やロジスティック回帰等で実現してもよい。
また、上述の実施形態2,3,4では、表示制御処理を制御部10が行っていたが、外部のサーバで表示制御処理に相当する処理を行わせた結果を通信部33で受信して出力部32に出力してもよい。
また、上述の各実施形態及び各変形例は適宜組み合わせることができる。実施形態4は実施形態3に実施形態1の一部を組み合わせた実施形態と言えるが、例えば、逆に、実施形態1に実施形態3の一部を組み合わせてもよい。そうすると、図3に示す各カテゴリ円を当該カテゴリに対応する疾患の確率の大きさを示す確率円に置き換え、当該カテゴリに対応する疾患の確率の値やリスク円を表示させることもできる。このようにすると、各疾患の確率やリスクを視覚的に確認しながら、類似画像を参照することができ、より診断の参考にすることができる。また、実施形態3や実施形態4における確率円やリスク円の形状は円に限られず、他の適当な形状(例えば、三角形、四角形等のn角形、ハート型、星形等のシンボル形状等)でもよい。
なお、類似画像表示装置100及び表示制御装置101,102,103の各機能は、通常のPC(Personal Computer)等のコンピュータによっても実施することができる。具体的には、上記実施形態では、類似画像表示装置100が行う類似画像表示処理のプログラム及び表示制御装置101,102,103が行う表示制御処理のプログラムが、記憶部20のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)、メモリカード、USB(Universal Serial Bus)メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御手段と、
を備える類似画像表示制御装置。
(付記2)
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度に基づいて、前記カテゴリ領域の内部に配置して表示させる、
付記1に記載の類似画像表示制御装置。
(付記3)
前記画像表示制御手段は、前記カテゴリ領域を、前記カテゴリ領域に対応するカテゴリに分類された類似画像が多いほど、大きな円で表示させる、
付記1又は2に記載の類似画像表示制御装置。
(付記4)
前記画像表示制御手段は、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太く表示させる、
付記3に記載の類似画像表示制御装置。
(付記5)
前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させる、
付記3又は4に記載の類似画像表示制御装置。
(付記6)
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させる、
付記5に記載の類似画像表示制御装置。
(付記7)
前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させる、
付記5又は6に記載の類似画像表示制御装置。
(付記8)
前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定する、
付記1から7のいずれか1つに記載の類似画像表示制御装置。
(付記9)
前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
(付記10)
前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
(付記11)
前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させる、
付記9又は10に記載の類似画像表示制御装置。
(付記12)
前記画像表示制御手段は、前記類似画像のうちユーザに選択された1または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させる、
付記1から11のいずれか1つに記載の類似画像表示制御装置。
(付記13)
前記カテゴリは、皮膚の疾患名である、
付記1から12のいずれか1つに記載の類似画像表示制御装置。
(付記14)
前記属性は、良性/悪性及びメラノサイト系/非メラノサイト系の2種類である、
付記13に記載の類似画像表示制御装置。
(付記15)
類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、前記表示部に表示させる画像表示制御手段と、
を備える、
類似画像表示制御システム。
(付記16)
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップと、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップと、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップと、
を含む類似画像表示制御方法。
(付記17)
コンピュータに、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップ、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップ、及び、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップ、
を実行させるためのプログラム。
(付記18)
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御手段と、
を備える表示制御装置。
(付記19)
疾患の属性が悪性であり、かつ、前記疾患の属性が前記第1疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記取得された第1疾患属性指標と関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
(付記20)
前記取得手段は、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、をさらに取得し、
前記表示制御手段は、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標を、互いに関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
(付記21)
前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標と、互いに関連づけて表示部に表示させる、
付記20に記載の表示制御装置。
(付記22)
疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
付記20又は21に記載の表示制御装置。
(付記23)
前記第1疾患属性がメラノサイト系であり、前記第2疾患属性が非メラノサイト系である、
付記20から22のいずれか1つに記載の表示制御装置。
(付記24)
前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
付記18から23のいずれか1つに記載の表示制御装置。
(付記25)
表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備える、
表示制御システム。
(付記26)
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップと、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップと、
を備える表示制御方法。
(付記27)
コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップ、並びに、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させるためのプログラム。
10…制御部、11…類似画像取得部、12…カテゴリ設定部、13…位置決定部、14…分類部、15…画像表示制御部、16…指標取得部、17…リスク取得部、18…表示制御部、19…疾患リスク取得部、20…記憶部、31…入力部、32…出力部、33…通信部、51,300,400…クエリ画像、52…比較対象画像、53…タグ情報、54…類似度の順位、55…順送りボタン、56…逆送りボタン、100…類似画像表示装置、101,102,103…表示制御装置、201…色素性母斑、202…メラノーマ、203…脂漏性角化症、204…血腫・血管腫、205…基底細胞癌、206…点、207…リスク境界線、301…色素性母斑の領域、302…メラノーマの領域、303…脂漏性角化症の領域、304…血腫・血管腫の領域、305…基底細胞癌の領域、311,312,313,314,315…カテゴリ円、311a,311b,311c,311d,312a,312b,313a,313b,314a,314b,315a,315b,315c…グラフィック図形、321,322,323,324,325,421,422,423,424…接続線、331…良性、332…悪性、333,334…メラノサイト系、335,336…非メラノサイト系、351,352,353,354,355…四角形、411,412,413,414…確率円、415,416,417,418…リスク円、431…良性ノード、432…悪性ノード、433,434…メラノサイト系ノード、435,436…非メラノサイト系ノード、3141,3142,4111,4121,4122,4131,4141…類似画像を囲う小さい円

Claims (10)

  1. 診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、を取得する取得手段と、
    前記取得された悪性指標前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御手段と、を備え
    前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
    表示制御装置。
  2. 前記表示制御手段は、
    前記悪性指標及び前記良性指標を第1の座標軸上の情報とし、且つ、前記第1疾患属性指標及び前記第2疾患属性指標を第2の座標軸上の情報とする2次元座標による表示となるように、前記悪性指標、前記第1疾患属性指標、前記良性指標及び前記第2疾患属性指標の関係を前記表示部に表示させる、
    請求項1に記載の表示制御装置。
  3. 疾患の属性が悪性であり、かつ、前記疾患の属性が前記第1疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
    前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記
    取得された第1疾患属性指標と関連づけて前記表示部に表示させる、
    請求項1又は2に記載の表示制御装置。
  4. 前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
    前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標と、互いに関連づけて表示部に表示させる、
    請求項1からのいずれか1項に記載の表示制御装置。
  5. 疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
    前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
    前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
    請求項1からのいずれか1項に記載の表示制御装置。
  6. 前記第1疾患属性がメラノサイト系であり、前記第2疾患属性が非メラノサイト系である、
    請求項から5のいずれか1項に記載の表示制御装置。
  7. 前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
    前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
    請求項1から6のいずれか1項に記載の表示制御装置。
  8. 表示制御装置と表示部とを備える表示制御システムであって、
    前記表示制御装置は、
    診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、を取得する取得手段と、
    前記取得された悪性指標前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを、互いに関連づけて前記表示部に表示させる表示制御手段と、
    を備え
    前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
    表示制御システム。
  9. 表示制御装置が実行する表示制御方法であって、
    診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標とを取得する取得ステップと、
    前記取得された悪性指標前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御ステップと、
    含み、
    前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
    表示制御方法。
  10. コンピュータに、
    診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標とを取得する取得ステップ、並びに、
    前記取得された悪性指標前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標とを互いに関連づけて表示部に表示させる表示制御ステップ、
    を実行させ
    前記第1疾患属性指標及び第2疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
    プログラム。
JP2021203346A 2018-08-27 2021-12-15 表示制御装置、表示制御システム、表示制御方法及びプログラム Active JP7380668B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018158048 2018-08-27
JP2018158048 2018-08-27
JP2019122644A JP7176486B2 (ja) 2018-08-27 2019-07-01 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019122644A Division JP7176486B2 (ja) 2018-08-27 2019-07-01 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2022033975A JP2022033975A (ja) 2022-03-02
JP2022033975A5 JP2022033975A5 (ja) 2022-06-22
JP7380668B2 true JP7380668B2 (ja) 2023-11-15

Family

ID=69586492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021203346A Active JP7380668B2 (ja) 2018-08-27 2021-12-15 表示制御装置、表示制御システム、表示制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20200066396A1 (ja)
JP (1) JP7380668B2 (ja)
CN (2) CN110867241B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301273B2 (en) * 2020-03-11 2022-04-12 Atlassian Pty Ltd. Computer user interface for a virtual workspace having multiple application portals displaying context-related content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299740A (ja) 2000-02-16 2001-10-30 Fuji Photo Film Co Ltd 異常陰影検出処理システム
JP2004135868A (ja) 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出処理システム
JP2004254742A (ja) 2003-02-24 2004-09-16 Konica Minolta Holdings Inc 医用画像処理装置及び悪性度の判定方法
JP2015518197A (ja) 2012-03-21 2015-06-25 コーニンクレッカ フィリップス エヌ ヴェ 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
WO2018104458A1 (fr) 2016-12-08 2018-06-14 Koelis Dispositif de visualisation d'un organe interne d'un patient ainsi qu'un procede de visualisation associe

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10326286A (ja) * 1997-05-27 1998-12-08 Mitsubishi Electric Corp 類似検索装置及び類似検索プログラムを記録した記録媒体
JP2000112991A (ja) * 1998-10-08 2000-04-21 Canon Inc 情報検索装置、情報検索方法及び記憶媒体
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
US7293007B2 (en) * 2004-04-29 2007-11-06 Microsoft Corporation Method and system for identifying image relatedness using link and page layout analysis
US20060101072A1 (en) * 2004-10-21 2006-05-11 International Business Machines Corproation System and method for interpreting scan data
JP4353259B2 (ja) * 2007-02-22 2009-10-28 ソニー株式会社 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
JP5098559B2 (ja) * 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP5159242B2 (ja) * 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
JP5199939B2 (ja) * 2009-04-15 2013-05-15 ヤフー株式会社 画像検索装置、画像検索方法及びプログラム
US8352465B1 (en) * 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
US20120232918A1 (en) * 2010-11-05 2012-09-13 Mack Jonathan F Electronic data capture, documentation, and clinical decision support system
JP5408241B2 (ja) * 2011-12-21 2014-02-05 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
US20140237377A1 (en) * 2012-11-15 2014-08-21 Oliver Robert Meissner Graphical user interface methods to determine and depict relative popularity of internet offerings
JP6058595B2 (ja) * 2013-07-31 2017-01-11 富士フイルム株式会社 画像検索装置、画像検索方法、プログラムおよび記録媒体
CN103838864B (zh) * 2014-03-20 2017-02-22 北京工业大学 一种视觉显著性与短语相结合的图像检索方法
US10127246B2 (en) * 2016-08-16 2018-11-13 Microsoft Technology Licensing, Llc Automatic grouping based handling of similar photos
AU2017204494B2 (en) * 2016-09-01 2019-06-13 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and non-transitory storage medium having stored therein program
CN106874687A (zh) * 2017-03-03 2017-06-20 深圳大学 病理切片图像智能分类方法及装置
US11379516B2 (en) * 2018-03-29 2022-07-05 Google Llc Similar medical image search
US10810075B2 (en) * 2018-04-23 2020-10-20 EMC IP Holding Company Generating a social graph from file metadata
EP3871232A4 (en) * 2018-10-22 2022-07-06 The Jackson Laboratory METHOD AND APPARATUS FOR PHENOLIC DRIVEN CLINICAL GENOMICS USING A LIKELIHOOD RATIO PARADIGM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299740A (ja) 2000-02-16 2001-10-30 Fuji Photo Film Co Ltd 異常陰影検出処理システム
JP2004135868A (ja) 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd 異常陰影候補検出処理システム
JP2004254742A (ja) 2003-02-24 2004-09-16 Konica Minolta Holdings Inc 医用画像処理装置及び悪性度の判定方法
JP2015518197A (ja) 2012-03-21 2015-06-25 コーニンクレッカ フィリップス エヌ ヴェ 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
WO2018104458A1 (fr) 2016-12-08 2018-06-14 Koelis Dispositif de visualisation d'un organe interne d'un patient ainsi qu'un procede de visualisation associe

Also Published As

Publication number Publication date
CN110867241A (zh) 2020-03-06
US20200066396A1 (en) 2020-02-27
CN110867241B (zh) 2023-11-03
JP2022033975A (ja) 2022-03-02
CN117438053A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
Goyal et al. Artificial intelligence-based image classification methods for diagnosis of skin cancer: Challenges and opportunities
US20200320336A1 (en) Control method and recording medium
Yang et al. Clinical skin lesion diagnosis using representations inspired by dermatologist criteria
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
US11776692B2 (en) Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus
US8442280B2 (en) Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
CN111936989A (zh) 相似医学图像搜索
JP5618787B2 (ja) レポート作成支援装置及びその作成支援方法、並びにプログラム
US10261681B2 (en) Method for displaying a medical image and a plurality of similar medical images obtained from a case search system
US20140101080A1 (en) Apparatus and method of diagnosis using diagnostic models
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7496561B2 (ja) 特徴量抽出装置、特徴量抽出方法及びプログラム
Kumar et al. An improved Gabor wavelet transform and rough K-means clustering algorithm for MRI brain tumor image segmentation
EP3478164B1 (en) Classifying hormone receptor status of malignant tumorous tissue from breast thermographic images
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
JP2019212296A (ja) 医用情報処理装置、方法及びプログラム
JP2010000133A (ja) 画像表示装置、画像表示方法及びプログラム
JP7380668B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
Boulahia et al. Att2ResNet: A deep attention‐based approach for melanoma skin cancer classification
CN115867936A (zh) 处理电子图像以产生组织图可视化的系统和方法
JP7176486B2 (ja) 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム
CN115690486A (zh) 识别图像中病灶方法、装置、设备及存储介质
CN109685798A (zh) 一种确定有效医学图像的方法及装置
JP7130107B2 (ja) 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器
Ghosh et al. EMD-Based Binary Classification of Mammograms

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7380668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150