JP7176486B2 - Similar image display control device, similar image display control system, similar image display control method and program - Google Patents
Similar image display control device, similar image display control system, similar image display control method and program Download PDFInfo
- Publication number
- JP7176486B2 JP7176486B2 JP2019122644A JP2019122644A JP7176486B2 JP 7176486 B2 JP7176486 B2 JP 7176486B2 JP 2019122644 A JP2019122644 A JP 2019122644A JP 2019122644 A JP2019122644 A JP 2019122644A JP 7176486 B2 JP7176486 B2 JP 7176486B2
- Authority
- JP
- Japan
- Prior art keywords
- similar
- category
- image
- display control
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラムに関する。 The present invention relates to a similar image display control device, a similar image display control system, a similar image display control method, and a program.
皮膚科において、皮膚の疾患の診断は、熟練を要し、かなり困難な作業である。そこで、最近では、患部を撮影してその撮影画像をコンピュータにより解析する技術が開発されてきている。大量の症例をデータベース化して、患者の患部の撮影画像をクエリ画像として類似画像検索を行い、類似した症例を参考に診断を行なうものである。
類似画像を表示する装置として、例えば、特許文献1には、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出し、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する画像検索装置等が記載されている。
また、診断を支援するために、患部の良性/悪性を判定する技術も開発されてきている。例えば、非特許文献1には、皮膚疾患の良性/悪性の度合いを1軸の情報で視覚的に提供する診断支援装置が記載されている。
In dermatology, diagnosis of skin diseases is a very difficult task requiring skill. Therefore, recently, a technique has been developed in which an affected part is photographed and the photographed image is analyzed by a computer. A database of a large number of cases is created, a similar image search is performed using a photographed image of a patient's affected area as a query image, and a diagnosis is made with reference to similar cases.
As a device for displaying similar images, for example, Patent Document 1 discloses extracting similar images similar to a query image from among images registered in an image database, and arranging the similar images around the query image. , an image retrieval device that presents a retrieval result in which a query image and a similar image are linked and displayed on a display means.
Techniques for judging whether an affected area is benign or malignant have also been developed to assist diagnosis. For example, Non-Patent Document 1 describes a diagnostic support device that visually provides the degree of benign/malignant skin disease as uniaxial information.
特許文献1に記載の画像検索装置は、クエリ画像と類似する画像をクエリ画像の周囲にリンク線とともに表示し、新たなクエリ画像が指定された場合、過去の検索結果に追加表示することはできるが、クエリ画像と類似する複数の画像について、その類似の関係性がわかりにくいという課題があった。
また、非特許文献1に記載の診断支援装置は、診断対象部分の良性/悪性の度合いを視覚的に把握できる情報を提供するが、良性/悪性の度合いしか把握できず、診断対象部分の疾患の属性情報を把握しにくいという課題があった。
The image search device described in Patent Document 1 displays images similar to the query image together with link lines around the query image, and when a new query image is specified, it can be additionally displayed in addition to past search results. However, there is a problem that it is difficult to understand the similarity relationship between multiple images similar to the query image.
In addition, although the diagnostic support device described in Non-Patent Document 1 provides information that allows a visual grasp of the degree of benign/malignantness of a portion to be diagnosed, only the degree of benign/malignantness can be grasped, and the disease of the portion to be diagnosed There was a problem that it was difficult to grasp the attribute information of
本発明は、上記問題を解決するためになされたものであり、従来よりも類似画像間の関係性をよりわかりやすく表示させることができる類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラムを提供することである。 The present invention has been made to solve the above problems, and is capable of displaying the relationship between similar images in a more comprehensible manner than in the past . It is to provide a display control method and program.
上記目的を達成するため、本発明の類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段と、
を備える。
In order to achieve the above object, the similar image display control device of the present invention includes:
a similar image obtaining means for obtaining a plurality of similar images obtained as a result of similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. an image display control means for causing the display unit to display such that the higher the image, the thicker the image;
Prepare.
本発明によれば、類似画像間の関係性をよりわかりやすく表示させることができる。 According to the present invention, it is possible to display the relationship between similar images in a more comprehensible manner .
以下、本発明の実施形態に係る類似画像表示装置等について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。 Hereinafter, similar image display devices and the like according to embodiments of the present invention will be described with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings.
(実施形態1)
本発明の実施形態1に係る類似画像表示装置100は、クエリ画像に対する類似画像検索の結果得られた類似画像を、所定のカテゴリ毎に集めて、クエリ画像との類似度に基づいてカテゴリ内に配置する。そして、その類似画像が集まって配置されたカテゴリを、所定の軸で定義されたn次元空間内に配置して表示することにより、類似画像間の関係性をわかりやすく表示する。このような表示を行うための仕組みについて、以下に説明する。
(Embodiment 1)
The similar
実施形態1に係る類似画像表示装置100は、図1に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。
The similar
制御部10は、CPU(Central Processing Unit)等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(類似画像取得部11、カテゴリ設定部12、位置決定部13、分類部14、画像表示制御部15)の機能を実現する。
The
記憶部20は、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、制御部10のCPUが実行するプログラム及び必要なデータを記憶する。
The
入力部31は、類似画像表示装置100のユーザが類似画像表示装置100に与える指示を入力したり、クエリ画像を入力したりするためのデバイス(キーボード、マウス、タッチパネル、カメラ等)である。制御部10は、入力部31を介してユーザからの指示や、クエリ画像を取得する。入力部31としては、制御部10がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部10は、クエリ画像を、通信部33を介して取得してもよい。なお、クエリ画像とは、ユーザが類似画像表示装置100に表示させる類似画像を検索する際に入力する画像データである。類似画像表示装置100は、クエリ画像に類似する複数の画像をユーザにわかりやすく提示する。
The
出力部32は、制御部10が、類似画像をユーザに提示するためのデバイス(ディスプレイ、ディスプレイ用のインタフェース等)である。類似画像表示装置100は、出力部32としてディスプレイ(表示部)を備えてもよいし、出力部32を介して接続した外部のディスプレイに検索結果等を表示してもよい。なお、ディスプレイ(表示部)を備えない類似画像表示装置100(出力部32がディスプレイ(表示部)用のインタフェースになっている類似画像表示装置100)は、類似画像表示制御装置とも呼ばれる。
The
通信部33は、外部の他の装置(例えば、画像データのデータベースが格納されているサーバ、類似画像検索装置等)とデータの送受信を行うためのデバイス(ネットワークインタフェース等)である。制御部10は、通信部33を介してクエリ画像やクエリ画像に類似する画像を取得することができる。
The
次に、制御部10の機能について説明する。制御部10は、類似画像取得部11、カテゴリ設定部12、位置決定部13、分類部14及び画像表示制御部15の機能を実現する。
Next, functions of the
類似画像取得部11は、クエリ画像に対する類似画像検索の結果得られたデータ(類似画像の画像データ及び該画像のクエリ画像との類似度)を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部11は、制御部10がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部33を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。類似画像取得部11は、類似画像取得手段として機能する。
The similar image acquisition unit 11 acquires data (image data of the similar image and degree of similarity of the image to the query image) obtained as a result of similar image search for the query image. Specifically, in the similar image search, image data whose degree of similarity to the query image is equal to or greater than a predetermined threshold value is obtained together with the degree of similarity. The similar image acquisition unit 11 may acquire similar image data obtained as a result of searching for an image similar to the query image by the
カテゴリ設定部12は、類似画像取得部11が取得した画像データを分類するカテゴリ群(複数のカテゴリ)を設定する。このカテゴリ群とは、例えば、皮膚の画像データを対象とする場合は、疾患名(色素性母斑、メラノーマ、基底細胞癌等)、外形形状(円形、星形、楕円形等)、色味(赤、黒、茶等)、大きさ、内部構造、母斑(色素斑)の状態(網状パターン、小球状パターン、敷石状パターン、均一パターン、平行パターン、スターバーストパターン、多構築パターン、非特異的パターン等)等である。例えば、疾患名をカテゴリ群とする場合、具体的な疾患名である色素性母斑、メラノーマ、基底細胞癌等が、それぞれ1つのカテゴリとなる。分類するカテゴリ群(複数のカテゴリ)の情報は、予め記憶部20に記憶されており、カテゴリ設定部12は、記憶部20に記憶されているカテゴリ群の情報に基づいて、画像データを分類するカテゴリ群(複数のカテゴリ)を設定する。カテゴリ設定部12は、カテゴリ設定手段として機能する。
The
位置決定部13は、カテゴリ設定部12が設定したカテゴリ群(複数のカテゴリ)に含まれる各カテゴリを示す領域を表示する位置を、n種類(nは1以上の整数)の属性に従ってn次元の空間における座標として決定する。より詳細には、n種類の属性のそれぞれを、n次元空間の座標を定義するn本の座標軸に1対1で対応させ、各カテゴリを示す領域(カテゴリ領域)を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性の属性値に基づいて決定する。
The
例えば、カテゴリ設定部12が設定したカテゴリ群が疾患名で、位置決定部13が、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の2種類の属性でそのカテゴリ群(疾患名)の2次元空間での位置を決定する場合を考える。この場合、位置決定部13は、例えば図2に示すように、「良性/悪性」を縦軸(Y軸)、「メラノサイト系/非メラノサイト系」を横軸(X軸)とする2次元空間において、各疾患名を表示する位置の座標を決定することになる。ここでは、縦軸(Y軸)においては、良性が下側、悪性が上側とし、横軸(X軸)においては、メラノサイト系が左側、非メラノサイト系が右側とする。
For example, the category group set by the
具体例として、疾患名として色素性母斑、メラノーマ、脂漏性角化症、血腫・血管腫、基底細胞癌の5つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、血腫・血管腫が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部13は、図2に示すように、色素性母斑201を左下の領域に、メラノーマ202を左上の領域に、脂漏性角化症203を右下の領域(領域中央より少し左)に、血腫・血管腫204も右下の領域(領域中央より少し右)に、基底細胞癌205を右上の領域に表示されるように、それぞれの位置を決定する。
As a specific example, if there are five disease names: nevus pigmentosa, melanoma, seborrheic keratosis, hematoma/hemangioma, and basal cell carcinoma, the attributes of each disease are “Benign, melanocytic”, melanoma is “malignant, melanocytic”, seborrheic keratosis is “benign, non-melanocytic”, hematoma/hemangioma is “benign, non-melanocytic”, basal cell carcinoma is “malignant” , non-melanocyte system”. Therefore, as shown in FIG. 2, the
なお、位置決定部13は、異なるカテゴリが表示される位置が同じ座標にならないように、必要に応じてカテゴリの表示位置を調整してもよい。例えば、図2に示す例では、脂漏性角化症203も血腫・血管腫204も「良性、非メラノサイト系」なので、表示位置を調整しないと両カテゴリともに同じ右下の領域に表示されることになってしまう。このため、図2に示す例では、位置決定部13は、脂漏性角化症203を右下の領域の中央よりも少し左にずらした位置に、血腫・血管腫204を右下の領域の中央よりも少し右にずらした位置に、それぞれ表示されるように表示位置を調整している。
Note that the
位置決定部13が各カテゴリの表示位置を決定する空間の座標軸を決めるために用いるn種類の属性の情報と、各カテゴリの該属性の情報と、各属性の配置情報は、予め記憶部20に記憶されている。位置決定部13は、記憶部20に記憶されているn種類の属性の情報、各カテゴリの該属性の情報及び各属性の配置情報に基づいて、カテゴリ群(複数のカテゴリ)を表示する位置のn次元空間における座標を決定する。図2に示す例においては、属性の情報として「良性/悪性」の属性と、「メラノサイト系/非メラノサイト系」の属性の2種類の属性の情報が記憶部20に記憶されている。そして、各カテゴリの該属性の情報として、色素性母斑201は「良性、メラノサイト系」、メラノーマ202は「悪性、メラノサイト系」、脂漏性角化症203は「良性、非メラノサイト系」、血腫・血管腫204は「良性、非メラノサイト系」、基底細胞癌205は「悪性、非メラノサイト系」という情報が記憶部20に記憶されている。そして、各属性の配置情報として、「良性/悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系/非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部20に記憶されている。位置決定部13は、位置決定手段として機能する。
Information on n types of attributes used by the
分類部14は、類似画像取得部11が取得した画像データを、カテゴリ設定部12が設定したカテゴリ群(複数のカテゴリ)のいずれかのカテゴリに分類する。なお、分類部14は、各画像データに付加されているタグ情報(例えば、各画像データには疾患名がタグ情報として付加されている)を利用して画像データを分類することができる。分類部14は、分類手段として機能する。
The
画像表示制御部15は、分類部14によって各カテゴリに分類された画像データを、クエリ画像との類似度に基づいて、位置決定部13によりn次元空間における座標が決定されたそのカテゴリを示す領域の内部に配置し、出力部32を介して表示する。画像表示制御部15は、例えば図3に示すように、色素性母斑に分類された類似画像を色素性母斑の領域301(図3の左下の円内)に、メラノーマに分類された類似画像をメラノーマの領域302(図3の左上の円内)に、脂漏性角化症に分類された類似画像を脂漏性角化症の領域303(図3の右下の少し左寄りの円内)に、血腫・血管腫に分類された類似画像を血腫・血管腫の領域304(図3の右下の少し右寄りの円内)に、基底細胞癌に分類された類似画像を基底細胞癌の領域305(図3の右上の円内)に、それぞれクエリ画像300との類似度が高い程、各領域(円内)の中心に位置するように配置して表示する。画像表示制御部15は、画像表示制御手段として機能する。
Based on the degree of similarity between the image data classified into each category by the
以上、類似画像表示装置100の機能構成について説明した。次に、類似画像表示装置100が行う類似画像表示処理の内容について、図4を参照して説明する。類似画像表示処理は、ユーザが入力部31を介して類似画像表示装置100に類似画像表示処理の開始を指示すると開始される。
The functional configuration of the similar
まず、類似画像表示装置100の制御部10は、クエリ画像を取得する(ステップS101)。例えば、ユーザが入力部31を介してクエリ画像を類似画像表示装置100に入力(例えば画面の指定領域にクエリ画像をドラッグ・アンド・ドロップする)すると、制御部10は、クエリ画像を取得する。
First, the
次に、類似画像取得部11は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する(ステップS102)。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部11は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。ステップS102は、類似画像取得ステップとも呼ばれる。類似画像検索の処理は、類似画像表示装置100の代わりに外部の類似画像検索装置で行ってもよい。その場合は、制御部10は、ステップS101で取得したクエリ画像を、通信部33を介して類似画像検索装置に送信し、類似画像検索装置が類似画像検索をした結果を類似画像取得部11が取得する。
Next, the similar image acquisition unit 11 acquires similar images obtained as a result of similar image search for the query image (step S102). Specifically, in the similar image search, similar images having a degree of similarity with the query image equal to or greater than a predetermined threshold are acquired. At this time, the similar image obtaining unit 11 obtains the similar image and the degree of similarity between the similar image and the query image. Step S102 is also called a similar image acquisition step. Similar image retrieval processing may be performed by an external similar image retrieval device instead of the similar
そして、分類部14は、類似画像取得部11が取得した類似画像を、各類似画像に付加されているタグ情報に基づいて、カテゴリ設定部12が設定したカテゴリに分類する(ステップS103)。ステップS103は、分類ステップとも呼ばれる。
Then, the
次に、画像表示制御部15は、ステップS103で各カテゴリに分類された類似画像を、位置決定部13が位置を決定した各カテゴリの領域に配置し、出力部32を介して表示する(ステップS104)。具体的には、図3に示すように、各カテゴリの領域に、クエリ画像との類似度が高い画像ほどそのカテゴリの領域の中心に配置されるように、同心円状に配置する。図3に示す例では、各カテゴリに分類された類似画像のうち、クエリ画像との類似度が最も高い画像をそのカテゴリの中心に配置し、類似度の高さが2番目以降の画像をその外側に上から時計回りに配置することによって、同心円状に配置している。
Next, the image
また、画像表示制御部15はステップS104において、各カテゴリの領域にそのカテゴリに分類された類似画像の個数に応じた大きさの円を表示する。この円を表示することにより、各カテゴリの規模を直感的に把握しやすくなる。さらに、画像表示制御部15はこの円の円周の線の太さを、中心の画像(そのカテゴリでクエリ画像との類似度が最も高い類似画像)とクエリ画像との類似度が高いほど太く表示する。このように円の太さを太くすることによって、ユーザは最もクエリ画像に類似する類似画像の配置場所を直感的に把握できるようになる。また、画像表示制御部15は、この円の円周の線の太さを、中心の画像に限らず、所定の画像(例えばそのカテゴリでクエリ画像との類似度がn番目(nは1以上かつそのカテゴリに分類された類似画像の個数以下の整数)に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等)とクエリ画像との類似度に応じて所定の太さ(例えば類似度が高ければ太く、類似度が低ければ細く)で表示してもよい。なお、ユーザが各類似画像とクエリ画像の比較を容易にできるようにするために、画像表示制御部15はステップS104において、図3に示すように、クエリ画像300を表示画面の中心部に表示する処理も行う。ステップS104は、画像表示制御ステップとも呼ばれる。
Further, in step S104, the image
次に、制御部10は、ステップS104で表示された類似画像が入力部31を介して選択(例えばユーザによりクリック)されたか否かを判定する(ステップS105)。類似画像が選択されなければ(ステップS105;No)、ステップS108に進む。
Next, the
類似画像が選択されたら(ステップS105;Yes)、画像表示制御部15は、ステップS105で選択された画像とクエリ画像とを比較できるように、これらの画像を拡大表示する(ステップS106)。例えば、図3の色素性母斑の中心の画像(色素性母斑に分類された類似画像の中で、クエリ画像に最も類似する画像)が比較対象画像としてクリックされた場合は、図5に示すように、クエリ画像51とクリックされた比較対象画像52とが拡大表示される比較表示画面が出力部32を介して表示される。図5は、画像表示制御部15が、比較対象画像52の下に、その比較対象画像に付加されているタグ情報53、その比較対象画像52とクエリ画像51との類似度の順位54、比較対象画像52を類似度の順番に切り換える順送りボタン55及び逆送りボタン56を表示することも示している。
When a similar image is selected (step S105; Yes), the image
そして、画像表示制御部15は、ユーザ操作に応じた画像表示を行う(ステップS107)。例えば、画像表示制御部15は、クエリ画像51又は比較対象画像52の上で、ドラッグ操作が行われたら該画像を平行移動させ、ホイールの回転が行われたら該画像を拡大又は縮小させ、クエリ画像51の上でダブルクリックされたら図3に示すクエリ画像表示画面に戻す。また、画像表示制御部15は、順送りボタン55又は逆送りボタン56がクリックされたら、比較対象画像をクエリ画像との類似度の順番に切り替える。
Then, the image
次に、制御部10は、類似画像表示処理の終了が指示されたか否かを判定する(ステップS108)。類似画像表示処理の終了が指示されていないなら(ステップS108;No)、ステップS107に戻る。類似画像表示処理の終了が指示されたら(ステップS108;Yes)、類似画像表示処理を終了する。例えば、入力部31を介してユーザにより類似画像表示処理の終了が指示されたら、類似画像表示処理を終了する。
Next, the
以上のように、類似画像表示装置100は、類似画像をカテゴリに分類して、カテゴリ毎にクエリ画像との類似度の高い順に類似画像を配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。
As described above, the similar
例えば、皮膚疾患の画像を表示させる場合、メラノーマ、基底細胞癌、日光角化症はいずれも悪性疾患であるが、悪性度(人体への影響度)は大きく異なる。従って、例えば、各カテゴリの属性の情報として、メラノーマは「悪性度10、メラノサイト系」、基底細胞癌は「悪性度8、非メラノサイト系」、日光角化症は「悪性度3、非メラノサイト系」、というように、悪性度の情報(属性の属性値)も記憶部20に記憶しておき、位置決定部13が、悪性度に応じて、例えば悪性度が高いカテゴリほど画面の上部の方にそのカテゴリの円が表示されるように当該カテゴリの位置を決定すると、ユーザは各カテゴリに配置された類似画像を、その悪性度とともに確認することができるようになる。他の属性についても同様にその属性の属性値に基づいて位置が決定されることにより、ユーザは類似画像をその属性の属性値に応じて確認することができるようになる。なお、これらはあくまで一例として示したものであって、必ずしも医学的に正しいという意味ではない。医師等、類似画像表示装置100のユーザの考え方や状況に応じてこれらの表示位置は適宜変更可能である。
For example, when displaying an image of a skin disease, melanoma, basal cell carcinoma, and actinic keratosis are all malignant diseases, but their degree of malignancy (degree of impact on the human body) differs greatly. Therefore, for example, as attribute information for each category, melanoma is "
(変形例1)
上述の実施形態1では、類似画像表示処理において、図3のような表示を行っていたが、さらに類似の関係性を分かり易くする変形例1について図6を参照して説明する。
(Modification 1)
In the first embodiment described above, the display as shown in FIG. 3 is performed in the similar image display process, but a modified example 1 that makes the similarity relationship easier to understand will be described with reference to FIG. 6 .
変形例1にかかる類似画像表示装置100では、類似画像表示処理(図4)のステップS104において、画像表示制御部15が次のような処理を行う。(なお、各カテゴリの領域に描画する円の大きさは、上述の実施形態1と同様に、そのカテゴリに分類された類似画像の個数が多いほど大きくする。例えば図6に示されるように、色素性母斑のカテゴリ円311はメラノーマのカテゴリ円312より大きい。)
‐各カテゴリの領域に描画する円の背景を、中心を濃く、外側になるほど薄く描画する。例えば図6に示されるように、色素性母斑のカテゴリ円311のカテゴリの領域に描画する円の背景に、中心側から同心円状のグラフィック図形311a、311b、311c、311dを表示している。なお、図6では濃さを各カテゴリ円の大きさに応じて2~4段階で変化させているが、このような段階を設けずにスムーズに(グラデーションで)変化させてもよい。
‐クエリ画像から各カテゴリの中心の画像までを接続線で接続する。
‐接続線の太さはその接続線が接続しているカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太くする。例えば色素性母斑のカテゴリ円311への接続線321の太さはメラノーマのカテゴリ円312への接続線322より太い。(なお、接続線の太さは、中心の画像に限らず、所定の画像(例えばそのカテゴリでクエリ画像との類似度がn番目(nは1以上そのカテゴリに分類された類似画像の個数以下の整数)に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等)とクエリ画像との類似度に応じて所定の太さ(例えば類似度が高ければ太く、類似度が低ければ細く)で表示してもよい。)
‐接続線321,322,323,324,325の途中には位置決定部13が各カテゴリの位置を決定する際に用いる属性の情報を表示する。例えば、メラノーマのカテゴリにおいては悪性332、メラノサイト系334という属性の情報を表示している。
‐上記のような接続線321,322,323,324,325により、各カテゴリを示す領域は、クエリ画像を根ノードとする木構造を介して、葉ノードとして接続される。つまり、クエリ画像を根ノードとし、各カテゴリを示す領域を葉ノードとして、各カテゴリを示す領域に対応するカテゴリの属性に基づいた接続線が根ノードから葉ノードに接続した木構造により、類似画像等が表示されることになる。そして、各カテゴリに接続される接続線321,322,323,324,325の内部ノードとして該カテゴリの属性の情報を示す属性名(良性331、悪性332、メラノサイト系333,334、非メラノサイト系335,336等)が表示される。
‐属性の情報は、特に注目して欲しい場合には大きく表示する。(例えば、皮膚の疾患の画像データを対象として類似画像表示を行う場合に、悪性の類似画像の方が良性の類似画像より多い場合には、属性の情報のうち悪性332を大きく表示する。なお、図6では良性の類似画像の方が多いため、悪性332は良性331と同じ大きさで表示されている。)
‐各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、血腫・血管腫のカテゴリ円314の中心に配置されている類似画像を囲う小さい円3141の線の太さは、その周辺に配置されている類似画像を囲う小さい円3142の線の太さより太い。
In the similar
- Draw the background of the circle drawn in each category area darker in the center and lighter toward the outside. For example, as shown in FIG. 6, concentric graphic figures 311a, 311b, 311c, and 311d are displayed from the center side on the background of the circle drawn in the category area of the pigmented
- Connect lines from the query image to the center image of each category.
- The thickness of the connection line is made thicker as the similarity between the similar image placed in the center of the category to which the connection line connects (the similar image that is most similar to the query image in that category) and the query image is higher. For example, the connecting
-In the middle of the
- By the connecting
- Display attribute information in a large size if you want it to draw particular attention. (For example, when similar images are displayed for image data of a skin disease, if there are more malignant similar images than benign similar images, the malignant 332 of the attribute information is displayed larger. 6, malignant 332 is displayed in the same size as benign 331 because there are more benign similar images.)
- Each similar image is displayed by enclosing it in a small circle, and the thickness of the line of the small circle is made thicker as the similarity between the similar image and the query image is higher. For example, the line thickness of the
類似画像表示処理(図4)のステップS104にて、画像表示制御部15が以上のような処理を行うことにより、例えば図6に示すような、類似画像の表示が行われる。このような表示が行われることにより、以下のような効果が得られる。
‐各カテゴリ円311,312,313,314,315がn種類の属性に従ってn次元空間に配置されることによって、ユーザは直感的にクエリ画像の性質を把握することができる。
‐各カテゴリ円311,312,313,314,315がそのカテゴリに分類された件数(検索件数)の多いほど大きく表示されることによって、ユーザは検索件数を直感的に把握することができる。
‐各カテゴリへの接続線321,322,323,324,325の太さが、そのカテゴリの中心に配置される類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)とクエリ画像との類似度が高いほど太く表示されることによって、ユーザはクエリ画像に最も類似する類似画像の配置場所を直感的に把握することができる。
‐各カテゴリの領域に描画されるカテゴリ円の背景が、中心を濃く、外側になるほど薄く描画されることによって、円中心部側の症例の重要度が高いことをユーザに視覚的に認識させることができる。
In step S104 of the similar image display process (FIG. 4), the image
- Each
- Each
-The thickness of the connecting
- The background of the category circle drawn in the area of each category is drawn darker in the center and lighter toward the outside, so that the user can visually recognize that the cases on the center side of the circle are of high importance. can be done.
(変形例2)
上述の実施形態1では、画像表示制御部15が類似画像検索結果をカテゴリ毎に同心円状にまとめて配置しているが、これに限られず、放射状、楕円形状、四角形状、等でもよい。例えば、四角形状に配置すると、図7に示すように、よりコンパクトに表示することができ、検索結果が多い場合等でも全ての類似画像を一度に一覧性よく表示することができる。図7に示す例では、画像表示制御部15は、各カテゴリの四角形351,352,353,354,355の大きさをそのカテゴリに分類された類似画像の個数が多いほど大きくし、その四角形内に左上からクエリ画像300との類似度が高い順に右に類似画像を並べ、右端に来たら、左端に戻って一段下から類似画像を並べて表示している。
(Modification 2)
In the first embodiment described above, the image
なお、上述の実施形態1では、位置決定部13が位置を決定する際に用いる属性の数を2種類とし、この2つの属性を2次元空間の2つの軸(X軸及びY軸)に対応させて、類似画像検索結果の表示位置の2次元空間における座標を決定する場合を例として説明したが、これに限られない。例えば、位置を決定する際に用いる属性の数を1種類にして、直線上(1次元空間)に各カテゴリが配置されるようにしてもよい。この場合、カテゴリの配置は直線上に行われるが、カテゴリ内の類似画像は同心円状に配置されるので、最終的には2次元空間に配置されることになる。
In the first embodiment described above, the number of attributes used when the
また、位置を決定する際に用いる属性の数を3種類にして、3次元空間に各カテゴリが配置されるようにしてもよい。この場合、カテゴリや類似画像は3次元空間に配置されるが、出力部32に出力する際はそれを2次元空間に投影したものを出力することにより、通常のディスプレイ上に表示することができる。また、位置を決定する際に用いる属性の種類数nを4以上にしたい場合は、各カテゴリを仮想的にn次元空間に配置し、最終的に2次元空間に投影して出力するようにしてもよい。なお、属性の種類としては、上述した「良性/悪性」及び「メラノサイト系/非メラノサイト系」だけでなく、「上皮性/非上皮性」、「転移性/非転移性」、「浸潤性/非浸潤性」、「ウイルス性/非ウイルス性」、「サイズ(例えば、疾患部に外接する楕円の長径)」、「扁平率(例えば、疾患部に外接する楕円の扁平率)」、「病変面積(疾患部の面積)」、「輪郭線の長さ(疾患部の外縁の輪郭線の長さ)」、「腫瘍の深さ(例えば、色(浅ければ黒、深くなるにつれて、褐色、灰青色、青白い鋼色)で判断する)」、「疾患部の色(例えば、腫瘍の深さに対応させて色の軸に並べる)」、「形状(例えば、モーメント(病変領域の座標値、病変領域の輪郭線の座標値、病変領域の画素値等についてモーメント計算を行って算出)の値を用いる)」、「時間(例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる)」等を用いてもよい。
Also, the number of attributes used for determining the position may be set to three types, and each category may be arranged in a three-dimensional space. In this case, categories and similar images are arranged in a three-dimensional space, but when they are output to the
また、上述の実施形態1では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、類似画像を表示させる分野において広く適用できる。例えば、花の画像の類似検索、細菌の顕微鏡写真の類似検索等にも適用できる。 Further, in the above-described first embodiment, skin diseases have been described as an example, but the present invention is not limited to the field of dermatology, and can be widely applied in the field of displaying similar images. For example, it can be applied to similarity retrieval of images of flowers, similarity retrieval of microscope photographs of bacteria, and the like.
また、上述の実施形態1では、類似画像表示処理を制御部10が行っていたが、外部のサーバに処理させた結果を通信部33で受信して出力部32に出力してもよい。
Further, in the first embodiment described above, similar image display processing is performed by the
また、上述の実施形態1及び変形例1,2は適宜組み合わせることができる。例えば、変形例1と変形例2とを組み合わせることにより、類似画像をカテゴリ毎に四角形状に表示させ、接続線や四角形の背景の描画を行うことができ、変形例1の効果と変形例2の効果を両方とも得ることができる。例えば、この場合、各カテゴリの四角形内の一番左上の類似画像(そのカテゴリにおいてクエリ画像と最も類似する類似画像)への接続線をその類似画像とクエリ画像との類似度に応じて太くし、その四角形の背景を、左上を濃く右下にいくほど薄く描画することになる。 Further, the first embodiment and modified examples 1 and 2 described above can be appropriately combined. For example, by combining Modification 1 and Modification 2, it is possible to display similar images in a rectangular shape for each category, draw connection lines and backgrounds of the rectangles, and obtain the effects of Modification 1 and Modification 2. You can get both effects. For example, in this case, the connection line to the top left similar image in each category rectangle (the similar image that is most similar to the query image in that category) is made thicker according to the similarity between the similar image and the query image. , the background of the square will be drawn darker at the upper left and lighter as it goes to the lower right.
(実施形態2)
本発明の実施形態2に係る表示制御装置101は、クエリ画像に写っている診断対象部分の疾患の属性(例えば「良性/悪性」、「メラノサイト系/非メラノサイト系」等)を各座標軸に対応させて、疾患が各属性に関係する可能性を表す指標を、疾患の属性数を次元数とする空間にプロットして表示する。このような表示を行うことにより、表示制御装置101は、診断対象部分の疾患の属性情報を把握しやすくする。なお、実施形態2では、診断対象部分の疾患が人の皮膚疾患である場合を例にして説明するが、診断対象部分(疾患)としては、他に人の子宮(子宮頸がん)や口腔(口腔がん)、人以外の動物(犬猫)の皮膚(皮膚がん)や口腔(口腔がん)等、撮影画像に基づいて診断する様々な部分(疾患)があり得る。
(Embodiment 2)
The
実施形態2に係る表示制御装置101は、図8に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。
A
制御部10は、CPU等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(指標取得部16、リスク取得部17、表示制御部18)の機能を実現する。
The
記憶部20は、ROM、RAM等で構成され、制御部10のCPUが実行するプログラム及び必要なデータを記憶する。
The
入力部31は、表示制御装置101のユーザが表示制御装置101に与える指示を入力したり、クエリ画像を入力したりするためのデバイス(キーボード、マウス、タッチパネル、カメラ等)である。制御部10は、入力部31を介して、ユーザからの指示や、クエリ画像を取得する。入力部31としては、制御部10がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部10は、クエリ画像を、通信部33を介して取得してもよい。なお、クエリ画像とは、ダーモスコープ等を用いて診断対象部分を撮影した画像の画像データである。表示制御装置101は、クエリ画像に写っている診断対象部分の疾患の属性情報を、ユーザにわかりやすく提示する。
The
出力部32は、制御部10が、疾患の属性情報をユーザにわかりやすく提示するためのデバイス(ディスプレイ、ディスプレイ用のインタフェース等)である。表示制御装置101は、出力部32としてディスプレイ(表示部)を備えてもよいし、出力部32を介して接続した外部のディスプレイ(表示部)に疾患の属性情報等を表示してもよい。
The
通信部33は、外部の他の装置(例えば、画像データのデータベースが格納されているサーバ、画像識別装置等)とデータの送受信を行うためのデバイス(ネットワークインタフェース等)である。制御部10は、通信部33を介して、画像識別装置による画像識別結果等を取得することができる。
The
次に、制御部10の機能について説明する。制御部10は、指標取得部16、リスク取得部17及び表示制御部18の機能を実現する。
Next, functions of the
指標取得部16は、識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率(可能性)を求め、求めた確率を当該属性の指標として取得する。この識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部16は、このような学習済みの識別器を備えてもよいし、例えば、通信部33を介して、学習済みの識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率(可能性)を当該属性の指標として取得してもよい。なお、指標取得部16が取得する指標は確率に限定されず、指標取得部16は、より一般的なスコア(可能性が高いほどより大きな値となるスコア(確率の値と一致するとは限らない)や、逆に可能性が低いほどより大きな値となるスコアがあり得る)を指標として取得してもよい。指標取得部16は、取得手段として機能する。
The
ここでは、指標取得部16は、クエリ画像に写っている診断対象部分の疾患が4つの疾患(メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症)の各々である確率(以下「疾患該当確率」という)を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて89.0%、基底細胞癌について4.4%、色素性母斑について6.4%、脂漏性角化症について0.2%であるとする。なお、これらの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。
Here, the
この例では、診断対象部分の疾患の属性が「悪性」である確率が89.0%+4.4%=93.4%、「良性」である確率が6.4%+0.2%=6.6%と算出される。また、診断対象部分の疾患の属性が「メラノサイト系」である確率が89.0+6.4%=95.4%、「非メラノサイト系」である確率が4.4%+0.2%=4.6%と算出される。指標取得部16は、このようにして算出された診断対象部分の疾患の属性が各種の属性である確率を、診断対象部分の疾患の属性が各種の属性である可能性を表す指標として取得する。特に、診断対象部分の疾患の属性が「悪性」である確率及び「良性」である確率についてはそれぞれ、悪性指標及び良性指標とも呼ばれ、診断対象部分の疾患の属性が「メラノサイト系」や「非メラノサイト系」等の所定の疾患属性である確率については、疾患属性指標とも呼ばれる。また、複数の疾患属性を区別して呼ぶ場合は、第1、第2等を付ける。例えば診断対象部分の疾患の属性のうち、「メラノサイト系」を第1疾患属性、「非メラノサイト系」を第2疾患属性とした場合、診断対象部分の疾患の属性が「メラノサイト系」である確率は第1疾患属性指標、診断対象部分の疾患の属性が「非メラノサイト系」である確率は第2疾患属性指標と呼ばれる。
In this example, the probability that the attribute of the disease in the part to be diagnosed is "malignant" is 89.0% + 4.4% = 93.4%, and the probability that it is "benign" is 6.4% + 0.2% = 6. calculated to be .6%. Also, the probability that the attribute of the disease in the diagnostic target portion is "melanocyte system" is 89.0+6.4%=95.4%, and the probability that it is "non-melanocyte system" is 4.4%+0.2%=4. calculated as 6%. The
なお、指標取得部16は、必ずしも診断対象部分の疾患該当確率を取得する疾患識別器を用いなくても良い。指標取得部16は、例えば疾患識別器の代わりに、診断対象部分の疾患の種類によらずに診断対象部分の疾患の属性が「悪性」である確率(悪性指標)を出力する識別器や、診断対象部分の疾患の属性が「メラノサイト系」のような所定の疾患属性である確率(疾患属性指標)を出力する識別器を用いてもよい。
It should be noted that the
リスク取得部17は、疾患の属性が悪性であり、かつ、当該疾患の属性が所定の疾患属性である場合における当該疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、リスクとしては、見逃しリスク(識別器の誤判定(悪性未検出)のリスク)や予後リスク(放置リスク)が考えられるが、リスク取得部17は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらの値を総合的に扱って1つのリスク指標として扱ってもよい。例えば、制御部10は、疾患識別器の学習に用いた学習用データ以外の画像データ(試験用症例データ)を用いる等して見逃しリスクのリスク指標を求めたり、専門家等による予後リスクに関するデータを用いる等して予後リスクのリスク指標を求めたりして、予めリスク指標を記憶部20に保存しておく。または、外部のサーバ等で予めリスク指標を求めておいてもよい。そして、リスク取得部17は、予め制御部10又は外部のサーバ等により求めたリスク指標を取得する。本実施形態では、このリスク指標は、疾患の属性が悪性の場合における当該疾患の見逃しリスクの高さを当該疾患の悪性指標を基準として表した指標であり、予め後述するリスク境界線生成処理によって生成されているものとする。
The risk acquisition unit 17 acquires a risk index indicating whether the risk of the disease is high when the disease attribute is malignant and the disease attribute is a predetermined disease attribute. Here, the risks include overlooked risk (risk of misjudgment by the discriminator (non-detection of malignancy)) and prognostic risk (neglected risk). It may be treated as an index, or these values may be comprehensively treated as one risk index. For example, the
例えば、「悪性」の確率(悪性指標)が同じであっても、メラノサイト系の悪性疾患は非メラノサイト系の悪性疾患よりも識別難易度が高く、見逃しリスクが高い。本実施形態では、悪性指標がリスク指標より高ければ見逃しリスクが高いことを表すので、疾患属性が「メラノサイト系」の場合のリスク指標は、疾患属性が「非メラノサイト系」の場合のリスク指標より低い値となる。そこで、リスク取得部17は、疾患属性が「メラノサイト系」の場合は、疾患属性が「非メラノサイト系」の場合よりも低い値のリスク指標を取得することになる。リスク取得部17は、リスク取得手段として機能する。 For example, even if the probability of “malignancy” (malignancy index) is the same, melanocytic malignant disease is more difficult to identify than non-melanocytic malignant disease, and the risk of oversight is higher. In the present embodiment, if the malignancy index is higher than the risk index, it means that the risk of overlooking is high. low value. Therefore, when the disease attribute is "melanocyte", the risk acquisition unit 17 acquires a risk index with a lower value than when the disease attribute is "non-melanocyte". The risk acquisition unit 17 functions as risk acquisition means.
表示制御部18は、後述する表示制御処理により、指標取得部16が取得した複数の指標を、互いに関連づけて表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部16が「悪性」の指標として93.4%を取得し、「メラノサイト系」の指標として95.4%を取得したら、図9に示すように、(95.4%,93.4%)に対応する点として、点206を表示部に表示させる。表示制御部18は表示制御手段として機能する。
The
なお、図9においては、縦軸に悪性及び良性、横軸にメラノサイト系及び非メラノサイト系、というように、各軸の両端に属性の名称を記載した。しかし、実際には各軸とも1つの指標に基づいている(各軸の両端の属性は表裏の関係であり、例えば悪性100%は良性0%を意味する)ので、例えば、縦軸には悪性のみ、横軸にはメラノサイト系のみ、というように単一の名称のみを記載しても良い。図9において、縦軸と横軸の交点は、悪性及び良性の指標がいずれも50%、かつ、メラノサイト系及び非メラノサイト系の指標がいずれも50%であることを示す点となる。 In FIG. 9, attribute names are shown at both ends of each axis, such as malignant and benign on the vertical axis and melanocyte and non-melanocyte on the horizontal axis. However, each axis is actually based on one index (attributes at both ends of each axis are two sides of the same coin, for example, 100% malignant means 0% benign). Only a single name may be described, such as only the melanocyte system on the horizontal axis. In FIG. 9, the intersection of the vertical axis and the horizontal axis is a point indicating that both the malignant and benign indices are 50% and the melanocytic and non-melanocytic indices are both 50%.
また、表示制御部18は、リスク取得部17で取得されたリスク指標を、指標取得部16が取得した複数の指標と互いに関連づけて表示部に表示させる。このための表示として、表示制御部18は、例えば、後述するリスク境界線生成処理によって生成したリスク境界線を、図9に点線で示すようなリスク境界線207として表示する。図9では、点206がリスク境界線207よりも上にあるが、これは、クエリ画像に写っている診断対象部分の疾患のリスクが高いことを示している。なお、図9は、見逃しリスクに基づくリスク境界線207の例を示しているが、リスク取得部17が見逃しリスクだけでなく予後リスクも取得する場合は、表示制御部18は、見逃しリスクに基づくリスク境界線207に加えて、予後リスクに基づくリスク境界線(図示せず)を表示してもよい。また、リスク取得部17が予後リスクのみを取得する場合は、表示制御部18は、見逃しリスクに基づくリスク境界線207は表示せずに、予後リスクに基づくリスク境界線(図示せず)のみを表示してもよい。
In addition, the
以上、表示制御装置101の機能構成について説明した。次に表示制御装置101が行う表示制御処理の内容について、図10を参照して説明する。表示制御処理は、ユーザが入力部31を介して表示制御装置101に表示制御処理の開始を指示すると開始される。また、ユーザは表示制御処理の開始の指示に先立って、座標軸に用いる属性の種類(例えば、縦軸に「良性/悪性」、横軸に「メラノサイト系/非メラノサイト系」)を予め表示制御装置101に指示しているものとする。
The functional configuration of the
まず、表示制御部18は、表示部に座標軸を表示する(ステップS201)。ここで表示する座標軸は、予めユーザから指示されている属性に基づく座標軸である。例えば図9に示す例では、縦軸が悪性(良性/悪性)の座標軸で、横軸がメラノサイト系(メラノサイト系/非メラノサイト系)の座標軸である。
First, the
次に、表示制御装置101の制御部10は、クエリ画像を取得する(ステップS202)。例えば、ユーザが入力部31を介してクエリ画像を表示制御装置101に入力する(例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする)と、制御部10は、クエリ画像を取得する。
Next, the
次に、指標取得部16は、クエリ画像を識別器に入力して、各属性の指標を取得する(ステップS203)。ステップS203は取得ステップとも呼ばれる。そして、表示制御部18は、表示部に表示されている座標軸において、指標取得部16が取得した指標で表される座標に、点206を表示する(ステップS204)。ステップS204は表示制御ステップとも呼ばれる。
Next, the
次に表示制御部18は、後述するリスク境界線生成処理によって予め生成して記憶部20に保存しておいたリスク境界線207を表示部に表示し(ステップS205)、表示制御処理を終了する。
Next, the
次に、リスク境界線生成処理について、図11を参照して説明する。リスク境界線生成処理は、表示制御処理(図10)が実行される前に予め実行されているものとする。具体的には、例えば、図9の座標軸に用いる属性をユーザから指示されるとリスク境界線生成処理が開始される。ただし、リスク境界線生成処理は、予め外部のサーバ等で実行されていてもよい。この場合、制御部10は、その結果(リスク境界線の座標)を通信部33を介して取得して、記憶部20に保存する。では、予め制御部10がリスク境界線生成処理を実行する場合を説明する。
Next, risk boundary line generation processing will be described with reference to FIG. It is assumed that the risk boundary line generation process has been executed in advance before the display control process (FIG. 10) is executed. Specifically, for example, when the user instructs the attributes to be used for the coordinate axes in FIG. 9, the risk boundary line generation process is started. However, the risk boundary line generation process may be executed in advance by an external server or the like. In this case, the
まず、制御部10は、記憶部20から、又は通信部33を介して、(疾患識別器の学習に用いていない)試験用症例の画像データを取得する(ステップS301)。次に、指標取得部16は、試験用症例の画像データを疾患識別器に入力して、各座標軸に対応する属性の指標を取得する(ステップS302)。図9に示す例ではこの属性は「悪性」と「メラノサイト系」であり、ここでは、「悪性」の指標を悪性指標、「メラノサイト系」の指標を疾患属性指標と呼ぶ。
First, the
そして、制御部10は、ステップS302で取得された指標について、悪性指標を疾患属性指標の各区間に分類する(ステップS303)。ここで、疾患属性指標の各区間とは、例えば疾患属性指標の値を0%以上100%以下とし、各区間の幅を10%とすると、疾患属性指標の値が0%以上10%未満の区間1、疾患属性指標の値が10%以上20%未満の区間2、…、疾患属性指標の値が90%以上100%以下の区間10、の10個の区間である。例えば、ステップS302で取得された指標が、悪性指標35%、疾患属性指標55%だったとすると、制御部10は、悪性指標35%を、区間6に分類する。
Then, the
次に、制御部10は、ステップS303で分類された悪性指標が全ての区間(上記の例では区間1から区間10までの全ての区間)にそれぞれ所定数(例えば20)以上分類されたか否かを判定する(ステップS304)。所定数未満しか分類されていない区間が存在するなら(ステップS304;No)、ステップS301に戻って、新たな試験用症例データによる指標の分類を繰り返す。
Next, the
全ての区間で所定数以上分類されているなら(ステップS304;Yes)、制御部10は、各区間について、悪性疾患の感度が所定感度(例えば感度95%)となる悪性指標の悪性判定閾値(例えば感度95%の場合、一定数の悪性疾患の試験用症例を識別させたときに、95%が当該悪性疾患と判定されるようにする閾値)を算出する(ステップS305)。この閾値が低いほど、疾患の属性が悪性であると判定されやすく、感度が上がり、特異度(良性症例の正解率)が下がる。
If a predetermined number or more are classified in all sections (step S304; Yes), the
そして、制御部10は、各区間の悪性判定閾値の値をスプライン曲線等で結んだ線をリスク境界線とし、このリスク境界線の座標を記憶部20に保存し(ステップS306)、リスク境界線生成処理を終了する。表示制御処理(図10)のステップS204で表示される点が、このリスク境界線よりも上部にあると、クエリ画像に示される診断対象部分の疾患のリスクが高いことを意味する。
Then, the
なお、上述のリスク境界線生成処理は、あくまでも一例に過ぎず、以下のような変形例も考えられる。
‐疾患リスクに応じて変化させる(メラノサイト系(メラノーマ等)の方が、非メラノサイト系(基底細胞癌等)よりも転移可能性が格段に高く、予後リスクが上がるので、疾患の属性がメラノサイト系である確率が高い領域において、リスク境界線を下げる。)
‐診断対象部分のサイズに応じて上下させる(サイズが大きくなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分の病変深度に応じて上下させる(診断対象部分の色による判定等の画像処理によって病変深度を推定し、病変深度が深くなると予後リスクが上がるので、リスク境界線を下げる。)
‐診断対象部分としての潰瘍のサイズ、診断対象部分における出血している領域のサイズに応じて、上下させる(潰瘍、出血があり、またその領域が大きいほど予後リスクが上がるので、リスク境界線を下げる。)
Note that the above-described risk boundary line generation processing is merely an example, and the following modifications are also conceivable.
- Change according to disease risk (melanocyte type (melanoma, etc.) has much higher metastasis potential than non-melanocytic type (basal cell carcinoma, etc.), and the prognostic risk is higher, so the disease attribute is melanocytic Lower the risk boundary in areas where there is a high probability that
- Raise or lower according to the size of the part to be diagnosed.
- Increase or decrease according to the lesion depth of the diagnosis target area (The lesion depth is estimated by image processing such as judgment based on the color of the diagnosis target area, and the prognosis risk increases as the lesion depth increases, so the risk boundary line is lowered.)
- raise or lower depending on the size of the ulcer as the diagnostic area and the size of the bleeding area in the diagnostic area lower.)
以上説明したように、表示制御装置101は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の属性情報を図9に示すように点206の座標によって分かり易く表示することができる。また、リスク境界線207も表示することにより、点206とリスク境界線207との位置関係によって、診断対象部分の疾患のリスクの高さを把握することができる。
As described above, the
実施形態2に係る表示制御装置101においても、実施形態1に係る類似画像表示装置と同様、属性としては、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の少なくとも一方に代えて、「上皮性/非上皮性」、「転移性/非転移性」、「浸潤性/非浸潤性」、「ウイルス性/非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間(例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる)」等を用いてもよい。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図9に示す例では、疾患の属性がメラノサイト系(メラノサイト系/非メラノサイト系)である可能性を表す指標を横軸に取っている。
In the
また、上述の実施形態2では、属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の二つを縦軸及び横軸に割り当てて2次元空間上で点206を表示した。しかし、用いる属性を3種類にして、3次元空間上に点206を配置して、それを2次元空間に投影したものを出力部32に出力してもよい。また、用いる属性の種類数nを4以上にしたい場合は、仮想的にn次元空間に点206を配置し、それを最終的に2次元空間に投影して出力部32に出力するようにしてもよい。
In the above-described Embodiment 2, two attributes of "benign/malignant" and "melanocyte/non-melanocyte" are assigned to the vertical and horizontal axes, and the
(実施形態3)
本発明の実施形態3に係る表示制御装置102は、クエリ画像に写っている診断対象部分の疾患の属性を、診断対象部分の疾患が所定の疾患である確率と共に、クエリ画像を根ノードとする木構造で表示する。このような表示を行うことにより、表示制御装置102は、診断対象部分の疾患の属性情報を把握しやすくする。
(Embodiment 3)
The
実施形態3に係る表示制御装置102は、図12に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。これらのうち、記憶部20、入力部31、出力部32及び通信部33は、実施形態2に係る表示制御装置101が備える記憶部20、入力部31、出力部32及び通信部33と同様であるので、説明を省略する。
A
制御部10は、CPU等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(指標取得部16、位置決定部13、疾患リスク取得部19、表示制御部18)の機能を実現する。
The
指標取得部16は、所定の疾患数の疾患を識別する疾患識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率(可能性)を求め、求めた確率を当該属性の指標として取得する。この疾患識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部16は、このような学習済みの疾患識別器を備えてもよいし、例えば、通信部33を介して、学習済みの疾患識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率(可能性)を当該属性の指標として取得してもよい。
The
ここでは、指標取得部16は、実施形態2に係る指標取得部16の項目で説明したように、例えば、4つの疾患(メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症)についての疾患該当確率を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて89.0%、基底細胞癌について4.4%、色素性母斑について6.4%、脂漏性角化症について0.2%であるとする。
Here, as described in the item of the
この例では、実施形態2に係る指標取得部16の説明で説明したように、診断対象部分の疾患の属性が各種の属性である可能性を表す指標は、悪性指標が93.4%、良性指標が6.6%、「メラノサイト系」の疾患属性指標が95.4%、「非メラノサイト系」の疾患属性指標が4.6%となる。また、実施形態3に係る指標取得部16は、疾患識別器が出力する各疾患の確率も疾患指標として取得する。この例では、メラノーマの疾患指標が89.0%、基底細胞癌の疾患指標が4.4%、色素性母斑の疾患指標が6.4%、脂漏性角化症の疾患指標が0.2%となる。
In this example, as described in the explanation of the
位置決定部13は、指標取得部16が取得する疾患指標の数の各疾患(カテゴリ)に関する情報を表示する位置を、n種類(nは1以上の整数)の属性に従ってn次元の空間における座標として決定する。より詳細には、n種類の属性のそれぞれを、n次元空間の座標を定義するn本の座標軸に1対1で対応させ、各疾患に関する情報を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性に当該疾患が関係する可能性を表す指標に基づいて決定する。
The
例えば、上記n種類の属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の2種類の属性を採用する場合は、位置決定部13は、指標取得部16が取得する疾患指標に対応する各疾患に関する情報を表示する2次元空間上の座標を決定する。位置決定部13は、例えば図13に示すように、「良性/悪性」を縦軸(Y軸)、「メラノサイト系/非メラノサイト系」を横軸(X軸)とする2次元空間において、診断対象部分の各疾患の確率の大きさを表す円(確率円)を表示する位置の座標を決定することになる。なお、図13では、縦軸(Y軸)においては、良性が下側、悪性が上側とし、横軸(X軸)においては、メラノサイト系が左側、非メラノサイト系が右側としている。
For example, when adopting two types of attributes, “benign/malignant” and “melanocyte/non-melanocyte”, as the n types of attributes, the
具体例として、疾患として色素性母斑、メラノーマ、脂漏性角化症、基底細胞癌の4つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部13は、図13に示すように、色素性母斑を左下の領域に、メラノーマを左上の領域に、脂漏性角化症を右下の領域に、基底細胞癌を右上の領域に表示されるように、それぞれの位置を決定する。
As a specific example, if there are four diseases: pigmented nevi, melanoma, seborrheic keratosis, and basal cell carcinoma, the attribute of each disease is that the pigmented nevi is “benign, melanocytic”. , melanoma is "malignant, melanocytic," seborrheic keratosis is "benign, non-melanocytic," and basal cell carcinoma is "malignant, non-melanocytic." Therefore, as shown in FIG. 13, the
なお、位置決定部13は、異なる疾患に関する情報が表示される位置が同じ座標にならないように、必要に応じて疾患に関する情報の表示位置を調整してもよい。図13には示されていないが、例えば指標取得部が血腫・血管腫の疾患指標も取得する場合、血腫・血管腫も、脂漏性角化症と同様にその属性は「良性、非メラノサイト系」なので、疾患に関する情報の表示位置を調整しないと両疾患ともに同じ右下の領域に当該疾患に関する情報が表示されることになってしまう。このような場合、位置決定部13は、例えば、脂漏性角化症に関する情報の表示位置を右下の領域の中央よりも少し左にずらし、血腫・血管腫に関する情報の表示位置を右下の領域の中央よりも少し右にずらす等、各疾患に関する情報の表示位置を調整してもよい。
Note that the
位置決定部13が各疾患に関する情報の表示位置を決定する空間の座標軸を決めるために用いるn種類の属性の情報と、各疾患の該属性の情報と、各属性の配置情報は、予め記憶部20に記憶されている。位置決定部13は、記憶部20に記憶されているn種類の属性の情報、各疾患の該属性の情報及び各属性の配置情報に基づいて、各疾患に関する情報を表示する位置のn次元空間における座標を決定する。図13に示す例においては、属性の情報として「良性/悪性」の属性と、「メラノサイト系/非メラノサイト系」の属性の2種類の属性の情報が記憶部20に記憶されている。そして、各疾患の該属性の情報として、色素性母斑は「良性、メラノサイト系」、メラノーマは「悪性、メラノサイト系」、脂漏性角化症は「良性、非メラノサイト系」、基底細胞癌は「悪性、非メラノサイト系」という情報が記憶部20に記憶されている。そして、各属性の配置情報として、「良性/悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系/非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部20に記憶されている。
Information on n types of attributes used by the
疾患リスク取得部19は、疾患毎にその疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、疾患のリスクには、予後リスク(疾患を放置した場合の放置リスク)や、見逃しリスク(疾患識別器が悪性疾患を悪性疾患と判定しない誤判定リスク)があるが、疾患リスク取得部19は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらのリスクを総合的に扱って一つのリスク指標として扱ってもよい。例えば、メラノーマは基底細胞癌よりも予後リスク、見逃しリスクともに高い。したがって、疾患リスク取得部19は、例えば、メラノーマのリスク指標として10%を、基底細胞癌のリスク指標として80%を、それぞれ取得する。これは、診断対象部分の疾患がメラノーマであれば確率(疾患指標)が10%でもリスクが高いが、基底細胞癌であれば確率(疾患指標)が80%以上でないとリスクが高いとは言えない場合の例である。これらの各疾患のリスク指標の値は、疾患毎に医師等が予め設定した値であっても良いし、実施形態2のリスク境界線生成処理(図11)の処理と同様にして、学習用に用いたデータとは異なる試験用症例データを用いて、予め各疾患について感度が所定の値(例えば95%や90%)となる疾患指標を判定閾値として求めておき、求めた判定閾値をリスク指標として取得するようにしてもよい。疾患リスク取得部19は、疾患リスク取得手段として機能する。
The disease
表示制御部18は、後述する表示制御処理により、指標取得部16が取得した複数の指標を、互いに関連づけて木構造で図13に示すように表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部16が各疾患の疾患指標として、メラノーマ 89.0%、基底細胞癌 4.4%、色素性母斑 6.4%、脂漏性角化症 0.2%という値を取得したら、図13に示すように、表示制御部18は、診断対象部分の疾患が色素性母斑である確率を6.4%に相当する大きさの確率円411で、診断対象部分の疾患がメラノーマである確率を89.0%に相当する大きな確率円412で、診断対象部分の疾患が脂漏性角化症である確率を0.2%に相当する小さな確率円413で、診断対象部分の疾患が基底細胞癌である確率を4.4%に相当する大きさの確率円414で、それぞれ表示する。なお、図13では、各確率円の中心に中心を示すドットを表示しているが、このようなドットを表示するか否かは任意であり、ユーザの指示等により、中心のドットの表示をオン/オフできるようにしてもよい。
The
以上、表示制御装置102の機能構成について説明した。次に表示制御装置102が行う表示制御処理の内容について、図14を参照して説明する。表示制御処理は、ユーザが入力部31を介して表示制御装置102に表示制御処理の開始を指示すると開始される。
The functional configuration of the
まず、表示制御装置102の制御部10は、クエリ画像を取得する(ステップS401)。例えば、ユーザが入力部31を介してクエリ画像を表示制御装置102に入力する(例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする)と、制御部10は、クエリ画像を取得する。
First, the
次に、表示制御部18は、図13に示すように、クエリ画像400を表示画面の中央部に表示する(ステップS402)。
Next, the
次に、指標取得部16は、クエリ画像を疾患識別器に入力して、各疾患の疾患指標を取得する(ステップS403)。そして、表示制御部18は、図13に示すように、各疾患の疾患指標の大きさに基づく確率円を、位置決定部13が位置を決定した各疾患に関する情報の表示位置に表示する(ステップS404)。
Next, the
そして、表示制御部18は、疾患リスク取得部19で取得された各疾患のリスク指標の大きさを示すリスク円を、その中心が各疾患の確率円の中心と一致する位置で、表示する(ステップS405)。例えば、図13では、メラノーマの感度90%となるリスク指標の大きさに基づくリスク円415を実線で、感度95%となるリスク指標の大きさに基づくリスク円416を点線で示している。また、基底細胞癌の感度90%となるリスク指標の大きさに基づくリスク円417を実線で、感度95%となるリスク指標の大きさに基づくリスク円418を点線で示している。ここで、「疾患Sの感度P%となるリスク指標」とは、一定数の疾患Sの試験用症例画像を疾患識別器で識別した場合に、そのP%が疾患Sと判定されるようにするための疾患識別器の出力(疾患Sの確率値)の閾値である。
Then, the
図13に示す例では、メラノーマの確率円412は、感度90%となるリスク指標の大きさに基づくリスク円415よりも大きいため、メラノーマの見逃しリスクが高いことが示されている。反面、基底細胞癌の確率円414は、感度95%となるリスク指標の大きさに基づくリスク円418よりも小さいため、基底細胞癌の見逃しリスクは低いことが示されている。
In the example shown in FIG. 13, the
次に、表示制御部18は、表示画面の中央部のクエリ画像400を根ノードとし、各疾患の確率円411,412,413,414を葉ノードとし、それらを接続線421,422,423,424で接続した木構造を図13に示すように表示し(ステップS406)、表示制御処理を終了する。
Next, the
ステップS406での木構造の表示においては、表示制御部18は、指標取得部16により取得された指標に基づき、悪性指標が良性指標より大きければ、図13に示すように、悪性ノード432を良性ノード431よりも大きく表示する。また、悪性ノード432、良性ノード431のあとに、メラノサイト系ノード433,434や非メラノサイト系ノード435,436の各ノードを設定し、それらの各ノードから各属性に対応する疾患の確率円411,412,413,414に接続線421,422,423,424を延ばした木構造を表示する。
In displaying the tree structure in step S406, if the malignant index is larger than the benign index based on the index obtained by the
図13では示されていないが、表示制御部18は、各疾患の危険度を分かり易くするために、良性疾患の確率円には緑枠、悪性疾患の確率円には赤枠を付ける等の表示を行ってもよい。
Although not shown in FIG. 13, the
また、図13では、各確率円の大きさは対応する疾患の確率の大きさに応じた大きさになっているが、これに限られない。確率が同じでも疾患に応じてリスクの高さは異なるため、例えば、疾患リスク取得部19で取得されたリスク指標が当該疾患の確率よりも高い場合は、その疾患の確率が小さくても大きな確率円を表示するようにしてもよいし、疾患リスク取得部19で取得されたリスク指標が当該疾患の確率よりも低い場合は、その疾患の確率が大きくても小さな確率円を表示するようにしてもよい。
In addition, in FIG. 13, the size of each probability circle corresponds to the size of the probability of the corresponding disease, but the size is not limited to this. Even if the probability is the same, the degree of risk varies depending on the disease. Therefore, for example, if the risk index obtained by the disease
以上説明したように、表示制御装置102は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を図13に示すように確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円415,416,417,418も表示することにより、確率円412,414とリスク円415,416,417,418との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。
As described above, the
実施形態3に係る表示制御装置102においても、上述の実施形態と同様、属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の少なくとも一方に代えて、「上皮性/非上皮性」、「転移性/非転移性」、「浸潤性/非浸潤性」、「ウイルス性/非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間(例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる)」等を用いることができる。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図13に示す例では、疾患の属性がメラノサイト系(メラノサイト系/非メラノサイト系)である可能性を表す指標を横軸に、疾患の属性が悪性(良性/悪性)である可能性を表す指標を縦軸に、それぞれ取った木構造を表示している。
Also in the
また、表示制御部18は、悪性ノード432や良性ノード431、メラノサイト系ノード433,434や非メラノサイト系ノード435,436の各ノードや、それらの各ノードから各属性に対応する疾患の確率円411,412,413,414への接続線421,422,423,424等を延ばした木構造を表示せずに、確率円411,412,413,414のみを表示してもよいし、確率円411,412,413,414とリスク円415,416,417,418のみを表示してもよいし、これらの円並びに、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。
In addition, the
また、上述の実施形態3では、属性として、「良性/悪性」及び「メラノサイト系/非メラノサイト系」の二つを縦軸及び横軸に割り当てて2次元空間上で木構造を表示した。しかし、用いる属性を3種類にして、3次元空間上に木構造を配置して、それを2次元空間に投影したものを出力部32に出力してもよい。また、用いる属性の種類数nを4以上にしたい場合は、仮想的にn次元空間に木構造を配置し、それを最終的に2次元空間に投影して出力部32に出力するようにしてもよい。
In the above-described Embodiment 3, two attributes of "benign/malignant" and "melanocyte/non-melanocyte" are assigned to the vertical and horizontal axes to display a tree structure in a two-dimensional space. However, three types of attributes may be used, a tree structure may be arranged in a three-dimensional space, and a result projected onto a two-dimensional space may be output to the
(実施形態4)
本発明の実施形態4に係る表示制御装置103は、実施形態3に係る表示制御装置102の木構造の表示に加えて、クエリ画像に類似する画像を各確率円の周囲に表示する。このような表示を行うことにより、表示制御装置103は、診断対象部分の疾患の属性情報を把握しやすくするとともに、類似画像間の関係性をよりわかりやすく表示する。
(Embodiment 4)
The
実施形態4に係る表示制御装置103は、図15に示すように、制御部10、記憶部20、入力部31、出力部32、通信部33、を備える。これらのうち、記憶部20、入力部31及び出力部32は、実施形態3に係る表示制御装置102が備える記憶部20、入力部31及び出力部32と同様であるので、説明を省略する。通信部33も実施形態3に係る表示制御装置102が備える通信部33と同様であるが、データの送受信先の外部の他の装置として類似画像検索装置等も想定されており、制御部10は、通信部33を介して類似画像検索装置による類似画像検索結果(例えば、クエリ画像に類似する画像)を取得することができる。
A
制御部10は、CPU等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(指標取得部16、位置決定部13、疾患リスク取得部19、類似画像取得部11、分類部14、表示制御部18)の機能を実現する。
The
指標取得部16、位置決定部13及び疾患リスク取得部19は、実施形態3に係る表示制御装置102が備える指標取得部16、位置決定部13及び疾患リスク取得部19と同様なので、説明を省略する。
The
類似画像取得部11は、実施形態1に係る類似画像取得部11と同様に、クエリ画像に対する類似画像検索の結果得られたデータ(類似画像の画像データ及び該画像のクエリ画像との類似度)を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部11は、制御部10がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部33を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。
Similar to the similar image obtaining unit 11 according to the first embodiment, the similar image obtaining unit 11 obtains data (image data of the similar image and the degree of similarity of the image to the query image) obtained as a result of similar image search for the query image. to get Specifically, in the similar image search, image data whose degree of similarity to the query image is equal to or greater than a predetermined threshold value is obtained together with the degree of similarity. The similar image acquisition unit 11 may acquire similar image data obtained as a result of searching for an image similar to the query image by the
分類部14は、類似画像取得部11が取得した画像データを、指標取得部16が用いる疾患識別器が識別する疾患のいずれかに分類する。分類部14は、各画像データに付加されているタグ情報(例えば、各画像データには疾患名がタグ情報として付加されている)を利用して画像データをいずれかの疾患に分類することができる。
The
表示制御部18は、後述する表示制御処理により、実施形態3に係る表示制御部18の処理に加え、類似画像取得部11が取得した類似画像のデータを、図16に示すように、分類部14が分類した疾患に対応する確率円の周囲に表示する処理を行う。
In addition to the processing of the
以上、表示制御装置103の機能構成について説明した。次に表示制御装置103が行う表示制御処理の内容について、図17を参照して説明する。表示制御処理は、ユーザが入力部31を介して表示制御装置103に表示制御処理の開始を指示すると開始される。ただし、図17に示す表示制御処理のうち、ステップS401からステップS406までは、実施形態3に係る表示制御装置102の表示制御処理(図14)と同様の処理であるので、説明を省略する。
The functional configuration of the
ステップS406までの処理で木構造が表示されると、次に、類似画像取得部11は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する(ステップS407)。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部11は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。 After the tree structure is displayed by the processing up to step S406, the similar image obtaining unit 11 obtains similar images obtained as a result of the similar image search for the query image (step S407). Specifically, in the similar image search, similar images having a degree of similarity with the query image equal to or greater than a predetermined threshold are acquired. At this time, the similar image obtaining unit 11 obtains the similar image and the degree of similarity between the similar image and the query image.
そして、分類部14は、類似画像取得部11が取得した類似画像を、各類似画像に付加されているタグ情報(疾患名)に基づいて、指標取得部16が用いる疾患識別器が識別する疾患のいずれかに分類する(ステップS408)。
Then, the
そして、表示制御部18は、類似画像取得部11がステップS407で取得した類似画像を、分類部14がステップS408で分類した疾患に対応する確率円の周囲(又は内部)に配置して表示部に表示し(ステップS409)、表示制御処理を終了する。
Then, the
ステップS409での表示制御部18による類似画像の表示は、図16に示すように、各疾患の確率円の周囲(又は内部)に、クエリ画像との類似度が高い画像ほど、その確率円の中心に配置されるように、同心円状に配置して表示する。図16に示す例では、各疾患に分類された類似画像のうち、クエリ画像との類似度が最も高い類似画像を各確率円の中心の上に配置し、そこから時計回りに配置することによって、同心円状に配置している。
The display of similar images by the
また、各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、図16に示す例では、メラノーマの確率円412の中心の上部に配置されている類似画像を囲う小さい円4121の線の太さは、その隣に配置されている類似画像を囲う小さい円4122の線の太さより太く表示されている。さらに、メラノーマの確率円412の中心の上部に配置されている類似画像を囲う小さい円4121の線の太さは、色素性母斑の確率円411の上部に配置されている類似画像を囲う小さい円4111の線の太さや、脂漏性角化症の確率円413の上部に配置されている類似画像を囲う小さい円4131の線の太さや、基底細胞癌の確率円414の上部に配置されている類似画像を囲う小さい円4141の線の太さのいずれよりも太く表示されている。これは、類似画像取得部11が取得した類似画像のうちクエリ画像に最も類似する類似画像がメラノーマの画像(類似画像を囲う小さい円4121に囲われている画像)であることを意味する。
Each similar image is displayed by enclosing it in a small circle, and the thickness of the line of the small circle is made thicker as the degree of similarity between the similar image and the query image is higher. For example, in the example shown in FIG. 16, the line thickness of the
以上説明したように、表示制御装置103は、入力されたクエリ画像に対し、図16に示すように、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円415,416,417,418も表示することにより、確率円412,414とリスク円415,416,417,418との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。さらに、クエリ画像との類似度の高い順に類似画像を各確率円の周囲(又は内部)に配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。
As described above, the
実施形態4に係る表示制御装置102においても、実施形態3に係る表示制御装置102と同様に、様々な属性を用いることができ、また表示制御部18は、確率円411,412,413,414、リスク円415,416,417,418、クエリ画像400、類似画像、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。また、属性の種類数が2の木構造(2次元空間上の木構造)だけでなく、属性の種類をn種類にして、n次元空間に木構造を配置し、それを最終的に2次元空間に投影して出力部32に出力するようにしてもよい。
Also in the
また、上述の実施形態2,3,4では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、識別器で画像を識別させる分野において広く適用できる。例えば、花の画像による花の種類の識別、細菌の顕微鏡写真による細菌の識別等にも適用できる。また、これらの識別器の実現方法は任意であり、CNN(Convolutional Neural Network)等のDNN(Deep Neural Network)を用いて実現してもよいし、SVM(Support Vector Machine)やロジスティック回帰等で実現してもよい。 In the above-described second, third, and fourth embodiments, skin diseases have been described as examples, but the present invention is not limited to the field of dermatology, and can be widely applied to fields where images are identified by classifiers. . For example, the method can be applied to identification of flower types using images of flowers, identification of bacteria using microscope photographs of bacteria, and the like. In addition, these discriminators may be implemented by any method, and may be implemented using a DNN (Deep Neural Network) such as a CNN (Convolutional Neural Network), or may be implemented using an SVM (Support Vector Machine), logistic regression, or the like. You may
また、上述の実施形態2,3,4では、表示制御処理を制御部10が行っていたが、外部のサーバで表示制御処理に相当する処理を行わせた結果を通信部33で受信して出力部32に出力してもよい。
Further, in the second, third, and fourth embodiments described above, the display control processing was performed by the
また、上述の各実施形態及び各変形例は適宜組み合わせることができる。実施形態4は実施形態3に実施形態1の一部を組み合わせた実施形態と言えるが、例えば、逆に、実施形態1に実施形態3の一部を組み合わせてもよい。そうすると、図3に示す各カテゴリ円を当該カテゴリに対応する疾患の確率の大きさを示す確率円に置き換え、当該カテゴリに対応する疾患の確率の値やリスク円を表示させることもできる。このようにすると、各疾患の確率やリスクを視覚的に確認しながら、類似画像を参照することができ、より診断の参考にすることができる。また、実施形態3や実施形態4における確率円やリスク円の形状は円に限られず、他の適当な形状(例えば、三角形、四角形等のn角形、ハート型、星形等のシンボル形状等)でもよい。 Moreover, each of the above-described embodiments and modifications can be appropriately combined. Although the fourth embodiment can be said to be an embodiment obtained by combining a part of the first embodiment with the third embodiment, for example, the first embodiment may be combined with a part of the third embodiment. Then, each category circle shown in FIG. 3 can be replaced with a probability circle indicating the magnitude of the probability of the disease corresponding to the category, and the value of the probability of the disease and the risk circle corresponding to the category can be displayed. By doing so, it is possible to refer to similar images while visually confirming the probability and risk of each disease, which can be used as a reference for diagnosis. Further, the shape of the probability circle and the risk circle in Embodiments 3 and 4 is not limited to a circle, and other suitable shapes (for example, n-sided shapes such as triangles and squares, symbol shapes such as heart shapes and star shapes, etc.) It's okay.
なお、類似画像表示装置100及び表示制御装置101,102,103の各機能は、通常のPC(Personal Computer)等のコンピュータによっても実施することができる。具体的には、上記実施形態では、類似画像表示装置100が行う類似画像表示処理のプログラム及び表示制御装置101,102,103が行う表示制御処理のプログラムが、記憶部20のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical Disc)、メモリカード、USB(Universal Serial Bus)メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
Each function of the similar
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to such specific embodiments, and the present invention includes the invention described in the claims and their equivalents. be The invention described in the original claims of the present application is appended below.
(付記1)
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御手段と、
を備える類似画像表示制御装置。
(Appendix 1)
a similar image obtaining means for obtaining a similar image obtained as a result of a similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the similar images acquired by the similar image acquisition means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classifying means for classifying the similar image acquired by the similar image acquiring means into one of a plurality of categories set by the category setting means;
image display control means for arranging the similar image classified into each category by the classification means inside the category area positioned at the position indicated by the coordinates determined by the position determination means and displaying the similar image on a display unit; When,
A similar image display control device comprising:
(付記2)
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度に基づいて、前記カテゴリ領域の内部に配置して表示させる、
付記1に記載の類似画像表示制御装置。
(Appendix 2)
The image display control means arranges and displays the similar image inside the category area based on the degree of similarity with the query image.
The similar image display control device according to appendix 1.
(付記3)
前記画像表示制御手段は、前記カテゴリ領域を、前記カテゴリ領域に対応するカテゴリに分類された類似画像が多いほど、大きな円で表示させる、
付記1又は2に記載の類似画像表示制御装置。
(Appendix 3)
The image display control means causes the category area to be displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases.
The similar image display control device according to appendix 1 or 2.
(付記4)
前記画像表示制御手段は、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太く表示させる、
付記3に記載の類似画像表示制御装置。
(Appendix 4)
The image display control means displays a similarity image of a similar image most similar to the query image out of the similar images classified into the category corresponding to the category area to the query image. The higher the degree, the thicker the display,
The similar image display control device according to appendix 3.
(付記5)
前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させる、
付記3又は4に記載の類似画像表示制御装置。
(Appendix 5)
The image display control means arranges and displays the similar images concentrically within the category area.
5. The similar image display control device according to appendix 3 or 4.
(付記6)
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させる、
付記5に記載の類似画像表示制御装置。
(Appendix 6)
The image display control means arranges and displays the similar image at a position closer to the center of the category area as the similarity to the query image is higher.
The similar image display control device according to appendix 5.
(付記7)
前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させる、
付記5又は6に記載の類似画像表示制御装置。
(Appendix 7)
The image display control means displays a concentric graphic figure in the background of the similar image arranged and displayed concentrically.
The similar image display control device according to appendix 5 or 6.
(付記8)
前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定する、
付記1から7のいずれか1つに記載の類似画像表示制御装置。
(Appendix 8)
The position determination means associates each of the attributes with each coordinate axis of the space, and determines the coordinates indicating the position of the category area to be the coordinates according to the attribute value of the attribute of the category in the space.
8. The similar image display control device according to any one of Appendices 1 to 7.
(付記9)
前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
(Appendix 9)
The image display control means connects and displays a connection line based on the attribute of the category corresponding to the category area in the category area.
9. The similar image display control device according to any one of Appendices 1 to 8.
(付記10)
前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させる、
付記1から8のいずれか1つに記載の類似画像表示制御装置。
(Appendix 10)
The image display control means uses the query image as a root node and the category area located at the position indicated by the determined coordinates as a leaf node, and draws a connection line based on the attribute of the category corresponding to the category area. causing the similar image to be displayed on a display unit by a tree structure connecting the root node to the leaf node, and displaying an attribute name indicating attribute information of the category as an internal node of the connecting line;
9. The similar image display control device according to any one of Appendices 1 to 8.
(付記11)
前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させる、
付記9又は10に記載の類似画像表示制御装置。
(Appendix 11)
The image display control means classifies the similar images according to the degree of similarity between a predetermined similar image and the query image among the plurality of similar images classified into the category corresponding to the category area by the classification means. causing the display unit to display the thickness of the connection line connected to the category area corresponding to the category, with a predetermined thickness;
11. The similar image display control device according to
(付記12)
前記画像表示制御手段は、前記類似画像のうちユーザに選択された1または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させる、
付記1から11のいずれか1つに記載の類似画像表示制御装置。
(Appendix 12)
The image display control means enlarges and displays one or more similar images selected by a user from among the similar images and the query image on the display unit.
12. The similar image display control device according to any one of Appendices 1 to 11.
(付記13)
前記カテゴリは、皮膚の疾患名である、
付記1から12のいずれか1つに記載の類似画像表示制御装置。
(Appendix 13)
The category is a skin disease name,
13. The similar image display control device according to any one of Appendices 1 to 12.
(付記14)
前記属性は、良性/悪性及びメラノサイト系/非メラノサイト系の2種類である、
付記13に記載の類似画像表示制御装置。
(Appendix 14)
The attributes are of two types: benign/malignant and melanocytic/non-melanocytic.
The similar image display control device according to
(付記15)
類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、前記表示部に表示させる画像表示制御手段と、
を備える、
類似画像表示制御システム。
(Appendix 15)
A similar image display control system comprising a similar image display control device and a display unit,
The similar image display control device includes:
a similar image obtaining means for obtaining a similar image obtained as a result of a similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the similar images acquired by the similar image acquisition means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classifying means for classifying the similar image acquired by the similar image acquiring means into one of a plurality of categories set by the category setting means;
image display control for arranging the similar image classified into each category by the classification means inside the category area positioned at the position indicated by the coordinates determined by the position determination means and displaying the similar image on the display section; means and
comprising
Similar image display control system.
(付記16)
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップと、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップと、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップと、
を含む類似画像表示制御方法。
(Appendix 16)
a similar image obtaining step of obtaining a similar image obtained as a result of a similar image search for the query image;
a classification step of classifying the similar image obtained in the similar image obtaining step into one of a plurality of categories;
Coordinates indicating the position of the category region, which is the region indicating the category, in a dimensional space with a predetermined number of dimensions of two or more are determined according to the attribute of the type of the number of dimensions, and are classified into each category in the classification step. an image display control step of arranging the obtained similar image inside the category area located at the position indicated by the determined coordinates and displaying it on a display unit;
Similar image display control method including.
(付記17)
コンピュータに、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップ、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップ、及び、
2以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップ、
を実行させるためのプログラム。
(Appendix 17)
to the computer,
a similar image obtaining step of obtaining a similar image obtained as a result of similar image search for the query image;
a classification step of classifying the similar image obtained in the similar image obtaining step into one of a plurality of categories;
Coordinates indicating the position of the category region, which is the region indicating the category, in a dimensional space with a predetermined number of dimensions of two or more are determined according to the attribute of the type of the number of dimensions, and are classified into each category in the classification step. an image display control step of arranging the similar image that has been obtained inside the category area located at the position indicated by the determined coordinates and displaying it on a display unit;
program to run the
(付記18)
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御手段と、
を備える表示制御装置。
(Appendix 18)
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. acquisition means;
display control means for displaying the acquired malignancy index and the acquired first disease attribute index in association with each other on a display unit;
A display controller comprising:
(付記19)
疾患の属性が悪性であり、かつ、前記疾患の属性が前記第1疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記取得された第1疾患属性指標と関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
(Appendix 19)
further comprising risk acquiring means for acquiring a risk index representing whether the risk of the disease is high when the disease attribute is malignant and the disease attribute is the first disease attribute;
The display control means causes the display unit to display the obtained risk index in association with the obtained malignancy index and the obtained first disease attribute index.
18. The display control device according to
(付記20)
前記取得手段は、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第1疾患属性とは異なる第2疾患属性である可能性を表す第2疾患属性指標と、をさらに取得し、
前記表示制御手段は、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標を、互いに関連づけて前記表示部に表示させる、
付記18に記載の表示制御装置。
(Appendix 20)
The obtaining means obtains a benign index indicating a possibility that the disease attribute of the diagnostic target portion is benign, and a possibility that the disease attribute of the diagnostic target portion is a second disease attribute different from the first disease attribute. and further obtaining a second disease attribute index representing
The display control means causes the display unit to display the acquired malignant index, the acquired first disease attribute index, the acquired benign index, and the acquired second disease attribute index in association with each other. ,
18. The display control device according to
(付記21)
前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第1疾患属性指標、前記取得された良性指標及び前記取得された第2疾患属性指標と、互いに関連づけて表示部に表示させる、
付記20に記載の表示制御装置。
(Appendix 21)
further comprising disease risk acquiring means for acquiring a risk index indicating whether the diagnosis target portion has a high risk of disease,
The display control means merges the acquired risk indicator with the acquired malignancy indicator, the acquired first disease attribute indicator, the acquired benign indicator, and the acquired second disease attribute indicator. associated and displayed on the display,
21. The display control device according to
(付記22)
疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
付記20又は21に記載の表示制御装置。
(Appendix 22)
further comprising a position determination means for determining the coordinates of the position where the information about the disease is displayed;
The acquisition means further acquires a disease index indicating a possibility that the disease in the diagnostic target portion is a predetermined disease,
The display control means uses a query image as a root node and a probability circle having a size based on the acquired disease index located at the position indicated by the determined coordinates as a leaf node to describe the disease in the diagnosis target portion. causing each of the obtained indexes to be associated with each other and displayed on the display unit by a tree structure in which a connection line based on an attribute is connected from the root node to the leaf node;
22. The display control device according to
(付記23)
前記第1疾患属性がメラノサイト系であり、前記第2疾患属性が非メラノサイト系である、
付記20から22のいずれか1つに記載の表示制御装置。
(Appendix 23)
wherein the first disease attribute is melanocyte-based and the second disease attribute is non-melanocytic;
23. The display control device according to any one of
(付記24)
前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
付記18から23のいずれか1つに記載の表示制御装置。
(Appendix 24)
further comprising a discriminator that outputs a probability that the disease of the diagnostic target portion is related to each attribute;
the acquiring means acquires the output probability related to each attribute as an index of each attribute;
24. The display control device according to any one of
(付記25)
表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備える、
表示制御システム。
(Appendix 25)
A display control system comprising a display control device and a display unit,
The display control device is
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. acquisition means;
display control means for displaying the acquired malignancy index and the acquired first disease attribute index in association with each other on the display unit;
comprising
Display control system.
(付記26)
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップと、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップと、
を備える表示制御方法。
(Appendix 26)
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. an acquisition step;
a display control step of displaying the acquired malignancy index and the acquired first disease attribute index on a display unit in association with each other;
A display control method comprising:
(付記27)
コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第1疾患属性である可能性を表す第1疾患属性指標と、を取得する取得ステップ、並びに、
前記取得された悪性指標及び前記取得された第1疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させるためのプログラム。
(Appendix 27)
to the computer,
Acquiring a malignancy index representing the possibility that the disease attribute of the diagnosis target portion is malignant and a first disease attribute index representing the possibility that the disease attribute of the diagnosis target portion is a predetermined first disease attribute. an acquisition step, and
a display control step of displaying the acquired malignancy index and the acquired first disease attribute index in association with each other on a display unit;
program to run the
10…制御部、11…類似画像取得部、12…カテゴリ設定部、13…位置決定部、14…分類部、15…画像表示制御部、16…指標取得部、17…リスク取得部、18…表示制御部、19…疾患リスク取得部、20…記憶部、31…入力部、32…出力部、33…通信部、51,300,400…クエリ画像、52…比較対象画像、53…タグ情報、54…類似度の順位、55…順送りボタン、56…逆送りボタン、100…類似画像表示装置、101,102,103…表示制御装置、201…色素性母斑、202…メラノーマ、203…脂漏性角化症、204…血腫・血管腫、205…基底細胞癌、206…点、207…リスク境界線、301…色素性母斑の領域、302…メラノーマの領域、303…脂漏性角化症の領域、304…血腫・血管腫の領域、305…基底細胞癌の領域、311,312,313,314,315…カテゴリ円、311a,311b,311c,311d,312a,312b,313a,313b,314a,314b,315a,315b,315c…グラフィック図形、321,322,323,324,325,421,422,423,424…接続線、331…良性、332…悪性、333,334…メラノサイト系、335,336…非メラノサイト系、351,352,353,354,355…四角形、411,412,413,414…確率円、415,416,417,418…リスク円、431…良性ノード、432…悪性ノード、433,434…メラノサイト系ノード、435,436…非メラノサイト系ノード、3141,3142,4111,4121,4122,4131,4141…類似画像を囲う小さい円
DESCRIPTION OF
Claims (14)
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段と、
を備えることを特徴とする類似画像表示制御装置。 a similar image obtaining means for obtaining a plurality of similar images obtained as a result of similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. an image display control means for causing the display unit to display such that the higher the image, the thicker the image;
A similar image display control device comprising:
請求項1に記載の類似画像表示制御装置。 The image display control means arranges and displays the similar image concentrically within the category area,
The similar image display control device according to claim 1.
請求項2に記載の類似画像表示制御装置。 The image display control means arranges and displays the similar image at a position closer to the center of the category area as the similarity to the query image is higher.
The similar image display control device according to claim 2.
請求項2又は3に記載の類似画像表示制御装置。 The image display control means displays a concentric graphic figure in the background of the similar image arranged and displayed concentrically.
The similar image display control device according to claim 2 or 3.
請求項1から4のいずれか1項に記載の類似画像表示制御装置。 The position determination means associates each of the attributes with each coordinate axis of the space, and determines the coordinates indicating the position of the category area to be the coordinates according to the attribute value of the attribute of the category in the space. characterized by
The similar image display control device according to any one of claims 1 to 4.
請求項1から5のいずれか1項に記載の類似画像表示制御装置。 The image display control means connects and displays a connection line based on the attribute of the category corresponding to the category area in the category area,
The similar image display control device according to any one of claims 1 to 5.
請求項1から6のいずれか1項に記載の類似画像表示制御装置。 The image display control means uses the query image as a root node and the category area located at the position indicated by the determined coordinates as a leaf node, and draws a connection line based on the attribute of the category corresponding to the category area. The similar image is displayed on the display unit by a tree structure connecting the root node to the leaf node, and an attribute name indicating attribute information of the category is displayed as an internal node of the connection line,
The similar image display control device according to any one of claims 1 to 6.
請求項6又は7に記載の類似画像表示制御装置。 The image display control means classifies the similar images according to the degree of similarity between a predetermined similar image and the query image among the plurality of similar images classified into the category corresponding to the category area by the classification means. The thickness of the connection line connected to the category area corresponding to the category is displayed in a predetermined thickness on the display unit,
The similar image display control device according to claim 6 or 7.
請求項1から8のいずれか1項に記載の類似画像表示制御装置。 The image display control means enlarges and displays one or more similar images selected by the user from among the similar images and the query image on the display unit,
The similar image display control device according to any one of claims 1 to 8.
請求項1から9のいずれか1項に記載の類似画像表示制御装置。 The tag information is a skin disease name,
The similar image display control device according to any one of claims 1 to 9.
請求項10に記載の類似画像表示制御装置。 The attributes are of two types: benign/malignant and melanocyte/non-melanocyte.
The similar image display control device according to claim 10.
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段と、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、前記表示部に表示させる画像表示制御手段と、
を備えることを特徴とする、
類似画像表示制御システム。 A similar image display control system comprising a similar image display control device and a display unit,
The similar image display control device includes:
a similar image obtaining means for obtaining a plurality of similar images obtained as a result of similar image search for the query image;
Category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a space of dimensions having a predetermined number of dimensions of two or more; ,
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. an image display control means for causing the display unit to display such that the higher the image, the thicker the image;
characterized by comprising
Similar image display control system.
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得ステップと、
前記類似画像取得ステップにて取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定ステップと、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定ステップにて設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定ステップと、
前記類似画像取得ステップにて取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定ステップにて設定した複数のカテゴリのいずれかに分類する分類ステップと、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類ステップにて各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定ステップにて決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御ステップと、
を含むことを特徴とする類似画像表示制御方法。 A similar image display control method executed by a similar image display control device,
a similar image obtaining step of obtaining a plurality of similar images obtained as a result of similar image search for the query image;
a category setting step of setting a plurality of categories for classifying the plurality of similar images obtained in the similar image obtaining step;
A position determining step of determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set in the category setting step, in a dimensional space of a predetermined number of dimensions equal to or greater than two. When,
A classification step of classifying the plurality of similar images obtained in the similar image obtaining step into one of the plurality of categories set in the category setting step based on the tag information attached to each of the plurality of similar images. When,
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. displaying the similar images so as to be associated with each other, and displaying the similar images classified into the respective categories in the classifying step based on the degree of similarity with the query image; The similarity of a similar image most similar to the query image among the similar images classified into the category corresponding to the category region to the query image An image display control step for displaying on the display unit so that the higher the degree, the thicker the image;
A similar image display control method comprising:
クエリ画像に対する類似画像検索の結果得られた類似画像を複数取得する類似画像取得手段、
前記類似画像取得手段が取得した複数の類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段、
2以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段、
前記類似画像取得手段が取得した複数の類似画像を前記複数の類似画像夫々に付加されているタグ情報に基づいて、前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段、
前記カテゴリ領域を前記カテゴリ領域に対応するカテゴリに分類された類似画像の数が多いほど大きな円で表示させるとともに、前記分類された類似画像に共通して付加されているタグ情報を前記カテゴリ領域と関連付けるように表示させ、前記分類手段で各カテゴリに分類された前記類似画像を前記クエリ画像との類似度に基づいて前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置し、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太くなるように、表示部に表示させる画像表示制御手段、
として機能させるためのプログラム。
the computer,
Similar image acquisition means for acquiring a plurality of similar images obtained as a result of similar image search for the query image;
category setting means for setting a plurality of categories for classifying the plurality of similar images obtained by the similar image obtaining means;
position determining means for determining, in accordance with the attribute of the type of the number of dimensions, the coordinates indicating the position of the category area, which is the area indicating each category set by the category setting means, in a dimensional space of a predetermined number of dimensions of two or more;
Classification means for classifying the plurality of similar images acquired by the similar image acquisition means into one of the plurality of categories set by the category setting means based on the tag information attached to each of the plurality of similar images;
The category area is displayed in a larger circle as the number of similar images classified into the category corresponding to the category area increases, and tag information commonly added to the classified similar images is displayed as the category area. The similar images classified into each category by the classification means are displayed in association with each other, and the similar images are displayed in the category area located at the position indicated by the coordinates determined by the position determination means based on the degree of similarity with the query image. The similarity of the similar image most similar to the query image among the similar images classified into the category corresponding to the category region has a degree of similarity with the query image. image display control means for causing the display unit to display such that the higher the image, the thicker the image;
A program to function as
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910785443.9A CN110867241B (en) | 2018-08-27 | 2019-08-23 | Image-like display control device, system, method, and recording medium |
CN202311474685.9A CN117438053A (en) | 2018-08-27 | 2019-08-23 | Display control device, display control system, display control method, and recording medium |
US16/550,899 US20200066396A1 (en) | 2018-08-27 | 2019-08-26 | Similar image display control apparatus, similar image display control system, similar image display control method, display control apparatus, display control system, display control method, and recording medium |
JP2021203346A JP7380668B2 (en) | 2018-08-27 | 2021-12-15 | Display control device, display control system, display control method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158048 | 2018-08-27 | ||
JP2018158048 | 2018-08-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021203346A Division JP7380668B2 (en) | 2018-08-27 | 2021-12-15 | Display control device, display control system, display control method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020035423A JP2020035423A (en) | 2020-03-05 |
JP7176486B2 true JP7176486B2 (en) | 2022-11-22 |
Family
ID=69668461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019122644A Active JP7176486B2 (en) | 2018-08-27 | 2019-07-01 | Similar image display control device, similar image display control system, similar image display control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7176486B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112991A (en) | 1998-10-08 | 2000-04-21 | Canon Inc | Device for information retrieval, method therefor and storage medium |
JP2004254742A (en) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | Medical image processor and method of judging malignancy |
JP2009301536A (en) | 2008-06-12 | 2009-12-24 | Fuji Xerox Co Ltd | Method, apparatus and program for displaying files |
JP2013131051A (en) | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | Information processing apparatus, information processing method, and program |
-
2019
- 2019-07-01 JP JP2019122644A patent/JP7176486B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112991A (en) | 1998-10-08 | 2000-04-21 | Canon Inc | Device for information retrieval, method therefor and storage medium |
JP2004254742A (en) | 2003-02-24 | 2004-09-16 | Konica Minolta Holdings Inc | Medical image processor and method of judging malignancy |
JP2009301536A (en) | 2008-06-12 | 2009-12-24 | Fuji Xerox Co Ltd | Method, apparatus and program for displaying files |
JP2013131051A (en) | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020035423A (en) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230106440A1 (en) | Content based image retrieval for lesion analysis | |
Lam et al. | Retinal lesion detection with deep learning using image patches | |
Amin et al. | Use of machine intelligence to conduct analysis of human brain data for detection of abnormalities in its cognitive functions | |
Sharif et al. | A comprehensive review on multi-organs tumor detection based on machine learning | |
US9514416B2 (en) | Apparatus and method of diagnosing a lesion using image data and diagnostic models | |
Rocha et al. | Points of interest and visual dictionaries for automatic retinal lesion detection | |
Ma et al. | Effective features to classify skin lesions in dermoscopic images | |
JP5868231B2 (en) | Medical image diagnosis support apparatus, medical image diagnosis support method, and computer program | |
US11776692B2 (en) | Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus | |
EP3629898A1 (en) | Automated lesion detection, segmentation, and longitudinal identification | |
Yap et al. | End-to-end breast ultrasound lesions recognition with a deep learning approach | |
EP3478164B1 (en) | Classifying hormone receptor status of malignant tumorous tissue from breast thermographic images | |
Sanchez et al. | Scaled radial axes for interactive visual feature selection: A case study for analyzing chronic conditions | |
JP2010000133A (en) | Image display, image display method and program | |
Abedini et al. | 10 Accurate and Scalable System for Automatic Detection of Malignant Melanoma | |
JP2006034585A (en) | Picture display device and picture display method, and program thereof | |
JPWO2020027228A1 (en) | Diagnostic support system and diagnostic support method | |
Patel et al. | Automated screening of glaucoma stages from retinal fundus images using BPS and LBP based GLCM features | |
Maleki et al. | An intelligent algorithm for lung cancer diagnosis using extracted features from Computerized Tomography images | |
Sonia et al. | Segmenting and classifying skin lesions using a fruit fly optimization algorithm with a machine learning framework | |
Kaur et al. | A review on optimization techniques for medical image analysis | |
JP7380668B2 (en) | Display control device, display control system, display control method and program | |
Namdeo et al. | Thyroid disorder diagnosis by optimal convolutional neuron based CNN architecture | |
Bhuyan et al. | Diagnosis system for cancer disease using a single setting approach | |
Boulahia et al. | Att2ResNet: A deep attention‐based approach for melanoma skin cancer classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7176486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |