JP6261218B2 - Display processing device, display processing method and program, and image classification device - Google Patents
Display processing device, display processing method and program, and image classification device Download PDFInfo
- Publication number
- JP6261218B2 JP6261218B2 JP2013148717A JP2013148717A JP6261218B2 JP 6261218 B2 JP6261218 B2 JP 6261218B2 JP 2013148717 A JP2013148717 A JP 2013148717A JP 2013148717 A JP2013148717 A JP 2013148717A JP 6261218 B2 JP6261218 B2 JP 6261218B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- category
- predetermined
- boundary
- display processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 53
- 238000003672 processing method Methods 0.000 title claims 5
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 41
- 238000003745 diagnosis Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012252 genetic analysis Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
本発明は、画像データのカテゴリを分類するための技術に関するものである。 The present invention relates to a technique for classifying image data categories.
医師が医用画像を観察して診断を行った結果は、画像診断レポートにまとめられる。画像診断レポートには、医師が医用画像から発見した異常陰影に関する画像所見と、その異常陰影の医学的な分類名を判断した画像診断名とが記載される。画像所見については、画像所見の種類(例えば、棘状突起、切れ込み等)とその評価値(例えば、多い、強い等)とが記載される。そして、画像所見と画像診断名との何れについても、医師の知識や経験に基づいて決定されることが多い。従って、医師の知識や経験が異なれば、画像所見や画像診断名について異なった判断が下される可能性がある。 The result of diagnosis by the doctor observing the medical image is compiled into an image diagnosis report. The image diagnosis report describes an image finding regarding an abnormal shadow discovered by a doctor from a medical image and an image diagnosis name for which a medical classification name of the abnormal shadow is determined. For the image findings, the type of image findings (for example, spinous processes, notches, etc.) and the evaluation value (for example, many, strong, etc.) are described. In many cases, both the image finding and the image diagnosis name are determined based on the knowledge and experience of the doctor. Therefore, if the doctor's knowledge and experience are different, different judgments may be made regarding image findings and image diagnosis names.
医師による判断のばらつきを軽減するためには、医師の教育が必要である。そして、画像診断に関わる教育を行うためには、画像所見や画像診断名が付与された画像データを提示するシステムが必要であり、また、このシステムで提示すべき画像データを蓄積した画像データベースが必要である。但し、多数の画像データに対してそれぞれ適切な画像所見や画像診断名を付与することは容易ではない。画像診断名については、細胞診や遺伝子解析等の他の診断結果に基づき信頼性の高い画像診断名を得ることが可能だが、画像所見については医師が一つ一つ判断するしかない。つまり、多数の画像データに対して、医師が複数の画像所見を適切に付与することは非常に手間のかかる作業である。また、一つ一つの画像所見に対して常に統一した基準で評価値を付与することは困難な作業であるとともに、画像診断の客観性を高める上で非常に重要である。 In order to reduce the variation of judgments by doctors, doctors need to be educated. In order to conduct education related to image diagnosis, a system that presents image data to which image findings and image diagnosis names have been assigned is necessary, and an image database that stores image data to be presented by this system is required. is necessary. However, it is not easy to assign appropriate image findings and image diagnosis names to a large number of image data. With regard to the name of the image diagnosis, it is possible to obtain a reliable image diagnosis name based on other diagnosis results such as cytodiagnosis and genetic analysis, but the doctor can only judge the image findings one by one. That is, it is a very troublesome task for a doctor to appropriately give a plurality of image findings to a large number of image data. In addition, it is difficult to assign an evaluation value to each image finding based on a uniform standard at all times, and it is very important for enhancing the objectivity of image diagnosis.
画像所見を付与する基準を統一するためには、注目する画像所見の種類を一つ決めておき、多数の画像データに対して予め定められた画像所見の評価値だけを付与する作業方法がある。この作業を支援する技術として、ある属性のカテゴリ毎に類似画像データを提示することにより、その属性のカテゴリが未分類である画像データをユーザが分類する作業を支援する類似画像提示技術が知られている。なお、ここでは、注目する画像所見の種類が属性に対応し、評価値がカテゴリに対応する。 In order to unify the criteria for assigning image findings, there is a work method in which one type of image finding to be noticed is determined and only predetermined evaluation values of image findings are assigned to a large number of image data. . As a technique for supporting this work, there is known a similar image presentation technique for assisting a user in classifying image data whose attribute category is unclassified by presenting similar image data for each category of a certain attribute. ing. Here, the type of image finding to be noticed corresponds to the attribute, and the evaluation value corresponds to the category.
上述した類似画像提示技術は、実際に画像診断を行う際にも役に立つ。即ち、予め統一した基準で画像所見の評価値を付与した画像データを蓄積した画像データベースを構築しておき、画像診断が行われる際に、画像データベースに蓄積される画像データを提示することにより、医師の画像診断を支援することが挙げられる。 The similar image presentation technique described above is also useful when actually performing image diagnosis. That is, by constructing an image database storing image data to which evaluation values of image findings are given based on a standard unified in advance, and presenting image data stored in the image database when image diagnosis is performed, Supporting a doctor's image diagnosis can be mentioned.
特許文献1には、カテゴリが未分類の画像データ群を、ユーザが同一カテゴリとして指定した画像データ群との類似度に応じて並べ替えて表示する技術が開示されている。また、特許文献1には、カテゴリが未分類の画像データをユーザが指定すると、カテゴリ候補を表示することにより、ユーザの判断を計算機が補助する技術が開示されている。即ち、特許文献1に記載された技術においては、ユーザにより指定されたカテゴリとの類似度に応じて未分類の画像データを並び替えるか、又は、ユーザにより指定されたカテゴリが未分類の画像データに適したカテゴリ候補を表示するか、の何れかの表示が行われる。
Japanese Patent Application Laid-Open No. 2004-151867 discloses a technique for rearranging and displaying image data groups with uncategorized categories according to the degree of similarity with image data groups designated by the user as the same category.
しかしながら、多くの画像所見の評価値は、医師の高度な知識及び経験に基づいて付与されるものである。従って、計算機により自動的に計算された評価値に基づいてカテゴリ候補を表示しても、その候補が適切である保証はないため、ユーザの分類作業の正確性の向上には役立てることができない可能性がある。また、カテゴリ毎に複数の類似画像データを表示するだけの場合、ユーザは全ての類似画像データと未分類画像データとを見比べる必要があるため、ユーザの作業効率が落ちてしまうという問題もある。 However, the evaluation values of many image findings are given based on a doctor's advanced knowledge and experience. Therefore, even if a category candidate is displayed based on the evaluation value automatically calculated by the computer, there is no guarantee that the candidate is appropriate, and thus it may not be useful for improving the accuracy of the user's classification work. There is sex. In addition, when only a plurality of similar image data is displayed for each category, the user needs to compare all the similar image data with the unclassified image data, which causes a problem that the user's work efficiency is lowered.
そこで、本発明の目的は、画像データのカテゴリを分類する際の正確性及び作業効率を向上させることにある。 Therefore, an object of the present invention is to improve accuracy and work efficiency when classifying image data categories.
本発明の表示処理装置は、所定の属性の所定のカテゴリに属する画像に関して、当該画像が、前記所定の属性において前記所定のカテゴリに最も近い他のカテゴリに類似した画像であるか否かを示す境界情報を取得する取得手段と、前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記他のカテゴリに属する画像の表示領域に対して前記所定のカテゴリに属する他の画像よりも近い位置に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理手段とを有し、前記境界画像は、被写体を含む画像であることを特徴とする。
本発明の表示処理装置における他の態様は、所定の属性の所定のカテゴリに属する画像に関して、当該画像が、前記所定の属性において前記所定のカテゴリに最も近い他のカテゴリに類似した画像であるか否かを示す境界情報を取得する取得手段と、前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記所定のカテゴリに属する他の画像の表示領域と前記他のカテゴリに属する画像の表示領域との間に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理手段とを有し、前記境界画像は、被写体を含む画像であることを特徴とする。
Display processing device of the present invention, with respect to an image belonging to a predetermined category of Jo Tokoro attributes, whether the image is an images similar to other categories close most to the predetermined category in the predetermined attribute not acquisition means for acquiring boundary information indicating whether, by the boundary information when the picture image is shown to be images similar to the other categories of images that belong to the other category other images by remote close that belong to the predetermined categories for the display area, a display processing means for displaying the image image to the boundary picture image of the other categories to the predetermined category have a, the boundary image is characterized by an image including the object.
According to another aspect of the display processing apparatus of the present invention, regarding an image belonging to a predetermined category of a predetermined attribute, is the image similar to another category closest to the predetermined category in the predetermined attribute? Acquisition means for acquiring boundary information indicating whether or not, and when the boundary information indicates that the image is an image similar to the other category, a display area of the other image belonging to the predetermined category Display processing means for displaying the image as a boundary image between the predetermined category and the other category between the display area of the image belonging to the other category and the display area of the image belonging to the other category. It is the image which contains.
本発明によれば、画像データのカテゴリを分類する際の正確性及び作業効率を向上させることが可能となる。 According to the present invention, it is possible to improve accuracy and work efficiency when classifying image data categories.
以下、本発明の適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments to which the present invention is applied will be described in detail with reference to the accompanying drawings.
図1は、本発明の実施形態に係る画像分類支援装置を含む画像分類支援システムの全体構成を示す図である。図1に示すように、画像分類支援システムは、画像分類支援装置10及びデータベース22を含み、画像分類支援装置10及びデータベース22は、LAN(Local Area Network)21を介して互いに通信可能に接続されている。
FIG. 1 is a diagram showing an overall configuration of an image classification support system including an image classification support apparatus according to an embodiment of the present invention. As shown in FIG. 1, the image classification support system includes an image
データベース22は、医用画像データやそれに関連付けられた情報を管理する。画像分類支援装置10は、データベース22で管理される医用画像データやそれに関連付けられる情報を、LAN21を介して取得する。
The
画像分類支援装置10は、その機能的な構成として、通信IF31、ROM32、RAM33、記憶部34、操作部35、表示部36及び制御部37を備える。通信IF(Interface)31は、例えばLANカード等で実現され、LAN21を介した外部装置(例えば、データベース22)と画像分類支援装置10との間の通信を司る。ROM(Read Only Memory)32は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM(Random Access Memory)33は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部34は、例えば、HDD(Hard Disk Drive)等で実現され、各種情報を記憶する。操作部35は、例えば、キーボードやマウス等で実現され、ユーザからの指示を画像分類支援装置10内に入力する。表示部36は、例えばディスプレイ等で実現され、各種情報をユーザ(例えば、医師)に向けて表示する。
The image
制御部37は、例えば、CPU(Central Processing Unit)等で実現され、画像分類支援装置10における処理を統括制御する。また、制御部37は、その機能的な構成として、データ読出部41、表示処理部42、画像移動先取得部43及びカテゴリ・境界情報設定部44を備える。これらの構成は、例えば、CPUがRAM33をワーク領域としてROM32又は記憶部34等に記憶されたプログラムを読み込み、実行することで実現される。なお、これらの構成の一部又はその全てが専用の回路等で実現されてもよい。
The
データ読出部41は、通信IF31及びLAN21を介して、医用画像データ及びそれに関連付けられる情報をデータベース22から読み出す。医用画像データに関連付けられる情報には、医用画像データの属性(画像所見の種類)、医用画像データのカテゴリ(画像所見の評価値)、及び、医用画像データが、当該カテゴリに対して属性が隣接する(最も近い)カテゴリに対する境界画像データであるか否かを示す情報(以下、境界情報と称す)が含まれる。以下では、属性、カテゴリ及び境界情報が付与されている医用画像データを分類済み画像データと称し、未だこれらが付与されていない医用画像データを未分類画像データと称す。表示処理部42は、データ読出部41により読み出された医用画像データを、当該医用画像データの属性、カテゴリ及び境界情報に対応する表示部36上の表示領域に表示させる。なお、データ読出部41は、画像取得手段及び分類取得手段の例となる構成であり、表示処理部42は、表示制御手段の例となる構成である。また、医用画像データの属性は、医用画像データの分類の基準となる属性情報の例である。
The
画像移動先取得部43は、操作部35からユーザによって入力された指示のうち、表示処理部42に表示された任意の医用画像データの表示位置を変更させる(移動させる)指示を選択的に取得する。そして、画像移動先取得部43は、その指示に応じて画像データの新たな表示位置候補(以下、移動先と称す)を取得する。このユーザによる指示入力は、例えば、グラフィカル・ユーザ・インタフェース(GUI)を用いる一般的なOSにおいて、ドラッグ&ドロップ操作として知られているマウス操作によって実現することができる。そして、画像データの移動先は、表示部36の画面上のマウスポインタの位置として取得することができる。
The image movement
カテゴリ・境界情報設定部44は、画像移動先取得部43によって取得された医用画像データの移動先の座標に該当するカテゴリ及び境界情報を取得し、移動を指示された医用画像データに対して付与する。これにより、移動を指示された医用画像データのカテゴリ及び境界情報が変更される。そして、表示処理部42は、変更後のカテゴリ及び境界情報に従って、移動を指示された医用画像データを移動先に表示させる。
The category / boundary
次に、図2乃至図4を用いて、図1に示す画像分類支援装置10の処理について説明する。図2は、画像分類支援装置10における医用画像データの読み出し処理及び表示処理を示すフローチャートである。図2に示す処理は、制御部37がROM32や記憶部34から必要なデータ及びプログラムをRAM33に一時的に読み出して実行することにより実現する処理である。なお、ユーザが操作部35を介して、医用画像データの属性(画像所見の種類)Anを指示することにより、図2に示す処理が開始される。
Next, processing of the image
ステップS101において、制御部37は、ユーザから指示された、注目する属性Anを取得し、RAM33に格納する。表示処理部42は、取得された属性Anを表示部36における所定の表示領域に表示させる。
In step S <b> 101, the
ステップS102において、データ読出部41は、LAN21を介してデータベース22に格納されるデータ数Nを取得し、RAM33に格納する。また、制御部37は、次に読み出すべきデータのデータ番号nに1を代入し、RAM33に格納する。
In step S <b> 102, the
ステップS103において、データ読出部41は、LAN21を介してデータベース22からデータ番号nのデータDnを読み出し、RAM33又は記憶部34に格納する。なお、データDnとは、医用画像データIn、医用画像データInの属性AnのカテゴリCn、及び、医用画像データInの境界情報Bnを含むデータである。
In step S <b> 103, the
ステップS104において、表示処理部42は、カテゴリCn及び境界情報Bnに対応する表示部36における表示領域に医用画像データInを表示する。ステップS105において、制御部37は、RAM33からデータ番号nを読み出し、データ番号nに1を加算して、再びRAM33に格納する。ステップS106において、制御部37は、RAM33からデータ番号n及びデータ数Nを読み出し、データ番号nとデータ数Nとを比較する。データ番号nがデータ数Nよりも小さい場合、データベース22から読み出していない医用画像データが残っているため、処理はステップS103に戻り、次の医用画像データがデータベース22から読み出される。データ番号nがデータ数Nに達した場合、全ての医用画像データが読み出し済みであるため、図2に示す処理が終了する。以上の処理により、例えば図3に示すような画面が表示部36において表示される。
In step S104, the
図3は、第1の実施形態における表示部36の表示画面例を示す図である。図3には、ユーザの操作入力により指定された、注目する属性Anの表示領域301、未分類画像データIx={I1,I2,・・・}の表示領域302、及び、カテゴリCnの非境界画像データ及び境界画像データの表示領域R(Cn,B)303がそれぞれ示されている。図3の例では、カテゴリCn={C1,C2,・・・}であり、境界情報B={−1,0,+1}としている。ここで、B=0は、非境界画像データであることを示す。B=−1は、カテゴリCn内の医用画像データの中で注目する属性Anが隣接カテゴリCn−1に最も似ている境界画像データであることを示す。B=+1は、カテゴリCn内の医用画像データの中で注目する属性Anが隣接カテゴリCn+1に最も似ている境界画像データであることを示す。また、図3に示すように、境界画像データの表示領域は、非境界画像データの表示領域よりも隣接カテゴリに接近した位置に配置される。なお、図3に示す表示画面は、属性指定手段の例となる構成である。
FIG. 3 is a diagram illustrating an example of a display screen of the
なお、図3の例では、カテゴリC0は存在しないため、カテゴリC1内にはB=−1の境界画像データが存在しない。また、図3では、カテゴリC1及びC2しか例示していないが、カテゴリが3つ以上存在してもよい。また、図3では、境界画像データの表示領域R(C1,+1)、R(C2,―1)、R(C2,+1)それぞれに1つずつ境界画像データを例示したが、それぞれの表示領域内に所定の数以下の複数の境界画像データを表示してもよい。 In the example of FIG. 3, since the category C0 does not exist, there is no boundary image data of B = −1 in the category C1. Moreover, although only the categories C1 and C2 are illustrated in FIG. 3, there may be three or more categories. Further, in FIG. 3, one boundary image data is illustrated for each of the boundary image data display areas R (C1, + 1) , R (C2, −1) , and R (C2, + 1) . A plurality of boundary image data of a predetermined number or less may be displayed in the display area.
図4は、画像分類支援装置10による医用画像データのカテゴリ分類処理及び表示処理を示すフローチャートである。図4に示す処理は、制御部37がROM32や記憶部34から必要なデータ及びプログラムをRAM33に一時的に読み出して実行することにより実現する処理である。なお、図3に示す処理は、図2に示す処理終了後に自動的に開始される処理である。
FIG. 4 is a flowchart showing medical image data category classification processing and display processing by the image
ステップS201において、制御部37は、図2のステップS101から指示された属性(画像所見の種類)Anに対するカテゴリ数(画像所見の評価値の数)Mを取得し、RAM33に格納する。ユーザが操作部35を介して医用画像データIxの移動先を指示すると、ステップS202において、画像移動先取得部43は、医用画像データIxの移動先の座標Pxを取得し、RAM33に格納する。上述のGUIを用いる一般的なOSにおけるドラッグ&ドロップ操作によって医用画像データIxの移動先の座標Pxが指示される場合、表示部36に表示された画面上のマウスポインタの座標としてPxを取得することができる。ステップS203において、画像移動先取得部43は、カテゴリ番号kに1を代入するとともに、境界情報Bに0を代入し、それぞれをRAM33に格納する。
In step S201, the
ステップS204において、画像移動先取得部43は、現在のカテゴリ番号kによって指定されるカテゴリCk及び現在の境界情報Bに対応する表示領域R(Ck,B)の座標を表示部36から取得する。ステップS205において、画像移動先取得部43は、医用画像データIxの移動先の座標PxをRAM33から読み出し、表示領域R(Ck,B)の座標と比較する。座標Pxが表示領域R(Ck,B)内にある場合、処理はステップS210に移行する。一方、座標Pxが表示領域R(Ck,B)内にない場合、処理はステップS206に移行する。
In step S <b> 204, the image movement
ステップS206において、画像移動先取得部43は、RAM33から境界情報Bを読み出し、境界情報Bに1を加算して、再びRAM33に格納する。ステップS207において、画像移動先取得部43は、境界情報Bが+1を超えたか否かを判定する。Bが+1を超えた場合、処理はステップS208に移行する。一方、境界情報Bが+1を超えていない場合、処理はステップS204に戻る。
In step S206, the image movement
ステップS208において、画像移動先取得部43は、RAM33からカテゴリ番号kを読み出し、カテゴリ番号kに1を加算して、再びRAM33に格納する。また、画像移動先取得部43は、境界情報Bに−1を代入して、RAM33に格納する。ステップS209において、画像移動先取得部43は、カテゴリ番号kがカテゴリ数Mを超えているか否かを判定する。カテゴリ番号kがカテゴリ数Mを超えている場合、座標Pxは何れのカテゴリの表示領域にも属していないため、処理は終了する。このとき、医用画像データIxのカテゴリ及び境界情報は変更されない。一方、カテゴリ番号kがカテゴリ数Mを超えていない場合、処理はステップS204に移行する。
In step S208, the image movement
ステップS210において、カテゴリ・境界情報設定部44は、RAM33から境界情報Bを読み出し、境界情報Bが0であるか否かを判定する。ここで、境界情報Bが0ではない場合、つまり、境界情報Bが−1又は+1である場合、処理はステップS211に移行する。一方、境界情報Bが0である場合、処理はステップS212に移行する。
In step S <b> 210, the category / boundary
ステップS211において、カテゴリ・境界情報設定部44は、境界画像データの表示領域R(Ck,B)(B=−1又は+1)内の画像データI(Ck,B)の境界情報Bを0に変更する。そして、表示処理部42は、画像データI(Ck,B)の表示位置を非境界画像データの表示領域R(Ck,0)内に移動させる。ステップS211では、カテゴリ・境界情報設定部44は、医用画像データIxのカテゴリにCkを代入するとともに、境界情報にBを代入する。そして、表示処理部42は、医用画像データIxを表示領域R(Ck,B)内に移動させる。
In step S211, the category / boundary
ステップS210以降の処理により、境界情報Bが0である場合、医用画像データIxはカテゴリCkの非境界画像データとして追加される。一方、境界情報Bが0ではない場合、医用画像データIxはカテゴリCk(B=−1又は+1)の境界画像データの表示領域に表示され(つまり、新たな境界画像データとなり)、元々あった境界画像データは非境界画像データの表示領域へ移動される。以上の処理により、医用画像データIxのカテゴリ及び境界情報が設定される。つまり、医用画像データIxが未分類画像データである場合、分類済み画像データとなり、医用画像データIxが既に分類済み画像データである場合、分類が変更されることになる。 If the boundary information B is 0 by the processing after step S210, the medical image data Ix is added as non-boundary image data of category Ck. On the other hand, when the boundary information B is not 0, the medical image data Ix is displayed in the display area of the boundary image data of the category Ck (B = −1 or +1) (that is, becomes new boundary image data) and originally exists. The boundary image data is moved to the display area of the non-boundary image data. Through the above processing, the category and boundary information of the medical image data Ix are set. That is, when the medical image data Ix is unclassified image data, it becomes classified image data, and when the medical image data Ix is already classified image data, the classification is changed.
本実施形態においては、ユーザは医用画像データIxと各カテゴリ内の境界画像データとを見比べるだけで、医用画像データIxの適切な分類先(カテゴリ)を容易に判断することができる。また、ユーザは、医用画像データIxの移動先を指定するだけで、迅速にカテゴリ分類を実施することができる。これにより、ユーザによるカテゴリ分類の正確性及び作業効率の何れも向上させることができる。さらに、画像診断を行う際には、画像所見の評価値を正確且つ効率よく付与することが可能となる。 In the present embodiment, the user can easily determine an appropriate classification destination (category) of the medical image data Ix only by comparing the medical image data Ix with the boundary image data in each category. In addition, the user can quickly perform category classification simply by designating the movement destination of the medical image data Ix. Thereby, both the accuracy of the category classification by the user and the work efficiency can be improved. Furthermore, when performing image diagnosis, it is possible to accurately and efficiently assign an evaluation value of image findings.
以上が本発明の代表的な実施形態であるが、本発明は、上記実施形態に限定されることなく、その要旨を変更しない範囲内で適宜変形して実施できる。 The above is a representative embodiment of the present invention, but the present invention is not limited to the above-described embodiment, and can be appropriately modified and implemented without departing from the scope of the present invention.
次に、本発明の第2の実施形態について説明する。なお、第2の実施形態では、第1の実施形態と相違する点に主眼をおいて説明を行うものとする。 Next, a second embodiment of the present invention will be described. In the second embodiment, the description will be given focusing on differences from the first embodiment.
第2の実施形態では、境界情報Bを0及び+1(又は、0及び−1)の2つに限定している。また、カテゴリCkの境界画像データの表示領域R(Ck,+1)(又は、R(Ck,-1))を、カテゴリCkの表示領域の外部、例えば隣接する2つのカテゴリ間に表示してもよい。 In the second embodiment, the boundary information B is limited to two of 0 and +1 (or 0 and −1). Further, the display area R (Ck, + 1) (or R (Ck, -1) ) of the boundary image data of the category Ck is displayed outside the display area of the category Ck, for example, between two adjacent categories. Also good.
図5は、第2の実施形態における表示部36の表示画面例を示す図である。第2の実施形態においては、境界情報Bを0及び+1に限定している。また、第2の実施形態では、図5に示すように、カテゴリCkの境界画像データの表示領域R(Ck,+1)を、隣接する2つのカテゴリの非境界画像データの表示領域R(Ck,0)とR(Ck+1,0)との中間に表示させている。これにより、ユーザが医用画像データIxと見比べるべき境界画像データの数がほぼ半減するため、ユーザの作業効率をさらに向上させることが可能となる。
FIG. 5 is a diagram illustrating a display screen example of the
次に、本発明の第3の実施形態について説明する。なお、第3の実施形態では、第1及び第2の実施形態と相違する点に主眼をおいて説明を行うものとする。 Next, a third embodiment of the present invention will be described. Note that in the third embodiment, description will be given focusing on differences from the first and second embodiments.
第3の実施形態では、通常、境界画像データを表示せず、ステップS202において医用画像データIxの移動先の座標Pxが取得された場合に、表示部36の所定の表示領域に境界画像データを表示させる制御を行う。さらに、医用画像データIxの移動先の座標PxがカテゴリCkの非境界画像データの表示領域R(Ck+1,0)に近づいた場合、つまり、座標Pxと表示領域R(Ck+1,0)の代表点(端点又は中心点)との距離が一定以下になった場合、境界画像データを表示するようにしてもよい。
In the third embodiment, the boundary image data is not normally displayed, and the boundary image data is displayed in a predetermined display area of the
これにより、ユーザが医用画像データIxと見比べるべき境界画像データの数がさらに減少するため、ユーザの作業効率をさらに向上させることが可能となる。 As a result, the number of boundary image data that the user should compare with the medical image data Ix is further reduced, so that the user's work efficiency can be further improved.
次に、本発明の第4の実施形態について説明する。第1の実施形態では、ユーザが任意の境界画像データを変更可能な構成について示したが、第4の実施形態では、ユーザが境界画像データを変更することができない構成について示す。なお、境界画像データは、予め設定されているものとする。第4の実施形態においては、図4に示す処理に代わって図6に示す処理を実行するものであり、それ以外は同様である。 Next, a fourth embodiment of the present invention will be described. In the first embodiment, a configuration in which the user can change arbitrary boundary image data has been described. In the fourth embodiment, a configuration in which the user cannot change boundary image data is described. Note that the boundary image data is set in advance. In the fourth embodiment, the process shown in FIG. 6 is executed instead of the process shown in FIG. 4, and the other processes are the same.
図6は、第4の実施形態に係る画像分類支援装置10による医用画像データのカテゴリ分類処理及び表示処理を示すフローチャートである。図6に示す処理は、図2に示す処理終了後に自動的に開始される処理である。なお、第4の実施形態に係る画像分類支援装置10の構成は、図1に示した画像分類支援装置10と同様の構成であるため、以下の説明においても図1の符号を流用するものとする。図6に示す処理は、制御部37がROM32や記憶部34から必要なデータ及びプログラムをRAM33に一時的に読み出して実行することにより実現する処理である。
FIG. 6 is a flowchart showing medical image data category classification processing and display processing by the image
ステップS301において、制御部37は、図2のステップS101にて指示された属性(画像所見の種類)Anに対するカテゴリ数(画像所見の評価値の数)Mを取得し、RAM33に格納する。ユーザが操作部35を介して医用画像データIxの移動先を指示すると、ステップS302において、画像移動先取得部43は、医用画像データIxの移動先の座標Pxを取得し、RAM33に格納する。ステップS303において、画像移動先取得部43は、カテゴリ番号kに1を代入し、RAM33に格納する。
In step S301, the
ステップS304において、画像移動先取得部43は、現在のカテゴリ番号kによって指定されるカテゴリCkに対応する表示領域R(Ck)の座標を表示部36から取得する。ステップS305において、画像移動先取得部43は、医用画像データIxの移動先の座標PxをRAM33から読み出し、表示領域R(Ck)の座標と比較する。ここで、座標Pxが表示領域R(Ck)内にある場合、処理はステップS308に移行する。一方、座標Pxが表示領域R(Ck)内にない場合、処理はステップS306に移行する。
In step S304, the image movement
ステップS306において、画像移動先取得部43は、RAM33からカテゴリ番号kを読み出し、kに1を加算して、再びRAM33に格納する。ステップS307において、画像移動先取得部43は、カテゴリ番号kがカテゴリ数Mを超えたか否かを判定する。カテゴリ番号kがカテゴリ数Mを超えた場合、座標Pxは何れのカテゴリの表示領域にも属していないため、処理は終了する。このとき、医用画像データIxのカテゴリ及び境界情報は変更されない。一方、カテゴリ番号kがカテゴリ数Mを超えていない場合、処理はステップS304に戻る。ステップS308において、画像移動先取得部43は、医用画像データIxのカテゴリにCkを代入するとともに、境界情報に0を代入する。そして、表示処理部42は、医用画像データIxを表示領域R(Ck)内に移動させる。
In step S <b> 306, the image movement
以上の処理により、医用画像データIxのカテゴリ及び境界情報が設定される。つまり、医用画像データIxが未分類画像データである場合は分類済みとなり、医用画像データIxが分類済み画像データである場合は分類が変更される。 Through the above processing, the category and boundary information of the medical image data Ix are set. That is, the classification is changed when the medical image data Ix is unclassified image data, and the classification is changed when the medical image data Ix is classified image data.
図7は、第4の実施形態における表示部36の表示画面例を示す図である。図7において、701、702及び703は、図3における301、302及び303に対応する表示領域である。第4の実施形態においては、医用画像データIxの移動先が各カテゴリの非境界画像データの表示領域R(Ck)704内に限定されるため、予め定められた境界画像データ705をユーザの不注意により変更してしまう恐れがなくなる。さらに、画像診断を行う際は境界画像データ705を変更する必要がないため、画像所見の評価値を正確且つより効率的に付与することが可能となる。
FIG. 7 is a diagram illustrating a display screen example of the
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
10:画像分類支援装置、21:LAN、22:データベース、31:通信IF、32:ROM、33:RAM、34:記憶部、35:操作部、36:表示部、37:制御部、41:データ読出部、42:表示処理部、43:画像移動先取得部、44:カテゴリ・境界情報設定部 10: Image classification support device, 21: LAN, 22: Database, 31: Communication IF, 32: ROM, 33: RAM, 34: Storage unit, 35: Operation unit, 36: Display unit, 37: Control unit, 41: Data reading unit, 42: display processing unit, 43: image destination acquisition unit, 44: category / boundary information setting unit
Claims (16)
前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記他のカテゴリに属する画像の表示領域に対して前記所定のカテゴリに属する他の画像よりも近い位置に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理手段と
を有し、
前記境界画像は、被写体を含む画像であることを特徴とする表示処理装置。 Acquisition means for acquiring boundary information indicating whether the image belongs to a predetermined category of a predetermined attribute and whether the image is an image similar to another category closest to the predetermined category in the predetermined attribute; ,
When the boundary information indicates that the image is similar to the other category, the display area of the image belonging to the other category is closer than the other image belonging to the predetermined category Display processing means for displaying the image as a boundary image between the predetermined category and the other category at a position;
The display processing apparatus, wherein the boundary image is an image including a subject.
前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記所定のカテゴリに属する他の画像の表示領域と前記他のカテゴリに属する画像の表示領域との間に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理手段と
を有し、
前記境界画像は、被写体を含む画像であることを特徴とする表示処理装置。 Acquisition means for acquiring boundary information indicating whether the image belongs to a predetermined category of a predetermined attribute and whether the image is an image similar to another category closest to the predetermined category in the predetermined attribute; ,
If the boundary information indicates that the image is an image similar to the other category, a display area of another image belonging to the predetermined category and a display area of an image belonging to the other category A display processing unit for displaying the image as a boundary image between the predetermined category and the other category,
The display processing apparatus, wherein the boundary image is an image including a subject.
前記カテゴリは、前記画像所見の評価値を示すことを特徴とする請求項7に記載の表示処理装置。 The attribute indicates an image finding;
The display processing apparatus according to claim 7, wherein the category indicates an evaluation value of the image findings.
所定の属性の所定のカテゴリに属する画像に関して、当該画像が、前記所定の属性において前記所定のカテゴリに最も近い他のカテゴリに類似した画像であるか否かを示す境界情報を取得する取得ステップと、
前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記他のカテゴリに属する画像の表示領域に対して前記所定のカテゴリに属する他の画像よりも近い位置に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理ステップと
を有し、
前記境界画像は、被写体を含む画像であることを特徴とする表示処理方法。 A display processing method executed by a display processing device,
An acquisition step of acquiring boundary information indicating whether the image belongs to a predetermined category of a predetermined attribute and whether the image is an image similar to another category closest to the predetermined category in the predetermined attribute; ,
When the boundary information indicates that the image is similar to the other category, the display area of the image belonging to the other category is closer than the other image belonging to the predetermined category A display processing step for displaying the image as a boundary image between the predetermined category and the other category at a position;
The display processing method, wherein the boundary image is an image including a subject.
所定の属性の所定のカテゴリに属する画像に関して、当該画像が、前記所定の属性において前記所定のカテゴリに最も近い他のカテゴリに類似した画像であるか否かを示す境界情報を取得する取得ステップと、
前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記所定のカテゴリに属する他の画像の表示領域と前記他のカテゴリに属する画像の表示領域との間に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理ステップと
を有し、
前記境界画像は、被写体を含む画像であることを特徴とする表示処理方法。 A display processing method executed by a display processing device,
An acquisition step of acquiring boundary information indicating whether the image belongs to a predetermined category of a predetermined attribute and whether the image is an image similar to another category closest to the predetermined category in the predetermined attribute; ,
If the boundary information indicates that the image is an image similar to the other category, a display area of another image belonging to the predetermined category and a display area of an image belonging to the other category And a display processing step for displaying the image as a boundary image between the predetermined category and the other category,
The display processing method, wherein the boundary image is an image including a subject.
前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記他のカテゴリに属する画像の表示領域に対して前記所定のカテゴリに属する他の画像よりも近い位置に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理ステップと
をコンピュータに実行させ、
前記境界画像は、被写体を含む画像であることを特徴とするプログラム。 An acquisition step of acquiring boundary information indicating whether the image belongs to a predetermined category of a predetermined attribute and whether the image is an image similar to another category closest to the predetermined category in the predetermined attribute; ,
When the boundary information indicates that the image is similar to the other category, the display area of the image belonging to the other category is closer than the other image belonging to the predetermined category Causing the computer to execute a display processing step of displaying the image as a boundary image between the predetermined category and the other category at a position;
The boundary image is an image including a subject.
前記境界情報により前記画像が前記他のカテゴリに類似した画像であることが示されている場合、前記所定のカテゴリに属する他の画像の表示領域と前記他のカテゴリに属する画像の表示領域との間に、前記画像を前記所定のカテゴリと前記他のカテゴリとの境界画像として表示させる表示処理ステップと
をコンピュータに実行させ、
前記境界画像は、被写体を含む画像であることを特徴とするプログラム。 An acquisition step of acquiring boundary information indicating whether the image belongs to a predetermined category of a predetermined attribute and whether the image is an image similar to another category closest to the predetermined category in the predetermined attribute; ,
If the boundary information indicates that the image is an image similar to the other category, a display area of another image belonging to the predetermined category and a display area of an image belonging to the other category And causing the computer to execute a display processing step of displaying the image as a boundary image between the predetermined category and the other category,
The boundary image is an image including a subject.
分類対象となる医用画像を取得する画像取得手段と、
前記分類の基準となる属性情報を指定する属性指定手段と、
前記指定された属性情報に対応する複数のカテゴリを取得する分類取得手段と、
前記分類対象となる医用画像を表示させ、前記属性情報に対応する複数のカテゴリを示す複数の第一の領域を所定の順序で表示部の画面上に並べて表示させ、かつ、隣接する2のカテゴリの間の第二の領域に当該2のカテゴリの境界を示す画像として指定された医用画像を表示させる表示制御手段と、
前記分類対象となる医用画像を前記複数の第一の領域のひとつへ移動させる操作入力に応じて当該移動される医用画像を前記移動先の第一の領域に対応するカテゴリに分類する分類手段と
を有することを特徴とする画像分類装置。 An image classification device for classifying medical images with respect to predetermined attribute information according to an operation input,
Image acquisition means for acquiring medical images to be classified;
Attribute designating means for designating attribute information as a basis for the classification;
Classification acquisition means for acquiring a plurality of categories corresponding to the specified attribute information;
A medical image to be classified is displayed, a plurality of first areas indicating a plurality of categories corresponding to the attribute information are displayed side by side on a screen of a display unit in a predetermined order, and two adjacent categories are displayed Display control means for displaying a medical image designated as an image showing a boundary between the two categories in a second region between
Classification means for classifying the medical image to be moved into a category corresponding to the first area of the movement destination in response to an operation input for moving the medical image to be classified to one of the plurality of first areas; An image classification apparatus comprising:
前記カテゴリは、前記画像所見の評価値を示すことを特徴とする請求項13に記載の画像分類装置。 The attribute information indicates an image finding,
The image classification device according to claim 13, wherein the category indicates an evaluation value of the image findings.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013148717A JP6261218B2 (en) | 2013-07-17 | 2013-07-17 | Display processing device, display processing method and program, and image classification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013148717A JP6261218B2 (en) | 2013-07-17 | 2013-07-17 | Display processing device, display processing method and program, and image classification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015022428A JP2015022428A (en) | 2015-02-02 |
JP6261218B2 true JP6261218B2 (en) | 2018-01-17 |
Family
ID=52486842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013148717A Expired - Fee Related JP6261218B2 (en) | 2013-07-17 | 2013-07-17 | Display processing device, display processing method and program, and image classification device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6261218B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7639879B2 (en) * | 2004-05-31 | 2009-12-29 | Kabushiki Kaisha Toshiba | Group information generating system and group information generating method |
US20070081699A1 (en) * | 2005-09-29 | 2007-04-12 | General Electric Company | Systems, methods and apparatus for diagnosis of disease from categorical indices |
JP5537282B2 (en) * | 2009-09-28 | 2014-07-02 | 株式会社日立ハイテクノロジーズ | Defect inspection apparatus and defect inspection method |
JP5618787B2 (en) * | 2010-11-29 | 2014-11-05 | キヤノン株式会社 | Report creation support apparatus, creation support method thereof, and program |
JP2013098267A (en) * | 2011-10-31 | 2013-05-20 | Hitachi High-Technologies Corp | Semiconductor pattern inspection device |
-
2013
- 2013-07-17 JP JP2013148717A patent/JP6261218B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015022428A (en) | 2015-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9852157B2 (en) | Searching of images based upon visual similarity | |
US10417792B2 (en) | Information processing apparatus to display an individual input region for individual findings and a group input region for group findings | |
JP2013534310A5 (en) | ||
JP6519656B2 (en) | Manufacturing process control system, manufacturing process control method and manufacturing process control program | |
JP2008108200A (en) | Information extraction device, method, program and storage medium | |
JP4731127B2 (en) | Image diagnosis support apparatus and method | |
US20220044147A1 (en) | Teaching data extending device, teaching data extending method, and program | |
JP2024112965A (en) | Image Analysis Equipment | |
JP6336252B2 (en) | Report creation support apparatus, control method thereof, and program | |
JP5898158B2 (en) | Human image display control device, control method thereof, control program thereof, and recording medium storing the control program | |
US11036352B2 (en) | Information processing apparatus and information processing method with display of relationship icon | |
JP6434435B2 (en) | Information processing apparatus, operation support method, and operation support program | |
JP6261218B2 (en) | Display processing device, display processing method and program, and image classification device | |
JP6765877B2 (en) | Image processing equipment, image processing methods and programs | |
JP5883837B2 (en) | Person image determination apparatus for electronic album, control method thereof, control program thereof, and recording medium storing the control program | |
US20170039428A1 (en) | Information processing method, information processing apparatus, and non-transitory computer-readable storage medium | |
US11449463B2 (en) | Analysis database registration device, analysis data collection system, analysis system and analysis database registration method | |
JP5883936B2 (en) | Programmable controller system | |
JP6207694B2 (en) | Programmable display, program | |
JP2017072936A (en) | Interpretation support program, method and apparatus, and image selection support method | |
JP2016066227A (en) | Incompatibility detecting device, incompatibility detecting method and program | |
JP6095743B2 (en) | Support device, program | |
JP2020052961A (en) | Content providing method, content providing system, information processing device, and program | |
JP2013254445A (en) | Plotting program, plotting device and plotting method | |
WO2023238503A1 (en) | Information processing device, information processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6261218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |