JP7261319B2 - 病理診断サポートシステムおよび病理診断サポート装置 - Google Patents

病理診断サポートシステムおよび病理診断サポート装置 Download PDF

Info

Publication number
JP7261319B2
JP7261319B2 JP2021563828A JP2021563828A JP7261319B2 JP 7261319 B2 JP7261319 B2 JP 7261319B2 JP 2021563828 A JP2021563828 A JP 2021563828A JP 2021563828 A JP2021563828 A JP 2021563828A JP 7261319 B2 JP7261319 B2 JP 7261319B2
Authority
JP
Japan
Prior art keywords
image
pathological diagnosis
confirmation
frame
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021563828A
Other languages
English (en)
Other versions
JPWO2021117466A1 (ja
JPWO2021117466A5 (ja
Inventor
恵 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PHC Holdings Corp
Original Assignee
PHC Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PHC Holdings Corp filed Critical PHC Holdings Corp
Publication of JPWO2021117466A1 publication Critical patent/JPWO2021117466A1/ja
Publication of JPWO2021117466A5 publication Critical patent/JPWO2021117466A5/ja
Application granted granted Critical
Publication of JP7261319B2 publication Critical patent/JP7261319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

本発明は、例えば、がんの病理診断に用いられる病理診断サポートシステムおよび病理診断サポート装置に関するものである。
がんの病理診断は、病理診断用標本(患者から採取された検体について、病理診断を目的に作成された標本)をスキャンした病理診断用画像を、病理医が目視で確認することによって行われている。この時、病理医は病理診断用画像の疑わしい領域を拡大して観察し病理を確定する。
つまり、画像を拡大表示させないと、病理医が小さながん細胞の存在を見落としてしまうおそれがあるため、病理医はこの病理診断に極めて多くの時間をかけざるをえない。
そこで、病理医の負担を軽減するために、病理診断用画像を複数の分割画像にすると共に、各分割画像で異常の可能性があるものには表示部上で注目点を着色して表示する方法が提案されている(これに類似する先行文献としては、例えば、下記特許文献1)。
特開2019-95212号公報
上記従来例によれば、表示部に表示された病理診断用画像には、注目点として着色が施されている。このため、病理医はこの着色部分に注目することで、異常部分を見落としてはいけないという緊張状態を緩和することができるため、病理医の負担を軽減することができる。
しかしながら、病理診断用画像中において注目点が極めて小さなポイントであった場合には、注目点が着色されていたとしても、見落としてしまうおそれがある。
つまり、病理診断用画像は、様々な色や組織形態が混在する画像であるため、病理医が前記小さなポイントを確実に捉えることは難しい。このため、病理医は、従来通り、病理診断用画像の全体を集中して確認する必要があるため、十分に病理医の負担を軽減することができていない。
そこで本発明は、病理医の負担を軽減するが可能な病理診断サポートシステムおよび病理診断サポート装置を提供することを目的とするものである。
この目的を達成するために、病理診断用画像を解析する画像診断サーバと、画像診断サーバと交信する病理医端末と、を備えている。画像診断サーバは、病理診断用画像の画像解析を行う画像解析部と、画像解析部が接続された第1の制御部と、を有している。第1の制御部は、画像解析部を用いて、病理診断用画像を複数の分割画像に分割すると共に分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた分割画像を含む確認枠を設定すると共に確認枠毎に枠番号を付与し、病理診断用画像および確認枠の設定情報および確認枠の枠番号を、病理医端末に送信する。病理医端末は、表示部と、第2の制御部と、を有している。第2の制御部は、病理診断用画像を表示部に表示させた際に、病理診断用画像内に確認枠と確認枠の枠番号とを表示し、病理診断用画像の外側に確認枠の枠番号を表示するように、表示部を制御する。
(発明の効果)
本発明の構成によれば、病理医の病理医端末に病理診断用画像を表示させた際に、病理診断用画像内には確認枠と枠番号が表示され、病理診断用画像の外側には、病理診断用画像内に表示された枠番号に対応する枠番号が表示される。
このため、病理医は、病理診断用画像の外側に表示された枠番号を見ることで、病理診断用画像内に確認すべき注目点があることを即座に認識することができる。そして、病理医は、病理診断用画像内に表示された枠番号と確認枠によって、病理診断用画像内の確認枠の位置や大きさを即座に把握することができる。
よって、病理医は、病理診断用画像の外側に表示された枠番号に対応する確認枠に対して集中的な確認を行うことができるため、病理医の負担を軽減することができる。
つまり、確認すべき注目点には枠番号と確認枠とが付されているため、注目点を決して見逃すことなく、確認に対する自信と安心感を得ることで、病理医の負担を軽減することができる。
本発明の実施の形態1に係る病理診断サポートシステムの構成を示す図。 (a)は、図1の臨床検査技師のパソコンの構成を示す制御ブロック図。(b)は、図1の画像診断サーバの構成を示す制御ブロック図。(c)は、図1の病理医のパソコンの構成を示す制御ブロック図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の臨床検査技師のパソコンと画像診断サーバの動作フローチャート。 図1の画像診断サーバと病理医のパソコンの動作フローチャート。 図1の病理医のパソコンの動作フローチャート。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。 本発明の実施の形態2に係る病理医のパソコンの構成を示す制御ブロック図。 図1の病理医のパソコンの表示部の表示例を示す図。 図1の病理医のパソコンの表示部の表示例を示す図。
以下に、本発明の一実施形態を、添付図面を用いて説明する。
(実施の形態1)
図1は、本実施形態の病理診断サポートシステムの構成を示している。
画像スキャナ1は、臨床検査技師のパソコン2に接続されており、病理診断用標本(患者から採取された検体について、病理診断を目的に作成された標本)をスキャンした病理診断用画像を、臨床検査技師のパソコン2へ送信する。
パソコン2は、画像スキャナ1によって得られた病理診断用画像を、画像診断サーバ3へ送信する。
画像診断サーバ3は、病理診断用画像を解析した解析結果と病理診断用画像とを、病理医のパソコン4(病理医端末の一例)に送信する。
病理医は、パソコン4に送られた病理診断用画像を用いて病理診断を行う。
図2は、臨床検査技師のパソコン2、画像診断サーバ3、病理医のパソコン4のそれぞれの構成を示す制御ブロック図である。
パソコン2は、画像スキャナ1が接続された制御部5と、制御部5に接続された通信部6、表示部7、記憶部8とを備えている。
画像診断サーバ3は、パソコン2の通信部6と通信する通信部9と、通信部9と接続された制御部(第1の制御部)10と、制御部10に接続された記憶部11、病理診断用画像の画像解析を行う画像解析部12とを備えている。制御部10は、制御部10に接続された各部の制御を行う。制御部10に各種動作を実行させるための制御プログラムは、記憶部11に保持されている。
病理医のパソコン4は、画像診断サーバ3の通信部9と通信する通信部13と、記憶部14、表示部15、表示等の制御コマンドが入力される入力部16と、これらは全てが接続された制御部(第2の制御部)17と、を備えている。制御部17は、制御部17に接続された各部の制御を行う。制御部17に各種動作を実行させるための制御プログラムは、記憶部14に保持されている。
本実施形態では、病理医のパソコン4の表示部15に、図3に示すような画像が表示される。そして、表示部15にこのような画像を表示させるために、画像診断サーバ3は、以下のような病理診断データを作成する。
図3は、画面の大部分を占めるビューワ部15aと、ビューワ部15aの右側に表示された案内部15bとを表示した表示部15の表示画面を示している。
ビューワ部15aには、病理診断用画像の全体が表示されている。
案内部15bには、後述する病理診断用画像内に確認すべき注目点があることを示す枠番号と異常理由として、例えば、「3.浸潤癌」「2.非浸潤癌「1.良性」と表示されている。
ビューワ部15aに表示された病理診断用画像は、画像診断サーバ3に送付されたもので、例えば、大きさが30mm×20mmである。この病理診断用画像は、画像解析部12によってX方向にm列(69列)、Y方向にn行(47行)に分割され、この3243個(=69×47)の分割画像毎に異常判断が行われた後の状態が、ビューワ部15aに表示される。
また、画像診断サーバ3は、分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた分割画像を含む確認枠18、確認枠19、確認枠20を形成する。そして、これら確認枠18,19,20が、病理診断用画像内に、枠番号「1」、「2」、「3」と共に表示されている。
さらに、病理診断用画像の右外側に設けられた案内部15b部分には、確認枠18,19,20の枠番号「1」、「2」、「3」と、それぞれの枠番号に対応する異常理由とが表示されている。
すなわち、異常スコアが閾値を超えた分割画像を含む確認枠(図3の確認枠18,19,20)においては、案内部15bに枠番号「1」、「2」、「3」とそれらに対応する異常理由とが表示されるとともに、ビューワ部15aに枠番号「1」、「2」、「3」と確認枠18,19,20とが表示される。
このため、パソコン4の表示部15を見た病理医は、案内部15bに表示された枠番号「1」、「2」、「3」によって、病理診断用画像内に確認すべき注目点が3個あることを即座に認識することができる。
そして、ビューワ部15aの病理診断用画像内に表示された3個の枠番号「1」、「2」、「3」と3個の確認枠18,19,20によって、確認枠18~20の位置、大きさ、位置関係を即座に把握することができる。
なお、ビューワ部15aに表示される全ての確認枠18,19,20は、枠線のみが表示され枠内は可視状態で表示される。これにより、3個の注目点の状態を容易に把握することができる。
なお、図3に示す表示例では、枠番号は「1」、「2」、「3」と数字で表したが、枠番号は確認枠18,19,20が特定できるものであればよい。枠番号としては、例えば、数字の代わりに、アルファベット、ローマ数字、アイコン、あるいはそれらの組み合わせを用いてもよい。
また、本実施形態では、ビューワ部15aの病理診断用画像の右外側に案内部15bが設けられているが、病理診断用画像外にいわゆるウインドウ表示を行って案内部15bがウインドウ内に設けられていてもよい。
以下、図9および図10のフローチャートを用いて、臨床検査技師のパソコン2、画像診断サーバ3、および病理医のパソコン4における処理について説明を続ける。
図9に示すように、パソコン2は、臨床検査技師による操作によって、画像スキャナ1を用いて病理診断用標本をスキャンし(ステップR1)、この病理診断用画像を取得した(ステップR2)後、画像診断サーバ3に病理診断用画像を送信する(ステップR3)。
画像診断サーバ3の制御部10は、病理診断用画像を受信する(ステップG1)と、上述したように、画像解析部12を用いて、m×n個(3243区画)の分割画像を生成する(ステップG2)。
次に、制御部10は、各分割画像を学習済みの異常検知モデルに入力し分割画像の画素毎に異常スコアを算出する(ステップG3)。なお、学習済みの異常検知モデルは、予め、画像診断サーバ3の記憶部11に保存されている。
次に、制御部10は、異常スコアが閾値を超えた画素に対して色付けを行う(ステップG4)。
次に、制御部10は、色付けされた分割画像を3243区画集めて、病理診断用画像を再構成する(ステップG5)。
なお、再構成された病理診断用画像において、色付けされた領域は、画像解析部12によって異常が検出され、病変組織を含む可能性の高い領域であることを示している。つまり、色付けされた領域は、病理医に集中的な確認を行ってもらいたい注目点であることを示している。
画像解析部12は、病理診断用画像において、色付けされた分割画像で隣接するものがあるか否かの検出を行う(ステップG6)。そして、隣接するものがある場合には、統合した状態で四角形の確認枠18,19,20を設定すると共に、確認枠18,19,20内の画像を病変部画像として切り出し、各確認枠18,19,20毎に、枠番号「1」、「2」、「3」を付与する(ステップG7)。
なお、枠番号は、確認枠18,19,20の位置が病理診断用画像における上部に位置するほど、若い番号が付与される。
次に、図10に示すように、画像診断サーバ3は、病変部画像を学習済み分類色分けモデルに入力し、病変部画像の病変領域を、異常理由「良性」、「浸潤癌」、「非浸潤癌」に判定すると共に、確認枠の色を決定する。
本実施形態では、例えば、「良性」の確認枠は赤色、「浸潤癌」の確認枠は緑色、「非浸潤癌」の確認枠は黒色とした。このようにして、確認枠18,19,20毎に異常理由と表示色とが付与される(ステップG8)。
次に、画像診断サーバ3は、確認枠18,19,20の位置情報(設定情報の一例)、その枠番号、その異常理由、その表示色、その病変部画像、が含まれた病理診断データを作成して、病理診断用画像および病理診断データを、病理医のパソコン4に送信する(ステップG9)。
病理医のパソコン4の制御部17は、画像診断サーバ3から受信した病理診断データを基にして、図3に示す案内画面Aを表示するように、表示部15を制御する(ステップS1、S2)。
図3に示す案内画面Aでは、ビューワ部15aに病理診断用画像が表示され、病理診断用画像中に確認枠18,19,20が枠番号「1」、「2」、「3」と共に表示されている。また、病理診断用画像の右外側に設けられた案内部15bには、各確認枠18,19,20の枠番号「1」、「2」、「3」が異常理由「良性」、「非浸潤癌」、「浸潤癌」と共に表示されている。
図3において、病理診断用画像内の確認枠18,19は、は、確認枠18,19内の画像が複数の分割画像から構成されるため、確認枠20よりも大きい枠として表示されている。一方、確認枠20はただ1つの分割画像から構成されているため、確認枠18,19よりも小さい枠として表示されている。
しかし、案内部15bに表示された異常理由をみると、小さな確認枠20である枠番号「3」の異常理由は「浸潤癌」であって、大きな確認枠19である枠番号「2」の異常理由「非浸潤癌」、大きな確認枠18である枠番号「1」の異常理由「良性」よりも、リスクが高くなっている。
すなわち、本実施形態においては、案内部15bには、確認枠18~20の大きさにかかわらず、そのリスクの高い順に上位から下方に向けて、枠番号と、その異常理由とが表示される。よって、図3に示す案内部15bには、確認枠20の枠番号「3」が最もリスクの高いものとして表示されている。
病理医は、案内部15bにリスクが高い順に表示された確認枠の内容に従って、まずは、最もリスクが高い案内部15bの枠番号「3」を選択する。具体的には、病理医による入力部16の操作で案内部15bの文字「3、浸潤癌」部分が指定されることにより、枠番号「3」が選択される。すると、表示部15には、図4に示す診療画面Bが表示される(図10のステップS3、S4)。
図4に示す診療画面Bでは、案内部15bに、確認枠20の枠番号「3」、異常理由「浸潤癌」、確認枠20の40倍の拡大図、が表示される。
病理医は、診療画面Bを確認することで、枠番号「3」が付与された確認枠20部分のリスクを認識することができる。したがって、病理医は、確認枠20に対して集中的な確認を行うために、詳細キー21を操作する。
詳細キー21が操作されると、図5に示すように、表示部15のビューワ部15aには、病理診断用画像の確認枠20部分が拡大表示される(図10のステップS5、S6)。したがって、病理医は、ビューワ部15aに拡大表示された病理診断用画像を集中的に確認し、メモ欄22にメモへの入力を行う。
なお、確認枠20を消して確認を続けたい場合には、病理医は、ガイドオンオフキー23を操作し、確認枠20を消去して確認を続ける(図10のステップS5、S7)。
メモ欄22にメモへの入力が完了すると、病理医は、枠番号「3」に対して付与された確認済みであることを示すために、入力欄24(確認入力ボタンの一例)にチェック入力(確認済み入力)を行う。
入力欄24へのチェック入力は、枠番号「3」に対応する確認枠20の確認が終了したことを意味する。入力欄24にチェック入力されると、確認枠20に確認済み入力が行われた旨の情報が付与される。そして、確認済み入力が行われた確認枠20は、以後、ビューワ部15aに表示される時には確認済みと表示される。
具体的には、制御部17は、確認枠20内を不可視状態(黒色の塗りつぶし)とし、確認済みであることが分かるように表示部15を制御する(図10のステップS5、S8)。
続いて、病理医は、リスクが2番目に高い枠番号「2」に対応する確認枠19、リスクが3番目に高い枠番号「1」に対応する確認枠18の順に確認を続け、その確認が終わると、図7に示すように、最終診療画面Cが表示される。
具体的には、それぞれの確認枠18,19,20に対応する入力欄24にチェックが入力されているか否か、すなわち、全ての案内情報の確認が終了したか否かが判定される(図11のステップS9)。ここで、全ての確認が終了すると、最終診療画面Cが表示される(図11のステップS10)。
本実施形態では、制御部17は、ビューワ部15aに表示された病理診断用画像において、表示部15が、確認済みであると入力された全ての確認枠を確認済みであることが分かるように表示する。このため、図7では、ビューワ部15aにおいて、確認枠20、確認枠19、確認枠18は、確認済みであることが分かるように、枠内が不可視状態(黒色の塗りつぶし)で表示されている。
一方、図11のステップS9において、全ての確認が終了していないと判定されると、図10のステップS2へ戻り、ステップS2以降の処理を繰り返し実施する。
なお、今回の不可視状態は、枠内を黒色の塗りつぶしで表わしたが、不可視状態とは枠内が正確に認識できない状態であればよい。例えば、枠内を半透明にする、あるいは、枠内に斜線を表示することで、枠内を正確に認識できない状態にしてもよい。
以上のように、本実施形態の病理診断サポートシステムでは、病理医が病理診断用画像の診断を開始するときには、図3に示すように、案内部15bに、枠番号「1」、「2」、「3」と、それぞれに対応する異常理由とが表示される。このため、病理医は、病理診断用画像内に確認すべき注目点が3個あることを容易に認識することができる。
そして、病理診断用画像に表示された枠番号「1」、「2」、「3」と確認枠18,19,20とによって、病理診断用画像内の確認枠18,19,20のそれぞれの位置、大きさ、位置関係を即座に把握することができる。この時、確認枠18,19,20は枠線のみが表示され、枠内は可視状態で表示されるので、注目点の状態も把握しやすい。
このため、病理医は、意識的に、それらの確認枠18,19,20に対して集中的な確認を行うことができる。
つまり、確認すべき注目点には確認枠18,19,20、枠番号「1」、「2」、「3」が表示されているので、病理医がこれらの部分を見逃してしまうリスクが軽減されるとともに、確認に対する自信と安心感を得ることができるため、病理医の負担を軽減することができる。
そして、注目点の診断が終了すると、病理医は、確認枠18,19,20以外の部分について、病理診断に漏れがないように、ビューワ部15aを用いて確認する。
本実施形態においては、図7に示すように、ビューワ部15aに表示された病理診断用画像内に、複数の確認枠18,19,20を表示させる場合、確認済み入力が行われた全ての確認枠18,19,20は、枠内が不可視状態で表示される。
これにより、病理医は、確認すべき残りの部位(確認枠18,19,20以外の部位)を一目で認識することができるため、病理医の負担をさらに軽減することができる。
具体的には、病理医は、図8に示すように、従来と同様に、上方から下方に向けて格段毎に水平方向に視線を移動させながら、案内部15bに表示された点以外に疑わしいポイントがあれば、それぞれ対応する位置で拡大確認作業を実行する。
本実施形態では、図8の右上の図に示すように、病理診断用画像を表示部15に拡大表示させる時には、確認済み入力が行われた全ての確認枠を確認済み表示させる。今回は、確認済み入力が行われた確認枠18,19,20の内、表示部15に拡大表示されている確認枠18が、すでに確認済みであることを示す不可視状態で表示される。
このように、疑わしいポイントに対応する位置で拡大確認作業を実行する時においても、確認作業が最も求められる確認枠18については、すでに確認したことが不可視状態で表示されている。このため、病理医は、「この部分の確認は確実に終わった」と安心することができる。そして、その他の部分は、平常心を持って順次確認作業をスムーズに実行することができ、病理医の負担をさらに軽減することができる。
また、図6は、確認枠19で枠番号「2」の部分の診療画面Bを示している。
案内部15bの確認枠19内には、分割画像が複数個存在しており、異常が検出された領域が大きいことを示している。この時、ビューワ部15aの確認枠19は、確認枠19内に分割画像が複数個存在している状態で表示される。
このため、異常が検出された領域が大きい時も、適切な範囲(大きさ)に設定された確認枠19がビューワ部15aに表示されるため、病理医は、注目点の位置や範囲を容易に認識できる。
病理医は、ビューワ部15aの病理診断用画像を、例えば、拡大縮小キー(図示せず)を用いて拡大縮小表示させながら、確認枠19の確認を行う。
図12は、確認枠25の診療画面Bを示している。
確認枠25内には、複数の病変領域、具体的には、「良性」の病変領域25a、「浸潤癌」の病変領域25b、「浸潤癌」の病変領域25cが表示されている。
このように、1つの確認枠25内に複数の病変領域が含まれている場合には、画像解析部12は、確認枠25の異常理由を最もリスクの高い異常理由に設定する。すなわち、画像解析部12は、確認枠25の異常理由を「浸潤癌」に設定する。
そして、病理医のパソコン4の表示部15に、複数の分割画像を含む確認枠25を表示させる場合には、図12に示すように、確認枠25内の分割画像に対する異常理由の内、最もリスクの高い異常理由を病理診断用画像の外側の領域(つまり、案内部15b)に表示させる。
このため、病理医が見落としにくいように安全に配慮した表示がなされ、この点からも、病理医の負担を軽減することができる。
図13および図14は、病理診断用画像中に多くの確認枠が存在した状態を示している。このように多くの確認枠が存在する場合でも、各確認枠に対して枠番号とその異常理由を付し、案内部15bに確認案内することで、病理医がそれらを見逃すリスクを軽減することができる。
つまり、病理医が確認すべき部分に単に色を付けるだけではなく、確認をするための枠番号およびその異常理由を付与し、案内表示することで、病理医が確認すべき部分を見逃してしまうことを防止することができる。
また、図14に示すように、確認した確認枠には、不可視状態(黒色の塗りつぶし)に移行するように表示制御されるため、全ての確認枠を確認したか否かを容易に把握することができるため、確認漏れに対する不安感を解消することができる。
なお、図13、図14においては、多くの確認枠が存在しているため、図面の見易さを考慮して、各確認枠に対する枠番号は標記していないが、実際には、病理診断用画像中に確認枠と枠番号とが表示され、案内部15bに枠番号と異常理由が表示される。
(実施の形態2)
本発明の他の実施形態に係る病理診断サポート装置について、図15~図17を用いて説明すれば以下の通りである。
すなわち、上記実施形態1では、画像診断サーバ3の画像解析部12が病理診断用画像の解析を行う構成としたが、図15に示すように、上記実施の形態1のパソコン4(病理診断サポート装置の一例)に画像解析部26が設けられており、病理医のパソコン4において、病理診断用画像の解析を行う構成であってもよい。
すなわち、病理医のパソコン4は、図15に示すように、病理診断用画像の画像解析を行う画像解析部26と、画像解析部26が接続された制御部(第3の制御部)17と、制御部17に接続された通信部13、記憶部14および表示部15と、を備えている。
制御部17は、画像解析部26を用いて、病理診断用画像を複数の分割画像に分割すると共に分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた前記分割画像を含む確認枠を設定すると共に前記確認枠毎に枠番号を付与する。そして、制御部17は、病理診断用画像を表示部15に表示させた時に、病理診断用画像上に確認枠とこれに対応する枠番号とを表示させ、病理診断用画像の外側に確認枠の枠番号を表示させる。
本実施形態では、画像診断サーバ3から病理医のパソコン4に病理診断用画像が送られてくると、画像解析部26が、上記実施の形態1における画像診断サーバ3の画像解析部12と同様の解析動作を行う。すなわち、画像解析部26が、図9のステップG1~G7、図10のステップG8~G9の解析動作を行う。
その後、パソコン4は、上記実施の形態1と同じ動作を行う。
これにより、上記実施の形態1において得られる効果を、本実施形態においても同様に得ることができる。
ここで、上記実施形態1の病理診断サポートシステムおよび実施形態2の病理診断サポート装置は、例えば、乳がんなどの病理診断(組織診、細胞診を含む)にも活用される。
具体的には、図16および図17は、乳がんの細胞診を行う時にパソコン4に表示される画像であって、ビューワ部15aには、病理診断用画像として細胞の画像が表示されている。この細胞の画像は焦点深度合成にて取得された画像であって、病理診断用標本の撮影時に焦点位置を少しずつずらして複数枚の撮影が行われ、これら複数枚の画像のピントが合っている所だけを合成した画像となっている。
このような細胞診を行う場合でも、図16に示すように、病理医が病理診断用画像の診断を開始するときには、案内部15bには、枠番号と異常理由とがリスクの高い順に表示される。
具体的には、「2.重度の核異型」「1.軽度の核異型」などの異常理由と、それぞれの入力欄24(確認入力ボタンの一例)とが表示されている。
一方、ビューワ部15aには、枠番号「1」に対応する確認枠27が枠番号「1」と共に表示され、枠番号「2」に対応する確認枠28が枠番号「2」と共に表示される。
このため、病理医は、注目点である確認枠27,28の位置、異常な細胞が存在する範囲、位置関係を容易に認識することができる。
また、この場合、確認枠27,28は、枠線のみが表示され、枠内は可視状態で表示されているため、枠内の状態を容易に把握することができる。すなわち、細胞診の場合、病理医が診るべき所見は、細胞核の状態、細胞の配置や色などである。このため、そのような注目すべき特徴(細胞核の状態、細胞の配置や色)が確認枠27,28の中にあることを容易に認識することができる。
この結果、病理医は、確認枠27,28の状態を把握した上で、確認枠27,28に対して集中的に病理診断を行うことができる。
その後、病理医は、注目点の診断が終了すると、確認枠27,28以外の部分について、病理診断に漏れがないように、ビューワ部15aを用いて確認する。
この時、図17に示すように、ビューワ部15aの病理診断用画像内において、確認済み入力が行われた全ての確認枠27,28は、枠内が不可視状態で表示される。
これにより、病理医は、確認すべき残りの部位(確認枠27,28以外の部位)を一目で認識することができるため、病理医の負担を軽減することができる。
本発明は、例えば、癌の病理診断に用いられる病理診断サポートシステムおよび病理診断サポート装置として活用が期待される。
1 画像スキャナ
2 パソコン
3 画像診断サーバ
4 パソコン(病理医端末の一例)
5 制御部
6 通信部
7 表示部
8 記憶部
9 通信部
10 制御部(第1の制御部)
11 記憶部
12 画像解析部
13 通信部
14 記憶部
15 表示部
15a ビューワ部
15b 案内部
16 入力部
17 制御部(第2の制御部、第3の制御部)
18 確認枠
19 確認枠
20 確認枠
21 詳細キー
22 メモ欄
23 ガイドオンオフキー
24 入力欄(確認済み入力ボタンの一例)
25 確認枠
25a 病変領域
25b 病変領域
25c 病変領域
26 画像解析部
27 確認枠
28 確認枠

Claims (7)

  1. 病理診断用画像と、前記病理診断用画像の異常スコアの閾値を超えた画像を含む確認枠とを表示する病理診断用画像表示端末装置であって、
    表示部と、
    病理診断用画像を前記表示部に表示させた際に、前記病理診断用画像の外側に前記確認枠の確認が終了したことを示す確認済み入力が行われる確認入力ボタンを表示し、前記病理診断用画像内に前記確認枠を表示すると共に前記確認枠内を可視状態で表示するように、前記表示部を制御する第2の制御部と、
    前記第2の制御部は、前記確認入力ボタンを表示して使用者に確認済み入力を行わせ、前記表示部に前記確認枠を表示する際に前記確認済み入力が行われた前記確認枠を確認済み表示させる、
    病理診断用画像表示端末装置。
  2. 前記第2の制御部は、前記確認済み入力が行われた前記確認枠内を不可視状態で表示するように、前記表示部を制御する、
    請求項1に記載の病理診断用画像表示端末装置。
  3. 前記第2の制御部は、前記表示部に複数の前記確認枠を表示させる際に、前記確認済み入力が行われた全ての前記確認枠を確認済みであることがわかるように、前記表示部を制御する、
    請求項1または2に記載の病理診断用画像表示端末装置。
  4. 前記第2の制御部は、前記病理診断用画像の外側に、更に前記確認枠の枠番号と異常理由とを表示し、診断用画像内に、更に前記確認枠の枠番号とを表示させる、
    請求項1から3のいずれか一つに記載の病理診断用画像表示端末装置。
  5. 病理診断用画像の画像解析を行う画像解析部と、
    前記画像解析部が接続された第1の制御部と、を有し、
    前記第1の制御部は、前記画像解析部を用いて、前記病理診断用画像を複数の分割画像に分割すると共に、前記分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた前記分割画像を含む確認枠を設定した病理診断データを作成し、前記病理診断用画像および前記病理診断データを、病理診断用画像表示端末装置に送信する、
    画像診断サーバ装置。
  6. 前記異常スコアが閾値を超えた前記分割画像を含む確認枠を設定すると共に、前記確認枠毎に付与した枠番号と異常理由と病変部画像とを有する病理診断データを作成し、前記病理診断用画像および前記病理診断データを、前記病理診断用画像表示端末装置に送信する、
    請求項5に記載の画像診断サーバ装置。
  7. 請求項5または6に記載の画像診断サーバ装置と、
    前記画像診断サーバ装置と交信する請求項1から4のいずれか一つに記載の病理診断用画像表示端末装置と、
    を備えた病理診断サポートシステム。
JP2021563828A 2019-12-10 2020-11-20 病理診断サポートシステムおよび病理診断サポート装置 Active JP7261319B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019222977 2019-12-10
JP2019222977 2019-12-10
PCT/JP2020/043364 WO2021117466A1 (ja) 2019-12-10 2020-11-20 病理診断サポートシステムおよび病理診断サポート装置

Publications (3)

Publication Number Publication Date
JPWO2021117466A1 JPWO2021117466A1 (ja) 2021-06-17
JPWO2021117466A5 JPWO2021117466A5 (ja) 2022-04-13
JP7261319B2 true JP7261319B2 (ja) 2023-04-19

Family

ID=76329815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563828A Active JP7261319B2 (ja) 2019-12-10 2020-11-20 病理診断サポートシステムおよび病理診断サポート装置

Country Status (3)

Country Link
US (1) US20240119585A1 (ja)
JP (1) JP7261319B2 (ja)
WO (1) WO2021117466A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105281A1 (ja) 2011-01-31 2012-08-09 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラムを格納した記憶媒体
JP2012245090A (ja) 2011-05-26 2012-12-13 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2018000454A (ja) 2016-06-30 2018-01-11 キヤノンマーケティングジャパン株式会社 医用画像診断装置、その制御方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251038A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 医用診断支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105281A1 (ja) 2011-01-31 2012-08-09 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラムを格納した記憶媒体
JP2012245090A (ja) 2011-05-26 2012-12-13 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2018000454A (ja) 2016-06-30 2018-01-11 キヤノンマーケティングジャパン株式会社 医用画像診断装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
WO2021117466A1 (ja) 2021-06-17
JPWO2021117466A1 (ja) 2021-06-17
US20240119585A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
US10782862B2 (en) Systems and methods for viewing medical images
US8452063B2 (en) Showing skin lesion information
AU2010315291B2 (en) Showing skin lesion information
JP5630674B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
EP1635295A1 (en) User interface for CT scan analysis
US20070195165A1 (en) Image display apparatus
EP2172902A2 (en) Image display apparatus, image display method, and image display program
CN102959579A (zh) 医疗信息显示装置、操作方法及程序
JP6812685B2 (ja) 動態解析装置
CN101208042A (zh) 异常阴影候选检测方法、异常阴影候选检测装置
DE10160611A1 (de) Bildgebende medizinische Untersuchungseinrichtung
WO2011122404A1 (ja) 制御装置及び方法
JP2000287955A (ja) 画像診断支援装置
JPH11306264A (ja) コンピュータ支援診断装置
JP7261319B2 (ja) 病理診断サポートシステムおよび病理診断サポート装置
JP2003190134A (ja) 医用画像処理装置、医用画像処理方法、プログラム、及び記憶媒体
WO2006027536A1 (en) User interface for ct scan analysis
CN106778036A (zh) 一种数据处理的方法及装置
JP5395393B2 (ja) 画像診断装置
KR20160115269A (ko) 건강검진 정보 제공 애플리케이션 및 시스템
EP3037939A1 (en) Image display device
CN114783575A (zh) 一种医疗用图像处理系统及方法
Ersoy et al. Eye gaze pattern analysis of whole slide image viewing behavior in pathedex platform
JP2006055507A (ja) 即時医療映像自動的サーチ対照方法及びそのシステム
JP7047643B2 (ja) 画像処理装置、放射線撮影システム、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230407

R150 Certificate of patent or registration of utility model

Ref document number: 7261319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150