JP5652227B2 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5652227B2
JP5652227B2 JP2011012952A JP2011012952A JP5652227B2 JP 5652227 B2 JP5652227 B2 JP 5652227B2 JP 2011012952 A JP2011012952 A JP 2011012952A JP 2011012952 A JP2011012952 A JP 2011012952A JP 5652227 B2 JP5652227 B2 JP 5652227B2
Authority
JP
Japan
Prior art keywords
observation
image
medical image
order
observation position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011012952A
Other languages
English (en)
Other versions
JP2012155455A (ja
Inventor
武史 大橋
武史 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011012952A priority Critical patent/JP5652227B2/ja
Priority to US13/349,970 priority patent/US9230058B2/en
Priority to CN201210016787.1A priority patent/CN102622508B/zh
Publication of JP2012155455A publication Critical patent/JP2012155455A/ja
Application granted granted Critical
Publication of JP5652227B2 publication Critical patent/JP5652227B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ迅速に診断のための病理画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、医師などが顕微鏡等で得られた病理画像を観察し、病理診断を行なう場合があり、このような病理画像を用いて診断を行なうのに有用な技術が提案されている。
そのような技術としては、例えばユーザの操作入力に応じて、顕微鏡で撮像された顕微鏡画像を用いて、スクリーニング（移動観察）動画像、ズーミング動画像、およびフォーカシング動画像を生成する技術が提案されている（例えば、特許文献１参照）。この技術では、過去の操作入力の履歴や現在の操作入力に応じた動画像が生成可能である。
また、指導医の観察ログに基づいて、試料の観察された領域を観察に必要な解像度で撮像し、撮像により得られた画像を関係付けて記録することで、病理診断学の教材用の画像を生成する方法も提案されている（例えば、特許文献２参照）。
特開２００６−２２８１８５号公報
特開２００５−２６６７１８号公報
しかしながら、上述した技術では、診断のための病理画像を生成することで、病理診断をより効率的に行なうことができるようになるが、そのような病理画像を得るには、煩雑な操作が必要であった。
例えば、特許文献１に記載の技術では、診断用の病理画像として、スクリーニング動画像等を得るには、ユーザは操作入力をする必要があった。特に、新規の顕微鏡画像に対しては、ユーザが手動で多くの操作入力をする必要があり、スクリーニング動画像等が得られるまでに時間がかかってしまう。
本発明は、このような状況に鑑みてなされたものであり、より簡単かつ迅速に診断のための病理画像を得ることができるようにするものである。
本発明の一側面の画像処理装置は、処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段とを備える。
画像処理装置には、前記医用画像上の前記観察位置から、第３の特徴量を抽出する第３の特徴量抽出手段と、予め統計学習により生成された、第３の特徴量から画像上の観察位置の観察条件を特定するための観察条件生成辞書と、前記医用画像上の前記観察位置の前記第３の特徴量とに基づいて、前記医用画像上の前記観察位置ごとに前記観察条件を特定する観察条件特定手段とをさらに設け、前記画像生成手段には、前記観察位置が、特定された前記観察条件で表示されるように、前記観察画像を生成させることができる。
前記観察条件は、前記観察位置の表示倍率、または前記観察位置を継続して表示する表示時間とすることができる。
前記観察画像を、前記観察位置が前記観察順序で順番に表示される動画像とし、前記動画像の最初または最後の少なくとも何れかにおいて、前記医用画像全体が表示されるようにすることができる。
前記観察画像を、前記観察位置が前記観察順序で順番に表示される動画像とし、前記動画像において、１つの前記観察位置が表示された後、前記医用画像全体が表示されてから、次の前記観察位置が表示されるようにすることができる。
前記観察画像を、前記観察画像の一部の領域に継続して前記医用画像全体が表示されている状態で、前記観察位置が前記観察順序で順番に表示される動画像とすることができる。
本発明の一側面の画像処理方法またはプログラムは、処理対象の医用画像から、第１の特徴量を抽出し、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出し、前記医用画像上の前記観察位置から、第２の特徴量を抽出し、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定し、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成するステップを含む。
本発明の一側面においては、処理対象の医用画像から、第１の特徴量が抽出され、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置が検出され、前記医用画像上の前記観察位置から、第２の特徴量が抽出され、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序が特定され、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像が生成される。
本発明の一側面によれば、より簡単かつ迅速に診断のための病理画像を得ることができる。
画像処理装置の一実施の形態の構成例を示す図である。 観察位置検出辞書生成部の構成例を示す図である。 観察パラメータ生成辞書生成部の構成例を示す図である。 観察順序生成辞書生成部の構成例を示す図である。 診察用動画像生成部の構成例を示す図である。 観察ログの生成について説明する図である。 観察ログの生成について説明する図である。 観察位置検出辞書の学習処理を説明するフローチャートである。 観察位置検出辞書の学習について説明する図である。 観察パラメータ生成辞書の学習処理を説明するフローチャートである。 観察パラメータ生成辞書の学習について説明する図である。 観察順序生成辞書の学習処理を説明するフローチャートである。 観察順序生成辞書の学習について説明する図である。 動画像生成処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。この画像処理装置１１は、例えば顕微鏡等で撮像された医用画像から、医師等が病理診断に用いる診察用動画像を生成して再生するものである。
なお、医用画像は、一般的な医用画像であれば、どのようなものであってもよいが、以下では、医用画像が病理診断用の画像である場合を例として説明を続ける。また、医用画像は、２次元の画像データに限らず、ＣＴ（Computed Tomography）やＭＲＩ（Magnatic Resonance Image）などの３次元の画像データとすることも可能である。
画像処理装置１１は、取得部２１、観察位置検出辞書生成部２２、観察パラメータ生成辞書生成部２３、観察順序生成辞書生成部２４、診察用動画像生成部２５、記録部２６、表示制御部２７、および表示部２８から構成される。
取得部２１は、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４で行なわれる学習処理に用いられる、学習用医用画像および観察ログを取得し、記録する。例えば、学習用医用画像は、記録部２６から取得される。また、取得部２１は、必要に応じて、学習用医用画像および観察ログを、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４に供給する。
ここで、観察ログは、熟練医師等が病理画像ビューアなどを用いて学習用医用画像を表示させ、表示倍率等を変化させながら、その学習用医用画像の各領域を観察したときの観察のログである。より詳細には、取得部２１は、学習用医用画像の表示時に、１秒ごとに観察のログを取得し、その結果得られたログを加工して、観察ログとする。
観察位置検出辞書生成部２２は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、任意の病理診断用の医用画像から、その医用画像上における注目して観察すべき領域の位置を検出するための観察位置検出辞書を生成する。
例えば、医用画像上で注目して観察すべき領域とは、腫瘍などの診断に必要な部位、つまり医師により診断されるべき注目部位とされる。以下、観察位置検出辞書により検出される、注目して観察すべき領域の位置、および学習用医用画像において熟練医師等が注目して観察した領域の位置を観察位置とも称する。
観察パラメータ生成辞書生成部２３は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、病理診断用の医用画像上の各観察位置を観察するときに設定すべき、各種のパラメータを特定するための観察パラメータ生成辞書を生成する。
例えば、各観察位置を観察するときの各種のパラメータは、表示倍率、観察位置の観察時間（表示時間）などの観察条件とされる。以下、観察パラメータ生成辞書を用いて得られるこれらの観察条件を示すパラメータを、観察パラメータと称する。
観察順序生成辞書生成部２４は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、病理診断用の医用画像上の各観察位置を観察すべき順序を特定するための観察順序生成辞書を生成する。
診察用動画像生成部２５は、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４で生成された各辞書を取得して保持するとともに、それらの辞書を用いて、入力された医用画像から診察用動画像を生成して記録部２６に供給する。
記録部２６は、診察用動画像生成部２５から供給された診察用動画像を記録するとともに、診察用動画像を表示制御部２７や取得部２１に供給する。表示制御部２７は、記録部２６から供給された診察用動画像を表示部２８に供給し、診察用動画像の再生を制御する。表示部２８は、例えば液晶ディスプレイなどからなり、表示制御部２７の制御にしたがって診察用動画像を表示する。
［観察位置検出辞書生成部の構成例］
次に、図１の観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４、および診察用動画像生成部２５のより詳細な構成例について説明する。
図２は、観察位置検出辞書生成部２２の構成例を示す図である。
観察位置検出辞書生成部２２は、周辺画像生成部５１、特徴量抽出部５２、学習部５３、および辞書生成部５４から構成される。
周辺画像生成部５１は、取得部２１から学習用医用画像と観察ログを取得して、学習用医用画像の一部の領域を周辺画像として切り出して、特徴量抽出部５２に供給する。このとき、観察ログに基づいて、周辺画像の切り出しが行なわれる。
特徴量抽出部５２は、周辺画像生成部５１から供給された複数の周辺画像について、それらの周辺画像から予め定められた特徴の特徴量を抽出し、学習部５３に供給する。学習部５３は、特徴量抽出部５２から供給された特徴量に基づいて統計学習を行い、その学習結果を辞書生成部５４に供給する。辞書生成部５４は、学習部５３からの学習結果に基づいて観察位置検出辞書を生成し、診察用動画像生成部２５に供給する。
［観察パラメータ生成辞書生成部の構成例］
図３は、観察パラメータ生成辞書生成部２３の構成例を示す図である。観察パラメータ生成辞書生成部２３は、周辺画像生成部８１、特徴量抽出部８２、学習部８３、および辞書生成部８４から構成される。
なお、これらの周辺画像生成部８１乃至辞書生成部８４は、学習のアルゴリズムや抽出する特徴量が異なるだけで、基本的に図２の周辺画像生成部５１乃至辞書生成部５４と同様であるので、その説明は省略する。
但し、学習部８３では、周辺画像から抽出された特徴量と、取得部２１から供給された観察ログとが用いられて統計学習が行なわれる。また、辞書生成部８４で生成された観察パラメータ生成辞書は、診察用動画像生成部２５に供給される。
［観察順序生成辞書生成部の構成例］
図４は、観察順序生成辞書生成部２４の構成例を示す図である。観察順序生成辞書生成部２４は、周辺画像生成部１１１、特徴量抽出部１１２、学習部１１３、および辞書生成部１１４から構成される。
なお、これらの周辺画像生成部１１１乃至辞書生成部１１４は、学習のアルゴリズムや抽出する特徴量が異なるだけで、基本的に図２の周辺画像生成部５１乃至辞書生成部５４と同様であるので、その説明は省略する。
但し、学習部１１３では、周辺画像から抽出された特徴量と、取得部２１から供給された観察ログとが用いられて統計学習が行なわれる。また、辞書生成部１１４で生成された観察順序生成辞書は、診察用動画像生成部２５に供給される。
なお、周辺画像生成部５１、周辺画像生成部８１、および周辺画像生成部１１１で生成される周辺画像は、同じ大きさであってもよいし、異なる大きさでもよい。
［診察用動画像生成部の構成例］
さらに、図５は、診察用動画像生成部２５の構成例を示す図である。
診察用動画像生成部２５は、観察位置検出辞書保持部１４１、観察パラメータ生成辞書保持部１４２、観察順序生成辞書保持部１４３、観察位置検出部１４４、観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７から構成される。
観察位置検出辞書保持部１４１乃至観察順序生成辞書保持部１４３は、それぞれ観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４から供給された観察位置検出辞書、観察パラメータ生成辞書、および観察順序生成辞書を保持する。
観察位置検出部１４４は、観察位置検出辞書保持部１４１に記録されている観察位置検出辞書を用いて、供給された医用画像から観察位置を検出し、その検出結果と医用画像を観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７に供給する。また、観察位置検出部１４４は特徴量抽出部１６１を備えており、特徴量抽出部１６１は、観察位置の検出時において、医用画像から観察位置の検出に用いられる特徴量を抽出する。
観察パラメータ生成部１４５は、観察位置検出部１４４から供給された検出結果および医用画像と、観察パラメータ生成辞書保持部１４２に保持されている観察パラメータ生成辞書とに基づいて、医用画像上の観察位置ごとに観察パラメータを生成し、動画像生成部１４７に供給する。
また、観察パラメータ生成部１４５は特徴量抽出部１６２を備えており、特徴量抽出部１６２は、観察パラメータの生成時において、観察位置検出部１４４から供給された医用画像から、観察パラメータの生成に用いる特徴量を抽出する。
観察順序情報生成部１４６は、観察位置検出部１４４から供給された検出結果および医用画像と、観察順序生成辞書保持部１４３に保持されている観察順序生成辞書とに基づいて、医用画像上の観察位置の観察順序を示す観察順序情報を生成し、動画像生成部１４７に供給する。
また、観察順序情報生成部１４６は特徴量抽出部１６３を備えており、特徴量抽出部１６３は、観察順序情報の生成時において、観察位置検出部１４４から供給された医用画像から、観察順序情報の生成に用いる特徴量を抽出する。
動画像生成部１４７は、観察位置検出部１４４からの観察位置の検出結果と医用画像、観察パラメータ生成部１４５から観察パラメータ、および観察順序情報生成部１４６からの観察順序情報に基づいて、診察用動画像を生成し、記録部２６に供給する。
［観察ログの生成について］
ところで、熟練医師等が画像処理装置１１を操作し、病理診断のための病理画像として、学習用医用画像の表示を指示すると、表示制御部２７は、記録部２６から学習用医用画像を取得して表示部２８に供給し、表示させる。このとき、表示制御部２７は、熟練医師等の操作に応じて、学習用医用画像の一部の領域を拡大して表示させたり、所定の領域から他の領域までスクロール表示を行なったりする。
これにより、例えば表示部２８には、図６の左側に示す学習用医用画像が表示される。図６の例では、表示部２８の表示画面の図中、右下に設けられた領域ＲＡ１１には、表示対象となっている学習用医用画像全体が表示されており、その学習用医用画像の一部の領域が表示部２８の表示画面全体に表示されている。すなわち、表示部２８の表示画面全体には、領域ＲＡ１１内の学習用医用画像上における領域ＲＢ１１の画像が、拡大表示されている。
熟練医師等は、表示部２８に表示された学習用医用画像の各領域を観察することで、病理診断を行なう。例えば、熟練医師等は、癌の発見や癌の進行度合いを診断する。
このように、熟練医師等が、学習用医用画像の各領域を所定の表示倍率で拡大、縮小させて観察すると、取得部２１は、表示されている学習用医用画像を記録部２６から取得するとともに、その学習用医用画像の観察のログを１秒ごとに記録する。
これにより、例えば図６の右側に示す毎秒ごとのログＬＧ１１が得られる。ログＬＧ１１では、各時刻における熟練医師の観察位置と表示倍率とからなるデータが、図中、縦方向に時刻順に並べられている。
ここで、観察位置は、学習用医用画像上の表示部２８に表示されている領域の中心位置であり、観察位置は、学習用医用画像の所定の位置を原点とするＸＹ座標系のＸ座標とＹ座標により表される。また、表示倍率とは、学習用医用画像の観察位置を表示するときの表示倍率（拡大倍率）である。
図６の例では、｛Ｘ座標，Ｙ座標，表示倍率｝からなるデータが、各時刻のログのデータとして、図中、縦方向に並べられている。したがって、例えばログＬＧ１１の図中、一番上側にあるデータ｛３３０，４５６，１０｝から、熟練医師等が、Ｘ座標「３３０」およびＹ座標「４５６」により定まる学習用医用画像上の位置を、１０倍の表示倍率で拡大表示させて観察していたことが分かる。
熟練医師等による学習用医用画像の観察が終了すると、取得部２１は、得られた毎秒ごとのログから観察ログを生成し、学習用の観察ログとして記録する。
例えば取得部２１は、図７に示すように、各時刻のＸ座標，Ｙ座標，および表示倍率が含まれる毎秒ごとのログＬＧ１１から、学習用医用画像の各観察位置のＸ座標，Ｙ座標，観察時間，および表示倍率が含まれる観察ログＯＬＧ１１を生成する。
なお、観察ログＯＬＧ１１では、熟練医師等により観察された、学習用医用画像上の各観察位置の｛Ｘ座標，Ｙ座標，観察時間，表示倍率｝からなるデータが、ログのデータとして図中、縦方向に時刻順に並べられている。
例えば、ログＬＧ１１の図７中、上から３つのデータは｛３３０，４５６，１０｝であり、同じデータとなっている。したがって、これらのデータから、熟練医師等が、Ｘ座標「３３０」およびＹ座標「４５６」により定まる学習用医用画像上の領域を、表示倍率１０倍で３秒間、観察していたことが分かる。
そこで、取得部２１は、これらのデータから、観察ログＯＬＧ１１の図中、一番上側のデータ｛３３０，４５６，３，１０｝を生成する。ここで、観察時間「３」は、このデータで特定される学習用医用画像上の領域が、継続して３秒間観察されたことを示している。つまり、観察時間は、学習用医用画像の領域が継続して表示された時間を示している。
このようにして観察ログを生成すると、取得部２１は、取得した学習用医用画像と観察ログとを対応付けて記録する。
なお、観察ログの生成にあたり、熟練医師等が実際には病理診断を行なっていなかったときのログは、反映されないようにしてもよい。
例えば、熟練医師等が学習用医用画像を用いた病理診断を行なうときに、何らかの要因により、一旦診断を中断したとする。この場合、診断が中断されてから、診断が再開されるまでの間は、実際には熟練医師等による診断はされていないのにも関わらず、ログが記録されてしまい、その間表示されていた観察位置の観察時間が必要以上に長くなってしまう。
そこで、例えば画像処理装置１１に、画像処理装置１１の操作を行なう熟練医師等の視線方向を検出するセンサを設ければ、熟練医師等が実際に病理診断を行っているか否かを検出することができる。例えば、熟練医師等の視線が、明らかに表示部２８の方向から大きく外れている場合、病理診断が行なわれていないとされる。
このように、病理診断が行なわれていないと判定された場合、取得部２１は、熟練医師等の視線方向が表示部２８の方向であると検出されるまで、学習用医用画像の毎秒ごとのログの記録を抑制する。これにより、より正確な観察ログを得ることができる。
［観察位置検出辞書の学習処理の説明］
取得部２１により、充分な数の学習用医用画像と観察ログが得られると、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４は、これらの学習用医用画像と観察ログを用いて学習を行い、各辞書を生成する。
以下、これらの辞書の生成について説明する。
まず、図８のフローチャートを参照して、観察位置検出辞書生成部２２による観察位置検出辞書の学習処理について説明する。
ステップＳ１１において、周辺画像生成部５１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置および非観察位置の周辺画像を切り出して、特徴量抽出部５２に供給する。
例えば、図９に示す学習用医用画像が供給され、観察ログにより５つの観察位置Ｐ１１乃至観察位置Ｐ１５が特定されたとする。この場合、周辺画像生成部５１は、これらの観察位置Ｐ１１乃至観察位置Ｐ１５を中心とする、矩形状の領域のそれぞれを切り出して、観察位置を含む周辺画像ＰＤ１１乃至周辺画像ＰＤ１５とする。
また、周辺画像生成部５１は、学習用医用画像上の観察位置とは異なるいくつかの位置を非観察位置とし、それらの非観察位置を中心とする、矩形状の領域のそれぞれを切り出して、非観察位置の周辺画像とする。なお、非観察位置は、周辺画像生成部５１により無作為に定められる。
以上のようにして得られた観察位置の周辺画像ＰＤ１１乃至周辺画像ＰＤ１５は、熟練医師等が病理診断のときに注目した部位の画像である。すなわち、病理診断時に、一定の時間以上継続して表示され続けた部位である。逆に、非観察位置の周辺画像は、熟練医師等が特に注目しなかった部位の画像である。
周辺画像生成部５１は、図中、右側に示すように周辺画像ＰＤ１１乃至周辺画像ＰＤ１５をポジティブデータとして特徴量抽出部５２に供給し、非観察位置の周辺画像をネガティブデータとして特徴量抽出部５２に供給する。例えば、ポジティブデータであるか、ネガティブデータであるかの区別は、それらの何れのデータであるかを示すラベルを周辺画像に付加することで行なわれる。
なお、学習用医用画像から、周辺画像として切り出される領域の大きさは、予め定められた大きさとされてもよいし、その大きさが変えられながら観察位置検出辞書の統計学習が行なわれ、その過程で最適な大きさが定められるようにしてもよい。
図８のフローチャートの説明に戻り、周辺画像生成部５１は、複数の学習用医用画像から周辺画像を生成すると、それらの周辺画像を特徴量抽出部５２に供給し、処理はステップＳ１２に進む。
ステップＳ１２において、特徴量抽出部５２は、周辺画像生成部５１から供給された各周辺画像から特徴量を抽出し、各周辺画像に付加されたラベルとともに学習部５３に供給する。例えば、特徴量抽出部５２は、周辺画像上の任意の２つの画素の組を画素ペアとし、それらの画素の輝度値の差分を特徴量として求める。特徴量抽出部５２は、周辺画像上のいくつかの異なる画素ペアについて、上述した特徴量を求め、学習部５３に供給する。
ステップＳ１３において、学習部５３は、特徴量抽出部５２から供給された特徴量に基づいて、Boosting等の統計学習を行い、その学習結果を辞書生成部５４に供給する。
例えば、観察位置らしさを表す関数Ｇ（ｘ）が、複数の弱識別器ｇ（ｘ）を線形結合、すなわち重み付き加算して得られる関数であるとする。ここで、弱識別器ｇ（ｘ）は、特定の画素ペアの特徴量が所定の閾値ｔｈｇ以上であれば「１」を出力し、特徴量が閾値ｔｈｇ未満であれば「０」を出力する関数である。また、関数Ｇ（ｘ）に、画像から抽出された特徴量を代入して得られる値が大きいほど、その画像の領域は観察位置らしいものとする。
このような場合、学習部５３は、ポジティブデータから得られた特徴量と、ネガティブデータから得られた特徴量とを用いて、いくつかの弱識別器ｇ（ｘ）を組み合わせながら、最も高精度に観察位置を検出できる関数Ｇ（ｘ）を統計学習により求める。換言すれば、統計学習では、観察位置の検出に最適な画素ペアの組み合わせ（弱識別器ｇ（ｘ）の組み合わせ）、各弱識別器ｇ（ｘ）の閾値ｔｈｇ、および線形結合に用いられる重みが求められることになる。
ステップＳ１４において、辞書生成部５４は、学習部５３から供給された統計学習の結果に基づいて、観察位置検出辞書を生成し、診察用動画像生成部２５の観察位置検出辞書保持部１４１に供給して保持させる。
例えば、辞書生成部５４は、統計学習により求められた関数Ｇ（ｘ）を構成する各弱識別器ｇ（ｘ）、それらの弱識別器の閾値ｔｈｇ、および線形結合に用いる各弱識別器の重みを観察位置検出辞書とする。このようにして観察位置検出辞書が生成されると、観察位置検出辞書の学習処理は終了する。
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察位置検出辞書を生成しておけば、任意の医用画像から、熟練医師等が注目すると思われる観察位置を高精度に検出することができる。
［観察パラメータ生成辞書の学習処理の説明］
次に、図１０のフローチャートを参照して、観察パラメータ生成辞書生成部２３による観察パラメータ生成辞書の学習処理について説明する。
ステップＳ４１において、周辺画像生成部８１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置の周辺画像を切り出して、特徴量抽出部８２に供給する。すなわち、ステップＳ４１では、図８のステップＳ１１における観察位置の周辺画像の切り出しと同様の処理が行われる。
ステップＳ４２において、特徴量抽出部８２は、周辺画像生成部８１から供給された各周辺画像から特徴量を抽出し、学習部８３に供給する。例えば、周辺画像の画素の輝度値の分布を示すヒストグラムや、HOG（Histograms of Oriented Gradients）などが特徴量として求められる。
ステップＳ４３において、学習部８３は、特徴量抽出部８２から供給された各周辺画像の特徴量と、取得部２１から供給された観察ログとに基づいて、Gradient Boosting等の統計学習を行なう。つまり、観察ログから得られる各観察パラメータが教師データとされて、統計学習が行なわれる。
例えば、観察パラメータとしての観察時間を得るための観察パラメータ生成辞書を得ようとする場合、学習部８３は、図１１に示すように、各周辺画像、より詳細には周辺画像から抽出された特徴量と、周辺画像に含まれる観察位置の観察時間とを対応付ける。例えば、複数の周辺画像からなる周辺画像群ＰＧ１１乃至周辺画像群ＰＧ１５は、それぞれ観察時間が５秒、６秒、７秒、２０秒、および２１秒である観察位置を含む周辺画像の集合である。
そして学習部８３は、各周辺画像の特徴量ｘと観察時間ｙに基づいて次式（１）を計算し、損失関数Ｌ（ｙ，Ｆ（ｘ））が最小となる関数Ｆ（ｘ）を求める。
Figure 0005652227
ここで、関数Ｆ（ｘ）は、観察位置を含む任意の画像から抽出された特徴量ｘから、観察パラメータ（ここでは観察時間ｙ）を得るための関数である。また、式（１）において、Ｅｘ，ｙ（Ｌ（ｙ，Ｆ（ｘ）））は、損失関数Ｌ（ｙ，Ｆ（ｘ））の期待値である。この統計学習は、損失関数を最少とする関数Ｆ’を推定する問題として定式化されている。
学習部８３は、観察パラメータごとに統計学習を行なうと、その学習結果を辞書生成部８４に供給する。
ステップＳ４４において、辞書生成部８４は、学習部８３から供給された学習結果に基づいて、各観察パラメータの観察パラメータ生成辞書を生成し、診察用動画像生成部２５の観察パラメータ生成辞書保持部１４２に供給して保持させる。
例えば、辞書生成部８４は、上述した関数Ｆ（ｘ）を観察パラメータとしての観察時間の観察パラメータ生成辞書とする。このようにして観察パラメータ生成辞書が生成されると、観察パラメータ生成辞書の学習処理は終了する。
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察パラメータ生成辞書を生成しておけば、任意の医用画像の各観察位置を、熟練医師等がどのような観察パラメータで観察するかを、高精度に推定することができる。
［観察順序生成辞書の学習処理の説明］
さらに、図１２のフローチャートを参照して、観察順序生成辞書生成部２４による観察順序生成辞書の学習処理について説明する。
ステップＳ７１において、周辺画像生成部１１１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置の周辺画像を切り出して、特徴量抽出部１１２に供給する。すなわち、ステップＳ７１では、図８のステップＳ１１における観察位置の周辺画像の切り出しと同様の処理が行われる。
ステップＳ７２において、特徴量抽出部１１２は、周辺画像生成部１１１から供給された各周辺画像から特徴量を抽出し、学習部１１３に供給する。例えば、周辺画像の画素の輝度値の分布を示すヒストグラムや、HOGなどが特徴量として求められる。
ステップＳ７３において、学習部１１３は、特徴量抽出部１１２から供給された各周辺画像の特徴量と、取得部２１から供給された観察ログとに基づいて、Rank Boost等の統計学習を行なう。つまり、観察ログから得られる観察位置の観察順序が教師データとされて、統計学習が行なわれる。
例えば、図１３に示すように、学習用医用画像ＭＰ１１乃至学習用医用画像ＭＰ１３から、周辺画像が切り出されたとする。
図１３の例では、学習用医用画像ＭＰ１１からは、観察位置Ｐ３１乃至観察位置Ｐ３４を中心とする周辺画像ＰＤ３１乃至周辺画像ＰＤ３４が切り出されている。また、学習用医用画像ＭＰ１２からは、観察位置Ｐ４１乃至観察位置Ｐ４５を中心とする周辺画像ＰＤ４１乃至周辺画像ＰＤ４５が切り出され、学習用医用画像ＭＰ１３からは、観察位置Ｐ５１乃至観察位置Ｐ５５を中心とする周辺画像ＰＤ５１乃至周辺画像ＰＤ５５が切り出されている。
このような場合、学習部１１３は観察ログに基づいて、学習用医用画像ごとに、それらの学習用医用画像から切り出された周辺画像を、観察された順番に並び替える。観察ログでは、各観察位置に関する情報が時系列に並べられているので、それらの観察位置を含む周辺画像の観察順序（表示順序）は、観察ログを参照することで特定することができる。
例えば、学習用医用画像ＭＰ１１上において、観察位置Ｐ３１乃至観察位置Ｐ３４の順に熟練医師による観察が行なわれたとすると、学習部１１３は、学習用医用画像ＭＰ１１から切り出された周辺画像を、周辺画像ＰＤ３１乃至周辺画像ＰＤ３４の順番に並べる。
同様にして、学習部１１３は観察ログを参照して、学習用医用画像ＭＰ１２から切り出された周辺画像を、周辺画像ＰＤ４１乃至周辺画像ＰＤ４５の順番に並べる。また、学習部１１３は、学習用医用画像ＭＰ１３から切り出された周辺画像も、周辺画像ＰＤ５１乃至周辺画像ＰＤ５５の順番に並べる。
より詳細には、学習部１１３は、学習用医用画像ごとに、その学習用医用画像から切り出された周辺画像の特徴量を昇順または降順に並べ替えることになる。
学習部１１３は、特徴量の並び替えを行なうと、各周辺画像の特徴量ｘに基づいて次式（２）で示される損失関数rlossD(H)が最小となるスコア関数Ｈ（ｘ）を求める。
Figure 0005652227
なお、式（２）において、［［Ｈ（ｘ１）≦Ｈ（ｘ０）］］は、Ｈ（ｘ１）≦Ｈ（ｘ０）が満たされる場合に「１」を出力し、Ｈ（ｘ１）≦Ｈ（ｘ０）が満たされない場合、「０」を出力する演算子である。また、式（２）におけるＤ（ｘ０，ｘ１）は、重みを示している。
さらに、スコア関数Ｈ（ｘ）は、次式（３）に示されるように、重みαｔを用いて弱識別器ｈｔ（ｘ）を線形結合することで得られる関数であり、このスコア関数Ｈ（ｘ）の値は、病理診断時に注目すべき度合いを示している。
Figure 0005652227
式（３）における弱識別器ｈｔ（ｘ）は、周辺画像の特徴量ｘが所定の閾値ｔｈｏ以上である場合に「１」を出力し、特徴量ｘが閾値ｔｈｏ未満である場合に「０」を出力する関数である。より詳細には、弱識別器ｈｔ（ｘ）に代入される特徴量ｘは、例えば特徴量として周辺画像から抽出された輝度値のヒストグラムを構成する１つのビンの頻度値などとされ、ヒストグラムを構成するビンのうちの所定のＴ個のビンについて、弱識別器が設定される。
学習部１１３は、１つの学習用医用画像から抽出された周辺画像ごとに、スコア関数Ｈ（ｘ）を算出し、それらのスコア関数Ｈ（ｘ）を上述した式（２）に代入することで、損失関数rlossD(H)を算出する。
すなわち、１つの学習用医用画像から抽出された周辺画像から、任意の２つの周辺画像をペアとする場合に、全部でＫ通りのペアができるものとすると、学習部１１３は、Ｋ個の各ペアについて、演算子［［］］の演算を行う。例えば、周辺画像ＰＤｘ０と周辺画像ＰＤｘ１のペアであり、周辺画像ＰＤｘ０の観察順序がより早いのであれば、周辺画像ＰＤｘ０のスコア関数Ｈ（ｘ０）と周辺画像ＰＤｘ１のスコア関数Ｈ（ｘ１）から、［［Ｈ（ｘ１）≦Ｈ（ｘ０）］］の演算が行なわれる。
学習部１１３は、周辺画像の全ての取り得るペアについて、演算子［［］］の演算を行なうと、それらの演算結果に重みＤ（ｘ０，ｘ１）を乗算して線形結合し、損失関数rlossD(H)の値を算出する。このようにして、学習部１１３は、スコア関数Ｈ（ｘ）を構成する弱識別器ｈｔ（ｘ）の組み合わせ、重みαｔ、および弱識別器の閾値ｔｈｏを変化させながら、損失関数の値を算出し、損失関数が最小となるスコア関数Ｈ（ｘ）を求める。
このようにして行なわれるRank Boostは、候補を順位付けするスコア関数Ｈ（ｘ）をBoostingにより学習する手法である。学習部１１３は、統計学習が行なわれると、その学習結果を辞書生成部１１４に供給し、処理はステップＳ７４に進む。
ステップＳ７４において、辞書生成部１１４は、学習部１１３から供給された学習結果に基づいて、観察順序生成辞書を生成し、診察用動画像生成部２５の観察順序生成辞書保持部１４３に供給して保持させる。
例えば、辞書生成部１１４は、上述したスコア関数Ｈ（ｘ）を構成する各弱識別器ｈｔ（ｘ）の組み合わせ、各弱識別器の閾値ｔｈｏ、および重みαｔを、観察順序生成辞書とする。このようにして観察順序生成辞書が生成されると、観察順序生成辞書の学習処理は終了する。
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察順序生成辞書を生成しておけば、任意の医用画像の各観察位置を、熟練医師等がどのような順序で観察するかを、高精度に推定することができる。
なお、観察順序生成辞書の学習時において、学習用医用画像から抽出された各周辺画像は、観察された順番に並べられるが、この順番は、学習用医用画像を用いて病理診断を行なった熟練医師等にとって注目度合いの高い順番である。
例えば、注目度合いの高い順番とは、観察位置の部位としての腫瘍の癌進行度が高い順番などであり、この順番は病理診断の対象となる病変等によってある程度決まってくる。
ところが、病理診断時に、医師によって各部位に対する注目度合いの判断基準が異なる場合がある。例えば、癌の診断を行なう場合に、腫瘍の進行度が高い順に各腫瘍を観察していく医師と、悪性の腫瘍であるかがあいまいなものから順番に観察していく医師とがいることがある。
そのような場合、医師ごとに、その医師が病理診断に用いた学習用医用画像のみを用いて学習を行い、各医師の観察順序生成辞書を生成すれば、より高精度に観察位置の注目度合いによる順序付けを行なうことができるようになる。
例えば、所定の医師が新規の医用画像を用いて病理診断を行なおうとする場合、過去にその医師が病理診断に用いた学習用医用画像から得られた観察順序生成辞書を用いれば、より高精度に各観察位置の観察順序を推定することができるようになる。すなわち、今回新たに診断対象となる医用画像について、その医用画像から検出された各観察位置を、その医師が観察するであろう順番に並び替えることができる。
［動画像生成処理の説明］
以上のようにして、各辞書が生成されると、診察用動画像の生成が可能となる。画像処理装置１１の診察用動画像生成部２５は、医用画像が入力されて医師等により診察用動画像の生成が指示されると、動画像生成処理を開始して診察用動画像を生成する。以下、図１４のフローチャートを参照して、診察用動画像生成部２５による動画像生成処理について説明する。
ステップＳ１０１において、観察位置検出部１４４の特徴量抽出部１６１は、供給された医用画像から特徴量を抽出する。例えば、特徴量抽出部１６１は、医用画像上の所定の大きさの領域を検出用画像とし、検出用画像の位置を変化させながら、検出用画像ごとに、その検出用画像上の特定の画素ペアの輝度値の差分を特徴量として抽出する。
ステップＳ１０２において、観察位置検出部１４４は、特徴量抽出部１６１により抽出された特徴量と、観察位置検出辞書保持部１４１に保持されている観察位置検出辞書とに基づいて、医用画像から観察位置を検出する。
例えば、観察位置検出部１４４は、各検出用画像について、その検出用画像から抽出された特徴量ｘを、観察位置検出辞書から得られる関数Ｇ（ｘ）に代入し、得られた関数Ｇ（ｘ）の値が０より大きければ、その検出用画像の中心位置が観察位置であるとする。
観察位置検出部１４４は、医用画像から観察位置を検出すると、検出された観察位置を示す情報および医用画像を、観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７に供給する。また、観察位置検出部１４４は、各観察位置について算出された、観察位置らしさを表す関数Ｇ（ｘ）の値を、動画像生成部１４７に供給する。
ステップＳ１０３において、観察パラメータ生成部１４５の特徴量抽出部１６２は、観察位置検出部１４４から供給された観察位置を示す情報と医用画像に基づいて、医用画像から特徴量を抽出する。例えば、特徴量抽出部１６２は、医用画像上の各観察位置について、観察位置を含む所定の領域内の画素の輝度値の分布を示すヒストグラムなどを特徴量として抽出する。
ステップＳ１０４において、観察パラメータ生成部１４５は、特徴量抽出部１６２により抽出された特徴量と、観察パラメータ生成辞書保持部１４２に保持されている観察パラメータ生成辞書とに基づいて、観察パラメータを生成する。
例えば、観察パラメータ生成部１４５は、各観察位置の特徴量ｘを、観察パラメータ生成辞書として取得した関数Ｆ（ｘ）に代入し、得られた関数Ｆ（ｘ）の値により定まる値を観察パラメータとする。
すなわち、例えば関数Ｆ（ｘ）の出力値の取り得る値の範囲は、予めいくつかの範囲に分割されており、それらの分割された範囲に対して、観察パラメータの値が対応付けられている。観察パラメータ生成部１４５は、特徴量を代入して得られた関数Ｆ（ｘ）の出力値が、予め分割されたどの範囲内の値であるかを特定し、特定された範囲に対応付けられた値を、観察パラメータの値とする。
観察パラメータ生成部１４５は、このようにして得られた各観察パラメータを、動画像生成部１４７に供給する。
ステップＳ１０５において、観察順序情報生成部１４６の特徴量抽出部１６３は、観察位置検出部１４４から供給された観察位置を示す情報と医用画像に基づいて、医用画像から特徴量を抽出する。例えば、特徴量抽出部１６３は、医用画像上の各観察位置について、観察位置を含む所定の領域内の画素の輝度値の分布を示すヒストグラムなどを特徴量として抽出する。
ステップＳ１０６において、観察順序情報生成部１４６は、特徴量抽出部１６３により抽出された特徴量と、観察順序生成辞書保持部１４３に保持されている観察順序生成辞書とに基づいて、観察順序情報を生成する。
例えば、観察順序情報生成部１４６は、各観察位置の特徴量ｘを、観察順序生成辞書から得られるスコア関数Ｈ（ｘ）に代入し、スコア関数Ｈ（ｘ）の値を求める。そして、観察順序情報生成部１４６は、各観察位置をスコア関数Ｈ（ｘ）の値が高い順に並べ、その順番を観察位置の観察順序とする。
観察順序情報生成部１４６は、このようにして得られた観察順序を示す観察順序情報を、動画像生成部１４７に供給する。
ステップＳ１０７において、動画像生成部１４７は、観察位置検出部１４４から供給された観察位置を示す情報、医用画像、および関数Ｇ（ｘ）の値と、観察パラメータ生成部１４５からの観察パラメータ、および観察順序情報生成部１４６からの観察順序情報とに基づいて、診察用動画像を生成する。
例えば、図１３に示した学習用医用画像ＭＰ１１と同じ画像が、医用画像（以下、医用画像ＭＰ１１とも称することとする）として入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
このような場合、例えば動画像生成部１４７は、まず医用画像ＭＰ１１全体が表示され、その後、観察位置Ｐ３１乃至観察位置Ｐ３４を含む領域が順番に表示され、最後に医用画像ＭＰ１１全体が再び表示される画像を生成して、診察用動画像とする。
すなわち、この診察用動画像の再生時には、再生開始後、医用画像ＭＰ１１全体が表示されると、次に最初の観察位置Ｐ３１を含む領域が、その観察位置Ｐ３１の観察パラメータで表示される。例えば、医用画像ＭＰ１１上の観察位置Ｐ３１を中心とする領域が、観察パラメータとしての表示倍率（拡大倍率）で、観察パラメータとしての観察時間だけ継続して表示される。
そして、次に、観察位置Ｐ３１から観察位置Ｐ３２までの間の領域がスクロール表示されて、観察位置Ｐ３２を中心とする領域が、その観察位置Ｐ３２の観察パラメータで表示される。つまり、診察用動画像上の中心に表示される医用画像ＭＰ１１の位置が、観察位置Ｐ３１から観察位置Ｐ３２まで移動されながら、医用画像ＭＰ１１の各位置を含む領域が表示される。
このとき、観察位置Ｐ３１と観察位置Ｐ３２とで、観察パラメータとしての表示倍率が異なる場合がある。そのような場合には、観察位置Ｐ３１から観察位置Ｐ３２までのスクロール表示が終了してから表示倍率が変更されてもよいし、スクロール表示中に連続的に表示倍率が変化するようにしてもよい。つまり、診察用動画像上の中心に観察位置Ｐ３２が表示されたときに、観察位置Ｐ３２を含む領域が、その観察位置Ｐ３２の観察パラメータで表示されていればよい。
観察位置Ｐ３２を含む領域が表示されると、その後、同様にして適宜、観察位置間のスクロール表示が行なわれながら、観察位置Ｐ３３を含む領域と、観察位置Ｐ３４を含む領域とが、それらの観察位置の観察パラメータで順番に表示されていく。そして、観察位置Ｐ３４を含む領域が表示された後、再度、医用画像ＭＰ１１全体が表示されると、診察用動画像の再生は終了する。
このように、診察用動画像では、各観察位置の注目度合いや観察すべき部位の大きさ等に応じて、表示倍率や観察順序などが変化する。例えば、観察位置としての重度な腫瘍は、高拡大率でズームされて、ゆっくりとスクロール表示が行なわれ、腫瘍領域が大きい場合は、その腫瘍全体が表示されるように低拡大率で表示される。
また、特に、診察用動画像として表示される観察位置のうち、観察位置らしさを表す関数Ｇ（ｘ）が予め定めた閾値以上である観察位置については、その観察位置が表示されるときに、他の観察位置の表示時と異なる表示形式等で表示されるように診察用動画像が生成される。具体的には、例えば関数Ｇ（ｘ）が閾値以上である観察位置の領域が表示される場合には、診察用動画像を囲む枠が表示されたり、診察用動画像が点滅表示されたりする。また、そのような観察位置の領域の表示時に、特定の表示形式での表示とともに警告音が発せられるようにしてもよい。
関数Ｇ（ｘ）の値は、観察位置らしさ、つまり注目すべき度合いの高さを示している。例えば、より進行度の高い腫瘍などの部位が、より注目すべき度合いの高い部位となる。そこで、動画像生成部１４７は、関数Ｇ（ｘ）の値が所定の閾値以上である観察位置を、より注目すべき部位が表示される観察位置であるとして、診察用動画像において、そのような観察位置を他の観察位置と異なる表示形式で表示する。これにより、診察用動画像を観察する医師等の注意を引くことができる。
なお、診察用動画像の再生時に、１つの観察位置を含む領域が診察用動画像として表示されている状態で、医師等の画像処理装置１１に対する操作が行なわれると、その操作に応じて、次の観察位置を含む領域が表示されたり、前の観察位置を含む領域が表示されたりしてもよい。つまり、医師等の指示によって、１つ前または後の観察位置の表示が行なわれるようにしてもよい。
診察用動画像が生成されると、動画像生成部１４７は、生成した診察用動画像を記録部２６に供給して記録させ、動画像生成処理は終了する。また、記録部２６に記録された診察用動画像は、適宜、表示制御部２７により読み出されて再生される。
以上のようにして、診察用動画像生成部２５は、予め学習により生成された各辞書を用いて、処理対象の医用画像から、観察すべき位置や観察パラメータ、観察順序などを特定し、それらの観察位置等に基づいて医用画像から診察用動画像を生成する。
これにより、より簡単かつ迅速に診断のための病理画像を得ることができる。すなわち、診察用動画像生成部２５に保持された各辞書を用いれば、医師等に煩雑な入力操作をさせることなく、新規に入力された任意の医用画像について、熟練医師等がその医用画像を用いて病理診断をするとしたら行なうであろう画面操作を、シミュレートすることができる。
そして、そのシミュレートの結果として、熟練医師等が注目すると推定される各観察位置が、熟練医師等が観察すると推定される順番で表示される診察用動画像を得ることができる。つまり、これから医用画像を用いた病理診断を行なおうとする医師等からすれば、対象となる医用画像を入力し、診察用動画像の生成を指示するだけで、特定部位の拡大，縮小やスクロール等の熟練医師による診断時の画面操作が自動的に行なわれることになる。
したがって、このようにして生成された診察用動画像を再生すれば、腫瘍などの診断に必要な部位が、より効率的および効果的に表示されるので、医師等は、より効率よく診断を行なうことができ、診断時間の短縮を図ることができる。しかも、診察用動画像では、各観察位置の部位だけでなく、医用画像全体も表示されるので、辞書を用いた画像認識による観察位置の抽出にもれがあった場合でも、医師による観察すべき位置の見落としを防止することができる。
また、このようにして得られる診察用動画像は、実際の病理診断だけでなく、学習用教材など他の用途にも用いることができる。例えば、指導医の観察ログを用いた学習により辞書を生成しておけば、その辞書を用いて生成された診察用動画像を、熟練度の低い医師の学習教材として利用できる。
なお、以上においては、観察パラメータの例として、表示倍率と観察時間について説明したが、その他、観察位置の表示向き（角度）や、観察位置間のスクロール速度などが観察パラメータとされてもよい。また、上述した各観察位置の表示順序や表示倍率などは、医師等により設定できるようにしてもよい。
〈変形例１〉
さらに、診察用動画像は、各観察位置が辞書により特定された観察順序で表示されるものであれば、どのようなものであってもよい。
例えば、各観察位置が辞書により特定された観察パラメータで表示される場合に、１つの観察位置の表示が終了した後、一度、医用画像全体が表示されてから、次の観察位置が表示されるようにしてもよい。
具体的には、例えば医用画像として、上述した医用画像ＭＰ１１が入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
このような場合、例えば動画像生成部１４７は、観察位置の表示と、その次の観察位置の表示との間に医用画像ＭＰ１１全体が表示される診察用動画像を生成する。
すなわち、この診察用動画像の再生時には、まず医用画像ＭＰ１１全体が表示されてから、観察位置Ｐ３１を含む領域が表示される。そして、その後、観察位置Ｐ３２を含む領域、医用画像ＭＰ１１全体、観察位置Ｐ３３を含む領域、医用画像ＭＰ１１全体、観察位置Ｐ３４を含む領域、および医用画像ＭＰ１１全体の順番で表示が行なわれる。
〈変形例２〉
また、上述した図６の領域ＲＡ１１のように、診察用動画像上に常に医用画像全体が表示される領域が設けられてもよい。
具体的には、例えば医用画像として、上述した医用画像ＭＰ１１が入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
このような場合、例えば動画像生成部１４７は、画面の一部の領域に医用画像ＭＰ１１全体が表示されたままの状態で、画面全体に観察位置Ｐ３１乃至観察位置Ｐ３４を含む領域が、それらの観察位置の観察パラメータで順番に表示される診察用動画像を生成する。
なお、以上において説明した診察用動画像は、観察位置を含む領域の画像が、１つのフレームを構成する画像とされる動画像であるが、各観察位置を含む領域の静止画像が、観察順序で並べられた（順序付けられた）、静止画像群を生成するようにしてもよい。例えば、この静止画像群は、診察用動画像を構成する各フレームの画像を、フレーム順に並べて得られる画像群などとされてもよい。このような静止画像群を用いても、診断時における熟練医師の画面操作をシミュレートすることができる。
また、診察用動画像の生成時において、医師等が、３分や１分など、制限時間や再生時間を設定できるようにしてもよい。そのような場合、例えば動画像生成部１４７は、設定された再生時間の動画像を診察用動画像として生成する。
具体的には、動画像生成部１４７は、診察用動画像での各観察位置の表示時間の合計が、設定された再生時間となるように、観察パラメータとして得られた各観察位置の観察時間を、それらの観察時間の比率を保ったまま変化させる。これにより、各観察位置が表示される時間の長さの比を維持したまま、指定された時間内で再生される診察用動画像を得ることができる。
さらに、診察用動画像の再生時間が、指定された時間内となるように、関数Ｇ（ｘ）の値が低いいくつかの観察位置が間引かれるようにしてもよい。すなわち、この場合、注目度合いの低い順番に、所定数の観察位置が選択され、選択されたそれらの観察位置が表示されない（除外された）診察用動画像が生成されることになる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 画像処理装置， ２１ 取得部， ２２ 観察位置検出辞書生成部， ２３ 観察パラメータ生成辞書生成部， ２４ 観察順序生成辞書生成部， ２５ 診察用動画像生成部， １４１ 観察位置検出辞書保持部， １４２ 観察パラメータ生成辞書保持部， １４３ 観察順序生成辞書保持部， １４４ 観察位置検出部， １４５ 観察パラメータ生成部， １４６ 観察順序情報生成部， １４７ 動画像生成部

Claims (8)

  1. 処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、
    予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、
    前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、
    予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、
    前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段と
    を備える画像処理装置。
  2. 前記医用画像上の前記観察位置から、第３の特徴量を抽出する第３の特徴量抽出手段と、
    予め統計学習により生成された、第３の特徴量から画像上の観察位置の観察条件を特定するための観察条件生成辞書と、前記医用画像上の前記観察位置の前記第３の特徴量とに基づいて、前記医用画像上の前記観察位置ごとに前記観察条件を特定する観察条件特定手段と
    をさらに備え、
    前記画像生成手段は、前記観察位置が、特定された前記観察条件で表示されるように、前記観察画像を生成する
    請求項１に記載の画像処理装置。
  3. 前記観察条件は、前記観察位置の表示倍率、または前記観察位置を継続して表示する表示時間である
    請求項２に記載の画像処理装置。
  4. 前記観察画像は、前記観察位置が前記観察順序で順番に表示される動画像であり、前記動画像の最初または最後の少なくとも何れかにおいて、前記医用画像全体が表示される
    請求項１に記載の画像処理装置。
  5. 前記観察画像は、前記観察位置が前記観察順序で順番に表示される動画像であり、前記動画像において、１つの前記観察位置が表示された後、前記医用画像全体が表示されてから、次の前記観察位置が表示される
    請求項１に記載の画像処理装置。
  6. 前記観察画像は、前記観察画像の一部の領域に継続して前記医用画像全体が表示されている状態で、前記観察位置が前記観察順序で順番に表示される動画像である
    請求項１に記載の画像処理装置。
  7. 処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、
    予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、
    前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、
    予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、
    前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段と
    を備える画像処理装置の画像処理方法であって、
    前記第１の特徴量抽出手段が前記医用画像から前記第１の特徴量を抽出し、
    前記位置検出手段が、前記観察位置を検出し、
    前記第２の特徴量抽出手段が、前記観察位置から前記第２の特徴量を抽出し、
    前記観察順序特定手段が、前記順序生成辞書と前記第２の特徴量とに基づいて、前記観察順序を特定し、
    前記画像生成手段が、前記観察画像を生成する
    ステップを含む画像処理方法。
  8. 処理対象の医用画像から、第１の特徴量を抽出し、
    予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出し、
    前記医用画像上の前記観察位置から、第２の特徴量を抽出し、
    予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定し、
    前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2011012952A 2011-01-25 2011-01-25 画像処理装置および方法、並びにプログラム Expired - Fee Related JP5652227B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011012952A JP5652227B2 (ja) 2011-01-25 2011-01-25 画像処理装置および方法、並びにプログラム
US13/349,970 US9230058B2 (en) 2011-01-25 2012-01-13 Image processing device, image processing method and program
CN201210016787.1A CN102622508B (zh) 2011-01-25 2012-01-18 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011012952A JP5652227B2 (ja) 2011-01-25 2011-01-25 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2012155455A JP2012155455A (ja) 2012-08-16
JP5652227B2 true JP5652227B2 (ja) 2015-01-14

Family

ID=46543858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011012952A Expired - Fee Related JP5652227B2 (ja) 2011-01-25 2011-01-25 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US9230058B2 (ja)
JP (1) JP5652227B2 (ja)
CN (1) CN102622508B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134574A (ja) * 2011-12-26 2013-07-08 Canon Inc 画像データ生成装置、画像データ表示システムおよび画像データ生成方法
JP2013200639A (ja) * 2012-03-23 2013-10-03 Canon Inc 描画データ生成装置、描画データ生成方法、プログラム、および描画データ生成システム
JP6199024B2 (ja) * 2012-11-26 2017-09-20 東芝メディカルシステムズ株式会社 医用画像表示装置
JP2015032952A (ja) * 2013-08-01 2015-02-16 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
CN103914830B (zh) * 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
JP6347155B2 (ja) * 2014-05-26 2018-06-27 富士通株式会社 画像処理装置、画像判断方法、及びプログラム
US9824189B2 (en) 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
JP6624369B2 (ja) * 2015-01-23 2019-12-25 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
US9721186B2 (en) * 2015-03-05 2017-08-01 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
WO2017013895A1 (ja) * 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
FR3050046B1 (fr) * 2016-04-06 2019-11-08 Keen Eye Technologies Procede et dispositif electronique d'aide a la determination, dans une image d'un echantillon, d'au moins un element d'interet parmi des elements biologiques, programme d'ordinateur associe
US10025902B2 (en) 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
KR101929127B1 (ko) * 2017-02-10 2018-12-13 연세대학교 산학협력단 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
WO2018147674A1 (ko) * 2017-02-10 2018-08-16 연세대학교 산학협력단 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
JP7046506B2 (ja) * 2017-06-12 2022-04-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
JP6503535B1 (ja) * 2018-12-17 2019-04-17 廣美 畑中 医用画像をａｉの判断で症状度合いごと画像に表示する診断方法。
EP3933849A4 (en) * 2019-02-28 2022-04-20 Sony Group Corporation DIAGNOSTIC SUPPORT PROGRAM, DIAGNOSTIC SUPPORT SYSTEM AND DIAGNOSTIC SUPPORT PROCEDURE
CN111160411B (zh) * 2019-12-11 2023-09-29 东软集团股份有限公司 分类模型训练方法、图像处理方法、装置、介质及设备
JP7470016B2 (ja) * 2020-11-10 2024-04-17 株式会社日立製作所 機械学習を用いた物体検出用識別モデル生成装置およびプログラム
US11966453B2 (en) * 2021-02-15 2024-04-23 International Business Machines Corporation Ordering annotation sets for machine learning
JP2023123273A (ja) * 2022-02-24 2023-09-05 国立研究開発法人量子科学技術研究開発機構 画像診断装置、画像診断方法、画像診断プログラム、及び、記録媒体
CN119228768B (zh) * 2024-09-27 2025-05-02 上海皓康云医疗科技发展有限公司 一种基于ai的胃部图像的分析处理方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3807541B2 (ja) * 1995-01-23 2006-08-09 富士写真フイルム株式会社 乳房画像表示方法および装置
JPH08235272A (ja) * 1995-02-23 1996-09-13 Fujitsu Ltd 医用画像表示装置
JP3758893B2 (ja) * 1999-04-03 2006-03-22 コニカミノルタホールディングス株式会社 画像診断支援装置
JP4285623B2 (ja) * 2001-04-26 2009-06-24 富士フイルム株式会社 画像表示方法および装置並びにプログラム
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
JP5020447B2 (ja) * 2001-08-21 2012-09-05 キヤノン株式会社 眼科撮影装置
JP2003087772A (ja) * 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
US8167802B2 (en) * 2002-09-12 2012-05-01 Hitachi Medical Corporation Biological tissue motion trace method and image diagnosis device using the trace method
JP2005218796A (ja) * 2004-02-09 2005-08-18 Matsushita Electric Ind Co Ltd 医用画像処理装置および医用画像処理方法
JP2005266718A (ja) 2004-03-22 2005-09-29 Olympus Corp 顕微鏡画像撮影システム
JP4352980B2 (ja) * 2004-04-23 2009-10-28 オムロン株式会社 拡大表示装置及び拡大画像制御装置
US7660488B2 (en) * 2004-11-04 2010-02-09 Dr Systems, Inc. Systems and methods for viewing medical images
US7505051B2 (en) * 2004-12-16 2009-03-17 Corel Tw Corp. Method for generating a slide show of an image
JP3837577B2 (ja) 2005-01-18 2006-10-25 国立大学法人群馬大学 顕微鏡観察再現方法、顕微鏡観察再現装置、顕微鏡観察再現プログラムおよびその記録媒体
US20070041657A1 (en) * 2005-08-19 2007-02-22 Samsung Electronics Co., Ltd. Image processing device to determine image quality and method thereof
US7920755B2 (en) * 2006-06-26 2011-04-05 Genesis Microchip Inc. Video content detector
JP4730667B2 (ja) * 2006-07-25 2011-07-20 富士フイルム株式会社 自動再生方法及び装置
JP2008152530A (ja) * 2006-12-18 2008-07-03 Sony Corp 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム
JP5019220B2 (ja) * 2007-10-05 2012-09-05 株式会社東芝 医用画像表示装置及び医用画像表示プログラム
JP5390805B2 (ja) * 2008-08-07 2014-01-15 キヤノン株式会社 出力装置およびその方法、プログラム、記録媒体
JP4547639B2 (ja) * 2008-08-26 2010-09-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8320667B2 (en) * 2009-02-25 2012-11-27 Hewlett-Packard Development Company, L.P. Automatic and scalable image selection
JP5538749B2 (ja) * 2009-06-03 2014-07-02 キヤノン株式会社 診断支援システム及びその診断支援方法、プログラム
JP5424921B2 (ja) * 2009-08-31 2014-02-26 キヤノン株式会社 画像処理装置及びその制御方法

Also Published As

Publication number Publication date
JP2012155455A (ja) 2012-08-16
CN102622508A (zh) 2012-08-01
CN102622508B (zh) 2016-12-14
US9230058B2 (en) 2016-01-05
US20120188283A1 (en) 2012-07-26

Similar Documents

Publication Publication Date Title
JP5652227B2 (ja) 画像処理装置および方法、並びにプログラム
EP3497620B1 (en) Enhanced pathology diagnosis
US20180004806A1 (en) Information processing unit, information processing method, and program
WO2019199392A1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
EP2807630B1 (en) Processing and displaying a breast image
US12183449B2 (en) Diagnosis support program, diagnosis support system, and diagnosis support method
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
RU2013123929A (ru) Идентификация и уменьшение искажения изображения
KR20140024190A (ko) 초음파 영상 관리 방법, 표시 방법 및 그 장치
JP4373682B2 (ja) 関心組織領域抽出方法、関心組織領域抽出プログラム及び画像処理装置
CN115393246B (zh) 图像分割系统及图像分割方法
US11594327B2 (en) Information processing apparatus, information processing method, and recording medium
CN116128783B (zh) 一种超声图像的病灶识别方法及相关装置
EP4270311B1 (en) Image identification program, image identification method, image identification device
US20230099284A1 (en) System and method for prognosis management based on medical information of patient
JP6285215B2 (ja) 画像処理装置、磁気共鳴イメージング装置、画像処理方法、およびプログラム
CN116433695A (zh) 一种乳腺钼靶图像的乳腺区域提取方法及系统
EP3822983A1 (en) Learning, indexing, and/or applying aspects of digital hanging protocols
Nawabi et al. Cross-Institutional European Evaluation and Validation of Automated Multilabel Segmentation for Acute Intracerebral Hemorrhage and Complications
Limanova et al. Computed tomography images preliminary processing for their analysis by artificial intelligence methods
EP4657368A1 (en) Target contrast settings for medical images
US20250299388A1 (en) Image processing device, image processing method, image processing program, learning device, learning method, and learning program
Christie et al. Feasibility of simulated realistic textured XCAT phantoms for assessment of radiomic feature stability
JP2023174411A (ja) 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141103

R151 Written notification of patent or utility model registration

Ref document number: 5652227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees