JP7379613B2 - 診断支援装置、診断支援システム、情報処理方法、及びプログラム - Google Patents

診断支援装置、診断支援システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7379613B2
JP7379613B2 JP2022126945A JP2022126945A JP7379613B2 JP 7379613 B2 JP7379613 B2 JP 7379613B2 JP 2022126945 A JP2022126945 A JP 2022126945A JP 2022126945 A JP2022126945 A JP 2022126945A JP 7379613 B2 JP7379613 B2 JP 7379613B2
Authority
JP
Japan
Prior art keywords
image data
image
tomographic image
tomographic
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022126945A
Other languages
English (en)
Other versions
JP2022160629A (ja
Inventor
秀謙 溝部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2022160629A publication Critical patent/JP2022160629A/ja
Application granted granted Critical
Publication of JP7379613B2 publication Critical patent/JP7379613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本明細書の開示は、脳の診断支援装置、診断支援システム、情報処理方法、及びプログラムに関する。
CT装置やMRI装置等の撮影装置により被検者を撮影して得られる画像を利用して、画像において解剖学的領域に対応する画像領域を特定した上で、当該解剖学的領域の特性情報を得る処理が行われている。非特許文献1では、脳を撮影したMRI画像から海馬傍回の委縮度を測定する技術が開示されている。
早期アルツハイマー型痴呆診断支援システム(VSRAD)における水平断画像の有用性 日本放射線技術学会雑誌 Vol.62,No.9,pp.1339-1344,2006
しかしながら、脳には海馬傍回以外の種々の解剖学的領域が存在しており、これらの解剖学的領域の夫々を総合的に考慮して、どのような異常が生じているかを確認することや、診断の参考となる情報を提示することができなかった。
そこで本発明の実施形態に係る診断支援装置は、撮影対象を撮影した第一の三次元断層画像データと第二の三次元断層画像データとを取得する取得部と、前記第一の三次元断層画像データと前記第二の三次元断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成部と、前記第一の三次元断層画像データと前記第二の三次元断層画像データのいずれか一方を構成する複数の断層面画像が積層する積層方向に対応する軸に直交する方向を視線方向として設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成部と、前記投影画像データに基づく画像と、前記第一の三次元断層画像データにおける断層面画像と前記第二の三次元断層画像データにおける断層面画像を表示装置の同一画面に表示させる表示制御部とを備えることを特徴とする。
これにより、脳を撮影した画像を用いて、脳の複数の解剖学的領域の夫々についての異常を確認し、診断するための参考情報を提示することができる。
実施形態に係る画像診断支援システムを説明するためのブロック図である。 実施形態に係る二次元画像のレジストレーションを説明するための図である。 実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。 実施形態に係る年齢推定式を説明するための図である。 実施形態に係る画像診断支援システムを説明するためのフロー図である。 第二の実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。 第二の実施形態に係る画像診断支援システムを説明するためのフロー図である。 第三の実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。 第三の実施形態に係る画像診断支援システムを説明するためのフロー図である。 第四の実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。 第四の実施形態に係る画像診断支援システムを説明するためのフロー図である。 第四の実施形態に係る画像診断支援システムの表示部に表示される表示内容を説明するための図である。 実施形態に係る画像診断支援装置または画像処理装置のハードウェア構成を示す図である 第八の実施形態に係る画像診断支援システムの構成を示す図である。 第八の実施形態に係る断層面画像表示を示す図である。 第八の実施形態に係る断層面画像表示を示す図である。 第八の実施形態に係る断層画像三次元表示を示す図である。 第八の実施形態に係る脳疾患疑い程度表示を示す図である。 第八の実施形態に係る体積比表示を示す図である。 第八の実施形態に係る解析結果表示を示す図である。 第九の実施形態に係る画像診断支援システムの構成を示す図である。 解析レポートの一例を示す図である。
実施形態の1つに係る画像診断支援システムは、画像診断支援装置10と、ネットワーク20と、少なくとも1つの医用画像撮影装置30と、PACS40とを含む。画像診断支援装置10は、例えば後述する画像処理装置50と、表示装置60を含む機能を有している。なおこの例に限らず、画像診断支援装置は表示装置60の機能を有しない画像処理装置50自体をも含む概念である。
まず、本発明の実施形態の説明に必要な用語について説明する。
第一の実施形態におけるネットワーク20とは、各装置を接続する回線のことであり、例えば、専用回線、ローカルエリアネットワーク(LAN)や無線LAN、インターネット回線などである。
実施形態における医用画像撮影装置30とは、診断に用いられる画像を撮影するための装置であり、被検者の脳を含む領域を撮影する撮影装置である。具体例としては、磁気共鳴イメージング(MRI)撮影装置、X線コンピュータ断層(CT)撮影装置、ポジトロン断層(PET)撮影装置等が挙げられる。
実施形態における画像処理装置50とは、画像診断支援装置10のうち表示部の機能を含まないものであり、構成は画像診断支援装置と重複する。以下に説明する各種手続きが動作するようにプログラムされたソフトウェアが実装してあり、必要に応じてプログラムが動作したり、データを保存したりする。
実施形態におけるPACS40とは、画像保存通信システムのことであり、医用画像撮影装置によって撮影された画像を受信して保存したり、接続された装置の要求に応じて画像を送信したりする装置である。また、受信した画像とともに、その画像に関連付けられた各種データも保存可能なデータベースを備える。
実施形態における表示装置60は、表示部である画面と、操作部であるタッチパネル、マウスやキーボードを備え、以下に説明する各種手続きが動作するようにプログラムされたソフトウェアが実装してあり、必要に応じてプログラムが動作したり、データを保存したりする。具体的には、例えば、パーソナルコンピュータが表示装置にあたる。
実施形態における断層画像とは、各種医用画像撮影装置30によって各種パラメータ設定にて取得された、診断に用いられる画像である。具体例としては、磁気共鳴イメージング(MRI)撮影装置において取得されたMR画像、X線コンピュータ断層(CT)撮影装置によって取得されたCT画像、ポジトロン断層(PET)撮影装置によって取得されたPET画像等が挙げられる。なお、MR画像にはいくつかの異なる撮影方法があり、それらによって、T1強調画像、T2強調画像、拡散強調画像等、異なる特徴を持った断層画像を得ることができる。断層画像は1つ以上の二次元画像である断層面画像で構成されており、異なる撮影位置の断層面画像を積層することで、三次元的に人体等の撮影対象を表現している。通常、医師が断層画像を観察して患者の異常の有無を診断する際には、断層画像を構成する断層面画像群を表示する装置を用いて、表示する断層面画像を1つ1つ切り替えながら異常を探す。なお、前述したように、断層像は二次元画像である断層面画像を積層し、三次元的に撮影対象を表現しているため、三次元の直交座標系によって、任意の画素の座標を特定することが可能である。具体的には、断層像を構成するZ番目の断層面画像の、横方向X番目、縦方向Y番目の画素というふうにして画素を特定できる。そのため、医師がある病変を発見したときには、座標(X、Y、Z)に病変がある、というふうに記録することができる。また、画素が座標で特定できることを応用して、例えば、これらの座標群に対応する画素群は大脳領域であるというふうに、領域を複数の座標群で特定することもできる。
実施形態における領域定義画像とは、ある元となる断層画像と同じ画像サイズの断層画像であり、各画素には別途定義された領域種別を表わす数値が設定されている画像である。具体的には、領域定義画像は、前記元となる断層画像を構成する断層面画像と同じ数の断層面画像で構成され、さらに、それらの断層面画の1つ1つは、それぞれ、前記元となる断層画像を構成する断層面画像の1つ1つと同じ数の画素で構成されている。また、領域定義画像は、領域種別を表わす数値として、例えば、骨領域を1、大脳領域を2として定義されている場合、第一の座標群の示す画素群が前記元となる断層画像において骨領域である場合には、領域定義画像における第一の座標群の示す画素群の画素値に1が設定されており、同様に、第二の座標群の示す画素群が前記元となる断層画像において大脳領域である場合には、領域定義画像における第二の座標群の示す画素群の画素値に2が設定されているような断層画像である。つまり、前記元となる断層画像の画素群と領域定義画像の画素群との位置関係が、座標を介して対応しており、例えば領域定義画像の1の画素値を持つ画素群の座標群を知ることができれば、前記元となる断層画像における骨領域の座標を知ることができる。また、頭部であれば200以上の解剖学的な領域が定義されているため、本発明においては、その解剖学的な領域の定義に従って、200種類以上の画素値群で構成された領域定義画像を作成し、細かな領域の特定を可能としている。
実施形態における画像特徴量とは、当該画像に関する特徴を表す属性、指標、数値等である。具体的には、解剖学、構造、機能(例えば、視覚野、聴覚野等)、その他の基準等により、当該画像において特定され得る撮影領域(撮影部位)、画像パラメータ、物理量、二次元および三次元の領域等である。例えば、領域として、頭部の場合では、皮膚、骨、脳室、血管、脳溝、大脳、小脳等がある。なお、頭部は医学教科書等で200以上の解剖学的な領域が定義されており、例として挙げた皮膚や骨などの前記頭部の領域群は、さらに細かい解剖学的な領域が定義されているものも含まれる。例えば、大脳は大きく分けて、大脳皮質と白質、大脳基底核で構成されており、大脳皮質はさらに細かい、前頭葉、頭頂葉、側頭葉、その他複数の解剖学的な領域によって構成されている。さらに、例えば、物理量として、各領域の三次元位置や形状、任意の断層面における面積(さらに何らかの基準領域に対する面積比)、表面積、体積(さらに何らかの基準領域に対する体積比)、画素ごとの画像信号強度群(つまり、画素値群)、平均画像信号強度(つまり、平均画素値)等がある。なお、画素ごとの画像信号強度は、同じ種類の医用画像撮影装置30であっても、撮影装置の製造者や各種パラメータ、撮影機材の配置、被撮影者の違いによって、実際にはまったく同じ体組織を撮影したとしても異なる画素値が得られることがあるため、本発明では、複数の断層画像群の同じ体組織において画素値を比較可能にするために、画像特徴量として正規化された画素値も利用する。正規化する方法の1つとして、画像特徴量の取得対象となる当該画像に含まれる、例えば、体組織以外の安定した画素値が得られる、空気領域の平均画素値が0、かつ、撮影装置のテーブル等の特定の領域の平均画素が500になるように、断層画像全体の画素値を線形補正してから画素値を取得する方法がある。具体的には、ある断層画像の空気領域の平均画素値が100、ある画素の画素値が200、テーブルの特定の領域の平均画素値が300であった場合には、線形補正を行うことによって、空気領域の平均画素値が0、ある画素の画素値が250、テーブルの特定の領域の平均画素値が500となる。もし、断層画像の撮影範囲にテーブル等が含まれない場合、異常の無い骨領域などを代わりに利用してもよい。
実施形態における画像レジストレーション処理とは、2つの異なる断層画像中の撮像対象をなるべく一致するように一方、もしくは、双方の断層画像を変形する処理のことである。簡単には、例えば図2のように、四角形を円に一致するための変形操作も画像レジストレーション処理の一つである。画像レジストレーション処理の手法は数多く提案されており、例えば、「Joseph V.Hanja,Derek L.G.Hill,David J.Hawks,“Medical Image Registration(The BIOMEDICAL ENGINEERING Series)(医用画像レジストレーション(生体医療技術シリーズ))”, CRC Press,2001」には、医用画像において用いられる複数のレジストレーション手法が記載されている。その中でも特に、13章に記載されたいくつかの非剛体レジストレーション(Nonrigid Registration)手法のような処理で本発明における画像レジストレーションが実施可能である。なお、本発明を実施するための実施形態における画像レジストレーション処理においては、LDDMM(Large Deformation Diffeomorphic Metric Mapping)(Miller他 1993,Proceedings of the National Academy of Sciences of the United States of America,90,1 194-1 1948; Joshi 他,1995,Geometric methods in Applied Imaging,San Diego,CA;Granander and Miller,1996,Statistical computing and graphics newsletter 7,3-8)と呼ばれるアルゴリズムを用いた画像レジストレーション処理手法を採用している。具体的な用途として、同じ患者の過去の断層画像とそれよりも新しい断層画像とを医師が見比べ、問題のある変化があるかどうか観察する際に、同じ医用画像撮影装置30で撮影した2つの断層画像であっても、撮影時の患者の姿勢が異なっていると同じ部位でも断層面画像が異なるため、見比べることが困難になる。そのため、前記2つの断層画像を画像レジストレーション処理し、一方、もしくは、双方の断層画像を変形させることで、同じ部位を観察する際に断層面の様相が酷似し、観察が容易になる。なお、通常は一方を変形させて、もう一方になるべく一致するようにするが、前記の、双方を変形させる場合というのは、例えば、2つの断層画像とは別に基準となる同じ撮影対象を含む基準断層画像があり、その基準断層画像に前記2つの断層画像それぞれがなるべく一致するように、前記2つの断層画像を変形させ、結果として、前記基準断層画像を介して、前記2つの断層画像を一致させるという場合である。この方法を採用すると、例えば、ユーザが、4つの断層画像のうち、任意の2つをなるべく一致するように変形させて観察したいときに、最大6通りの組み合わせがあるので、一方を変形させる方法だと6回の画像レジストレーション処理をする必要があるが、基準断層画像を利用する方法だと4回の画像レジストレーション処理をすればよいという利点があり、他には、全ての断層画像群が揃っていない場合でも揃っている断層画像群と基準断層画像で事前に画像レジストレーション処理を行うことができるので、ユーザの待ち時間を減らす効果もある。また、画像レジストレーション処理においては、処理中に、断層画像をどのように変形させるのか制御するための変形情報が生成されており、これに従って断層画像の変形を行う。具体的には、どの座標の画素をどこの座標へ移動させるかといった情報が変形情報に含まれており、その変形情報に従い、断層画像を構成する各画素を移動させることによって変形後の断層画像を生成している。さらに言及すると、前記変形情報に含まれる、どこの座標へ移動させるかという情報が変形後の断層画像の全ての画素の座標を網羅していない場合があり、そのまま断層画像を変形情報に従って変形すると、変形後の断層画像に画素値が設定されていない画素が発生する。その場合には、前記画素値が設定されていない画素に対し、線形補間等の画像補間手法によって、その他の画素値が設定されている画素の値と位置に基づいて画素値を設定することで対応する。かかる処理は、画像診断支援装置10の画像レジストレーション部12や後述する画像処理装置50により実行されることとなる。
本発明を実施するための実施形態におけるセグメンテーション処理とは、断層画像に含まれる1つ以上の領域を特定する処理である。かかる処理により、脳の複数の解剖学的領域に対応する、3次元画像の複数の画像領域が特定される。また別の観点では、前記三次元画像に含まれる脳の領域における、第一の解剖学的領域に対応する第一の画像領域と、該第一の解剖学的領域を含まない第二の解剖学的領域に対応する第二の画像領域が、を特定される。かかる処理は、画像診断支援装置10の画像レジストレーション部12や後述する画像処理装置50により実行されることとなる。ここで、3次元画像とは、撮影位置が異なる複数の2次元の断層画像群であってもよいし、3次元ボリュームデータを指すこととしてもよい。
セグメンテーション処理の手法は数多く提案されているが、例えば、胸部CT画像に含まれる孤立性肺がんのセグメンテーション処理を行う手法の例の1つとして、孤立性肺がんの周りにある、空気を多く含む肺胞領域はCT値が低いが、それと比べて肺がん領域はCT値が高いことを利用して、CT値が低い領域に囲まれたCT値が高い領域を肺がんとみなすという手続きによって、肺がんの領域を特定する場合がある。また、例えば、頭部MR画像の解剖学的な領域のセグメンテーション処理を行う手法の例の1つとして、まず、予め基準となる頭部MR画像とそれに対応する解剖学的な領域を定義した領域定義画像を用意する。つぎに、セグメンテーション処理を行おうとする対象の頭部MR画像の撮影対象である頭部と、前記基準となる頭部MR画像の撮影対象である頭部とが、なるべく一致するように画像レジストレーション処理を実施する。このとき、変形させるのは前記基準となる頭部MR画像とする。なお、前記画像レジストレーション処理に行った際に、どのように変形させるのか制御するための変形情報が生成される。そして、前記領域定義画像にも前記変形情報を適用することで、前記対象の頭部MR画像に対応する領域定義画像を生成することができる。最後に、前記生成された領域定義画像の任意の画素値を持つ座標群を知ることによって、前記対象の頭部MR画像に含まれる任意の領域を特定することができる。前記の手続きにおいて、基準となる頭部MR画像とそれに対応する複数の解剖学的な領域が定義された領域定義画像を用意すれば、対象の頭部MR画像の複数の解剖学的な領域が特定できる。なお、領域定義画像における画素値と領域種別の対応は、別途定義しておく必要がある。例えば、領域定義画像における画素値1は骨領域、画素値2は大脳領域、というふうに定義しておく。さらに言及すると、頭部は200以上の解剖学的な領域が定義されているため、200種類以上の、画素値と領域種別とが対応した定義を作成し、頭部の断層画像とそれに対応する領域定義画像を用意することによって、前記手続きに従って、200以上の細かな領域を特定することができる。
本発明を実施するための実施形態における画像特徴量算出処理とは、例えば解析処理部13により実行される、ある断層画像のセグメンテーション処理によって特定された、任意の領域における画像特徴量を算出する処理である。具体的には、例えば、頭部MR画像のセグメンテーション処理によって、骨と大脳の領域が特定され、画像特徴量算出処理によって、骨領域の表面積や体積、大脳領域の平均画素値などを算出する。ここで解析処理部は、脳の複数の解剖学的領域に対応する複数の画像領域の夫々の、大きさを示す情報の他、画素値の統計値、形状を示す値等を取得する。ここで、大きさを示す情報としては、所定の領域の体積で正規化した、複数の画像領域それぞれの体積の比を示す値を取得する。
なお、実施形態において、例えば、頭部MR画像の画像特徴量と説明する場合には、その頭部MR画像はセグメンテーション処理によって200以上の解剖学的な領域が特定されており、それぞれの領域について画像特徴量算出処理が完了しているため、その頭部MR画像の任意の画像特徴量を参照できる状態にあることを意味する。
実施形態におけるカルテ情報とは、電子カルテ情報を管理する装置に記憶される被検者の情報や、医療情報を含む。例えば、患者もしくは健常者の氏名、年齢、性別、身長、体重、血液型、人種、診断名、病歴、治療歴、通院歴、血液検査の結果等、医療機関施設で利用されている電子カルテで管理されるような数値やテキストで表現される患者および健常者の属性情報である。例えば電子カルテを管理する装置はネットワーク20に接続され、画像診断支援装置10あるいは画像処理装置50は、ネットワークを介してかかる被検者の情報あるいは医療情報を取得する。もちろん、予め画像診断支援装置10や画像処理装置50のメモリにこれら情報を記憶させておき、必要に応じて取得することとしてもよい。
以下、本発明の実施形態に係る画像診断支援システム10について、図3と数1を用いて説明する。なお、図3は、本実施形態に係る画像診断支援システム10の構成を説明するためのブロック図である。また、それぞれの機能ブロックは、それぞれの機能を有する一体として構成されてもよい。また、それぞれの機能ブロックは、別々のサーバにより構成され、それぞれが通信可能に接続されても良い。数1は、重回帰分析による重回帰式の例である。
Figure 0007379613000001
本発明の実施形態に係る画像診断支援システムは、簡単に説明すると、健常者群の頭部MR画像の画像特徴量群を蓄積した健常者データベース70の情報に基づいて、被対象者の頭部MR画像の画像特徴量群より統計的に年齢を推定し、ユーザである患者や健常者、医師などにその推定年齢を提示する画像診断支援システムである。かかる推定処理は、例えば解析処理部13により実現される。
図3の健常者データベース70には、健常者の頭部MR画像の画像特徴量群とその健常者の少なくとも年齢と診断名(健常者であることの記録)を含むカルテ情報とが関連付けられたデータが新生児から高齢者まで網羅的に集められ保存されている。さらに、健常者データベース70は条件が指定されたクエリ―が解析処理部13により生成され、ネットワークを介して出力されると、健常者データベース70はこれを受信する。受信に応じて、保存されているデータ群からそのクエリ―の条件に合致するものを抽出し、抽出結果をクエリ―の送信元に送信する。クエリ―による抽出例として、「年齢が50歳7カ月から51歳6カ月である、健常者の大脳の体積の一覧」や「全ての健常者の、年齢と頭部の全ての領域毎の頭部全体の体積に対する体積比の一覧」などがある。
本発明の実施形態に係る画像診断支援システムは、事前に、健常者データベース70に保存されたデータ群の画像特徴量群を利用して年齢推定式を作成し画像処理装置50に記録している。前記年齢推定式に数値で表わされる、加齢によって変化が表れる画像特徴量を代入することで、統計的に推定された年齢を得ることが出来る。前記年齢推定式には、例えば、重回帰分析による重回帰式が推定式として利用可能である。重回帰分析とは、多変量解析手法の一つで、回帰分析の独立変数が複数になったものである。重回帰分析による重回帰式は、推定したい目的変数と、その目的変数を導くための説明変数、説明変数に対する偏回帰係数、定数項で構成される。具体的に数1で説明すると、yが目的変数、x1およびx2が説明変数、a1はx1の偏回帰係数、a2はx2の偏回帰係数、Interceptが定数項(切片)であり、x1およびx2に数値を代入すると、推定したい目的変数yが導かれる。最終的に利用可能な重回帰式のa1、a2、Interceptには具体的な数値が設定されている必要があるが、それには、複数の実際のデータ群(y、x1、x2)を代入し、最小二乗法等を用いて最も誤差が少なくなるようにa1、a2、および、Interceptを設定する。本発明の実施形態に係る画像診断支援システムは、年齢推定式として、健常者データベース70に保存されたデータ群の画像特徴量群のうち、頭部の200以上の解剖学的な領域毎の頭部全体に対する体積比とカルテ情報の年齢を利用して、年齢推定式を作成し、その年齢推定式を画像処理装置50に記録している。なお、前記年齢推定式の作成に体積比を利用している理由は、人間の脳の一部は加齢によって萎縮することが定性的に知られているためであり、また、領域毎の、体積ではなく頭部全体に対する体積比を利用している理由は、人によって身長や体重が異なるのと同様に、前記頭部の200以上の解剖学的な領域毎の体積は、同じ年齢、性別、人種の健常者間であっても大きく異なる場合があるので、頭部全体の体積に対する各領域の体積の比を利用し、正規化した状態で統計処理に利用するためである。なお、前記年齢推定式は健常者データベース70に「全ての健常者の、年齢と頭部の全ての領域毎の頭部全体の体積に対する体積比」を条件としたクエリ―の抽出結果を重回帰分析することによって作成されており、目的変数は「年齢」であり、説明変数は「頭部の200以上の解剖学的な領域の中から10個の領域を選択し、それらの頭部全体に対する体積比」である。なお、健常者データベース70に保存されているデータ群に基づいて精度の高い前記年齢推定式を作成するため、採用される前記10個の領域は、健常者データベース70が保存するデータ群によって異なる可能性がある。また、前記10個の領域の選択の仕方は、重回帰分析において、自由度修正済決定係数が0.75を超えることを目安とし、また、各説明変数の係数と定数項の有意確率が1%を下回るように選択する。説明変数の数を10個としているのは、一般的に、説明変数の数が増えると重決定係数は増加するが、見かけ上の精度が上がっているだけの可能性が高く、目的変数への影響が少ない説明変数は減らした方が良いからであるため、もし、説明変数の数を増減することによって実際の年齢推定精度が改善されているようであれば、説明変数の数は10で無くても良い。前記上記年齢推定式の例として、図4のような年齢推定式が得られ、aiには各部位名に対応する係数(偏回帰係数)、VolumeRateiには各部位名に対応する領域の頭部全体の体積に対する体積比(説明変数)を代入すると、推定年齢(目的変数)が得られる。また、健常者データベース70に、新たな健常者の頭部MR画像の画像特徴量群とその新しい健常者のカルテ情報とが関連付けられたデータが追加された場合には上記年齢推定式を再作成しても良いが、年齢推定式が変更されることによって年齢推定の結果が変化する可能性あるので、注意が必要である。以上をまとめると、健常者データベース70は数2のように、n個の断層画像についての情報群(数2中のinfo)が保存されており、それぞれの情報群には画像特徴量算出処理において算出されたx個の画像特徴量(数2中のfeature)群とy個のカルテ情報(数2中のrecord)群が含まれる。
Figure 0007379613000002
前記x個の画像特徴量群には少なくとも頭部の200以上(s個の領域とする)の解剖学的な領域毎の頭部全体に対する体積比(数2中のrate)に関するs個の画像特徴量が含まれ、さらに撮影領域や画像パラメータ、各領域の三次元位置や形状、任意の断層面における面積(さらに何らかの基準領域に対する面積比)、表面積、体積(さらに何らかの基準領域に対する体積比)、画素ごとの画像信号強度群(つまり、画素値群)、平均画像信号強度(つまり、平均画素値)等が含まれていても良い。前記y個のカルテ情報群には少なくとも年齢(数2中のage)と診断名(数2中のdiagnosis)(健常者であることの記録)が含まれ、さらに性別、身長、体重、血液型、人種、病歴、治療歴、通院歴、血液検査の結果等が含まれていても良い。また、画像処理装置50には年齢推定式が記録されている。年齢推定式に、頭部のp個(本実施形態では10個)の領域の頭部全体の体積に対する体積比を代入すると、推定年齢が得られる。
以下、本発明の実施形態に係る画像診断支援システムについて、図3に加え、図5を用いて説明する。なお、図5は本発明の実施形態に係る画像診断支援システムを説明するためのフロー図である。
ステップS101において、年齢を推定したい対象者の頭部MR画像を医用画像撮影装置30で撮影し、ネットワーク20を介して、PACS40にその頭部MR画像を保存する。PACS40は頭部MR画像が保存されると自動的に画像処理装置50に、ネットワーク20を介して、その頭部MR画像の保存場所に関する情報を含む画像解析処理開始信号を送信する。なお、上記画像解析処理開始信号は、前記頭部MR画像がPACS40に保存されているのであれば、PACS40が自動的に送信するのではなく、PACS40の代わりにその他の装置が送信してもよく、もしくは、ユーザである患者や健常者、医師などが表示装置60を操作して手動で送信してもよい。
ステップS102において、画像処理装置50の画像処理制御部11は画像解析処理開始信号を受信すると、その画像解析処理開始信号に含まれる上記頭部MR画像の保存場所を参照し、上記頭部MR画像をネットワーク20を介して読み込む。画像処理装置50は前記読み込んだ頭部MR画像をセグメンテーション処理し、200以上の解剖学的な領域を特定する。
S103において、画像処理装置50は、ステップS102のセグメンテーション処理において特定された各領域に対して、画像特徴量算出処理を実施し、その結果である画像特徴量群を画像処理装置50に記録する。
ステップS104において、画像処理装置50の解析処理部13は、ステップS103の画像特徴量算出処理において算出された上記画像特徴量群から、上記年齢推定式の説明変数に対応する、10個の領域の頭部全体に対する体積比を上記年齢推定式に代入し、推定年齢を算出し、画像処理装置50に記録する。なお、前記推定年齢は単なる1つの数値であるため、もしPACS40や表示装置60などのその他装置に前記推定年齢を記録できる機能があるならば、その装置に前記推定年齢を記録してもよい。
ステップS105において、画像処理装置50の表示制御部14はユーザである患者や健常者、医師などが表示装置60において推定年齢を表示する命令操作を行うと、表示装置60はステップS104において画像処理装置50、もしくは、その他装置に記録された推定年齢を読み出し、表示部61に出力する。表示部61は出力された推定年齢を示す情報を表示する。
以上により、実施形態に係る画像診断支援システムは、患者や健常者、医師に断層画像から推定した年齢を提示することができ、本人の実年齢とかけ離れた異常値が提示された際には検査を行うなど、医療的対応のきっかけをつくることができる。また、患者や健常者がいくつかの質問に答えることで、脳の老化具合を測ろうとする手法が世の中にはあるが、実施形態に係る画像診断支援システムを利用して得られる推定年齢を、老化具合の1つの指標として利用することもできる。
以下、本発明の第二の実施形態に係る画像診断支援システムについて、図6を用いて説明する。なお、図6は、第二の実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。また、それぞれの機能ブロックは、それぞれの機能を有する一体として構成されてもよい。また、それぞれの機能ブロックは、別々のサーバにより構成され、それぞれが通信可能に接続されても良い。
本発明の第二の実施形態に係る画像診断支援システムは、簡単に説明すると、患者群の頭部MR画像の画像特徴量群を蓄積した症例データベース80より、被対象者の頭部MR画像の画像特徴量群に類似する症例を抽出し、ユーザである患者や医師などにその類似する症例を提示する画像診断支援システムである。
図6の症例データベース80には、患者の頭部MR画像の画像特徴量群とその患者の少なくとも診断名あるいは所感の情報を含むカルテ情報とが関連付けられたデータが若年者層から高齢者層まで集められ保存されている。画像特徴量群は、脳の各解剖学的領域に対応する画像領域の大きさや画素値の統計量等、脳の解剖学的領域のそれぞれについての特性情報に対応する。カルテ情報には、画像診断が完了した状態であれば画像診断の結果としての診断名が、病理検査まで完了している等の場合は確定診断名が、含まれることとなる。しかしながら、かかる画像診断名や確定診断名が付与されていない場合もある。かかる場合には、医師の診断名に対する所感の情報が含まれることがある。かかる診断名あるいは所感の情報は、類似する症例情報としては参考になるものである。
画像処理装置50の解析処理部13は、画像レジストレーション部12によるセグメンテーションで得られた複数の画像領域の夫々についての特性情報、例えば大きさの情報に基づいて、症例データベース80に含まれる症例情報のうち、現在対象となっている症例に類似する症例を検索する。
ユーザに提示する類似症例の情報として断層画像を提示したい場合には、前記画像特徴量群を算出するために利用された断層画像そのもの、もしくは、その断層画像が保存されているパスを保存しても良い。さらに、症例データベース80は条件が指定されたクエリ―を受信すると、保存されているデータ群からそのクエリ―の条件に合致するものを抽出し、抽出結果をクエリ―の送信元に送信する。クエリ―による抽出例として、「診断名がパーキンソン病であり、かつ、年齢が50歳7カ月から51歳6カ月である、患者の大脳の体積の一覧」や「全ての脳疾患を持つ患者の、頭部の全ての領域毎の頭部全体の体積に対する体積比の一覧」などがある。
本発明の第二の実施形態に係る画像診断支援システムは、事前に、症例データベース80に保存されたデータ群について、類似する特徴を持つデータ同士が近い値を持つように評価スコアを設定する。具体的には、主成分分析の主成分得点が前記評価スコアにあたる。主成分分析について説明すると、主成分分析はデータ群が共通して持つ複数の変数群を合成して、新たな変数(主成分)を作成し、各データについてその変数の値(主成分得点)を算出することで、そのデータ群をより少ない変数で、つまり低次元で評価可能とする手法である。例えば、第一の人間のデータ群の持つ変数として、身長を表わすx1と体重を表わすx2の2つ変数がある場合に、数3のような式により表わされる新たな変数zは、身長を表わす観測変数x1と体重を表わす観測変数x2、および、観測変数x1の係数である主成分負荷量a1と観測変数x2の係数である主成分負荷量a2で表わされる。
Figure 0007379613000003
なお、主成分負荷量a1とa2を設定する際には、変数z軸上で、データ群が最もばらつくようにする。この結果、例えば、第一の人間のデータ群で身長が高く、体重が重いときに変数zが大きくなり、逆に、身長が低く、体重が軽いときに変数zが小さくなる場合には、第一の人間のデータ群は身体の大きさの指標である「体格」によってデータ群を順位付けして評価しやすいと言える。このとき体格の近いデータ同士は変数zの値が近くなる。また、別の人間のデータ群において、身長が低く、体重が重いときに変数zが大きくなり、逆に、身長が高く、体重が軽いときに変数zが小さくなる場合には、第二の人間のデータ群は肥満型か痩せ型かの指標である「体形」によってデータ群を順位付けして評価しやすいと言える。上記の例より、身長と体重の2つの変数によって、体格と体形の2つの新たな変数(主成分)が作成できることが分かったが、第一の人間のデータ群では、体格軸上においてデータ群がもっともばらつく一方で、体形軸上でも少なからずばらつきが発生していると考えられる。そこで、ばらつきが大きい順に、第一の人間のデータ群を分析するときには、第一主成分として体格を、第二主成分として体形を、というふうに設定する場合がある。本発明の第二の実施形態に係る画像診断支援システムは、事前に、症例データベース80に保存されたデータ群の画像特徴量群のうち、頭部の200以上の解剖学的な領域毎の、頭部全体に対する体積比を利用して主成分分析を行い、その結果である、第一主成分負荷量群と第二主成分負荷量群、および、それぞれのデータに対応する第一主成分得点群と第二主成分得点群を画像処理装置50に記録している。このとき、多量の画像特徴量群を利用して主成分分析をおこなっており、各画像特徴量間の関係が複雑となっているため、前記例のように、単純に、「体格」や「体形」といった言葉で表現される指標でデータ群の特徴を表わすことはできないが、統計的にデータ群の差が主成分得点によって順位付けられた状態にできる。なお、類似する症例の抽出精度調整を行う場合によっては、第三主成分、第四主成分、…、第s主成分に関する主成分負荷量群、主成分得点群をさらに記録しておいてもよい。また、領域毎の、体積ではなく頭部全体に対する体積比を利用している理由は、人によって身長や体重が異なるのと同様に、前記頭部の200以上の解剖学的な領域毎の体積は、同じ年齢、性別、人種の健常者間であっても大きく異なる場合があるので、頭部全体の体積に対する各領域の体積の比を利用し、正規化した状態で統計処理に利用するためである。なお、前記主成分分析は症例データベース80に「全ての脳疾患を持つ患者の、頭部の全ての領域毎の頭部全体の体積に対する体積比」を条件としたクエリ―の抽出結果を対象としている。なお、症例データベース80に保存されているデータ群に基づいて精度の高い類似する症例を抽出するために、頭部の全ての領域毎の頭部全体の体積に対する体積比に加えて、頭部の全ての領域毎の正規化された平均画素値や形状など、他の画像特徴量を採用してもよい。以上をまとめると、症例データベース80は数4のように、n個の断層画像についての情報(数4中のinfo)群が保存されており、それぞれの情報群には画像特徴量算出処理において算出されたx個の画像特徴量群とy個のカルテ情報群が含まれる。
Figure 0007379613000004
前記x個の画像特徴量群には少なくとも頭部の200以上(s個の領域とする)の解剖学的な領域毎の頭部全体に対する体積比に関するs個の画像特徴量が含まれ、さらに撮影領域や画像パラメータ、各領域の三次元位置や形状、任意の断層面における面積(さらに何らかの基準領域に対する面積比)、表面積、体積(さらに何らかの基準領域に対する体積比)、画素ごとの画像信号強度群(つまり、画素値群)、平均画像信号強度(つまり、平均画素値)等が含まれていても良い。前記y個のカルテ情報群には少なくとも診断名が含まれ、さらに年齢、性別、身長、体重、血液型、人種、病歴、治療歴、通院歴、血液検査の結果等が含まれていても良い。また、画像処理装置50には数5のように、前記主成分分析の結果のうち、少なくとも第一主成分と第二主成分に対応する結果(数5中のpc1、pc2)を記録しており、さらに必要に応じて第三主成分~第s主成分に対応する結果を記録しても良い。
Figure 0007379613000005
前記結果は、s個の主成分負荷量(数5中のloading)群とn個の主成分得点(数5中のscore)群で構成されている。なお、主成分分析の結果の利用方法の詳細は後述するが、簡単には、新たな断層画像が入力されたときに画像特徴量算出処理によって、数6のような計算方法で、頭部のs個の領域毎の頭部全体の体積に対する体積比(数6中のrate)と対応する主成分負荷量(数6中のloading)とを掛け合わせ、合算することで、その新たな断層画像の第i主成分における主成分得点(数6中のNewScore)を算出することができる。
Figure 0007379613000006
本実施形態においては、前記新たな断層画像より新たな主成分得点群を算出し、それと事前に画像処理装置50に記録されている前記主成分得点群とを比較して、新たな主成分得点群に近い主成分得点群を持つ症例を類似症例として、断層画像やカルテ情報を提示する。例えば新たな主成分得点群をベクトルと見たときの内積値が所定の閾値よりも大きくなるような主成分得点群を有する、症例情報を、類似症例として取得する。
なお画像処理装置50は、内積値を評価値として、上述の方法により類似症例として検索された症例情報のうち、内積値が大きい症例情報から順に、例えば並べて表示させることとすれば、より参考になる情報を優先して表示させることができる。なおここで、画像処理装置50は、症例情報に含まれる情報のうち、当該脳についての医師による診断名または所感の情報を優先して表示させることとする。このようにすることで、類似する症例の診断名や所感を参考に、対象症例の診断名を決定しやすくすることができる。
以下、本発明の第二の実施形態に係る画像診断支援システムについて、図6に加え図7を用いて説明する。なお、図7は本発明の第二の実施形態に係る画像診断支援システムを説明するためのフロー図である。
ステップS201において、類似する症例を抽出したい対象者の頭部MR画像を医用画像撮影装置30で撮影し、ネットワーク20を介して、PACS40にその頭部MR画像を保存する。PACS40は頭部MR画像が保存されると自動的に画像処理装置50に、ネットワーク20を介して、その頭部MR画像の保存場所に関する情報を含む画像解析処理開始信号を送信する。なお、上記画像解析処理開始信号は、前記頭部MR画像がPACS40に保存されているのであれば、PACS40が自動的に送信するのではなく、PACS40の代わりにその他の装置が送信してもよく、もしくは、ユーザである患者や健常者、医師などが表示装置を操作して手動で送信してもよい。
ステップS202において、画像処理装置50は画像解析処理開始信号を受信すると、その画像解析処理開始信号に含まれる上記頭部MR画像の保存場所を参照し、上記頭部MR画像をネットワーク20を介して読み込む。画像処理装置50は前記読み込んだ頭部MR画像をセグメンテーション処理し、200以上の解剖学的な領域を特定する。
ステップS203において、画像処理装置50は、ステップS202のセグメンテーション処理において特定された各領域に対して、画像特徴量算出処理を実施し、その結果である画像特徴量群を画像処理装置50に記録する。
ステップS204において、画像処理装置50は、ステップS203の画像特徴量算出処理において算出された上記画像特徴量群から、上記主成分分析に採用した、体積比などの観測変数に対応する画像特徴量を読み込み、それらと画像処理装置50に記録された主成分負荷量とを利用して、第一主成分得点、第二主成分得点を計算し、対象者の主成分得点群として画像処理装置50に記録する。もし、上記主成分分析において、さらに第三主成分や第四主成分といった、他の主成分に関する主成分負荷量、主成分得点が記録されている場合には、それらに対応する主成分得点も計算して、画像処理装置50に記録してもよい。
ステップS205において、ユーザである患者や医師などが表示装置において類似する症例を表示する命令操作を行うと、まず、表示装置は画像処理装置50に類似症例抽出信号を送信する。つぎに、ネットワーク20を介して、類似症例抽出信号を受信した画像処理装置50は、S204において記録された対象者の主成分得点群に対して、主成分得点軸空間上におけるユークリッド距離の差が小さい順に、例えば5つ、画像処理装置50に記録された上記主成分分析に用いたデータ群の主成分得点群を抽出し、それらの主成分得点群に対応するデータを類似する症例として症例データベース80から抽出する。最後に、画像処理装置50は上記類似する症例に関する画像特徴量と診断名などのカルテ情報を表示装置に送信し、上記ユーザは受信した情報を参照する。このとき、症例データベース80に類似する症例の断層画像も記録されていた場合には、その断層画像も表示装置で受信し参照可能とすることによって、上記ユーザは類似する症例に関して詳しく観察することが可能となり好ましい。
以上により、第二の実施形態に係る画像診断支援システムは、ユーザである患者や医師に、対象者の断層画像に類似する症例を症例データベース80から抽出し、その症例の画像特徴量や診断名などのカルテ情報を提示することができる。そのため、上記ユーザに医学的知識が無い、または、不足している場合などに、上記ユーザは症例データベース80に記録された診断名に加え、治療歴などのその他のカルテ情報が記録されていれば、それらを参考にして、診断などの医療的対応を行うことができる。
以下、本発明の第三の実施形態に係る画像診断支援システムについて、図8を用いて説明する。なお、図8は、第二の実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。また、それぞれの機能ブロックは、それぞれの機能を有する一体として構成されてもよい。また、それぞれの機能ブロックは、別々のサーバにより構成され、それぞれが通信可能に接続されても良い。
本発明の第三の実施形態に係る画像診断支援システムは、簡単に説明すると、患者群の頭部MR画像等の画像特徴量群とカルテ情報群を蓄積した症例データベース80と、被対象者の頭部MR画像の画像特徴量群とカルテ情報に基づいて、被対象者が1つ以上の脳疾患について、それぞれどの程度疑いがあるか、ユーザである患者や健常者、医師などに提示する画像診断支援システムである。
図8の症例データベース80は、本発明を実施するための第二の実施形態における症例データベース80と同様であるが、ユーザである患者や健常者、医師などにどの程度疑いがあるのか提示したい各々の症例に関する、臨床的に既知の特徴を表わす画像特徴量とカルテ情報(医療情報)を各症例情報として保存しておく必要がある。なお、各症例情報として保存されるカルテ情報のうち、上記既知の特徴を表わすものは、後述する主成分分析の観測変数に利用するため、数値化可能である必要があり、例えば、症状の強度レベルなどの段階評価が利用可能である。例えば、アルツハイマー型認知症であれば、記憶障害の5段階強度、失語障害の5段階強度、判断力テストの点数、アミロイドβの蓄積度、頭頂葉の血流低下度、後部帯状回の血流低下度等が利用可能である。また、症例データベース80に保存されるその他の症例の例としては、パーキンソン病、レビー小体型認知症、多系統萎縮症、進行性核上性麻痺、大脳皮質基底核変性症、ウィルソン病、正常圧水頭症、ハンチントン病などである。また、ユーザに提示する類似症例の情報として断層画像を提示したい場合には、前記画像特徴量群を算出するために利用された断層画像そのもの、もしくは、その断層画像が保存されているパスを保存しても良い。
本発明の第三の実施形態に係る画像診断支援システムは、事前に、症例データベース80から、医師などにどの程度疑いがあるのか提示したい各々の症例に関する、臨床的に既知の特徴を表わす画像特徴量群と数値化されたカルテ情報群を観測変数として、症例毎に選択し主成分分析を行う。つまり、上記提示したい各々の症例の数と同数の主成分分析を観測変数を変更しながら行う。具体的には、例えば、アルツハイマー型認知症であれば、頭部全体の体積に対する海馬領域の体積比、記憶障害の5段階強度、失語障害の5段階強度、判断力テストの点数、アミロイドβの蓄積度、頭頂葉の血流低下度、後部帯状回の血流低下度等を主成分分析における観測変数として利用する。そして、前記主成分分析を行い、その結果である、第一主成分と第一主成分負荷量、および、それぞれのデータに対応する第一主成分得点を画像処理装置50に記録している。なお、前記海馬領域の、体積ではなく頭部全体に対する体積比を利用している理由は、人によって身長や体重が異なるのと同様に、前記頭部の200以上の解剖学的な領域毎の体積は、同じ年齢、性別、人種の健常者間であっても大きく異なる場合があるので、頭部全体の体積に対する各領域の体積の比を利用し、正規化した状態で統計処理に利用するためである。また、本発明の第三の実施形態に係る画像診断支援システムにおいては、主成分分析における各主成分の最も寄与率の高いものを第一主成分としている。以上をまとめると、症例データベース80は数7のように、n個の断層画像についての情報(数7中のinfo)群が保存されており、それぞれの情報群には画像特徴量算出処理において算出されたx個の画像特徴量群とy個のカルテ情報群が含まれる。
Figure 0007379613000007
ただし、少なくとも、前記画像特徴群と前記カルテ情報群には、医師などにどの程度疑いがあるのか提示したいd個の症例それぞれに関する、臨床的に既知の特徴を表わす画像特徴量群と数値化されたカルテ情報群を保存する。(以下、説明のため、第i番目の提示したい症例の臨床的な既知の特徴を表わす、画像特徴量群の数とカルテ情報群の数の合計をki個とする。)前記x個の画像特徴量群には、さらに撮影領域や画像パラメータ、各領域の三次元位置や形状、任意の断層面における面積(さらに何らかの基準領域に対する面積比)、表面積、体積(さらに何らかの基準領域に対する体積比)、画素ごとの画像信号強度群(つまり、画素値群)、平均画像信号強度(つまり、平均画素値)等が含まれていても良い。前記y個のカルテ情報群には、さらに年齢、性別、身長、体重、血液型、人種、病歴、治療歴、通院歴、血液検査の結果等が含まれていても良い。また、画像処理装置50には数8のように、医師などにどの程度疑いがあるのか提示したいd個の症例それぞれに関する、臨床的に既知の特徴を表わす画像特徴量群と数値化されたカルテ情報群を利用した前記主成分分析の結果のうち、少なくとも第一主成分に対応する結果(数8中のpca)を記録している。
Figure 0007379613000008
前記結果は、ki個の主成分負荷量(数8中のloading)群とn個の主成分得点(数8中のscore)群で構成されている。なお、主成分分析の結果の利用方法の詳細は後述するが、簡単には、新たな断層画像が入力されたときに、数9のような計算方法で、画像特徴量算出処理の結果やカルテ情報より第i番目の症例の主成分分析に必要なki個の数値(数9中のvalue)群と対応する主成分負荷量(数9中のloading)とを掛け合わせ、合算することで、その新たな断層画像の第一主成分における主成分得点(数9中のNewScore)を算出することができる。
Figure 0007379613000009
本実施形態においては、新たな断層画像に対し、上記第一主成分得点の算出を第一から第d番目の症例それぞれに対し必要な画像特徴量群とカルテ情報群を変更しながら行い、前記新たな断層画像よりd個の新たな第一主成分得点群を算出し、それらと事前に画像処理装置50に記録されている前記第一主成分得点群とを比較して、各症例毎の疑い程度を算出し、医師などのユーザに提示する。
以下、本発明の第三の実施形態に係る画像診断支援システムについて、図8に加え図9を用いて説明する。なお、図9は本発明の第三の実施形態に係る画像診断支援システムを説明するためのフロー図である。
ステップS301において、類似する症例を抽出したい対象者の頭部MR画像を医用画像撮影装置30で撮影し、ネットワーク20を介して、PACS40にその頭部MR画像を保存する。PACS40は頭部MR画像が保存されると自動的に画像処理装置50に、ネットワーク20を介して、その頭部MR画像の保存場所に関する情報を含む画像解析処理開始信号を送信する。なお、上記画像解析処理開始信号は、前記頭部MR画像がPACS40に保存されているのであれば、PACS40が自動的に送信するのではなく、PACS40の代わりにその他の装置が送信してもよく、もしくは、ユーザである患者や健常者、医師などが表示装置を操作して手動で送信してもよい。
ステップS302において、画像処理装置50は画像解析処理開始信号を受信すると、その画像解析処理開始信号に含まれる上記頭部MR画像の保存場所を参照し、上記頭部MR画像をネットワーク20を介して読み込む。画像処理装置50は前記読み込んだ頭部MR画像をセグメンテーション処理し、200以上の解剖学的な領域を特定する。
ステップS303において、画像処理装置50は、ステップS302のセグメンテーション処理において特定された各領域に対して、画像特徴量算出処理を実施し、その結果である画像特徴量群を画像処理装置50に記録する。
ステップS304において、画像処理装置50は、電子カルテ90より上記対象者のカルテ情報のうち、上記主成分分析で採用したカルテ情報をすべて読み込む。
ステップS305において、画像処理装置50は、上記提示したい各々の症例について、ステップS303の画像特徴量算出処理において算出された上記画像特徴量群から、上記主成分分析に採用した、体積比などの観測変数に対応する画像特徴量群と、ステップ304で読み込んだカルテ情報群を読み込み、それらと画像処理装置50に記録された第一主成分負荷量とを利用して、第一主成分得点を計算し、対象者の第一主成分得点として画像処理装置50に記録する。つまり、上記提示したい各々の症例に対応する、上記対象者の第一主成分得点を画像処理装置50に記録する。
ステップS306において、ユーザである患者や医師などが表示装置において1つ以上の脳疾患の疑い程度を表示する命令操作を行うと、まず、表示装置は画像処理装置50に脳疾患の疑い程度算出信号を送信する。つぎに、ネットワーク20を介して、脳疾患の疑い程度算出信号を受信した画像処理装置50は、事前に算出されている上記提示したい各々の症例における最大第一主成分得点を100、最小第一主成分得点を0としたときの、ステップS305において記録された上記対象者の第一主成分がいくつに相当するか、線形的に計算し、これを疑い程度として画像処理装置50に記録する。例えば、上記主成分分析において、画像処理装置50に記録されたアルツハイマー型認知症における最大第一主成分が2、最小第一主成分が-2のときに、上記対象者の第一主成分が1である場合には、75が疑い程度として記録され、その他提示したい各々の症例についても同様に計算され、記録される。最後に、画像処理装置50は上記提示したい各々の症例における疑い程度を表示装置に送信し、表示装置がその疑い程度を表示する。なお、上記疑い程度の計算方法および表示方法は、目的に応じて変更してもよい。
以上により、第三の実施形態に係る画像診断支援システムは、ユーザである患者や医師に、1つ以上の脳疾患について対象者の疑い程度を確認することができる。そのため、上記ユーザに医学的知識が無い、または、不足している場合などに、上記ユーザは上記疑い程度を参考にして、診断などの医療的対応を行うことができる。
本発明を実施するための第四の実施形態における投影画像とは、断層画像から生成した、二次元画像であるMIP(Maximum Intensity Projection)画像やMinIP(Minimum Intensity Projection)画像である。上記投影画像は、PACS40に保存された断層画像を構成する断層面画像に対して、垂直に通る軸周りの視線方向で全画素を投影した画像である。具体的には、1つ以上の、断層面画像であるAxial画像で構成される断層画像を対象としたとき、三次元の直交座標系(X、Y、Z軸座標系)において、Axial画像が積層される方向をZ軸とした場合、視線上方向ベクトルを(X、Y、Z)=(0、0、-1)としたまま、視線方向ベクトルを(X、Y、Z)=(-sinθ、-cosθ、0)として、θを0以上、2π(πは円周率)未満の間で、全画素を投影しながら作成した画像である。つまり、θを変化させることで、撮影対象がZ軸方向を回転軸に回転した状態の投影画像が得られる。さらに言及すると、θが0のとき、Coronal画像方向の投影画像となり、θがπ/2のとき、Sagittal方向の投影画像となる。また、上記投影画像は、撮影対象のボリュームレンダリングやサーフェスレンダリング等の手法によって生成してもよい。
以下、本発明の第四の実施形態に係る画像診断支援システムについて、図10を用いて説明する。なお、図10は、第四の実施形態に係る画像診断支援システムの構成を説明するためのブロック図である。また、それぞれの機能ブロックは、それぞれの機能を有する一体として構成されてもよい。また、それぞれの機能ブロックは、別々のサーバにより構成され、それぞれが通信可能に接続されても良い。
本発明の第四の実施形態に係る画像診断支援システムは、簡単に説明すると、PACS40に保存された2つの断層画像の差分画像を回転表示し、さらに、ユーザが差分画像の任意の画素の座標を指定することで、その場所に対応する断層面画像を表示する、断層画像を比較して観察するのに好適な表示方法と操作方法を提供する画像診断支援システムである。
以下、本発明の第四の実施形態に係る画像診断支援システムについて、図10に加え図11を用いて説明する。なお、図11は本発明の第三の実施形態に係る画像診断支援システムを説明するためのフロー図である。なお、本発明の第四の実施形態では、同じ患者もしくは健常者(以下、対象者と呼ぶ)の同じ部位を同じ種類の医用画像撮影装置30で撮影した、2つの断層画像を比較して観察する場合を説明する。
ステップS401において、比較して観察したい対象者の断層画像を医用画像撮影装置30で撮影し、ネットワーク20を介して、PACS40にその断層画像を保存する。PACS40は断層画像が保存されると自動的に画像処理装置50に、ネットワーク20を介して、その断層画像と前記対象者のその断層画像と同じ撮影部位を含む過去の断層画像の保存場所に関する情報を含む画像解析処理開始信号を送信する。なお、上記画像解析処理開始信号は、前記断層画像および前記過去の断層画像がPACS40に保存されているのであれば、PACS40が自動的に送信するのではなく、PACS40の代わりにその他の装置が送信してもよく、もしくは、ユーザである患者や健常者、医師などが表示装置を操作して手動で送信してもよい。
ステップS402において、画像処理装置50は画像解析処理開始信号を受信すると、その画像解析処理開始信号に含まれる上記断層画像と上記過去の断層画像の保存場所を参照し、それらの断層画像群をネットワーク20を介して読み込む。画像処理装置50は読み込んだ前記断層画像群を画像レジストレーション処理し、2つの断層画像がなるべく一致するように変形する。画像処理装置50は、前記画像レジストレーション処理において生成された、変形した断層画像をPACS40に保存する。なお、本発明の第四の実施形態に係る画像診断支援システムにおいては、説明を簡単にするため、前記断層画像群のうち、前記過去の断層画像のみを変形するものとする。また、事情によって、PACS40に変形した断層画像を保存したくない場合には、前記画像レジストレーション処理で生成された変形情報を画像処理装置50、もしくは、PACS40に保存し、表示装置等の装置が変形した画像を要求したときに、その変形情報を対応する断層画像に適用することで、一時的に変形した画像を作成して、その装置に送信してもよい。
ステップS403において、ユーザである医師が表示装置を操作し、上記断層画像群を表示する命令操作を行うと、まず、表示装置はネットワーク20を介して、PACS40に上記断層画像群を要求する信号を送信し、PACS40はその信号に応答し、表示装置に上記断層画像群のうちステップ401で撮影した断層画像(以下、第一の断層画像と呼ぶ)と、ステップS402においてPACS40に保存された上記変形した断層画像(以下、第二の断層画像と呼ぶ)を、表示装置に送信する。次に、表示装置は第一の断層画像と第二の断層画像とで、対応する座標の画素の画素値間で引き算することで差分画像を作成し、さらに、その投影画像を作成する。なお、ステップ402の時点で、画像処理装置50が前記差分画像および前記投影画像を事前に作成しておき、さらに、PACS40に保存することで、それらを表示装置が読み出して、前述の差分画像と投影画像を作成する処理を省いてもよい。
ステップS404において、ステップ403において作成した投影画像を表示部61に表示する。図12はこのときの様子であり、左から、第二の断層画像である変形した過去の断層画像の断層面画像、第一の断層画像であるステップS401において撮影された最新の断層画像の断層面画像、ステップ403において作成された差分画像の投影画像が表示されている。なお、上記断層画像群がステップS402のレジストレーション処理によって変形された後、完全に一致していれば、ステップ403における差分画像は全画素の画素値が0となるが、実際には、撮影対象の変化やレジストレーション処理の精度不足により、ずれが発生し、差分画像の投影画像において、撮影された上記対象者のおおまかな形状が視認されることが多い。また、前記投影画像は上記視線方向ベクトルにおけるθを一定の時間間隔で変化しながら、表示を更新している。つまり、前記表示部61の前記投影画像が表示されている部分は、上記対象者のおおまかな形状が縦軸を回転軸として回転し続けている回転表示の動画となっている。表示部61の前記投影画像が表示されている部分では、透けた人体が回転しているように見えるため人体の形状が把握しやすく、さらに、異常のある部分が濃く表示されるため、異常のある部分が三次元的に人体のどの場所にあるのか把握しやすい。
ステップS405において、ユーザの各操作を受け付けるため、ユーザが表示装置に接続されたマウス等の操作部62によって、表示部61における投影画像の表示部分にマウスポインタが置かれている場合や、その投影画像の表示部分にフォーカスが移った場合に、ステップS404で説明した投影画像の更新をやめる。つまり、上記動画表示を一時停止し、ユーザには投影画像の回転表示が止まったように見える。そのときに表示部61に接続されたマウスのホイール操作やキーボードの任意のキー操作等の操作部62によって、上記氏や方向べクトのθを変化させ、表示を更新してもよい。つまり、ユーザが上記回転表示を回転と停止を操作できる。また、上記投影画像の任意の座標を表示装置に接続された操作部62によって指定すると、表示装置はステップS404において表示した第一の断層画像の断層面画像と第二の断層画像の断層面画像を更新する。具体的には、上記投影画像は二次元画像であり、上記投影画像を構成する画素群の縦方向であるY座標は、上記断層画像群のZ座標に相当するため、例えば、前記投影画像の表示部分で濃く表示された以上部位を表示装置に接続されたマウス等の操作部62でクリック(指定)すると、前記投影画像におけるY座標および上記断層画像群のZ座標が特定され、表示装置はステップS404において表示した第一の断層画像の断層面画像と第二の断層画像の断層面画像を、それぞれZ番目の断層面画像に更新する。つまり、ユーザは投影画像上で濃く表示されたがんなどの異常部分をクリックすることで、断層面画像での異常部分を観察することができ、これまでの断層面画像の切り替え操作の手間が無くなる。さらに、表示装置に接続された操作部62であるマウスのボタンが押されたことに反応して、前述した前記断層面画像群の切り替えを行うので、上記投影画像上で縦方向のマウスドラッグ操作を行うことによって、第一の断層画像の断層面画像と第二の断層画像の断層面画像とを、同時に、連続して切り替える操作を担うこともできる。
以上により、第四の実施形態に係る画像診断支援システムは、ユーザである医師に、差分画像の投影画像の回転表示によって、2つの断層画像群の差異を三次元的に把握しやすく提示できる。さらに、ユーザが投影画像を操作することによって、差異のある断層面画像を瞬時に表示できるため、比較して観察する際の疲労軽減が期待できる。
本発明の第五の実施形態に係る画像診断支援システムは、第一の実施形態と略同様であるが、健常者データベース70に頭部MR画像だけでなく、他の部位のMR画像やCT画像、PET/SPECT画像といった核医学検査画像の画像特徴量群とその健常者の少なくとも年齢を含むカルテ情報とが関連付けられたデータが新生児から高齢者層まで網羅的に集められ保存されている。そのため、第一の実施形態では任意の患者の頭部MR画像をもとに推定年齢を算出し提示することができたが、第五の実施形態では頭部MR画像だけでなく、他の部位のMR画像やCT画像、PET/SPECT画像、もしくは、それらの組み合わせで推定年齢を算出し提示することができる。すなわち、本発明の処理対象は頭部MR画像のみに限定されるものではなく、他の種類の画像を処理対象とすることとしてもよい。
本発明の第六の実施形態に係る画像診断支援システムは、第二の実施形態と略同様であるが、症例データベース80に頭部MR画像だけでなく、他の部位のMR画像やCT画像、PET/SPECT画像といった核医学検査画像の画像特徴量群とその患者の少なくとも診断名を含むカルテ情報とが関連付けられたデータが若年者層から高齢者層まで集められ保存されている。そのため、第二の実施形態では任意の患者の頭部MR画像をもとに類似症例を検索し提示することができたが、第六の実施形態では頭部MR画像だけでなく、他の部位のMR画像やCT画像、PET/SPECT画像、もしくは、それらの組み合わせで類似症例を検索し提示することができる。すなわち、本発明の類似症例検索は頭部MR画像をもとにした検索に限定されるものではなく、他の種類の画像をもとにした類似症例検索を行うこととしてもよい。
本発明の第七の実施形態に係る画像診断支援システムは、第三の実施形態と略同様であるが、症例データベース80に頭部MR画像だけでなく、頭部CT画像、頭部PET/SPECT画像といった核医学検査画像の画像特徴量群とその患者の少なくとも診断名を含むカルテ情報とが関連付けられたデータが若年者層から高齢者層まで集められ保存されている。そのため、第三の実施形態では任意の患者の頭部MR画像をもとに脳疾患の疑い程度を提示することができたが、第七の実施形態では頭部MR画像だけでなく、頭部CT画像、頭部PET/SPECT画像、もしくは、それらの組み合わせで脳疾患の疑い程度を提示することができる。
第八の実施形態について説明する。まず、本発明を実施するための第八の実施形態の説明に必要な用語について説明する。本発明を実施するための第八の実施形態におけるネットワーク、医用画像撮影装置、画像処理装置、PACS、表示装置、断層画像、画像特徴量、画像セグメンテーション処理および画像特徴量算出処理は、本発明を実施するための第一の実施形態におけるそれぞれの用語と同義である。
以下、本発明の第八の実施形態に係る画像診断支援システムについて、図を用いて説明する。
図14は、第八の実施形態に係る画像診断支援システムの構成を説明するためのブロック図の一例である。また、それぞれの機能ブロックは、それぞれの機能を有する一体として構成されてもよい。また、それぞれの機能ブロックは、別々のサーバにより構成され、それぞれが通信可能に接続されても良い。なお、健常者データベース70には、後述する断層面画像表示1010、断層画像三次元表示1020の「Outlier」表示と体積比表示1040に必要な情報が格納されているが、それらの表示を利用しない場合には健常者データベース70は必須でない。また、症例データベース80は、後述する脳疾患疑い程度表示1030を利用しない場合には必須でない。
第八の実施形態に係る画像診断支援システムは、簡単に説明すると、第一、第三、第五、第七の実施形態で取得・生成された、表示部61に送信される情報群を可視化した提示手段の具体例の一つである。
図15に示す断層面画像表示1010はPACS40から取得可能な断層画像の、ある任意の断面を表示する。ユーザは断層面画像表示1010に設置されている断層面画像表示の表示モード切り替えコンボボックス1011を操作することによって、表示モードを切り替えることが可能である。なお、表示モードには断層面画像に重畳する画像の種類を選択する。具体的には何も情報を表示しない、つまり、断層面画像のみ表示する「Normal」や、画像セグメンテーションの結果、つまり、画像セグメンテーション処理および画像特徴量算出処理の結果である脳の解剖学的な領域毎に1つ以上の色で色分け、または、領域群の輪郭を描画した画像を重畳表示する「Region」や、図16のように画像特徴量の異常値を持つ領域、つまり、健常者と比べて任意の領域の体積や信号値といった画像特徴量の差が大きい領域を強調した画像を重畳表示する「Outlier」などの情報の種類を選択することができる。また、断層面画像や重畳する画像は透明度を調整可能とし、双方の情報を同時に観察可能とするのが好ましい。さらに、ユーザが操作手段のひとつであるマウスで任意の領域をクリックしたり、マウスポインタをマウスオーバーさせたりするによって、その表示上の座標と対応する断層面画像の座標の領域名を表示してもよい。例えば、画像セグメンテーションおよび画像特徴量算出処理の結果よりクリックされた場所が「right cerebral cortex」に対応するならば、断層面画像表示1010中に「right cerebral cortex」の文字列を表示する。応用して、領域名だけでなく、体積や、別の時点で撮影した同じ患者のMR画像の画像セグメンテーションの結果を利用して、体積がどれだけ変わったか体積比を表示するなど、画像特徴量から算出される値をしてもよい。ユーザは断層面画像表示の表示断面切り替えコンボボックス1012を操作することによって、断層面画像の表示断面を切り替えることが可能である。代表的には「Axial」、「Coronal」、「Sagittal」といった表示断面に切り替え可能である。加えて、本発明によって脳の解剖学的な領域が判明していることから、PC-ACラインなど、領域情報を元に事前に条件設定された断面に切り替えられると好ましい。なお、断層面画像表示1010は操作手段であるマウスのホイール操作やドラッグ操作とキーボードのキー操作の組み合わせによって、断層面変更(ページング)、拡大・縮小、表示領域移動、ウィンドウレベル変更などの操作ができる。以上により、診断に必要な断層画像の観察とともに、解析された各領域の特徴を確認することができる。
図17の断層画像三次元表示1020は、断層画像のボリュームレンダリング画像やサーフェスレンダリング画像である。なお、サーフェスレンダリング画像の場合は、画像セグメンテーション結果を利用して、脳の解剖学的な領域群の輪郭に相当する部分を表面としてメッシュを構成するのが好ましい。また、断層画像三次元表示1020中に表示される三次元画像の投影には操作手段であるマウスのホイール操作やドラッグ操作とキーボードのキー操作の組み合わせによって視線方向を変えて再描画させ、一定間隔で自動的に視線方向を変えながら脳が回転しているかのように連続して描画するような表示方法にすると好ましい。さらに、断層画像三次元表示1020に表示される画像は、画像セグメンテーション処理および画像特徴量算出処理によって、脳の解剖学的な領域が判明しているので、領域毎に異なる色で着色して領域範囲の視認性を高めることが可能である。本実施例においては断層面画像表示1010と同様にして、断層画像三次元表示の表示モード切り替えコンボボックス1021を操作することにより、「Region」もしくは「Outlier」を選択し、各領域もしくは異常領域に色付けする。以上により、複数領域の特徴を三次元的に把握することができる。
図18の脳疾患疑い程度表示1030は、本発明の第三や第七の実施形態において算出される、各脳疾患の疑い程度を複数同時に確認するためのパイチャート表示である。なお、本実施例のパイチャート表示においては、疑いの高い脳疾患名の値が大きく表示される。つまり、円の辺縁部に多角形の頂点が近づく。例えば、図18に示す脳疾患疑い程度表示1030の例では、CBDという脳疾患の疑いが最も高く、MSA-Cという脳疾患の疑いが最も低い。
図19の体積比表示1040は、任意の患者と複数の健常者群における、脳の解剖学的な任意の領域に対する、体積比の表示である。具体的には、図19のように、ユーザが体積比表示の対象切り替えコンボボックス1041を操作して脳の解剖学的な領域名を選択すると、凡例1042が示す印群が、プロットエリア1043に表示される。なお、「Healthy Control」が健常者、「Actual Age」が任意の患者、「Estimated Age」が本発明の第一や第五の実施形態で算出された任意の患者の推定年齢である。プロットエリアの横軸方向は年齢であり、縦軸方向はユーザが選択した上記領域の健常者群の正規化された平均体積を100%とした体積比である。つまり、図19において体積比は上下中央に近いほど平均的な体積であることが分かる。逆に、上下中央から離れると選択した上記領域は異常な体積であり、肥大化、もしくは、萎縮が進んでいることが分かる。なお、プロットエリア1043に表示される印群は、「Healthy Control」、「Actual Age」、「Estimated Age」のうち、1つ以上を組み合わせたものである。具体的な表示例を示すと、図19において、患者の「right cerebral cortex」の体積は健常者群と比べて比較的小さく、患者の推定年齢は実年齢よりも高いことが分かる。
図20の解析結果表示1050は、上記の断層面画像表示1010、断層画像三次元表示1020、脳疾患疑い程度表示1030、体積比表示1040から1つ以上を自由に組み合わせて表示したものである。近年の表示装置は解像度が十分に高く、複数の情報を一度に表示することが可能であり、ユーザにとっても、一度で複数の情報を観察可能である方が操作の手間を省くことが可能であり、時間短縮等の点で有効であることが多い。
以上により、第八の実施形態に係る画像診断支援システムは、主なユーザである医師に、断層画像や本発明に係る情報群を効果的に表示したり、一度に1つ以上表示することにより、効率的に診断を進められるため、異常の見落としを防いだり、作業時間短縮、疲労軽減などの効果が期待できる。
第九の実施形態の実施形態について説明する。まず、本発明を実施するための第九の実施形態の説明に必要な用語について説明する。本発明を実施するための第九の実施形態におけるネットワーク、医用画像撮影装置、画像処理装置、PACS、表示装置、断層画像、画像セグメンテーション処理、画像特徴量算出処理、カルテ情報は、本発明を実施するための第一の実施形態におけるそれぞれの用語と同義である。
第九の実施形態に係る画像診断支援システムは、図21に示すように、第七の実施形態の構成の表示装置に、紙に印刷可能な印刷装置、もしくは、PDFやHTMLファイル等の電子帳票データを生成する電子帳票生成装置である帳票出力装置が接続され、図22に示すような解析レポート1060が紙に印刷される、もしくは、電子帳票データが表示手段61に表示される形でユーザに提供可能な画像診断支援システムである。
図22に示す解析レポート1060は、患者情報欄1061、解析サマリ欄1062、および、第九の実施形態で示した断層面画像表示1010、断層画像三次元表示1020、脳疾患疑い程度表示1030、体積比表示1040を画像化した解析画像群のうち、1つ以上が組み合わされて構成される。なお、解析レポート1060の構成は、ユーザが設定可能であってもよい。また、上記したもの以外にも組み合わせるものがあってもよい。例えば、ユーザが任意に入力できるコメント欄などである。
患者情報欄1061に含まれる患者情報は断層画像のヘッダ情報に含まれる患者情報から取得しても良いし、本実施形態の構成に電子カルテ等を接続してカルテ情報から取得しても良い。
解析サマリ欄1062に記述される内容は、第一、第三、第五、第七の実施形態で取得・生成された情報を文章化したものである。なお、全ての情報を文章化すると膨大な量になってしまうので、予め設定された基準において文章化を行い、重要な情報をユーザに提供する。文章化の例として、画像セグメンテーション処理および画像特徴量算出処理によって取得される脳の解剖学的な領域群について、健常者データベースを参照し、領域毎に正規化された平均体積との比を比べ、例えば110%以上や90%以下など著しく異なる異常領域があった場合、その領域について情報を文章化する。文章化には「Xが著しく肥大化しています。」、「Xが著しく萎縮しています。」といったテンプレート文章を用意して、文章中の「X」を領域名に置き換えればよい。なお、異常領域があまりにも多い場合には、体積比の絶対値が大きいものから順にいくつか自動選択されたり、アルツハイマー病などの診断に重要な領域である海馬といった診断に重要な領域を自動選択してもよい。また、文章化の例として、第一の実施形態により取得される推定年齢に関しては、実年齢と例えば10歳以上差がある場合にその旨、文章化するなどすればよい。文章化には「推定年齢が実年齢と比べてY歳の差があります。」というテンプレート文章を用意して、文章中の「Y」を実年齢と推定年齢の差に置き換えればよい。また、文章化の例として、第三の実施形態により取得される各脳疾患の疑い程度より、予め設定された閾値を超えた疑い程度の疾患名をZとした場合に、「この患者はZの疑いがあると解析されました。」と文章化するなどすればよい。
以上により、本発明の第九の実施形態に係る画像診断支援システムは、解析レポートを出力し、複数のユーザ間で情報をやりとりし、記録として情報を蓄積することが可能となる。
図13に基づき、上述の第一乃至第九に示す画像診断支援装置10あるいは画像処理装置50の、ハードウェア構成について説明する。画像診断支援装置10あるいは画像処理装置50は、CPU(Central Processing Unit)1301と、RAM(Random Access Memory)1302と、SSD(SolidState Drive)1303と、NIC(Network InterfaceCard)1304と、GPU(Graphics Processing Unit)1305と、USB(Universal Serial Bus)1306と、これらを接続するバス1307を有する情報処理装置(コンピュータ)1300により実現される。SSD1303は、上述の実施形態に係る3次元画像や、画像に関わる情報、被検者の各種情報、医療情報等を記憶する他、上述の図5、7、9及び11のフローチャートに示す処理を実現するためのソフトウェアプログラムが記憶される。かかるソフトウェアプログラムは、CPU1301によりRAM1302に展開される。展開されることにより得られる複数の命令をCPU1301により実行することにより、上述の図5、7、9及び11のフローチャートに示す処理が実現される。
NIC1304はネットワーク20に接続するためのインタフェース部であり、NIC1304を介してネットワーク上の他の装置と通信する。GPU1305は、画像処理を行うためのユニットである。例えば脳を撮影した三次元画像の領域を、複数の解剖学的領域に対応する複数の画像領域に分割するセグメンテーション処理や、レジストレーションの処理をGPU1305で行うこととしてもよい。USB1306は、例えばマウスやキーボード等の操作部を接続する為のインタフェースである。例えば、タッチパネル式のモニタを表示部及び操作部として用いる場合には、タッチパネル式のモニタと、GPU1305、USB1306で接続する。表示データはGPU1305を介して情報処理装置1300からモニタに送信され、操作入力データはUSB1306を介してモニタから情報処理装置1300に送信される。
画像診断支援装置10あるいは画像処理装置50は、ネットワークで接続された複数の情報処理装置を含む情報処理システムにより同様の機能を実現することもできる。この場合の診断支援システム或いは画像処理システムでは、例えば画像処理に関わる画像レジストレーション部12と、その他の機能とを別の情報処理装置で行うようにしてもよい。ここでさらに、画像レジストレーション部12の機能を実行する情報処理装置は、その他の機能を実行する複数の情報処理装置に対して共通に用いられるものであってもよい。また、情報処理システムに含まれる複数の情報処理装置は、同一の施設あるいは国に存在することを要しない。

Claims (16)

  1. 撮影対象を撮影した第一の三次元断層画像データと第二の三次元断層画像データとを取得する取得部と、
    前記第一の三次元断層画像データと前記第二の三次元断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成部と、
    前記第一の三次元断層画像データと前記第二の三次元断層画像データのいずれか一方を構成する複数の断層面画像が積層する積層方向に対応する軸に直交する方向を視線方向として設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成部と、
    前記投影画像データに基づく画像と、前記第一の三次元断層画像データにおける断層面画像と、前記第二の三次元断層画像データにおける断層面画像とを表示装置の同一画面に表示させる表示制御部とを備えることを特徴とする診断支援装置。
  2. 前記投影画像生成部は、前記差分画像データにおける前記撮影対象に対する視線方向を一定の時間間隔で変更して前記投影画像データを更新し、
    前記表示制御部は、該更新された投影画像データに基づく画像を表示装置に表示させることを特徴とする請求項1に記載の診断支援装置。
  3. 前記視線方向を設定する操作部を備えることを特徴とする請求項1に記載の診断支援装置。
  4. 前記投影画像生成部は、前記撮影対象が所定の回転軸を中心に回転した状態の投影画像データを生成することを特徴とする請求項1に記載の診断支援装置。
  5. 前記所定の回転軸は、前記撮影対象の体軸であることを特徴とする請求項4に記載の診断支援装置。
  6. 前記投影画像生成部は、前記視線方向を一定の時間間隔で変更して前記投影画像データを更新し、Coronal方向の投影画像データとSagittal方向の投影画像データとを生成することを特徴とする請求項2に記載の診断支援装置。
  7. 前記表示装置に表示されている前記投影画像データに基づく画像に対してポインタが設置されている場合、前記投影画像生成部は前記投影画像データを更新しないことを特徴とする請求項2に記載の診断支援装置。
  8. 前記表示制御部は、前記投影画像データに基づく画像に対して設置されたポインタの位置に対応する断層面画像を前記第一の三次元断層画像データ又は前記第二の三次元断層画像データを用いて表示させることを特徴とする請求項7に記載の診断支援装置。
  9. 前記投影画像データは、MIP(Maximum Intensity Projection)画像データ又はMinIP(Minimum Intensity Projection)画像であることを特徴とする請求項1に記載の診断支援装置。
  10. 撮影対象を撮影した第一の三次元断層画像データと第二の三次元断層画像データとを取得する取得部と、
    前記第一の三次元断層画像データと前記第二の三次元断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成部と、
    前記第一の三次元断層画像データと前記第二の三次元断層画像データのいずれか一方を構成する複数の断層面画像が積層する積層方向に対応する軸に直交する方向を視線方向として設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成部と、
    前記投影画像データに基づく画像と、前記第一の三次元断層画像データにおける断層面画像と、前記第二の三次元断層画像データにおける断層面画像とを表示装置の同一画面に表示させる表示制御部とを備えることを特徴とする診断支援システム。
  11. 撮影対象を撮影した第一の三次元断層画像データと第二の三次元断層画像データとを取得する取得工程と、
    前記第一の三次元断層画像データと前記第二の三次元断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成工程と、
    前記第一の三次元断層画像データと前記第二の三次元断層画像データのいずれか一方を構成する複数の断層面画像が積層する積層方向に対応する軸に直交する方向を視線方向として設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成工程と、
    前記投影画像データに基づく画像と、前記第一の三次元断層画像データにおける断層面画像と、前記第二の三次元断層画像データにおける断層面画像とを表示装置の同一画面に表示させる表示工程を備えることを特徴とする情報処理方法。
  12. 請求項11に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  13. 撮影対象を撮影した第一の断層画像データと第二の断層画像データとを取得する取得部と、
    前記第一の断層画像データと前記第二の断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成部と、
    前記撮影対象に対する視線方向を設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成部と、
    前記投影画像データに基づく画像を表示装置に表示させる表示制御部とを備え、
    前記投影画像生成部は前記差分画像データにおける前記撮影対象に対する視線方向を一定の時間間隔で変更して前記投影画像データを更新し、前記表示制御部は該更新された投影画像データに基づく画像を表示装置に表示させ、
    前記表示装置に表示されている前記投影画像データに基づく画像に対してポインタが設置されている場合、前記投影画像生成部は前記投影画像データを更新しないことを特徴とする診断支援装置。
  14. 撮影対象を撮影した第一の断層画像データと第二の断層画像データとを取得する取得部と、
    前記第一の断層画像データと前記第二の断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成部と、
    前記撮影対象に対する視線方向を設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成部と、
    前記投影画像データに基づく画像を表示装置に表示させる表示制御部とを備え、
    前記投影画像生成部は前記差分画像データにおける前記撮影対象に対する視線方向を一定の時間間隔で変更して前記投影画像データを更新し、前記表示制御部は該更新された投影画像データに基づく画像を表示装置に表示させ、
    前記表示装置に表示されている前記投影画像データに基づく画像に対してポインタが設置されている場合、前記投影画像生成部は前記投影画像データを更新しないことを特徴とする診断支援システム。
  15. 撮影対象を撮影した第一の断層画像データと第二の断層画像データとを取得する取得工程と、
    前記第一の断層画像データと前記第二の断層画像データとを用いて差分処理を行うことにより差分画像データを生成する差分画像生成工程と、
    前記撮影対象に対する視線方向を設定し、該設定された視線方向に基づく前記差分画像データの投影画像データを生成する投影画像生成工程と、
    前記投影画像データに基づく画像を表示装置に表示させる表示工程とを備え、
    前記投影画像生成工程では、前記差分画像データにおける前記撮影対象に対する視線方向を一定の時間間隔で変更して前記投影画像データを更新し、前記表示工程では、該更新された投影画像データに基づく画像を表示装置に表示させ、
    前記表示装置に表示されている前記投影画像データに基づく画像に対してポインタが設置されている場合、前記投影画像データを更新しないことを特徴とすることを特徴とする情報処理方法。
  16. 請求項15に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2022126945A 2015-04-15 2022-08-09 診断支援装置、診断支援システム、情報処理方法、及びプログラム Active JP7379613B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015083721 2015-04-15
JP2015083721 2015-04-15
JP2021133355A JP2021180929A (ja) 2015-04-15 2021-08-18 診断支援装置、診断支援システム、情報処理方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021133355A Division JP2021180929A (ja) 2015-04-15 2021-08-18 診断支援装置、診断支援システム、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022160629A JP2022160629A (ja) 2022-10-19
JP7379613B2 true JP7379613B2 (ja) 2023-11-14

Family

ID=57129354

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016081487A Pending JP2016202904A (ja) 2015-04-15 2016-04-14 診断支援装置、診断支援システム、情報処理方法、及びプログラム
JP2020068693A Active JP6932810B2 (ja) 2015-04-15 2020-04-06 診断支援装置、診断支援システム、情報処理方法、及びプログラム
JP2021133355A Pending JP2021180929A (ja) 2015-04-15 2021-08-18 診断支援装置、診断支援システム、情報処理方法、及びプログラム
JP2022126945A Active JP7379613B2 (ja) 2015-04-15 2022-08-09 診断支援装置、診断支援システム、情報処理方法、及びプログラム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2016081487A Pending JP2016202904A (ja) 2015-04-15 2016-04-14 診断支援装置、診断支援システム、情報処理方法、及びプログラム
JP2020068693A Active JP6932810B2 (ja) 2015-04-15 2020-04-06 診断支援装置、診断支援システム、情報処理方法、及びプログラム
JP2021133355A Pending JP2021180929A (ja) 2015-04-15 2021-08-18 診断支援装置、診断支援システム、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (2) US20160306936A1 (ja)
JP (4) JP2016202904A (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2974324A1 (en) 2015-01-28 2016-08-04 Zita S. Netzel Drug delivery methods and systems
JP2018511127A (ja) 2015-03-12 2018-04-19 クロノ セラピューティクス インコーポレイテッドChrono Therapeutics Inc. 渇望入力及び支援システム
US10891444B2 (en) * 2015-10-26 2021-01-12 The Johns Hopkins University Automated generation of sentence-based descriptors from imaging data
JP6827739B2 (ja) * 2016-08-31 2021-02-10 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム
WO2018129304A1 (en) 2017-01-06 2018-07-12 Chrono Therapeutics Inc. Transdermal drug delivery devices and methods
US11074320B1 (en) * 2017-02-01 2021-07-27 Walgreen Co. Technology for automatically processing prescription functionalities based on transmitted digital images
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
JP6771109B2 (ja) * 2017-08-29 2020-10-21 富士フイルム株式会社 医用情報表示装置、方法及びプログラム
WO2019176407A1 (ja) 2018-03-16 2019-09-19 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
US11596779B2 (en) 2018-05-29 2023-03-07 Morningside Venture Investments Limited Drug delivery methods and systems
JP6914233B2 (ja) * 2018-08-31 2021-08-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
EP3881751A4 (en) * 2018-11-14 2021-12-15 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM
EP3735897A1 (en) * 2019-05-09 2020-11-11 Inteneural Networks Inc. A system and a method for determining brain age using a neural network
US20230260198A1 (en) * 2020-07-03 2023-08-17 Hirofumi Seo Image processing device, image processing method, and storage medium
DE102020209703A1 (de) * 2020-07-31 2022-02-03 Siemens Healthcare Gmbh Bereitstellen eines 3D-Bilddatensatzes eines Untersuchungsobjekts
JPWO2022071160A1 (ja) * 2020-10-01 2022-04-07
EP4223229A4 (en) * 2020-10-01 2024-04-10 Fujifilm Corp DIAGNOSTIC AID DEVICE, METHOD FOR OPERATING THE DIAGNOSTIC AID DEVICE, PROGRAM FOR OPERATING THE DIAGNOSTIC AID DEVICE, DEMENTIA DIAGNOSTIC METHOD AND LEARNED MODEL FOR DERIVING DEMENTIA SYMPTOMS
CN116322523A (zh) * 2020-10-01 2023-06-23 富士胶片株式会社 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法
WO2023190880A1 (ja) * 2022-03-31 2023-10-05 株式会社エム 脳画像データ解析装置、脳画像データ解析方法および脳画像データ解析プログラム
JP2023154957A (ja) * 2022-04-08 2023-10-20 株式会社トーメーコーポレーション 推定システム、推定方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001252262A (ja) 2000-03-13 2001-09-18 Hitachi Medical Corp Mri差分画像処理方法及びmri装置
JP2002330958A (ja) 2000-12-04 2002-11-19 Ge Medical Systems Global Technology Co Llc 医用画像データを選択し表示する方法及び装置
JP2007125240A (ja) 2005-11-04 2007-05-24 Hitachi Medical Corp 画像診断装置
JP2007181659A (ja) 2005-12-08 2007-07-19 Hitachi Medical Corp 画像処理装置、磁気共鳴イメージング装置及び画像処理方法
JP2010136765A (ja) 2008-12-09 2010-06-24 Toshiba Corp 画像処理装置
US20120081386A1 (en) 2009-06-10 2012-04-05 Koninklijke Philips Electronics N.V. Visualization apparatus for visualizing an image data set

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5431161A (en) * 1993-04-15 1995-07-11 Adac Laboratories Method and apparatus for information acquistion, processing, and display within a medical camera system
US20050010098A1 (en) * 2003-04-11 2005-01-13 Sigmund Frigstad Method and apparatus for knowledge based diagnostic imaging
US7620229B2 (en) * 2003-08-14 2009-11-17 Fujifilm Corporation Method and apparatus for aiding image interpretation and computer-readable recording medium storing program therefor
US20050114175A1 (en) * 2003-11-25 2005-05-26 O'dea Paul J. Method and apparatus for managing ultrasound examination information
US7961921B2 (en) * 2005-09-27 2011-06-14 General Electric Company System and method for medical diagnosis and tracking using three-dimensional subtraction in a picture archiving communication system
JP5186620B2 (ja) * 2006-03-30 2013-04-17 国立大学法人静岡大学 脳萎縮判定装置、脳萎縮判定方法及び脳萎縮判定プログラム
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
US8175363B2 (en) * 2007-11-21 2012-05-08 Siemens Medical Solutions Usa, Inc. System and method for additive spatial/intensity decomposition of medical images
JP5243865B2 (ja) * 2008-07-07 2013-07-24 浜松ホトニクス株式会社 脳疾患診断システム
WO2010119356A2 (en) * 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. Clinical decision support systems and methods
US9275456B2 (en) * 2010-10-29 2016-03-01 The Johns Hopkins University Image search engine
US20130222383A1 (en) * 2010-11-12 2013-08-29 Hitachi Medical Corporation Medical image display device and medical image display method
HK1160580A2 (en) * 2011-05-16 2012-07-20 Global Advanced Vision Ltd A method and system for determining a condition of a brain
WO2013144803A2 (en) * 2012-03-29 2013-10-03 Koninklijke Philips N.V. System and method for improving neurologist's workflow on alzheimer's disease
JP2016508769A (ja) * 2013-01-28 2016-03-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像処理
JP5641629B1 (ja) * 2013-10-31 2014-12-17 株式会社アラヤ・ブレイン・イメージング 個人特性予測システム、個人特性予測方法及びプログラム
US20150212676A1 (en) * 2014-01-27 2015-07-30 Amit Khare Multi-Touch Gesture Sensing and Speech Activated Radiological Device and methods of use
US10105077B2 (en) * 2014-05-05 2018-10-23 Pacesetter, Inc. Method and system for calculating strain from characterization data of a cardiac chamber

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001252262A (ja) 2000-03-13 2001-09-18 Hitachi Medical Corp Mri差分画像処理方法及びmri装置
JP2002330958A (ja) 2000-12-04 2002-11-19 Ge Medical Systems Global Technology Co Llc 医用画像データを選択し表示する方法及び装置
JP2007125240A (ja) 2005-11-04 2007-05-24 Hitachi Medical Corp 画像診断装置
JP2007181659A (ja) 2005-12-08 2007-07-19 Hitachi Medical Corp 画像処理装置、磁気共鳴イメージング装置及び画像処理方法
JP2010136765A (ja) 2008-12-09 2010-06-24 Toshiba Corp 画像処理装置
US20120081386A1 (en) 2009-06-10 2012-04-05 Koninklijke Philips Electronics N.V. Visualization apparatus for visualizing an image data set

Also Published As

Publication number Publication date
JP2016202904A (ja) 2016-12-08
US20200035349A1 (en) 2020-01-30
JP2021180929A (ja) 2021-11-25
JP2022160629A (ja) 2022-10-19
US11996172B2 (en) 2024-05-28
JP6932810B2 (ja) 2021-09-08
JP2020110661A (ja) 2020-07-27
US20160306936A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
JP7379613B2 (ja) 診断支援装置、診断支援システム、情報処理方法、及びプログラム
DE102015226669B4 (de) Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
US9122773B2 (en) Medical information display apparatus and operation method and program
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
US20100231605A1 (en) Medical image processing device and medical image processing program
US11941812B2 (en) Diagnosis support apparatus and X-ray CT apparatus
JP6771109B2 (ja) 医用情報表示装置、方法及びプログラム
JP2006208250A (ja) 画像データの領域分類解析システム
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
JP6821036B2 (ja) 医用画像処理装置、方法およびプログラム
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6755406B2 (ja) 医用画像表示装置、方法及びプログラム
JPWO2019044082A1 (ja) 医用画像処理装置、方法およびプログラム
JP2019074343A (ja) 画像処理装置、画像処理方法およびプログラム
US20190236783A1 (en) Image processing apparatus, image processing method, and program
JP2022164785A (ja) 情報処理装置、情報処理方法、及びプログラム
US10929990B2 (en) Registration apparatus, method, and program
JP6998760B2 (ja) 脳画像解析装置、脳画像解析方法、及び脳画像解析プログラム
JP6788113B2 (ja) 医用画像処理装置、方法およびプログラム
US20220044052A1 (en) Matching apparatus, matching method, and matching program
US11195272B2 (en) Medical image processing apparatus, medical image processing system, and medical image processing method
JP6765396B2 (ja) 医用画像処理装置、方法およびプログラム
CN1954778A (zh) 用于将放射图像数据映像到神经解剖学坐标系中的方法
CN113643222A (zh) 多模态影像的分析方法、计算机设备和存储介质
JP2021076585A (ja) 疾患データベースとの関連性を用いた診断補助技術

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R151 Written notification of patent or utility model registration

Ref document number: 7379613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151