JP7318058B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP7318058B2 JP7318058B2 JP2022079581A JP2022079581A JP7318058B2 JP 7318058 B2 JP7318058 B2 JP 7318058B2 JP 2022079581 A JP2022079581 A JP 2022079581A JP 2022079581 A JP2022079581 A JP 2022079581A JP 7318058 B2 JP7318058 B2 JP 7318058B2
- Authority
- JP
- Japan
- Prior art keywords
- likelihood
- image
- image processing
- processing apparatus
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 146
- 238000004364 calculation method Methods 0.000 claims description 29
- 210000004072 lung Anatomy 0.000 claims description 17
- 239000000126 substance Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 13
- 210000004204 blood vessel Anatomy 0.000 claims description 11
- 210000001519 tissue Anatomy 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 7
- 230000003902 lesion Effects 0.000 claims description 7
- 210000000056 organ Anatomy 0.000 claims description 7
- 239000005337 ground glass Substances 0.000 claims description 5
- 239000012528 membrane Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 210000000577 adipose tissue Anatomy 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 210000004872 soft tissue Anatomy 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 98
- 238000002591 computed tomography Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 20
- 238000004891 communication Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 239000005338 frosted glass Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明の実施形態は、画像処理装置に関する。 An embodiment of the present invention relates to an image processing apparatus .
X線CT(Computed Tomography)装置等の医用画像診断装置によって収集された画像のテクスチャパターンを自動で識別する技術が知られている。この種の技術は、CT画像上で特徴的なテクスチャパターンを示す、例えば、びまん性肺疾患等の疾患の診断に有用である(例えば、非特許文献1参照。)。そのため、この種の技術は、所定の疾患等の診断への活用が期待されている。 Techniques for automatically identifying texture patterns in images acquired by a medical image diagnostic apparatus such as an X-ray CT (Computed Tomography) apparatus are known. This type of technique is useful for diagnosing diseases such as diffuse lung disease, which exhibit characteristic texture patterns on CT images (see, for example, Non-Patent Document 1). Therefore, this type of technology is expected to be utilized for diagnosis of predetermined diseases.
ところで、医師は、患者のCT画像から特徴的なテクスチャパターンを抽出することで読影を行う。近年のX線CT装置の高精細化等に伴い、病変の詳細な読影が可能とはなってはいるものの、目視での読影は医師にとって負担が大きい。また、特徴的なテクスチャパターンを抽出するには経験が必要なため、医師によって診断結果にばらつきが生じる場合がある。 By the way, a doctor performs radiogram interpretation by extracting a characteristic texture pattern from a patient's CT image. With recent improvements in the resolution of X-ray CT apparatuses, etc., it has become possible to interpret lesions in detail, but visual interpretation is a heavy burden on doctors. In addition, since experience is required to extract a characteristic texture pattern, the diagnosis results may vary from doctor to doctor.
このような問題を解決するため、コンピュータ支援診断が近年注目されている。例えば、CT画像の肺野に属する関心領域から特徴量を抽出し、抽出した特徴量に基づいて機械学習によってテクスチャパターンを自動で識別する方法が知られている。識別精度を向上させるためには、特徴抽出方法の設計が重要である。しかしながら、従来はCT画像から直接特徴量を抽出しているため、識別に有効な特徴量を抽出することが難しく、識別制度を向上させることが困難な場合があった。 In order to solve such problems, computer aided diagnosis has attracted attention in recent years. For example, a method is known in which feature values are extracted from a region of interest belonging to the lung field of a CT image, and texture patterns are automatically identified by machine learning based on the extracted feature values. The design of the feature extraction method is important to improve the identification accuracy. However, since the feature amount is directly extracted from the CT image, it is difficult to extract the feature amount that is effective for identification, and it is sometimes difficult to improve the accuracy of the identification.
そこで、目的は、医用画像のテクスチャパターンの識別精度を向上させることである。 Therefore, the object is to improve the identification accuracy of texture patterns in medical images.
実施形態によれば、画像処理装置は、画像取得部、尤度取得部、及び特徴量算出部を具備する。画像取得部は、医用画像データを取得する。尤度取得部は、前記医用画像データに基づく医用画像に含まれる要素が体内の物質及び構造に対応する分類項目のうち少なくともいずれかに分類される尤もらしさを表す複数の尤度値を、前記医用画像の画素毎に取得する。特徴量算出部は、前記複数の尤度値を用いて複数の特徴量を算出する。 According to an embodiment, an image processing apparatus includes an image acquisition section, a likelihood acquisition section, and a feature amount calculation section. The image acquisition unit acquires medical image data. A likelihood acquisition unit obtains a plurality of likelihood values representing the likelihood that an element included in a medical image based on the medical image data is classified into at least one of classification items corresponding to substances and structures in the body. Acquire for each pixel of the medical image. The feature amount calculator calculates a plurality of feature amounts using the plurality of likelihood values.
以下、実施の形態について、図面を参照して説明する。 Embodiments will be described below with reference to the drawings.
図1は、本実施形態に係る画像処理装置10を含む医用情報システム1の例を示す図である。図1に示される医用情報システム1は、画像処理装置10、医用画像診断装置20、及び画像保管装置30を具備する。画像処理装置10、医用画像診断装置20、及び画像保管装置30は、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能に接続されている。例えば、画像保管装置30がPACS(Picture Archiving and Communication System)を構成する場合、画像処理装置10、医用画像診断装置20、及び画像保管装置30は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、例えば、医用画像データを相互に送受信する。 FIG. 1 is a diagram showing an example of a medical information system 1 including an image processing apparatus 10 according to this embodiment. The medical information system 1 shown in FIG. 1 comprises an image processing device 10 , a medical image diagnostic device 20 and an image storage device 30 . The image processing apparatus 10, the medical image diagnostic apparatus 20, and the image storage apparatus 30 are directly or indirectly connected to communicate with each other via an in-hospital LAN (Local Area Network) installed in the hospital, for example. there is For example, when the image archiving device 30 constitutes a PACS (Picture Archiving and Communication System), the image processing device 10, the medical image diagnostic device 20, and the image archiving device 30 conform to the DICOM (Digital Imaging and Communications in Medicine) standard. For example, they exchange medical image data with each other.
医用画像診断装置20は、被検体を撮影することにより医用画像データを発生する装置である。医用画像診断装置20は、例えば、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT-CT装置、PET装置とX線CT装置とが一体化されたPET-CT装置、PET装置とMRI装置とが一体化されたPET-MRI装置、又はこれらの装置群等である。 The medical image diagnostic apparatus 20 is an apparatus that generates medical image data by photographing a subject. The medical image diagnostic device 20 includes, for example, an X-ray diagnostic device, an X-ray CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, an ultrasonic diagnostic device, a SPECT (Single Photon Emission Computed Tomography) device, a PET (Positron Emission computed tomography) device, SPECT-CT device in which SPECT device and X-ray CT device are integrated, PET-CT device in which PET device and X-ray CT device are integrated, PET device and MRI device in one a PET-MRI device, or a group of these devices.
画像保管装置30は、医用画像データを保管するデータベースである。画像保管装置30は、例えば、画像処理装置10、及び医用画像診断装置20で発生された医用画像データを、内部に設けられている記憶回路に記憶する。 The image storage device 30 is a database that stores medical image data. The image storage device 30 stores, for example, medical image data generated by the image processing device 10 and the medical image diagnostic device 20 in a storage circuit provided therein.
画像処理装置10は、医用画像診断装置20で発生された医用画像データ、及び画像保管装置30から読み出された医用画像データに対して画像処理を施す装置である。図2は、本実施形態に係る画像処理装置10の機能構成の例を示す図である。図2に示される画像処理装置10は、処理回路11、入力インタフェース12、出力インタフェース13、通信インタフェース14、及び記憶回路15を有する。 The image processing apparatus 10 performs image processing on medical image data generated by the medical image diagnostic apparatus 20 and medical image data read from the image storage apparatus 30 . FIG. 2 is a diagram showing an example of the functional configuration of the image processing apparatus 10 according to this embodiment. The image processing apparatus 10 shown in FIG. 2 has a processing circuit 11 , an input interface 12 , an output interface 13 , a communication interface 14 and a memory circuit 15 .
処理回路11は、画像処理装置10の中枢として機能するプロセッサである。処理回路11は、記憶回路15に記憶されているプログラムを実行することで、実行したプログラムに対応する機能を実現する。なお、処理回路11は、記憶回路15で記憶されているデータの少なくとも一部を記憶する記憶領域を備えても構わない。 The processing circuit 11 is a processor that functions as the core of the image processing apparatus 10 . By executing the program stored in the storage circuit 15, the processing circuit 11 realizes a function corresponding to the executed program. Note that the processing circuit 11 may have a storage area for storing at least part of the data stored in the storage circuit 15 .
入力インタフェース12は、画像処理装置10に対して操作者から入力される各種操作を受け付ける。入力インタフェース12は、例えば、マウス、キーボード、及び操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェース12は、処理回路11に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を処理回路11へ出力する。なお、本明細書において入力インタフェース12はマウス、及びキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、画像処理装置10とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を受け取り、この電気信号を処理回路11へ出力する電気信号の処理回路も入力インタフェース12の例に含まれる。 The input interface 12 receives various operations input by the operator to the image processing apparatus 10 . The input interface 12 is implemented by, for example, a mouse, a keyboard, and a touch panel through which an instruction is input by touching an operation surface. The input interface 12 is connected to the processing circuit 11 , converts an operation instruction input by an operator into an electrical signal, and outputs the electrical signal to the processing circuit 11 . It should be noted that the input interface 12 in this specification is not limited to having physical operation parts such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an operation instruction input from an external input device provided separately from the image processing apparatus 10 and outputs this electrical signal to the processing circuit 11 is also an input interface. Included in 12 examples.
出力インタフェース13は、処理回路11に接続され、処理回路11から供給される信号を出力する。出力インタフェース13は、例えば、表示回路であり、例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、及びプラズマディスプレイ等により実現される。表示回路は、例えば、医用画像データに基づく医用画像を表示する。なお、表示対象を表すデータをビデオ信号に変換し、ビデオ信号を外部へ出力する処理回路も出力インタフェース13に含まれる。 The output interface 13 is connected to the processing circuit 11 and outputs signals supplied from the processing circuit 11 . The output interface 13 is, for example, a display circuit, and is realized by, for example, a CRT display, liquid crystal display, organic EL display, LED display, plasma display, or the like. The display circuit displays, for example, a medical image based on medical image data. The output interface 13 also includes a processing circuit that converts data representing an object to be displayed into a video signal and outputs the video signal to the outside.
通信インタフェース14は、例えば、病院内ネットワークと接続する。通信インタフェース14は、例えば、病院内ネットワークを介して医用画像診断装置20、及び画像保管装置30から、医用画像データを受信する。 The communication interface 14 connects with, for example, an intra-hospital network. The communication interface 14 receives medical image data from the medical image diagnostic apparatus 20 and the image storage apparatus 30 via, for example, an intra-hospital network.
記憶回路15は、磁気的、若しくは光学的記録媒体、又は半導体メモリ等の、プロセッサにより読み取り可能な記録媒体等を含む。また、記憶回路15は、CD-ROMドライブ、DVDドライブ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。なお、記憶回路15は、必ずしも単一の記憶装置により実現される必要は無い。例えば、記憶回路15は、複数の記憶装置により実現されても構わない。 The memory circuit 15 includes a processor-readable recording medium such as a magnetic or optical recording medium, or a semiconductor memory. Also, the storage circuit 15 may be a drive device or the like that reads and writes various information from/to a portable storage medium such as a CD-ROM drive, a DVD drive, and a flash memory. Note that the storage circuit 15 does not necessarily have to be realized by a single storage device. For example, the memory circuit 15 may be realized by a plurality of memory devices.
記憶回路15は、処理回路11からの制御に応じ、受信したデータを記憶する。例えば、記憶回路15は、医用画像診断装置20、及び画像保管装置30から出力された医用画像データを記憶する。 The storage circuit 15 stores the received data under the control of the processing circuit 11 . For example, the storage circuit 15 stores medical image data output from the medical image diagnostic apparatus 20 and the image storage apparatus 30 .
また、記憶回路15は、処理回路11からの制御に応じ、記憶しているデータを読み出す。例えば、記憶回路15は、処理回路11からの制御に応じ、記憶している医用画像データを読み出す。また、例えば、記憶回路15は、本実施形態に係るプログラムを記憶している。記憶回路15は、処理回路11からの制御に応じ、記憶しているプログラムを読み出す。また、記憶回路15は、例えば、体内の物質及び構造の頻度分布に関するデータ、決定木学習に関するデータ、構造強調フィルタに関するデータ、並びに、重み係数に関するデータ等を記憶している。記憶回路15は、処理回路11からの制御に応じ、記憶している各種データを読み出す。 Further, the storage circuit 15 reads stored data according to control from the processing circuit 11 . For example, the memory circuit 15 reads the stored medical image data under the control of the processing circuit 11 . Also, for example, the storage circuit 15 stores a program according to the present embodiment. The storage circuit 15 reads the stored program under the control of the processing circuit 11 . The memory circuit 15 also stores, for example, data on frequency distribution of substances and structures in the body, data on decision tree learning, data on structure enhancement filters, data on weighting factors, and the like. The storage circuit 15 reads various stored data according to control from the processing circuit 11 .
本実施形態に係る処理回路11は、本実施形態に係るプログラムを実行することにより、医用画像に含まれる要素が所定の構成に対応する分類項目に分類される尤もらしさを用いて特徴量を算出する。具体的には、処理回路11は、記憶回路15に記憶されるプログラムを実行することで、画像取得機能110、尤度取得機能111、及び特徴量算出機能112を有する。 By executing the program according to the present embodiment, the processing circuit 11 according to the present embodiment calculates the feature quantity using the likelihood that the elements included in the medical image are classified into the classification item corresponding to the predetermined configuration. do. Specifically, the processing circuit 11 has an image acquisition function 110 , a likelihood acquisition function 111 , and a feature quantity calculation function 112 by executing programs stored in the storage circuit 15 .
画像取得機能110は、所望の医用画像データを取得する機能である。例えば、画像取得機能110を実行すると処理回路11は、記憶回路15に記憶されている医用画像データを読み出す。なお、画像取得機能110は、医用画像診断装置20、及び画像保管装置30から、所望の医用画像データを取得するようにしても構わない。
尤度取得機能111は、医用画像に含まれる要素が所定の構成に対応する分類項目に分類される尤もらしさを表す尤度を取得する機能である。例えば、尤度取得機能111を実行すると、処理回路11は、医用画像の各画素についてN個の尤度値を取得することで、多チャンネルの画像を生成する。図3は、本実施形態に係わる処理回路11の動作を模式的に説明する図である。図3によれば、処理回路11は、医用画像の各画素について尤度値を取得することで、尤度1~尤度Nの尤度画像を発生する。
The image acquisition function 110 is a function for acquiring desired medical image data. For example, when the image acquisition function 110 is executed, the processing circuit 11 reads medical image data stored in the storage circuit 15 . Note that the image acquisition function 110 may acquire desired medical image data from the medical image diagnostic apparatus 20 and the image storage apparatus 30 .
The likelihood acquisition function 111 is a function for acquiring a likelihood representing the likelihood that an element included in a medical image will be classified into a classification item corresponding to a predetermined configuration. For example, when the likelihood acquisition function 111 is executed, the processing circuitry 11 acquires N likelihood values for each pixel of the medical image to generate a multi-channel image. FIG. 3 is a diagram schematically explaining the operation of the processing circuit 11 according to this embodiment. According to FIG. 3, the processing circuit 11 generates likelihood images of likelihood 1 to likelihood N by obtaining a likelihood value for each pixel of the medical image.
特徴量算出機能112は、尤度取得機能111で取得された尤度値に基づいて特徴量を算出する機能である。例えば、特徴量算出機能112を実行すると、処理回路11は、取得された複数の尤度値を用いて複数の特徴量を算出し、算出した複数の特徴量から特徴ベクトルを生成する。図3によれば、処理回路11は、尤度1~尤度Nの尤度画像に基づき、特徴ベクトルを生成する。 The feature amount calculation function 112 is a function for calculating feature amounts based on the likelihood values acquired by the likelihood acquisition function 111 . For example, when the feature amount calculation function 112 is executed, the processing circuit 11 calculates a plurality of feature amounts using the obtained plurality of likelihood values, and generates a feature vector from the calculated plurality of feature amounts. According to FIG. 3, the processing circuit 11 generates a feature vector based on likelihood images of likelihood 1 to likelihood N. FIG.
次に、図2に示される尤度取得機能111の処理について具体的に説明する。なお、以下では、医用画像診断装置20がCT画像データを発生するX線CT装置であり、画像処理装置10が、医用画像データとして、医用画像診断装置20で発生されたCT画像データを受信する場合を例に説明する。 Next, the processing of the likelihood acquisition function 111 shown in FIG. 2 will be specifically described. In the following description, the medical image diagnostic apparatus 20 is an X-ray CT apparatus that generates CT image data, and the image processing apparatus 10 receives the CT image data generated by the medical image diagnostic apparatus 20 as medical image data. A case will be described as an example.
まず、X線CT装置である医用画像診断装置20は、被検体の撮像領域をX線で撮像する。具体的には、医用画像診断装置20は、X線管とX線検出器とが取り付けられた回転フレームを回転しながら、X線管からX線を発生する。X線検出器は、X線管から発生され被検体を透過したX線を検出する。医用画像診断装置20は、X線検出器により検出されたX線に応じた生データを、データ収集回路(Data Acquisition System:DAS)により収集し、収集された生データに基づいてCT画像データを画像再構成装置により再構成する。 First, the medical image diagnostic apparatus 20, which is an X-ray CT apparatus, images an imaging region of a subject with X-rays. Specifically, the medical image diagnostic apparatus 20 generates X-rays from the X-ray tube while rotating a rotating frame to which the X-ray tube and the X-ray detector are attached. The X-ray detector detects X-rays generated from the X-ray tube and transmitted through the subject. The medical image diagnostic apparatus 20 acquires raw data corresponding to X-rays detected by an X-ray detector using a data acquisition system (DAS), and produces CT image data based on the acquired raw data. Reconstructed by an image reconstruction device.
本実施形態に係るCT画像データは、CT値の2次元の空間分布を示すスライス画像を表すデータであるとする。スライス画像は、2次元状に配列された複数のピクセルにより構成される。各ピクセルにはCT値が割り当てられる。また、CT画像データに基づくCT画像は、対象臓器全体を撮像した画像でもよく、注目する局所領域に限定した画像であってもよい。なお、CT画像データは、CT値の3次元の空間分布を示すボリューム画像を表すデータであっても構わない。ボリューム画像は、3次元状に配列された複数のボクセルにより構成される。各ボクセルにはCT値が割り当てられる。 It is assumed that the CT image data according to the present embodiment is data representing a slice image showing a two-dimensional spatial distribution of CT values. A slice image is composed of a plurality of pixels arranged two-dimensionally. Each pixel is assigned a CT value. A CT image based on CT image data may be an image obtained by imaging the entire target organ, or may be an image limited to a local region of interest. The CT image data may be data representing a volume image showing a three-dimensional spatial distribution of CT values. A volume image is composed of a plurality of voxels arranged three-dimensionally. Each voxel is assigned a CT value.
医用画像診断装置20は、発生したCT画像データを、病院内ネットワークを介して画像処理装置10へ送信する。画像処理装置10は、医用画像診断装置20から送信されたCT画像データを受信すると、受信したCT画像データを記憶回路15に記憶する。 The medical image diagnostic apparatus 20 transmits the generated CT image data to the image processing apparatus 10 via the hospital network. When receiving the CT image data transmitted from the medical image diagnostic apparatus 20 , the image processing apparatus 10 stores the received CT image data in the storage circuit 15 .
画像処理装置10の処理回路11は、例えば、入力インタフェース12を介して操作者から画像処理の開始指示が入力されると、画像取得機能110を実行する。画像取得機能110を実行すると処理回路11は、記憶回路15から操作者が所望するCT画像データを読み出す。処理回路11は、CT画像データが読み出されると、尤度取得機能111を実行する。尤度取得機能111を実行すると処理回路11は、CT画像データに含まれる画素の画素値(輝度値)に基づき、その画素で表される体内の物質、及び構造それぞれについて尤度値を取得する。 The processing circuit 11 of the image processing apparatus 10 executes the image acquisition function 110 when, for example, an operator inputs an image processing start instruction via the input interface 12 . When the image acquisition function 110 is executed, the processing circuit 11 reads out CT image data desired by the operator from the storage circuit 15 . The processing circuitry 11 executes the likelihood acquisition function 111 when the CT image data is read. When the likelihood acquisition function 111 is executed, the processing circuit 11 acquires a likelihood value for each substance and structure in the body represented by the pixel based on the pixel value (brightness value) of the pixel included in the CT image data. .
具体的には、例えば、処理回路11は、体内の物質、及び構造の頻度分布を表す一次元ヒストグラムを用いて尤度値を取得する。図4は、図2に示される尤度取得機能111により尤度値が取得される処理の例を模式的に示す図である。図4は、肺野に属する関心領域についてのCT画像に関し、尤度値を算出する場合を例に説明している。 Specifically, for example, the processing circuitry 11 acquires likelihood values using a one-dimensional histogram representing frequency distributions of substances and structures in the body. FIG. 4 is a diagram schematically showing an example of processing in which likelihood values are acquired by the likelihood acquisition function 111 shown in FIG. FIG. 4 illustrates an example of calculating a likelihood value for a CT image of a region of interest belonging to the lung field.
CT画像の画素値は、空気-1000HU、水0HUを基準として体内の物質及び構造毎に設定されるヒストグラムにおける特定の範囲に分布する。特に、空気は-950HU以下、肺野(肺実質)は-950HU~-850HU、すりガラス状構造は-850HU~-300HU、血管等は-300HU以上の範囲に分布する場合が多い。テクスチャパターンの画素値も疾患の種類によって変化するため、画素値がどの範囲に分布しているかは識別において重要な特徴である。 The pixel values of the CT image are distributed in a specific range in a histogram set for each substance and structure in the body with reference to -1000 HU for air and 0 HU for water. In particular, it is often distributed in the range of -950 HU or less for air, -950 HU to -850 HU for lung fields (pulmonary parenchyma), -850 HU to -300 HU for ground glass structures, and -300 HU or more for blood vessels. Since the pixel values of the texture pattern also change depending on the type of disease, the range in which the pixel values are distributed is an important feature in identification.
記憶回路15は、図4に示されるようなヒストグラムを予め記憶している。処理回路11は、記憶回路15からヒストグラムを読み出し、読み出したヒストグラムに基づき、一つの画素値から4つの尤度値を算出する。具体的には、図4に示される4つの物質の分布はそれぞれ確率密度関数p(I(x)|ck),(k=1:空気、2:肺実質、3:すりガラス状構造、4:血管等)であることから、画素位置xにおける画素値をI(x)とすると、ベイズの定理を用いて事後確率を以下のように算出できる。 The storage circuit 15 preliminarily stores a histogram as shown in FIG. The processing circuit 11 reads the histogram from the storage circuit 15 and calculates four likelihood values from one pixel value based on the read histogram. Specifically , the distributions of the four substances shown in FIG. : blood vessels, etc.), the posterior probability can be calculated as follows using Bayes' theorem, where I(x) is the pixel value at the pixel position x.
ここで、p(ck)は事前確率を表し、一様(=1/4)としてもよい。処理回路11は、式(1)により求められる、画素値がそれぞれの分布に属する確率(0~1)を、尤度値として用いる。処理回路11は、例えば、式(1)に示される計算を、CT画像データに含まれる全ての画素に対して実施し、画素毎に複数の尤度値を取得する。 Here, p(c k ) represents the prior probability, which may be uniform (=1/4). The processing circuit 11 uses the probability (0 to 1) that the pixel value belongs to each distribution, which is obtained by Equation (1), as the likelihood value. The processing circuit 11 performs, for example, the calculation shown in Equation (1) for all pixels included in the CT image data, and obtains a plurality of likelihood values for each pixel.
また、例えば、処理回路11は、二次元共起ヒストグラムを用いて尤度値を取得しても構わない。式(1)の尤度値は、一つの画素値から計算されているため、空間的な情報を含んでいない。そのため、テクスチャパターンの形状を表現することが困難な場合がある。そこで、空間的に近い位置にある画素値ペアの共起ヒストグラムを用いるようにしてもよい。 Also, for example, the processing circuitry 11 may acquire likelihood values using a two-dimensional co-occurrence histogram. Since the likelihood value in equation (1) is calculated from a single pixel value, it does not contain spatial information. Therefore, it may be difficult to express the shape of the texture pattern. Therefore, a co-occurrence histogram of pixel value pairs at spatially close positions may be used.
図5は、共起ヒストグラムを用いて尤度値を取得する処理の例を模式的に示す図である。図5は、肺野に属する関心領域についてのCT画像に関し、尤度値を算出する場合を例に説明している。記憶回路15は、図5に示されるような共起ヒストグラムを予め記憶している。処理回路11は、尤度取得機能111において、記憶回路15から共起ヒストグラムを読み出し、読み出した共起ヒストグラムに基づき、一つの画素値から複数の尤度値を算出する。具体的には、処理回路11は、画素位置xにおける画素値をI(x)とし、xから距離rだけ離れた位置yにおける画素値をI(y)として同時確率密度関数p(I(x),I(y)|ck,r),(k=1:空気、2:肺実質、3:すりガラス状構造、4:血管等)を求める。そして、処理回路11は、式(2)に示されるように事後確率を算出し、算出した事後確率を尤度値として用いる。 FIG. 5 is a diagram schematically showing an example of processing for acquiring likelihood values using co-occurrence histograms. FIG. 5 illustrates an example of calculating the likelihood value for a CT image of a region of interest belonging to the lung field. The storage circuit 15 preliminarily stores co-occurrence histograms as shown in FIG. The processing circuit 11, in the likelihood acquisition function 111, reads the co-occurrence histogram from the storage circuit 15, and calculates a plurality of likelihood values from one pixel value based on the read-out co-occurrence histogram. Specifically, the processing circuit 11 sets the pixel value at the pixel position x as I(x) and the pixel value at the position y, which is a distance r from x, as I(y), and sets the simultaneous probability density function p(I(x ), I(y)|c k , r), (k=1: air, 2: lung parenchyma, 3: ground glass structure, 4: blood vessels, etc.). Then, the processing circuit 11 calculates the posterior probability as shown in Equation (2), and uses the calculated posterior probability as the likelihood value.
なおr=0の場合、x=yとなるため、式(2)により求められる事後確率は、式(1)により求められる事後確率と同値となる。ここで、画素位置yには複数の候補が考えられるが、例えば、図6に示されるように、xから同一距離にある円周上の点から取得した複数の尤度値の平均値を用いるとよい。図5では、rをパラメータ(r=1~5)として算出した結果例が示されている。距離r毎に4つの尤度値が取得でき、r=1~5の5つのrを全て用いた場合、取得される尤度値の数は、合計20(=4×5)個となる。処理回路11は、例えば、式(2)に示される計算を、CT画像データに含まれる全ての画素に対して実施し、画素毎に複数の尤度値を取得する。 Note that when r=0, x=y, so the posterior probability obtained by equation (2) is the same value as the posterior probability obtained by equation (1). Here, a plurality of candidates can be considered for the pixel position y. For example, as shown in FIG. Good. FIG. 5 shows an example of the results calculated with r as a parameter (r=1 to 5). Four likelihood values can be obtained for each distance r, and when all five r=1 to 5 are used, the total number of obtained likelihood values is 20 (=4×5). The processing circuit 11 performs, for example, the calculation shown in Equation (2) for all pixels included in the CT image data, and obtains a plurality of likelihood values for each pixel.
複数の距離を用いることで、異なるスケールの構造を捉えることが可能となる。また、空間的な情報を加味しながら、テクスチャパターンの形状を識別することが可能となる。なお、処理回路11は、二次元共起ヒストグラムを用いた処理を、3つ以上の画素値を用いた多次元共起ヒストグラムを用いた処理へ拡張することも可能である。 Using multiple distances makes it possible to capture structures at different scales. Moreover, it becomes possible to identify the shape of the texture pattern while taking spatial information into account. Note that the processing circuit 11 can extend the processing using a two-dimensional co-occurrence histogram to processing using a multi-dimensional co-occurrence histogram using three or more pixel values.
また、例えば、処理回路11は、決定木学習を用いて尤度値を取得しても構わない。図7は、決定木学習を用いて尤度値を取得する処理の例を模式的に示す図である。図7は、肺野に属する関心領域についてのCT画像に関し、尤度値を算出する場合を例に説明している。図7によれば、処理回路11は、決定木の末端ノードで設定されている頻度分布に基づいて尤度値を決定する(例えば、非特許文献2参照)。 Further, for example, the processing circuit 11 may acquire the likelihood value using decision tree learning. FIG. 7 is a diagram schematically showing an example of processing for acquiring likelihood values using decision tree learning. FIG. 7 illustrates an example of calculating the likelihood value for a CT image of a region of interest belonging to the lung field. According to FIG. 7, the processing circuit 11 determines the likelihood value based on the frequency distribution set at the terminal node of the decision tree (see Non-Patent Document 2, for example).
具体的には、例えば、図7に示されるような、所定の広さの局所領域内におけるランダムな2点の画素間の画素値差の大小関係に基づいて分岐を行う木構造を予め複数(M個)学習しておく。入力する領域として、例えば、空気、肺実質、すりガラス、及び血管の4つのパターンを用いれば、末端ノードに到達した学習サンプルの頻度分布により、空気、肺実質、すりガラス、及び血管についての尤度を算出することが可能となる。なお、局所領域は複数の広さが設定されており、木構造は設定されている広さの局所領域毎に学習されている。木構造学習についての情報は、記憶回路15に記憶されている。 Specifically, for example, as shown in FIG. 7, a plurality of tree structures are prepared in advance for branching based on the magnitude of the pixel value difference between two random pixels in a local region of a predetermined size. (M) to learn. For example, if four patterns of air, lung parenchyma, frosted glass, and blood vessels are used as input regions, the likelihood of air, lung parenchyma, frosted glass, and blood vessels is calculated by the frequency distribution of learning samples that reach terminal nodes. It is possible to calculate A plurality of widths are set for the local region, and the tree structure is learned for each local region of the set width. Information about tree structure learning is stored in the storage circuit 15 .
処理回路11は、尤度取得機能111において、所定の広さの局所領域が入力されると、学習済みの決定木に従って領域内のランダムな2点の画素ペアを選択する。処理回路11は、局所領域内における2点の画素の大小関係に基づく分岐を繰り返し、末端ノードで設定されている学習サンプルの頻度分布を取得する。処理回路11は、取得した頻度分布に基づき、例えば、空気、肺実質、すりガラス、及び血管についての尤度値を算出する。例えば、処理回路11は、複数(M個)の木毎の尤度値の平均値を、空気、肺実質、すりガラス、及び血管についての尤度値とするとよい。 In the likelihood acquisition function 111, when a local region of a predetermined size is input, the processing circuit 11 selects a random two-point pixel pair within the region according to a learned decision tree. The processing circuit 11 repeats branching based on the size relationship between the two pixels in the local region, and acquires the frequency distribution of the learning samples set at the terminal node. The processing circuitry 11 calculates, for example, likelihood values for air, lung parenchyma, frosted glass, and blood vessels based on the acquired frequency distributions. For example, the processing circuitry 11 may take the average value of the likelihood values for each of a plurality of (M) trees as the likelihood values for air, lung parenchyma, frosted glass, and blood vessels.
処理回路11は、入力された所定の局所領域をスライドさせながら、CT画像データに含まれる全ての画素について複数の尤度値を取得する。また、処理回路11は、記憶回路15に記憶されている複数の広さの局所領域について同様の処理を実施し、記憶されている局所領域毎に複数の尤度値を取得する。 The processing circuit 11 obtains a plurality of likelihood values for all pixels included in the CT image data while sliding the input predetermined local region. In addition, the processing circuit 11 performs similar processing on a plurality of local regions having different sizes stored in the storage circuit 15, and acquires a plurality of likelihood values for each of the stored local regions.
また、例えば、処理回路11は、強調フィルタを用いて尤度値を取得しても構わない。図8は、強調フィルタを用いて尤度値を取得する処理の例を模式的に示す図である。図8は、肺野に属する関心領域についてのCT画像に関し、尤度値を算出する場合を例に説明している。肺内には結節等の塊構造、血管等の管構造、及び葉間膜等の膜構造が含まれる。そのため、塊構造、管構造、及び膜構造の尤度値を取得することはテクスチャパターンの識別において重要な情報となる。図8によれば、処理回路11は、体内の物質、及び構造の強調フィルタに基づいて尤度値を取得する(例えば、非特許文献3参照)。 Further, for example, the processing circuit 11 may acquire the likelihood value using an enhancement filter. FIG. 8 is a diagram schematically showing an example of processing for acquiring likelihood values using an enhancement filter. FIG. 8 illustrates an example of calculating the likelihood value for a CT image of a region of interest belonging to the lung field. The lung includes mass structures such as nodules, tubular structures such as blood vessels, and membranous structures such as the mesenchyme. Therefore, obtaining the likelihood values of mass structures, tube structures, and membrane structures is important information in identifying texture patterns. According to FIG. 8, the processing circuit 11 obtains likelihood values based on the substance and structure enhancement filters in the body (see, for example, Non-Patent Document 3).
なお、処理回路11は、例えば、構造についての尤度値を取得するための学習済みのニューラルネットワーク等を利用した識別機能を有していても構わない。このとき、記憶回路15には、例えば、学習済みの機械学習に関するデータが予め記憶されている。処理回路11は、識別機能において、記憶回路15に記憶されているデータに基づく学習済みのニューラルネットワークを利用し、構造についての尤度値を取得する。 The processing circuit 11 may have, for example, an identification function using a trained neural network or the like for obtaining likelihood values of structures. At this time, the memory circuit 15 stores, for example, data related to machine learning that has been learned in advance. The processing circuitry 11 uses a trained neural network based on the data stored in the storage circuitry 15 in its identification function to obtain likelihood values for structures.
なお、図4乃至図8を用いた尤度取得機能111の説明では、処理回路11は、CT画像に含まれる1つの画素から、空気、肺実質、すりガラス陰影、血管、塊構造、管構造、及び膜構造の7種類の物質及び構造についての尤度値を取得する場合を例に説明した。しかしながら、これに限定されない。処理回路11は、他の物質及び構造についての尤度値を取得しても構わない。例えば、CT画像には、充実性陰影、及び結節が含まれていてもよい。また、CT画像には、管構造に代えて線構造が含まれていてもよく、さらに、膜構造に代えて板構造が含まれていてもよい。また、CT画像に肺以外の領域が含まれている場合には、CT画像に、画素値に基づいて分類可能な、ガス、脂肪組織、水、軟組織、及び石灰化組織等が含まれていてもよい。処理回路11は、空気、肺実質、すりガラス陰影、充実性陰影、血管、結節、ガス、脂肪組織、水、軟組織、石灰化組織、塊構造、管又は線構造、並びに、膜又は板構造についての尤度値のうち、少なくともいずれかを取得しても構わない。 In the description of the likelihood acquisition function 111 using FIGS. 4 to 8, the processing circuit 11 extracts air, lung parenchyma, ground-glass shadows, blood vessels, mass structures, tube structures, from one pixel included in the CT image. and membrane structures, the case of obtaining likelihood values for seven types of substances and structures has been described as an example. However, it is not limited to this. Processing circuitry 11 may obtain likelihood values for other materials and structures. For example, a CT image may contain solid shadows and nodules. Also, the CT image may contain a line structure instead of a tube structure, and may contain a plate structure instead of a membrane structure. In addition, when the CT image includes regions other than the lung, the CT image includes gas, adipose tissue, water, soft tissue, calcified tissue, etc., which can be classified based on the pixel values. good too. The processing circuitry 11 provides for air, lung parenchyma, ground-glass opacities, solid opacities, blood vessels, nodules, gas, adipose tissue, water, soft tissue, calcified tissue, mass structures, tubular or linear structures, and membrane or plate structures. At least one of the likelihood values may be acquired.
次に、図2に示される特徴量算出機能112の処理について具体的に説明する。処理回路11は、例えば、CT画像に含まれる各画素についての尤度値を取得すると、特徴量算出機能112を実行する。図9は、図2に示される特徴量算出機能112により特徴ベクトルが作成される処理の例を模式的に示す図である。特徴量算出機能112において処理回路11は、尤度取得機能111によりCT画像の各画素で取得されたN個の尤度値に対し、適当な重み係数をかける。処理回路11は、重み係数をかけた尤度値を画像全体にわたって足し合わせることで1つの特徴ベクトルを作成する。 Next, the processing of the feature amount calculation function 112 shown in FIG. 2 will be specifically described. For example, the processing circuit 11 executes the feature amount calculation function 112 after acquiring the likelihood value for each pixel included in the CT image. FIG. 9 is a diagram schematically showing an example of processing in which feature vectors are created by the feature quantity calculation function 112 shown in FIG. In the feature amount calculation function 112, the processing circuit 11 applies an appropriate weighting factor to the N likelihood values acquired for each pixel of the CT image by the likelihood acquisition function 111. FIG. The processing circuit 11 creates one feature vector by summing the weighted likelihood values over the entire image.
具体的には、処理回路11は、チャンネルi(i=1~N)の尤度値を並べたベクトルをベクトルviとすると、ベクトルviと同じ長さの重み係数を並べたベクトルwiをKi個用意する。処理回路11は、Ki個のベクトルwiを並べ、以下に示される行列Wiとする。 Specifically, the processing circuit 11 generates a vector w i in which weight coefficients of the same length as the vector v i are arranged, assuming that a vector in which the likelihood values of the channel i (i=1 to N) are arranged is a vector v i K i pieces of are prepared. The processing circuit 11 arranges the K i vectors w i into a matrix W i shown below.
数(3)において、Vは画素数を表す。 In equation (3), V represents the number of pixels.
処理回路11は、行列Wiを用いて、特徴量を並べたベクトルuを、以下のように算出する。 The processing circuit 11 uses the matrix W i to calculate a vector u in which feature quantities are arranged as follows.
数(4)において、Pは特徴量の総数を表す。処理回路11は、算出したベクトルuを、画像全体にわたって足し合わせることで、特徴ベクトルを作成する。 In Equation (4), P represents the total number of features. The processing circuit 11 creates a feature vector by adding the calculated vector u over the entire image.
なお、処理回路11は、ベクトルuを、バイアスベクトルbを加えて以下のように算出してもよい。 Note that the processing circuit 11 may calculate the vector u by adding the bias vector b as follows.
また、数(3)~(5)を用いた説明では、チャンネル毎に重み係数を設定した。しかしながら、これに限定されない。重み係数は、同一であっても構わない。 Also, in the description using the equations (3) to (5), a weighting factor is set for each channel. However, it is not limited to this. The weighting factors may be the same.
尤度値にかけられる重み係数は、種々の手法により決定される。例えば、重み係数は、ガウシアンフィルタ、ガボールフィルタ、平均値フィルタ、及びボックスフィルタ等の決められた値を用いてもよい。また、重み係数は、機械学習により最適な値を決定してもよい。図10は、ニューラルネットワークを用いて重み係数を学習する処理の例を模式的に示す図である。例えば、予め識別したいテクスチャパターンの数にあわせた出力ユニットと、重み係数との掛け合わせによって得られた特徴量とを全結合層でつなぐネットワークを用意する。なお、重み係数の初期値は、ガウス分布、及び一様分布等からランダムに設定するとよい。そして、例えば、誤差逆伝播法を用いて重み係数を繰り返し更新する。機械学習を用いる場合、識別したい問題に合わせて自動的に重み係数が決定される。そのため、ガウシアンフィルタ等の予め決められた重み係数を用いるよりも識別精度が向上する場合がある。 The weighting factors applied to the likelihood values are determined by various techniques. For example, the weighting factors may use fixed values such as Gaussian filters, Gabor filters, mean filters, and box filters. Also, the weighting factor may determine an optimum value by machine learning. FIG. 10 is a diagram schematically showing an example of processing for learning weighting factors using a neural network. For example, a network is prepared in which output units corresponding to the number of texture patterns to be identified in advance and feature amounts obtained by multiplication with weighting factors are connected in a fully connected layer. It should be noted that the initial value of the weighting factor may be set randomly from a Gaussian distribution, a uniform distribution, or the like. Then, the weighting factors are iteratively updated using, for example, error backpropagation. When using machine learning, weighting factors are automatically determined according to the problem to be identified. Therefore, the identification accuracy may be improved compared to using a predetermined weighting factor such as a Gaussian filter.
以上のように、本実施形態では、処理回路11は、画像取得機能110により、所望の医用画像データを取得する。処理回路11は、尤度取得機能111により、医用画像の各画素について、画素値に応じ、複数種類の体内の物質及び構造に関する尤度値をそれぞれ取得する。そして、処理回路11は、特徴量算出機能112により、取得した複数の尤度値を用いて複数の特徴量を算出する。このように、処理回路11は、画像から直接特徴抽出するのではなく、識別すべきテクスチャパターンに関連のある体内の物質及び構造の尤度を用いて特徴抽出を実施するようにしている。これにより、処理回路11は、識別能力の高い特徴量を求めることが可能となる。 As described above, in the present embodiment, the processing circuitry 11 acquires desired medical image data using the image acquisition function 110 . The processing circuit 11 uses the likelihood acquisition function 111 to acquire, for each pixel of the medical image, likelihood values relating to multiple types of substances and structures in the body according to the pixel value. Then, the processing circuit 11 uses the feature amount calculation function 112 to calculate a plurality of feature amounts using the acquired plurality of likelihood values. Thus, processing circuitry 11 is adapted to perform feature extraction using the likelihood of materials and structures within the body associated with the texture pattern to be identified, rather than extracting features directly from the image. As a result, the processing circuit 11 can obtain a feature amount with high discrimination ability.
したがって、本実施形態に係る画像処理装置10によれば、医用画像のテクスチャパターンの識別精度を向上できる。 Therefore, according to the image processing apparatus 10 of the present embodiment, it is possible to improve the accuracy of identifying the texture pattern of the medical image.
なお、上記実施形態では、処理回路11が画像取得機能110、尤度取得機能111、及び特徴量算出機能112を有する場合を例に説明した。しかしながら、これに限定されない。例えば、図11に示されるように、処理回路11aは、識別機能113を有しても構わない。処理回路11aは、記憶回路15に記憶されているプログラムを実行することで、画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113を有する。 In the above-described embodiment, the case where the processing circuit 11 has the image acquisition function 110, the likelihood acquisition function 111, and the feature amount calculation function 112 has been described as an example. However, it is not limited to this. For example, as shown in FIG. 11, processing circuitry 11a may include an identification feature 113. FIG. The processing circuit 11 a has an image acquisition function 110 , a likelihood acquisition function 111 , a feature quantity calculation function 112 , and an identification function 113 by executing programs stored in the storage circuit 15 .
識別機能113は、特徴量算出機能112により取得された特徴ベクトルを用いて学習した機械学習を利用し、予め設定した病変、体組織、又は臓器等のテクスチャパターンを識別する。このとき、例えば、記憶回路15には、所定のテクスチャパターンを識別するための学習済みの機械学習に関するデータが予め記憶されている。識別機能113により識別されるパターンの数は任意であるが、取得した尤度値の種類よりも多くてもよいし、少なくても構わない。識別されるパターンの数は、例えば、良性と悪性とを識別する場合には2となる。図12は、図11に示される処理回路11aの動作を模式的に説明する図である。図12によれば、処理回路11aは、医用画像の各画素について尤度値を取得することで、尤度1~尤度Nの尤度画像を発生する。処理回路11aは、尤度1~尤度Nの尤度画像に基づき、特徴ベクトルを生成する。そして、処理回路11aは、サンプルとして取得した特徴ベクトルを用いて学習した機械学習を利用し、取得した特徴ベクトルに基づき、予め設定した病変、体組織、又は臓器等のテクスチャパターンを識別する。 The identification function 113 uses machine learning learned using the feature vectors acquired by the feature amount calculation function 112 to identify preset texture patterns such as lesions, body tissues, or organs. At this time, for example, the memory circuit 15 stores in advance data related to machine learning for identifying a predetermined texture pattern. Although the number of patterns identified by the identification function 113 is arbitrary, it may be more or less than the types of likelihood values obtained. The number of identified patterns is, for example, two when distinguishing between benign and malignant. FIG. 12 is a diagram schematically explaining the operation of the processing circuit 11a shown in FIG. According to FIG. 12, the processing circuit 11a generates likelihood images of likelihood 1 to likelihood N by obtaining a likelihood value for each pixel of the medical image. The processing circuit 11a generates a feature vector based on likelihood images of likelihood 1 to likelihood N. FIG. Then, the processing circuit 11a uses machine learning learned using the feature vectors acquired as samples, and identifies preset texture patterns such as lesions, body tissues, or organs based on the acquired feature vectors.
識別機能113において用いられる機械学習のアルゴリズムは、判別分析、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、Randomized Trees、部分空間法等が挙げられる。なお、これらのうちいずれかと、条件付き確立場、及びグラフカットとを組み合わせることで、画素の隣接関係を考慮してテクスチャパターンを識別するようにしてもよい。 Machine learning algorithms used in the identification function 113 include discriminant analysis, logistic regression, support vector machines, neural networks, randomized trees, subspace methods, and the like. By combining any of these with the conditional probability field and the graph cut, the texture pattern may be identified in consideration of the adjacency of pixels.
また、本実施形態では、画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113が画像処理装置10に設けられる場合を例に説明した。しかしながら、これに限定されない。画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113は、医用画像診断装置20に設けられていても構わない。図13は、医用画像診断装置20の一例であるX線CT装置が、画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113を有する場合のX線CT装置の機能構成の例を示す図である。図13によれば、医用画像診断装置20の処理回路21は、記憶回路22に記憶されているプログラムを実行することで、画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113を実現する。なお、処理回路21は、画像再構成処理により発生したCT画像データに対して尤度取得機能111を実施しても構わない。この場合、必ずしも処理回路21は、画像取得機能110を実施する必要はない。 Further, in the present embodiment, the case where the image acquisition function 110, the likelihood acquisition function 111, the feature amount calculation function 112, and the identification function 113 are provided in the image processing apparatus 10 has been described as an example. However, it is not limited to this. The image acquisition function 110 , the likelihood acquisition function 111 , the feature quantity calculation function 112 , and the identification function 113 may be provided in the medical image diagnostic apparatus 20 . FIG. 13 shows the functions of an X-ray CT apparatus in the case where the X-ray CT apparatus, which is an example of the medical image diagnostic apparatus 20, has an image acquisition function 110, a likelihood acquisition function 111, a feature value calculation function 112, and an identification function 113. It is a figure which shows the example of a structure. 13, the processing circuit 21 of the medical image diagnostic apparatus 20 executes programs stored in the storage circuit 22 to perform an image acquisition function 110, a likelihood acquisition function 111, a feature amount calculation function 112, and It implements the identification function 113 . Note that the processing circuit 21 may perform the likelihood acquisition function 111 on CT image data generated by image reconstruction processing. In this case, processing circuitry 21 need not necessarily implement image acquisition function 110 .
本実施形態に係る画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、画像処理装置10、及び医用画像診断装置20は、コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113を実現することができる。このとき、画像処理装置10、及び医用画像診断装置20は、上記プログラムを予めインストールすることで、画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113を実現してもよい。また、画像処理装置10、及び医用画像診断装置20は、上記プログラムをCD-ROM等の記憶媒体から読み込んで、又はネットワークを介して受信して適宜インストールすることで、画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113を実現してもよい。また、画像処理装置10に入力される3次元CT画像、及び抽出対象の構造を特定する位置情報は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク、又はCD-R、CD-RW、DVD-RAM、及びDVD-R等の記憶媒体等に記憶されていても構わない。 The image acquisition function 110, the likelihood acquisition function 111, the feature amount calculation function 112, and the identification function 113 according to the present embodiment can be realized by using, for example, a general-purpose computer device as basic hardware. That is, the image processing apparatus 10 and the medical image diagnostic apparatus 20 have an image acquisition function 110, a likelihood acquisition function 111, a feature amount calculation function 112, and an identification function 113 by causing a processor installed in a computer device to execute a program. can be realized. At this time, the image processing apparatus 10 and the medical image diagnostic apparatus 20 implement the image acquisition function 110, the likelihood acquisition function 111, the feature value calculation function 112, and the identification function 113 by installing the above programs in advance. good too. In addition, the image processing apparatus 10 and the medical image diagnostic apparatus 20 read the above program from a storage medium such as a CD-ROM, or receive it via a network and install it as appropriate, so that the image acquisition function 110, the likelihood The acquisition function 111, the feature amount calculation function 112, and the identification function 113 may be realized. Also, the three-dimensional CT image input to the image processing apparatus 10 and the positional information specifying the structure to be extracted can be stored in the memory, hard disk, or CD-R or CD-RW that is built-in or external to the computer device. , DVD-RAM, and DVD-R.
また、上記実施形態では医用画像の例として、CT画像を挙げた。しかしながら、医用画像はCT画像に限定されない。MRI装置により取得されるMR画像等、他の画像であっても構わない。処理回路11は、例えば、MR画像に含まれる構造に基づいて尤度値を取得する。そして、処理回路11は、取得した尤度値に重み係数をかけることで特徴量を算出し、特徴ベクトルを取得する。 Further, in the above embodiments, a CT image was given as an example of a medical image. However, medical images are not limited to CT images. Other images such as MR images acquired by an MRI apparatus may be used. The processing circuitry 11 obtains likelihood values based on, for example, structures contained in the MR image. Then, the processing circuit 11 calculates a feature amount by multiplying the obtained likelihood value by a weighting factor, and obtains a feature vector.
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(central processing unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサは記憶回路15に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路15にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、上記実施形態に記載のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。 The term "processor" used in the above description is, for example, a CPU (central processing unit), a GPU (Graphics Processing Unit), or an application specific integrated circuit (ASIC), a programmable logic device (e.g., Circuits such as Simple Programmable Logic Device (SPLD), Complex Programmable Logic Device (CPLD), Field Programmable Gate Array (FPGA), etc. A processor is a memory circuit. The functions are realized by reading and executing the program stored in the memory circuit 15. Instead of storing the program in the storage circuit 15, the program may be directly incorporated in the circuit of the processor. A processor realizes its functions by reading and executing a program embedded in a circuit.The processors described in the above embodiments are not limited to being configured as a single circuit, and may be composed of a plurality of independent circuits. They may be combined into one processor to realize its function.
本実施形態における画像取得機能110、尤度取得機能111、特徴量算出機能112、及び識別機能113は、それぞれ対応する画像取得部、尤度取得部、特徴量算出部、及び識別部によって実現されるものであってもよい。なお、本実施形態において「部」として説明した構成要素は、その動作がハードウェアによって実現されるものであってもよいし、ソフトウェアによって実現されるものであってもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであってもよい。 The image acquisition function 110, the likelihood acquisition function 111, the feature quantity calculation function 112, and the identification function 113 in this embodiment are implemented by the corresponding image acquisition unit, likelihood acquisition unit, feature quantity calculation unit, and identification unit, respectively. can be anything. It should be noted that the components described as "units" in the present embodiment may be implemented by hardware or software, or may be implemented by hardware and software. It may be realized by a combination of
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
1…医用情報システム、10…画像処理装置、11,11a…処理回路、110…画像取得機能、111…尤度取得機能、112…特徴量算出機能、113…識別機能、12…入力インタフェース、13…出力インタフェース、14…通信インタフェース、15…記憶回路、20…医用画像診断装置、21…処理回路、22…記憶回路、30…画像保管装置。 DESCRIPTION OF SYMBOLS 1... Medical information system 10... Image processing apparatus 11, 11a... Processing circuit 110... Image acquisition function 111... Likelihood acquisition function 112... Feature-value calculation function 113... Identification function 12... Input interface 13 ... output interface, 14 ... communication interface, 15 ... storage circuit, 20 ... medical image diagnostic apparatus, 21 ... processing circuit, 22 ... storage circuit, 30 ... image storage device.
Claims (16)
前記医用画像データに基づく医用画像に含まれる要素が体内の物質及び構造に対応する分類項目のうち少なくともいずれかに分類される尤もらしさを表す複数の尤度値を、前記医用画像の画素毎に取得する尤度取得部と、
前記複数の尤度値を用いて複数の特徴量を算出する特徴量算出部と、
前記複数の特徴量を用いて病変、体組織又は臓器の領域を識別する識別部と、
を具備し、
前記識別部は、前記複数の特徴量を用いて、病変、体組織、又は臓器に対応するテクスチャパターンを識別し、
前記体内の物質及び構造は、識別したいテクスチャパターンに含まれる物質又は構造であり、
前記尤度取得部は、前記画素毎に、その画素の画素値とその画素の周囲の画素の画素値とに応じて前記尤度値を取得する、
画像処理装置。 an image acquisition unit that acquires medical image data;
a plurality of likelihood values representing the likelihood that an element included in a medical image based on the medical image data is classified into at least one of classification items corresponding to substances and structures in the body, for each pixel of the medical image; a likelihood acquisition unit to acquire;
A feature amount calculation unit that calculates a plurality of feature amounts using the plurality of likelihood values;
an identification unit that identifies regions of lesions, body tissues, or organs using the plurality of feature quantities;
and
The identification unit uses the plurality of feature amounts to identify a texture pattern corresponding to a lesion, body tissue, or organ,
the substances and structures in the body are substances or structures contained in the texture pattern to be identified;
The likelihood acquisition unit acquires the likelihood value for each pixel according to the pixel value of the pixel and the pixel values of pixels surrounding the pixel.
Image processing device.
前記機械学習アルゴリズムは、判別分析、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、randomized Trees, 部分空間法の少なくとも1つである、請求項1記載の画像処理装置。 The identifying unit uses a machine learning algorithm to identify the type of lesion, body tissue, or organ included in the medical image,
2. The image processing apparatus according to claim 1, wherein said machine learning algorithm is at least one of discriminant analysis, logistic regression, support vector machine, neural network, randomized trees, subspace method.
前記機械学習アルゴリズムは、判別分析、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、randomized Trees,及び部分空間法のうちのいずれかと、条件付確率場またはグラフカットを組み合わせたものである、請求項1記載の画像処理装置。 The identifying unit uses a machine learning algorithm to identify the type of lesion, body tissue, or organ included in the medical image,
2. The machine learning algorithm of claim 1, wherein the machine learning algorithm combines any of discriminant analysis, logistic regression, support vector machines, neural networks, randomized trees, and subspace methods with conditional random fields or graph cuts. image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022079581A JP7318058B2 (en) | 2017-06-30 | 2022-05-13 | Image processing device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129423A JP7005191B2 (en) | 2017-06-30 | 2017-06-30 | Image processing equipment, medical diagnostic imaging equipment, and programs |
JP2021063994A JP7139479B2 (en) | 2017-06-30 | 2021-04-05 | IMAGE PROCESSING DEVICE, MEDICAL IMAGE DIAGNOSTIC DEVICE, AND PROGRAM |
JP2022079581A JP7318058B2 (en) | 2017-06-30 | 2022-05-13 | Image processing device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021063994A Division JP7139479B2 (en) | 2017-06-30 | 2021-04-05 | IMAGE PROCESSING DEVICE, MEDICAL IMAGE DIAGNOSTIC DEVICE, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022107639A JP2022107639A (en) | 2022-07-22 |
JP7318058B2 true JP7318058B2 (en) | 2023-07-31 |
Family
ID=87852642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022079581A Active JP7318058B2 (en) | 2017-06-30 | 2022-05-13 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7318058B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011512999A (en) | 2008-03-04 | 2011-04-28 | トモセラピー・インコーポレーテッド | Improved image segmentation method and system |
JP2013192624A (en) | 2012-03-16 | 2013-09-30 | Hitachi Ltd | Medical image diagnosis supporting apparatus, medical image diagnosis supporting method and computer program |
JP2014030623A (en) | 2012-08-03 | 2014-02-20 | Kyoto Univ | Image processor, image processing method and program |
JP2014068861A (en) | 2012-09-28 | 2014-04-21 | Fujifilm Corp | Image processing unit, method and program |
JP2014213202A (en) | 2013-04-22 | 2014-11-17 | 株式会社東芝 | Medical image processing apparatus, medical image processing method and medical image processing program |
JP2017064370A (en) | 2015-09-29 | 2017-04-06 | キヤノン株式会社 | Image processing device, and method and program for controlling image processing device |
WO2017086433A1 (en) | 2015-11-19 | 2017-05-26 | 国立大学法人 東京大学 | Medical image processing method, device, system, and program |
-
2022
- 2022-05-13 JP JP2022079581A patent/JP7318058B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011512999A (en) | 2008-03-04 | 2011-04-28 | トモセラピー・インコーポレーテッド | Improved image segmentation method and system |
JP2013192624A (en) | 2012-03-16 | 2013-09-30 | Hitachi Ltd | Medical image diagnosis supporting apparatus, medical image diagnosis supporting method and computer program |
JP2014030623A (en) | 2012-08-03 | 2014-02-20 | Kyoto Univ | Image processor, image processing method and program |
JP2014068861A (en) | 2012-09-28 | 2014-04-21 | Fujifilm Corp | Image processing unit, method and program |
JP2014213202A (en) | 2013-04-22 | 2014-11-17 | 株式会社東芝 | Medical image processing apparatus, medical image processing method and medical image processing program |
JP2017064370A (en) | 2015-09-29 | 2017-04-06 | キヤノン株式会社 | Image processing device, and method and program for controlling image processing device |
WO2017086433A1 (en) | 2015-11-19 | 2017-05-26 | 国立大学法人 東京大学 | Medical image processing method, device, system, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022107639A (en) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7139479B2 (en) | IMAGE PROCESSING DEVICE, MEDICAL IMAGE DIAGNOSTIC DEVICE, AND PROGRAM | |
Yousef et al. | A holistic overview of deep learning approach in medical imaging | |
US8335359B2 (en) | Systems, apparatus and processes for automated medical image segmentation | |
JP5814504B2 (en) | Medical image automatic segmentation system, apparatus and processor using statistical model | |
US20160321427A1 (en) | Patient-Specific Therapy Planning Support Using Patient Matching | |
Wang et al. | An improved electronic colon cleansing method for detection of colonic polyps by virtual colonoscopy | |
JP2009502230A (en) | Detection of wounds in medical images | |
JP2003225231A (en) | Method and system for detecting lung disease | |
WO2015042421A1 (en) | Biopsy-free detection and staging of cancer using a virtual staging score | |
CN112529834A (en) | Spatial distribution of pathological image patterns in 3D image data | |
Rubin et al. | Biomedical imaging informatics | |
Xiao et al. | PET and CT image fusion of lung cancer with siamese pyramid fusion network | |
JP7318058B2 (en) | Image processing device | |
Lata et al. | A review of deep learning-based methods for cancer detection and classification | |
JP2023545570A (en) | Detecting anatomical abnormalities by segmentation results with and without shape priors | |
Deenadhayalan et al. | Computed Tomography Image based Classification and Detection of Lung Diseases with Image Processing Approach | |
Sawyer et al. | Evaluation of segmentation algorithms for optical coherence tomography images of ovarian tissue | |
Vijayaraj et al. | Small cell lung tumour differentiation using F-18 (Fluorine-18) PET and smoothing using Gaussian 3D convolution operator | |
Vargas-Quintero et al. | Bone SPECT image segmentation based on the Hermite Transform | |
Alahmer | Automated characterisation and classification of liver lesions from CT scans. | |
Soleimani | Information fusion of magnetic resonance images and mammographic scans for improved diagnostic management of breast cancer | |
Marques | Fundamentals of Medical Image Analysis | |
Pandey et al. | A Framework for Mathematical Methods in Medical Image Processing | |
Deepika et al. | Three dimensional reconstruction of brain tumor along with space occupying in lesions | |
Venkata | A Cardiac Disease Prediction and Clinical Decision Making Framework Based on Automated Segmentation of Left and Right Ventricles in Cardiac MRI Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7318058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |