WO2020054019A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2020054019A1
WO2020054019A1 PCT/JP2018/033980 JP2018033980W WO2020054019A1 WO 2020054019 A1 WO2020054019 A1 WO 2020054019A1 JP 2018033980 W JP2018033980 W JP 2018033980W WO 2020054019 A1 WO2020054019 A1 WO 2020054019A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
guide line
target tissue
coronary artery
Prior art date
Application number
PCT/JP2018/033980
Other languages
English (en)
French (fr)
Inventor
和成 宮村
荒木　悟
阪本　剛
徳朗 三宅
Original Assignee
株式会社Pfu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Pfu filed Critical 株式会社Pfu
Priority to JP2020546624A priority Critical patent/JPWO2020054019A1/ja
Priority to PCT/JP2018/033980 priority patent/WO2020054019A1/ja
Publication of WO2020054019A1 publication Critical patent/WO2020054019A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program.
  • Non-Patent Document 1 a starting point of a coronary artery (a starting point extending from the ascending aorta to the end of the coronary artery) is searched from the diagnostic image data as Auto-Seeding, and the coronary artery is extracted (separated) from the starting point by the Virtual ⁇ Contrast ⁇ Injection method. , Skeletalization) are disclosed.
  • US Pat. No. 6,086,098 discloses a system for segmenting a current diagnostic image, which segments a volume of interest in a previously generated diagnostic image of a selected volume of interest generated from a plurality of patients. Or aligning the previously generated and segmented image with a plurality of workstations and merging the previously generated and segmented image, (1) the probability that each voxel represents the volume of interest; One or more processors programmed to provide a probability map indicating (2) the probability that each voxel represents the background, and (3) the average segmentation boundary; and A segmented processor that is aligned with the diagnostic image to generate a transformed probability map.
  • the stem is disclosed.
  • Patent Document 3 discloses a medical image processing apparatus that generates a medical image using three-dimensional volume data indicating the inside of a living body, and includes a region including a cross section of a predetermined tubular tissue indicated by the three-dimensional volume data.
  • a plurality of cross-sectional area specifying units and an imaging unit that images cross sections of the tubular tissue included in the cross-sectional area using the three-dimensional volume data included in each of the cross-sectional areas specified by the cross-sectional area specifying unit.
  • a center specifying unit that specifies three-dimensional volume data indicating the center position of the image indicating the cross section of the tubular tissue; and three-dimensional volume data indicating the center position of the tube cross section in each cross-sectional area specified by the center specifying unit.
  • a center line specifying unit for specifying the three-dimensional volume data indicating a longitudinal center line of the tubular tissue based on the medical image processing. Location is disclosed.
  • An image processing apparatus includes a region estimating unit that estimates a region of a target tissue by artificial intelligence from a captured image of an organ, and a region of the target tissue based on the region of the target tissue estimated by the region estimating unit.
  • a guide line determining unit that determines a guide line included in the image data, and an image extracting unit that extracts an image region corresponding to a target tissue from the captured image based on the guide line determined by the guide line determining unit.
  • An image processing apparatus includes a region estimating unit that estimates a region of a target tissue by artificial intelligence from a captured image of an organ, and a region of the target tissue based on the region of the target tissue estimated by the region estimating unit.
  • a guide line determining unit that determines a guide line included in the image data, and an image display unit that displays a guide image along the guide line determined by the guide line determining unit so as to overlap the captured image.
  • the target tissue is a tubular tissue
  • the region estimation unit estimates a region of the tubular tissue
  • the guide line determination unit a guide line indicating at least one of the direction and range in which the tubular tissue spreads.
  • the image extracting unit extracts an image region corresponding to the tubular tissue.
  • the photographed image is an MRI image of a region including a coronary artery
  • the region estimation unit estimates a region of the coronary artery
  • the guide line determination unit determines at least one of a direction and a range in which the coronary artery expands. Is determined, and the image extracting unit extracts an image region corresponding to a coronary artery from the MRI image.
  • the guide line determination unit determines a center line passing through a central portion of the tubular tissue as the guide line
  • the image extraction unit determines brightness information of a position corresponding to the center line, and brightness of the surroundings. By comparing the information with the information, an image region corresponding to the tubular tissue is extracted.
  • the region estimating unit uses a set of a plurality of MRI images of a region including a coronary artery and an image region of a coronary artery extracted from these MRI images using artificial intelligence configured as teacher data. , Estimate the area of the coronary arteries.
  • the guide line determination unit determines the guide line composed of a curve by connecting the estimated region of the target tissue by a predetermined interpolation method.
  • An image processing method includes a step of estimating a region of a target tissue by artificial intelligence from a captured image of an organ, and determining a guide line included in the region of the target tissue based on the estimated region of the target tissue. And extracting an image region corresponding to a target tissue from the photographed image based on the determined guide line.
  • a program according to the present invention includes a step of estimating a region of a target tissue from a captured image of an organ by artificial intelligence, and a step of determining a guide line included in the region of the target tissue based on the estimated region of the target tissue. And displaying the guide image along the determined guide line so as to be superimposed on the photographed image.
  • FIG. 1 is a diagram illustrating a system configuration of an image processing system 1.
  • FIG. 2 is a diagram illustrating a hardware configuration of the image processing apparatus 3.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing apparatus 3. It is a flowchart explaining a coronary artery extraction process (S10). It is a flowchart explaining a guide line determination process (S20).
  • S10 coronary artery extraction process
  • S20 guide line determination process
  • A is a figure which illustrates the dotted center line
  • (b) is a figure which illustrates how to connect the dotted center line.
  • FIG. 4 is a diagram illustrating an image in which a guide image 8 and an MRI image 9 are superimposed.
  • the background on which the present invention is made will be described.
  • diagnosis is performed by a computer tomography diagnostic apparatus.
  • the diagnosis procedure includes, for example, (1) imaging with a computer tomography diagnostic apparatus, (2) extracting (trimming) a region of interest (VOI) from a captured image, (3) extracting a coronary artery, and (4) cardiac VR (stereoscopic three-dimensional). Image) data is extracted, and (5) digitization is performed based on the information and displayed in a format that can be easily viewed by a doctor.
  • the mainstream of the imaging method is radiation CT using a contrast agent, which involves side effects and radiation risks of the contrast agent.
  • Factors having a low success rate include a technique factor and an image characteristic factor.
  • the method of recognizing which blood vessel is in the entire image uses a method of searching from the starting point of the coronary artery, so if the starting point of the coronary artery is not found, the coronary artery can not be detected For the same reason, if pixel information cannot be recognized in a part of the coronary artery due to stenosis or other causes, it will not be a search target even if the coronary artery at a point ahead exists as a bright spot. No.
  • the resolution (1.2 mm) of the MRI image is not sufficient for the coronary artery diameter (about 3 mm) (the resolution of CT is 0.6 mm, and the success rate is relatively high);
  • the coronary artery is often buried and seen in other tissues such as fat cells due to the problem of artifacts.
  • the starting point of the coronary artery is often buried in other tissues.
  • the present invention estimates a coronary artery region by artificial intelligence without intervention of a radiologist, determines a center line of the coronary artery in the estimated region, and takes an image of the original coronary artery along the center line.
  • a pixel portion of a blood vessel is extracted from an (MRI image) based on luminance information, and a coronary artery image is automatically extracted.
  • FIG. 1 is a diagram illustrating an overall configuration of the image processing system 1.
  • the image processing system 1 includes an image transmission device 2a, an image transmission device 2b, an image transmission device 2c, and an image processing device 3 and is connected to each other via a network 7.
  • the image transmitting device 2a, the image transmitting device 2b, and the image transmitting device 2c are collectively referred to as the image transmitting device 2.
  • the image transmitting device 2 is a computer terminal, and transmits a captured image of an organ to the image processing device.
  • the image transmission device 2 transmits tomographic image data (hereinafter, referred to as image data) of a patient's body captured by MRI (magnetic resonance imaging device) to the image processing device 3.
  • image data tomographic image data
  • the image processing device 3 is a computer terminal, and extracts an image region of a target tissue based on image data received by the image transmission device 2.
  • the target tissue is a tubular tissue, and in this example, a coronary artery.
  • the image processing device 3 transmits the extracted image region to the image transmitting device 2.
  • FIG. 2 is a diagram illustrating a hardware configuration of the image processing apparatus 3.
  • the image processing device 3 includes a CPU 200, a memory 202, an HDD 204, a network interface 206 (network IF 206), a display device 208, and an input device 210. These components are connected via a bus 212. Connected to each other.
  • the CPU 200 is, for example, a central processing unit.
  • the memory 202 is, for example, a volatile memory and functions as a main storage device.
  • the HDD 204 is, for example, a hard disk drive, and stores a computer program and other data files as a nonvolatile recording device.
  • the network IF 206 is an interface for performing wired or wireless communication.
  • the display device 208 is, for example, a liquid crystal display.
  • the input device 210 is, for example, a keyboard and a mouse.
  • FIG. 3 is a diagram illustrating a functional configuration of the image processing apparatus 3.
  • an image processing program 30 is installed in the image processing device 3, and the image processing program 30 is stored in a recording medium such as a CD-ROM, for example.
  • a learning data database 600 (learning data DB 600).
  • Part or all of the image processing program 30 may be realized by hardware such as an ASIC, or may be realized by partially borrowing the function of an OS (Operating System). Further, the entire program may be installed on a single computer terminal, or may be installed on a virtual machine on a cloud.
  • the image processing program 30 includes an image acquisition unit 300, an area cutout unit 302, an area estimation unit 304, a guide line determination unit 306, an image extraction unit 308, and an image display unit 310.
  • the image acquisition unit 300 acquires the MRI image data transmitted by the image transmission device 2.
  • the region cutout unit 302 extracts only a region (VOI) necessary for analysis from the image data.
  • the region estimating unit 304 estimates a region of a target tissue from a captured image of an organ by artificial intelligence. Specifically, the target tissue is a tubular tissue, and more specifically, the region estimating unit 304 estimates a coronary artery region.
  • the region estimating unit 304 uses a set of a plurality of MRI images of a region including the coronary artery and an image region of the coronary artery extracted from these MRI images as artificial data configured as teacher data to generate a region of the coronary artery. Is estimated.
  • the artificial intelligence (AI: Artificial Intelligence) in the present invention learns teacher data by deep learning in a neural network.
  • the teacher data is coronary artery 3D data extracted by a doctor and associated with the MRI image data.
  • the artificial intelligence learns the teacher data and estimates the area of the coronary artery based on the learned data.
  • the learning data DB 600 holds the teacher data, and when new teacher data is input, the artificial intelligence may re-learn.
  • the guide line determination unit 306 determines a guide line included in the coronary artery region based on the coronary artery region estimated by the region estimation unit 304. Specifically, the guide line determination unit 306 determines a guide line indicating at least one of a direction and a range in which the coronary artery expands. More specifically, the guide line determination unit 306 determines a center line passing through the center of the coronary artery as a guide line. As a guide line determination method, the guide line determination unit 306 connects the estimated coronary artery regions by a predetermined interpolation method, and determines a guide line formed of a curve. The guide line indicates a direction or a range, and the line width and pattern are arbitrary. The guide line may be a dotted line, a broken line, a chain line, an arrow line, a hollow line, or the like.
  • the image extracting unit 308 extracts an image region corresponding to a coronary artery from a captured image based on the guide line determined by the guide line determining unit 306. Specifically, the image extracting unit 308 extracts an image region corresponding to a coronary artery from the MRI image. Further, the image extracting unit 308 compares the luminance information at the position corresponding to the center line with the luminance information around the center line, and extracts an image region corresponding to the coronary artery. More specifically, the image extracting unit 308 represents the extracted image area as an extracted diagram.
  • the image display unit 310 displays a guide image along the guide line determined by the guide line determination unit 306 so as to overlap the MRI image.
  • the image display unit 310 outputs a 3D image of the coronary artery, a coronary artery diameter value, and the like together with the coronary artery extracted image as a report.
  • FIG. 4 is a flowchart illustrating the coronary artery extraction processing (S10).
  • the image acquisition unit 300 acquires image data of a diagnosis target captured by MRI.
  • the region clipping unit 302 extracts only a region (VOI) necessary for analysis from the image data.
  • the region cutout unit 302 performs preprocessing such as data file format conversion in order to input the extracted region to the neural network.
  • the region estimating unit 304 estimates and extracts a coronary artery in the extracted region using a neural network.
  • the guide line determination unit 306 determines a center line passing through the central portion of the coronary artery as a guide line.
  • step 120 the image extracting unit 308 connects the luminance signals of the original patient data (MRI image data of the diagnosis target) based on the guide line determined by the guide line determining unit 306, and generates a coronary artery extraction diagram. create.
  • step 125 the image display unit 310 outputs a report of a shape (for example, a 3D image) useful for a doctor's diagnosis, a coronary artery diameter value, or the like.
  • FIG. 5 is a flowchart illustrating the guide line determination processing (S20).
  • the region estimating unit 304 estimates that the image of the coronary artery is a part of the target tissue based on the AI based on the teacher data and the learning of the blood vessel running. A pixel whose expected value is greater than or equal to a threshold value is specified.
  • the guide line determination unit 306 thins the area including the specified pixel to obtain the center line of the coronary artery. As illustrated in FIG. 6A, since the line structure on the program is a row of points in space, the center line is scattered along the coronary artery.
  • step 210 if the leading and trailing ends of the scattered center lines are close, the guide line determination unit 306 proceeds to S215, and if not, proceeds to S220.
  • step 215 S215), as illustrated in FIG. 6B, the guide line determination unit 306 regards the scattered point group as one column, and selects another column close to the point at the lower end of the column. Search for the point at the tip of, and connect them to determine the guide line.
  • step 220 (S220) the guide line determination unit 306 determines a guide line by connecting scattered center lines using a blood vessel estimation technique. Specifically, the guide line determination unit 306 connects the center lines by a curve regression method (for example, n-order spline interpolation) passing through the extraction point.
  • a curve regression method for example, n-order spline interpolation
  • the estimation of the coronary artery by the AI and the guide line can be performed. Since the coronary artery extraction processing can be performed based on the coronary artery, the coronary artery extraction processing can be performed with higher accuracy and a higher success rate. In addition, since the coronary artery extraction processing can be automatically performed without requiring the intervention of a doctor, it is also possible to reduce dependence on the doctor's skill.
  • the output by the AI is used only for outputting the coronary artery center line, the variation due to the accuracy of the AI based on the learning data can be reduced as compared with the coronary artery extraction using only the AI, and finally, based on the luminance information.
  • the extracted image of the coronary artery is created by the image extracting unit 308, but is not limited thereto.
  • the guide image 8 along the determined guide line may be displayed so as to be superimposed on the MRI image 9, and a coronary artery may be extracted by the radiologist based on the displayed image.

Abstract

画像処理装置３は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部３０４と、該領域推定部３０４により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部３０６と、ガイド線決定部３０６により決定されたガイド線に基づいて、撮影画像から、対象組織に相当する画像領域を抽出する画像抽出部とを有する。また、対象組織は、管状組織であり、領域推定部３０４は、管状組織の領域を推定し、ガイド線決定部３０６は、管状組織が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、画像抽出部は、管状組織に相当する画像領域を抽出する。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
　例えば、非特許文献１には、診断画像データからＡｕｔｏ-Ｓｅｅｄｉｎｇとして冠動脈の始点(上行大動脈から冠動脈末端に伸びる始点）を検索し、その始点からＶｉｒｔｕａｌ Ｃｏｎｔｒａｓｔ Ｉｎｊｅｃｔｉｏｎ法にて冠動脈をたどって抽出（分離、骨格化）する方法が開示されている。
　また、特許文献２には、現在診断画像をセグメント化するシステムであって、複数の患者から生成された、選択された関心ボリュームの以前に生成された診断画像において、関心ボリュームをセグメント化する１又は複数のワークステーションと、前記以前に生成されセグメント化された画像を位置合わせし、前記以前に生成されセグメント化された画像をマージして、（１）各ボクセルが前記関心ボリュームを表す確率、（２）各ボクセルがバックグラウンドを表す確率、及び（３）平均セグメント化境界、を示す確率マップを与えるようにプログラムされる１又は複数のプロセッサと、前記確率マップを現在患者の関心ボリュームの現在診断画像と位置合わせして、変換された確率マップを生成するセグメント化プロセッサとを有するシステムが開示されている。
　また、特許文献３には、生体内部を示す３次元ボリュームデータを用いて医用画像を生成する医用画像処理装置であって、前記３次元ボリュームデータで示される所定の管状組織の断面を含む領域を複数指定する断面領域指定部と、前記断面領域指定部が指定した各断面領域に含まれる前記３次元ボリュームデータを用いて、当該断面領域に含まれる前記管状組織の断面を画像化する画像化部と、前記管状組織の断面を示す画像の中心位置を示す３次元ボリュームデータを特定する中心特定部と、前記中心特定部が特定した各断面領域における管断面の中心位置を示す３次元ボリュームデータに基づいて、前記管状組織の長尺方向中心線を示す前記３次元ボリュームデータを特定する中心線特定部とを備えることを特徴とする医用画像処理装置が開示されている。
Ａｎ Ａｕｔｏｍａｔｉｃ Ｓｅｅｄｉｎｇ Ｍｅｔｈｏｄ Ｆｏｒ Ｃｏｒｏｎａｒｙ Ａｒｔｅｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｓｋｅｌｅｔｏｎｉｚａｔｉｏｎ ｉｎ ＣＴＡ 特表２０１３－５２１８４４号公報 特開２００４‐３１３７３６号公報
　臓器の撮影画像において、対象組織の特定を容易にする画像処理装置を提供することを目的とする。
　本発明に係る画像処理装置は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、前記ガイド線決定部により決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出する画像抽出部とを有する。
　本発明に係る画像処理装置は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、前記ガイド線決定部により決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示する画像表示部とを有する。
　好適には、前記対象組織は、管状組織であり、前記領域推定部は、管状組織の領域を推定し、前記ガイド線決定部は、管状組織が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、前記画像抽出部は、管状組織に相当する画像領域を抽出する。
　好適には、前記撮影画像は、冠動脈が含まれた領域のＭＲＩ画像であり、前記領域推定部は、冠動脈の領域を推定し、前記ガイド線決定部は、冠動脈が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、前記画像抽出部は、ＭＲＩ画像から、冠動脈に相当する画像領域を抽出する。
　好適には、前記ガイド線決定部は、管状組織の中央部をとおる中心線を前記ガイド線として決定し、前記画像抽出部は、前記中心線に相当する位置の輝度情報と、この周囲の輝度情報とを比較して、管状組織に相当する画像領域を抽出する。
　好適には、前記領域推定部は、冠動脈が含まれた領域の複数のＭＲＩ画像と、これらのＭＲＩ画像から抽出された冠動脈の画像領域とのセットを教師データとして構成された人工知能を用いて、冠動脈の領域を推定する。
　好適には、前記ガイド線決定部は、推定された対象組織の領域を、既定の補間法でつないで、曲線からなるガイド線を決定する。
　本発明に係る画像処理方法は、臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出するステップとを有する。
　本発明に係るプログラムは、臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示するステップとをコンピュータに実行させる。
　臓器の撮影画像において、対象組織の特定を容易にすることができる。
画像処理システム１のシステム構成を例示する図である。 画像処理装置３のハードウェア構成を例示する図である。 画像処理装置３の機能構成を例示する図である。 冠動脈抽出処理（Ｓ１０）を説明するフローチャートである。 ガイド線決定処理（Ｓ２０）を説明するフローチャートである。 （ａ）は、点在する中心線を例示する図であり、（ｂ）は、点在する中心線のつなぎ方を例示する図である。 ガイド画像８とＭＲＩ画像９とを重ね合わせた画像を例示する図である。
　［背景］
　本発明がなされた背景を説明する。
　循環器診断ではコンピュータ断層診断装置による診断を行う。診断の手順は、例えば、（１）コンピュータ断層診断装置で撮影、（２）撮影画像から関心領域（ＶＯＩ）を抽出(トリミング）、（３）冠動脈を抽出、（４）心臓ＶＲ(立体三次元画像)データを抽出、（５）これらの情報をもとに数値化などを行い医師が見やすい形式で表示、という流れである。
　撮影方法の主流は造影剤を用いた放射線ＣＴであるが造影剤の副作用や放射線リスクが伴う。これらリスクのないＭＲＩ(核磁気共鳴画像)方式も今後導入が進むと考えられるが、解像度の荒さやアーチファクト(特有のノイズ）のため、従来の画像処理技術では冠動脈の抽出（分離、骨格化）を自動化することが難しく、熟練した読影医が半手動で抽出を行っている。そしてそのような読影医は不足気味である。そのため診療の現場では、熟練した読影医に頼らずＭＲＩ画像などから自動的に冠動脈を抽出し、更に、患者説明に有効な心臓ＶＲデータを抽出して医師が見やすい適切な形式で表示する手段の実現が望まれている。
　一般にＭＲＩ画像、とりわけ冠動脈始点が識別困難な画像では、コンピュータ処理による冠動脈の自動的な検出は成功率が低い。成功率が低い要因は、手法上の要因と画像特性の要因とがある。手法上の要因として、従来、画像全体の中で血管がどれであるかを認識する方法は、冠動脈の始点から探索する方法を取っているので、冠動脈の始点が見つからないと、冠動脈は検出できないこと、そして、同様の理由で、狭窄や他の原因で冠動脈の一部に画素情報が認識できないと、その先にある箇所の冠動脈が輝点として存在していても探索対象にならないこと、が挙げられる。
　また、画像特性の要因として、冠動脈直径（約３ｍｍ）に対して、ＭＲＩ画像の解像度（１．２ｍｍ）が十分でない（ＣＴの解像度は０．６ｍｍであり、比較的成功率は高い）こと、そして、アーチファクトの問題により冠動脈が脂肪細胞など他組織に埋没して見えてしまうことが多く、特に冠動脈の始点は他組織に埋没することが多いことが挙げられる。
　上記課題に対して、本発明は、読影医の介入無しに人工知能によって冠動脈の領域を推定し、推定した領域において冠動脈中心線を決定し、その中心線に沿ってもとの冠動脈の撮影画像（ＭＲＩ画像）から輝度情報を基に血管の画素部分を抽出し、冠動脈画像を自動で抽出する方法である。
　本発明の実施形態を、図面を参照して説明する。
　図１は、画像処理システム１の全体構成を例示する図である。
　図１に例示するように、画像処理システム１は、画像送信装置２a、画像送信装置２ｂ、画像送信装置２ｃ及び画像処理装置３を含み、ネットワーク７を介して互いに接続している。画像送信装置２a、画像送信装置２ｂ、画像送信装置２ｃを合わせて画像送信装置２と称する
　画像送信装置２は、コンピュータ端末であり、臓器の撮影画像を画像処理装置に送信する。具体的には、画像送信装置２は、ＭＲＩ（磁気共鳴画像装置）により撮像された、患者の体の断層画像データ（以下、画像データとする。）を画像処理装置３に送信する。
　画像処理装置３は、コンピュータ端末であり、画像送信装置２により受信した画像データに基づいて、対象組織の画像領域を抽出する。本例において、対象組織は管状組織であり、本例においては、冠動脈である。画像処理装置３は、抽出した画像領域を画像送信装置２に送信する。
　図２は、画像処理装置３のハードウェア構成を例示する図である。
　図２に例示するように、画像処理装置３は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
　ＣＰＵ２００は、例えば、中央演算装置である。
　メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
　ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラムやその他のデータファイルを格納する。
　ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースである。
　表示装置２０８は、例えば、液晶ディスプレイである。
　入力装置２１０は、例えば、キーボード及びマウスである。
　図３は、画像処理装置３の機能構成を例示する図である。
　図３に例示するように、画像処理装置３には、画像処理プログラム３０がインストールされ、画像処理プログラム３０は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、画像処理装置３にインストールされると共に学習データデータベース６００（学習データＤＢ６００）を構成する。
　なお、画像処理プログラム３０の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。また、このプログラム全体が一台のコンピュータ端末にインストールされてもよいし、クラウド上の仮想マシンにインストールされてもよい。
　画像処理プログラム３０は、画像取得部３００、領域切取部３０２、領域推定部３０４、ガイド線決定部３０６、画像抽出部３０８、及び画像表示部３１０を有する。
　画像処理プログラム３０において、画像取得部３００は、画像送信装置２により送信されたＭＲＩの画像データを取得する。
　領域切取部３０２は、画像データから解析に必要な領域（ＶＯＩ）のみを抽出する。
　領域推定部３０４は、臓器の撮影画像から、人工知能によって対象組織の領域を推定する。具体的には、対象組織は管状組織であり、より具体的には、領域推定部３０４は、冠動脈の領域を推定する。領域推定部３０４は、冠動脈が含まれた領域の複数のＭＲＩ画像と、これらのＭＲＩ画像から抽出された冠動脈の画像領域とのセットを教師データとして構成された人工知能を用いて、冠動脈の領域を推定する。
　なお、本発明における人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、ニューラルネットワークにおいて、ディープラーニングにより教師データを学習する。教師データは、ＭＲＩ画像データに関連付けられた、医師が抽出した冠動脈の３Ｄデータである。人工知能は、教師データを学習し、これに基づいて冠動脈の領域を推定する。学習データＤＢ６００は、教師データを保持し、新たな教師データが入力された場合に、人工知能は再学習してもよい。
　ガイド線決定部３０６は、領域推定部３０４により推定された冠動脈の領域に基づいて、冠動脈の領域に含まれるガイド線を決定する。具体的には、ガイド線決定部３０６は、冠動脈が広がる方向及び範囲の少なくとも一方を示すガイド線を決定する。より具体的には、ガイド線決定部３０６は、冠動脈の中央部を通る中心線をガイド線として決定する。ガイド線の決定方法として、ガイド線決定部３０６は、推定された冠動脈の領域を、既定の補間法でつないで、曲線からなるガイド線を決定する。ガイド線は、方向又は範囲を示すものであり、線幅やパターンは任意である。ガイド線は、点線や、破線、鎖線、矢印線、中抜き線等であってもよい。
　画像抽出部３０８は、ガイド線決定部３０６により決定されたガイド線に基づいて、撮影画像から、冠動脈に相当する画像領域を抽出する。具体的には、画像抽出部３０８は、ＭＲＩ画像から、冠動脈に相当する画像領域を抽出する。さらに、画像抽出部３０８は、中心線に相当する位置の輝度情報と、この周囲の輝度情報とを比較して、冠動脈に相当する画像領域を抽出する。より具体的には、画像抽出部３０８は、抽出した画像領域を抽出図として表す。
　画像表示部３１０は、ガイド線決定部３０６により決定されたガイド線に沿ったガイド画像を、ＭＲＩ画像に重ね合わせて表示する。また、画像表示部３１０は、冠動脈抽出画像と共に、冠動脈の３Ｄ画像、または冠動脈直径値等をレポート出力する。
　図４は、冠動脈抽出処理（Ｓ１０）を説明するフローチャートである。
　図４に例示するように、ステップ１００（Ｓ１００）において、画像取得部３００は、ＭＲＩで撮影された、診断対象である画像データを取得する。
　ステップ１０５（Ｓ１０５）において、領域切取部３０２は、画像データから解析に必要な領域（ＶＯＩ）のみを抽出する。そして、領域切取部３０２は、抽出した領域をニューラルネットワークへ入力するために、データファイル形式変換等の前処理を実施する。
　ステップ１１０（Ｓ１１０）において、領域推定部３０４は、ニューラルネットワークを用いて、抽出した領域において冠動脈を推定し、抽出する。
　ステップ１１５（Ｓ１１５）において、ガイド線決定部３０６は、冠動脈の中央部を通る中心線をガイド線として決定する。
　ステップ１２０（Ｓ１２０）において、画像抽出部３０８は、ガイド線決定部３０６により決定されたガイド線に基づいて、元の患者データ（診断対象のＭＲＩ画像データ）の輝度信号をつなぎ、冠動脈抽出図を作成する。
　ステップ１２５（Ｓ１２５）において、画像表示部３１０は、医師の診断に有用な形状（例えば、３Ｄ画像）、または冠動脈直径値等をレポート出力する。
　図５は、ガイド線決定処理（Ｓ２０）を説明するフローチャートである。
　図５に例示するように、ステップ２００（Ｓ２００）において、領域推定部３０４は、教師データ及び血管走行の学習に基づいて、冠動脈の画像のうち、ＡＩにより対象組織の一部であると推定される期待値が、閾値以上のピクセルを特定する。
ステップ２０５（Ｓ２０５）において、ガイド線決定部３０６は、特定されたピクセルを含む領域を細線化し、冠動脈の中心線を得る。図６（ａ）に例示するように、プログラム上において線構造は、空間内での点の列であるから、中心線は冠動脈に沿って点在している状態である。
　ステップ２１０（Ｓ２１０）において、点在する中心線の先端と後端とが近接している場合は、ガイド線決定部３０６は、Ｓ２１５へ移行し、近接していない場合は、Ｓ２２０へ移行する。
　ステップ２１５（Ｓ２１５）において、ガイド線決定部３０６は、図６（ｂ）に例示するように、点在している点群を一つの列と捉え、列の降端の点から近い別の列の先端の点を検索し、その間をつなぎ、ガイド線を決定する。
　ステップ２２０（Ｓ２２０）において、ガイド線決定部３０６は、血管推定技術を用いて、点在する中心線をつなぎ、ガイド線を決定する。具体的には、ガイド線決定部３０６は、抽出点を通過する曲線回帰手法（例えば、ｎ次スプライン補間）により中心線をつなぐ。
　以上説明したように、本実施形態の画像処理システム１によれば、ＭＲＩ画像のような低解像度やノイズを持つ、とりわけ冠動脈始点の識別が難しい画像でも、ＡＩによる冠動脈の推定とガイド線とに基づいて冠動脈の抽出処理が可能であるため、より高精度且つ高成功率で冠動脈抽出処理が可能である。また、医師の介在を必要とせずに自動で冠動脈抽出処理を行うことができるため、医師の技量への依存を低減することも可能である。また、ＡＩによる出力は、冠動脈中心線を出力するためのみに用いるため、ＡＩのみを用いた冠動脈抽出よりも学習データによるＡＩの精度によるばらつきを低減でき、かつ、最終的に輝度情報を基に冠動脈を抽出することから、従来と同等の信頼度で診断に利用可能な情報を得ることができる。
　上記実施形態では、画像抽出部３０８により、冠動脈の抽出図を作成しているが、これに限定されず、例えば、図７に例示するように、画像表示部３１０が、ガイド線決定部３０６により決定されたガイド線に沿ったガイド画像８を、ＭＲＩ画像９に重ね合わせて表示し、表示された画像に基づいて、読影医により冠動脈の抽出図を作成してもよい。
　１…画像処理システム
　２…画像送信装置
　３…画像処理装置
　３０…画像処理プログラム

Claims (9)

  1. 　臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、
    　前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、
    　前記ガイド線決定部により決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出する画像抽出部と
    　を有する画像処理装置。
  2. 　臓器の撮影画像から、人工知能によって対象組織の領域を推定する領域推定部と、
    　前記領域推定部により推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するガイド線決定部と、
    　前記ガイド線決定部により決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示する画像表示部と
    　を有する画像処理装置。
  3. 　前記対象組織は、管状組織であり、
    　前記領域推定部は、管状組織の領域を推定し、
    　前記ガイド線決定部は、管状組織が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、
    　前記画像抽出部は、管状組織に相当する画像領域を抽出する
    　請求項１又は２に記載の画像処理装置。
  4. 　前記撮影画像は、冠動脈が含まれた領域のＭＲＩ画像であり、
    　前記領域推定部は、冠動脈の領域を推定し、
    　前記ガイド線決定部は、冠動脈が広がる方向及び範囲の少なくとも一方を示すガイド線を決定し、
    　前記画像抽出部は、ＭＲＩ画像から、冠動脈に相当する画像領域を抽出する
    　請求項３に記載の画像処理装置。
  5. 　前記ガイド線決定部は、管状組織の中央部をとおる中心線を前記ガイド線として決定し、
    　前記画像抽出部は、前記中心線に相当する位置の輝度情報と、この周囲の輝度情報とを比較して、管状組織に相当する画像領域を抽出する
    　請求項３に記載の画像処理装置。
  6. 　前記領域推定部は、冠動脈が含まれた領域の複数のＭＲＩ画像と、これらのＭＲＩ画像から抽出された冠動脈の画像領域とのセットを教師データとして構成された人工知能を用いて、冠動脈の領域を推定する
    　請求項４に記載の画像処理装置。
  7. 　前記ガイド線決定部は、推定された対象組織の領域を、既定の補間法でつないで、曲線からなるガイド線を決定する
    　請求項３に記載の画像処理装置。
  8. 　臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、
    　推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、
    　決定されたガイド線に基づいて、前記撮影画像から、対象組織に相当する画像領域を抽出するステップと
    　を有する画像処理方法。
  9. 　臓器の撮影画像から、人工知能によって対象組織の領域を推定するステップと、
    　推定された対象組織の領域に基づいて、対象組織の領域に含まれるガイド線を決定するステップと、
    　決定されたガイド線に沿ったガイド画像を、前記撮影画像に重ね合わせて表示するステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2018/033980 2018-09-13 2018-09-13 画像処理装置、画像処理方法、及びプログラム WO2020054019A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020546624A JPWO2020054019A1 (ja) 2018-09-13 2018-09-13 画像処理装置、画像処理方法、及びプログラム
PCT/JP2018/033980 WO2020054019A1 (ja) 2018-09-13 2018-09-13 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/033980 WO2020054019A1 (ja) 2018-09-13 2018-09-13 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020054019A1 true WO2020054019A1 (ja) 2020-03-19

Family

ID=69776532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033980 WO2020054019A1 (ja) 2018-09-13 2018-09-13 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2020054019A1 (ja)
WO (1) WO2020054019A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089896A1 (ja) * 2021-11-19 2023-05-25 朝日インテック株式会社 医療装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009268741A (ja) * 2008-05-08 2009-11-19 Toshiba Corp Ｍｒｉ画像診断装置及びｍｒ画像形成方法
JP2014171908A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 解剖学的ランドマーク及び臨床的オントロジー（ｏｎｔｏｌｏｇｙ）を用いて血管樹形図等を作成する医用画像処理装置及び方法
WO2016159379A1 (ja) * 2015-04-02 2016-10-06 イービーエム株式会社 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5486197B2 (ja) * 2008-02-07 2014-05-07 富士フイルム株式会社 椎骨中心検出装置および方法並びにプログラム
JP5009391B2 (ja) * 2009-07-03 2012-08-22 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009268741A (ja) * 2008-05-08 2009-11-19 Toshiba Corp Ｍｒｉ画像診断装置及びｍｒ画像形成方法
JP2014171908A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 解剖学的ランドマーク及び臨床的オントロジー（ｏｎｔｏｌｏｇｙ）を用いて血管樹形図等を作成する医用画像処理装置及び方法
WO2016159379A1 (ja) * 2015-04-02 2016-10-06 イービーエム株式会社 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089896A1 (ja) * 2021-11-19 2023-05-25 朝日インテック株式会社 医療装置

Also Published As

Publication number Publication date
JPWO2020054019A1 (ja) 2021-04-30

Similar Documents

Publication Publication Date Title
EP3659112B1 (en) A method for co-registering and displaying multiple imaging modalities
US7813785B2 (en) Cardiac imaging system and method for planning minimally invasive direct coronary artery bypass surgery
KR101478598B1 (ko) 화상처리장치, 그 제어방법 및 컴퓨터 프로그램
JP5584006B2 (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP5571654B2 (ja) 肺動脈のセグメント化
CN111932554B (zh) 一种肺部血管分割方法、设备及存储介质
KR20190084380A (ko) 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치
CN111667478B (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
US8923579B2 (en) Surgery-assistance apparatus, method and computer-readable recording medium storing a program for setting a margin during organ excision
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
JP5934071B2 (ja) 管状構造の最短経路探索装置および方法並びにプログラム
JP2004230086A (ja) 画像処理装置、画像データ処理方法、及びプログラム
US20220319004A1 (en) Automatic vessel analysis from 2d images
US20050256400A1 (en) Method to identify arterial and venous vessels
WO2020054019A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113610824A (zh) 穿刺路径规划方法及装置，电子设备及存储介质
US20230222668A1 (en) Image processing apparatus, image processing method, and recording medium
CN114708390B (zh) 一种生理管状结构的图像处理方法、装置及存储介质
CN112489051B (zh) 基于血管及病变区域的肝脏裁切方法及系统
CN114359208A (zh) 头颈血管分割方法及装置、可读存储介质及电子设备
US20160008085A1 (en) Surgery assistance apparatus and method, and non-transitory recording medium having stored therein surgery assistance program
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
CN113192099A (zh) 一种组织提取方法、装置、设备和介质
CN115760961B (zh) 血管图像处理方法、装置、服务器及后处理图像生成系统
US20240087132A1 (en) Segment shape determination

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18933508

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020546624

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18933508

Country of ref document: EP

Kind code of ref document: A1