JP6059444B2 - Image processing apparatus and method, and program - Google Patents

Image processing apparatus and method, and program Download PDF

Info

Publication number
JP6059444B2
JP6059444B2 JP2012082676A JP2012082676A JP6059444B2 JP 6059444 B2 JP6059444 B2 JP 6059444B2 JP 2012082676 A JP2012082676 A JP 2012082676A JP 2012082676 A JP2012082676 A JP 2012082676A JP 6059444 B2 JP6059444 B2 JP 6059444B2
Authority
JP
Japan
Prior art keywords
cross
evaluation value
image
sectional
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012082676A
Other languages
Japanese (ja)
Other versions
JP2013213675A5 (en
JP2013213675A (en
Inventor
拓也 成平
拓也 成平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japanese Foundation for Cancer Research
Sony Corp
Original Assignee
Japanese Foundation for Cancer Research
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japanese Foundation for Cancer Research, Sony Corp filed Critical Japanese Foundation for Cancer Research
Priority to JP2012082676A priority Critical patent/JP6059444B2/en
Publication of JP2013213675A publication Critical patent/JP2013213675A/en
Publication of JP2013213675A5 publication Critical patent/JP2013213675A5/ja
Application granted granted Critical
Publication of JP6059444B2 publication Critical patent/JP6059444B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、より正確な診断を行うことができるようにする画像処理装置および方法、並びにプログラムに関する。   The present technology relates to an image processing apparatus and method, and a program, and more particularly, to an image processing apparatus and method, and a program that enable more accurate diagnosis.

従来、人体の臓器等を撮像して得られる病理画像上から、腫瘍等の病巣部位を検出するための画像認識技術がある。   Conventionally, there is an image recognition technique for detecting a lesion site such as a tumor from a pathological image obtained by imaging a human organ or the like.

例えば、病理画像の各画素の輝度差分特徴量に基づいて、予め学習されている細胞組織検出器を用いて、細胞組織領域を設定することで、注目すべき細胞組織領域を的確に検出する技術がある(特許文献1参照)。   For example, a technique for accurately detecting a notable cell tissue region by setting a cell tissue region using a pre-learned cell tissue detector based on the luminance difference feature amount of each pixel of a pathological image (See Patent Document 1).

特開2011−215061号公報JP 2011-215061 A

ところで、3次元の人体を断層撮影して得られる病理画像は、その断面のとり方(角度や奥行き)によって異なる画像となる。   By the way, pathological images obtained by tomographic imaging of a three-dimensional human body are different images depending on how to take a cross section (angle and depth).

例えば、図1に示される細胞組織1の断面Aの断面画像2Aと、断面Bの断面画像2Bとでは、その断面のとり方が異なることにより、同一部分の細胞組織であっても異なる細胞組織に見えてしまうことがある。   For example, the cross-sectional image 2A of the cross-section A of the cell tissue 1 shown in FIG. It may be visible.

図1において、断面画像2Aは、がん(悪性腫瘍)の可能性はないと判断される画像であり、断面画像2Bは、がんの可能性があると判断される画像であるとする。同一部分の細胞組織のある断面が、断面画像2Bのような断面であったとしても、他の断面が断面画像2Aのような断面であれば、医師は、その細胞組織はがんの可能性はないと診断することができる。   In FIG. 1, it is assumed that a cross-sectional image 2A is an image that is determined not to have cancer (malignant tumor), and a cross-sectional image 2B is an image that is determined to have cancer. Even if a certain cross section of the cellular tissue in the same part is a cross section like the cross sectional image 2B, if the other cross section is a cross section like the cross sectional image 2A, the doctor may indicate that the cellular tissue is cancerous. Can be diagnosed as not.

しかしながら、医師が、断面画像2Bのみを観察した場合には、その細胞組織はがんの可能性があるという診断を行ってしまう。   However, when the doctor observes only the cross-sectional image 2B, the cell tissue makes a diagnosis that there is a possibility of cancer.

このように、病理画像の断面のとり方によっては、医師は謝った診断を行ってしまう恐れがあった。   Thus, depending on how the cross-section of the pathological image is taken, there is a risk that the doctor makes an apologetic diagnosis.

本技術は、このような状況に鑑みてなされたものであり、より正確な診断を行うことができるようにするものである。   This technique is made in view of such a situation, and makes it possible to perform a more accurate diagnosis.

本技術の一側面の画像処理装置は、3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値を取得する評価値取得部と、前記評価値に応じて、前記複数の断面画像のうちの所定の断面画像を表示させるよう表示を制御する表示制御部とを備え、前記表示制御部は、前記3次元画像の前記所定断面において前記ユーザにより選択された1つの前記所定領域上で、複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい第1の断面画像と、前記評価値が最も低く最もがんらしくない第2の断面画像とを交互に表示させる。 An image processing apparatus according to an aspect of the present technology provides a plurality of cross-sectional images each representing a cross-section in a plurality of directions with respect to one predetermined region selected by a user in a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space. An evaluation value acquisition unit that acquires an evaluation value representing the likelihood of cancer of the cross-sectional image , and a display control unit that controls display so as to display a predetermined cross-sectional image among the plurality of cross-sectional images according to the evaluation value with the door, the display control unit, said three-dimensional image wherein the predetermined cross-section on one of the predetermined region selected by the user, of a plurality of said cross-sectional images, the evaluation value is highest rather most Ganrashii a first cross-sectional image, the evaluation value is displayed alternately and second cross-sectional image implausible low Ku most cancers.

前記3次元画像から、前記所定領域を含む画素ブロックを抽出するブロック抽出部をさらに設け、前記評価値取得部には、前記画素ブロックの複数の断面を表す断面画像について、前記評価値を取得させることができる。 From the 3-dimensional image, wherein further provided block extraction section for extracting a pixel block including a predetermined area, the evaluation value acquiring unit, the cross-sectional image representing a plurality of cross-section of the pixel block, thereby obtaining the evaluation value be able to.

前記表示制御部には、複数の前記断面画像のうちの第3の断面画像を、前記第1の断面画像と前記第2の断面画像との間に表示させることができる。   The display control unit can display a third cross-sectional image among the plurality of cross-sectional images between the first cross-sectional image and the second cross-sectional image.

前記第3の断面画像は、第1の断面画像と前記第2の断面画像との間を補間する補間画像とすることができる。   The third cross-sectional image may be an interpolation image that interpolates between the first cross-sectional image and the second cross-sectional image.

前記評価値取得部には、前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得させることができる。 The evaluation value acquisition unit can acquire the evaluation value for the cross-sectional image representing an arbitrary cross-section included in the pixel block.

前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに設け、前記表示制御部には、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させることができる。   Based on the evaluation value acquired by the evaluation value acquisition unit, a cross-section estimation unit that estimates a cross-sectional image of a cross-section from which the evaluation value has not been acquired is further provided, and the display control unit includes the cross-section estimation unit. A predetermined cross-sectional image of the estimated cross-sectional images can be displayed.

前記評価値は、人体の所定の部分の細胞組織を対象とした画像における前記細胞組織のがんらしさを表すようにすることができる。   The evaluation value can represent the cancer-likeness of the cellular tissue in an image targeting cellular tissue of a predetermined part of the human body.

本技術の一側面の画像処理方法は、3次元空間における物体を表す3次元画像の所定断面の所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像を評価するための評価値を取得する評価値取得部と、前記評価値に応じて、前記複数の断面画像のうちの所定の断面画像を表示させるよう表示を制御する表示制御部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値を取得し、前記3次元画像の前記所定断面において前記ユーザにより選択された1つの前記所定領域上で、複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい第1の断面画像と、前記評価値が最も低く最もがんらしくない第2の断面画像とを交互に表示させるステップを含む。 An image processing method according to an aspect of the present technology evaluates each cross-sectional image of a plurality of cross-sectional images representing cross-sections in a plurality of directions with respect to a predetermined region of a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space. An image of an image processing apparatus comprising: an evaluation value acquisition unit that acquires an evaluation value of the image; and a display control unit that controls display so as to display a predetermined cross-sectional image of the plurality of cross-sectional images according to the evaluation value A processing method, wherein the image processing apparatus is configured to obtain a plurality of cross-sectional images representing cross sections in a plurality of directions for one predetermined area selected by a user in a predetermined cross section of a three-dimensional image representing an object in a three-dimensional space. each obtains an evaluation value representing the cancer likelihood of cross-sectional images, on one of the predetermined region selected by the user in the predetermined cross-section of the three-dimensional image, double Wherein one of the cross-sectional image, the step of displaying the first sectional image seems highest rather most cancer the evaluation value, and a second cross-sectional images the evaluation value is not plausible low Ku most cancers in alternating including.

本技術の一側面のプログラムは、3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値を取得する評価値取得ステップと、前記評価値に応じて、前記複数の断面画像のうちの所定の断面画像を表示させるよう表示を制御する表示制御ステップとを含む処理をコンピュータに実行させ、前記表示制御ステップは、前記3次元画像の前記所定断面において前記ユーザにより選択された1つの前記所定領域上で、複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい第1の断面画像と、前記評価値が最も低く最もがんらしくない第2の断面画像とを交互に表示させる。 A program according to an aspect of the present technology is provided for a plurality of cross-sectional images representing a plurality of cross-sectional images representing a cross-section in a plurality of directions for one predetermined region selected by a user in a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space An evaluation value acquisition step for acquiring an evaluation value representing the cancer-likeness of the image , and a display control step for controlling display so as to display a predetermined cross-sectional image among the plurality of cross-sectional images according to the evaluation value. The display control step is configured such that the evaluation value of the plurality of cross-sectional images is calculated on one predetermined area selected by the user in the predetermined cross-section of the three-dimensional image. highest rather the most cancers seems first cross-sectional image, the evaluation value is displayed alternately and second cross-sectional image implausible low Ku most cancers.

本技術の一側面においては、3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値が取得され、評価値に応じて、複数の断面画像のうちの所定の断面画像が表示され、3次元画像の所定断面においてユーザにより選択された1つの所定領域上で、複数の断面画像のうちの、評価値が最も高く最もがんらしい第1の断面画像と、評価値が最も低く最もがんらしくない第2の断面画像とが交互に表示される。 In one aspect of the present technology, each of the cross- sectional images representing a plurality of cross-sectional images representing a cross-section in a plurality of directions with respect to one predetermined region selected by the user in a predetermined cross-section of the three-dimensional image representing the object in the three-dimensional space. An evaluation value representing the likelihood of cancer is acquired, a predetermined cross-sectional image of a plurality of cross-sectional images is displayed according to the evaluation value, and on one predetermined area selected by the user in a predetermined cross-section of the three-dimensional image in, of the plurality of cross-sectional images, a first cross-sectional image seems highest rather most cancer evaluation value, a second cross-sectional image evaluation value is not plausible low Ku most cancers are alternately displayed .

本技術の一側面によれば、より正確な診断を行うことが可能となる。   According to one aspect of the present technology, more accurate diagnosis can be performed.

細胞組織の断面画像の例を示す図である。It is a figure which shows the example of the cross-sectional image of a cell tissue. 本技術を適用した情報処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the information processing apparatus to which this technique is applied. CPUの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of CPU. 断面表示処理について説明するフローチャートである。It is a flowchart explaining a cross-section display process. 領域の選択について説明する図である。It is a figure explaining selection of a field. 領域の選択について説明する図である。It is a figure explaining selection of a field. 画素ブロックについて説明する図である。It is a figure explaining a pixel block. 画素ブロックの断面について説明する図である。It is a figure explaining the cross section of a pixel block. 断面画像の表示例について説明する図である。It is a figure explaining the example of a display of a section picture. 断面画像の表示例について説明する図である。It is a figure explaining the example of a display of a section picture. 断面画像の表示例について説明する図である。It is a figure explaining the example of a display of a section picture. 断面画像の表示例について説明する図である。It is a figure explaining the example of a display of a section picture. CPUの他の機能的構成を示すブロック図である。It is a block diagram which shows the other functional structure of CPU. 断面表示処理について説明するフローチャートである。It is a flowchart explaining a cross-section display process. CPUのさらに他の機能的構成を示すブロック図である。It is a block diagram which shows the further another functional structure of CPU. 断面表示処理について説明するフローチャートである。It is a flowchart explaining a cross-section display process.

以下、本技術の実施の形態について図を参照して説明する。   Hereinafter, embodiments of the present technology will be described with reference to the drawings.

[画像処理装置の構成] [Configuration of image processing device]

図2は、画像処理装置の構成例を示すブロック図である。画像処理装置11は、例えばパーソナルコンピュータにより構成される。   FIG. 2 is a block diagram illustrating a configuration example of the image processing apparatus. The image processing apparatus 11 is configured by a personal computer, for example.

画像処理装置11において、CPU(Central Processing Unit)21,ROM(Read Only Memory)22,RAM(Random Access Memory)23は、バス24により相互に接続されている。   In the image processing apparatus 11, a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, and a RAM (Random Access Memory) 23 are connected to each other by a bus 24.

バス24には、さらに、入出力インタフェース25が接続されている。入出力インタフェース25には、入力部26、出力部27、記憶部28、通信部29、およびドライブ30が接続されている。   An input / output interface 25 is further connected to the bus 24. An input unit 26, an output unit 27, a storage unit 28, a communication unit 29, and a drive 30 are connected to the input / output interface 25.

入力部26は、キーボード、マウス、マイクロフォンなどよりなる。出力部27は、ディスプレイ、スピーカなどよりなる。記憶部28は、ハードディスクや不揮発性のメモリなどよりなる。通信部29は、ネットワークインタフェースなどよりなる。ドライブ30は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア31を駆動する。   The input unit 26 includes a keyboard, a mouse, a microphone, and the like. The output unit 27 includes a display, a speaker, and the like. The storage unit 28 includes a hard disk, a nonvolatile memory, and the like. The communication unit 29 includes a network interface or the like. The drive 30 drives a removable medium 31 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成される画像処理装置11では、CPU21が、例えば、記憶部28に記憶されているプログラムを、入出力インタフェース25およびバス24を介して、RAM23にロードして実行することにより、所定の処理が実行される。   In the image processing apparatus 11 configured as described above, the CPU 21 loads, for example, a program stored in the storage unit 28 to the RAM 23 via the input / output interface 25 and the bus 24 and executes the program. A predetermined process is executed.

画像処理装置11では、プログラムは、例えば、パッケージメディア等としてのリムーバブルメディア31をドライブ30に装着することにより、入出力インタフェース25を介して、記憶部28にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部29で受信し、記憶部28にインストールすることができる。その他、プログラムは、ROM22や記憶部28に、あらかじめインストールしておくことができる。   In the image processing apparatus 11, for example, the program can be installed in the storage unit 28 via the input / output interface 25 by mounting the removable medium 31 as a package medium or the like on the drive 30. The program can be received by the communication unit 29 via a wired or wireless transmission medium and installed in the storage unit 28. In addition, the program can be installed in the ROM 22 or the storage unit 28 in advance.

次にCPU21の機能的構成について説明する。図3は、CPU21の機能的構成を示すブロック図である。   Next, the functional configuration of the CPU 21 will be described. FIG. 3 is a block diagram showing a functional configuration of the CPU 21.

図3に示されるように、CPU21は、断面設定部51、領域選択部52、ブロック抽出部53、評価値算出部54、表示制御部55を備えている。各部は必要に応じて情報を授受する機能を有している。   As shown in FIG. 3, the CPU 21 includes a cross-section setting unit 51, a region selection unit 52, a block extraction unit 53, an evaluation value calculation unit 54, and a display control unit 55. Each unit has a function of exchanging information as necessary.

断面設定部51は、3次元空間における物体を表す3次元画像に対して所定の断面を設定する。   The cross section setting unit 51 sets a predetermined cross section for a three-dimensional image representing an object in a three-dimensional space.

領域選択部52は、断面設定部51によって3次元画像に対して設定された断面において、所定の領域を選択する。   The region selection unit 52 selects a predetermined region in the cross section set for the three-dimensional image by the cross section setting unit 51.

ブロック抽出部53は、3次元画像から、領域選択部52によって選択された領域に対応する3次元の画素ブロックを抽出する。   The block extraction unit 53 extracts a three-dimensional pixel block corresponding to the region selected by the region selection unit 52 from the three-dimensional image.

評価値算出部54は、ブロック抽出部53によって抽出された画素ブロックの所定の断面を表す断面画像について、それぞれの画像を評価するための評価値を算出する。言い換えると、評価値算出部54は、3次元空間における物体の所定の部分(画素ブロックに含まれる部分)を対象とした複数の画像について、評価値を算出する。   The evaluation value calculation unit 54 calculates an evaluation value for evaluating each of the cross-sectional images representing a predetermined cross-section of the pixel block extracted by the block extraction unit 53. In other words, the evaluation value calculation unit 54 calculates evaluation values for a plurality of images targeting a predetermined portion (portion included in the pixel block) of the object in the three-dimensional space.

表示制御部55は、出力部27としてのディスプレイの表示を制御する。特に、表示制御部55は、評価値算出部54によって評価値に応じて、その評価値が算出された複数の断面画像のうちの所定の画像の表示を制御する。   The display control unit 55 controls display on the display as the output unit 27. In particular, the display control unit 55 controls the display of a predetermined image among the plurality of cross-sectional images for which the evaluation value is calculated according to the evaluation value by the evaluation value calculation unit 54.

[画像処理装置による断面表示処理]
次に、図4のフローチャートを参照して、画像処理装置11による断面表示処理について説明する。この断面表示処理によれば、例えば通信部29を介して供給される、CT(Computerized Tomography)スキャナにより得られたCT画像や、MRI(Magnetic Resonance Imaging)画像等の、人体の3次元画像における所定の細胞組織の断面が、出力部27としてのディスプレイに表示される。
[Cross-section display processing by image processing device]
Next, the cross-sectional display process by the image processing apparatus 11 will be described with reference to the flowchart of FIG. According to this cross-sectional display processing, for example, a predetermined three-dimensional image of a human body such as a CT image obtained by a CT (Computerized Tomography) scanner or an MRI (Magnetic Resonance Imaging) image supplied via the communication unit 29 is used. A section of the cell tissue is displayed on the display as the output unit 27.

ステップS11において、断面設定部51は、人体の3次元画像に対して所定の断面を設定する。ここで設定される断面は、3次元画像が得られた断層撮影時の断面であってもよいし、3次元空間上で予め決められた平面上の断面であってもよい。また、ユーザ(医師)によって選択された断面であってもよい。設定された断面の断面画像は、出力部27としてのディスプレイに表示される。   In step S11, the cross section setting unit 51 sets a predetermined cross section for the three-dimensional image of the human body. The cross section set here may be a cross section at the time of tomography in which a three-dimensional image is obtained, or may be a cross section on a plane determined in advance in a three-dimensional space. Moreover, the cross section selected by the user (doctor) may be sufficient. The set cross-sectional image is displayed on a display as the output unit 27.

ステップS12において、領域選択部52は、断面設定部51によって設定された3次元画像の断面において、がんらしい(悪性腫瘍)細胞組織を含む領域を選択する。   In step S <b> 12, the region selection unit 52 selects a region including a cancerous (malignant) cell tissue in the cross section of the three-dimensional image set by the cross section setting unit 51.

領域選択部52によって選択される領域は、例えば、図5に示されるように、断面設定部51によって設定された断面画像81において、ユーザががんらしいと判断した細胞組織に対して、入力部26としてのマウスに対するユーザの操作(ドラッグ)に応じてマウスポインタ82により形成される領域83とする。   For example, as shown in FIG. 5, the region selected by the region selection unit 52 is an input unit for a cell tissue that the user has determined to be cancerous in the cross-sectional image 81 set by the cross-section setting unit 51. The area 83 is formed by the mouse pointer 82 in response to the user's operation (drag) on the mouse 26.

また、領域選択部52によって選択される領域は、図6で示されるように、断面画像81において、予め学習されているがん検出器を用いることによって算出されるスコアが最も高い細胞組織を含む領域83であってもよい。この場合、入力部26としてのマウスに対するユーザの操作(クリック)に応じて、マウスポインタ82により領域83が選択される。また、この場合、領域83のサイズは、がん検出器によって決められてもよいし、ユーザの操作により決められるようにしてもよい。なお、がん検出器を用いたスコアの算出は、例えば特許文献1に開示されている手法を用いるものとする。   In addition, as shown in FIG. 6, the region selected by the region selection unit 52 includes a cellular tissue having the highest score calculated by using a cancer detector learned in advance in the cross-sectional image 81. The region 83 may be used. In this case, the region 83 is selected by the mouse pointer 82 in response to a user operation (click) on the mouse as the input unit 26. In this case, the size of the region 83 may be determined by a cancer detector or may be determined by a user operation. In addition, the calculation of the score using a cancer detector shall use the method currently disclosed by patent document 1, for example.

また、図5および図6において、領域83は矩形であるものとしたが、円形や楕円形等、他の形状であってもよい。   5 and 6, the region 83 is rectangular, but may be another shape such as a circle or an ellipse.

図4のフローチャートに戻り、ステップS13において、ブロック抽出部53は、3次元画像から、領域選択部52によって選択された領域を含む画素ブロックを抽出する。すなわち、ブロック抽出部53は、3次元画像から、がんらしい細胞組織を含む画素ブロックを抽出する。   Returning to the flowchart of FIG. 4, in step S <b> 13, the block extraction unit 53 extracts a pixel block including the region selected by the region selection unit 52 from the three-dimensional image. That is, the block extraction unit 53 extracts a pixel block including a cancerous cell tissue from the three-dimensional image.

具体的には、例えば、図7に示されるように、3次元画像の断面画像81における領域83を、断面画像81の上面側および下面側の法線方向に延ばして得られる直方体91を、画素ブロック(以下、画素ブロック91という)として3次元画像から抽出する。ここで、3次元画像は、断層撮影して得られた断層画像の集合であり、断層画像それぞれの画素全てが3次元行列の要素となる。この要素が、3次元画像上での画素(いわゆるボクセル)であり、それぞれ3次元空間上の座標を有する。すなわち、画素ブロックもまたボクセルから構成されており、画素ブロックは、それを構成する画素(ボクセル)の3次元空間上の位置(座標)で指定され抽出される。   Specifically, for example, as shown in FIG. 7, a rectangular parallelepiped 91 obtained by extending a region 83 in a cross-sectional image 81 of a three-dimensional image in the normal direction on the upper surface side and the lower surface side of the cross-sectional image 81 A block (hereinafter referred to as a pixel block 91) is extracted from the three-dimensional image. Here, the three-dimensional image is a set of tomographic images obtained by tomography, and all the pixels of each tomographic image are elements of a three-dimensional matrix. This element is a pixel (so-called voxel) on the three-dimensional image, and has coordinates in the three-dimensional space. That is, the pixel block is also composed of voxels, and the pixel block is designated and extracted by the position (coordinates) in the three-dimensional space of the pixel (voxel) constituting the pixel block.

なお、画素ブロックの形状は、直方体に限らず、領域83の形状に応じて、球であってもよいし楕円体であってもよい。   Note that the shape of the pixel block is not limited to a rectangular parallelepiped, and may be a sphere or an ellipsoid depending on the shape of the region 83.

ステップS14において、評価値算出部54は、ブロック抽出部53によって抽出された画素ブロックの任意の断面を表す断面画像について、がんらしさを表す評価値を算出する。具体的には、評価値算出部54は、画素ブロック91において、領域83を基準とした(言い換えると画素ブロック91に含まれるがんらしい細胞組織を基準とした)複数の方向の断面を表す断面画像について、評価値を算出する。なお、画素ブロック91における任意の断面は、画素ブロックを構成するボクセルの位置により指定され、例えばCT画像における任意断面再構成(Multiplanar Reconstruction: MPR)の技術を用いて設定される。   In step S <b> 14, the evaluation value calculation unit 54 calculates an evaluation value representing the likelihood of cancer for a cross-sectional image representing an arbitrary cross-section of the pixel block extracted by the block extraction unit 53. Specifically, in the pixel block 91, the evaluation value calculation unit 54 represents a cross section representing a cross section in a plurality of directions with the region 83 as a reference (in other words, with a cancerous cell tissue included in the pixel block 91 as a reference). An evaluation value is calculated for the image. An arbitrary cross section in the pixel block 91 is designated by the position of a voxel constituting the pixel block, and is set using, for example, an arbitrary cross section reconstruction (MPR) technique in a CT image.

具体的には、図8に示される画素ブロック91において、領域83の画像を、基準となる断面を表す断面画像S0とすると、評価値算出部54は、領域83の2長辺の中点を結んだ線分Lを軸として断面画像S0を回転させて得られる断面画像Smや断面画像Snについて、評価値を算出する。断面画像S0を回転させて得られる断面画像の数は、任意に設定することができ、例えば、断面画像S0を45度ずつ回転させて得られる4(断面画像S0を含む)であってもよいし、断面画像S0を30度ずつ回転させて得られる6(断面画像S0を含む)であってもよい。なお、がんらしさを表す評価値は、上述で説明した、がん検出器を用いたスコアとして求めることができる。   Specifically, in the pixel block 91 shown in FIG. 8, when the image of the region 83 is a cross-sectional image S0 representing a reference cross-section, the evaluation value calculation unit 54 determines the midpoint of the two long sides of the region 83. Evaluation values are calculated for the cross-sectional image Sm and the cross-sectional image Sn obtained by rotating the cross-sectional image S0 around the connected line segment L. The number of cross-sectional images obtained by rotating the cross-sectional image S0 can be arbitrarily set. For example, it may be 4 (including the cross-sectional image S0) obtained by rotating the cross-sectional image S0 by 45 degrees. However, it may be 6 (including the cross-sectional image S0) obtained by rotating the cross-sectional image S0 by 30 degrees. The evaluation value representing the likelihood of cancer can be obtained as a score using the cancer detector described above.

なお、図8においては、線分Lを軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしたが、線分Lに直交する線分を軸として断面画像S0を回転させて得られる断面画像について評価値を算出するようにしてもよい。また、画素ブロックが球や楕円体である場合には、基準となる断面画像の中心点を回転中心として得られる断面画像について評価値を算出するようにしてもよい。   In FIG. 8, the evaluation value is calculated for the cross-sectional image obtained by rotating the cross-sectional image S0 about the line segment L. However, the cross-sectional image S0 is used about the line segment orthogonal to the line segment L as an axis. An evaluation value may be calculated for a cross-sectional image obtained by rotating. When the pixel block is a sphere or an ellipsoid, an evaluation value may be calculated for a cross-sectional image obtained using the center point of the reference cross-sectional image as a rotation center.

ステップS15において、表示制御部55は、評価値算出部54によって評価値が算出された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。   In step S <b> 15, the display control unit 55 alternately displays the cross-sectional image with the highest evaluation value and the cross-sectional image with the lowest evaluation value among the cross-sectional images for which the evaluation value is calculated by the evaluation value calculation unit 54.

具体的には、図9左上に示される断面画像81において、がんらしい細胞組織を含む領域83が選択されると、断面画像81の領域83には、図9右上に示されるように、最も評価値の高い(最もがんらしい)断面画像Smax(例えば、図1の断面画像2B)が表示される。また、図9右上の状態で、例えば、入力部26としてのマウスがユーザにより操作(クリック)されると、断面画像81の領域83には、図9下に示されるように、最も評価値の低い(最もがんらしくない)断面画像Smin(例えば、図1の断面画像2A)が表示される。さらに、図9下の状態で、入力部26としてのマウスがユーザにより操作(クリック)されると、図9右上の状態に戻る。すなわち、断面画像81の領域83には、ユーザの操作毎に、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に表示されるようになる。   Specifically, in the cross-sectional image 81 shown in the upper left of FIG. 9, when a region 83 containing cell tissue that seems to be cancerous is selected, the region 83 of the cross-sectional image 81 has the most as shown in the upper right of FIG. 9. A cross-sectional image Smax (for example, cross-sectional image 2B in FIG. 1) having a high evaluation value (most likely cancer) is displayed. 9, for example, when the user operates (clicks) the mouse as the input unit 26, the region 83 of the cross-sectional image 81 has the highest evaluation value as shown in the lower part of FIG. A low (most unlikely) cross-sectional image Smin (for example, cross-sectional image 2A in FIG. 1) is displayed. Further, when the mouse as the input unit 26 is operated (clicked) by the user in the lower state of FIG. 9, the state returns to the upper right state of FIG. That is, in the region 83 of the cross-sectional image 81, the cross-sectional image Smax having the highest evaluation value and the cross-sectional image Smin having the lowest evaluation value are alternately displayed for each user operation.

また、図9左上に示される断面画像81において、がんらしい細胞組織を含む領域83が選択されると、ユーザの操作を必要とせずに、最も評価値の高い断面画像Smaxと最も評価値の低い断面画像Sminとが交互に連続的に表示されるようにしてもよい。   In addition, in the cross-sectional image 81 shown in the upper left of FIG. 9, when a region 83 containing cell tissue that seems to be cancerous is selected, the cross-sectional image Smax having the highest evaluation value and the highest evaluation value are not required without user operation. The low cross-sectional images Smin may be alternately and continuously displayed.

以上の処理によれば、同一部分の細胞組織についての複数の断面画像について、がんらしさを表す評価値が算出され、その評価値に応じて、最も評価値の高い断面画像と最も評価値の低い断面画像とが交互に表示されるようになる。したがって、ユーザは、同一部分の細胞組織について、最もがんらしい断面と最もがんらしくない断面とを確認することができ、それらの断面を参考にすることで、より正確な診断を行うことが可能となる。   According to the above processing, an evaluation value representing the likelihood of cancer is calculated for a plurality of cross-sectional images of the same part of cellular tissue, and according to the evaluation value, the cross-sectional image with the highest evaluation value and the highest evaluation value Low cross-sectional images are displayed alternately. Therefore, the user can confirm the most cancerous cross section and the least cancerous cross section for the same part of the cell tissue, and by referring to those cross sections, the user can perform a more accurate diagnosis. It becomes possible.

なお、以上においては、最も評価値の高い断面画像と最も評価値の低い断面画像の2つの断面画像が交互に表示されるようにしたが、最も評価値の高い断面画像と最も評価値の低い断面画像との間に、その間を補間する補間画像を表示させるようにしてもよい。ここで、補間画像とは、例えば、モーフィングの手法において生成される、異なる2つの画像の間を補間する画像であり、その2つの画像の画素値を所定の比率で合成(ブレンド)することで得られる。これにより、1つの画像の表示が他の画像の表示に切り替わる際に、自然に切り替わるようになる。   In the above, the two cross-sectional images having the highest evaluation value and the cross-sectional image having the lowest evaluation value are alternately displayed. However, the cross-sectional image having the highest evaluation value and the lowest evaluation value are displayed. You may make it display the interpolation image which interpolates between between cross-sectional images. Here, the interpolated image is, for example, an image that is generated by a morphing method and interpolates between two different images, and the pixel values of the two images are synthesized (blended) at a predetermined ratio. can get. As a result, when the display of one image is switched to the display of another image, the display is naturally switched.

補間画像としては、例えば、図8を参照して説明した線分Lを回転軸として得られた断面画像であって、最も評価値の高い断面画像と最も評価値の低い断面画像との間にある断面画像を用いることができる。なお、補間画像は1つであってもよいし、複数であってもよい。これにより、最も評価値の高い断面画像と最も評価値の低い断面画像の2つの断面画像が交互に表示される場合と比べて、補間画像の数が多いほど、スムーズな表示を行うことができる。   As an interpolated image, for example, a cross-sectional image obtained with the line segment L described with reference to FIG. 8 as a rotation axis, between the cross-sectional image with the highest evaluation value and the cross-sectional image with the lowest evaluation value. A cross-sectional image can be used. Note that there may be one or more interpolated images. Thereby, compared with the case where the two cross-sectional images having the highest evaluation value and the cross-sectional image having the lowest evaluation value are alternately displayed, the larger the number of interpolation images, the smoother the display can be performed. .

また、補間画像として、評価値が、最高値と最低値との間の値となる断面画像を用いるようにしてもよいし、最も評価値の高い断面画像と最も評価値の低い断面画像とを用いて補間画像を新たに生成するようにしてもよい。   Further, as the interpolation image, a cross-sectional image whose evaluation value is a value between the highest value and the lowest value may be used, or a cross-sectional image having the highest evaluation value and a cross-sectional image having the lowest evaluation value are used. An interpolation image may be newly generated by using this.

さらに、評価値が算出された複数の断面画像を、評価値によって順位付けし、評価値の高い上位の断面画像いずれかと、最も評価値の低い断面画像とを交互に表示させるようにしてもよい。   Further, the plurality of cross-sectional images for which the evaluation values are calculated may be ranked according to the evaluation values, and any one of the upper cross-sectional images having the highest evaluation value and the cross-sectional image having the lowest evaluation value may be alternately displayed. .

具体的には、例えば、図10に示されるように、出力部27としてのディスプレイ101に、断面画像81とともに、評価値が算出された複数の断面画像の中で評価値の高い上位3つの断面画像S1,S2,S3を表示させる。   Specifically, for example, as shown in FIG. 10, on the display 101 serving as the output unit 27, the top three cross sections having the highest evaluation value among the plurality of cross sectional images whose evaluation values are calculated together with the cross sectional image 81. Images S1, S2, and S3 are displayed.

図10において、ユーザの操作により、断面画像S1,S2,S3の中から、断面画像S1が選択された場合、図11に示されるように、断面画像81の領域83には、1番目に評価値の高い断面画像S1と最も評価値の低い断面画像Sminが交互に表示されるようになる。この場合でも、交互に表示される2つの断面画像の間に、補間画像を表示するようにしてもよい。また、図11下において、最も評価値の低い断面画像Sminに代えて、基準となる断面画像S0が表示されるようにしてもよい。   In FIG. 10, when the cross-sectional image S1 is selected from the cross-sectional images S1, S2, and S3 by the user's operation, the region 83 of the cross-sectional image 81 is evaluated first as shown in FIG. The cross-sectional image S1 having a high value and the cross-sectional image Smin having the lowest evaluation value are alternately displayed. Even in this case, an interpolation image may be displayed between two cross-sectional images displayed alternately. Further, in the lower part of FIG. 11, a reference cross-sectional image S0 may be displayed instead of the cross-sectional image Smin having the lowest evaluation value.

また、以上においては、断面画像81の領域83に、評価値を算出した断面画像を表示させるようにしたが、図12に示されるように、断面画像81とは別の表示領域111に、評価値を算出した断面画像を表示させるようにしてもよい。もちろん、この場合でも、交互に表示される2つの断面画像の間に、補間画像を表示するようにしてもよい。   In the above description, the cross-sectional image whose evaluation value is calculated is displayed in the region 83 of the cross-sectional image 81. However, as shown in FIG. 12, the evaluation is performed in the display region 111 different from the cross-sectional image 81. You may make it display the cross-sectional image which calculated the value. Of course, even in this case, an interpolation image may be displayed between two cross-sectional images displayed alternately.

ところで、上述した説明では、画像処理装置11が、所定の細胞組織の、複数の方向の断面について、評価値を算出するものとしたが、外部に接続されている図示せぬサーバ等が、任意の断面についての評価値を算出し、画像処理装置11が、その評価値をサーバから取得して、取得した評価値に応じて、所定の断面画像を表示させるようにしてもよい。   In the above description, the image processing apparatus 11 calculates evaluation values for cross sections in a plurality of directions of a predetermined cellular tissue. However, an unillustrated server or the like connected to the outside is arbitrary. The evaluation value for the cross section may be calculated, and the image processing apparatus 11 may acquire the evaluation value from the server and display a predetermined cross-sectional image according to the acquired evaluation value.

[CPUの他の機能的構成]
図13は、CPU21の他の機能的構成を示すブロック図である。
[Other functional configuration of CPU]
FIG. 13 is a block diagram showing another functional configuration of the CPU 21.

図13に示されるように、CPU21は、評価値取得部151および表示制御部55を備えている。なお、図13において、表示制御部55は、図3のCPU21における表示制御部55と同一であるので、その説明は省略する。   As shown in FIG. 13, the CPU 21 includes an evaluation value acquisition unit 151 and a display control unit 55. In FIG. 13, the display control unit 55 is the same as the display control unit 55 in the CPU 21 in FIG.

評価値取得部151は、通信部29を介して、外部に接続されているサーバから、3次元画像における画素ブロックの所定の断面を表す断面画像についての評価値を取得する。   The evaluation value acquisition unit 151 acquires an evaluation value for a cross-sectional image representing a predetermined cross section of a pixel block in a three-dimensional image from a server connected to the outside via the communication unit 29.

なお、外部のサーバは、図3のCPU21における断面設定部51、領域選択部52、ブロック抽出部53、および評価値算出部54と同様の機能を備えており、3次元画像において設定された領域を含む画素ブロックにおける任意の断面について、評価値を算出する。   The external server has functions similar to those of the cross-section setting unit 51, the region selection unit 52, the block extraction unit 53, and the evaluation value calculation unit 54 in the CPU 21 in FIG. 3, and the region set in the three-dimensional image An evaluation value is calculated for an arbitrary cross section in the pixel block including.

[画像処理装置による断面表示処理]
次に、図14のフローチャートを参照して、図13で説明した機能を備える画像処理装置11による断面表示処理について説明する。
[Cross-section display processing by image processing device]
Next, with reference to the flowchart of FIG. 14, the cross-section display processing by the image processing apparatus 11 having the function described in FIG. 13 will be described.

なお、外部のサーバにおいては、人体の3次元画像における所定の細胞組織に対して設定された領域を含む画素ブロックの任意の断面について、評価値が算出されている。   In the external server, the evaluation value is calculated for an arbitrary cross section of the pixel block including the region set for a predetermined cellular tissue in the three-dimensional image of the human body.

ステップS31において、評価値取得部151は、通信部29を介して、外部に接続されているサーバから、人体の3次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。   In step S <b> 31, the evaluation value acquisition unit 151 performs a cross-sectional image representing an arbitrary cross section of a pixel block including a predetermined cellular tissue in a three-dimensional image of a human body from a server connected to the outside via the communication unit 29. Get the evaluation value.

ステップS32において、表示制御部55は、評価値取得部151によって評価値が取得された断面画像のうち、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、2つの断面画像は、図9を参照して説明したように表示されてもよいし、図11または図12を参照して説明したように表示されてもよい。   In step S32, the display control unit 55 alternately displays the cross-sectional image having the highest evaluation value and the cross-sectional image having the lowest evaluation value among the cross-sectional images for which the evaluation value is acquired by the evaluation value acquiring unit 151. Note that the two cross-sectional images may be displayed as described with reference to FIG. 9, or may be displayed as described with reference to FIG. 11 or FIG. 12.

以上の処理によっても、図4のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。   Also by the above process, it is possible to obtain the same effects and operations as those of the cross-section display process described with reference to the flowchart of FIG.

なお、以上においては、評価値が取得(算出)された断面画像のみを表示の対象としたが、例えば、図8を参照して説明した断面のとり方では、断面として指定されなかった断面の断面画像の評価値が最も高くなる(または低くなる)可能性もある。   In the above description, only the cross-sectional image from which the evaluation value has been acquired (calculated) is the display target. For example, the cross-section of the cross-section not designated as the cross-section in the method of taking the cross-section described with reference to FIG. There is also a possibility that the evaluation value of the image is the highest (or lower).

そこで、以下においては、指定された断面以外の断面について、その評価値を推定する構成について説明する。   Therefore, in the following, a configuration for estimating the evaluation value of a cross section other than the designated cross section will be described.

[CPUのさらに他の機能的構成]
図15は、CPU21のさらに他の機能的構成を示すブロック図である。
[Further functional configuration of CPU]
FIG. 15 is a block diagram showing still another functional configuration of the CPU 21.

図15に示されるように、CPU21は、評価値取得部151、断面推定部211、および表示制御部55を備えている。なお、図15において、評価値取得部151および表示制御部55は、図13のCPU21における評価値取得部151および表示制御部55と同一であるので、その説明は省略する。   As shown in FIG. 15, the CPU 21 includes an evaluation value acquisition unit 151, a cross section estimation unit 211, and a display control unit 55. In FIG. 15, the evaluation value acquisition unit 151 and the display control unit 55 are the same as the evaluation value acquisition unit 151 and the display control unit 55 in the CPU 21 of FIG.

断面推定部211は、評価値取得部151によって取得された評価値に基づいて、評価値が取得(算出)されなかった断面の断面画像を推定する。   Based on the evaluation value acquired by the evaluation value acquisition unit 151, the cross-section estimation unit 211 estimates a cross-sectional image of a cross section for which the evaluation value has not been acquired (calculated).

[画像処理装置による断面表示処理]
次に、図16のフローチャートを参照して、図15で説明した機能を備える画像処理装置11による断面表示処理について説明する。
[Cross-section display processing by image processing device]
Next, with reference to the flowchart of FIG. 16, the cross-section display processing by the image processing apparatus 11 having the function described in FIG. 15 will be described.

ステップS51において、評価値取得部151は、通信部29を介して、外部に接続されているサーバから、人体の3次元画像における所定の細胞組織を含む画素ブロックの任意の断面を表す断面画像について、評価値を取得する。   In step S <b> 51, the evaluation value acquisition unit 151 performs a cross-sectional image representing an arbitrary cross-section of a pixel block including a predetermined cellular tissue in a three-dimensional image of a human body from a server connected to the outside via the communication unit 29. Get the evaluation value.

ステップS52において、断面推定部211は、評価値取得部151によって取得された評価値に基づいて、評価値が最も高い断面の断面画像、および評価値が最も低い断面の断面画像を推定する。具体的には、断面推定部211は、評価値取得部151によって取得された各断面についての評価値から、断面の回転方向についての評価値の分布を、線形補間等により推定する。そして、断面推定部211は、推定した評価値の分布を基に、評価値が最も高い断面画像と評価値が最も低い断面画像とを生成する。例えば、ある2つの断面画像の間で、評価値が最も高くなると推定された場合、その2つの断面画像それぞれの評価値と、推定された最も高くなる評価値との差に応じた比率で、2つの断面画像の画素値を合成(ブレンド)することで、評価値が最も高い断面画像が得られる。   In step S <b> 52, the cross-section estimation unit 211 estimates the cross-sectional image of the cross section with the highest evaluation value and the cross-sectional image of the cross section with the lowest evaluation value based on the evaluation value acquired by the evaluation value acquisition unit 151. Specifically, the cross section estimation unit 211 estimates the distribution of evaluation values in the rotation direction of the cross section from the evaluation values for each cross section acquired by the evaluation value acquisition unit 151 by linear interpolation or the like. Then, the cross-sectional estimation unit 211 generates a cross-sectional image with the highest evaluation value and a cross-sectional image with the lowest evaluation value based on the estimated distribution of evaluation values. For example, when it is estimated that the evaluation value is the highest between two cross-sectional images, the ratio according to the difference between the evaluation value of each of the two cross-sectional images and the estimated highest evaluation value, By combining (blending) the pixel values of the two cross-sectional images, a cross-sectional image with the highest evaluation value is obtained.

ステップS53において、表示制御部55は、断面推定部211によって推定された、最も評価値の高い断面画像と最も評価値の低い断面画像とを交互に表示させる。なお、2つの断面画像は、図9を参照して説明したように表示されてもよいし、図11または図12を参照して説明したように表示されてもよい。   In step S53, the display control unit 55 alternately displays the cross-sectional image with the highest evaluation value and the cross-sectional image with the lowest evaluation value estimated by the cross-section estimation unit 211. Note that the two cross-sectional images may be displayed as described with reference to FIG. 9, or may be displayed as described with reference to FIG. 11 or FIG. 12.

以上の処理によっても、図4のフローチャートを参照して説明した断面表示処理と同様の効果、作用を得ることが可能となる。   Also by the above process, it is possible to obtain the same effects and operations as those of the cross-section display process described with reference to the flowchart of FIG.

また、図15のCPU21における断面推定部211を、図3のCPU21に設けるようにしてもよい。この場合、図4のフローチャートのステップS14とステップS15の間に、断面推定部211による断面画像の推定処理(図16のフローチャートのステップS51の処理)が実行される。   Further, the cross section estimating unit 211 in the CPU 21 in FIG. 15 may be provided in the CPU 21 in FIG. In this case, a cross-sectional image estimation process (the process of step S51 of the flowchart of FIG. 16) by the cross-section estimation unit 211 is executed between step S14 and step S15 of the flowchart of FIG.

なお、以上においては、本技術を、人体の細胞組織の断面を表示する構成に適用した場合について説明してきたが、野菜や果物、肉等の食品、電子機器、構造物、地層等の断面を表示する構成に適用することで、異物の発見、部品や堆積物の解析をより正確に行うことができるようになる。   In the above, the case where the present technology is applied to a configuration for displaying a cross section of a cellular tissue of a human body has been described. However, the cross section of food such as vegetables, fruits, meat, electronic devices, structures, and strata By applying it to the display configuration, it becomes possible to more accurately detect foreign matter and analyze parts and deposits.

[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。
[Application of this technology to programs]
The series of processes described above can be executed by hardware or can be executed by software.

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。   When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from a network or a recording medium.

このようなプログラムを含む記録媒体は、図2に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM22や、記憶部28に含まれるハードディスクなどで構成される。   As shown in FIG. 2, the recording medium including such a program is distributed to provide a program to the user separately from the apparatus main body, and a magnetic disk (including a floppy disk) on which the program is recorded. It is not only composed of removable media 31 consisting of optical disks (including CD-ROM (compact disk-read only memory) and DVD), magneto-optical disks (including MD (mini-disk)), or semiconductor memory. The program includes a flash ROM 22 in which a program is recorded, a hard disk included in the storage unit 28, and the like provided to the user in a state of being preinstalled in the apparatus main body.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.

また、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   Further, the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.

また、本技術は、1つの機能をネットワーク上の複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。   In addition, the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices on a network and is jointly processed.

さらに、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。   Furthermore, each step described in the above flowchart can be executed by one apparatus or can be shared by a plurality of apparatuses.

また、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。   In addition, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

11 画像処理装置, 21 CPU, 51 断面設定部, 52 領域選択部, 53 ブロック抽出部, 54 評価値算出部, 55 表示制御部, 151 評価値取得部, 211 断面推定部   DESCRIPTION OF SYMBOLS 11 Image processing apparatus, 21 CPU, 51 Section setting part, 52 Area selection part, 53 Block extraction part, 54 Evaluation value calculation part, 55 Display control part, 151 Evaluation value acquisition part, 211 Section estimation part

Claims (9)

3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値を取得する評価値取得部と、
前記評価値に応じて、前記複数の断面画像のうちの所定の断面画像を表示させるよう表示を制御する表示制御部と
を備え、
前記表示制御部は、前記3次元画像の前記所定断面において前記ユーザにより選択された1つの前記所定領域上で、複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい第1の断面画像と、前記評価値が最も低く最もがんらしくない第2の断面画像とを交互に表示させる
画像処理装置。
An evaluation value representing the likelihood of cancer of each cross-sectional image for a plurality of cross-sectional images representing cross-sections in a plurality of directions for one predetermined region selected by the user in a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space An evaluation value acquisition unit for acquiring
A display control unit that controls display so as to display a predetermined cross-sectional image of the plurality of cross-sectional images according to the evaluation value;
The display controller, the three-dimensional image wherein the predetermined cross-section on one of the predetermined region selected by the user, of a plurality of said cross-sectional image, likely the evaluation value highest rather most cancers first a first cross-sectional image, the image processing apparatus for displaying alternately a second cross-sectional images the evaluation value is not plausible low Ku most cancers.
前記3次元画像から、前記所定領域を含む画素ブロックを抽出するブロック抽出部をさらに備え、
前記評価値取得部は、前記画素ブロックの複数の断面を表す断面画像について、前記評価値を取得する
請求項1に記載の画像処理装置。
A block extraction unit for extracting a pixel block including the predetermined region from the three-dimensional image;
The image processing apparatus according to claim 1, wherein the evaluation value acquisition unit acquires the evaluation value for cross-sectional images representing a plurality of cross sections of the pixel block.
前記表示制御部は、複数の前記断面画像のうちの第3の断面画像を、前記第1の断面画像と前記第2の断面画像との間に表示させる
請求項2に記載の画像処理装置。
The image processing apparatus according to claim 2, wherein the display control unit displays a third cross-sectional image among the plurality of cross-sectional images between the first cross-sectional image and the second cross-sectional image.
前記第3の断面画像は、前記第1の断面画像と前記第2の断面画像との間を補間する補間画像である
請求項3に記載の画像処理装置。
The image processing apparatus according to claim 3, wherein the third cross-sectional image is an interpolation image that interpolates between the first cross-sectional image and the second cross-sectional image.
前記評価値取得部は、前記画素ブロックに含まれる任意の断面を表す前記断面画像について、前記評価値を取得する
請求項2に記載の画像処理装置。
The image processing apparatus according to claim 2, wherein the evaluation value acquisition unit acquires the evaluation value for the cross-sectional image representing an arbitrary cross-section included in the pixel block.
前記評価値取得部によって取得された前記評価値に基づいて、前記評価値が取得されていない断面の断面画像を推定する断面推定部をさらに備え、
前記表示制御部は、前記断面推定部によって推定された断面画像のうちの所定の断面画像を表示させる
請求項1乃至5のいずれかに記載の画像処理装置。
Based on the evaluation value acquired by the evaluation value acquisition unit, further comprising a cross-section estimation unit that estimates a cross-sectional image of a cross-section from which the evaluation value has not been acquired,
The image processing apparatus according to claim 1, wherein the display control unit displays a predetermined cross-sectional image among the cross-sectional images estimated by the cross-sectional estimation unit.
前記評価値は、人体の所定の部分の細胞組織を対象とした画像における前記細胞組織のがんらしさを表す
請求項1乃至6のいずれかに記載の画像処理装置。
The image processing apparatus according to any one of claims 1 to 6, wherein the evaluation value represents a cancerousness of the cellular tissue in an image targeted for cellular tissue of a predetermined part of a human body.
3次元空間における物体を表す3次元画像の所定断面の所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像を評価するための評価値を取得する評価値取得部と、
前記評価値に応じて、前記複数の断面画像のうちの所定の断面画像を表示させるよう表示を制御する表示制御部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値を取得し、
前記3次元画像の前記所定断面において前記ユーザにより選択された1つの前記所定領域上で、複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい第1の断面画像と、前記評価値が最も低く最もがんらしくない第2の断面画像とを交互に表示させる
ステップを含む画像処理方法。
An evaluation value acquisition unit that acquires an evaluation value for evaluating each cross-sectional image for a plurality of cross-sectional images representing a cross-section in a plurality of directions for a predetermined region of a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space; ,
An image processing method of an image processing apparatus comprising: a display control unit that controls display so as to display a predetermined cross-sectional image of the plurality of cross-sectional images according to the evaluation value;
The image processing apparatus is
An evaluation value representing the likelihood of cancer of each cross-sectional image for a plurality of cross-sectional images representing cross-sections in a plurality of directions for one predetermined region selected by the user in a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space Get
It said one on the predetermined region selected by the user in the predetermined cross-section of the three-dimensional image, a first cross-sectional image plausible cancer, the evaluation value is rather highest among the plurality of cross-sectional images, an image processing method comprising the step of displaying a second cross-sectional images the evaluation value is not plausible low Ku most cancer alternately.
3次元空間における物体を表す3次元画像の所定断面においてユーザにより選択された1つの所定領域についての複数の方向の断面を表す複数の断面画像について、それぞれの断面画像のがんらしさを表す評価値を取得する評価値取得ステップと、
前記評価値に応じて、前記複数の断面画像のうちの所定の断面画像を表示させるよう表示を制御する表示制御ステップと
を含む処理をコンピュータに実行させ、
前記表示制御ステップは、前記3次元画像の前記所定断面において前記ユーザにより選択された1つの前記所定領域上で、複数の前記断面画像のうちの、前記評価値が最も高く最もがんらしい第1の断面画像と、前記評価値が最も低く最もがんらしくない第2の断面画像とを交互に表示させる
プログラム。
An evaluation value representing the likelihood of cancer of each cross-sectional image for a plurality of cross-sectional images representing cross-sections in a plurality of directions for one predetermined region selected by the user in a predetermined cross-section of a three-dimensional image representing an object in a three-dimensional space An evaluation value acquisition step for acquiring
According to the evaluation value, the computer executes a process including a display control step of controlling display so as to display a predetermined cross-sectional image of the plurality of cross-sectional images,
Wherein the display control step, the three-dimensional image wherein the predetermined cross-section on one of the predetermined region selected by the user, of a plurality of said cross-sectional image, likely the evaluation highest rather most cancers value the a first cross-sectional image, a program for displaying alternately a second cross-sectional images the evaluation value is not plausible low Ku most cancers.
JP2012082676A 2012-03-30 2012-03-30 Image processing apparatus and method, and program Active JP6059444B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012082676A JP6059444B2 (en) 2012-03-30 2012-03-30 Image processing apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012082676A JP6059444B2 (en) 2012-03-30 2012-03-30 Image processing apparatus and method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016239403A Division JP6382921B2 (en) 2016-12-09 2016-12-09 Image processing apparatus and method, and program

Publications (3)

Publication Number Publication Date
JP2013213675A JP2013213675A (en) 2013-10-17
JP2013213675A5 JP2013213675A5 (en) 2015-04-09
JP6059444B2 true JP6059444B2 (en) 2017-01-11

Family

ID=49587106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012082676A Active JP6059444B2 (en) 2012-03-30 2012-03-30 Image processing apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP6059444B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017053870A (en) * 2016-12-09 2017-03-16 ソニー株式会社 Image processing apparatus and image processing method, and program
JP2019012071A (en) * 2018-08-02 2019-01-24 ソニー株式会社 Image processing device, method and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166995A (en) * 1994-12-13 1996-06-25 Toshiba Corp Medical diagnosis support system
JPH0998972A (en) * 1995-10-06 1997-04-15 Hitachi Ltd Measurement equipment of light from living body and image generation method
JP3747388B2 (en) * 1996-03-15 2006-02-22 株式会社日立メディコ 3D image display method
JP2004135867A (en) * 2002-10-17 2004-05-13 Fuji Photo Film Co Ltd Method and device for detecting abnormal shadow candidate
WO2006128302A1 (en) * 2005-06-02 2006-12-07 The Medipattern Corporation System and method of computer-aided detection
JP5209270B2 (en) * 2007-10-29 2013-06-12 株式会社東芝 Medical image photographing apparatus, medical image processing apparatus, and medical image processing program
JP5525713B2 (en) * 2008-10-16 2014-06-18 株式会社東芝 Ultrasonic diagnostic apparatus, ultrasonic signal processing apparatus, and ultrasonic signal processing program
JP5090486B2 (en) * 2009-09-30 2012-12-05 富士フイルム株式会社 MEDICAL IMAGE DIAGNOSTIC APPARATUS, IMAGE DISPLAY METHOD, AND PROGRAM USING A LIVER CONTRAST

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017053870A (en) * 2016-12-09 2017-03-16 ソニー株式会社 Image processing apparatus and image processing method, and program
JP2019012071A (en) * 2018-08-02 2019-01-24 ソニー株式会社 Image processing device, method and program

Also Published As

Publication number Publication date
JP2013213675A (en) 2013-10-17

Similar Documents

Publication Publication Date Title
AU2017316625B2 (en) Computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy
US9959622B2 (en) Method and apparatus for supporting diagnosis of region of interest by providing comparison image
EP2212859B1 (en) Method and apparatus for volume rendering of data sets
JP5225387B2 (en) Volume rendering apparatus and method
JP5639781B2 (en) Method and system for displaying quantitative segment data in 4D rendering
JP6918528B2 (en) Medical image processing equipment and medical image processing program
EP2827301A1 (en) Image generation device, method, and program
US8520923B2 (en) Reporting organ volume for a medical digital image
WO2017020281A1 (en) Ultrasonic image processing system and method and device thereof, ultrasonic diagnostic device
Chen et al. Real-time freehand 3D ultrasound imaging
CN110809801A (en) System and method for simultaneous visualization and quantification of wall shear stress in blood vessels
JP6382921B2 (en) Image processing apparatus and method, and program
Wen et al. An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation
JP2013192781A (en) Medical image display controller, method and program
JP6059444B2 (en) Image processing apparatus and method, and program
JP2021027982A (en) Image processing apparatus and image processing method
US8805122B1 (en) System, method, and computer-readable medium for interpolating spatially transformed volumetric medical image data
CN110234270B (en) Method and apparatus for providing quantitative volume maps of organs or assessment of organ health
US20230005153A1 (en) Quantification and visualization of myocardium fibrosis of human heart
CN109313803B (en) Method and apparatus for mapping at least part of a structure in an image of at least part of a body of a subject
JP2014144156A (en) Medical image display control device and method, and program
KR101185728B1 (en) A segmentatin method of medical image and apparatus thereof
JP5801226B2 (en) Image diagnosis support apparatus, method, and program
JP6746639B2 (en) Image processing apparatus and method, and diagnostic support system
Caiani et al. Automated interpretation of regional left ventricular wall motion from cardiac magnetic resonance images

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161209

R150 Certificate of patent or registration of utility model

Ref document number: 6059444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250