JP5377153B2

JP5377153B2 - Image processing apparatus, image processing program, and medical diagnostic system

Info

Publication number: JP5377153B2
Application number: JP2009189421A
Authority: JP
Inventors: 恵夢藤原; 仁山形; 康太青柳; 恭子佐藤
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp; Toshiba Medical Systems Engineering Co Ltd
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2009-08-18
Filing date: 2009-08-18
Publication date: 2013-12-25
Anticipated expiration: 2029-08-18
Also published as: JP2011036600A

Description

本発明は、画像処理装置、画像処理プログラムおよび医用診断システムに関する。 The present invention relates to an image processing apparatus, an image processing program, and a medical diagnosis system.

従来、例えば大腸などの検査では、電子式内視鏡を用いて、大腸内部にある病変部などの関心領域を診察することが行われている。また、近年では、電子式内視鏡を用いた診察に加えて、仮想内視鏡システムを用いた診察も行われている。 Conventionally, for example, in an examination of the large intestine, an area of interest such as a lesion in the large intestine is examined using an electronic endoscope. In recent years, in addition to medical examination using an electronic endoscope, medical examination using a virtual endoscope system is also performed.

仮想内視鏡システムは、例えば、Ｘ線ＣＴ（Computed Tomography）装置などの画像診断装置によって生成された画像データから仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示する（例えば、非特許文献１参照）。なお、以下では、電子式内視鏡と仮想内視鏡とを区別するため、電子式内視鏡を「実内視鏡」と呼ぶ。 The virtual endoscope system generates a virtual endoscopic image from image data generated by an image diagnostic apparatus such as an X-ray CT (Computed Tomography) apparatus, and displays the generated virtual endoscopic image (for example, Non-Patent Document 1). Hereinafter, in order to distinguish between an electronic endoscope and a virtual endoscope, the electronic endoscope is referred to as a “real endoscope”.

かかる仮想内視鏡システムを利用することによって、医師は、実内視鏡を用いて大腸内部を直接診察する代わりに、仮想内視鏡画像を用いて大腸内部を仮想的に診察することができる。また、ＣＡＤ（Computer Aided Design）システムを用いて、仮想内視鏡システムによって生成された仮想内視鏡画像から病変部を自動検出する技術もある。 By using such a virtual endoscope system, a doctor can virtually examine the inside of the large intestine using a virtual endoscopic image instead of directly examining the inside of the large intestine using a real endoscope. . There is also a technique for automatically detecting a lesion from a virtual endoscope image generated by a virtual endoscope system using a CAD (Computer Aided Design) system.

「仮想化内視鏡を核とした最新画像診断支援・画像誘導手術システム」、［平成２１年７月３０日検索］、インターネット＜URL: http://tzklabo.met.nagoya-u.ac.jp/35jsrt-au/kouen/tokubetsu.htm＞"Latest image diagnosis support and image guided surgery system with virtualized endoscope as the core", [Search July 30, 2009], Internet <URL: http://tzklabo.met.nagoya-u.ac. jp / 35jsrt-au / kouen / tokubetsu.htm>

しかしながら、上述した従来の技術では、以下に説明するように、診察で用いられる画像に表示されない範囲があった場合に、操作者が、その範囲に位置する関心領域を容易に確認することができないという課題があった。 However, in the above-described conventional technology, as described below, when there is a range that is not displayed in an image used for diagnosis, the operator cannot easily confirm the region of interest located in the range. There was a problem.

例えば、実内視鏡は、視線方向が進行方向の一方向のみであることから、視野に死角が生じる。図９は、従来技術の課題を説明するための図である。図９に示すように、例えば、実内視鏡１は、先端に設けられたカメラ２が関心領域３の付近に到達しても、進行方向に向かって関心領域３がヒダ４の裏側に位置するような場合には、関心領域３を撮影することができない。そのため、操作者は、例えば、被検体の大腸にガスを注入して大腸を膨らませたうえで、実内視鏡を死角に回り込ませて撮影するなどの特別な操作を行って、関心領域の状態を確認していた。 For example, a real endoscope has a blind spot in the field of view because the line-of-sight direction is only one direction of travel. FIG. 9 is a diagram for explaining the problems of the prior art. As shown in FIG. 9, for example, in the real endoscope 1, even when the camera 2 provided at the distal end reaches the vicinity of the region of interest 3, the region of interest 3 is positioned on the back side of the fold 4 toward the traveling direction. In such a case, the region of interest 3 cannot be imaged. For this reason, the operator performs special operations such as injecting gas into the large intestine of the subject to swell the large intestine and then taking a picture with the real endoscope wrapping around the blind spot. Had confirmed.

また、例えば、実内視鏡による観察の前に、仮想内視鏡システムによって生成された仮想内視鏡画像の展開図を観察することで、関心領域周辺のヒダの情報を得る方法もある。しかし、展開図の生成および観察は長い時間を要することから、操作者は関心領域の状態を容易に確認することができなかった。 In addition, for example, there is a method of obtaining fold information around a region of interest by observing a developed view of a virtual endoscope image generated by a virtual endoscope system before observation with a real endoscope. However, since it takes a long time to generate and observe the development view, the operator cannot easily confirm the state of the region of interest.

本発明は、上記に鑑みてなされたものであって、診察で用いられる画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能な画像処理装置、画像処理プログラムおよび医用診断システムを提供することを目的とする。 The present invention has been made in view of the above, and even when there is a range that is not displayed on the image used in the examination, the operator can be easily confirmed so that the region of interest located in the range can be easily confirmed. An object of the present invention is to provide an image processing apparatus, an image processing program, and a medical diagnosis system that can be supported.

上述した課題を解決し、目的を達成するために、請求項１記載の本発明は、画像処理装置が、被検体の部位を所定方向から撮影した画像を第１の画像として表示部に表示する第１の表示制御手段と、前記第１の表示制御手段によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手段と、所定の画像診断装置によって得られた画像データを用いて、前記操作受付手段による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手段とを備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, according to the first aspect of the present invention, the image processing apparatus displays an image obtained by photographing the region of the subject from a predetermined direction on the display unit as a first image. Obtained by a first display control means, an operation acceptance means for accepting an operation for designating an arbitrary viewpoint on the first image displayed by the first display control means from an operator, and a predetermined diagnostic imaging apparatus. Using the obtained image data, a virtual image when the part is imaged from a viewpoint designated by accepting an operation by the operation accepting unit is generated, and the generated virtual image is displayed on the display unit as a second image And a second display control means.

また、請求項６記載の本発明は、画像処理プログラムが、被検体の部位を所定方向から撮影した画像を第１の画像として表示部に表示する第１の表示制御手順と、前記第１の表示制御手順によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手順と、所定の画像診断装置によって得られた画像データを用いて、前記操作受付手順による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手順とをコンピュータに実行させることを特徴とする。 According to a sixth aspect of the present invention, the image processing program displays a first display control procedure in which an image obtained by photographing a part of a subject from a predetermined direction is displayed on the display unit as a first image; An operation acceptance procedure for accepting an operation for designating an arbitrary viewpoint on the first image displayed by the display control procedure from an operator, and the operation acceptance procedure using image data obtained by a predetermined image diagnostic apparatus. And generating a virtual image when the part is imaged from the viewpoint specified by accepting an operation by the computer and executing a second display control procedure for displaying the generated virtual image on the display unit as a second image. It is characterized by making it.

また、請求項７記載の本発明は、内視鏡と画像処理装置とを有する医用診断システムであって、前記内視鏡が、被検体の部位を所定方向から撮影する撮影手段を備え、前記画像処理装置が、前記内視鏡によって撮影された画像を第１の画像として表示部に表示する第１の表示制御手段と、前記第１の表示制御手段によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手段と、所定の画像診断装置によって得られた画像データを用いて、前記操作受付手段による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手段とを備えたことを特徴とする。 The present invention according to claim 7 is a medical diagnosis system having an endoscope and an image processing device, wherein the endoscope includes an imaging unit that images a region of a subject from a predetermined direction, An image processing apparatus displays a first display control unit that displays an image captured by the endoscope as a first image on a display unit; and the first display control unit displays the first image on the first image displayed by the first display control unit. The operation accepting means for accepting an operation for designating an arbitrary viewpoint from the operator and the image data obtained by a predetermined image diagnostic apparatus, and the part from the viewpoint designated by accepting the operation by the operation accepting means. And a second display control unit configured to generate a virtual image when the image is taken and display the generated virtual image on the display unit as a second image.

請求項１、６または７記載の本発明によれば、診断用の画像において表示されない範囲に関心領域が位置する場合でも、関心領域の状態を容易に確認することができるという効果を奏する。 According to the present invention, the state of the region of interest can be easily confirmed even when the region of interest is located in a range that is not displayed in the diagnostic image.

図１は、本実施例１に係る医用診断システムの構成を示す図である。FIG. 1 is a diagram illustrating the configuration of the medical diagnosis system according to the first embodiment. 図２−１は、視線方向変更ガイド画像処理部によって表示される視線方向変更ガイドの一例を示す図である。FIG. 2-1 is a diagram illustrating an example of a gaze direction change guide displayed by the gaze direction change guide image processing unit. 図２−２は、視線方向変更ガイド画像処理部によって表示される視線方向変更ガイドの他の例を示す図である。FIG. 2-2 is a diagram illustrating another example of the gaze direction change guide displayed by the gaze direction change guide image processing unit. 図３は、視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御を説明するための図である。FIG. 3 is a diagram for explaining control related to display of the gaze direction change guide and display of the virtual endoscopic image. 図４−１は、本実施例１に係る医用診断システムの処理手順を示すフローチャート（１）である。FIG. 4A is a flowchart (1) illustrating the processing procedure of the medical diagnosis system according to the first embodiment. 図４−２は、本実施例１に係る医用診断システムの処理手順を示すフローチャート（２）である。FIG. 4-2 is a flowchart (2) illustrating the processing procedure of the medical diagnosis system according to the first embodiment. 図５は、医用診断システムによって表示される画像の一例を示す図（１）である。FIG. 5 is a diagram (1) illustrating an example of an image displayed by the medical diagnosis system. 図６は、医用診断システムによって表示される画像の一例を示す図（２）である。FIG. 6 is a diagram (2) illustrating an example of an image displayed by the medical diagnosis system. 図７は、医用診断システムによって表示される画像の一例を示す図（３）である。FIG. 7 is a diagram (3) illustrating an example of an image displayed by the medical diagnosis system. 図８は、本実施例２に係る仮想内視鏡システムを説明するための図である。FIG. 8 is a diagram for explaining the virtual endoscope system according to the second embodiment. 図９は、従来技術の課題を説明するための図である。FIG. 9 is a diagram for explaining the problems of the prior art.

以下に、本発明に係る画像処理装置、画像処理プログラムおよび医用診断システムの実施例を図面に基づいて詳細に説明する。なお、以下に示す実施例では、大腸の検査を行う場合について説明するが、この実施例によって本発明が限定されるものではない。 Embodiments of an image processing apparatus, an image processing program, and a medical diagnosis system according to the present invention will be described below in detail with reference to the drawings. In addition, although the Example shown below demonstrates the case where the test | inspection of a large intestine is performed, this invention is not limited by this Example.

まず、本実施例１に係る医用診断システムの概要について説明する。本実施例１に係る医用診断システムは、実内視鏡によって撮影された実内視鏡画像と、Ｘ線ＣＴ装置によって得られた画像データから生成された仮想内視鏡画像とをそれぞれ表示する。ここで、実内視鏡の視野方向は進行方向のみであるので、視野に死角が存在する。 First, an outline of the medical diagnosis system according to the first embodiment will be described. The medical diagnosis system according to the first embodiment displays a real endoscopic image captured by a real endoscope and a virtual endoscopic image generated from image data obtained by an X-ray CT apparatus, respectively. . Here, since the visual field direction of the real endoscope is only the traveling direction, there is a blind spot in the visual field.

そこで、本実施例１では、医用診断システムが、実内視鏡画像上で任意の視点を指定する操作を操作者から受け付ける。そして、医用診断システムは、操作者によって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示部に表示する。 Therefore, in the first embodiment, the medical diagnosis system receives an operation for designating an arbitrary viewpoint on the actual endoscopic image from the operator. Then, the medical diagnosis system generates a virtual endoscopic image when the inside of the large intestine is imaged from the viewpoint designated by the operator, and displays the generated virtual endoscopic image on the display unit.

すなわち、本実施例１に係る医用診断システムは、実内視鏡の視野方向とは異なる任意の方向から撮影した場合の仮想内視鏡画像を表示することができる。したがって、本実施例１によれば、診察で用いられる実内視鏡画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能になる。 That is, the medical diagnosis system according to the first embodiment can display a virtual endoscopic image when the image is taken from an arbitrary direction different from the visual field direction of the real endoscope. Therefore, according to the first embodiment, even when there is a range that is not displayed in the actual endoscope image used in the diagnosis, the operator is supported so that the region of interest located in the range can be easily confirmed. It becomes possible to do.

次に、本実施例１に係る医用診断システムの構成について説明する。図１は、本実施例１に係る医用診断システム１０の構成を示す図である。図１に示すように、本実施例１に係る医用診断システム１０は、実内視鏡１１と、記憶装置１２と、画像処理装置１３とを有する。 Next, the configuration of the medical diagnosis system according to the first embodiment will be described. FIG. 1 is a diagram illustrating a configuration of a medical diagnosis system 10 according to the first embodiment. As illustrated in FIG. 1, the medical diagnosis system 10 according to the first embodiment includes a real endoscope 11, a storage device 12, and an image processing device 13.

実内視鏡１１は、カメラ１１ａと、マーカ１１ｂと、実内視鏡操作部１１ｃと、視線方向変更ガイド操作部１１ｄとを有する。カメラ１１ａは、実内視鏡１１の先端に設けられ、実内視鏡１１の進行方向を撮影する。マーカ１１ｂは、カメラ１１ａの位置および進行方向を検出する。実内視鏡操作部１１ｃは、カメラ１１ａのアングルや撮影の調整に関する操作を操作者から受け付ける。 The real endoscope 11 includes a camera 11a, a marker 11b, a real endoscope operation unit 11c, and a line-of-sight direction change guide operation unit 11d. The camera 11 a is provided at the distal end of the real endoscope 11 and photographs the traveling direction of the real endoscope 11. The marker 11b detects the position and traveling direction of the camera 11a. The actual endoscope operation unit 11c receives an operation related to adjustment of the angle of the camera 11a and photographing, from the operator.

視線方向変更ガイド操作部１１ｄは、後述する画像処理装置１３によって表示された実内視鏡画像上で任意の視線方向を指定する操作を操作者から受け付ける。また、例えば、視線方向変更ガイド操作部１１ｄは、画像処理装置１３によって表示される仮想内視鏡画像の視線方向を変更するための視線方向変更モードを起動または終了する操作を操作者から受け付ける。かかる視線方向変更ガイド操作部１１ｄは、例えば、マウスやトラックボールなどの入力ユーザインタフェースを有する。 The line-of-sight direction change guide operation unit 11d receives an operation for designating an arbitrary line-of-sight direction on an actual endoscopic image displayed by the image processing apparatus 13 described later from the operator. Further, for example, the line-of-sight direction change guide operation unit 11 d receives an operation for starting or ending the line-of-sight direction change mode for changing the line-of-sight direction of the virtual endoscopic image displayed by the image processing device 13 from the operator. The line-of-sight direction change guide operation unit 11d has an input user interface such as a mouse or a trackball.

記憶装置１２は、被検体に関する３次元画像データを記憶する。例えば、記憶装置１２は、Ｘ線ＣＴ装置によって生成されたＣＴ像データを記憶する。かかる記憶装置１２は、例えば、ハードディスクドライブ、ＤＶＤドライブなどである。 The storage device 12 stores three-dimensional image data related to the subject. For example, the storage device 12 stores CT image data generated by an X-ray CT apparatus. Such a storage device 12 is, for example, a hard disk drive or a DVD drive.

画像処理装置１３は、各種画像を処理する。例えば、画像処理装置１３は、実内視鏡１１によって得られた画像データから実内視鏡画像を生成して表示する。また、画像処理装置１３は、記憶装置１２によって記憶されている画像データから仮想内視鏡画像を生成して表示する。この画像処理装置１３は、表示部１３ａと、実内視鏡画像処理部１３ｂと、実内視鏡位置検出部１３ｃと、視線方向変更ガイド画像処理部１３ｄと、視線方向変更ガイド操作量処理部１３ｅと、仮想内視鏡画像処理部１３ｆとを有する。 The image processing device 13 processes various images. For example, the image processing device 13 generates and displays a real endoscope image from image data obtained by the real endoscope 11. Further, the image processing device 13 generates and displays a virtual endoscopic image from the image data stored in the storage device 12. The image processing apparatus 13 includes a display unit 13a, a real endoscope image processing unit 13b, a real endoscope position detection unit 13c, a gaze direction change guide image processing unit 13d, and a gaze direction change guide operation amount processing unit. 13e and a virtual endoscope image processing unit 13f.

表示部１３ａは、各種画像を表示する。例えば、表示部１３ａは、実内視鏡１１によって撮影された実内視鏡画像や、記憶装置１２によって記憶されている画像データから生成された仮想内視鏡画像を表示する。 The display unit 13a displays various images. For example, the display unit 13 a displays a real endoscopic image photographed by the real endoscope 11 and a virtual endoscopic image generated from image data stored in the storage device 12.

実内視鏡画像処理部１３ｂは、大腸内部を実内視鏡１１の進行方向から撮影した実内視鏡画像を表示部１３ａに表示する。具体的には、実内視鏡画像処理部１３ｂは、実内視鏡１１のカメラ１１ａによって得られた画像データから実内視鏡画像を再構成し、再構成した実内視鏡画像を表示部１３ａに表示する。 The real endoscopic image processing unit 13b displays an actual endoscopic image obtained by photographing the inside of the large intestine from the traveling direction of the real endoscope 11 on the display unit 13a. Specifically, the real endoscopic image processing unit 13b reconstructs the real endoscopic image from the image data obtained by the camera 11a of the real endoscope 11, and displays the reconstructed real endoscopic image. It is displayed on the part 13a.

実内視鏡位置検出部１３ｃは、実内視鏡１１が有するカメラ１１ａの位置を検出する。具体的には、実内視鏡位置検出部１３ｃは、検査対象の被検体に関するＣＴ像データを記憶装置１２から取得し、取得したＣＴ像データに基づいて、大腸に含まれる各部の位置関係を示す大腸マップを作成する。そして、実内視鏡位置検出部１３ｃは、実内視鏡１１のマーカ１１ｂによってカメラ１１ａの位置が検出されると、検出された位置を大腸マップに配置する。 The actual endoscope position detection unit 13c detects the position of the camera 11a included in the actual endoscope 11. Specifically, the actual endoscope position detection unit 13c acquires CT image data related to the subject to be examined from the storage device 12, and based on the acquired CT image data, determines the positional relationship of each unit included in the large intestine. Create a large intestine map to show. Then, when the position of the camera 11a is detected by the marker 11b of the real endoscope 11, the real endoscope position detection unit 13c places the detected position on the large intestine map.

視線方向変更ガイド画像処理部１３ｄは、実内視鏡画像処理部１３ｂによって表示部１３ａに表示された実内視鏡画像上に、任意の視点を指定する範囲を示す視線方向変更ガイドを表示する。 The line-of-sight direction change guide image processing unit 13d displays a line-of-sight direction change guide indicating a range for designating an arbitrary viewpoint on the real endoscope image displayed on the display unit 13a by the real endoscope image processing unit 13b. .

図２−１は、視線方向変更ガイド画像処理部１３ｄによって表示される視線方向変更ガイドの一例を示す図である。図２−１に示すように、例えば、視線方向変更ガイド画像処理部１３ｄは、ドーム状に形成された視線方向変更ガイド２１を表示し、さらに、視線方向変更ガイド２１の表面に配置された視点マーカ２２を表示する。 FIG. 2A is a diagram illustrating an example of a gaze direction change guide displayed by the gaze direction change guide image processing unit 13d. As illustrated in FIG. 2A, for example, the line-of-sight direction change guide image processing unit 13d displays a line-of-sight direction change guide 21 formed in a dome shape, and further, a viewpoint arranged on the surface of the line-of-sight direction change guide 21 The marker 22 is displayed.

そして、視線方向変更ガイド画像処理部１３ｄは、視線方向変更ガイド２１の位置または大きさを変更する操作が視線方向変更ガイド操作部１１ｄによって受け付けられた場合に、後述する視線方向変更ガイド操作量処理部１３ｅからの指示に応じて、表示部１３ａに表示されている視線方向変更ガイド２１の大きさを変更したり（矢印Ａを参照）、回転したりする（矢印Ｂを参照）。 The line-of-sight direction change guide image processing unit 13d performs line-of-sight direction change guide operation amount processing described later when an operation for changing the position or size of the line-of-sight direction change guide 21 is received by the line-of-sight direction change guide operation unit 11d. In response to an instruction from the unit 13e, the size of the line-of-sight direction change guide 21 displayed on the display unit 13a is changed (see arrow A) or rotated (see arrow B).

また、視線方向変更ガイド画像処理部１３ｄは、視点マーカ２２を移動する操作が視線方向変更ガイド操作部１１ｄによって受け付けられた場合に、後述する視線方向変更ガイド操作量処理部１３ｅからの指示に応じて、表示部１３ａに表示されている視点マーカ２２の位置を視線方向変更ガイド２１の表面に沿って移動する（矢印Ｃを参照）。ここで、視点マーカ２２の位置から視線方向変更ガイド２１の中心２３へ向かう垂線の方向が、後述する仮想内視鏡画像処理部１３ｆによって生成される仮想内視鏡画像の視線方向２４として設定される。 The line-of-sight direction change guide image processing unit 13d responds to an instruction from the line-of-sight direction change guide operation amount processing unit 13e described later when an operation of moving the viewpoint marker 22 is received by the line-of-sight direction change guide operation unit 11d. Then, the position of the viewpoint marker 22 displayed on the display unit 13a is moved along the surface of the line-of-sight direction change guide 21 (see arrow C). Here, the direction of the perpendicular line from the position of the viewpoint marker 22 toward the center 23 of the line-of-sight direction change guide 21 is set as the line-of-sight direction 24 of the virtual endoscope image generated by the virtual endoscope image processing unit 13f described later. The

なお、視線方向変更ガイドの形状はドーム状に限られるものではない。図２−２は、視線方向変更ガイド画像処理部１３ｄによって表示される視線方向変更ガイドの他の例を示す図である。例えば、図２−２に示すように、視線方向変更ガイド画像処理部１３ｄは、球状に形成された視線方向変更ガイド３１を表示し、さらに、視線方向変更ガイド３１の表面に配置された視点マーカ３２を表示してもよい。この場合には、視線方向変更ガイド画像処理部１３ｄは、視点マーカ３２から視線方向変更ガイド３１の中心３３へ向かう垂線の方向が、仮想内視鏡画像の視線方向３４として設定される。 The shape of the line-of-sight direction change guide is not limited to the dome shape. FIG. 2-2 is a diagram illustrating another example of the gaze direction change guide displayed by the gaze direction change guide image processing unit 13d. For example, as illustrated in FIG. 2B, the line-of-sight direction change guide image processing unit 13d displays a line-of-sight direction change guide 31 formed in a spherical shape, and further, a viewpoint marker arranged on the surface of the line-of-sight direction change guide 31 32 may be displayed. In this case, the line-of-sight direction change guide image processing unit 13d sets the direction of the perpendicular line from the viewpoint marker 32 to the center 33 of the line-of-sight direction change guide 31 as the line-of-sight direction 34 of the virtual endoscopic image.

視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイド操作部１１ｄによって操作者から受け付けられた操作に基づいて、視線方向変更ガイドの表示および仮想内視鏡画像の表示を制御する。 The line-of-sight direction change guide operation amount processing unit 13e controls the display of the line-of-sight direction change guide and the display of the virtual endoscopic image based on the operation received from the operator by the line-of-sight direction change guide operation unit 11d.

例えば、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更モードを起動する操作が受け付けられた場合には、視線方向変更ガイドを表示部１３ａに表示するように、視線方向変更ガイド画像処理部１３ｄを制御する。また、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイドの位置または大きさを変更する操作が受け付けられた場合には、その操作量に応じて視線方向変更ガイドの位置または大きさを変更するように、視線方向変更ガイド画像処理部１３ｄを制御する。 For example, the line-of-sight direction change guide image processing unit 13e displays the line-of-sight direction change guide on the display unit 13a when an operation for starting the line-of-sight direction change mode is accepted. 13d is controlled. Further, when an operation to change the position or size of the line-of-sight direction change guide is received, the line-of-sight direction change guide operation amount processing unit 13e determines the position or size of the line-of-sight direction change guide according to the amount of operation. The line-of-sight direction change guide image processing unit 13d is controlled so as to be changed.

また、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイドの表面に表示された視点マーカの位置を変更する操作が受け付けられた場合には、その操作量に応じて視点マーカの位置を変更するように、視線方向変更ガイド画像処理部１３ｄを制御する。さらに、視線方向変更ガイド操作量処理部１３ｅは、操作者によって指定された視点マーカから大腸を撮影した場合の仮想内視鏡画像を表示部１３ａに表示するように、仮想内視鏡画像処理部１３ｆを制御する。 In addition, when an operation for changing the position of the viewpoint marker displayed on the surface of the line-of-sight direction change guide is received, the line-of-sight direction change guide operation amount processing unit 13e determines the position of the viewpoint marker according to the amount of operation. The line-of-sight direction change guide image processing unit 13d is controlled so as to be changed. Further, the line-of-sight direction change guide operation amount processing unit 13e displays a virtual endoscopic image when the large intestine is photographed from the viewpoint marker specified by the operator on the display unit 13a. 13f is controlled.

なお、上述した視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御については、後に詳細に説明する。 Note that the above-described control related to the display of the gaze direction change guide and the display of the virtual endoscopic image will be described in detail later.

仮想内視鏡画像処理部１３ｆは、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて仮想内視鏡画像および大腸外形像を生成し、生成した仮想内視鏡画像および大腸外形像を表示部１３ａに表示する。 The virtual endoscopic image processing unit 13f generates a virtual endoscopic image and a large intestine outline using CT image data obtained by the X-ray CT apparatus, and displays the generated virtual endoscopic image and large intestine outline It is displayed on the part 13a.

具体的には、仮想内視鏡画像処理部１３ｆは、Ｘ線ＣＴ装置によって得られたＣＴ像データを記憶装置１２から取得し、取得したＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成する。さらに、仮想内視鏡画像処理部１３ｆは、取得したＣＴ像データを用いて、大腸の外形を表す大腸外形像を生成する。その後、仮想内視鏡画像処理部１３ｆは、生成した大腸外形像および仮想内視鏡画像を表示部１３ａに表示する。なお、このとき、仮想内視鏡画像処理部１３ｆは、実内視鏡画像処理部１３ｂによって表示される実内視鏡画像と同期するように、大腸外形像および仮想内視鏡画像を表示する。 Specifically, the virtual endoscopic image processing unit 13f acquires CT image data obtained by the X-ray CT apparatus from the storage device 12, and uses the acquired CT image data to perform the visual line direction change guide operation unit 11d. A virtual endoscopic image is generated when the inside of the large intestine is photographed from the viewpoint designated by accepting the operation by. Furthermore, the virtual endoscopic image processing unit 13f generates a large intestine outline image representing the outline of the large intestine using the acquired CT image data. Thereafter, the virtual endoscopic image processing unit 13f displays the generated large intestine outline image and virtual endoscopic image on the display unit 13a. At this time, the virtual endoscopic image processing unit 13f displays the large intestine outline image and the virtual endoscopic image so as to be synchronized with the real endoscopic image displayed by the real endoscopic image processing unit 13b. .

また、仮想内視鏡画像処理部１３ｆは、実内視鏡位置検出部１３ｃによって作成された大腸マップを参照し、大腸マップに配置されているカメラ１１ａの位置情報に基づいて、カメラ１１ａの位置および進行方向を示すカメラ位置情報を大腸外形像上に重畳表示する。例えば、仮想内視鏡画像処理部１３ｆは、カメラ１１ａの位置および進行方向を示す矢印を大腸外形像上に重畳表示する。 In addition, the virtual endoscope image processing unit 13f refers to the large intestine map created by the real endoscope position detection unit 13c, and based on the positional information of the camera 11a arranged in the large intestine map, the position of the camera 11a The camera position information indicating the traveling direction is superimposed and displayed on the outline image of the large intestine. For example, the virtual endoscope image processing unit 13f superimposes and displays an arrow indicating the position of the camera 11a and the traveling direction on the outline image of the large intestine.

そして、仮想内視鏡画像処理部１３ｆは、操作者によって実内視鏡が操作されるたびに、大腸外形像、仮想内視鏡画像、および、大腸外形像上のカメラ位置情報の情報を更新する。これにより、大腸外形像、仮想内視鏡画像およびカメラ位置情報が、常に、実内視鏡１１のカメラ１１ａの位置に同期して表示される。 Then, the virtual endoscopic image processing unit 13f updates the information on the large intestine outline image, the virtual endoscopic image, and the camera position information on the large intestine outline image each time the operator operates the real endoscope. To do. As a result, the outline image of the large intestine, the virtual endoscopic image, and the camera position information are always displayed in synchronization with the position of the camera 11a of the real endoscope 11.

次に、視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御について説明する。図３は、視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御を説明するための図である。なお、ここでは、図２−１に示したドーム状の視線方向変更ガイドを例にあげて説明する。 Next, control related to the display of the gaze direction change guide and the display of the virtual endoscope image will be described. FIG. 3 is a diagram for explaining control related to display of the gaze direction change guide and display of the virtual endoscopic image. Here, the dome-shaped gaze direction changing guide shown in FIG. 2A will be described as an example.

図３に示すように、例えば、視点マーカ２２の座標を（ｘ，ｙ，ｚ）、視線方向変更ガイド２１を表すドームの中心２３の座標を（ｘ₀，ｙ₀，ｚ₀）、ドームの半径をｒとした場合、以下に示す方程式（１）が成り立つ。 As shown in FIG. 3, for example, the coordinates of the viewpoint marker 22 are (x, y, z), the coordinates of the center 23 of the dome representing the line-of-sight direction change guide 21 are (x ₀ , y ₀ , z ₀ ), When the radius is r, the following equation (1) holds.

（ｘ−ｘ₀）^２＋（ｙ−ｙ₀）^２＋（ｚ−ｚ₀）^２＝ｒ^２・・・（１） (X−x ₀ ) ² + (y−y ₀ ) ² + (z−z ₀ ) ² = r ² (1)

ここで、視線方向２４は、視点マーカ２２の位置から視線方向変更ガイド２１を表すドームの中心２３へ向かう方向である。したがって、視線方向２４を示すベクトルｒは、以下に示す式（２）で表される。 Here, the line-of-sight direction 24 is a direction from the position of the viewpoint marker 22 toward the center 23 of the dome representing the line-of-sight direction change guide 21. Therefore, the vector r indicating the line-of-sight direction 24 is expressed by the following equation (2).

ベクトルｒ＝（ｘ₀−ｘ，ｙ₀−ｙ，ｚ₀−ｚ）・・・（２） Vector r = (x ₀ −x, y ₀ −y, z ₀ −z) (2)

視線方向変更ガイド操作量処理部１３ｅは、視線方向変更モードの起動中は、視線方向変更ガイド操作部１１ｄによって受け付けられた操作の操作量に応じて、視線方向変更ガイド２１の位置および大きさを決定する。具体的には、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイド操作部１１ｄによって受け付けられた操作の操作量に応じて、視線方向変更ガイド２１を表すドームの中心２３の座標（ｘ₀，ｙ₀，ｚ₀）と、視線方向変更ガイド２１を表すドームの半径ｒとを算出する。 The line-of-sight direction change guide operation amount processing unit 13e determines the position and size of the line-of-sight direction change guide 21 according to the operation amount of the operation received by the line-of-sight direction change guide operation unit 11d during the activation of the line-of-sight direction change mode. decide. Specifically, the line-of-sight direction change guide operation amount processing unit 13e determines the coordinates of the center 23 of the dome representing the line-of-sight direction change guide 21 according to the operation amount received by the line-of-sight direction change guide operation unit 11d (x ₀ , y ₀ , z ₀ ) and the radius r of the dome representing the line-of-sight direction change guide 21 are calculated.

なお、このとき、視線方向変更ガイド操作量処理部１３ｅは、大腸の内部に収まる範囲で、視線方向変更ガイド２１の位置および大きさを決定する。そして、視線方向変更ガイド操作量処理部１３ｅは、決定した視線方向変更ガイド２１の位置および大きさを視線方向変更ガイド画像処理部１３ｄへ通知する。 At this time, the line-of-sight direction change guide operation amount processing unit 13e determines the position and size of the line-of-sight direction change guide 21 within a range that fits inside the large intestine. Then, the line-of-sight direction change guide operation amount processing unit 13e notifies the line-of-sight direction change guide image processing unit 13d of the determined position and size of the line-of-sight direction change guide 21.

視線方向変更ガイド画像処理部１３ｄは、視線方向変更ガイド操作量処理部１３ｅから通知された位置および大きさに基づいて、視線方向変更ガイド２１の表示を更新する。視線方向変更ガイド画像処理部１３ｄは、視線方向変更モードの起動中は、実内視鏡画像上に視線方向変更ガイド２１を重畳して表示する。これにより、操作者は、表示された視線方向変更ガイド２１を操作することで、視線方向変更ガイド２１を任意の大きさおよび位置に設定することができる。 The line-of-sight direction change guide image processing unit 13d updates the display of the line-of-sight direction change guide 21 based on the position and size notified from the line-of-sight direction change guide operation amount processing unit 13e. The line-of-sight direction change guide image processing unit 13d displays the line-of-sight direction change guide 21 superimposed on the actual endoscopic image while the line-of-sight direction change mode is activated. Thus, the operator can set the line-of-sight direction change guide 21 to an arbitrary size and position by operating the displayed line-of-sight direction change guide 21.

こうして、視線方向変更ガイドの大きさが決定されたのちに、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイド２１の表面に沿って視点マーカ２２を移動する操作が視線方向変更ガイド操作部１１ｄによって受け付けられると、その操作量に応じて、視点マーカ２２の座標（ｘ，ｙ，ｚ）および視線方向を示すベクトルｒを算出する。そして、視線方向変更ガイド操作量処理部１３ｅは、算出した座標（ｘ，ｙ，ｚ）およびベクトルｒを仮想内視鏡画像処理部１３ｆに通知する。 In this way, after the size of the line-of-sight direction change guide is determined, the line-of-sight direction change guide operation amount processing unit 13e moves the viewpoint marker 22 along the surface of the line-of-sight direction change guide 21 to perform the line-of-sight direction change guide operation. When received by the unit 11d, the vector r indicating the coordinates (x, y, z) and the line-of-sight direction of the viewpoint marker 22 is calculated according to the operation amount. Then, the line-of-sight direction change guide operation amount processing unit 13e notifies the calculated coordinates (x, y, z) and the vector r to the virtual endoscopic image processing unit 13f.

仮想内視鏡画像処理部１３ｆは、視線方向変更ガイド操作量処理部１３ｅから通知された視点マーカ２２の位置（ｘ，ｙ，ｚ）および視線方向を示すベクトルｒに基づいて、操作者によって指定された視点マーカ２２から大腸を撮影した場合の仮想内視鏡画像を生成して表示部１３ａに表示する。 The virtual endoscopic image processing unit 13f is designated by the operator based on the position (x, y, z) of the viewpoint marker 22 and the vector r indicating the line-of-sight direction notified from the line-of-sight direction change guide operation amount processing unit 13e. A virtual endoscopic image when the large intestine is photographed from the viewpoint marker 22 thus generated is generated and displayed on the display unit 13a.

視線方向変更モードの起動中は、視線方向変更ガイド操作部１１ｄによって視点マーカ２２の位置を変更する操作が受け付けられるたびに、上述した処理が繰り返される。これにより、常に、視点マーカ２２に同期した仮想内視鏡画像が表示される。 While the line-of-sight direction change mode is activated, the above-described process is repeated each time an operation for changing the position of the viewpoint marker 22 is received by the line-of-sight direction change guide operation unit 11d. Thereby, the virtual endoscopic image synchronized with the viewpoint marker 22 is always displayed.

次に、本実施例１に係る医用診断システム１０の処理手順について説明する。図４−１および４−２は、本実施例１に係る医用診断システム１０の処理手順を示すフローチャートである。また、図５〜７は、医用診断システム１０によって表示される画像の一例を示す図である。 Next, a processing procedure of the medical diagnosis system 10 according to the first embodiment will be described. FIGS. 4-1 and 4-2 are flowcharts illustrating the processing procedure of the medical diagnostic system 10 according to the first embodiment. 5 to 7 are diagrams illustrating examples of images displayed by the medical diagnostic system 10. FIG.

図４−１に示すように、操作者によってシステムが起動されると（ステップＳ１０１，Ｙｅｓ）、まず、仮想内視鏡画像処理部１３ｆが、被検体に関するＣＴ像データを記憶装置１２から取得し（ステップＳ１０２）、取得したＣＴ像データから大腸外形像および仮想内視鏡画像を生成する（ステップＳ１０３）。そして、仮想内視鏡画像処理部１３ｆは、生成した大腸外形像を表示部１３ａに表示する（ステップＳ１０４）。 As illustrated in FIG. 4A, when the system is started by the operator (Yes in Step S101), first, the virtual endoscopic image processing unit 13f acquires CT image data regarding the subject from the storage device 12. (Step S102), a large intestine outline image and a virtual endoscopic image are generated from the acquired CT image data (Step S103). Then, the virtual endoscopic image processing unit 13f displays the generated large intestine outline image on the display unit 13a (step S104).

この時点では、例えば、図５に示すように、大腸外形像４１のみが表示部１３ａの大腸外形像表示エリアに表示される。また、実内視鏡１１はまだ大腸に挿入されていないので、表示部１３ａの実内視鏡画像表示エリアには何も表示されない。また、実内視鏡画像と同期した仮想内視鏡画像が表示される仮想内視鏡画像表示エリアにも何も表示されない。また、後に、実内視鏡１１のカメラ１１ａの位置および進行方向を示すカメラ位置情報が大腸外形像上に重畳表示されるが、この時点ではまだ表示されない。 At this point, for example, as shown in FIG. 5, only the large intestine outline image 41 is displayed in the large intestine outline image display area of the display unit 13a. Since the real endoscope 11 has not yet been inserted into the large intestine, nothing is displayed in the real endoscope image display area of the display unit 13a. In addition, nothing is displayed in the virtual endoscopic image display area where the virtual endoscopic image synchronized with the real endoscopic image is displayed. Later, camera position information indicating the position of the camera 11a and the traveling direction of the real endoscope 11 is superimposed and displayed on the outline image of the large intestine, but is not yet displayed at this point.

続いて、実内視鏡位置検出部１３ｃが、被検体に関するＣＴ像データを記憶装置１２から取得し、取得したＣＴ像データから大腸マップを作成する（ステップＳ１０５）。 Subsequently, the actual endoscope position detection unit 13c acquires CT image data related to the subject from the storage device 12, and creates a large intestine map from the acquired CT image data (step S105).

その後、医師によって検査が開始されると（ステップＳ１０６，Ｙｅｓ）、被検体の大腸に実内視鏡１１が挿入され、実内視鏡画像処理部１３ｂが、カメラ１１ａによって取得された画像データから実内視鏡画像を生成して表示部１３ａに表示する（ステップＳ１０７）。 Thereafter, when the examination is started by the doctor (step S106, Yes), the real endoscope 11 is inserted into the large intestine of the subject, and the real endoscopic image processing unit 13b uses the image data acquired by the camera 11a. An actual endoscope image is generated and displayed on the display unit 13a (step S107).

続いて、実内視鏡位置検出部１３ｃが、実内視鏡１１のマーカ１１ｂによって検出されたカメラ１１ａの位置を大腸マップに配置する（ステップＳ１０８）。 Subsequently, the real endoscope position detection unit 13c places the position of the camera 11a detected by the marker 11b of the real endoscope 11 on the large intestine map (step S108).

続いて、仮想内視鏡画像処理部１３ｆが、仮想内視鏡画像処理部１３ｆによって表示された大腸外形像上に、カメラ１１ａの位置および進行方向を示すカメラ位置情報を重畳表示する（ステップＳ１０９）。さらに、仮想内視鏡画像処理部１３ｆは、実内視鏡１１のカメラ１１ａの位置から撮影された場合の仮想内視鏡画像を生成して表示部１３ａに表示する（ステップＳ１１０）。 Subsequently, the virtual endoscopic image processing unit 13f superimposes and displays the camera position information indicating the position and the traveling direction of the camera 11a on the large intestine outline image displayed by the virtual endoscopic image processing unit 13f (step S109). ). Further, the virtual endoscopic image processing unit 13f generates a virtual endoscopic image when the image is taken from the position of the camera 11a of the real endoscope 11, and displays the virtual endoscopic image on the display unit 13a (step S110).

この時点では、例えば、図６に示すように、表示部１３ａの実内視鏡画像表示エリアに実内視鏡画像４２が表示される。また、大腸外形像表示エリアには、カメラ１１ａの位置および視線方向を示すカメラ位置情報として、矢印４３が大腸外形像４１上に重畳表示される。また、仮想内視鏡画像表示エリアには、実内視鏡画像４２と同じ位置および視線方向から撮影した場合の仮想内視鏡画像が表示される。実内視鏡画像４２は、実内視鏡１１が操作されるたびに更新され、それに同期して、大腸外形像４１上の矢印４３および仮想内視鏡画像４４も更新される。 At this time, for example, as shown in FIG. 6, the actual endoscopic image 42 is displayed in the actual endoscopic image display area of the display unit 13a. Further, an arrow 43 is superimposed on the large intestine outline image 41 as camera position information indicating the position of the camera 11a and the line-of-sight direction in the large intestine outline image display area. In the virtual endoscopic image display area, a virtual endoscopic image when the image is taken from the same position and line-of-sight direction as the real endoscopic image 42 is displayed. The real endoscopic image 42 is updated every time the real endoscope 11 is operated, and the arrow 43 and the virtual endoscopic image 44 on the large intestine outline image 41 are also updated in synchronization therewith.

その後、図４−２に示すように、操作者によって視線方向変更モードが起動されると（ステップＳ１１１，Ｙｅｓ）、視線方向変更ガイド画像処理部１３ｄおよび視線方向変更ガイド操作量処理部１３ｅが、視線方向変更ガイドを実内視鏡画像上に重畳表示する（ステップＳ１１２）。 Thereafter, as shown in FIG. 4B, when the gaze direction change mode is activated by the operator (Yes in step S111), the gaze direction change guide image processing unit 13d and the gaze direction change guide operation amount processing unit 13e are The line-of-sight direction change guide is superimposed and displayed on the actual endoscopic image (step S112).

そして、操作者によって視線方向変更ガイドの大きさまたは位置が変更されると（ステップＳ１１３，Ｙｅｓ）、視線方向変更ガイド操作量処理部１３ｅが、視線方向変更ガイド操作部１１ｄの操作量を計測する。そして、視線方向変更ガイド画像処理部１３ｄが、視線方向変更ガイド操作量処理部１３ｅによって計測された操作量の分だけ視線方向変更ガイドの大きさおよび位置を更新して表示する（ステップＳ１１４）。 When the size or position of the line-of-sight direction change guide is changed by the operator (Yes in step S113), the line-of-sight direction change guide operation amount processing unit 13e measures the operation amount of the line-of-sight direction change guide operation unit 11d. . The line-of-sight direction change guide image processing unit 13d then updates and displays the size and position of the line-of-sight direction change guide by the amount of operation measured by the line-of-sight direction change guide operation amount processing unit 13e (step S114).

また、視線方向変更ガイド操作量処理部１３ｅが、更新された視線方向変更ガイドの中心位置および半径を計算する（ステップＳ１１５）。 Further, the line-of-sight direction change guide operation amount processing unit 13e calculates the center position and radius of the updated line-of-sight direction change guide (step S115).

その後、操作者によって視点マーカが移動されると（ステップＳ１１６，Ｙｅｓ）、視線方向変更ガイド操作量処理部１３ｅが、視線方向変更ガイド操作部１１ｄの操作量を計測する。そして、視線方向変更ガイド画像処理部１３ｄが、視線方向変更ガイド操作量処理部１３ｅによって計測された操作量の分だけ視点マーカの位置を更新して表示する（ステップＳ１１７）。 Thereafter, when the viewpoint marker is moved by the operator (step S116, Yes), the line-of-sight direction change guide operation amount processing unit 13e measures the operation amount of the line-of-sight direction change guide operation unit 11d. Then, the line-of-sight direction change guide image processing unit 13d updates and displays the position of the viewpoint marker by the operation amount measured by the line-of-sight direction change guide operation amount processing unit 13e (step S117).

続いて、視線方向変更ガイド操作量処理部１３ｅが、更新された視点マーカの位置および視線方向を算出する（ステップＳ１１８）。そして、仮想内視鏡画像処理部１３ｆが、視線方向変更ガイドにおける視点マーカの位置および視線方向から撮影した場合の仮想内視鏡画像を生成して表示部１３ａに表示する（ステップＳ１１９）。 Subsequently, the line-of-sight direction change guide operation amount processing unit 13e calculates the position and line-of-sight direction of the updated viewpoint marker (step S118). Then, the virtual endoscopic image processing unit 13f generates a virtual endoscopic image when the image is taken from the position of the viewpoint marker and the line-of-sight direction in the line-of-sight direction change guide and displays it on the display unit 13a (step S119).

この時点では、例えば、図７に示すように、実内視鏡表示エリアには、視線方向変更ガイド２１および視点マーカ２２が実内視鏡画像４２に重畳表示される。また、仮想内視鏡画像表示エリアには、視点マーカ２２の位置および視線方向から見える仮想内視鏡画像４４が表示される。仮想内視鏡画像４４は、視線方向変更ガイド２１の表面に沿って視点マーカ２２の位置が更新されるたびに、それに同期して更新される。 At this time, for example, as shown in FIG. 7, the gaze direction change guide 21 and the viewpoint marker 22 are superimposed and displayed on the actual endoscope image 42 in the actual endoscope display area. In the virtual endoscopic image display area, a virtual endoscopic image 44 that can be seen from the position of the viewpoint marker 22 and the line-of-sight direction is displayed. Each time the position of the viewpoint marker 22 is updated along the surface of the line-of-sight direction change guide 21, the virtual endoscopic image 44 is updated in synchronization therewith.

ここで、図７に示す例は、実内視鏡の進行方向において視線方向が奥側から手前側に向くように、視点マーカ２２が設定された場合を示している。このように視点マーカ２２を設定することによって、例えば、実内視鏡画像４２においてヒダ４５の裏側に関心領域４６が隠れていた場合でも、仮想内視鏡画像４４には、関心領域４６が表示される。したがって、医師は、仮想内視鏡画像４４を用いて、実内視鏡の死角に入っていた関心領域４６の状態を確認することができる。 Here, the example shown in FIG. 7 shows a case where the viewpoint marker 22 is set so that the line-of-sight direction is directed from the back to the near side in the traveling direction of the real endoscope. By setting the viewpoint marker 22 in this way, for example, even when the region of interest 46 is hidden behind the fold 45 in the real endoscopic image 42, the region of interest 46 is displayed in the virtual endoscopic image 44. Is done. Therefore, the doctor can confirm the state of the region of interest 46 that has entered the blind spot of the real endoscope using the virtual endoscope image 44.

また、図７に示すように、大腸外形像表示エリアには、実内視鏡１１のカメラ１１ａの位置および視線方向を示す矢印４３が重畳表示され続ける。ここで、大腸外形像表示エリアの矢印４３は、カメラ１１ａの位置および視線方向を示すものであって、視線方向変更ガイド２１の変更にともなって更新されることはない。 In addition, as shown in FIG. 7, an arrow 43 indicating the position of the camera 11a and the line-of-sight direction of the real endoscope 11 continues to be superimposed and displayed in the large intestine outline image display area. Here, the arrow 43 in the outline image display area of the large intestine indicates the position and line-of-sight direction of the camera 11a, and is not updated as the line-of-sight direction change guide 21 is changed.

そして、操作者によって視線方向変更モードの起動が終了された場合には、表示部１３ａの画面は図６に示した表示の状態に戻る。すなわち、実内視鏡画像表示エリアから視線方向変更ガイド２１の表示が消え、仮想内視鏡画像表示エリアには実内視鏡画像４２と同期した仮想内視鏡画像４４が表示される。 When the activation of the line-of-sight direction change mode is finished by the operator, the screen of the display unit 13a returns to the display state shown in FIG. That is, the gaze direction change guide 21 disappears from the real endoscopic image display area, and the virtual endoscopic image 44 synchronized with the real endoscopic image 42 is displayed in the virtual endoscopic image display area.

上述してきたように、本実施例１では、実内視鏡画像処理部１３ｂが、大腸内部を実内視鏡１１の進行方向から撮影した実内視鏡画像を表示部１３ａに表示する。また、視線方向変更ガイド操作部１１ｄが、実内視鏡画像処理部１３ｂによって表示された実内視鏡画像上で任意の視点を指定する操作を操作者から受け付ける。そして、仮想内視鏡画像処理部１３ｆが、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示部１３ａに表示する。 As described above, in the first embodiment, the real endoscopic image processing unit 13b displays the real endoscopic image obtained by photographing the inside of the large intestine from the traveling direction of the real endoscope 11 on the display unit 13a. In addition, the line-of-sight direction change guide operation unit 11d receives an operation for designating an arbitrary viewpoint on the real endoscope image displayed by the real endoscope image processing unit 13b from the operator. When the virtual endoscopic image processing unit 13f uses the CT image data obtained by the X-ray CT apparatus to photograph the inside of the large intestine from the viewpoint designated by the reception of the operation by the visual line direction change guide operation unit 11d. The virtual endoscopic image is generated, and the generated virtual endoscopic image is displayed on the display unit 13a.

したがって、本実施例１によれば、診察で用いられる実内視鏡画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能になる。また、実内視鏡１１の操作時に、複雑な操作をしなくてもヒダの裏側等の一般的な死角を仮想内視鏡画像で容易に確認できるようになる。これにより、実内視鏡の複雑な操作を減らすことができるので、検査時間を短縮することが可能になる。また、検査時間を短縮することで、被検体である患者および医師の負担を軽減することができる。また、大腸にガスを注入して検査を行う回数を減らすことができるので、患者の負担をさらに軽減することが可能になる。 Therefore, according to the first embodiment, even when there is a range that is not displayed in the actual endoscope image used in the diagnosis, the operator is supported so that the region of interest located in the range can be easily confirmed. It becomes possible to do. Further, when operating the real endoscope 11, a general blind spot such as the back side of a fold can be easily confirmed with a virtual endoscope image without performing a complicated operation. Thereby, since complicated operation of the real endoscope can be reduced, it becomes possible to shorten the examination time. Further, by shortening the examination time, it is possible to reduce the burden on the subject patient and the doctor. In addition, since the number of examinations performed by injecting gas into the large intestine can be reduced, the burden on the patient can be further reduced.

また、本実施例１では、視線方向変更ガイド画像処理部１３ｄが、実内視鏡画像処理部１３ｂによって表示された実内視鏡画像上に、任意の視点を指定する範囲を示す視線方向変更ガイドを表示する。そして、視線方向変更ガイド操作部１１ｄが、視線方向変更ガイドによって示される範囲で任意の視点を指定する操作を操作者から受け付ける。 In the first embodiment, the line-of-sight direction change guide image processing unit 13d changes the line-of-sight direction indicating a range for designating an arbitrary viewpoint on the real endoscopic image displayed by the real endoscopic image processing unit 13b. Display a guide. Then, the line-of-sight direction change guide operation unit 11d receives an operation for designating an arbitrary viewpoint within the range indicated by the line-of-sight direction change guide.

したがって、本実施例１によれば、視線方向変更ガイドを基準にして位置関係を確認しながら始点を設定することができるので、さらに容易に関心領域を確認することができるように操作者を支援することが可能になる。 Therefore, according to the first embodiment, the start point can be set while confirming the positional relationship with reference to the line-of-sight direction change guide, and thus the operator is supported so that the region of interest can be confirmed more easily. It becomes possible to do.

また、本実施例１では、視線方向変更ガイド画像処理部１３ｄが、ドーム状または球状に形成された視線方向変更ガイドおよび視線方向変更ガイドの表面に配置された視点マーカをそれぞれ実内視鏡画像上に表示する。また、視線方向変更ガイド操作部１１ｄが、視線方向変更ガイドの表面に沿って視点マーカを移動する操作を操作者から受け付ける。そして、仮想内視鏡画像処理部１３ｆが、視点マーカの位置から視線方向変更ガイドの中心へ向かう方向に大腸内部を撮影した場合の仮想画像を生成して表示部１３ａに表示する。 Further, in the first embodiment, the line-of-sight direction change guide image processing unit 13d sets the line-of-sight direction change guide formed in a dome shape or a spherical shape and the viewpoint marker arranged on the surface of the line-of-sight direction change guide, respectively, in the actual endoscopic image. Display above. Further, the line-of-sight direction change guide operation unit 11d receives an operation of moving the viewpoint marker along the surface of the line-of-sight direction change guide from the operator. Then, the virtual endoscopic image processing unit 13f generates a virtual image when the inside of the large intestine is imaged in the direction from the position of the viewpoint marker toward the center of the line-of-sight direction change guide, and displays the virtual image on the display unit 13a.

したがって、本実施例１によれば、視線方向変更ガイドを基準にして立体的な位置関係を確認しながら始点を設定することができるので、システムの操作性を向上させることができる。また、視点の位置を立体的に示すことができるので、より正確に関心領域を確認することができるように操作者を支援することが可能になる。 Therefore, according to the first embodiment, the start point can be set while confirming the three-dimensional positional relationship with reference to the line-of-sight direction change guide, so that the operability of the system can be improved. In addition, since the position of the viewpoint can be shown in three dimensions, it is possible to assist the operator so that the region of interest can be confirmed more accurately.

また、本実施例１では、仮想内視鏡画像処理部１３ｆが、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて大腸内部の外形像を生成し、生成した外形像を表示部１３ａに表示する。そして、仮想内視鏡画像処理部１３ｆは、表示された大腸内部の外形像に実内視鏡１１が有するカメラ１１ａの位置および進行方向を示すカメラ位置情報を重畳して表示する。 In the first embodiment, the virtual endoscopic image processing unit 13f generates an external image inside the large intestine using CT image data obtained by the X-ray CT apparatus, and the generated external image is displayed on the display unit 13a. indicate. Then, the virtual endoscopic image processing unit 13f superimposes and displays the camera position information indicating the position and the traveling direction of the camera 11a of the real endoscope 11 on the displayed outline image inside the large intestine.

したがって、本実施例１によれば、操作者が、大腸内部におけるカメラ１１ａの位置および進行方向を容易に把握することができるので、精度よく検査を行うことができるように操作者を支援することが可能になる。また、診察に用いられる画像の他に付加的な情報を操作者に提供することで、システムの利便性を向上させることが可能になる。 Therefore, according to the first embodiment, since the operator can easily grasp the position and the traveling direction of the camera 11a in the large intestine, the operator is supported so that the examination can be performed with high accuracy. Is possible. In addition to providing images to the operator in addition to the images used for the examination, the convenience of the system can be improved.

なお、上記実施例１では、実内視鏡画像と仮想内視鏡画像とをそれぞれ表示する医用診断システムについて説明したが、本発明はこれに限られるものではない。そこで、以下では、実施例２として、本発明を仮想内視鏡システムに適用した場合について説明する。 In the first embodiment, the medical diagnosis system that displays the real endoscopic image and the virtual endoscopic image has been described. However, the present invention is not limited to this. Therefore, hereinafter, as a second embodiment, a case where the present invention is applied to a virtual endoscope system will be described.

例えば、近年、仮想内視鏡システムの自動フライスルー技術を用いて、大腸ガンのスクリーニングが行われる場合がある。ここでいう「自動フライスルー技術」とは、仮想内視鏡システムが、あらかじめ生成した経路に沿って視点を進めながら、仮想内視鏡画像を自動的に表示する技術である。 For example, in recent years, colon cancer screening may be performed using an automatic fly-through technique of a virtual endoscope system. The “automatic fly-through technique” here is a technique in which a virtual endoscope system automatically displays a virtual endoscopic image while advancing the viewpoint along a path generated in advance.

かかる自動フライスルー技術では、仮想内視鏡システムは、表示部の表示領域に表示可能な範囲で仮想内視鏡画像を表示するが、経路の位置に沿って一通り仮想内視鏡画像を表示した結果、表示できなかった領域が存在することもある。そのため、仮想内視鏡システムの中には、表示することができなかった領域を未提示領域として検出する機能を備えたものもある（例えば、「仮想化内視鏡システムにおける未提示領域の検出機能の開発」、林雄一郎、森健策他、ＭＥＤＩＣＡＬＩＭＡＧＩＮＧＴＥＣＨＮＯＬＯＧＹＶｏｌ．２０Ｎｏ．５Ｓｅｐｔｅｍｂｅｒ２００２を参照）。 With this automatic fly-through technology, the virtual endoscopic system displays a virtual endoscopic image in a displayable range in the display area of the display unit, but displays a virtual endoscopic image along the path position. As a result, there may be a region that could not be displayed. For this reason, some virtual endoscope systems have a function of detecting an area that could not be displayed as an unpresented area (for example, “Detection of an unpresented area in a virtualized endoscope system”). Development of functions ", Yuichiro Hayashi, Kensaku Mori et al., See MEDICAL IMAGEING TECHNOLOGY Vol. 20 No. 5 September 2002).

本実施例２では、かかる未提示領域を検出する機能を備えた仮想内視鏡システムに本発明を適用した場合について説明する。図８は、本実施例２に係る仮想内視鏡システムを説明するための図である。図８に示すように、本実施例２に係る仮想内視鏡システムは、例えば、大腸の外形を表す大腸外形像５１を表示部に表示したうえで、大腸外形像５１に重畳させて未提示領域５２を表示する。 In the second embodiment, a case where the present invention is applied to a virtual endoscope system having a function of detecting such an unpresented area will be described. FIG. 8 is a diagram for explaining the virtual endoscope system according to the second embodiment. As illustrated in FIG. 8, the virtual endoscope system according to the second embodiment displays, for example, a large intestine outline image 51 representing the outline of the large intestine on the display unit, and then superimposes it on the large intestine outline image 51 and does not present it. Area 52 is displayed.

そして、この仮想内視鏡システムは、表示された大腸外形像５１上で任意の視点を指定する操作を操作者から受け付ける。例えば、仮想内視鏡システムは、ドーム状に形成された視線方向変更ガイド２１および視線方向変更ガイド２１の表面に配置された視点マーカ２２をそれぞれ大腸外形像５１上に表示する。また、仮想内視鏡システムは、視線方向変更ガイド２１の表面に沿って視点マーカ２２を移動する操作を操作者から受け付ける。 The virtual endoscope system accepts an operation for designating an arbitrary viewpoint on the displayed large-bore outline image 51 from the operator. For example, the virtual endoscope system displays the visual line direction change guide 21 formed in a dome shape and the viewpoint marker 22 arranged on the surface of the visual line direction change guide 21 on the large intestine outline image 51, respectively. Further, the virtual endoscope system receives an operation for moving the viewpoint marker 22 along the surface of the line-of-sight direction change guide 21 from the operator.

その後、仮想内視鏡システムは、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、操作者によって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像５３を生成し、生成した仮想内視鏡画像５３を表示部に表示する。例えば、仮想内視鏡システムは、視点マーカ２２の位置から視線方向変更ガイド２１の中心へ向かう方向に大腸内部を撮影した場合の仮想内視鏡画像５３を生成して表示部に表示する。 Thereafter, the virtual endoscope system uses the CT image data obtained by the X-ray CT apparatus to generate and generate a virtual endoscope image 53 when the inside of the large intestine is imaged from the viewpoint specified by the operator. The virtual endoscopic image 53 thus displayed is displayed on the display unit. For example, the virtual endoscope system generates a virtual endoscopic image 53 when the inside of the large intestine is photographed in the direction from the position of the viewpoint marker 22 toward the center of the line-of-sight direction change guide 21 and displays it on the display unit.

このように、本実施例２では、仮想内視鏡システムが、大腸内部の外形を表す大腸外形像５１を表示部に表示したうえで、大腸外形像５１に重畳させて未提示領域５２を表示する。また、仮想内視鏡システムは、表示された大腸外形像５１上で任意の視点を指定する操作を操作者から受け付ける。そして、仮想内視鏡システムは、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像５３を生成し、生成した仮想内視鏡画像５３を表示部に表示する。 As described above, in the second embodiment, the virtual endoscope system displays the large-intestine outline image 51 representing the outline inside the large intestine on the display unit, and then superimposes it on the large-intestine outline image 51 to display the unpresented region 52. To do. Further, the virtual endoscope system accepts an operation for designating an arbitrary viewpoint on the displayed large intestine outline image 51 from the operator. Then, the virtual endoscope system uses the CT image data obtained by the X-ray CT apparatus, and the virtual endoscopic system captures an image of the inside of the large intestine from the viewpoint specified by receiving the operation by the visual line direction change guide operation unit 11d. An endoscopic image 53 is generated, and the generated virtual endoscopic image 53 is displayed on the display unit.

したがって、本実施例２によれば、診察で用いられる仮想内視鏡画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能になる。また、仮想内視鏡システムの自動フライスルー技術を用いたスクリーニングにおいて、未提示領域の確認が容易となるので、検査効率を向上させることが可能になる。 Therefore, according to the second embodiment, even when there is a range that is not displayed in the virtual endoscopic image used in the diagnosis, the operator is supported so that the region of interest located in the range can be easily confirmed. It becomes possible to do. Further, in the screening using the automatic fly-through technology of the virtual endoscope system, it becomes easy to check the unpresented area, and thus the examination efficiency can be improved.

１０医用診断システム
１１実内視鏡
１１ａカメラ
１１ｂマーカ
１１ｃ実内視鏡操作部
１１ｄ視線方向変更ガイド操作部
１２記憶装置
１３画像処理装置
１３ａ表示部
１３ｂ実内視鏡画像処理部
１３ｃ実内視鏡位置検出部
１３ｄ視線方向変更ガイド画像処理部
１３ｅ視線方向変更ガイド操作量処理部
１３ｆ仮想内視鏡画像処理部 DESCRIPTION OF SYMBOLS 10 Medical diagnostic system 11 Real endoscope 11a Camera 11b Marker 11c Real endoscope operation part 11d Gaze direction change guide operation part 12 Memory | storage device 13 Image processing apparatus 13a Display part 13b Real endoscope image processing part 13c Real endoscope Position detection unit 13d Gaze direction change guide image processing unit 13e Gaze direction change guide operation amount processing unit 13f Virtual endoscope image processing unit

Claims

First display control means for displaying an image obtained by imaging a part of the subject from a predetermined direction on the display unit as a first image;
Operation accepting means for accepting an operation for designating an arbitrary viewpoint on the first image displayed by the first display control means from an operator;
Using the image data obtained by a predetermined diagnostic imaging apparatus, a virtual image is generated when the part is imaged from a viewpoint designated by accepting an operation by the operation accepting unit, and the generated virtual image is a second image An image processing apparatus comprising: a second display control unit configured to display an image on the display unit.

Guide display control means for displaying a gaze direction change guide indicating a range for designating the arbitrary viewpoint on the first image displayed on the display unit by the first display control means,
The said operation reception means receives operation which designates the said arbitrary viewpoint from the said operator in the range shown by the said gaze direction change guide displayed by the said guide display control means. Image processing device.

The guide display control means displays the visual direction change guide formed in a dome shape or a spherical shape and a viewpoint marker arranged on the surface of the visual direction change guide on the first image, respectively.
The operation accepting unit accepts an operation for moving the viewpoint marker along the surface of the line-of-sight direction change guide from the operator,
The second display control unit generates a virtual image when the part is photographed in a direction from the position of the viewpoint marker toward the center of the line-of-sight direction change guide, and displays the virtual image on the display unit. The image processing apparatus according to claim 2.

The first display control means displays an image taken by an endoscope as the first image on the display unit,
The second display control unit generates a virtual endoscopic image using image data obtained by a predetermined image diagnostic apparatus, and displays the generated virtual endoscopic image as a second image on the display unit. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

An external image display control means for generating an external image of the part using the image data obtained by the diagnostic imaging apparatus, and displaying the generated external image on the display unit;
Camera position display control means for superimposing and displaying camera position information indicating the position and traveling direction of the camera of the endoscope on the outline image of the part displayed by the outline image display control means. The image processing apparatus according to claim 4.

A first display control procedure for displaying an image obtained by imaging a region of the subject from a predetermined direction on the display unit as a first image;
An operation acceptance procedure for accepting an operation for designating an arbitrary viewpoint on the first image displayed by the first display control procedure from an operator;
Using the image data obtained by a predetermined diagnostic imaging apparatus, a virtual image is generated when the part is imaged from a viewpoint designated by accepting an operation by the operation accepting procedure, and the generated virtual image is a second image An image processing program causing a computer to execute a second display control procedure for displaying an image on the display unit.

A medical diagnostic system having an endoscope and an image processing device,
The endoscope is
An imaging means for imaging the part of the subject from a predetermined direction,
The image processing apparatus is
First display control means for displaying an image captured by the endoscope as a first image on a display unit;
Operation accepting means for accepting an operation for designating an arbitrary viewpoint on the first image displayed by the first display control means from an operator;
Using the image data obtained by a predetermined diagnostic imaging apparatus, a virtual image is generated when the part is imaged from a viewpoint designated by accepting an operation by the operation accepting unit, and the generated virtual image is a second image And a second display control means for displaying the image on the display unit as an image.