WO2005039401A1 - 挿入支援システム - Google Patents

挿入支援システム Download PDF

Info

Publication number
WO2005039401A1
WO2005039401A1 PCT/JP2004/016035 JP2004016035W WO2005039401A1 WO 2005039401 A1 WO2005039401 A1 WO 2005039401A1 JP 2004016035 W JP2004016035 W JP 2004016035W WO 2005039401 A1 WO2005039401 A1 WO 2005039401A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vbs
rotation
insertion support
branch
Prior art date
Application number
PCT/JP2004/016035
Other languages
English (en)
French (fr)
Inventor
Shunya Akimoto
Junichi Ohnishi
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to DE602004031657T priority Critical patent/DE602004031657D1/de
Priority to EP04793143A priority patent/EP1685787B1/en
Publication of WO2005039401A1 publication Critical patent/WO2005039401A1/ja
Priority to US11/395,101 priority patent/US7659912B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes

Definitions

  • the present invention relates to an insertion support system that supports insertion of an endoscope.
  • a helical scan (helical scan) is performed on a three-dimensional region of a subject by continuously feeding the subject in the body axis direction while continuously rotating X-ray irradiation and detection. ) To create a 3D image from tomographic images of successive slices in the 3D region.
  • One such three-dimensional image is a three-dimensional image of the bronchi of the lungs.
  • the three-dimensional image of the bronchus is used to three-dimensionally grasp the position of an abnormal part suspected of, for example, lung cancer. Then, in order to confirm the abnormal portion by biopsy, a bronchoscope is inserted, a biopsy needle, biopsy forceps, and the like are taken out from the distal end portion to collect a tissue sample.
  • a body duct having a multi-stage bifurcation such as a bronchus
  • a multi-stage bifurcation such as a bronchus
  • a three-dimensional image of a duct in the subject is created based on image data of a three-dimensional region of the subject, and the three-dimensional image is formed on the three-dimensional image.
  • a route to a destination point is found along the pipeline, a virtual introspection image of the pipeline along the route is created based on the image data, and the virtual introspection image is displayed. Accordingly, a device for navigating a bronchoscope to a target site has been proposed.
  • the virtual endoscope image is a predetermined model image at the bifurcation of the bronchus, and the operation when inserting the bronchoscope into the bronchus ( Insertion (E.g., twisting the input axis).
  • Insertion E.g., twisting the input axis
  • it is difficult to determine a branch destination at a branch point of the bronchus because the vertical and horizontal directions of the live image of the bronchoscope and the vertical and horizontal directions of the virtual endoscope image do not match.
  • the comparison with the virtual endoscope image requires that the bronchoscope (the distal end of the insertion portion) must reach the branch point, There is another problem that it is difficult to predict the insertion operation.
  • the present invention has been made in view of the above circumstances, and generates virtual endoscopic images at a plurality of bifurcations of a bronchus corresponding to a bronchial insertion operation, and effectively inserts a bronchial endoscope.
  • a bronchial endoscope For the purpose of providing an insertion support system that can support insertion.
  • the insertion support system includes: a virtual image generation unit configured to generate a three-dimensional image of a body cavity path in the subject as a continuous frame-based virtual image based on image data of a three-dimensional region of the subject; A plurality of reduced images of an endoscope image from an endoscope for imaging a body cavity path in the subject, the virtual image, and the virtual image at all branch points where the body cavity path in the subject branches.
  • Navigation image generation means for generating a navigation image, rotation information storage means for storing image rotation information of the reduced image, and the reduced image generated by the navigation image generation means based on the image rotation information.
  • image rotation control means for rotating the image.
  • FIG. 1 is a configuration diagram showing a configuration of a bronchial insertion support system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of an image processing unit in FIG. 1.
  • FIG. 3 is a flowchart showing a flow of a process of generating navigation data, which is a first preparation of insertion support by the insertion support device of FIG.
  • FIG. 4 First diagram showing a route setting screen developed in the process of FIG.
  • FIG. 5 Second diagram showing the route setting screen developed in the process of Fig. 3.
  • FIG. 6 Flow chart showing the flow of the route setting process of Fig. 3.
  • FIG. 10 is a flowchart showing the flow of a simulation process which is the second preparation of insertion support by the insertion support device of FIG.
  • FIG. 11 First diagram showing the insertion support screen developed in the process of Fig. 10
  • Fig. 12 Diagram explaining the rotation of the VBS image on the insertion support screen in Fig. 11
  • FIG. 13 The second diagram showing the insertion support screen developed in the process of Fig. 10.
  • Figure 14 Diagram showing the error display window expanded in the process of Figure 10
  • FIG. 15 Third diagram showing the insertion support screen developed in the process of Fig. 10
  • Figure 16 Diagram explaining the rotation of the VBS image on the insertion support screen in Figure 15.
  • Figure 17 Fourth diagram showing the insertion support screen developed in the process of Figure 10
  • Figure 18 Fifth diagram showing the insertion support screen developed in the process of Figure 10
  • Figure 19 Diagram showing a modification of the insertion support screen in Figure 18.
  • Fig. 20 Flow chart showing the flow of the support processing of the insertion support device 5 during the inspection and treatment inspection in Fig. 1.
  • FIG. 26 First diagram for explaining a modification of the insertion support screen in FIG. 24
  • FIG. 27 Second diagram illustrating a modification of the insertion support screen in FIG. 24
  • FIG.28 The first diagram explaining the processing when the stack display button is selected on the insertion support screen of Fig.25.
  • FIG. 30 A third diagram for describing processing when a stack display button is selected on the insertion support screen in FIG. 25
  • FIG. 31 A fourth diagram for describing processing when a stack display button is selected on the insertion support screen in FIG. 25
  • FIG. 32 A fifth diagram for explaining processing when the stack display button is selected on the insertion support screen in FIG. 25
  • FIG. 33 A sixth diagram illustrating processing when the stack display button is selected on the insertion support screen in FIG. 25.
  • the bronchial insertion support system 1 of the present embodiment includes a bronchial endoscope device 3 and an insertion support device 5.
  • the insertion support device 5 is a virtual endoscope (hereinafter referred to as VB
  • an S image (Hereinafter referred to as an S image) and a VBS image synthesized with an endoscope image (hereinafter, referred to as a live image) obtained by the bronchial endoscope apparatus 3 and displayed on the monitor 6 to display the bronchial endoscope apparatus 3.
  • a live image obtained by the bronchial endoscope apparatus 3 and displayed on the monitor 6 to display the bronchial endoscope apparatus 3.
  • the bronchial endoscope apparatus 3 includes a bronchial endoscope having imaging means.
  • a light source that supplies illumination light to the bronchoscope, and a camera control unit that processes image signals from the bronchoscope.
  • the bronchoscope is inserted into the bronchus in the patient and inserted into the bronchus.
  • the biopsy of the affected tissue at the end of the bronchus is performed, and the live image and the VBS image are synthesized and displayed on the monitor 7.
  • the monitor 7 is provided with an input unit 8 including a pointing device such as a touch panel.
  • the insertion support device 5 converts CT image data, which is three-dimensional image data generated by a known CT device (not shown) that captures an X-ray tomographic image of a patient, into, for example, a MO (Magnetic Optic). al) CT image data capturing unit 11 captured via a portable storage medium such as a disk device or DVD (Digital Versatile Disk) device, and CT image data captured by CT image data capturing unit 11 are stored.
  • a portable storage medium such as a disk device or DVD (Digital Versatile Disk) device
  • a keyboard and a pointing device for inputting setting information to the input device 19, and a memory for linking and storing VBS image rotation angle data based on the input signal from the input unit 8 with the VBS image frame information 20 and power are also composed.
  • the image processing unit 17 includes an image generation function 17a as a navigation image generation unit, an image rotation control function 17b as an image rotation control unit, and a rotation as a rotation amount comparison unit. Equipped with an amount determination function 17c.
  • the image processing unit 17 performs rotation correction of the VBS image and the thumbnail VBS image under the control of the image rotation control function 17b based on the rotation angle data of the VBS image stored in the memory 20 and the image generation function 17a supports the insertion.
  • a screen is generated, and the rotation amount determination function 17c determines the rotation angle data.
  • the image rotation control function 17b executes the rotation control of the VBS image and the thumbnail VBS image based on the result of the determination of the rotation angle data by the rotation amount determination function 17c. Details will be described later.
  • the bronchial endoscope device 3 receives the VBS image and the thumbnail VBS image from the image processing unit 17 of the insertion support device 5, synthesizes it with the live image, and displays the image on the monitor 6 by the insertion support device 5.
  • a screen equivalent to the insertion support screen to be displayed is displayed on the monitor 7, and input information from the input section 8, which also serves as a touch screen of the monitor 7, is output to the image processing section 17 of the insertion support apparatus 5.
  • the CT image data storage unit 12 and the VBS image storage unit 16 may be configured by one hard disk.
  • the processing unit 17 can be composed of one arithmetic processing circuit.
  • the CT image data acquisition unit 11 connects to an in-hospital LAN, which stores CT image data or CT image data via a portable storage medium such as MO or DVD.
  • the CT image data capturing unit 11 may be configured with an interface circuit that can be connected to the in-hospital LAN so that the CT image data is captured via the in-hospital LAN!
  • the insertion support apparatus 5 transmits the CT image of the patient generated by the CT apparatus by the CT image data acquisition unit 11 in step S 1.
  • the data is fetched, and the CT image data fetched in step S2 is stored in the CT image data storage unit 12.
  • step S3 the route setting section 14 displays a route setting screen 21 as shown in FIG. 4 on the monitor 6, and selects patient information on the patient information tag screen 22 on the route setting screen 21.
  • the route setting section 14 displays a route setting screen 21 as shown in FIG. 4 on the monitor 6, and selects patient information on the patient information tag screen 22 on the route setting screen 21.
  • three different multi-sectional MPR images of the patient selected in step S4 are generated, and in step S5, the MPR image 23 is displayed on the route setting screen 21.
  • Selection of patient information on the patient information tag screen 22 is performed by inputting a patient ID for identifying a patient using the input device 19.
  • step S6 when the route setting tag 24 (see FIG. 4) on the route setting screen 21 is selected by the setting information input section 19, the route setting tag screen 25 as shown in FIG. 5 is displayed. Displayed at 21 and performs a route setting process described later to set a route for bronchial endoscope insertion support in the bronchi.
  • the VBS image generation unit 15 sets the route in step S7.
  • a continuous VBS image of all routes is generated in frame units, and the VBS image generated in step S8 is stored in the VBS image storage unit 16.
  • step S6 in the route setting process of step S6, by operating the input device 19, the user clicks the route search button on the route setting tag screen 25 shown in FIG.
  • a start point input instruction window 31 for prompting the input of the start point of the route as shown in FIG. 7 is displayed on the route setting screen 21, and the cursor 30 is used on the route setting screen 21 to display one of the MPR images 23 on the tomographic image.
  • the end point is set on one tomographic image of the MPR image 23 using the cursor 30 on the route setting screen 21.
  • the end point is set at a corresponding position on the two tomographic images of the other MPR images 23 as well.
  • the route setting unit 14 searches for a route in the bronchus from the start point to the end point. Since the bronchus have a complicated route, the route in the bronchi from the start point to the end point is not always determined uniquely. Search for the first candidate for the route.
  • the route setting unit 14 superimposes and displays the route searched in step S14 on the MPR image 23, as shown in FIG. A route confirmation window 33 that prompts the user to enter a name is displayed.
  • the route confirmation window 33 includes a route confirmation button 41 for instructing confirmation of the searched route, a next candidate search button 42 for instructing search of a next candidate route, and a route for resetting the start point and the end point.
  • a reset button 43 and a cancel button 44 for canceling the route search process are provided.
  • step S15 it is determined whether the next candidate search button 42 has been clicked. Then, in step S16, the route of the next candidate is automatically searched, and the process proceeds to step S17. If not clicked, the process proceeds to step S18.
  • step S17 as a result of searching for the next candidate, it is determined whether or not the next candidate exists. If it does not exist, it is not shown! A warning is displayed indicating that the next candidate route does not exist, and returns to step S13. If it does, the process returns to step S14.
  • step S18 it is determined whether or not the route reset button 43 has been clicked. If so, the process returns to step SI1. If not, the process proceeds to step S19.
  • step S19 it is determined whether or not the route confirmation button 41 has been clicked. If the button has not been clicked, the flow returns to step S15. If the button has been clicked, the flow proceeds to step S20. The position information of the branch point is determined, and the process returns to step S7 in FIG.
  • the monitor 7 displays an insertion support screen 51 as shown in FIG. Note that an insertion support screen 51 similar to the monitor 7 is displayed on the monitor 6.
  • the insertion support screen 51 includes an endoscope live image display area 52 that displays a live image from the bronchial endoscope apparatus 3 obtained during actual observation, and a VBS image that displays a VBS image 53a.
  • the live area consists of a display area 53 and a branch thumbnail VBS image area 54 that reduces the VBS image 53a at all branch points on the route and displays it as a branch thumbnail VBS image 54 (a) -54 (j).
  • a VBS image 53a which is a virtual image corresponding to the branch point where the image is located, is displayed in the VBS image display area 53.
  • the frame of the same branch thumbnail VBS image as the VBS image 53a displayed in the VBS image display area 53 is displayed in a bold frame or in color, and can be distinguished from other branch thumbnail VBS images. The user can easily recognize which branch the VBS image displayed in the VBS image display area 53 is.
  • One 54 (j) is a virtual model image along the route initialized to a predetermined image rotation angle in step S32 in the initial state.
  • the original image of the branch thumbnail VBS image 54 (a) is shown. Is displayed in the VBS image display area 53.
  • the insertion support screen 51 is provided with a left button 71, a right button 72, a previous button 73, and a next button 74.
  • the next button 74 By selecting the next button 74 with the cursor 75 using the input unit 8, the VBS The image 53a can be advanced forward in the frame unit by inserting it, and the VBS image 53a can be moved backward in the frame unit by selecting the front button 73 with the cursor 75.
  • the VBS image 53a can be continuously rotated leftward
  • the VBS image 53a can be rotated. Can be continuously rotated to the right.
  • a marker 76 indicating a branch hole to be inserted is displayed in a superimposed manner.
  • the direction of bending of the bronchoscope for narrow diameter is only one direction, for example, up and down, so the insertion hole indicated by the marker 76 is placed on the VBS image 53a or Use the left button 71 or right button 72 to rotate the VBS image 53a so that it is located at the bottom.
  • step S33 it is determined whether or not the operator has performed a rotation operation on the VBS image 53a. If there is a rotation operation, the rotation amount of the rotation operation is determined in step S34 as a branch thumbnail VBS image 54. It is determined whether the force is less than 180 ° based on (a), and if it is less than 180 °, the VBS image 53a, which is the original image of the branch thumbnail VBS image 54 (a), is displayed based on the operation, for example, as shown in Fig. 12. Rotate to position the marker 76, which is the insertion hole, on the VBS image 53a as shown in FIG. 13, and link the image rotation angle with the frame information of the VBS image 53a in the memory 20 in step S35.
  • step S37 If the rotation amount of the rotation operation is 180 ° or more based on the branch thumbnail VBS image 54 (a), an error display window 79 as shown in FIG. 14 is superimposed on the insertion support screen 51 in step S36 in step S36. Proceed to S37. Then, in step S37, it is determined whether or not the end of the simulation has been instructed. If the end of the simulation has not been instructed, the process returns to step S33, and the process is repeated, and if the end of the simulation is instructed, the process ends.
  • the previous button 73 is selected with the cursor 75, and the VBS image 53a is advanced to the original image of the branch thumbnail VBS image 54 (b) as shown in FIG.
  • the frame of the VBS image 54 (b) is displayed in a bold frame or in color.
  • the VBS image 53 which is the original image of the branch thumbnail VBS image 54 (b), is also rotated as shown in FIG. 16 so that the insertion hole is inserted into the VBS image 53a as shown in FIG.
  • the image rotation angle is linked to the frame information of the VBS image 53a and stored in the memory 20.
  • the branch thumbnail VBS images 54 (a) to 54 (j) of each branch point are inserted into the bronchoscope for insertion. Images should be oriented appropriately.
  • the memory 20 is linked with the image rotation angle for each frame of the VBS image 53a.
  • a moving image rotated according to the rotation operation of the simulation is obtained. Will be done.
  • the monitor 7 has a small display area and is a display device, if the number of branch thumbnail VBS images to be displayed increases, the branch thumbnail VBS image becomes difficult to see. Therefore, instead of the insertion support screen 51 of FIG. Display the insertion support screen 1051 as shown in the figure! ,.
  • This insertion support screen 1051 includes a patient information display area 1052 in addition to the endoscope live image display area 52 and the VBS image display area 53, and a first branch thumbnail display for displaying two branch thumbnail VBS images.
  • An area 1053 and a second branch thumbnail display area 1054 are included, and a branch thumbnail VBS image and a second branch thumbnail display area 1054 displayed in the first branch thumbnail display area 1053 are displayed as an example of a display pattern of the 1054 branch thumbnail VBS image. For example, in the pattern shown in Table 1, only the branch thumbnails located before and after the displayed VBS image are displayed.
  • the switching display timing of the branch thumbnail in Table 1 switches in synchronization with the progress of the live image ZVBS image.
  • the left button 71, the right button 72, the previous button 73, and the next button 74 are omitted in the case of the monitor 7 having a smaller display area. It is good to have it on the foot switch (not shown).
  • rotation reflection VBS images all VBS images in frame units rotated according to the rotation operation of the simulation will be referred to as rotation reflection VBS images, and all VB images in frame units initialized to a predetermined image rotation angle will be described.
  • the S image is referred to as an initial VBS image.
  • the image processing unit 17 searches the memory 20 in step S41, and stores the frame in the memory 20 in step S42. Judge whether the force stores the image rotation angle data linked to the information. If the image rotation angle data linked to the frame information is stored in the memory 20, the rotation thumbnail VBS image of each branch point whose angle has been corrected from the rotation reflected VBS image corrected by the image rotation angle data in step S 43. Is generated, and the insertion support screen 51 is displayed on the monitor 7.
  • step S44 an assistant who supports the operator uses the input unit 8 on the input support screen 51 in step S44 to move the cursor. Use 75 to display the VBS image of the corresponding branch point. Then, in step S45, it is determined whether or not the rotation operation of the VBS image has been performed.
  • Corrected form It is determined whether the rotation amount of the rotation operation is less than 180 ° based on the branch thumbnail VBS image 54 (a). If the rotation amount is less than 180 °, the rotation operation of the VBS image is performed in step S47 based on the operation. In this case, the rotation angle of the branch thumbnail VBS image at the branch point corresponding to the rotation operation of the VBS image is corrected and displayed, and the process proceeds to step S49.
  • step S45 If it is determined that the rotation operation of the VBS image has not been performed in step S45, the process directly proceeds to step S49. If the rotation amount of the rotation operation is 180 ° or more with reference to the branch thumbnail VBS image 54 (a) in step S46, an error display window 79 as shown in FIG. 14 is displayed on the insertion support screen 51 in step S48. And the process proceeds to step S49.
  • Steps S44 to S49 are repeated until an instruction to end the inspection is obtained in step S49.
  • step S47 the branch thumbnail VBS images after the corrected branch point are rotated by the same rotation angle, corrected and displayed, and the subsequent frames are displayed. VBS image is also rotated and corrected by the same rotation angle
  • the insertion support screen 51 as shown in Fig. 21 is displayed. Is displayed.
  • the insertion support screen 51 is provided with a hierarchy display button 81, the details of which will be described later.
  • the initialized branch thumbnail as shown in FIG. 11 is displayed in the branch thumbnail VBS image area 54. You.
  • a live image 52a from the bronchial endoscope apparatus 3 is displayed in the endoscope live image display area 52 of the insertion support screen 51 in FIG. 21, and the surgeon arrives! Twist the bronchoscope so that the live image 52a at the point matches the VBS image 53a (operation to rotate the insertion unit around the longitudinal axis), and place the insertion hole into the live image 52a. Even if it is located above or below.
  • FIG. 21 shows the insertion support screen 51 on which the rotation reflection VBS image 53a of the first branch point indicated by the branch thumbnail VBS image 54 (a) is displayed.
  • Figure 22 shows the VBS image 53a in Figure 21.
  • FIG. 7 shows an insertion support screen 51 in which a twist operation is performed on the bronchoscope in accordance with the above, and the branch hole at the insertion destination is positioned on the live image 52a.
  • FIG. 23 shows an insertion support screen 51 on which the rotation reflection VBS image 53a of the third branch point indicated by the branch thumbnail VBS image 54 (c) is displayed.
  • the insertion destination branch hole is placed below the VBS image 53a as shown in Fig. 23, for example. If it is positioned, the live image 52a may not be able to match the rotation-reflected VBS image 53a without performing a twist operation with a large amount of twist. Therefore, before performing a twist operation on the bronchoscope, the rotation reflected VBS image 53a is rotated to reduce the twist amount.
  • FIG. 24 shows the insertion support screen 51 in which the rotation reflection VBS image 53a of FIG. 23 is rotated to position the insertion destination branch hole on the VBS image 53
  • FIG. 25 is the VBS image of FIG. 53a shows an insertion support screen 51 in which a twist operation is performed on the bronchoscope in correspondence with the bronchoscope to position the insertion destination branch hole above the live image 52a.
  • the rotation amount of the first branch point with respect to the branch thumbnail VBS image 54 (a) is read from the memory 20, and the rotation reflection VBS image 53a is displayed on the rotation reflection VBS image 53a.
  • the rotation information 101 which also includes the rotation direction and the amount of rotation, can be superimposed on the image, and the rotation information 102 can be displayed below the branch thumbnail VBS image 54 (c). In this case, the rotation is performed as shown in FIG.
  • the rotation information 102 for the branch thumbnail VBS image 54 (a) may be displayed below all the branch thumbnail VBS images 54 (i). This makes it possible to easily grasp the details of the twisting operation of the bronchoscope
  • the schematic diagram 91a of the fourth branch point is reduced so as to fit in the branch hole into which the rotation reflection VBS image 53a of the third branch point is inserted.
  • the schematic diagram 91b of the fifth branch point is reduced so as to fit into the insertion hole of the insertion destination in the schematic diagram 91a of the fourth branch point.
  • the schematic diagram 91a of the fifth branch point in which the schematic diagram 91b of the fifth branch point is placed in the insertion hole of the insertion destination, is shown as a rotation reflection image 91a of the third branch point in the VBS image 53a.
  • the force of displaying the branch holes displayed in the rotation reflection VBS image 53a in a thick line with a bold line may be displayed in different colors as shown in FIG.
  • the number of layers is not limited to three.
  • the image rotation angle data linked to the frame information by the simulation before the procedure is stored in the memory 20, and the VBS image and the thumbnail VBS image are rotated and corrected based on the stored image rotation angle data.

Abstract

　本発明の挿入支援システムは、ＣＴ画像データに基づきルート設定部によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成するＶＢＳ画像生成部と、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる挿入支援画面を生成する画像処理部と、入力部からの入力信号に基づくＶＢＳ画像の回転角データをＶＢＳ画像のフレーム情報にリンクさせて格納するメモリとから構成され、画像処理部は、メモリに格納されているＶＢＳ画像の回転角データに基づき、ＶＢＳ画像及びサムネイルＶＢＳ画像を回転補正して挿入支援画面を生成する。これにより、気管支挿入操作に対応させた気管支の複数の分岐点での仮想内視鏡像を生成し、効果的に気管支内視鏡の挿入を支援する。

Description

明 細 書
揷入支援システム
技術分野
[0001] 本発明は、内視鏡の挿入を支援する挿入支援システムに関する。
背景技術
[0002] 近年、画像による診断が広く行われるようになっており、例えば X線 CT (Compute d Tomography)装置等により被検体の断層像を撮像することにより被検体内に 3次 元画像データを得て、該 3次元画像データを用いて患部の診断が行われるようにな つてきた。
[0003] CT装置では、 X線照射 ·検出を連続的に回転させつつ被検体を体軸方向に連続 送りすることにより、被検体の 3次元領域について螺旋状の連続スキャン (ヘリカルス キャン: helical scan)を行い、 3次元領域の連続するスライスの断層像から、 3次元 画像を作成することが行われる。
[0004] そのような 3次元画像の 1つに、肺の気管支の 3次元像がある。気管支の 3次元像 は、例えば肺癌等が疑われる異常部の位置を 3次元的に把握するのに利用される。 そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部か ら生検針や生検鉗子等を出して組織のサンプル (sample)を採取することが行われ る。
[0005] 気管支のように、多段階の分岐を有する体内の管路では、異常部の所在が分岐の 末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しい ために、例えば特開 2000— 135215号公報等では、被検体の 3次元領域の画像デ ータに基づいて前記被検体内の管路の 3次元像を作成し、前記 3次元像上で前記 管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内 視像を前記画像データに基づ!ヽて作成し、前記仮想的な内視像を表示することで、 気管支内視鏡を目的部位にナビゲーシヨンする装置が提案されている。
[0006] し力しながら、従来のナビゲーシヨン装置では、仮想的な内視像は、気管支の分岐 点での所定のモデル画像であって、気管支内視鏡の気管支への挿入時の操作 (挿 入軸に対するひねり等）によるライブ画像と一致していない。すなわち、気管支内視 鏡のライブ画像の上下左右と、仮想的な内視像の上下左右とがー致しないために、 気管支の分岐点での分岐先判断に支障があるといった問題がある。
[0007] さらに、従来のナビゲーシヨン装置では、仮想的な内視像との比較は、気管支内視 鏡 (の挿入部先端)が分岐点に到達しなければならず、次段の分岐点での挿入操作 を予測することが難し 、と 、つた問題もある。
[0008] 本発明は、上記事情に鑑みてなされたものであり、気管支挿入操作に対応させた 気管支の複数の分岐点での仮想内視鏡像を生成し、効果的に気管支内視鏡の挿 入を支援することのできる挿入支援システムを提供することを目的として 、る。
発明の開示
課題を解決するための手段
[0009] 本発明の挿入支援システムは、被検体の 3次元領域の画像データに基づき前記被 検体内の体腔路の 3次元画像を連続したフレーム単位の仮想画像として生成する仮 想画像生成手段と、前記被検体内の体腔路を撮像する内視鏡からの内視鏡画像と 、前記仮想画像と、前記被検体内の体腔路が分岐する全分岐点での前記仮想画像 の複数の縮小画像とからなるナビゲーシヨン画像を生成するナビゲーシヨン画像生成 手段と、前記縮小画像の画像回転情報を記憶する回転情報記憶手段と、前記画像 回転情報に基づき前記ナビゲーシヨン画像生成手段が生成する前記縮小画像を回 転させる画像回転制御手段とを備えて構成される。
[0010] 本発明によれば、気管支挿入操作に対応させた気管支の複数の分岐点での仮想 内視鏡像を生成し、効果的に気管支内視鏡の挿入を支援することができるという効 果がある。
図面の簡単な説明
[0011] [図 1]本発明の実施例 1に係る気管支挿入支援システムの構成を示す構成図
[図 2]図 1の画像処理部の機能構成を示すブロック図
[図 3]図 1の挿入支援装置による挿入支援の第 1の準備であるナビゲーシヨンデータ の生成処理の流れを示すフローチャート
[図 4]図 3の処理で展開されるルート設定画面を示す第 1の図 図 5]図 3の処理で展開されるルート設定画面を示す第 2の図 図 6]図 3のルート設定処理の流れを示すフローチャート
図 7]図 6の処理で展開されるルート設定画面を示す第 1の図
図 8]図 6の処理で展開されるルート設定画面を示す第 2の図
図 9]図 6の処理で展開されるルート設定画面を示す第 3の図
図 10]図 1の挿入支援装置による挿入支援の第 2の準備であるシミュレーション処理 の流れを示すフローチャート
図 11図 10の処理で展開される挿入支援画面を示す第 1の図
図 12図 11の挿入支援画面における VBS画像の回転を説明する図
図 13図 10の処理で展開される挿入支援画面を示す第 2の図
図 14:図 10の処理で展開されるエラー表示ウィンドウを示す図
図 15図 10の処理で展開される挿入支援画面を示す第 3の図
図 16:図 15の挿入支援画面における VBS画像の回転を説明する図
図 17:図 10の処理で展開される挿入支援画面を示す第 4の図
図 18:図 10の処理で展開される挿入支援画面を示す第 5の図
図 19:図 18の挿入支援画面の変形例を示す図
図 20:図 1の観察 ·処置の検査時での挿入支援装置 5の支援処理の流れを示すフロ 一チャート
図 21]図 20の処理で展開される挿入支援画面を示す第 1の図
図 22]図 20の処理で展開される挿入支援画面を示す第 2の図
図 23]図 20の処理で展開される挿入支援画面を示す第 3の図
図 24]図 20の処理で展開される挿入支援画面を示す第 4の図
図 25]図 20の処理で展開される挿入支援画面を示す第 5の図
図 26]図 24の挿入支援画面の変形例を説明する第 1の図
図 27]図 24の挿入支援画面の変形例を説明する第 2の図
図 28]図 25の挿入支援画面において積層表示ボタンが選択された際の処理を説明 する第 1の図
圆 29]図 25の挿入支援画面において積層表示ボタンが選択された際の処理を説明 する第 2の図
[図 30]図 25の挿入支援画面において積層表示ボタンが選択された際の処理を説明 する第 3の図
[図 31]図 25の挿入支援画面において積層表示ボタンが選択された際の処理を説明 する第 4の図
[図 32]図 25の挿入支援画面において積層表示ボタンが選択された際の処理を説明 する第 5の図
[図 33]図 25の挿入支援画面において積層表示ボタンが選択された際の処理を説明 する第 6の図
発明を実施するための最良の形態
[0012] 以下、図面を参照しながら本発明の実施例について述べる。
[0013] (実施例 1)
図 1に示すように、本実施例の気管支挿入支援システム 1は、気管支内視鏡装置 3 と、挿入支援装置 5とから構成される。
[0014] 挿入支援装置 5は CT画像データに基づき気管支内部の仮想の内視像 (以下、 VB
S画像と記す)を生成すると共に気管支内視鏡装置 3により得られる内視鏡画像 (以 下、ライブ画像と記す)と VBS画像を合成してモニタ 6に表示し気管支内視鏡装置 3 の気管支へ挿入支援を行う。
[0015] また、気管支内視鏡装置 3は、図示はしないが、撮像手段を有する気管支内視鏡と
、気管支内視鏡に照明光を供給する光源と、気管支内視鏡からの撮像信号を信号 処理するカメラコントロールユニット等力 構成され、気管支内視鏡を患者体内の気 管支に挿入し気管支内を撮像し気管支末端の患部組織を生検すると共に、ライブ画 像と VBS画像を合成してモニタ 7に表示する。
[0016] モニタ 7には、タツチパネル等のポインティングデバイスを含む入力部 8が設けられ
、挿入手技を行 、ながら容易にタツチパネル力 なる入力部 8を操作することが可能 となっている。
[0017] 挿入支援装置 5は、患者の X線断層像を撮像する図示しない公知の CT装置で生 成された 3次元画像データである CT画像データを、例えば MO (Magnetic Optic al)ディスク装置や DVD (Digital Versatile Disk)装置等、可搬型の記憶媒体を 介して取り込む CT画像データ取り込み部 11と、 CT画像データ取り込み部 11によつ て取り込まれた CT画像データを格納する CT画像データ格納部 12と、 CT画像デー タ格納部 12に格納されて ヽる CT画像データに基づき MPR画像 (多断面再構築画 像)を生成する MPR画像生成部 13と、 MPR画像生成部が生成した MPR画像を有 する後述するルート設定画面を生成し気管支内視鏡装置 3の気管支への支援ルート (以下、単にルートと記す)を設定するルート設定部 14と、 CT画像データ格納部 12 に格納されている CT画像データに基づきルート設定部 14によって設定されたルート の連続した VBS画像をフレーム単位で生成する仮想画像生成手段としての VBS画 像生成部 15と、 VBS画像生成部 15が生成した VBS画像を格納する VBS画像格納 部 16と、気管支内視鏡装置 3からの撮像信号及び入力部 8からの入力信号を入力し 、ライブ画像、 VBS画像及び複数のサムネイル VBS画像力 なる後述する挿入支援 画面を生成する画像処理部 17と、ルート設定部 14が生成したルート設定画面及び 画像処理部 17が生成した挿入支援画面をモニタ 6に表示させる画像表示制御部 18 と、ルート設定部 14に対して設定情報を入力するキーボード及びポインティングデバ イス力もなる入力装置 19と、入力部 8からの入力信号に基づく VBS画像の回転角デ ータを VBS画像のフレーム情報にリンクさせて格納するメモリ 20と力も構成される。
[0018] 画像処理部 17は、図 2に示すように、ナビゲーシヨン画像生成手段としての画像生 成機能 17a、画像回転制御手段としての画像回転制御機能 17b、回転量比較手段と しての回転量判別機能 17cを備えている。画像処理部 17は、メモリ 20に格納されて V、る VBS画像の回転角データに基づき、画像回転制御機能 17bの制御により VBS 画像及びサムネイル VBS画像を回転補正して画像生成機能 17aが挿入支援画面を 生成すると共に、回転量判別機能 17cが前記回転角データを判断する。
[0019] なお、回転量判別機能 17cによる前記回転角データの判断結果に基づき画像回 転制御機能 17bは、 VBS画像及びサムネイル VBS画像の回転制御を実行する。詳 細は後述する。
[0020] 気管支内視鏡装置 3は、挿入支援装置 5の画像処理部 17から VBS画像及びサム ネイル VBS画像を受け取りライブ画像と合成して、挿入支援装置 5がモニタ 6に表示 する挿入支援画面と同等の画面をモニタ 7に表示すると共に、モニタ 7のタツチセン サカもなる入力部 8からの入力情報を挿入支援装置 5の画像処理部 17に出力するよ うになつている。
[0021] なお、 CT画像データ格納部 12及び VBS画像格納部 16は、 1つのハードディスク によって構成してもよぐまた、 MPR画像生成部 13、ルート設定部 14、 VBS画像生 成部 15及び画像処理部 17は 1つの演算処理回路で構成することができる。また、 C T画像データ取り込み部 11は MOあるいは DVD等の可搬型の記憶媒体を介して C T画像データを取り込みとした力 CT装置あるいは CT画像データを保存して ヽる院 内サーバが院内 LANに接続されている場合には、 CT画像データ取り込み部 11を 該院内 LANに接続可能なインターフェイス回路により構成し、院内 LANを介して C T画像データを取り込むようにしてもよ!、。
[0022] このように構成された本実施例の作用につ 、て説明する。
[0023] 図 3に示すように、気管支内視鏡装置 3による観察 '処置に先立ち、挿入支援装置 5は、ステップ S 1で CT画像データ取り込み部 11により CT装置で生成された患者の CT画像データを取り込み、ステップ S2で取り込んだ CT画像データを CT画像デー タ格納部 12に格納する。
[0024] ステップ S3でルート設定部 14により、図 4に示すようなルート設定画面 21をモニタ 6 に表示させ、ルート設定画面 21上の患者情報タグ画面 22で患者情報を選択する。 この選択により、ステップ S4で選択された患者の例えば 3つの異なる多断面像力 な る MPR画像が生成され、ステップ S5でこの MPR画像 23がルート設定画面 21に表 示される。
[0025] なお、患者情報タグ画面 22での患者情報の選択は、入力装置 19により患者を識 別する患者 IDを入力することで行われる。
[0026] 次に、ステップ S6でルート設定画面 21上のルート設定タグ 24 (図 4参照）を設定情 報入力部 19により選択すると、図 5に示すようなルート設定タグ画面 25がルート設定 画面 21に表示され、後述するルート設定処理を行い、気管支での気管支内視鏡の 挿入支援のルートを設定する。
[0027] 挿入支援のルートが設定されると、ステップ S7で VBS画像生成部 15により設定し た全ルートの連続した VBS画像をフレーム単位で生成し、ステップ S8で生成した VB S画像を VBS画像格納部 16に格納する。
[0028] 上記のステップ S1— S8の処理により、気管支内視鏡による観察'処置時の挿入支 援装置 5による挿入支援の第 1の準備が完了する。
[0029] ここで、上記ステップ S6のルート設定処理を図 6を用いて説明する。
[0030] 図 6に示すように、ステップ S6のルート設定処理では、入力装置 19を操作すること で、図 5に示したルート設定タグ画面 25上のルート探索ボタンをクリックすると、ステツ プ S11で図 7に示すようなルートの始点の入力を促す始点入力指示ウィンドウ 31が ルート設定画面 21上に表示され、ルート設定画面 21上にカーソル 30を用いて MPR 画像 23のうちの 1つの断層像上で始点を設定する。始点を設定すると他の MPR画 像 23の 2つの断層像上にも対応する位置に始点が設定されると共に、図 8に示すよ うなルートの終点の入力を促す終点入力指示ウィンドウ 32がルート設定画面 21上に 表示さる。
[0031] そこで、ステップ S12で始点の設定と同様に、ルート設定画面 21上にカーソル 30を 用いて MPR画像 23のうちの 1つの断層像上で終点を設定する。終点を設定すると 他の MPR画像 23の 2つの断層像上にも対応する位置に終点が設定される。
[0032] 始点と終点が設定されると、ステップ S13でルート設定部 14は始点カも終点に至る 気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終 点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部 14で はステップ S13では、始点から終点に至る気管支内のルートの第 1候補を探索する。
[0033] そして、ルート設定部 14はルート設定画面 21上において、図 9に示すように、ステ ップ S14で探索されたルートを MPR画像 23に重畳して表示すると共に、ルートの確 定等の入力を促すルート確定ウィンドウ 33を表示する。
[0034] ルート確定ウィンドウ 33には、探索したルートの確定を指示するルート確定ボタン 4 1と、次候補のルートの探索を指示する次候補探索ボタン 42と、始点及び終点を再 設定し直すルート再設定ボタン 43と、ルート探索処理をキャンセルするキャンセルボ タン 44とを備えている。
[0035] ステップ S 15で次候補探索ボタン 42がクリックされたかどうか判断し、クリックされた ならばステップ S16で次候補のルートを自動探索してステップ S17に進み、クリックさ れない場合にはステップ S18に進む。ステップ S 17では次候補を探索した結果、次 候補が存在するかどうかを判断し、存在しな ヽ場合には図示はしな！/、が次候補ルー トが存在しな 、旨の警告を表示しステップ S 13に戻り、存在する場合にはステップ S 1 4に戻る。
[0036] ステップ S18では、ルート再設定ボタン 43がクリックされたかどうか判断し、クリックさ れたならばステップ SI 1に戻り、クリックされな 、場合にはステップ S 19に進む。
[0037] ステップ S19では、ルート確定ボタン 41がクリックされたかどうか判断し、クリックされ ない場合にはステップ S15に戻り、クリックされたならばステップ S20に進み、ステップ S 20でルート及びルート内の各分岐点の位置情報を決定して図 3のステップ S 7に戻 る。
[0038] このようにしてルート設定がなされた挿入支援装置 5による気管支内視鏡観察手技 前の挿入支援の第 2の準備である挿入シミュレーションについて説明する。なお、以 下では、ルートの分岐点が 10力所の場合を例に説明する。
[0039] 図 10に示すように、ステップ S31において挿入支援装置 5によるシミュレーションを 開始すると、モニタ 7に図 11に示すような挿入支援画面 51を表示する。なお、モニタ 6にもモニタ 7と同様な挿入支援画面 51が表示される。
[0040] この挿入支援画面 51は、実際の観察時に得られる気管支内視鏡装置 3からのライ ブ画像を表示する内視鏡ライブ画像表示エリア 52と、 VBS画像像 53aを表示する V BS画像表示エリア 53と、ルートの全ての分岐点での VBS画像像 53aを縮小して分 岐サムネイル VBS画像 54 (a)一 54 (j)として表示する分岐サムネイル VBS画像エリ ァ 54とからなり、ライブ画像が位置する分岐点に対応した仮想画像である VBS画像 像 53aが VBS画像表示エリア 53に表示される。
[0041] ここで、 VBS画像表示エリア 53に表示される VBS画像 53aと同じ分岐サムネイル V BS画像の枠が太枠あるいはカラー表示され、他の分岐サムネイル VBS画像と識別 可能となっており、術者は VBS画像表示エリア 53に表示される VBS画像がどの分岐 の画像かを容易に認識できるようになって 、る。
[0042] 分岐サムネイル VBS画像エリア 54に表示される分岐サムネイル VBS画像 54 (a)一 54 (j)は、初期状態では、ステップ S32において所定の画像回転角に初期化された ルートに沿った仮想モデル画像となっており、図 11では、分岐サムネイル VBS画像 54 (a)の原画像が VBS画像表示エリア 53に表示される。
[0043] なお、図 11においては、シミュレーションであるために内視鏡ライブ画像表示エリア 52には何も表示されない。
[0044] 挿入支援画面 51には、左ボタン 71,右ボタン 72,前ボタン 73,次ボタン 74が設け られており、次ボタン 74を入力部 8を用いてカーソル 75で選択することで、 VBS画像 53aをフレーム単位で挿入前方に進行させることができ、また、前ボタン 73をカーソ ル 75で選択することで、 VBS画像 53aをフレーム単位で挿入後方に後退させること ができる。
[0045] また、左ボタン 71をカーソル 75で選択することで、 VBS画像 53aを左向きに連続的 に回転させることができ、また、右ボタン 72をカーソル 75で選択することで、 VBS画 像 53aを右向きに連続的に回転させることができる。
[0046] 気管支の各分岐点での VBS画像 53aでは、挿入先の分岐穴を示すマーカ 76が重 畳表示される。気管支内視鏡は細径ィ匕のために、一般的に湾曲させる方向は例えば 上下方向の一方向のみとなつているので、マーカ 76が示す挿入先の分岐穴を VBS 画像 53aの上、あるいは下に位置させるように、左ボタン 71あるいは右ボタン 72を用 V、て VBS画像 53aを回転させる。
[0047] そこで、ステップ S33において、術者により VBS画像 53aの回転操作があつたかど うかを判断し、回転操作があると、ステップ S34にて回転操作の回転量が分岐サムネ ィル VBS画像 54 (a)を基準に 180° 未満力どうか判断し、 180° 未満ならばその操 作に基づいて、例えば図 12に示すように分岐サムネイル VBS画像 54 (a)の原画像 である VBS画像 53aを回転させ、挿入先の分岐穴であるマーカ 76を図 13に示すよう に VBS画像 53aの上に位置させると共に、ステップ S35で該画像回転角を VBS画像 53aのフレーム情報とリンクさせてメモリ 20に格納しステップ S37に進む。また、回転 操作の回転量が分岐サムネイル VBS画像 54 (a)を基準に 180° 以上ならばステツ プ S36にて図 14に示すようなエラー表示ウィンドウ 79を挿入支援画面 51上に重畳さ せステップ S37に進む。 [0048] そして、ステップ S37において、シミュレーションの終了が指示されたかどうか判断し 、シミュレーション終了が未指示の場合はステップ S33に戻り処理を繰り返し、シミュ レーシヨン終了が指示されると処理を終了する。
[0049] 例えば、ステップ S33に戻り、前ボタン 73をカーソル 75で選択し、図 15に示すよう に、 VBS画像 53aを分岐サムネイル VBS画像 54 (b)の原画像まで進行させると、分 岐サムネイル VBS画像 54 (b)の枠が太枠あるいはカラー表示される。この分岐サム ネイル VBS画像 54 (b)の原画像である VBS画像 53に対しても、図 16に示すように 回転させることで、図 17に示すように、挿入先の分岐穴を VBS画像 53aの上に位置 させると共に、該画像回転角を VBS画像 53aのフレーム情報とリンクさせてメモリ 20 に格納する。
[0050] 上記のようなシミュレーション処理を、ルート全域で行うことで、図 18に示すように、 各分岐点の分岐サムネイル VBS画像 54 (a)一 54 (j)を気管支内視鏡の挿入に適し た向きの画像とする。
[0051] なお、メモリ 20には VBS画像 53aの全てのフレーム毎に画像回転角をリンクさせて おり、 VBS画像 53aを連続的に再生すると、シミュレーションの回転操作に応じて回 転した動画が得られることとなる。
[0052] また、モニタ 7が表示領域が小さ 、表示装置の場合、表示する分岐サムネイル VB S画像が多くなると、分岐サムネイル VBS画像が見にくくなるので、図 18の挿入支援 画面 51の代りに図 19に示すような挿入支援画面 1051を表示するようにしてよ！、。
[0053] この挿入支援画面 1051は、内視鏡ライブ画像表示エリア 52及び VBS画像表示ェ リア 53の他に患者情報表示エリア 1052と、 2枚の分岐サムネイル VBS画像を表示 する第 1分岐サムネイル表示エリア 1053及び第 2分岐サムネイル表示エリア 1054と からなり、第 1分岐サムネイル表示エリア 1053に表示される分岐サムネイル VBS画 像及び第 2分岐サムネイル表示エリア 1054分岐サムネイル VBS画像の表示パター ン例としては、例えば表 1のようなパターンであって、表示された VBS画像の前後に 位置する分岐サムネイルのみ表示するようになって 、る。
[表 1] 第 1サムネイル 第 2サムネイル
前の画像 次の画像
次の画像 次の次の画像
前の前の画像 前の画像
[0054] 表 1における分岐サムネイルの切り替え表示のタイミングは、ライブ画象 ZVBS画 像の進行に連動して切り替わる。
[0055] なお、挿入支援画面 1051においては、表示領域がさらに小さいモニタ 7の場合に は左ボタン 71,右ポタン 72，前ボタン 73,次ボタン 74を省略し、この場合、これらの ボタン機能をフットスィッチ (図示せず）に持たせれば良 、。
[0056] 以下、シミュレーションの回転操作に応じて回転したフレーム単位の全 VBS画像を 回転反映 VBS画像と記し、所定の画像回転角に初期化されたフレーム単位の全 VB
S画像を初期 VBS画像と記す。
[0057] 次に、このように挿入シミュレーションによりメモリ 20に VBS画像 53のフレーム情報 とリンクさせて格納した状態で、実際の気管支内視鏡による観察'処置の検査時での 揷入支援装置 5の支援処理につ！/、て説明する。
[0058] 図 20に示すように、実際の気管支内視鏡による観察'処置の検査が開始されると、 ステップ S41において画像処理部 17はメモリ 20を検索し、ステップ S42においてメ リ 20にフレーム情報とリンクした画像回転角データが格納されている力、どうか判断す る。メモリ 20にフレーム情報とリンクした画像回転角データが格納されている場合は、 ステップ S43で画像回転角データにより回転補正した回転反映 VBS画像より角度修 正を行った各分岐点の分岐サムネイル VBS画像を生成して、挿入支援画面 51をモ ユタ 7に表示する。
[0059] 術者が気管支内視鏡の挿入を行!/、、次に分岐点に移動すると、術者をサポートす る補助者がステップ S44において揷入支援画面 51上で入力部 8によりカーソル 75を 用いて対応する分岐点の VBS画像を表示させる。そして、ステップ S45において該 VBS画像の回転操作がなされた力どうか判断し、回転操作があると、ステップ S46に
訂正された用紙 （規則 91) て回転操作の回転量が分岐サムネイル VBS画像 54 (a)を基準に 180° 未満かどう か判断し、 180° 未満ならばその操作に基づいて、ステップ S47において該 VBS画 像の回転操作がなされた場合には VBS画像の回転操作に対応して該分岐点での 分岐サムネイル VBS画像の回転角度を修正して表示しステップ S49に進む。
[0060] ステップ S45にて VBS画像の回転操作がなされて ヽな 、と判断するとそのままステ ップ S49に進む。また、ステップ S46にて回転操作の回転量が分岐サムネイル VBS 画像 54 (a)を基準に 180° 以上ならば、ステップ S48にて図 14に示したようなエラー 表示ウィンドウ 79を挿入支援画面 51上に重畳させステップ S49に進む。
[0061] そしてステップ S49において検査終了の指示が得られるまで、ステップ S44— S49 を繰り返す。
[0062] なお、ステップ S47にお 、て分岐サムネイル VBS画像の回転角度を修正すると、 修正した分岐点以降の分岐サムネイル VBS画像も同じ回転角度分、回転され修正 · 表示され、それ以降のフレームの VBS画像も同じ回転角度分、回転され修正される
[0063] 図 20の処理を具体的に説明すると、検査が開始され、メモリ 20にフレーム情報とリ ンクした画像回転角データが格納されていると、図 21に示すような挿入支援画面 51 が表示される。この挿入支援画面 51には階層表示ボタン 81が設けられているが、詳 細は後述する。
[0064] なお、メモリ 20にフレーム情報とリンクした画像回転角データが格納されていない 場合は、分岐サムネイル VBS画像エリア 54には、図 11に示したような初期化された 分岐サムネイルが表示される。
[0065] また、図 21の挿入支援画面 51の内視鏡ライブ画像表示エリア 52には、気管支内 視鏡装置 3からのライブ画像 52aが表示され、術者は到達して!/ヽる分岐点でのライブ 画像 52aを VBS画像 53aに一致させるように、気管支内視鏡にひねり操作 (挿入部 長手軸を中心に回転させる操作)を行い、挿入先の分岐穴をライブ画像 52a上にお いても上または下に位置させる。
[0066] 図 21は分岐サムネイル VBS画像 54 (a)が示す第 1の分岐点の回転反映 VBS画像 53aが表示されている挿入支援画面 51である。また、図 22は図 21の VBS画像 53a に対応させて気管支内視鏡にひねり操作を行い挿入先の分岐穴をライブ画像 52a の上に位置させた挿入支援画面 51を示して 、る。
[0067] そして、気管支内視鏡の挿入部先端を挿入先の分岐穴に導き、挿入を続行する。
[0068] 図 23は分岐サムネイル VBS画像 54 (c)が示す第 3の分岐点の回転反映 VBS画像 53aが表示されている挿入支援画面 51である。
[0069] ルート挿入の際の気管支内視鏡のひねり操作によりライブ画像 52aには常に不規 則な回転が作用するため、例えば図 23のように挿入先の分岐穴を VBS画像 53aの 下に位置させると、ライブ画像 52aをひねり量の多いひねり操作を行わなければ回転 反映 VBS画像 53aと一致させることができない場合が生じる。そこで、気管支内視鏡 にひねり操作を行う前に、回転反映 VBS画像 53aを回転させて、ひねり量を小さくさ せる。
[0070] 図 24は図 23の回転反映 VBS画像 53aを回転させて、挿入先の分岐穴を VBS画 像 53の上に位置させた挿入支援画面 51を示し、図 25は図 24の VBS画像 53a〖こ対 応させて気管支内視鏡にひねり操作を行い挿入先の分岐穴をライブ画像 52aの上 に位置させた挿入支援画面 51を示している。
[0071] なお、図 24における回転反映 VBS画像 53aにおいて、図 26に示すように、最初の 分岐点の分岐サムネイル VBS画像 54 (a)に対する回転量をメモリ 20から読み出し、 回転反映 VBS画像 53a上に回転向き及び回転量力もなる回転情報 101を重畳させ たり、分岐サムネイル VBS画像 54 (c)の下に回転情報 102を表示させることができ、 この場合、図 27に示すように、回転させたすべての分岐サムネイル VBS画像 54 (i) の下に分岐サムネイル VBS画像 54 (a)に対する回転情報 102させるようにしてもよ い。これにより気管支内視鏡のひねり操作が経緯を容易に掌握することが可能となる
[0072] また、挿入支援画面 51の積層表示ボタン 81をカーソル 75で選択すると、以下のよ うに、現在の分岐点の VBS画像 53aの挿入先の分岐穴にそれ以降の分岐点の挿入 先の分岐穴の模式図が積層表示される。
[0073] すなわち、例えば図 25の分岐サムネイル VBS画像 54 (c)が示す第 3の分岐点の 回転反映 VBS画像 53aが表示されている挿入支援画面 51で積層表示ボタン 81が 選択されると、
(1)図 28に示すように、分岐サムネイル VBS画像 54 (d)が示す第 4の分岐点の回転 反映 VBS画像 53aの挿入先の分岐穴の輪郭を抽出し、抽象化し模式図 91aを生成 する。さらに、
(2)図 29に示すように、分岐サムネイル VBS画像 54 (e)が示す第 5の分岐点の回転 反映 VBS画像 53aの挿入先の分岐穴の輪郭を抽出し、抽象化し模式図 91bを生成 する。
[0074] そして、
(3)図 30に示すように、第 4の分岐点の模式図 91aを第 3の分岐点の回転反映 VBS 画像 53aの挿入先の分岐穴内に収まるように縮小する。同様に、
(4)図 31に示すように、第 5の分岐点の模式図 91bを第 4の分岐点の模式図 91aの 挿入先の分岐穴内に収まるように縮小する。そして、
(5)図 32に示すように、第 5の分岐点の模式図 91bを挿入先の分岐穴内に納めた第 4の分岐点の模式図 91aを第 3の分岐点の回転反映 VBS画像 53aの挿入先の分岐 穴に重畳し分岐穴を積層表示した、回転反映 VBS画像 53aを有する挿入支援画面 51を生成する。
[0075] なお、図 32においては、回転反映 VBS画像 53aの積層表示された分岐穴を太線 で表示している力 図 33に示すように積層表示を色分けして行ってもよい。また、積 層数は 3層に限らない。
[0076] このように本実施例では、手技前のシミュレーションによりフレーム情報とリンクした 画像回転角データをメモリ 20に格納し、格納した画像回転角データに基づき、 VBS 画像及びサムネイル VBS画像を回転補正して挿入支援画面を生成し表示して挿入 支援を行うので、気管支挿入操作に対応させた気管支の複数の分岐点での仮想内 視鏡像により、効果的に気管支内視鏡の挿入を支援することができる。
[0077] また、従来は、現在の分岐先情報しか支援情報として提供できな 、ため、次段の分 岐点の状態の把握が十分ではな力つたが、本実施例では、挿入先の分岐穴を積層 表示することにより、次段の分岐点の状態の把握が容易になり、効果的に気管支内 視鏡の挿入を支援することができる。 本発明は、上述した実施例に限定されるものではなぐ本発明の要旨を変えない範 囲において、種々の変更、改変等が可能である。

Claims

請求の範囲
[1] 被検体の 3次元領域の画像データに基づき前記被検体内の体腔路の 3次元画像 を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、
前記被検体内の体腔路を撮像する内視鏡からの内視鏡画像と、前記仮想画像と、 前記被検体内の体腔路が分岐する全分岐点での前記仮想画像の複数の縮小画像 と力 なるナビゲーシヨン画像を生成するナビゲーシヨン画像生成手段と、
前記縮小画像の画像回転情報を記憶する回転情報記憶手段と、
前記画像回転情報に基づき前記ナビゲーシヨン画像生成手段が生成する前記縮 小画像を回転させる画像回転制御手段と
を備えたことを特徴とする挿入支援システム。
[2] 前記回転情報記憶手段は、前記画像回転情報を前記仮想画像のフレーム情報と 関連させて記憶する
ことを特徴とする請求項 1に記載の挿入支援システム。
[3] 前記画像回転情報を所定の回転角データと比較する回転量比較手段を有し、 前記画像回転制御手段は、前記回転量比較手段の比較結果に基づき、前記縮小 画像の回転を制御する
ことを特徴とする請求項 1に記載の挿入支援システム。
PCT/JP2004/016035 2003-10-29 2004-10-28 挿入支援システム WO2005039401A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE602004031657T DE602004031657D1 (de) 2003-10-29 2004-10-28 Einführstützsystem
EP04793143A EP1685787B1 (en) 2003-10-29 2004-10-28 Insertion support system
US11/395,101 US7659912B2 (en) 2003-10-29 2006-03-31 Insertion support system for producing imaginary endoscopic image and supporting insertion of bronchoscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003369556A JP3820244B2 (ja) 2003-10-29 2003-10-29 挿入支援システム
JP2003-369556 2003-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/395,101 Continuation US7659912B2 (en) 2003-10-29 2006-03-31 Insertion support system for producing imaginary endoscopic image and supporting insertion of bronchoscope

Publications (1)

Publication Number Publication Date
WO2005039401A1 true WO2005039401A1 (ja) 2005-05-06

Family

ID=34510398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/016035 WO2005039401A1 (ja) 2003-10-29 2004-10-28 挿入支援システム

Country Status (6)

Country Link
US (1) US7659912B2 (ja)
EP (1) EP1685787B1 (ja)
JP (1) JP3820244B2 (ja)
CN (1) CN100413457C (ja)
DE (1) DE602004031657D1 (ja)
WO (1) WO2005039401A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014131551A (ja) * 2013-01-07 2014-07-17 Akira Takebayashi 内視鏡向けナビゲーション装置
WO2022269736A1 (ja) * 2021-06-22 2022-12-29 オリンパスメディカルシステムズ株式会社 画像処理装置、マニピュレータシステム、画像処理方法及び表示方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
EP2316328B1 (en) * 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
ATE438335T1 (de) 2003-09-15 2009-08-15 Super Dimension Ltd System aus zubehör zur verwendung mit bronchoskopen
US8764725B2 (en) 2004-02-09 2014-07-01 Covidien Lp Directional anchoring mechanism, method and applications thereof
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070066881A1 (en) 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
EP1924198B1 (en) 2005-09-13 2019-04-03 Veran Medical Technologies, Inc. Apparatus for image guided accuracy verification
IL181470A (en) * 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
JP4820680B2 (ja) * 2006-04-12 2011-11-24 株式会社東芝 医用画像表示装置
EP2012698B8 (en) * 2006-05-04 2011-06-22 NAVAB, Nassir Interactive virtual mirror device for visualizing virtual objects in endoscopic applications
DE102006041055B4 (de) * 2006-09-01 2015-10-15 Siemens Aktiengesellschaft Verfahren zur Unterstützung der Durchführung einer endoskopischen medizinischen Maßnahme sowie mit diesem Verfahren betreibbare Einrichtung
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
JP5123615B2 (ja) * 2007-08-31 2013-01-23 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援装置
JP5028191B2 (ja) * 2007-09-03 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8905920B2 (en) 2007-09-27 2014-12-09 Covidien Lp Bronchoscope adapter and method
US9575140B2 (en) 2008-04-03 2017-02-21 Covidien Lp Magnetic interference detection system and method
JP5372407B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5372406B2 (ja) 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US8473032B2 (en) 2008-06-03 2013-06-25 Superdimension, Ltd. Feature-based registration method
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8932207B2 (en) 2008-07-10 2015-01-13 Covidien Lp Integrated multi-functional endoscopic tool
US8611984B2 (en) 2009-04-08 2013-12-17 Covidien Lp Locatable catheter
JP2012509133A (ja) * 2009-09-10 2012-04-19 インフィニット ヘルスケア カンパニー リミテッド 仮想内視鏡装置とその駆動方法及び検診装置
CN102883651B (zh) * 2010-01-28 2016-04-27 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
US10582834B2 (en) 2010-06-15 2020-03-10 Covidien Lp Locatable expandable working channel and method
US10264947B2 (en) 2010-08-20 2019-04-23 Veran Medical Technologies, Inc. Apparatus and method for airway registration and navigation
CN103068294B (zh) 2011-01-24 2015-06-24 奥林巴斯医疗株式会社 医疗设备
JP5977497B2 (ja) * 2011-09-22 2016-08-24 オリンパス株式会社 内視鏡装置、作動方法およびプログラム
EP4056111A3 (en) 2012-02-22 2022-12-07 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation
JP5826082B2 (ja) * 2012-03-21 2015-12-02 富士フイルム株式会社 医用画像診断支援装置および方法並びにプログラム
WO2014038322A1 (ja) 2012-09-07 2014-03-13 オリンパスメディカルシステムズ株式会社 医療装置
CN103431832A (zh) * 2013-08-29 2013-12-11 田茂洲 —种手术腔镜摄像处理器纠正腔镜旋转保持正位成像装置
US20160331213A1 (en) * 2013-10-31 2016-11-17 Optimede Inc. Portable inspection system
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US20150305612A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
US10952593B2 (en) 2014-06-10 2021-03-23 Covidien Lp Bronchoscope adapter
WO2016004030A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method for segmentation of lung
CN111449669B (zh) 2014-07-02 2023-04-18 柯惠有限合伙公司 用于检测气管的系统和方法
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US9754367B2 (en) 2014-07-02 2017-09-05 Covidien Lp Trachea marking
JP6534193B2 (ja) 2014-07-02 2019-06-26 コヴィディエン リミテッド パートナーシップ 実時間自動位置合わせフィードバック
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
EP3226551A1 (en) * 2014-11-27 2017-10-04 Olympus Corporation Image playback apparatus and image playback program
US10426555B2 (en) 2015-06-03 2019-10-01 Covidien Lp Medical instrument with sensor for use in a system and method for electromagnetic navigation
US10986990B2 (en) 2015-09-24 2021-04-27 Covidien Lp Marker placement
US10709352B2 (en) 2015-10-27 2020-07-14 Covidien Lp Method of using lung airway carina locations to improve ENB registration
US10478254B2 (en) 2016-05-16 2019-11-19 Covidien Lp System and method to access lung tissue
US10792106B2 (en) 2016-10-28 2020-10-06 Covidien Lp System for calibrating an electromagnetic navigation system
US10722311B2 (en) 2016-10-28 2020-07-28 Covidien Lp System and method for identifying a location and/or an orientation of an electromagnetic sensor based on a map
US10751126B2 (en) 2016-10-28 2020-08-25 Covidien Lp System and method for generating a map for electromagnetic navigation
US10446931B2 (en) 2016-10-28 2019-10-15 Covidien Lp Electromagnetic navigation antenna assembly and electromagnetic navigation system including the same
US10615500B2 (en) 2016-10-28 2020-04-07 Covidien Lp System and method for designing electromagnetic navigation antenna assemblies
US10418705B2 (en) 2016-10-28 2019-09-17 Covidien Lp Electromagnetic navigation antenna assembly and electromagnetic navigation system including the same
US10517505B2 (en) 2016-10-28 2019-12-31 Covidien Lp Systems, methods, and computer-readable media for optimizing an electromagnetic navigation system
US10638952B2 (en) 2016-10-28 2020-05-05 Covidien Lp Methods, systems, and computer-readable media for calibrating an electromagnetic navigation system
CN106725572B (zh) * 2016-12-26 2020-09-11 中国科学院苏州生物医学工程技术研究所 低剂量数字x射线影像方舱
US11219489B2 (en) 2017-10-31 2022-01-11 Covidien Lp Devices and systems for providing sensors in parallel with medical tools
US11224392B2 (en) 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread
WO2021090358A1 (ja) * 2019-11-05 2021-05-14 オリンパス株式会社 内視鏡装置、表示用画像出力方法、及びプログラム
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US10980397B1 (en) 2020-02-21 2021-04-20 Ambu A/S Video processing device
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US11497382B1 (en) * 2020-04-27 2022-11-15 Canon U.S.A., Inc. Apparatus and method for endoscopic image orientation control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5704897A (en) 1992-07-31 1998-01-06 Truppe; Michael J. Apparatus and method for registration of points of a data field with respective points of an optical image
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
JP3850217B2 (ja) * 2000-12-27 2006-11-29 オリンパス株式会社 気管支用内視鏡位置検出装置
JP2002306403A (ja) * 2001-04-18 2002-10-22 Olympus Optical Co Ltd 内視鏡装置
JP4583658B2 (ja) * 2001-05-22 2010-11-17 オリンパス株式会社 内視鏡システム
GB2395880B (en) * 2002-11-27 2005-02-02 Voxar Ltd Curved multi-planar reformatting of three-dimensional volume data sets
JP4695420B2 (ja) * 2004-09-27 2011-06-08 オリンパス株式会社 湾曲制御装置
US20070046661A1 (en) * 2005-08-31 2007-03-01 Siemens Medical Solutions Usa, Inc. Three or four-dimensional medical imaging navigation methods and systems
US20080117230A1 (en) * 2006-11-22 2008-05-22 Rainer Wegenkittl Hanging Protocol Display System and Method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5704897A (en) 1992-07-31 1998-01-06 Truppe; Michael J. Apparatus and method for registration of points of a data field with respective points of an optical image
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1685787A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014131551A (ja) * 2013-01-07 2014-07-17 Akira Takebayashi 内視鏡向けナビゲーション装置
WO2022269736A1 (ja) * 2021-06-22 2022-12-29 オリンパスメディカルシステムズ株式会社 画像処理装置、マニピュレータシステム、画像処理方法及び表示方法

Also Published As

Publication number Publication date
JP3820244B2 (ja) 2006-09-13
CN100413457C (zh) 2008-08-27
JP2005131042A (ja) 2005-05-26
US7659912B2 (en) 2010-02-09
DE602004031657D1 (de) 2011-04-14
EP1685787A1 (en) 2006-08-02
EP1685787B1 (en) 2011-03-02
US20060170765A1 (en) 2006-08-03
EP1685787A4 (en) 2009-06-10
CN1874715A (zh) 2006-12-06

Similar Documents

Publication Publication Date Title
WO2005039401A1 (ja) 挿入支援システム
JP4009639B2 (ja) 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP3847744B2 (ja) 挿入支援システム
JP4343723B2 (ja) 挿入支援システム
JP3930423B2 (ja) 内視鏡装置
US8049777B2 (en) Insertion support system for specifying a location of interest as an arbitrary region and also appropriately setting a navigation leading to the specified region
JP4922107B2 (ja) 内視鏡装置
JP4022114B2 (ja) 内視鏡装置
JP4323288B2 (ja) 挿入支援システム
JP4245880B2 (ja) 内視鏡装置
JP2004097696A (ja) 内視鏡観測装置
JP4776954B2 (ja) 内視鏡挿入支援装置
JP4022192B2 (ja) 挿入支援システム
JP4445792B2 (ja) 挿入支援システム
JP4573517B2 (ja) 挿入支援システム
JP4546064B2 (ja) 挿入シミュレーション装置
JP4160487B2 (ja) 挿入支援システム
JP2006181110A (ja) 挿入支援システム
JP4190454B2 (ja) 挿入支援装置
JP2005013358A (ja) 挿入支援システム
JP4354353B2 (ja) 挿入支援システム
JP2005211529A (ja) 手技支援システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480032268.8

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004793143

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11395101

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2004793143

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11395101

Country of ref document: US