WO2011121986A1 - 観察支援システムおよび方法並びにプログラム - Google Patents

観察支援システムおよび方法並びにプログラム Download PDF

Info

Publication number
WO2011121986A1
WO2011121986A1 PCT/JP2011/001842 JP2011001842W WO2011121986A1 WO 2011121986 A1 WO2011121986 A1 WO 2011121986A1 JP 2011001842 W JP2011001842 W JP 2011001842W WO 2011121986 A1 WO2011121986 A1 WO 2011121986A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
image
finding
medical image
dimensional medical
Prior art date
Application number
PCT/JP2011/001842
Other languages
English (en)
French (fr)
Inventor
中村佳児
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2011121986A1 publication Critical patent/WO2011121986A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00128—Electrical control of surgical instruments with audible or visual output related to intensity or progress of surgical action
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Definitions

  • the present invention relates to a technique for supporting endoscopic observation, for example, in an operation or examination under an endoscope inserted into a body cavity of a subject.
  • a virtual endoscope technique for generating an image similar to an endoscope from a three-dimensional volume image obtained by imaging with CT or the like is known.
  • This technique is widely used in North America as a method for finding a tumor only by CT imaging without performing endoscopy in order to find a colon tumor.
  • inspection etc. safely and rapidly using a virtual endoscopic image is proposed.
  • Patent Document 1 under endoscopic observation, a virtual endoscopic image of a peripheral portion that cannot be seen in an endoscopic image is superimposed and displayed on the endoscopic image to support endoscopic surgery. The method is described.
  • Patent Document 2 a virtual endoscopic image of a duct such as a bronchus is created, and a path to a target point along the duct is obtained in advance on the virtual endoscopic image.
  • a method has been proposed in which a virtual endoscopic image along the line is used as a guide image during actual endoscopic observation. According to the methods described in Patent Documents 1 and 2, endoscopic observation can be performed safely and quickly by displaying a virtual endoscopic image together with an endoscopic image.
  • a requesting doctor doctors of each clinical department
  • doctors of image diagnosis and doctors specializing in interpretation of medical images such as a three-dimensional volume image
  • an interpreting doctor Diagnosis is performed in cooperation with Specifically, based on the examination order from the requesting doctor, the radiologist captures the patient and obtains a medical image, and then the interpreting doctor interprets the medical image and creates an interpretation report that summarizes the interpretation results.
  • an interpretation report is created by interpreting an endoscopic image.
  • the interpretation report includes information on the position of a lesion or blood vessel and the findings related to the interpretation report. Therefore, by referring to the interpretation report, it is possible to confirm the findings together with the medical image at the position including the lesion based on the position information.
  • the present invention has been made in view of the above circumstances. For example, while a medical image such as an endoscopic image or a three-dimensional medical image is being displayed, it is possible to easily and quickly confirm findings obtained in another medical image.
  • the purpose is to do.
  • a first observation support system includes first image acquisition means for acquiring a three-dimensional medical image of a subject, Second image acquisition means for acquiring an endoscopic image in the body cavity imaged by an endoscope inserted in the body cavity of the subject; Display means for displaying the endoscopic image; Storage means for storing at least one finding about the three-dimensional medical image in association with finding position information representing a position where the finding is obtained in the three-dimensional medical image; Endoscope position acquisition means for acquiring endoscope position information representing a real-time position of the endoscope in the body cavity; Notification means for notifying the finding when the position represented by the endoscope position information in the three-dimensional medical image is located within a predetermined spatial range with reference to the position represented by the finding position information. It is characterized by comprising.
  • Located within the predetermined range includes a case where the position completely corresponds to the position represented by the first position information.
  • the notifying means may be a means for notifying the findings by displaying the findings on the display means and / or outputting sound.
  • the display means may be a means for displaying the three-dimensional medical image at the position where the finding to be notified is obtained when the finding is notified.
  • a second observation support system includes first image acquisition means for acquiring a three-dimensional medical image of a subject, Second image acquisition means for acquiring an endoscopic image in the body cavity imaged by an endoscope inserted into the body cavity of the subject; Display means for displaying the endoscopic image; A finding acquisition means for acquiring a finding about at least one position in the body cavity; Endoscope position acquisition means for acquiring endoscope position information representing the position of the endoscope in the body cavity that has obtained the findings; Storage means for specifying a position corresponding to the endoscope position information in the three-dimensional medical image and storing the specific position information representing the specified position and the findings in association with each other is provided. It is what.
  • other display means for displaying the three-dimensional medical image at the position represented by the specific position information;
  • a notification means for notifying the finding associated with the position may be further provided.
  • the notifying means may be a means for notifying the findings by displaying the findings on the other display means and / or outputting sound.
  • the other display means may be a means for displaying the endoscopic image at the position where the finding to be notified is obtained when the finding is notified.
  • a first observation support method includes a step of acquiring a three-dimensional medical image of a subject; Obtaining an endoscopic image in the body cavity imaged by an endoscope inserted into the body cavity of the subject; and Displaying the endoscopic image; Storing at least one finding about the three-dimensional medical image in association with finding position information representing a position where the finding is obtained in the three-dimensional medical image; Obtaining endoscope position information representing a real-time position of the endoscope in the body cavity; Notifying the observation when the position represented by the endoscope position information in the three-dimensional medical image is located within a predetermined spatial range with reference to the position represented by the finding position information; It is characterized by having.
  • a second observation support method includes a step of acquiring a three-dimensional medical image of a subject; Obtaining an endoscopic image in the body cavity imaged by an endoscope inserted into the body cavity of the subject; and Displaying the endoscopic image; Obtaining a finding for at least one location within the body cavity; Obtaining endoscope position information representing the position of the endoscope in the body cavity that obtained the findings; A step of specifying a position corresponding to the endoscope position information in the three-dimensional medical image, and storing the specific position information representing the specified position and the findings in association with each other. Is.
  • a three-dimensional medical image of a subject is acquired, and an endoscopic image in a body cavity taken by an endoscope inserted in the body cavity of the subject is obtained. To be acquired. Then, at least one finding regarding the three-dimensional medical image is stored in association with the finding position information indicating the position where the finding is obtained in the three-dimensional medical image. On the other hand, an endoscope image is displayed, endoscope position information representing the real-time position of the endoscope in the body cavity is acquired, and the position represented by the endoscope position information is represented by the finding position information. The observation is notified when the position is within a predetermined space range based on the position.
  • the findings are created at important positions when performing endoscopic observations such as surgery and examination using an endoscope such as a position where a lesion is present or a blood vessel such as an artery is present.
  • the doctor can know that the endoscope has approached such an important position by notifying the findings. Therefore, it is possible to safely and reliably perform surgery and inspection using an endoscope.
  • the doctor can also perform endoscopic observation with reference to the 3D medical image at the important position. . Therefore, endoscopic observation can be performed with higher accuracy.
  • an endoscope in a body cavity in which a three-dimensional medical image of a subject is acquired and photographed by an endoscope inserted into the body cavity of the subject.
  • An image is acquired.
  • an endoscopic image is displayed, a finding about at least one position in the body cavity is acquired, and endoscope position information indicating the position of the endoscope in the body cavity that obtained the finding is acquired.
  • the position in the three-dimensional medical image corresponding to the endoscope position information is specified, and the specific position information representing the specified position and the finding are stored in association with each other.
  • the doctor when a doctor observes a three-dimensional medical image, the doctor creates a finding created at the time of endoscopic observation such as surgery or examination using an endoscope at a position corresponding to the position where the finding was created. It can be confirmed easily and quickly together with the three-dimensional medical image.
  • findings are created at important positions when performing surgery and examinations using an endoscope, such as where there is a lesion in the body cavity of the subject. After mirror observation, a three-dimensional medical image of such an important position can be confirmed along with the findings. Therefore, it is possible to safely and reliably perform a diagnosis at a position that is important at the time of endoscopic observation using a three-dimensional medical image.
  • the doctor also refers to the endoscopic image at the important position and performs the diagnosis using the three-dimensional medical image. It can be carried out. Therefore, the diagnosis using the three-dimensional medical image can be performed with higher accuracy.
  • the hardware block diagram which shows the outline
  • the flowchart which shows the process performed in the 1st Embodiment of this invention.
  • the figure for demonstrating the display of an endoscopic image and a finding in the display for endoscopic images The figure for demonstrating the display of an endoscopic image and a finding in the display for endoscopic images
  • segmented the endoscope observation assistance system in the 2nd Embodiment of this invention in the functional level The flowchart which shows the process performed in the 2nd Embodiment of this invention (the 1)
  • the figure for demonstrating the display of the three-dimensional medical image and finding on the display for image processing workstations The figure for demonstrating the display of the three-dimensional
  • FIG. 1 is a hardware configuration diagram showing an overview of an endoscope observation support system according to the first embodiment of the present invention.
  • an endoscope observation support system according to a first embodiment of the present invention includes an endoscope 1, a digital processor 2, a light source device 3, an endoscope image display 4, a modality 5, an endoscope.
  • the endoscope 1 is a rigid endoscope for abdominal cavity and is inserted into the abdominal cavity of a subject.
  • Light guided by an optical fiber from the light source device 3 is irradiated from the distal end portion of the endoscope 1, and an image in the abdominal cavity of the subject is obtained by the imaging optical system of the endoscope 1.
  • the digital processor 2 converts the imaging signal obtained by the endoscope 1 into a digital image signal, and corrects the image quality through digital signal processing such as white balance adjustment and shading correction, thereby converting the endoscope image data S into the image data S.
  • the endoscope image S is acquired and displayed on the endoscope image display 4. Since acquisition of the imaging signal by the endoscope 1 is performed at a predetermined frame rate, the endoscope image S is displayed on the endoscope image display 4 as a moving image representing the abdominal cavity.
  • the digital processor 2 includes an input device 2A such as a keyboard.
  • an input device 2A such as a keyboard.
  • a doctor who is a user is used.
  • still image shooting can be performed using the input device 2A.
  • it is also possible to input a finding on the still endoscopic image Ss by interpreting an endoscopic image (still endoscopic image) Ss of a still image acquired by a doctor by taking a still image.
  • the digital processor 2 displays a report creation screen for supporting the creation of an interpretation report on the display 4, and text (hereinafter referred to as observation information Ks) indicating the content of findings made based on the interpretation is input.
  • an interpretation report Rs in which the endoscope position information Ps indicating the position of the endoscope 1 when the finding information Ks and the stationary endoscope image Ss to be interpreted are captured is created.
  • the interpretation report Rs may record the still endoscope image Ss at the position where the findings are created.
  • the input device 2A not only the input device 2A but also voice may be used for inputting findings.
  • the endoscope image display 4 is a touch panel type input device
  • the input may be performed using a touch panel type input device.
  • an operation assistant not only a doctor but also an operation assistant (nurse) may be input. Thereby, the burden of the doctor during an operation can be reduced.
  • the digital processor 2 transmits the created interpretation report Rs to the image processing workstation 11 via the LAN.
  • the interpretation report Rs records the finding information Ks and the endoscope position information Ps in association with each stationary endoscopic image.
  • the digital processor 2 is defined in the DICOM (Digital (Imaging and Communications in Medicine) standard for endoscopic image data S representing an endoscopic image S and static endoscopic image data Ss representing a static endoscopic image Ss.
  • DICOM Digital (Imaging and Communications in Medicine) standard for endoscopic image data S representing an endoscopic image S and static endoscopic image data Ss representing a static endoscopic image Ss.
  • the supplementary information is added, and endoscope image data S and stationary endoscope image data Ss are output.
  • the outputted static endoscope image data Ss is transmitted to the image processing workstation 11 via the LAN according to a communication protocol compliant with the DICOM standard.
  • the modality 5 is an apparatus that generates image data V of a three-dimensional medical image representing a part of the subject by imaging the part to be examined, and is a CT apparatus here.
  • the accompanying information defined by the DICOM standard is also added to the three-dimensional medical image data V.
  • the three-dimensional medical image data V is also transmitted to the interpretation workstation 9 and the image processing workstation 11 via the LAN according to a communication protocol compliant with the DICOM standard.
  • the interpretation workstation 9 displays the three-dimensional medical image V received from the modality 5 on the display 10 for interpretation by the interpretation doctor. Furthermore, the interpretation workstation 9 displays a report creation screen for supporting the creation of an interpretation report on the display 10, and when text indicating the content of findings (hereinafter referred to as finding information Kv) is input based on the interpretation. Then, an interpretation report Rv in which the finding information Kv and the finding position information Pv representing the position where the finding is acquired in the three-dimensional medical image V is recorded is created. Note that an image at the position where the finding information Kv of the three-dimensional medical image V is created (hereinafter referred to as an image to be interpreted) may be recorded in the interpretation report Rv. When there are a plurality of places where findings are created by interpretation, finding information Kv and finding position information Pv are recorded in the interpretation report Rv in association with each interpretation. The interpretation workstation 9 transmits the generated interpretation report to the image processing workstation 11 via the LAN.
  • CAD Computer Aided Diagnosis
  • JP 2004-135867 A a computer-aided diagnosis system represented by an abnormal shadow candidate detection method using an iris filter as described in JP 2004-135867 A.
  • the lesion may be automatically detected from the three-dimensional medical image V, and the three-dimensional medical image V including the lesion may be displayed on the display 10 for interpretation.
  • the endoscope marker 7 and the position sensor 8 constitute a known three-dimensional position measuring device.
  • the endoscope marker 7 is provided near the hand of the endoscope 1, and the optical position sensor 8 detects the three-dimensional position of the marker 7 at a predetermined time interval. Since the endoscope marker 7 is composed of a plurality of marker pieces, the position sensor 8 can also detect the orientation of the endoscope 1 from the positional relationship of the marker pieces. The three-dimensional position of the tip can be calculated.
  • the position sensor 8 transmits endoscope position information Ps representing the calculated three-dimensional position and orientation of the endoscope 1 to the digital processor 2 and the image processing workstation 11 via the USB interface.
  • the image processing workstation 11 is a computer having a well-known hardware configuration such as a CPU, a main storage device, an auxiliary storage device, an input / output interface, a communication interface, a data bus, etc., and an input device (pointing device, keyboard, etc.) A display 10 is connected.
  • the image processing workstation 11 is connected to the digital processor 2, the modality 5 and the image interpretation workstation 9 via a LAN, and is connected to the position sensor 8 via a USB.
  • the image processing workstation 11 is installed with a well-known operating system, various application software, and the like, and is also installed with an application for executing the endoscope observation support processing of the present embodiment. These software may be installed from a recording medium such as a CD-ROM, or may be installed after being downloaded from a storage device of a server connected via a network such as the Internet. Good.
  • the image processing workstation 11 is installed in an operating room where endoscopic surgery is performed or in a waiting room adjacent to the operating room, so that a doctor can appropriately check information during or after the operation.
  • FIG. 2 is a block diagram in which the endoscope observation support system according to the first embodiment of the present invention is divided at a functional level.
  • the endoscope observation support system according to the first embodiment of the present invention includes an endoscope 1, an endoscope image forming unit 2, an endoscope image display 4, and a three-dimensional medical image formation.
  • Unit 5 finding creation unit 9, endoscope position detection unit 20, endoscope position acquisition unit 21, three-dimensional medical image acquisition unit 22, finding acquisition unit 23, image information database 24, search unit 25, and endoscope image
  • the acquisition unit 26 is configured.
  • the function of the three-dimensional medical image forming unit 5 is realized by the modality of FIG. 1, and the function of the finding creating unit 9 is the interpretation of FIG. Realized by a workstation.
  • the function of the endoscope position detection unit 20 is realized by the endoscope marker 7 and the position sensor 8.
  • a broken line frame indicates the image processing workstation 11, and the functions of the processing units in the broken line frame are realized by executing a predetermined program on the image processing workstation 11.
  • FIG. 3 is a flowchart showing processing performed in the endoscope observation support system according to the first embodiment of the present invention.
  • a three-dimensional medical image V is formed by photographing the subject by the three-dimensional medical image forming unit 5.
  • the finding creation unit 9 interprets the 3D medical image V by the interpreting doctor, and represents the finding information Kv about the 3D medical image V and the position on the 3D medical image V from which the finding information Kv is acquired.
  • An interpretation report Rv in which the finding position information Pv is recorded is created.
  • the three-dimensional medical image acquisition unit 22 acquires the three-dimensional medical image V formed by the three-dimensional medical image forming unit 5 (step ST1), and the finding acquisition unit 23 further detects the finding creation unit.
  • Interpretation report Rv created in step 9 is acquired (step ST2).
  • the three-dimensional medical image V and the interpretation report Rv are associated with each other and registered in the image information database 24 (step ST3). The above processing is performed before endoscopic surgery.
  • the endoscope image forming unit 2 performs a predetermined frame until the observation is completed (Yes in step ST10).
  • the endoscope image S by the endoscope 1 inserted into the body cavity at a rate is repeatedly formed, and the formed endoscope image S is displayed in real time as a through moving image on the endoscope image display 4 (step ST4). ).
  • the endoscopic image S is acquired by the endoscopic image acquisition unit 26 and sequentially stored in a predetermined memory area in the image processing workstation 11. Further, the endoscope position detection unit 20 repeatedly detects the position of the endoscope 1 inserted into the body cavity in real time at predetermined time intervals.
  • the endoscope position acquisition unit 21 acquires endoscope position information Ps representing the position of the endoscope 1 detected by the endoscope position detection unit 20 (step ST5).
  • a conversion position Ps ′ obtained by converting the endoscope position information Ps into a position in the coordinate system of the three-dimensional medical image V is acquired (step ST6).
  • the search unit 25 refers to the interpretation report Rv for the three-dimensional medical image V of the same subject in the image information database 24, and the finding information associated with the finding position information Pv representing the position corresponding to the converted position Ps ′.
  • Kv is searched (step ST7).
  • a threshold value that determines the spatial range is set, and when the conversion position Ps ′ is included in the spatial range determined by the threshold value, it is determined that the finding information Kv is retrieved. Also good.
  • the threshold value may be set by the user.
  • the search unit 25 calculates the angle of view of the endoscope 1 from the orientation information of the endoscope 1 included in the endoscope position information Ps, and the angle of view wider by a predetermined amount than the angle of view of the endoscope 1. If the position represented by the finding position information Pv of the three-dimensional medical image V exists in the range of, it may be determined that the finding information Kv has been searched.
  • a route for performing endoscopic observation from the three-dimensional medical image V is obtained in advance, and a virtual endoscope image for the obtained route is created to obtain image information.
  • the similarity between the endoscopic image S and the virtual endoscopic image acquired in real time is registered in the database 24, and the similarity is within a predetermined range (for example, the correlation value between the two images is a predetermined threshold value).
  • a predetermined range for example, the correlation value between the two images is a predetermined threshold value.
  • the finding information Kv has been searched.
  • step ST7 If step ST7 is negative, the process proceeds to step ST10.
  • step ST7 the search unit 25 acquires the finding information Kv searched from the image information database 24 (step ST8), and transmits it to the endoscope image display 4.
  • the endoscopic image display 4 displays the finding Kv represented by the finding information Kv together with the endoscopic image S (step ST9).
  • FIGS. 4 and 5 are diagrams for explaining the display of the endoscope image S and the finding information Kv on the endoscope image display 4.
  • the finding information Kv is not searched, only the endoscopic image S is displayed as shown in FIG.
  • the finding Kv is retrieved, the finding Kv is superimposed on the endoscopic image S and displayed as shown in FIG.
  • a three-dimensional medical image V0 that is an image to be interpreted at the position where the finding information Kv is acquired may be displayed together with the finding Kv.
  • step ST10 determines whether or not an operation for instructing the end of observation has been performed. If step ST10 is negative, the process returns to step ST4 and repeats the processes after step ST4. If step ST10 is affirmed, the endoscopic image S (moving image) stored in the memory so far is registered in the image information database 24 (step ST11), and the process is terminated.
  • the endoscope position acquisition unit 21 functions as a communication interface for acquiring endoscope position information Ps representing the endoscope position by communication with the endoscope position detection unit 20, and the acquired endoscope position information Ps. Is converted from the three-dimensional coordinate system of the position sensor 8 into a conversion position Ps ′ expressed by the coordinate values of the three-dimensional coordinate system of the three-dimensional medical image V and stored in a predetermined memory area of the image processing workstation 11. Have In the former communication interface function, endoscope position information Ps is acquired from the endoscope position detection unit 20 on a request basis from the endoscope position acquisition unit 21.
  • the rotation amount of the coordinate axis is determined in advance based on the correspondence relationship between the respective coordinate axes in the three-dimensional coordinate system of the position sensor 8 and the respective coordinate axes in the three-dimensional coordinate system of the three-dimensional medical image V.
  • the coordinate value in the three-dimensional coordinate system of the position sensor 8 of the position in the subject corresponding to the origin of the three-dimensional medical image V is measured in advance, and both are calculated based on the coordinate value of the origin. If the translation amount of the coordinate axis is obtained, the endoscope position information Ps expressed in the three-dimensional coordinate system of the position sensor 8 is obtained by using a matrix for performing the rotation of the rotation amount and the translation of the translation amount.
  • the three-dimensional medical image V can be converted to a conversion position Ps ′ expressed by the coordinate values of the three-dimensional coordinate system.
  • the three-dimensional medical image acquisition unit 22 receives the three-dimensional medical image V from the three-dimensional medical image forming unit 5, stores it in a predetermined memory area of the image processing workstation 11, and associates image information with the interpretation report Rv.
  • a communication interface function registered in the database 24 is provided.
  • the finding acquisition unit 23 receives the interpretation report Rv from the interpretation workstation 9, stores it in a predetermined memory area of the image processing workstation 11, and registers it in the image information database 24 in association with the three-dimensional medical image V. Has an interface function.
  • the image information database 24 stores the endoscope image data S, the static endoscope image data Ss, the accompanying information and the interpretation report Rs, and the three-dimensional medical image data V, the accompanying information and the interpretation report Rv in association with each other. It is possible.
  • the incidental information includes, for example, an image ID for identifying individual images, a patient ID for identifying a subject, an examination ID for identifying examinations, a unique ID (UID) assigned to each piece of image information, and the image Examination date when the information was generated, examination time, type of modality used in the examination to obtain the image information, patient information such as patient name, age, gender, examination site (imaging site), imaging conditions (contrast Information such as the series number or collection number when a plurality of images are acquired in one examination may be included.
  • the search unit 25 receives the converted position Ps ′ from the endoscope position acquisition unit 21 and searches for the finding information Kv associated with the finding position information Pv representing the position corresponding to the converted position Ps ′. In addition, when the finding information Kv is retrieved, it has a communication interface function for transmitting the finding information Kv retrieved from the image information database 24 to the digital processor 2.
  • the endoscope image acquisition unit 26 is a communication interface that receives the endoscope image S through communication with the endoscope image forming unit (digital processor) 2 and stores it in a predetermined memory area of the image processing workstation 11. Yes, an endoscopic image is transferred from the endoscopic image forming unit 2 based on a request from the endoscopic image acquiring unit 26.
  • the three-dimensional medical image forming unit 5 acquires the three-dimensional medical image V of the subject, and the endoscope image forming unit 2 is in the body cavity of the subject.
  • An endoscopic image S in a body cavity imaged by an endoscope inserted into the body is acquired, and finding information Kv indicating the findings about the three-dimensional medical image V and finding position information Pv indicating the position where the finding information Kv is acquired.
  • finding information Kv indicating the findings about the three-dimensional medical image V
  • finding position information Pv indicating the position where the finding information Kv is acquired.
  • This interpretation report Rv is registered in the image information database 24.
  • the endoscopic image forming unit 2 displays the endoscopic image S on the endoscopic image display 4, and the endoscopic position acquisition unit 21 represents the real-time position of the endoscope in the body cavity.
  • the endoscope position information Ps is acquired, and the search unit 25 searches and searches the finding information Kv associated with the finding position information Pv representing the position corresponding to the converted position Ps ′ obtained from the endoscope position information Ps.
  • the finding Kv represented by the finding information Kv is displayed on the endoscope image display 4.
  • the doctor who is the user reaches the position where the endoscope 1 acquires the finding Kv in the three-dimensional medical image V during observation of the endoscopic image S, the doctor in the three-dimensional medical image V
  • the finding Kv acquired in step 1 can be confirmed easily and quickly.
  • the finding Kv is created at an important position when performing endoscopic observation such as surgery or examination using an endoscope such as a position where a lesion is present or a blood vessel such as an artery is present. Can know from the notification of the observation Kv that the endoscope has approached such an important position during the endoscopic observation. Therefore, it is possible to safely and reliably perform surgery and inspection using an endoscope.
  • the observation Kv is notified by being displayed on the endoscope image display 4.
  • the endoscope image forming unit 2 that is, a digital processor
  • An audio output unit 2B composed of a speaker or the like may be provided, and the findings Kv may be output from the audio output unit 2B by voice.
  • the findings Kv may be displayed together with the endoscope image display 4. Further, it may be notified that the finding Kv is displayed by a beep sound or the like.
  • the endoscope when the endoscopic image S is registered in the image information database 24, the endoscope represents the position of the endoscope 1 corresponding to the position associated with the finding information Kv.
  • the position information Ps and the finding information Kv of the three-dimensional medical image V at the position may be associated with the endoscope image S.
  • the findings Ks of the three-dimensional medical image V are displayed. Can be displayed together.
  • FIG. 8 is a block diagram in which the endoscope observation support system according to the second embodiment of the present invention is divided at the functional level.
  • the endoscopic observation support system according to the second embodiment replaces the finding creation unit 9, the finding acquisition unit 23, and the search unit 25 of the endoscopic observation support system according to the first embodiment with respect to the endoscopic image S.
  • the second embodiment is different from the first embodiment in that it includes an observation creation unit 2C that creates an interpretation report Rs, an observation acquisition unit 27 that acquires the interpretation report Rs, a position information acquisition unit 28, and a display control unit 29.
  • the functions of the endoscope image forming unit 2 and the finding creating unit 2C are realized by the digital processor of FIG. 1, and the functions of the three-dimensional medical image forming unit 5 are realized by the modality of FIG.
  • the function 20 is realized by the endoscope marker 7 and the position sensor 8.
  • a broken line frame indicates the image processing workstation 11, and the functions of the processing units in the broken line frame are realized by executing a predetermined program on the image processing workstation 11.
  • FIG. 9 is a flowchart showing processing performed in the endoscope observation support system according to the second embodiment of the present invention.
  • a three-dimensional medical image V is formed by photographing the subject by the three-dimensional medical image forming unit 5.
  • the 3D medical image acquisition unit 22 acquires the 3D medical image V formed by the 3D medical image forming unit 5 (step ST21), and the 3D medical image V is stored in the image information database 24. (Step ST22).
  • the above processing is performed before endoscopic surgery.
  • the endoscopic image forming unit 2 performs a predetermined frame until the observation is completed (Yes in step ST ⁇ b> 32).
  • the endoscope image S by the endoscope 1 inserted into the body cavity at a rate is repeatedly formed, and the formed endoscope image S is displayed on the endoscope image display 4 in real time as a through moving image (step ST23).
  • the endoscope position detection unit 20 repeatedly detects the position of the endoscope 1 inserted into the body cavity in real time at a predetermined time interval and inputs the position to the endoscope image forming unit 2.
  • the endoscopic image S is acquired by the endoscopic image acquisition unit 26 and sequentially stored in a predetermined memory area in the image processing workstation 11.
  • the endoscope image forming unit 2 captures, that is, captures a still image of the displayed endoscope image S0. Then, the static endoscope image Ss is displayed on the endoscope image display 4 (step ST25).
  • the endoscopic image acquisition unit 26 acquires the captured still endoscope image Ss (step ST26) and stores it in a predetermined memory area in the image processing workstation 11. Further, the finding creation unit 2C receives the input of the finding by the doctor, and creates an interpretation report Rs in which the finding information Ks and the endoscope position information Ps indicating the position of the stationary endoscope image Ss to be interpreted are recorded. (Step ST27).
  • the finding acquisition unit 27 acquires the interpretation report Rs created by the finding creation unit 9c, and the position information acquisition unit 28 acquires the endoscope position information Ps recorded in the interpretation report Rs.
  • Step ST28 Further, a conversion position Ps ′ obtained by converting the endoscope position information Ps into a position in the coordinate system of the three-dimensional medical image V is acquired (step ST29).
  • the position information acquisition unit 28 specifies a position corresponding to the conversion position Ps ′ in the three-dimensional medical image V registered in the image information database 24 (step ST30), and interprets the specific position information Pv1 representing the specified position and interpretation.
  • the finding information Ks recorded in the report Rs is associated with each other, and the stationary endoscope image Ss and the interpretation report Rs are associated with each other and registered in the image information database 24 (step ST31). Thereafter, the display of the static endoscopic image Ss on the endoscopic image display 4 is canceled, and the endoscopic image S is displayed again in real time.
  • step ST32 determines whether or not an operation for instructing the end of observation has been performed. If step ST32 is negative, the process returns to step ST23 and repeats the processes after step ST23. If step ST32 is affirmed, the endoscopic image S (moving image) stored in the memory so far is registered in the image information database 24 (step ST33), and the process is terminated.
  • FIG. 10 is a flowchart showing processing at the time of displaying a three-dimensional medical image in the second embodiment.
  • the doctor uses the input device of the image processing workstation 11 to operate the display of the three-dimensional medical image V. Perform (Yes at step ST41).
  • the display control unit 29 displays the three-dimensional medical image V on the display 12 of the image processing workstation 11, and the display control unit 29 specifies the position (PvR) of the three-dimensional medical image V to be displayed from now on. It is determined whether or not it matches the position represented by the position information Pv1 (step ST42).
  • a threshold value that defines the range may be set, and if the position PvR is included in the spatial range defined by the threshold value, it may be determined that they match.
  • the threshold value may be set by the user.
  • step ST42 the display control unit 29 acquires the three-dimensional medical image V at that position from the image information database 24 and displays it on the display 12 (step ST43).
  • the three-dimensional medical image V is displayed on the display 12 by slice images or volume rendering display at a plurality of tomographic positions.
  • step ST42 the display control unit 29 acquires the three-dimensional medical image V and the finding information Ks at the position, and displays the finding Ks represented by the finding information Ks on the display 12 together with the three-dimensional medical image V. (Step ST44).
  • FIGS. 11 and 12 are diagrams for explaining the display of the three-dimensional medical image V and the finding Ks on the display 12.
  • the position PvR does not coincide with the position represented by the specific position information Pv1
  • only the three-dimensional medical image V (here, a slice image of a certain slice plane) is displayed as shown in FIG.
  • the finding Ks is superimposed on the three-dimensional medical image V and displayed as shown in FIG.
  • step ST45 When the doctor changes the display position of the three-dimensional medical image V (Yes at step ST45), the process returns to step ST42, and the processes after step ST42 are repeated. If step ST45 is negative, it is determined whether or not an operation for instructing the end of observation has been performed (step ST46). If step ST46 is negative, the process returns to step ST45. If step ST46 is affirmed, the process ends.
  • the function of the finding creation unit 2C is realized by a digital processor, and as described above, an endoscope position representing the position of the endoscope 1 when obtaining the finding information Ks and the stationary endoscope image Ss to be interpreted. An interpretation report Rs in which information Ps is recorded is created.
  • the finding acquisition unit 27 has a communication interface function for receiving the interpretation report Rs from the digital processor 2 and storing it in a predetermined memory area of the image processing workstation 11.
  • the position information acquisition unit 28 converts the endoscope position information Ps acquired from the interpretation report Rs from the three-dimensional coordinate system of the position sensor 8 to the converted position Ps ′ expressed by the coordinate values of the three-dimensional coordinate system of the three-dimensional medical image V. And a position corresponding to the converted position Ps ′ is specified in the three-dimensional medical image V registered in the image information database 24 and specified.
  • the specific position information Pv1 representing the determined position is registered in the image information database 24 in association with the finding information Ks recorded in the interpretation report Rs.
  • This coordinate conversion function is the same as the function performed by the endoscope position acquisition unit 21 in the first embodiment.
  • the display control unit 29 generates a display screen in which the three-dimensional medical image V and the finding Ks are arranged on one screen, if necessary, and outputs the display screen to the display 12.
  • the endoscope position information Ps representing the position of the endoscope in the body cavity where the finding information creation unit 2C has obtained the findings about the stationary endoscope image Ss and An interpretation report Rs in which the observation information Ks is recorded is created, and the position information acquisition unit 28 identifies and identifies the position on the three-dimensional medical image V corresponding to the endoscope position information Ps recorded in the interpretation report Rv.
  • the specific position information Pv1 representing the position and the finding information Ks are registered in the image information database 24 in association with each other.
  • the position created at the time of observing an endoscope such as surgery or examination using the endoscope 1 is created. Can be confirmed easily and quickly together with the three-dimensional medical image V at the position corresponding to.
  • findings are created at important positions when performing surgery and examinations using an endoscope, such as where there is a lesion in the body cavity of the subject. After the mirror observation, the three-dimensional medical image V for such an important position can be confirmed together with the finding Ks. Therefore, the diagnosis using the three-dimensional medical image V at a position that is important at the time of endoscopic observation can be performed safely and reliably.
  • the observation Ks is notified by being displayed on the display 12.
  • the image processing workstation 11 has an audio output unit (such as a speaker). (Not shown) may be provided, and the observation Ks may be output by voice from the voice output unit.
  • the finding Ks may be displayed together with the display 12. Further, it may be notified that the finding Ks is displayed by a beep sound or the like.
  • the specific position information Pv1 is obtained based on the endoscope position information Ps. Since the endoscope 1 captures a part ahead of the position where the endoscope 1 exists, the position represented by the specific position information Pv1 in the three-dimensional medical image V is a position corresponding to the position. In some cases, a lesion included in the still endoscope image Ss is not included. For this reason, when the finding Ks is displayed while the 3D medical image V is being displayed, the position on the 3D medical image V to which the finding Ks is associated can be edited, and the actual 3D medical image V is displayed. The position where the lesion is visually recognized and the finding Ks may be associated with each other accurately.
  • the specific position information Pv1 in the three-dimensional medical image V is also registered. You may make it do. Further, the specific position information Pv1 in the three-dimensional medical image V may be described in the incidental information of the image data of the static endoscope image Ss. Thereby, when a plurality of still endoscopic images Ss are captured, when the desired still endoscopic image Ss is displayed after or during the operation, it is registered in the image information database 24 or in the accompanying information. With reference to the described specific position information Pv1, it becomes possible to display the three-dimensional medical image V corresponding to the position together with the endoscopic image S.
  • a balloon endoscope in which a balloon is attached to the endoscope 1 and the balloon is inflated in a body cavity to facilitate endoscopic observation.
  • the surrounding organ is deformed so as to expand. Therefore, the shape of the organ included in the three-dimensional medical image V at the corresponding position and the endoscopic image S Does not match the shape of the organs contained in.
  • the endoscopic images S and 3 are used. When the three-dimensional medical image V is displayed at the same time, it appears that the displayed parts do not match.
  • the deformation approximates the three-dimensional medical image V by a set of tetrahedrons, and uses a known finite element method technique to change the tetrahedral mesh structure. Deformation techniques can be used. Thereby, the shape of the organ included in the three-dimensional medical image V can be matched with the shape of the organ included in the endoscopic image S.
  • the three-dimensional medical image V can be deformed during observation using an endoscope. However, if the position where the balloon is inflated is known in advance, the three-dimensional medical image V is displayed before observation. You may make it deform
  • the endoscope image S and the three-dimensional medical image V corresponding to the position being displayed are displayed together to reflect the change in the shape of the organ included in the endoscope image S by inflating the balloon.
  • the three-dimensional medical image V being displayed may be deformed.
  • the position associated with the finding information Kv may be changed.
  • the modality 5 the image interpretation workstation 9 and the image processing workstation 11 are directly connected, but the image storage server is connected on the LAN.
  • the three-dimensional medical image V formed by the modality 5 is temporarily stored in the database of the image storage server, and is read from the image storage server in response to requests from the image interpretation workstation 9 and the image processing workstation 11.
  • the three-dimensional medical image V may be transferred to the workstation 9 and the image processing workstation 11.
  • the endoscope 1 may be a flexible endoscope or a capsule endoscope instead of a rigid endoscope.
  • the modality 5 may use an ultrasonic diagnostic apparatus or an MRI apparatus in addition to the above CT apparatus.
  • the endoscope position detection unit 20 may be a magnetic type, for example, a gyroscope or a rotary encoder described in Japanese Patent Application Laid-Open No. 2005-21353.
  • observation site may be another site of the subject suitable for observation under the endoscope, such as in the chest cavity, not in the abdominal cavity.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Abstract

【課題】例えば内視鏡画像等の医用画像の表示中に、他の医用画像において取得した所見を簡易かつ迅速に確認できるようにする。 【解決手段】３次元医用画像（Ｖ）についての所見を表す所見情報（Ｋｖ）とその所見情報（Ｋｖ）を取得した位置を表す所見位置情報（Ｐｖ）とを対応づけて読影レポート（Ｒｖ）に記録し、読影レポート（Ｒｖ）を画像情報データベース（２４）に登録する。内視鏡画像形成部（２）が、内視鏡画像（Ｓ）をディスプレイ（４）に表示し、内視鏡位置取得部（２１）が、体腔内の内視鏡のリアルタイムの位置を表す内視鏡位置情報（Ｐｓ）を取得し、検索部（２５）が、内視鏡位置情報（Ｐｓ）から得られる変換位置（Ｐｓ'）に対応する位置を表す所見位置情報（Ｐｖ）と対応づけられた所見情報（Ｋｖ）を検索し、検索した所見情報（Ｋｖ）により表される所見（Ｋｖ）をディスプレイ（４）に表示する。

Description

観察支援システムおよび方法並びにプログラム
本発明は、例えば被検体の体腔内に挿入された内視鏡下での手術あるいは検査等における、内視鏡観察を支援する技術に関するものである。
近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むので、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。
一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、とくに大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。そして、仮想内視鏡画像を用いて内視鏡手術あるいは検査等を安全かつ迅速に行うための手法が提案されている。
例えば、特許文献１には、内視鏡観察下において、内視鏡画像では見えない周辺部の仮想内視鏡画像を内視鏡画像に重畳表示することにより、内視鏡手術を支援するための手法が記載されている。また、特許文献２には、気管支等の管路についての仮想内視鏡画像を作成し、仮想内視鏡画像上において管路に沿って目的点までの経路を事前に求めておき、この経路の沿った仮想内視鏡画像を実際の内視鏡観察時における案内画像として使用する手法が提案されている。特許文献１，２に記載された手法によれば、内視鏡画像とともに仮想内視鏡画像を表示することにより、安全かつ迅速に内視鏡観察を行うことができる。
一方、実際の画像診断の現場では、画像診断の依頼元である各診療科の医師（以下、依頼医）と３次元ボリューム画像等の医用画像の読影を専門とする医師（以下、読影医）との連携により診断が行われる。具体的には、依頼医からの検査オーダーに基づいて、放射線技師が患者の撮影を行って医用画像を取得した後、読影医がその医用画像の読影を行い、読影結果をまとめた読影レポートを作成して依頼医に返し、依頼医は、作成された読影レポートに記載された所見を読み、読影レポートを取得した画像を参照しつつ、問診結果や他の検査結果等の種々の情報も考慮して最終的な診断を行っている。また、内視鏡画像を読影して読影レポートを作成することも行われている。なお、読影レポートにはその読影レポートに関連する病変あるいは血管等の位置の情報および所見が記載される。このため、読影レポートを参照することにより、位置情報に基づいて病変等が含まれる位置の医用画像とともに所見を確認することが可能となる。
特開２００６－１９８０３２号公報 特開２０００－１３５２１５号公報
しかしながら、上記特許文献１，２に記載された手法を用いての内視鏡観察中に、仮想内視鏡画像を作成するために取得した３次元ボリューム画像等についての所見を確認したい場合には、別途読影レポートに記載されている所見を表示する必要がある。このため、内視鏡観察中は所見を迅速に確認することができない。また、内視鏡観察中に得た内視鏡画像についての所見を、内視鏡観察後においても容易に確認できるようにすることが望ましい。
本発明は上記事情に鑑みなされたものであり、例えば内視鏡画像、３次元医用画像等のある医用画像の表示中に、他の医用画像において取得した所見を簡易かつ迅速に確認できるようにすることを目的とする。
本発明による第１の観察支援システムは、被検体の３次元医用画像を取得する第１の画像取得手段と、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
前記内視鏡画像を表示する表示手段と、
前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶する記憶手段と、
前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知する通知手段とを備えたことを特徴とするものである。
「所定範囲内に位置する」とは、第１の位置情報により表される位置と完全に一致する場合も含む。
なお、本発明による第１の観察支援システムにおいては、前記通知手段を、前記表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段としてもよい。
また、本発明による第１の観察支援システムにおいては、前記表示手段を、前記所見の通知がなされると、通知する所見を取得した位置における前記３次元医用画像を表示する手段としてもよい。
本発明による第２の観察支援システムは、被検体の３次元医用画像を取得する第１の画像取得手段と、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
前記内視鏡画像を表示する表示手段と、
前記体腔内の少なくとも１つの位置についての所見を取得する所見取得手段と、
該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶する記憶手段とを備えたことを特徴とするものである。
なお、本発明による第２の観察支援システムにおいては、前記特定位置情報により表される位置における前記３次元医用画像を表示する他の表示手段と、
前記特定位置情報により表される位置の前記３次元医用画像を前記他の表示手段に表示する際に、該位置に対応づけられた前記所見を通知する通知手段とをさらに備えるものとしてもよい。
また、本発明による第２の観察支援システムにおいては、前記通知手段を、前記他の表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段としてもよい。
また、本発明による第２の観察支援システムにおいては、前記他の表示手段を、前記所見の通知がなされると、通知する所見を取得した位置における前記内視鏡画像を表示する手段としてもよい。
本発明による第１の観察支援方法は、被検体の３次元医用画像を取得するステップと、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
前記内視鏡画像を表示するステップと、
前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶するステップと、
前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得するステップと、
前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知するステップとを有することを特徴とするものである。
本発明による第２の観察支援方法は、被検体の３次元医用画像を取得するステップと、
前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
前記内視鏡画像を表示するステップと、
前記体腔内の少なくとも１つの位置についての所見を取得するステップと、
該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得するステップと、
前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶するステップとを有することを特徴とするものである。
なお、本発明による第１および第２の観察支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明の第１の観察支援システムおよび方法によれば、被検体の３次元医用画像が取得され、被検体の体腔内に挿入された内視鏡により撮影した、体腔内の内視鏡画像が取得される。そして、３次元医用画像についての少なくとも１つの所見が、３次元医用画像内における所見を得た位置を表す所見位置情報と対応づけられて記憶される。一方、内視鏡画像が表示され、体腔内の内視鏡のリアルタイムの位置を表す内視鏡位置情報が取得され、内視鏡位置情報により表される位置が、所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に所見が通知される。このため、ユーザである医師は内視鏡画像の観察中に、内視鏡が３次元医用画像内における所見を取得した位置の近くに到達した際に、３次元医用画像内において取得した所見を簡易かつ迅速に確認できる。とくに、所見は、病変がある位置あるいは動脈等の血管がある位置等の内視鏡を用いての手術、検査等の内視鏡観察を行うに際して重要な位置において作成されるため、ユーザである医師は、内視鏡観察を行っている最中に、そのような重要な位置に内視鏡が近づいたことを所見の通知により知ることができる。したがって、内視鏡を用いての手術、検査を安全かつ確実に行うことができる。
また、所見の通知とともに、通知する所見を取得した位置における３次元医用画像を表示することにより、医師は重要な位置における３次元医用画像をも参照して、内視鏡観察を行うことができる。したがって、内視鏡観察をより精度良く行うことができる。
また、本発明の第２の観察支援システムおよび方法によれば、被検体の３次元医用画像が取得され、被検体の体腔内に挿入された内視鏡により撮影した、体腔内の内視鏡画像が取得される。そして、内視鏡画像が表示され、体腔内の少なくとも１つの位置についての所見が取得され、所見を得た体腔内の内視鏡の位置を表す内視鏡位置情報が取得される。さらに、内視鏡位置情報に対応する３次元医用画像内における位置が特定され、特定された位置を表す特定位置情報と所見とが対応づけられて記憶される。
このため、医師は、３次元医用画像を観察する際に、内視鏡を用いての手術、検査等の内視鏡観察時に作成された所見を、その所見を作成した位置に対応する位置の３次元医用画像とともに簡易かつ迅速に確認することができる。とくに、所見は、被検体の体腔内の病変がある位置等の内視鏡を用いての手術、検査を行うに際して重要な位置において作成されるため、医師は、内視鏡観察中あるいは内視鏡観察後に、そのような重要な位置についての３次元医用画像を所見とともに確認することができる。したがって、３次元医用画像を用いての、内視鏡観察時に重要であるとされた位置における診断を安全かつ確実に行うことができる。
また、所見の通知とともに、通知する所見を取得した位置における内視鏡画像を表示することにより、医師は重要な位置における内視鏡画像をも参照して、３次元医用画像を用いた診断を行うことができる。したがって、３次元医用画像を用いた診断をより精度良く行うことができる。
本発明の第１の実施形態による内視鏡観察支援システムの概要を示すハードウェア構成図 本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図 本発明の第１の実施形態において行われる処理を示すフローチャート 内視鏡画像用ディスプレイにおける内視鏡画像および所見の表示を説明するための図 内視鏡画像用ディスプレイにおける内視鏡画像および所見の表示を説明するための図 内視鏡画像用ディスプレイにおける内視鏡画像および所見の表示を説明するための図 本発明の第１の実施形態の変形例における内視鏡観察支援システムを機能レベルで分割したブロック図 本発明の第２の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図 本発明の第２の実施形態において行われる処理を示すフローチャート（その１） 本発明の第１の実施形態において行われる処理を示すフローチャート（その２） 画像処理ワークステーション用ディスプレイにおける３次元医用画像および所見の表示を説明するための図 画像処理ワークステーション用ディスプレイにおける３次元医用画像および所見の表示を説明するための図 画像処理ワークステーション用ディスプレイにおける３次元医用画像および所見の表示を説明するための図
以下、本発明の実施形態による内視鏡観察支援システムについて説明する。図１は、本発明の第１の実施形態による内視鏡観察支援システムの概要を示すハードウェア構成図である。図１に示すように、本発明の第１の実施形態による内視鏡観察支援システムは、内視鏡１、デジタルプロセッサ２、光源装置３、内視鏡画像用ディスプレイ４、モダリティ５、内視鏡用マーカー７、位置センサ８、読影ワークステーション９、読影ワークステーション用ディスプレイ１０（以下単にディスプレイ１０とすることもある）、画像処理ワークステーション１１、画像処理ワークステーション用ディスプレイ１２（以下単位ディスプレイ１２とすることもある）から構成されており、被検体の腹腔内に内視鏡１および処置具６を挿入して、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術を行う際の内視鏡の観察を支援するためのものである。
本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行うことにより、内視鏡画像データＳを取得し、内視鏡画像Ｓを内視鏡画像用ディスプレイ４に表示する。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、内視鏡画像用ディスプレイ４には、内視鏡画像Ｓが腹腔内を表す動画として表示される。
また、デジタルプロセッサ２は、キーボード等の入力装置２Ａを備えており、内視鏡画像用ディスプレイ４に動画として表示された内視鏡画像Ｓにおいて病変等が観察された場合に、ユーザである医師が入力装置２Ａを用いて、静止画撮影を行うことが可能となっている。また、医師が静止画撮影により取得した静止画の内視鏡画像（静止内視鏡画像）Ｓｓを読影することにより、静止内視鏡画像Ｓｓに対する所見を入力することも可能となっている。この際、デジタルプロセッサ２は、読影レポートの作成を支援するレポート作成画面をディスプレイ４に表示し、読影に基づいて行った所見等の内容を示すテキスト（以下、所見情報Ｋｓとする）が入力されたときに、所見情報Ｋｓおよび読影の対象とされた静止内視鏡画像Ｓｓを撮影した際の内視鏡１の位置を表す内視鏡位置情報Ｐｓを記録した読影レポートＲｓを作成する。なお、読影レポートＲｓには、所見を作成した位置の静止内視鏡画像Ｓｓを記録してもよい。
また、所見の入力は入力装置２Ａのみならず音声を用いてもよい。また、内視鏡画像用ディスプレイ４がタッチパネル式の入力装置となっている場合には、タッチパネル式の入力装置を用いて入力してもよい。また、医師のみならず手術のアシスタント（看護士）が入力するようにしてもよい。これにより、手術中における医師の負担を軽減できる。デジタルプロセッサ２は、作成した読影レポートＲｓをＬＡＮ経由で画像処理ワークステーション１１に送信する。
また、静止内視鏡画像Ｓｓが複数あるときは、読影レポートＲｓには、静止内視鏡画像毎に所見情報Ｋｓおよび内視鏡位置情報Ｐｓが対応づけられて記録される。
なお、デジタルプロセッサ２は、内視鏡画像Ｓを表す内視鏡画像データＳおよび静止内視鏡画像Ｓｓを表す静止内視鏡画像データＳｓにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、内視鏡画像データＳおよび静止内視鏡画像データＳｓを出力する。出力された静止内視鏡画像データＳｓは、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１１に送信される。
モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データＶを生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データＶにもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データＶも、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で読影ワークステーション９および画像処理ワークステーション１１に送信される。
読影ワークステーション９は、モダリティ５から受け取った３次元医用画像Ｖをディスプレイ１０に表示して、読影医による読影に供する。さらに、読影ワークステーション９は、読影レポートの作成を支援するレポート作成画面をディスプレイ１０に表示し、読影に基づいて所見等の内容を示すテキスト（以下、所見情報Ｋｖとする）が入力されたときに、所見情報Ｋｖおよび３次元医用画像Ｖ内における所見を取得した位置を表す所見位置情報Ｐｖを記録した読影レポートＲｖを作成する。なお、読影レポートＲｖには、３次元医用画像Ｖの所見情報Ｋｖを作成した位置における画像（以下、読影対象画像）を記録してもよい。なお、読影を行って所見を作成した箇所が複数あるときは、読影レポートＲｖには、読影毎に所見情報Ｋｖおよび所見位置情報Ｐｖが対応づけられて記録される。読影ワークステーション９は、生成した読影レポートを、ＬＡＮ経由で画像処理ワークステーション１１に送信する。
なお、読影ワークステーション９においては、例えば特開２００４－１３５８６７号公報に記載されたようなアイリスフィルタを用いた異常陰影候補検出手法に代表される、計算機支援診断(CAD:Computer Aided Diagnosis) システムを用いて、３次元医用画像Ｖから病変を自動的に検出し、病変が含まれる部分の３次元医用画像Ｖをディスプレイ１０に表示して読影に供するようにしてもよい。
内視鏡用マーカー７および位置センサ８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー７は内視鏡１の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔でマーカー７の３次元位置が検出される。内視鏡用マーカー７は、複数のマーカー片から構成されているため、位置センサ８はマーカー片の位置関係から内視鏡１の向きも検出可能であり、オフセット計算によって、内視鏡１の先端部の３次元位置を算出することができる。位置センサ８は、算出された内視鏡１の３次元位置および向きを表す内視鏡位置情報Ｐｓを、ＵＳＢインターフェースを介してデジタルプロセッサ２および画像処理ワークステーション１１に送信する。
画像処理ワークステーション１１は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）およびディスプレイ１０が接続されている。また、画像処理ワークステーション１１は、デジタルプロセッサ２、モダリティ５および読影ワークステーション９とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１１は、周知のオペレーティングシステムおよび各種アプリケーション・ソフトウェア等がインストールされたものであり、本実施形態の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ－ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
なお、画像処理ワークステーション１１は、内視鏡手術を行う手術室または手術室に隣接する控え室に設置されており、手術中または手術後に医師が適宜情報を確認可能なようになっている。
図２は本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図２に示すように、本発明の第１の実施形態による内視鏡観察支援システムは、内視鏡１、内視鏡画像形成部２、内視鏡画像用ディスプレイ４、３次元医用画像形成部５、所見作成部９、内視鏡位置検出部２０、内視鏡位置取得部２１、３次元医用画像取得部２２、所見取得部２３、画像情報データベース２４、検索部２５および内視鏡画像取得部２６から構成されている。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現され、所見作成部９の機能は図１の読影ワークステーションによって実現される。一方、内視鏡位置検出部２０の機能は、内視鏡用マーカー７および位置センサ８によって実現される。また、破線枠は画像処理ワークステーション１１を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１１で所定のプログラムを実行することによって実現される。
次に、第１の実施形態において行われる処理について説明する。図３は本発明の第１の実施形態による内視鏡観察支援システムで行われる処理を示すフローチャートである。
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の撮影によって３次元医用画像Ｖが形成される。また、所見作成部９において、読影医による３次元医用画像Ｖの読影が行われ、３次元医用画像Ｖについての所見情報Ｋｖおよびその所見情報Ｋｖを取得した３次元医用画像Ｖ上の位置を表す所見位置情報Ｐｖが記録された読影レポートＲｖが作成される。
画像処理ワークステーション１１では、３次元医用画像取得部２２が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得し（ステップＳＴ１）、さらに所見取得部２３が、所見作成部９によって作成された読影レポートＲｖを取得する（ステップＳＴ２）。３次元医用画像Ｖおよび読影レポートＲｖは、互いに対応づけられて画像情報データベース２４に登録される（ステップＳＴ３）。以上の処理は、内視鏡下手術の前に行われる。
そして、内視鏡下手術中、すなわち内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで（ステップＳＴ１０肯定）、内視鏡画像形成部２は、所定のフレームレートで体腔内に挿入された内視鏡１による内視鏡画像Ｓを繰り返し形成し、形成された内視鏡画像Ｓを内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示する（ステップＳＴ４）。なお、内視鏡画像Ｓは内視鏡画像取得部２６により取得され、画像処理ワークステーション１１内の所定のメモリ領域に逐次格納される。また、内視鏡位置検出部２０は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置を繰り返しリアルタイムに検出する。
画像処理ワークステーション１１では、内視鏡位置取得部２１が、内視鏡位置検出部２０で検出された内視鏡１の位置を表す内視鏡位置情報Ｐｓを取得し（ステップＳＴ５）、内視鏡位置情報Ｐｓを３次元医用画像Ｖの座標系における位置に変換して得られた変換位置Ｐｓ′を取得する（ステップＳＴ６）。
そして検索部２５が、画像情報データベース２４における同一被検体の３次元医用画像Ｖについての読影レポートＲｖを参照し、変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索する（ステップＳＴ７）。この場合、変換位置Ｐｓ′と所見位置情報Ｐｖにより表される位置とが完全に一致したときに検索されたと判定してもよいが、所見位置情報Ｐｖにより表される位置を基準とした所定の空間的な範囲を定めるしきい値を設定し、このしきい値により定められる空間的な範囲内に変換位置Ｐｓ′が含まれている場合に、所見情報Ｋｖが検索されたと判定するようにしてもよい。なお、しきい値はユーザが設定できるようにすればよい。
また、内視鏡位置情報Ｐｓには内視鏡１の向きも含まれているため、内視鏡１の向きから内視鏡の画角を求めることができる。したがって、検索部２５は、内視鏡位置情報Ｐｓに含まれる内視鏡１の向きの情報から内視鏡１の画角を算出し、内視鏡１の画角よりも所定量広い画角の範囲に３次元医用画像Ｖの所見位置情報Ｐｖにより表される位置が存在する場合に、所見情報Ｋｖが検索されたと判定するようにしてもよい。
また、上記特許文献２に記載された手法を用いて、３次元医用画像Ｖから内視鏡観察を行う際の経路をあらかじめ求め、求めた経路についての仮想内視鏡画像を作成して画像情報データベース２４に登録しておき、リアルタイムで取得した内視鏡画像Ｓと仮想内視鏡画像との類似度を算出し、類似度が所定範囲（例えば２つの画像の相関値が所定のしきい値以内）となった仮想内視鏡画像内の位置を検出し、その位置が所見位置情報Ｐｖにより表される位置を基準とした所定のしきい値により定められる空間的な範囲内に含まれたときに、所見情報Ｋｖが検索されたと判定するようにしてもよい。
ステップＳＴ７が否定されると、ステップＳＴ１０の処理に進む。ステップＳＴ７が肯定されると、検索部２５は画像情報データベース２４から検索した所見情報Ｋｖを取得し（ステップＳＴ８）、内視鏡画像用ディスプレイ４に送信する。内視鏡画像用ディスプレイ４は、所見情報Ｋｖにより表される所見Ｋｖを内視鏡画像Ｓとともに表示する（ステップＳＴ９）。
図４および図５は、内視鏡画像用ディスプレイ４における内視鏡画像Ｓおよび所見情報Ｋｖの表示を説明するための図である。所見情報Ｋｖが検索されていないときには、図４に示すように内視鏡画像Ｓのみが表示されている。一方、所見情報Ｋｖが検索されると、図５に示すように所見Ｋｖが内視鏡画像Ｓに重畳されて表示される。なお、図６に示すように、所見情報Ｋｖを取得した位置における読影対象画像である３次元医用画像Ｖ０を所見Ｋｖとともに表示してもよい。
続いて、画像処理ワークステーション１１では、観察終了を指示する操作がなされたか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が否定されるとステップＳＴ４に戻り、ステップＳＴ４以降の処理を繰り返す。ステップＳＴ１０が肯定されると、それまでにメモリに格納した内視鏡画像Ｓ（動画）を画像情報データベース２４に登録し（ステップＳＴ１１）、処理を終了する。
次に、第１の実施形態における画像処理ワークステーション１１内の各処理部で行われる処理の詳細について説明する。
内視鏡位置取得部２１は、内視鏡位置検出部２０との通信により内視鏡位置を表す内視鏡位置情報Ｐｓを取得する通信インターフェースとしての機能と、取得した内視鏡位置情報Ｐｓを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された変換位置Ｐｓ′に変換して画像処理ワークステーション１１の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部２１からの要求ベースで内視鏡位置検出部２０から内視鏡位置情報Ｐｓが取得される。また、後者の座標変換機能では、位置センサ８の３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量をあらかじめ求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値をあらかじめ計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡位置情報Ｐｓを３次元医用画像Ｖの３次元座標系の座標値で表現された変換位置Ｐｓ′に変換することができる。
３次元医用画像取得部２２は、３次元医用画像形成部５から３次元医用画像Ｖを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納するとともに、読影レポートＲｖと対応づけて画像情報データベース２４に登録する通信インターフェース機能を有する。
所見取得部２３は、読影ワークステーション９から読影レポートＲｖを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納するとともに、３次元医用画像Ｖと対応づけて画像情報データベース２４に登録する通信インターフェース機能を有する。
画像情報データベース２４は、内視鏡画像データＳ、静止内視鏡画像データＳｓ、その付帯情報および読影レポートＲｓ、並びに３次元医用画像データＶ、その付帯情報および読影レポートＲｖを対応づけて記憶することが可能となっている。付帯情報は、例えば、個々の画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、画像情報毎に割り振られるユニークなＩＤ（ＵＩＤ）、その画像情報が生成された検査日、検査時刻、その画像情報を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無や、放射線量等）、１回の検査で複数の画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。
検索部２５は、内視鏡位置取得部２１から変換位置Ｐｓ′を受け取り、変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索する。また、所見情報Ｋｖが検索された場合には、画像情報データベース２４から検索された所見情報Ｋｖをデジタルプロセッサ２に送信する通信インターフェース機能を有する。
内視鏡画像取得部２６は、内視鏡画像形成部（デジタルプロセッサ）２との通信により、内視鏡画像Ｓを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納する通信インターフェースであり、内視鏡画像取得部２６からの要求に基づいて内視鏡画像形成部２から内視鏡画像が転送される。
このように、本発明の第１の実施形態においては、３次元医用画像形成部５が、被検体の３次元医用画像Ｖを取得し、内視鏡画像形成部２が、被検体の体腔内に挿入された内視鏡により撮影した体腔内の内視鏡画像Ｓを取得し、３次元医用画像Ｖについての所見を表す所見情報Ｋｖとその所見情報Ｋｖを取得した位置を表す所見位置情報Ｐｖとを対応づけて読影レポートＲｖに記録し、この読影レポートＲｖを画像情報データベース２４に登録するようにしたものである。そして、内視鏡画像形成部２が、内視鏡画像Ｓを内視鏡画像用ディスプレイ４に表示し、内視鏡位置取得部２１が、体腔内の内視鏡のリアルタイムの位置を表す内視鏡位置情報Ｐｓを取得し、検索部２５が、内視鏡位置情報Ｐｓから得られる変換位置Ｐｓ′に対応する位置を表す所見位置情報Ｐｖと対応づけられた所見情報Ｋｖを検索し、検索した所見情報Ｋｖにより表される所見Ｋｖを内視鏡画像用ディスプレイ４に表示するようにしたものである。
このため、ユーザである医師は内視鏡画像Ｓの観察中に、内視鏡１が３次元医用画像Ｖ内における所見Ｋｖを取得した位置の近くに到達した際に、３次元医用画像Ｖ内において取得した所見Ｋｖを簡易かつ迅速に確認できる。とくに、所見Ｋｖは、病変がある位置、あるいは動脈等の血管がある位置等の内視鏡を用いての手術、検査等の内視鏡観察を行うに際して重要な位置において作成されるため、医師は、内視鏡観察を行っている最中に、そのような重要な位置に内視鏡が近づいたことを所見Ｋｖの通知により知ることができる。したがって、内視鏡を用いての手術、検査を安全かつ確実に行うことができる。
なお、上記第１の実施形態においては、所見Ｋｖを内視鏡画像用ディスプレイ４に表示することにより通知しているが、図７に示すように内視鏡画像形成部２（すなわちデジタルプロセッサ）にスピーカー等からなる音声出力部２Ｂを設け、音声出力部２Ｂから所見Ｋｖを音声により出力することにより通知してもよい。この際、所見Ｋｖを内視鏡画像用ディスプレイ４に併せて表示するようにしてもよい。さらに、ビープ音等により所見Ｋｖが表示されたことを通知するようにしてもよい。
また、上記第１の実施形態においては、内視鏡画像Ｓを画像情報データベース２４に登録する際に、所見情報Ｋｖに対応づけられた位置に対応する内視鏡１の位置を表す内視鏡位置情報Ｐｓおよびその位置における３次元医用画像Ｖの所見情報Ｋｖを、内視鏡画像Ｓと対応づけるようにしてもよい。これにより、後で内視鏡画像Ｓを表示した際に、表示される内視鏡画像Ｓが内視鏡位置情報Ｐｓにより表される位置に近づいた際に、３次元医用画像Ｖの所見Ｋｓを併せて表示することが可能となる。
次いで、本発明の第２の実施形態について説明する。なお、本発明の第２の実施形態による内視鏡観察支援システムのハードウェア構成は、第１の実施形態による内視鏡観察支援システムのハードウェア構成と同一であるためここでは詳細な説明は省略する。図８は本発明の第２の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。なお、図８において図２と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による内視鏡観察支援システムは、第１の実施形態による内視鏡観察支援システムの所見作成部９、所見取得部２３および検索部２５に代えて、内視鏡画像Ｓについての読影レポートＲｓを作成する所見作成部２Ｃ、読影レポートＲｓを取得する所見取得部２７、位置情報取得部２８、および表示制御部２９を備えた点が第１の実施形態と異なる。
なお、図１に示したハードウェア機器と図８に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、内視鏡画像形成部２および所見作成部２Ｃの機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現され、内視鏡位置検出部２０の機能は、内視鏡用マーカー７および位置センサ８によって実現される。また、破線枠は画像処理ワークステーション１１を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１１で所定のプログラムを実行することによって実現される。
次に、第２の実施形態において行われる処理について説明する。図９は本発明の第２の実施形態による内視鏡観察支援システムで行われる処理を示すフローチャートである。
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の撮影により、３次元医用画像Ｖが形成される。画像処理ワークステーション１１では、３次元医用画像取得部２２が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得し（ステップＳＴ２１）、３次元医用画像Ｖを画像情報データベース２４に登録する（ステップＳＴ２２）。以上の処理は、内視鏡下手術の前に行われる。
そして、内視鏡下手術中、すなわち内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで（ステップＳＴ３２肯定）、内視鏡画像形成部２は、所定のフレームレートで体腔内に挿入された内視鏡１による内視鏡画像Ｓを繰り返し形成し、形成された内視鏡画像Ｓを内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示する（ステップＳＴ２３）。また、内視鏡位置検出部２０は、所定の時間間隔で、体腔内に挿入された内視鏡１の位置を繰り返しリアルタイムに検出し、内視鏡画像形成部２に入力する。なお、内視鏡画像Ｓは内視鏡画像取得部２６により取得され、画像処理ワークステーション１１内の所定のメモリ領域に逐次格納される。
そして、デジタルプロセッサ２においてユーザである医師による所見入力の操作が行われると（ステップＳＴ２４肯定）、内視鏡画像形成部２が、表示中の内視鏡画像Ｓ０の静止画像を撮影、すなわちキャプチャして、静止内視鏡画像Ｓｓを内視鏡画像用ディスプレイ４に表示する（ステップＳＴ２５）。また、内視鏡画像取得部２６は、キャプチャされた静止内視鏡画像Ｓｓを取得し（ステップＳＴ２６）、画像処理ワークステーション１１内の所定のメモリ領域に格納する。さらに、所見作成部２Ｃは、医師による所見の入力を受け付け、所見情報Ｋｓおよび読影の対象とされた静止内視鏡画像Ｓｓの位置を表す内視鏡位置情報Ｐｓを記録した読影レポートＲｓを作成する（ステップＳＴ２７）。
画像処理ワークステーション１１では、所見取得部２７が所見作成部９ｃによって作成された読影レポートＲｓを取得して、位置情報取得部２８が読影レポートＲｓに記録された内視鏡位置情報Ｐｓを取得し（ステップＳＴ２８）、さらに内視鏡位置情報Ｐｓを３次元医用画像Ｖの座標系における位置に変換して得られた変換位置Ｐｓ′を取得する（ステップＳＴ２９）。
そして位置情報取得部２８が、画像情報データベース２４に登録された３次元医用画像Ｖにおいて、変換位置Ｐｓ′に対応する位置を特定し（ステップＳＴ３０）、特定した位置を表す特定位置情報Ｐｖ１と読影レポートＲｓに記録された所見情報Ｋｓとを対応づけ、さらに静止内視鏡画像Ｓｓと読影レポートＲｓとを対応づけて画像情報データベース２４に登録する（ステップＳＴ３１）。この後、内視鏡画像用ディスプレイ４への静止内視鏡画像Ｓｓの表示が解除され、内視鏡画像Ｓがリアルタイムで再度表示されることとなる。
続いて、画像処理ワークステーション１１は、観察終了を指示する操作がなされたか否かを判定し（ステップＳＴ３２）、ステップＳＴ３２が否定されるとステップＳＴ２３に戻り、ステップＳＴ２３以降の処理を繰り返す。ステップＳＴ３２が肯定されると、それまでにメモリに格納した内視鏡画像Ｓ（動画）を画像情報データベース２４に登録し（ステップＳＴ３３）、処理を終了する。
図１０は第２の実施形態における３次元医用画像の表示時の処理を示すフローチャートである。内視鏡手術後または手術中に、確認等のために３次元医用画像Ｖを医師が観察する場合、医師は画像処理ワークステーション１１の入力装置を用いて３次元医用画像Ｖの表示の操作を行う（ステップＳＴ４１肯定）。これにより、表示制御部２９が画像処理ワークステーション１１のディスプレイ１２に３次元医用画像Ｖを表示するが、表示制御部２９は、これから表示する３次元医用画像Ｖの位置（ＰｖＲとする）が特定位置情報Ｐｖ１により表される位置と一致するか否かを判定する（ステップＳＴ４２）。
この場合、位置ＰｖＲと特定位置情報Ｐｖ１により表される位置とが完全に一致したときに一致すると判定してもよいが、特定位置情報Ｐｖ１により表される位置を基準とした所定の空間的な範囲を定めるしきい値を設定し、このしきい値により定められる空間的な範囲内に位置ＰｖＲが含まれている場合には、一致すると判定するようにしてもよい。なお、しきい値はユーザが設定できるようにすればよい。
ステップＳＴ４２が否定されると、表示制御部２９はその位置の３次元医用画像Ｖを画像情報データベース２４から取得してディスプレイ１２に表示する（ステップＳＴ４３）。なお、３次元医用画像Ｖは、複数の断層位置でのスライス画像あるいはボリュームレンダリング表示等により、ディスプレイ１２に表示される。ステップＳＴ４２が肯定されると、表示制御部２９は、その位置の３次元医用画像Ｖおよび所見情報Ｋｓを取得し、所見情報Ｋｓにより表される所見Ｋｓを３次元医用画像Ｖとともにディスプレイ１２に表示する（ステップＳＴ４４）。
図１１および図１２は、ディスプレイ１２における３次元医用画像Ｖおよび所見Ｋｓの表示を説明するための図である。位置ＰｖＲが特定位置情報Ｐｖ１により表される位置と一致しないときには、図１１に示すように３次元医用画像Ｖ（ここではあるスライス面のスライス画像）のみが表示されている。一方、位置ＰｖＲが特定位置情報Ｐｖ１により表される位置と一致する場合、図１２に示すように、所見Ｋｓが３次元医用画像Ｖに重畳されて表示される。なお、図１３に示すように、所見情報Ｋｓを取得した位置における静止内視鏡画像Ｓｓを所見Ｋｓとともに表示してもよい。
そして、医師により３次元医用画像Ｖの表示位置の変更操作がなされると（ステップＳＴ４５肯定）、ステップＳＴ４２に戻り、ステップＳＴ４２以降の処理を繰り返す。ステップＳＴ４５が否定されると、観察終了を指示する操作がなされたか否かを判定し（ステップＳＴ４６）、ステップＳＴ４６が否定されるとステップＳＴ４５に戻る。ステップＳＴ４６が肯定されると処理を終了する。
次に、第２の実施形態における画像処理ワークステーション１１内の各処理部で行われる処理の詳細について説明する。
所見作成部２Ｃの機能はデジタルプロセッサにより実現され、上述したように所見情報Ｋｓおよび読影の対象とされた静止内視鏡画像Ｓｓを取得した際の内視鏡１の位置を表す内視鏡位置情報Ｐｓを記録した読影レポートＲｓを作成する。
所見取得部２７は、デジタルプロセッサ２から読影レポートＲｓを受信し、画像処理ワークステーション１１の所定のメモリ領域に格納する通信インターフェース機能を有する。
位置情報取得部２８は、読影レポートＲｓから取得した内視鏡位置情報Ｐｓを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された変換位置Ｐｓ′に変換して画像処理ワークステーション１１の所定のメモリ領域に格納する機能を有するとともに、変換位置Ｐｓ′に対応する位置を、画像情報データベース２４に登録された３次元医用画像Ｖにおいて特定し、特定した位置を表す特定位置情報Ｐｖ１を、読影レポートＲｓに記録された所見情報Ｋｓと対応づけて画像情報データベース２４に登録する機能を有する。なお、この座標変換機能は、第１の実施形態において内視鏡位置取得部２１が行う機能と同一である。
表示制御部２９は、３次元医用画像Ｖおよび必要な場合には所見Ｋｓを１画面に並べた表示画面を生成し、ディスプレイ１２に出力する。
このように、本発明の第２の実施形態においては、所見情報作成部２Ｃが静止内視鏡画像Ｓｓについての所見を得た体腔内の内視鏡の位置を表す内視鏡位置情報Ｐｓと所見情報Ｋｓとを記録した読影レポートＲｓを作成し、位置情報取得部２８が、読影レポートＲｖに記録された内視鏡位置情報Ｐｓに対応する３次元医用画像Ｖ上の位置を特定し、特定された位置を表す特定位置情報Ｐｖ１と所見情報Ｋｓとを対応づけて画像情報データベース２４に登録するようにしたものである。
このため、ユーザである医師は、３次元医用画像Ｖを観察する際に、内視鏡１を用いての手術、検査等の内視鏡観察時に作成された所見を、その所見を作成した位置に対応する位置の３次元医用画像Ｖとともに簡易かつ迅速に確認することができる。とくに、所見は、被検体の体腔内の病変がある位置等の内視鏡を用いての手術、検査を行うに際して重要な位置において作成されるため、医師は、内視鏡観察中あるいは内視鏡観察後に、そのような重要な位置についての３次元医用画像Ｖを所見Ｋｓとともに確認することができる。したがって、内視鏡観察時に重要であるとされた位置における３次元医用画像Ｖを用いての診断を安全かつ確実に行うことができる。
なお、上記第２の実施形態においては、所見Ｋｓをディスプレイ１２に表示することにより通知しているが、第１の実施形態と同様に、画像処理ワークステーション１１にスピーカー等からなる音声出力部（不図示）を設け、音声出力部から所見Ｋｓを音声により出力することにより通知してもよい。この際、所見Ｋｓをディスプレイ１２に併せて表示するようにしてもよい。さらに、ビープ音等により所見Ｋｓが表示されたことを通知するようにしてもよい。
また、上記第２の実施形態において、特定位置情報Ｐｖ１は内視鏡位置情報Ｐｓに基づいて求められている。内視鏡１は、それが存在する位置よりも先にある部位を撮影するものであるため、３次元医用画像Ｖ内の特定位置情報Ｐｖ１により表される位置には、その位置に対応する位置の静止内視鏡画像Ｓｓに含まれる病変等が含まれない場合がある。このため、３次元医用画像Ｖの表示中において所見Ｋｓを表示した際に、所見Ｋｓが対応づけられている３次元医用画像Ｖ上の位置を編集できるようにし、３次元医用画像Ｖ上において実際に病変が視認される位置と所見Ｋｓとを正確に対応づけられるようにしてもよい。
また、上記第２の実施形態においては、静止内視鏡画像Ｓｓと読影レポートＲｓとを対応づけて画像情報データベース２４に登録する際に、３次元医用画像Ｖにおける特定位置情報Ｐｖ１を併せて登録するようにしてもよい。また、静止内視鏡画像Ｓｓの画像データの付帯情報に、３次元医用画像Ｖにおける特定位置情報Ｐｖ１を記述するようにしてもよい。これにより、複数の静止内視鏡画像Ｓｓがキャプチャされた場合において、所望とする静止内視鏡画像Ｓｓを術後または術中に表示する際に、画像情報データベース２４に登録されたあるいは付帯情報に記述された特定位置情報Ｐｖ１を参照して、その位置に対応する３次元医用画像Ｖを内視鏡画像Ｓとともに表示することが可能となる。
ところで、内視鏡１にはバルーンが取り付けられ、体腔内でバルーンを膨らませることにより、内視鏡観察を容易にしたバルーン内視鏡が知られている。このようなバルーン内視鏡を体腔内で膨らませると、その周辺の臓器が拡張するように変形するため、対応する位置の３次元医用画像Ｖに含まれる臓器の形状と、内視鏡画像Ｓに含まれる臓器の形状とが一致しなくなる。このように３次元医用画像Ｖに含まれる臓器の形状と、内視鏡画像に含まれる臓器の形状とが一致しないと、上記第１および第２の実施形態において、内視鏡画像Ｓと３次元医用画像Ｖとを同時に表示した際に、表示されている部位が一致しないように見えてしまう。
このため、バルーン内視鏡を用いての観察下においては、膨らませたバルーンの大きさの情報に基づいて、３次元医用画像Ｖにおける変換位置Ｐｓ′に対応する位置を変形させることが好ましい。なお、変形は、例えばＷＯ２００７／０１５３６５号明細書に記載されているように、３次元医用画像Ｖを四面体の集合により近似し、公知の有限要素法の手法を用いて四面体のメッシュ構造を変形する手法を用いることができる。これにより、３次元医用画像Ｖに含まれる臓器の形状を内視鏡画像Ｓに含まれる臓器の形状と一致させることができる。なお、３次元医用画像Ｖの変形は、内視鏡を用いての観察中に行うことができるが、バルーンを膨らませる位置があらかじめ分かっている場合には、観察前に３次元医用画像Ｖを変形しておくようにしてもよい。
また、内視鏡画像Ｓとその表示中の位置に対応する３次元医用画像Ｖとを併せて表示し、バルーンを膨らませることによる内視鏡画像Ｓに含まれる臓器の形状の変更を反映させるように、表示中の３次元医用画像Ｖを変形するようにしてもよい。
なお、３次元医用画像Ｖを変形させると、所見情報Ｋｖが対応づけられている位置が変更される場合がある。このような場合は、３次元医用画像Ｖの変形に伴い、画像情報データベース２４に登録されている読影レポートＲｖに記録された位置情報Ｋｖを更新することが好ましい。
なお、上記第１および第２の実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
この他、上記第１および第２の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
例えば、システム構成については、上記実施形態では、図１のハードウェア構成では、モダリティ５と読影ワークステーション９および画像処理ワークステーション１１とが直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｖを、一旦画像保管サーバのデータベースに格納されるようにし、読影ワークステーション９および画像処理ワークステーション１１からの要求に応じて、画像保管サーバから読影ワークステーション９および画像処理ワークステーション１１に３次元医用画像Ｖが転送されるようにしてもよい。
また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。
モダリティ５は、上記のＣＴ装置の他、超音波診断装置またはＭＲＩ装置等を用いてもよい。
内視鏡位置検出部２０は、磁気式のものを用いてもよいし、例えば特開２００５－２１３５３号公報に記載されているジャイロやロータリーエンコーダ等を用いてもよい。
さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。

Claims (11)

  1. 　被検体の３次元医用画像を取得する第１の画像取得手段と、
    　前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
    　前記内視鏡画像を表示する表示手段と、
    　前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶する記憶手段と、
    　前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
    　前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知する通知手段とを備えたことを特徴とする観察支援システム。
  2. 　前記通知手段は、前記表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段であることを特徴とする請求項１記載の観察支援システム。
  3. 　前記表示手段は、前記所見の通知がなされると、通知する所見を取得した位置における前記３次元医用画像を表示する手段であることを特徴とする請求項１または２記載の観察支援システム。
  4. 　被検体の３次元医用画像を取得する第１の画像取得手段と、
    　前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する第２の画像取得手段と、
    　前記内視鏡画像を表示する表示手段と、
    　前記体腔内の少なくとも１つの位置についての所見を取得する所見取得手段と、
    　該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得する内視鏡位置取得手段と、
    　前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶する記憶手段とを備えたことを特徴とする観察支援システム。
  5. 　前記特定位置情報により表される位置における前記３次元医用画像を表示する他の表示手段と、
    　前記特定位置情報により表される位置の前記３次元医用画像を前記他の表示手段に表示する際に、該位置に対応づけられた前記所見を通知する通知手段とをさらに備えたことを特徴とする請求項４記載の観察支援システム。
  6. 　前記通知手段は、前記他の表示手段への前記所見の表示および／または音声出力により前記所見を通知する手段であることを特徴とする請求項４または５記載の観察支援システム。
  7. 　前記他の表示手段は、前記所見の通知がなされると、通知する所見を取得した位置における前記内視鏡画像を表示する手段であることを特徴とする請求項４から６のいずれか１項記載の観察支援システム。
  8. 　被検体の３次元医用画像を取得するステップと、
    　前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
    　前記内視鏡画像を表示するステップと、
    　前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶するステップと、
    　前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得するステップと、
    　前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知するステップとを有することを特徴とする観察支援方法。
  9. 　被検体の３次元医用画像を取得するステップと、
    　前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得するステップと、
    　前記内視鏡画像を表示するステップと、
    　前記体腔内の少なくとも１つの位置についての所見を取得するステップと、
    　該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得するステップと、
    　前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶するステップとを有することを特徴とする観察支援方法。
  10. 　コンピュータに、被検体の３次元医用画像を取得する手順と、
    　前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する手順と、
    　前記内視鏡画像を表示する手順と、
    　前記３次元医用画像についての少なくとも１つの所見を、該３次元医用画像内における該所見を得た位置を表す所見位置情報と対応づけて記憶する手順と、
    　前記体腔内の前記内視鏡のリアルタイムの位置を表す内視鏡位置情報を取得する手順と、
    　前記３次元医用画像内における前記内視鏡位置情報により表される位置が、前記所見位置情報により表される位置を基準とした所定空間範囲内に位置した際に、前記所見を通知する手順とを実行させることを特徴とする観察支援プログラム。
  11. 　コンピュータに、被検体の３次元医用画像を取得する手順と、
    　前記被検体の体腔内に挿入された内視鏡により撮影した、前記体腔内の内視鏡画像を取得する手順と、
    　前記内視鏡画像を表示する手順と、
    　前記体腔内の少なくとも１つの位置についての所見を取得する手順と、
    　該所見を得た前記体腔内の前記内視鏡の位置を表す内視鏡位置情報を取得する手順と、
    　前記３次元医用画像内における前記内視鏡位置情報に対応する位置を特定し、該特定された位置を表す特定位置情報と前記所見とを対応づけて記憶する手順とを実行させることを特徴とする観察支援プログラム。
PCT/JP2011/001842 2010-03-29 2011-03-28 観察支援システムおよび方法並びにプログラム WO2011121986A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010075201A JP5504028B2 (ja) 2010-03-29 2010-03-29 観察支援システムおよび方法並びにプログラム
JP2010-075201 2010-03-29

Publications (1)

Publication Number Publication Date
WO2011121986A1 true WO2011121986A1 (ja) 2011-10-06

Family

ID=44711748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001842 WO2011121986A1 (ja) 2010-03-29 2011-03-28 観察支援システムおよび方法並びにプログラム

Country Status (2)

Country Link
JP (1) JP5504028B2 (ja)
WO (1) WO2011121986A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049125A (ja) * 2012-08-31 2014-03-17 General Electric Co <Ge> 手順を文書記録する方法及び装置
JP2018535725A (ja) * 2015-10-09 2018-12-06 スリーディインテグレイテッド アーペーエス３Ｄｉｎｔｅｇｒａｔｅｄ Ａｐｓ 描写システム
US11482318B2 (en) * 2017-06-19 2022-10-25 Olympus Corporation Medical information processing system

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6080248B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
JP6080249B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
JP6120762B2 (ja) * 2013-12-13 2017-04-26 オリンパス株式会社 画像処理装置
WO2016182550A1 (en) * 2015-05-11 2016-11-17 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
JP6800567B2 (ja) * 2015-09-03 2020-12-16 キヤノンメディカルシステムズ株式会社 医用画像表示装置
CN106256310B (zh) * 2016-08-18 2018-04-13 中国科学院深圳先进技术研究院 自动调节鼻内镜位姿的方法和系统
WO2018211674A1 (ja) * 2017-05-18 2018-11-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP7023195B2 (ja) * 2018-07-13 2022-02-21 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP7377769B2 (ja) * 2020-06-08 2023-11-10 Hoya株式会社 プログラム、情報処理方法及び情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004105725A (ja) * 2002-08-30 2004-04-08 Olympus Corp 内視鏡装置及び内視鏡挿入動作プログラム
JP2004180940A (ja) * 2002-12-03 2004-07-02 Olympus Corp 内視鏡装置
JP2006020874A (ja) * 2004-07-08 2006-01-26 Olympus Corp 内視鏡挿入支援装置
JP2009529951A (ja) * 2006-03-13 2009-08-27 ブラッコ イメージング エス．ピー．エー． 手術ナビゲーションプロセスを記録し精査するための方法および装置
WO2010032496A1 (ja) * 2008-09-19 2010-03-25 コニカミノルタエムジー株式会社 医用画像システム、仮想内視鏡ビューワ装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004105725A (ja) * 2002-08-30 2004-04-08 Olympus Corp 内視鏡装置及び内視鏡挿入動作プログラム
JP2004180940A (ja) * 2002-12-03 2004-07-02 Olympus Corp 内視鏡装置
JP2006020874A (ja) * 2004-07-08 2006-01-26 Olympus Corp 内視鏡挿入支援装置
JP2009529951A (ja) * 2006-03-13 2009-08-27 ブラッコ イメージング エス．ピー．エー． 手術ナビゲーションプロセスを記録し精査するための方法および装置
WO2010032496A1 (ja) * 2008-09-19 2010-03-25 コニカミノルタエムジー株式会社 医用画像システム、仮想内視鏡ビューワ装置及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049125A (ja) * 2012-08-31 2014-03-17 General Electric Co <Ge> 手順を文書記録する方法及び装置
JP2018535725A (ja) * 2015-10-09 2018-12-06 スリーディインテグレイテッド アーペーエス３Ｄｉｎｔｅｇｒａｔｅｄ Ａｐｓ 描写システム
US11482318B2 (en) * 2017-06-19 2022-10-25 Olympus Corporation Medical information processing system

Also Published As

Publication number Publication date
JP2011206168A (ja) 2011-10-20
JP5504028B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5504028B2 (ja) 観察支援システムおよび方法並びにプログラム
CN108324246B (zh) 医疗诊断辅助系统及方法
CN110769740B (zh) 将诊断测试集成到实时治疗中的通用设备和方法
JP6611612B2 (ja) 外科データのイントラモーダル同期化
JP4875416B2 (ja) 医用ガイドシステム
JP6510301B2 (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
US20160228075A1 (en) Image processing device, method and recording medium
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP2008043524A (ja) 医用画像処理装置及び医用画像処理プログラム
JP2012217770A (ja) 画像処理装置、その処理方法及びプログラム
JP2010075403A (ja) 情報処理装置およびその制御方法、データ処理システム
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP2012115635A (ja) 画像処理方法、画像処理装置、画像システム及びプログラムコード
WO2014050018A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
US20100303330A1 (en) Radiographic image display apparatus, and its method and computer program product
CN111588464A (zh) 一种手术导航方法及系统
JP7525248B2 (ja) 医用情報処理装置及び医用情報処理プログラム
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
JP6066197B2 (ja) 手術支援装置、方法およびプログラム
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2022516474A (ja) 外科手術中の遠隔カメラの向きに関するユーザインターフェース要素
JP2017204041A (ja) 所見情報作成装置及びシステム
CN113317874B (zh) 一种医学图像处理装置及介质
WO2014155917A1 (ja) 手術支援装置、方法およびプログラム
JP2011212099A (ja) 解剖図生成方法、装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11762234

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11762234

Country of ref document: EP

Kind code of ref document: A1