WO2004096025A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2004096025A1
WO2004096025A1 PCT/JP2004/005738 JP2004005738W WO2004096025A1 WO 2004096025 A1 WO2004096025 A1 WO 2004096025A1 JP 2004005738 W JP2004005738 W JP 2004005738W WO 2004096025 A1 WO2004096025 A1 WO 2004096025A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
image display
organ
scale
Prior art date
Application number
PCT/JP2004/005738
Other languages
English (en)
French (fr)
Inventor
Takemitsu Honda
Tetsuo Minai
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to AU2004233674A priority Critical patent/AU2004233674B2/en
Priority to CA2523302A priority patent/CA2523302C/en
Priority to EP04728669A priority patent/EP1618828B1/en
Publication of WO2004096025A1 publication Critical patent/WO2004096025A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A61B1/00022—Operational features of endoscopes provided with data storages removable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control

Definitions

  • the present invention relates to, for example, an image display device, an image display method, and an image display program.
  • Background technology ''
  • swallowable capsule endoscopes have appeared as endoscopes.
  • This force capsule endoscope is provided with an imaging function and a wireless function. After the capsule endoscope is swallowed from the patient's mouth for observation (inspection), it is naturally excreted from the human body.
  • image data captured inside the body by the capsule endoscope is sequentially transmitted to the outside by wireless communication and stored in the memory.
  • the receiver equipped with this II-free communication function and memory function the patient can freely move during the observation period after swallowing the capsule endoscope until it is discharged.
  • a doctor or nurse can display an image of the organ on the display based on the image data stored in the memory to make a diagnosis.
  • capsule endoscopes of this type include M2A (registered trademark) of Given Imaging, Israel and NORIKA (registered trademark) of Aleev, Japan, which have already reached the stage of commercialization. I have.
  • each 1 ⁇ is imaged until the subject is naturally excreted by swallowing, so that the observation (detection) time is, for example, 10 minutes. It took a long time to be more than an hour. For this reason, the number of images captured in time series is enormous.
  • the searchability of searching for a desired image from a huge number of images taken over a long period of time can be improved, and the displayed image can be determined at what time during the entire imaging time ⁇ Which ⁇ Display screens that could be easily recognized were not specifically considered. ⁇
  • An object of the present invention is to provide an image display device, an image display method, and an image display program that can improve the searchability of an image of an image of the inside of a body and that can easily recognize which organ the displayed image is. Is to provide. Disclosure of the invention
  • an image display device includes: an input unit configured to input image data captured in time series by an in-vivo imaging device; Scale display control means for displaying a scale indicating the entire imaging period of the image data captured in time series, and controlling to display a slider movable on the scale; and Image display control means for controlling the display means to display an image at the imaging time corresponding to the position of the slider in conjunction with the movement; and detecting color information of one screen of the image data input by the input means. Color information detecting means, and a color corresponding to the color information detected by the average color information detecting means is displayed at a position on the scale corresponding to time. And a color display control means for controlling.
  • the color information detecting means includes an average color which detects color information regarding an average color from color information of one screen of the image data input by the input means. It is characterized by comprising detecting means.
  • the discriminating unit that discriminates the organ based on the color information detected by the color information detecting unit; and the organ name discriminated by the organ discriminating unit.
  • organ name display control means for controlling the display so as to correspond to the scale.
  • the image display device according to the present invention is characterized in that, in the above invention, the organ determining means determines ⁇ based on increase / decrease information of color elements constituting the color information.
  • the image display device is characterized in that, in the above invention, the organ discrimination means discriminates an organ in consideration of biological information obtained in association with the image data.
  • the image display device further includes: a feature extraction unit configured to extract a numerical parameter which is a feature of an image captured in time series by the in-vivo imaging device; and a numerical parameter extracted by the feature extraction unit.
  • Display control means for visualizing the data and displaying the data continuously in a time series.
  • the numerical parameter is a color element indicating an average color of each image.
  • the image display device in the above invention, further comprises a conversion means for converting a numerical parameter extracted by the feature extracting means to generate a new converted numerical parameter.
  • the control means visualizes the converted numerical parameters converted by the converting means, and continuously displays them in a time series.
  • the conversion means in the above invention, the conversion means
  • It is characterized in that it is converted into a conversion numerical parameter indicating a luminance value of each image based on a numerical parameter of color information of each image.
  • the conversion means in the above invention, the conversion means
  • the image display device is characterized in that it is converted into a conversion numerical parameter indicating the average luminance value of each image based on the numerical parameter of the average color of each image.
  • the image display device is characterized in that, in the above invention, the spread extracting means extracts an inter-frame error indicating a difference between image frames as a numerical parameter.
  • the image display device in the above invention, further comprises an organ discrimination means for discriminating an organ part based on the numerical parameter or the converted numerical parameter, and the display control means A control is performed to display the determined organ part in correspondence with the time series. ⁇
  • the image display device is the image display device according to the above invention, wherein the input device inputs image data captured in time series by the in-vivo imaging device, and the image data is captured in time sequence input by the input device.
  • Scale display control means for displaying a scale indicating the entire imaging period of the obtained image data, and controlling to display a slider movable on the scale, and in conjunction with movement of the slider on the scale.
  • Image display control means for controlling an image at an imaging time corresponding to the position of the slider to be displayed on a display means, wherein the display control means includes a numerical parameter extracted by the feature extraction means. Alternatively, control is performed so that the converted numerical parameters converted by the conversion means are visible and displayed at positions corresponding to time on the scale. Is a special floor.
  • the image display device includes: a color information acquisition unit that acquires color information of each image in a series of image data captured in time series by the in-vivo imaging device; Conversion means for converting the acquired color information into position information on a predetermined characteristic color space; and color distribution position information on bleeding on the predetermined characteristic color space and the position information converted by the conversion means.
  • Bleeding site determination means for determining whether or not there is a bleeding site to be detected in the image, and an image indicating that there is a bleeding site to be searched for by the bleeding site determination means, indicating the fact.
  • a flag attaching means for attaching a flag.
  • the bleeding site judging means includes a bleeding part using an identification function for separating each color distribution of fresh blood, coagulated blood, and normal bleeding in the characteristic color space. Is characterized by judging the type. Further, in the image display device according to the present invention, in the above invention, the bleeding site judging means judges that the bleeding site is a coagulated blood bleeding site when the bleeding site is substantially circular.
  • the bleeding site determination unit detects an edge of each pixel in the image, generates a normal line of each detected edge, and If the number of normals to be voted for is equal to or greater than a predetermined value, it is determined that there is a substantially circular bleeding site.
  • an image display method and an image display program include an input step of inputting image data imaged in time series by the in-vivo imaging device, and an image taken in the time series input in the input step.
  • a scale display control step of displaying a scale indicating the entire imaging period of the image data, and controlling to display a slider movable on the scale, and in conjunction with movement of the slider on the scale
  • the color information detecting step includes: obtaining color information on an average color from color information of one screen of the image data input by the input means.
  • An average color detecting step for detecting is included.
  • the image display method and the image display program according to the present invention are the above-mentioned invention, wherein the organ discriminating step of discriminating) based on the color information detected by the color information detecting step; And (b) displaying the organ name determined in accordance with the scale in accordance with the scale.
  • the image display method and the image display program according to the present invention are characterized in that, in the above invention, the organ discriminating step discriminates an organ based on increase / decrease information of color elements constituting the color information. .
  • the image display method and the image display program according to the present invention are characterized in that, in the above invention, the determining step includes determining an organ in consideration of biological information obtained in association with the image data. I do.
  • the image display method and the image display program according to the present invention are characterized by: a feature extraction step of extracting a numerical parameter that is a feature of an image captured in time series by the in-vivo imaging device; And a display control step of visualizing the numerical parameters extracted by the extracting means and continuously displaying them in a time-series manner.
  • the image display method and the image display program according to the present invention are characterized in that, in the above invention, the numerical parameter is a color element indicating an average color of each image.
  • the image display method and the image display program according to the present invention in the above invention, further include a conversion step of converting the numerical parameter extracted by the feature extracting step to generate a new converted numerical parameter,
  • the display control step is characterized in that the converted numerical parameters converted in the conversion step are visualized and continuously displayed in a time series.
  • the conversion step includes converting into a conversion numerical parameter indicating a luminance value of each image based on a numerical parameter of color information of each image. It is characterized by doing.
  • the conversion step includes a conversion numerical parameter indicating an average luminance value of each image based on a numerical parameter of an average color of each image. It is characterized by being converted into.
  • the feature extracting step extracts an inter-frame error indicating a difference between image frames as a numerical parameter.
  • the image display method and the image display program according to the present invention in the above invention, further include an organ discriminating step of discriminating an organ part based on the numerical parameter or the converted numerical parameter, Is characterized in that control is performed to display the determined organ part in association with the time series.
  • an input step of inputting image data captured in a series, and a scale indicating an entire imaging period of the image data captured in the time series input in the input step is displayed.
  • a scale display control step for controlling to display a slider for controlling to display a slider; and An image display control step of controlling the display means to display an image at an imaging time corresponding to the position of the slider in conjunction with the movement of the rider, wherein the display control step is based on the feature extraction step.
  • the numerical parameter extracted in this manner is characterized in that the converted numerical parameter converted in the conversion step is visualized and displayed at a position corresponding to the time on the scale.
  • the image display method and the image display program include: a color information obtaining step of obtaining color information of each image in a series of image data captured in chronological order by the body imaging device; A transformation step of converting the color information acquired in the color information acquisition step into position information in a predetermined characteristic color space; and a color distribution position information relating to bleeding in the predetermined characteristic color space and the conversion means.
  • a bleeding site determination step of determining whether there is a bleeding site to be detected in the image based on the converted position information, and the bleeding site determination step determines that there is a bleeding site to be searched.
  • a flag adding step for adding a flag indicating the fact to the image thus obtained.
  • the bleeding site determining step includes an identification function for separating each color distribution of fresh blood, coagulated blood, and normal bleeding on the characteristic color space. It is used to determine the type of bleeding.
  • the bleeding site determining step determines that the bleeding site is a bleeding site of coagulated blood when the bleeding site is substantially circular. It is characterized by doing.
  • the bleeding site determining step includes detecting an edge of each pixel in the image and generating a normal line of each detected edge.
  • the number of normals voted for each pixel is equal to or more than a predetermined value, it is determined that there is a substantially circular bleeding site.
  • FIG. 1 is a schematic diagram showing an internal structure of a capsule endoscope according to the present embodiment.
  • FIG. 2 is a schematic diagram ⁇ of the capsule endoscope system according to the present embodiment.
  • FIG. 3 is a block diagram showing an example of a configuration inside the capsule endoscope system according to the present embodiment.
  • FIG. 4 is a diagram showing an example of a screen transition according to the observation procedure according to the present embodiment.
  • FIG. 5 is a diagram showing an example of screen transition according to the observation procedure according to the present embodiment.
  • FIG. 6 is a diagram showing an example of a screen transition according to the observation procedure according to the present embodiment.
  • FIG. 7 is a diagram for explaining an example of screen transition according to the medical examination procedure according to the present embodiment.
  • FIG. 1 is a schematic diagram showing an internal structure of a capsule endoscope according to the present embodiment.
  • FIG. 2 is a schematic diagram ⁇ of the capsule endoscope system according to the present embodiment.
  • FIG. 3 is a block diagram showing an
  • FIG. 8 is a diagram illustrating an example of a screen transition according to a medical examination procedure according to the present embodiment.
  • FIG. 9 is a flowchart showing a procedure of an automatic search process for a bleeding site.
  • FIG. 10 is a diagram showing a feature space and a relationship between each area of fresh blood, coagulated blood, and normal bleeding in the feature space and a discriminant function.
  • FIG. 11 is a detailed flowchart showing the image processing procedure of the circle shown in FIG.
  • FIG. 12 is a diagram illustrating image processing for detecting a circle by edge detection.
  • FIG. 13 is a flowchart illustrating an operation for displaying an average color bar according to the present embodiment. It is.
  • FIG. 14 is a diagram showing an example of a display screen related to a medical examination process according to a modified example of the present embodiment.
  • FIG. 15 is a view for explaining the principle of automatically determining a lie name according to a modification of the present embodiment.
  • FIG. 16 is a flowchart illustrating a process of determining the name of a fl container according to a modification of the present embodiment.
  • FIG. 17 is a diagram for explaining an application example of the modified example of FIG.
  • FIG. 18 is a diagram showing a screen state in which the average color elements of each image are successively displayed in chronological order.
  • FIG. 19 is a diagram showing a screen state in which the average luminance obtained for the average color component of each image is continuously displayed in time series.
  • FIG. 20 is a diagram showing a screen state in which the inter-frame error of each image is continuously displayed in time series.
  • FIG. 21 is a diagram for explaining an example of screen transition according to the medical examination procedure according to the present embodiment.
  • FIG. 22 is a flowchart for explaining the operation for displaying the shooting time of the designated image according to the present embodiment.
  • FIG. 1 is a schematic diagram showing the internal structure of a capsule endoscope according to the present embodiment.
  • the capsule endoscope 10 includes an imaging unit 111 that can capture an image of the inside of a body cavity, an illumination unit 111 that irradiates a body cavity, and a lighting unit 111 that illuminates the body cavity. It comprises a power supply section 13 for supplying electric power, and a capsule housing 14 in which at least the imaging section 111, the illumination section 112 and the power supply section 13 are provided. is there.
  • the capsule housing 14 includes a tip cover 120 covering the imaging unit 111 and the lighting units 112a and 112b, and a tip cover 120.
  • the capsule body 122 is provided in a watertight manner via a seal 120 and a sealer 112, and has an imaging unit 111 inside, and a rear end as necessary.
  • the force par portion 123 may be provided separately from the capsule body portion 122.
  • the rear end force par portion 123 is provided integrally with the capsenore body portion and has a flat shape. However, the shape is not limited and may be a dome shape, for example.
  • the front cover 120 may clearly separate the illumination window 120a for transmitting the illumination light L from the illumination units 112a and 112b and the imaging window 120b for imaging the illumination range. Good.
  • the distal end force par section 120 is entirely transparent, and the areas of the illumination window section 120a and the imaging window section 120b partially overlap.
  • the image pickup unit 111 is provided on an image pickup board 124, and a solid-state image pickup device 125 composed of, for example, a CCD for picking up an area illuminated by the illumination light L from the illumination units 112a and 112b.
  • a fixed lens 128a and a movable lens 126b which are composed of a fixed lens 126a and a movable lens 126b, which form an image of the subject on the 125
  • a sharp image is formed by the focus adjustment unit 128 using the movable frame 128b that fixes the image.
  • the imaging unit 111 is not limited to the above-described CCD, but may be an imaging unit such as a CMOS.
  • the illuminating units 112a and 112b are provided on an illuminating board 130, and include, for example, a light emitting diode (LED), and the illuminating units 112a and i12b form an imaging unit 111 that forms the imaging unit 111.
  • a plurality (four in the present embodiment, by way of example) is provided around the lens 126.
  • the illuminating units 11'2a and 112b are not limited to the LEDs described above, and other illuminating means may be used.
  • the power supply unit 13 is provided on a power supply board 132 provided with an internal switch 131, and a button-type battery is used as the power source 133, for example.
  • a silver oxide battery is used as the battery, but the present invention is not limited to this.
  • a rechargeable battery, a power generation battery, or the like may be used.
  • the internal switch 131, for example, a switch that can perform an ON operation by a separating action between magnets is used, but the present invention is not limited to this, and other switch means may be used. Examples can be given.
  • a wireless unit 144 including an antenna or the like for performing wireless communication with the outside is provided on the wireless board 141, and communication with the outside is performed as necessary. It is carried out.
  • a signal processing / control unit 144 for processing or controlling the above-described units is provided on the imaging board 124 so that various processes in the capsule endoscope 10 are executed! /
  • the signal processing 'control' section 144 includes a part of a video signal processing function, a transmission signal generation function for mixing a video signal and a synchronization signal, adding an error correction code, and the like.
  • modulation function to convert to PSK, MSK, GM SK, QM SK, ASK, AM, FM method, power supply control function to control power supply according to switch ⁇ N-OFF, LED drive circuit, etc. It has a drive circuit, a timing generator (TG) function for controlling the number of images, and a storage function for storing various data such as parameters for setting the number of images, and performs various signal processing and control.
  • TG timing generator
  • the video signal processing functions include, for example, image data correction (eg, white balance (WB) correction, ⁇ / correction, color processing, AGC, etc.), and sometimes correlated double sampling or analog-to-digital conversion (AD C ) And dimming function (AE).
  • image data correction eg, white balance (WB) correction, ⁇ / correction, color processing, AGC, etc.
  • AD C analog-to-digital conversion
  • AE dimming function
  • information collecting means such as various sensors, a drug releasing means for releasing a drug, and a tissue collection for excision and collection of tissue in a body cavity Means and the like may be provided as appropriate.
  • FIG. 2 is a schematic diagram of a capsule endoscope system according to the present embodiment.
  • the force capsule endoscope system according to the present embodiment includes a capsule endoscope 10 and a package 50 thereof, a jacket 3 worn by a patient, that is, a patient 2, and a jacket 3. It consists of a detachable receiver 4, a work station 5, a CF (compact flash (registered trademark)) memory reader, a Z writer 6, a label printer 7, a database 8, and a network 9.
  • CF compact flash (registered trademark)
  • the jacket 3 is provided with antennas 31, 32, 33, and 34 that capture the radio waves of the captured image transmitted from the radio section 142 of the capsule endoscope 10. It is provided so as to be able to communicate wirelessly or with a cable with a cable to and from the computer.
  • the number of antennas is not particularly limited to four, but may be more than one, so that a radio wave corresponding to the position accompanying the movement of the capsule endoscope 10 can be satisfactorily received.
  • the receiver 4 has an antenna 41 used to receive a captured image directly from the jacket 3 by radio waves, a display unit 42 for displaying information necessary for observation (inspection), and information necessary for observation (inspection).
  • An input unit 43 is provided for inputting.
  • the receiver 4 can detachably mount a CF memory 44 that stores the received captured image data. Further, the receiver 4 is provided with a power supply unit 45 capable of supplying power even when being carried, and a signal processing / control unit 46 for performing processing required for observation (inspection). Examples of the power supply unit 45 include a dry battery, a Li-ion secondary battery, and a Ni hydrogen battery, and may be a rechargeable battery.
  • the workstation 5 has a processing function for a doctor or a nurse to make a diagnosis based on a surface image of an organ or the like in a patient's body captured by the capsule endoscope 10.
  • This workstation 5 is not shown; It has an interface for communication with the CF memory reader / writer 6 and the label printer 7, and performs reading / writing of the CF memory 44 and chart printing.
  • the workstation 5 has a communication function for connecting to the network 9, and accumulates patient examination results and the like in the database 8 via the network 9.
  • Part 5 has 1 and receives The captured image data of the inside of the patient is input from the device 4 and an image of an organ or the like is displayed on the display unit 51.
  • the capsule endoscope 10 is taken out from the package 50, and the subject 2 swallows the force capsule endoscope 10 from the mouth. It passes through the esophagus, progresses through the body cavity by peristalsis of the gastrointestinal tract, and sequentially takes images of the body cavity.
  • the radio waves of the captured images are output via the radio section 142 as necessary or as needed with respect to the imaging results, and the radio waves are captured by the antennas 31, 32, 33, and 34 of the jacket 3. You. A signal from an antenna having a high received signal strength is transmitted to the receiver 4 outside the body.
  • the captured image data sequentially received is stored in the CF memory 44.
  • the reception 4 is not synchronized with the start of imaging by the capsule endoscope 10, and the start and end of reception are controlled by operating the input unit 43.
  • the captured image data may be still image data captured in a plurality of frame seconds to be displayed as a moving image, or may be normal moving image data.
  • the captured image data stored in the CF memory 44 is transferred to the workstation 5 via a cable.
  • the transferred captured image data is stored in correspondence with each patient.
  • the captured image data of the inside of the body cavity captured by the capsule endoscope 10 and stored by the receiver 4 is displayed as an image on the display unit 51 of the workstation 5.
  • useful data for physiological research and diagnosis of lesions can be obtained over the entire digestive tract of the human body, including the deep parts of the body (such as the small intestine) that cannot be reached with an ultrasound probe or endoscope. It can be performed.
  • FIG. 3 shows an example of a configuration inside the capsule endoscope system according to the present embodiment. It is a block diagram shown. Here, only the main configuration of each unit will be described as an example.
  • the capsule endoscope 10 is configured to reflect the illuminating light emitted from the light source 1 12 composed of the illuminating sections 112 a and 1 112 b from the reflection of the illuminating light from the in-vivo subject (the organ). ) Is captured by the imaging unit 111 and the captured image is transmitted as a wireless signal to the wireless unit 142.
  • the jacket 3 has a selector 35 connected to the four antennas 31, 32, 33, and 34, and an I / F 36 that connects a cable for connecting to the receiver 4 to the selector 35. It has a connected configuration.
  • the jacket 3 receives a radio signal transmitted from the capsule endoscope 10 by four antennas 31, 32, 33, and 34, and selects a received signal by a selector 35 according to the radio field intensity. To the receiver 4 via the I / F 36.
  • the jacket 3 does not have a large-capacity memory, and captured images received via the antennas 31, 32, 33, and 34 are sequentially transferred to the receiver 4 at the subsequent stage.
  • Receiver 4 is an I / F 40 for communicating with IZF 36 on jacket 3 via Cape Knoller, CPU 46 for controlling the entire receiver according to a prepared program, and attached CF memory. It has a CF memory I / F 47 that performs data communication with 44 and an IZF 48 that communicates with the workstation 5 by cable.
  • the receiver 4 is always attached to the subject 2 in order to ensure a state in which captured images can be sequentially received from the jacket 3 during the observation period inside the body by the force capsule endoscope 10. Therefore, during the observation period, images sequentially captured from the jacket 3 are received, and the received images are sequentially stored in the CF memory 44 via the CF memory IZF 47. During this observation period, the receiver 4 is disconnected from the workstation 5, and the subject 2 can move freely without being restricted by a hospital or the like. ' The CF memory reader / writer 6 controls the entire reader / writer according to a prepared program.
  • the CPU 61 communicates data with the attached CF memory 44.
  • the CF memory IZF 62 communicates with the workstation 5. It has an I / F63 for communication using cables as an internal sound configuration.
  • the CF memory reader Z writer 6 attaches the CF memory 44 and connects to the workstation 5 via the I / F 63, and formats the CF memory 44 for imaging information for diagnosis according to the present embodiment. Or read the stored captured image data from the CF memory 44 and transfer it to the workstation 5 . 'Here, the captured image data is in a format such as JPEG. .
  • the captured image data is directly transferred from the receiver 4 to the workstation 5, or the CF memory 44 is transferred from the receiver 4 to the CF memory reader Z writer 6. Whether to transfer the captured image data to the workstation 5 can be arbitrarily selected.
  • the workstation 5 has a display unit 51 for displaying an organ image and the like according to the present embodiment, and an I / F 48 of the receiver 4 via a cable or an I / F 48 of a CF memory reader Z writer 6 via a cable.
  • IZF 52 that controls communication with the F 63
  • large-capacity memory 53 that stores data handled in various processes
  • CPU 54 that controls the entire workstation 5 according to a prepared program
  • It has an input unit 55 for inputting operations, a label printer 7, a database 8 via the network 9, and an output unit 56 for connecting to each of the other printers and performing various output processes. I have.
  • the captured image data stored in the CF memory 44 is transferred from the receiver 4 to the workstation 5 and stored in the memory 53. Is done.
  • display of a captured image of the capsule endoscope 10 according to the present embodiment, display of an average color slider described later, trajectory of the force capsule endoscope 10, and the like are displayed at the time of diagnosis. Diagnosis The results are output from the printer as a medical chart or stored in the database 8 for each patient. '
  • FIGS. 4, 5, and 6 show examples of screen transitions according to the observation procedure according to the present embodiment.
  • FIGS. 7 and 8 show screen transitions according to the examination procedure according to the present embodiment.
  • FIG. 9 is a flowchart for explaining an example of an operation for displaying an average color in accordance with the present embodiment.
  • the program for displaying the average color slider is stored in the memory 53 of the workstation 5 by installing it directly from a recording medium such as a CD-ROM, or installing it after downloading from an external device such as a network. Shall be stored.
  • the doctor formats the CF memory 44 using the workstation 5 and the CF reader Z writer 6.
  • the CF memory 44 is inserted into the CF memory reader / Z writer 6 and the CF memory reader / writer 6 is inserted into the workstation 5 on the display section 51 of the workstation 5.
  • the guidance screen for connecting to the is displayed (Fig. 4 (A)). If there is a menu operation of “Next” from the doctor, the processing shifts to the next guidance screen display. At this time, it is assumed that the doctor has prepared according to the above-mentioned guidance. If there is a defect in this preparation and the “Next” menu operation is performed in that state, a message such as CF memory not inserted or CF memory reader / writer not connected may be displayed.
  • a guidance screen for inputting consultation information and patient information is displayed (Fig. 4 (B)).
  • the consultation information includes, for example, hospital name, physician's doctor (nurse) name, capsule date and time, capsule serial No, and receiver serial No.
  • the patient information includes patient ID, patient name, patient gender, patient age, and patient birth date.
  • a guidance screen for removing the CF memory 44 from the receiver 4 and entering the CF memory reader / writer 6 is displayed (FIG. 6 (I)). After preparations have been made in accordance with the above message, if the menu operation of “Next” is performed by the doctor, the display screen shifts to the next (Fig. 6 ( ⁇ )).
  • the diagnostic information and the patient information recorded in the CF memory 44 are read out from the memory and displayed.
  • the information of the displayed content that is, the information obtained by the observation (captured image data and the like) is acquired by the peak station 5.
  • a list of the consultation information and patient information of each patient stored in the memory 53 of the workstation 5 is displayed (FIG. 7). This allows the doctor to select the patient to be examined, for example, using a cursor. The selected state may be highlighted. When the "Medical" menu operation is performed with the cursor selected, the patient to be examined is determined. For patients who have already been examined, the presence or absence of the examination can be easily visually recognized by adding “Exit” on the list display as shown in Fig. 7.
  • FIG. 1 This examination display screen displays information necessary for the examination.
  • Reference numerals 501 and 502 denote patient information and medical examination information of the corresponding patient, and reference numeral 503 denotes an image display field for displaying one of the captured images.
  • Reference numeral 504A denotes a check image display column that lists captured images arbitrarily checked (selected) by operating the check button C H K on the image of interest of the doctor by the software.
  • Numeral 505 indicates a 3D position display column for displaying the imaging position (position in the body) of the captured image displayed in the image display column 503 in a 3D (three-dimensional) manner
  • 506 indicates an image display.
  • Column 503 shows a playback operation ⁇ for performing a playback operation of a captured image to be displayed
  • 507 indicates an average color corresponding to an organ in a time series with respect to the captured image from the reception start time to the reception end time of the receiver. The average color par classified by color is shown.
  • the average color bar 507 serves as a scale indicating the elapsed time of the observation period.
  • the following menu items are displayed: “Loop”, “Back”, “Cancel”, and “Print medical examination end chart”.
  • Average color par 5 0 7 by utilizing the different color characteristics by organ, an average color from each frame of the captured image, the time series are those which are Torionore color. Therefore, in the average color par 507, the average color of the captured image when the capsule endoscope 10 is moving according to the section of each organ becomes substantially uniform. Even if noise is included in the image taken while moving within the same organ, by obtaining the average color of one screen for each frame, it is possible to obtain a nearly uniform color scheme for each organ
  • the slider S is displayed so as to be movable in the time axis direction.
  • the slider S serves as an index indicating the position of the captured image displayed in the image display column 503 by the position on the average color par 507. Therefore, the movement display control of the slider S is performed according to the operation of the reproduction operation column 506.
  • the playback operation column 506 includes a frame playback button, a playback button and a high-speed playback (high replay) button by software for operating a playback forward direction along the time series direction, and a display along the time series direction.
  • Playback The reverse playback button, reverse playback button, and high-speed reverse playback (high reverse) button are controlled by software for operating the reverse direction.
  • a stop button is further displayed and controlled in the reproduction operation column 506.
  • the image display column 503 displays the captured image data in the playback reverse direction with respect to the time-series direction. Is displayed.
  • the reverse frame playback button is clicked, the previous image is displayed in the playback order, and when the fast reverse playback button is clicked, playback is performed using the reverse playback button in the reverse playback direction. The image is played back and displayed faster. If the stop button is clicked during reverse playback or high-speed reverse playback, switching of the displayed image stops while the image at the time of the tick is displayed.
  • check image display, column 504 A has restrictions on the display area, so that up to a predetermined number of images can be displayed. In the present embodiment, for example, as shown in FIG. 8, up to five images can be displayed, and for the other check images, the display images are switched by scrolling.
  • the doctor since the average color par 507 is classified by the average color according to the type of the organ, the doctor refers to the average color par 507 and intuitively locates the captured image relating to the desired organ.
  • the display image can be transferred quickly to At this time, the slider S of the average color bar 507 may be moved using a mouse (not shown).
  • a process of sequentially switching to the image at the position indicated by the slider S is executed in the image display column 503 following the movement.
  • a flag indicating a bleeding site can be added to each captured image.
  • the submenu may be displayed while the image is currently displayed in the image display column 503, and the flag for the bleeding site may be manually set.
  • the bleeding portions VI and V2 can be displayed in correspondence with the position of the average color bar 507.
  • the bleeding site automatic search button 508 may be operated.
  • the bleeding site may be extracted from the image currently displayed in the image display column 503, or the bleeding site may be extracted from the entire image. May be performed. If a bleeding site is found by this automatic search, a flag is assigned to each image in the same manner as in the manual case, and the bleeding site V1, V2 corresponding to this flag is displayed when the image is displayed. Is preferably displayed.
  • the doctor's consultation can be terminated by the menu operation of “Print consultation end chart”.
  • the examination result is printed as a medical chart from the workstation 5 through a printer (not shown) or via the database 8.
  • the CPU 54 first fetches one image frame stored in the memory 53 S (step S 101), and applies all the pixels in the fetched image frame to the feature space in the feature space. The position is calculated (step S102).
  • this feature space is a color space with R / G (red component / green component) on the horizontal axis and B / R (blue component / red component) on the vertical axis. .
  • R / G red component / green component
  • B / R blue component / red component
  • the coagulated blood region E2 and the normal region E3 partially overlap, and the discriminant function L2 includes a part of the normal region E3. Therefore, if the pixel has a color in an area where the R / G is larger than the discriminant function L1, it is semi-IJ determined to be fresh blood, and the discriminant functions L1 and L2 are If the pixel has the color of the sandwiched area, it is determined to be at least clotted blood, and if the pixel has the color of the area having a BZR larger than the discriminant function L2, it is normal bleeding Is determined.
  • step S102 after calculating the positions of all the pixels in the feature space (step S102), the CPU 54 determines whether or not there is a pixel included in the fresh blood area E1 in all the pixels (step S102). Step S103). This determination is made based on whether or not the position of the calculated pixel in the feature space is located on the right side of the identification function L1 in FIG. 10 using the above-described identification function L1.
  • step S104 it is determined that there is a bleeding part of fresh blood (step S104), and the process proceeds to step S109.
  • step S105 it is further determined whether or not there is a pixel in the coagulated blood region E2 (step S105). This determination is made based on whether or not a pixel is located in the area between the above-described discrimination functions L1 and L2. If there are pixels in the coagulated blood area E2 (step S105, YES), image processing of a circle is performed to analyze whether or not the bleeding site including these pixels is substantially circular (step S106). ). The image processing of this circle is performed if the bleeding site is coagulated blood, so that it becomes almost circular. If the bleeding site is fresh blood, the outer edge of the bleeding site has a wavy shape and is not substantially circular.
  • step S107 it is determined whether or not the force is such that the bleeding site is substantially circular. If the bleeding site is substantially circular (step S107, YES), the blood It is determined that there is a bleeding site (step S108), and the process proceeds to step S109. On the other hand, when there is no pixel in the coagulated blood area (step S105, NO) and when the bleeding site is not substantially circular due to the image processing of the circle (step S107, No), the bleeding site is determined to be coagulated blood and normal. It is determined that there is no bleeding or that there is no bleeding, and the routine goes to Step S109.
  • step S109 it is determined whether or not the search processing of the bleeding site for all the image frames has been completed. The process proceeds to step 1 and the above-described processing is repeated. If there is no image frame to be searched, this processing ends. If it is determined that there is a bleeding part of fresh blood or a bleeding part of coagulated blood, a flag indicating this is attached to this image frame.
  • step S103 and step S105 the number of pixels is not mentioned in the above-described determination processing in step S103 and step S105, but it is sufficient that there is one or more pixels in the image frame. However, since there is a possibility of noise, it is preferable to determine whether or not there is a predetermined number of pixels.
  • the identification functions Ll and L2 are used.
  • the present invention is not limited to this, and the identification functions L1 and L2 are not used.
  • the determination may be made based on whether or not each pixel is located in the fresh blood region El, the coagulated blood region E2, and the normal region E3. '
  • FIG. 11 is a detailed flowchart showing a procedure of image processing of a circle.
  • the CPU 54 performs an edge detection process for each pixel by the SOBEL method or the like (step S201). After that, a straight line that is a normal line of each detected edge is generated (step S202). Further, for each pixel, it is calculated how many straight lines cross this pixel (step S203).
  • step S204 it is determined whether or not there is a pixel whose calculated number of straight lines is equal to or larger than a predetermined value (step S204). If the number of straight lines is equal to or more than the predetermined value (step S204, YES), it is determined that the bleeding site is substantially circular (step S205), and the process returns to step S106. On the other hand, if the number of straight lines is not equal to or greater than the predetermined value (step S204, NO), it is determined that the bleeding site is not substantially circular (step S206), and the process returns to step S106.
  • a straight line LN that is the normal of the edge of each pixel is generated.
  • step 204 it is determined whether or not there is a certain pixel having a number of straight lines equal to or more than a predetermined value.
  • the present invention is not limited to this. Further, it may be determined whether there is a predetermined number or more.
  • the CPU 54 performs the automatic search processing of the bleeding site and performs the marking of the bleeding site via the flag, so that the bleeding site is searched from the vast amount of image information.
  • This makes it possible to easily and quickly perform search processing by doctors and nurses, which is complicated and takes a lot of time. As a result, while oversight of the bleeding site is reduced, doctors and nurses can concentrate on examining the condition of the bleeding site.
  • the automatic search process described above is for a bleeding site, but is not limited to this and can be applied to other search target images. Further, in the automatic search processing of the bleeding site shown in FIG. 9, processing such as detection of a coagulated blood area (steps S105 to S108) is not performed, and only the presence or absence of a force in a fresh blood area is performed. May be determined. That is, in the above-described automatic bleeding site search processing, whether or not there is a bleeding portion of fresh blood and coagulated blood is searched, but only a bleeding portion of fresh blood may be searched. In this case, the site of fresh blood bleeding is the most remarkable search target. In addition, although the bleeding part of the normal bleeding is not determined, the bleeding part including the normal bleeding may be detected.
  • the average color par display processing shown in FIG. 13 is performed. That is, when a patient to be examined is determined from the list display shown in FIG. 7, a file of imaging information corresponding to the patient is specified. Then, an image file for one frame is read from the memory 53 and opened (step S301), and the average color of the captured image in a frame unit is measured (step S302). When the average color is measured and the average color data is obtained, the average color data of the first frame is stored in the memory 53 (step S303). Then, the processed image file is closed (step S304), the next image file arranged in time series is read and opened, and the same processing is repeatedly executed thereafter (step S304). S305 NO NORATE).
  • the average color data is stored as shown in FIG. 8 using the average color data stored in the memory 53. 7 is display-controlled (step S306). Thus, the display of the average color par 507 is completed. At this time, the initial position of the slider S is set to the left end (start position) of the average color 507, but is not limited to this.
  • the imaging information including captured image data has a huge amount of information, it is not necessary to open all image files and find the average color for all frames, and efficiently thin out several frames.
  • the average color may be determined.
  • the calculated average color itself is displayed on the average color bar 507, but the present invention is not limited to this, and a color corresponding to this average color is displayed on the average color bar 507. It should just be done.
  • the scale indicating the entire imaging period of the input image data captured in time series by the capsule endoscope (in-vivo imaging device) is displayed, and the scale is moved on this scale.
  • Displays a possible slider displays a rain image at the imaging time corresponding to the position of the slider in conjunction with the movement of the slider on the scale, and displays the color corresponding to the average color information of one screen of input image data on the scale. Since the image is displayed at the position corresponding to the time, the organ is color-coded according to the imaging site, and the organ in the body can be easily determined from the color-coded color. As a result, the retrievability of images is improved, and it is possible to easily recognize which ⁇ image is the displayed image.
  • the position of the organ is recognized using the average color arranged in the average color par as an index, but the present invention is not limited to this.
  • an additional caro function for displaying an organ name in association with an average color may be provided. Therefore, the modified example described below is the same as the above-described configuration and function, and thus only the additional part will be described.
  • FIG. 14 is a diagram showing an example of a display screen related to a medical examination process according to a modified example of the present embodiment
  • FIG. 15 is an automatic discrimination of organ names according to a modified example of the present embodiment
  • FIG. 16 is a diagram for explaining the principle
  • FIG. 16 is a flowchart for explaining an organ name discrimination process according to a modification of the present embodiment.
  • the names of the organs are displayed in association with each average color of the average color bar 507.
  • the capsule endoscope 10 images the body in time series, and the average colors are arranged in the order of the esophagus, stomach, small intestine, and large intestine. Therefore, the average color bar 509 displays the organ names 509 in the order of esophagus, stomach, small intestine, and large intestine, corresponding to the average color of each organ.
  • the organ range is automatically determined.
  • the red level and the blue level of each captured image during the elapsed time have characteristics as shown in FIG. Since the actual image contains noise components, the noise is removed by applying a low-pass filter (LPF) to the red and blue levels with this characteristic in the time axis direction. Then, the edge part (discolored edge) common to each of the red and blue levels in the time axis direction after the LPF processing is extracted.
  • LPF low-pass filter
  • the discoloration wedges extracted as described above are N1, N2, and N3. Therefore, from the position in the time axis direction of the discoloration edges Nl, N2, and N3, the first discoloration edge N1 is the transition site from the esophagus to the stomach, N2 is the transition site from the stomach to the small intestine, and N3 Is automatically determined to be a transition site from the small intestine to the large intestine.
  • the order of the organ names at this time is based on the order of the organs imaged by the capsule endoscope 10 in the time axis direction.
  • a red level and a blue level are calculated (step S401), and LPF processing in the time axis direction is performed on the red level and the blue level, respectively (step S401).
  • step S401 a red level and a blue level are calculated (step S401), and LPF processing in the time axis direction is performed on the red level and the blue level, respectively (step S401).
  • step S403 discolored edges Nl, N2, N3 Is detected (step S403).
  • the organ range is automatically determined from the temporal positions of the discolored edges Nl, N2, and N3, and the organ name is displayed in correspondence with each average color of the average color par 507 (Step S). 4 0 4).
  • a scale indicating the overall imaging period of input image data captured in time series by the force capsule endoscope is displayed, a movable slider is displayed on this scale, and a scale on the scale is displayed. Since the image at the imaging time corresponding to the position of the slider is displayed in conjunction with the movement of the slider, the organ is determined based on the color information of one screen of the input image data, and the organ name is displayed in correspondence with the scale. Organs in the body can be easily determined from the displayed organ names. This also makes it possible to improve the searchability of the images and to easily recognize which organ the displayed image is.
  • the organ range on the average color par is automatically determined from the discolored edge.
  • Sensors may be provided to use the measured pH values to make organ region identification more accurate.
  • the pH value is measured by the pH sensor during the observation period, and this pH value is measured in time series similarly to the captured image and stored in the receiver 4. At this time, the captured image and the pH value coexist and are recorded in each frame (image file).
  • FIG. 17 is a diagram for explaining an application example of the modification of FIG.
  • the acid site is compared with the discoloration edges N1, N2 by using the fact that the stomach is acidic. Since the stomach region is determined, the determination accuracy can be further improved.
  • a display area 601 of a change in color element may be provided.
  • the time-series changes of the average color elements (R, G, B) for each image frame are directly displayed. That is, numerical parameters such as color elements extracted from an image frame are visualized and displayed in a time-series manner.
  • the imaging region can be specified. In this case, only one color element, for example, R, may be displayed.
  • R, G, and B of each image frame may be an average value of all pixels, an average value of specific pixels, or an average value of pixels after thinning. In other words, a color element value representing each image frame may be obtained.
  • a luminance change display area 602 may be provided instead of displaying each color element change, as shown in FIG. 19, a luminance change display area 602 may be provided.
  • the brightness Y is
  • the luminance of each image frame can be obtained from each color element. That is, the color elements extracted from the image frames are converted into numerical parameters of luminance, the numerical parameters are converted into visible information, and displayed continuously in time series. In addition, in FIG. 19, the organ parts are displayed along with the time-series luminance change.
  • the (1 ⁇ ) portion may be determined based on a change in luminance value, or may be determined based on the above-described color information or ⁇ value.
  • a display area 603 for a change in inter-frame error which is a relative error between image frames, may be provided.
  • a large inter-frame error occurs when changing from the esophagus to the stomach, and there is a peak at the point where the change is large.
  • the boundaries of each organ site can be known. Note that, in FIG. 20, the organ parts are displayed according to the time-series change in the inter-frame error.
  • the fine peaks in the small intestine in FIG. 20 are due to small intestinal peristalsis.
  • FIG. 21 is a diagram illustrating an example of a screen transition according to a medical examination procedure according to the present embodiment.
  • FIG. 22 is a flowchart illustrating an operation for displaying a shooting time of a designated image according to the present embodiment. is there. The doctor's consultation can be terminated by the menu operation of “Print consultation end chart”, but it is also possible to shift to the chart creation procedure.
  • reference numeral 504B denotes a check image display column, which has a larger area than the above-described check image display column 504A, and is provided at the lower part of the screen. Also, as different from the check image display column 504 A, numbers C 1 to C 10 are assigned to the respective captured images and displayed.
  • the check image display section 504 B has the same function as the check image display section 504 A.
  • Reference numeral 5110 indicates a comment input column for inputting and displaying a doctor's findings (comments).
  • the diagnosis result of the doctor is inserted as a comment.
  • 5 1 1 is a shooting time display mark that displays as a mark on the average color par 5 07 the elapsed time of each of the check images to be displayed in the check image display section 5 0 4 B. Is shown.
  • the shooting time display mark As the shooting time display mark, the relationship between the down arrow as an index indicating the shooting time of the check image on the average color par 507 and the check image so that the correspondence between the check image and the check image can be understood. The above number given to the check image as a related display is displayed.
  • FIG. 21 shows an example of 10 check images.
  • the average color is sorted in order of the esophagus, stomach, small intestine, and large intestine in chronological order. Therefore, as is evident from the range of each of the ⁇ vessels in the j name of 509, the check image mark C1 exists in the area of responsibility and the check image mark in the stomach area. C 2, C 3 and C 4 are present.
  • Check image marks C 5, C 6, C 7, C 8, and C 10 are present in the small intestine range.
  • the presence of images checked by the physician in the esophagus, stomach, and small intestine is confirmed, and marks are displayed and arranged corresponding to the time when each check image was taken. Therefore, the doctor can easily confirm where the check image was taken in each organ.
  • the photographing time display mark is displayed on the average color bar 507 displaying the organ name, but the average color bar on which the organ name is not displayed as shown in FIG. This may be displayed.
  • the related display (number) indicating the relationship with the check image is displayed as the shooting time display mark, but may be an index (downward arrow) indicating the position of the shooting time.
  • the processing of the above mark display will be described with reference to FIG.
  • the shooting time of the check image that is, the designated image
  • the file creation date and time of the designated image is acquired from the memory 53 (step S501), and the elapsed time from the shooting start date and time is calculated (step S50). 2).
  • mark display is controlled as shown in FIG. 21 on the average color bar 507 at a position corresponding to the elapsed time on the average color bar 507 (step S503). After that, when the chart printing is operated, the output for the print is executed.
  • a scale indicating the entire imaging period of input image data captured in time series by the capsule endoscope (in-vivo imaging device) is displayed, and the input image data is displayed.
  • the color corresponding to the average color information of one screen is displayed at the position corresponding to the time on the scale, the image corresponding to the input image data is displayed, and it is displayed on the scale!
  • the index indicating the position corresponding to the imaging time of the designated image is displayed, it is possible to easily and visually recognize, for example, at what time zone and how much the designated image is.
  • the organ can be easily determined from the colors classified by the imaging region, it is possible to easily recognize which part of the specified image is located in which part)] ⁇ .
  • a scale indicating the entire imaging period of the image data captured in time series by the force capsule endoscope is displayed, and the organ is determined based on color information of one screen of the input image data, and the determination is performed.
  • the selected organ name is displayed in association with the scale, the image corresponding to the input image data is displayed, and an index indicating the position corresponding to the imaging time of the designated image is displayed on the scale. It is possible to easily determine 11 ⁇ in the body from the name of the organ. According to this, there are many designated images on which ⁇ and where! /, Can be easily recognized.
  • the image display device, the image display method, and the image display program according to the present invention use the subject-introducing device such as a capsule endoscope. It is useful for a wireless type in-vivo information acquisition system that acquires images of the inside, and is suitable for a capsule endoscope system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

体内を撮像した画像の検索性が向上するとともに、表示画像がどの臓器の画像であるかを容易に認識できるようにするため、カプセル内視鏡によって時系列で撮像された画像の全体的な撮像期間を示す平均色バー（５０７）を表示し、この平均色バー（５０７）上に移動可能なスライダＳを表示し、このスライダＳの移動に連動してスライダＳの位置に対応する撮像時刻の画像を画像表示欄（５０３）に表示し、撮像画像データに基づく平均色を平均色バー（５０７）上の時間的に対応する位置に表示する。

Description

明 細 書 画像処理装置、 画像処理方法および画像処理プログラム 技術分野
本発明は、 本発明は、 たとえば、 画像表示装置、 画像表示方法および画像表示 プログラムに関するものである。 背景技術 '
近年、 内視鏡 おいては、 飲込み型のカプセル内視鏡が登場している。 この力 プセル内視鏡には、 撮像機能と無線機能とが設けられている。 カプセル内視鏡は 、 観察 （検査） のために患者の口から飲込まれた後、 人体から自然排出されるま
'での観察期間、 胃、 小腸などの臓器を順次撮像する仕組みである （特開平 1 1一 2 2 5 9 9 6号公報参照） 。
この観察期間、 カプセル内視鏡によって体内で撮像された画像データは、 順次 無線通信により外部に送信され、 メモリに蓄積される。 患者がこの無 II通信機能 とメモリ機能とを備えた受信機を携帯することにより、 患者は、 カプセル内視鏡 を飲み込んだ後、 排出されるまでの観察期間、 自由に行動できる。 観察後、 医師 もしくは看護士においては、 メモリに蓄積された画像データに基づいて臓器の画 像をディスプレイに表示させて診断を行うことができる。
今日、 この種のカプセル内視鏡としては、 イスラエルのギブン ·イメージング 社の M 2 A (登録商標） や日本の株式会社アールェフの N O R I K A (登録商標 ) があり、 すでに実用化の段階に移行している。
しかしながら、 上述したカプセル内視鏡においては、 通常の内視鏡と異なり被 験者が飲込 で自然に排出されるまでの期間、 各 1βを撮像させるので、 観察 （ 検查） 時間がたとえば 1 0時間以上となるように長時間に及んでいた。 このため 、 時系列に撮像される画像の枚数は、 膨大である。 診察などの段階において、 長時間撮像された膨大な画像から所望の画像を検索 する検索性の向上や、 表示画像が全体的な撮像時間中のどの時刻によるもの力 \ どの βのものかなどを容易に認識できる表示画面については、 とくに考慮され ていなかった。 ·
本発明の目的は、 体内を撮像した画像の検索性が向上するとともに、 表示画像 がどの臓器の画像であるかを容易に認識することが可能な画像表示装置、 画像表 示方法および画像表示プログラムを提供することにある。 発明の開示
上述した課題を解決し、 目的を達成するため、 本発明にかかる画像表示装置は 、 体内撮像装置によつて時系列で撮像された画像データを入力する入力手段と、 前記入力手段により入力された時系列で撮像された画像データの全体的な撮像期 間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示するよう に制御するスケール表示制御手段と、 前記スケール上における前記スライダの移 動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段に表示する ように制御する画像表示制御手段と、 前記入力手段により入力された画像データ の一画面の色情報を検出する色情報検出手段と、 前記平均色情報検出手段により 検出された色情報に対応する色を前記スケール上の時間的に対応する位置に表示 するように制御する色表示制御手段と、 を備えたことを特徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記色情報検出 手段は'、 前記入力手段により入力された画像データの一画面の色情報から平均色 に関する色情報を検出する平均色検出手段を備えたことを特徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記色情報検出 手段により検出された色情報に基づいて臓器を判別する 判別手段と、 前記臓 器判別手段により判別された臓器名を前記スケールに対応させて表示するように 制御する臓器名表示制御手段と、 を備えたことを特徴とする。 また、 本発明にかかる画像表示装置は、 上記の発明において、 前記臓器判別手 段は、 前記色情報を構成する色要素の増減情報をもとに ιιβを判別することを特 徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記臓器判別手 段は、 前記画像データに関連して得られた生体情報を加味して臓器を判別するこ とを特徴とする。
また、 本発明にかかる画像表示装置は、 体内撮像装置によって時系列で撮像さ れた画像の特徴である数値パラメータを抽出する特徴抽出手段と、 前記特徴抽出 手段によつて抽出された数値パラメ一タを可視化し、 時系列で連続的に可視表示 する表示制御手段と、 を備えたことを特徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記数値パラメ ータは、 各画像の平均色を示す色要素であることを特徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記特徴抽出手 段によつて抽出された数値パラメータを変換して新たな変換数値パラメータを生 成する変換手段をさらに備え、 前記表示制御手段は、 前記変換手段が変換した変 換数値パラメータを.可視化し、 時系列で連続的に可視表示することを特徴とする
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記変換手段は
、 各画像の色情報の数値パラメータをもとに各画像の輝度値を示す変換数値パラ メータに変換することを特徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記変換手段は
、 各画像の平均色の数値パラメータをもとに各画像の平均輝度値を示す変換数値 パラメータに変換することを特徴とする。 また、 本発明にかかる画像表示装置は、 上記の発明において、 前記特 ί敷抽出手 段は、 各画像フレーム間の差分を示すフレーム間誤差を数値パラメータとして抽 出することを特 ί敷とする。 また、 本発明にかかる画像表示装置は、 上記の発明において、 前記数値パラメ ータあるあいは前記変換数値パラメータをもとに臓器部位を判別する臓器判別手 段をさらに備え、 前記表示制御手段は、 判別された臓器部位を前記時系列に対応 させて表示する制御を行うことを特徴とする。 ·
また、 本発明にかかる画像表示装置は、 上記の発明において、 体内撮像装置に よつて時系列で撮像された画像データを入力する入力手段と、 前記入力手段によ り入力された時系列で撮像された画像データの全体的な撮像期間を示すスケール を表示し、 該スケール上を移動可能なスライダを表示するように制御するスケー ル表示制御手段と、 前記スケール上における前記スラィダの移動に連動して該ス ライダの位置に対応する撮像時刻の画像を表示手段に表示するように制御する画 像表示制御手段と、 を備え、 前記表示制御手段は、 前記特徴抽出手段によって抽 出された数値パラメータあるいは前記変換手段によって変換された変換数値パラ メータを可視ィヒし、 前記スケール上の時間的に対応する位置に表示する制御を行 うことを特 ί敷とする。
また、 本発明にかかる画像表示装置は、 体内撮像装置によって時系列で撮像さ れた一連の画像データ内の各画像の色情幸艮を取得する色情報取得手段と、 前記色 情報取得手段によつて取得された色情報を所定の特徴色空間上の位置情報に変換 する変換手段と、 前記所定の特徴色空間上における出血に関する色分布位置情報 と前記変換手段によって変換された位置情報とをもとに画像内に検出対象の出血 部位があるか否かを判断する出血部位判断手段と、 前記出血部位判断手段によつ て検索対象の出血部位があると判断された画像にその旨を示すフラグを付するフ ラグ付記手段と、 を備えたことを特 とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記出血部位判 断手段は、 前記特徴色空間上における鮮血、 凝固血、 および正常出血の各色分布 を分離する識別関数を用いて出血の種別を判断することを特徴とする。 また、 本発明にかかる画像表示装置は、 上記の発明において、 前記出血部位判 断手段は、 出血部位がほぼ円形である場合に該出血部位を凝固血の出血部位であ ると判断することを特徴とする。
また、 本発明にかかる画像表示装置は、 上記の発明において、 前記出血部位判 断手段は、 画像内の各画素のエッジを検出し、 この検出された各エッジの法線を 生成し、 各画素に投票される法線数が所定値以上であった場合に、 ほぼ円形の出 血部位があると判断することを特徴とする。
また、 本発明にかかる画像表示方法おょぴ画像表示プログラムは、 体内撮像装 置によって時系列で撮像された画像データを入力する入力ステップと、 前記入力 ステップにより入力された時系列で撮像された画像データの全体的な撮像期間を 示すスケールを表示し、 該スケール上を移動可能なスライダを表示するように制 御するスケール表示制御ステップと、 前記スケール上における前記スラィダの移 動に連動して該スライダの位置に対応する撮像時刻の画像を表示手段 表示する ように制御する画像表示制御ステップと、 前記入力ステップにより入力された画 像データの一画面の色情報を検出する色情報検出ステップと、 前記色情報検出ス テップにより検出された色情報に対応する色を前記スケール上の時間的に対応す る位置に表示するように制御する色表示制御ステップと、 を含むことを特徴とす る。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記色情報検出ステップは、 前記入力手段により入力された画像デー タの一画面の色情報から平均色に関する色情報を検出する平均色検出ステップを 含むことを特徴とする。
また、 本発明にかかる画像表示方法おょぴ画像表示プログラムは、 上記の発明 において、 前記色情報検出ステップにより検出された色情報に基づいて ) を判 別する臓器判別ステップと、 前記臓器判別ステップにより判別された臓器名を前 記スケールに対応させて表示するように制御する )1β名表示制御ステップと、 を 含むことを特徴とする。 また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記臓器判別ステップは、 前記色情報を構成する色要素の増減情報を もとに臓器を判別ずることを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記 判別ステップは、 前記画像データに関連して得られた生体情 報を加味して臓器を判別することを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 体内撮像装 によつて時系列で撮像された画像の特徴である数値パラ メータを抽出する特徴抽出ステップと、 前記特徴抽出手段によって抽出された数 値パラメータを可視化し、 時系列で連続的に可視表示する表示制御ステツプと、 を含むことを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記数値パラメータは、 各画像の平均色を示す色要素であることを特 徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記特徴抽出ステップによつて抽出された数値パラメータを変換して 新たな変換数値パラメータを生成する変換ステップをさらに含み、 前記表示制御 ステップは、 .前記変換ステップが変換した変換数値パラメータを可視化し、 時系 列で連続的に可視表示することを特徴とする。 '
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記変換ステップは、 各画像の色情報の数値パラメータをもとに各画 像の輝度値を示す変換数値パラメータに変換することを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログ ムは、 上記の発明 において、 前記変換ステップは、 各画像の平均色の数値パラメータをもとに各画 像の平均輝度値を示す変換数値パラメータに変換することを特徴とする。 また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記特徴抽出ステップは、 各画像フレーム間の差分を示すフレーム間 誤差を数値パラメータとして抽出することを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器 部位を判別する臓器判別ステップをさらに含み、 前記表示制御ステップは、 判別 された臓器部位を前記時系列に対応させて表示する制御を行うことを特徴とする また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 体内撮像装置によって時系列で撮像された画像データを入力する入力 ステップと、 前記入力ステップにより入力された時系列で撮像された画像データ の全体的な撮像期間を示すスケールを表示し、 該スケール上を移動可飽なスラィ ダを表示するように制御するスケール表示制御ステツプと、 前記スケール上にお ける前記スライダの移動に連動して該スライダの位置に対応する撮像時刻の画像 を表示手段に表示するように制御する画像表示制御ステップと、 を含み、 前記表 示制御ステップは、 前記特徴抽出ステップによつて抽出された数値パラメータあ るレヽは前記変換ステップによつて変換された変換数値 ラメータを可視化し、 前 記スケール上の時間的に対応する位置に表示する制御を行うことを特徴とする。 また、 本発明にかかる画像表示方法および画像表示プログラムは、 体內撮像装 置によつて時系列で撮像された一連の画像データ内の各画像の色情報を取得する 色情報取得ステップと、 前記色情報取得ステップによって取得された色情報を所 定の特徴色空間上の位置情報に変換する変 mステップと、 前記所定の特徴色空間 上における出血に関する色分布位置情報と前記変換手段によつて変換された位置 情報とをもとに画像内に検出対象の出血部位があるか否かを判断する出血部位判 断ステップと、 前記出血部位判断ステップによつて検索対象の出血部位があると 判断された画像にその旨を示すフラグを付するフラグ付記ステツプと、 を含むこ とを特徴とする。 また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記出血部位判断ステップは、 前記特徴色空間上における鮮血、 凝固 血、 および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断す ることを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記出血部位判断ステップは、 出血部位がほぼ円形である場合に該出 血部位を凝固血の出血部位であると判断することを特徴とする。
また、 本発明にかかる画像表示方法および画像表示プログラムは、 上記の発明 において、 前記出血部位判断ステップは、 画像内の各画素のエッジを検出し、 こ の検出された各ェッジの法線を生成し、 各画素に投票される法線数が所定値以上 であった場合に、 ほぼ円形の出血部位があると判断することを特徴とする。 図面の簡単な説明
第 1図は、 本実施の形態にかかるカプセル内視鏡の内部構造を示す概略図であ る。 第 2図は、 本実施の形態によるカプセル内視鏡システムの概略囱である。 第 3図は、 本実施の形態によるカプセル内視鏡システム内部の一構 ^例を示すプロ ック図である。 第 4図は、 本実施の形態による観察手順にかかる画面遷移の一例 を示す図である。 第 5図は、 本実施の形態による観察手順にかかる画面遷移の一 例を示す図である。 第 6図は、 本実施の形態による観察手順にかかる画面遷移の 一例を示す図である。 第 7図は、 本実施の形態による診察手順にかかる画面遷移 の一例を説明する図である。 第 8図は、 本実施の形態による診察手順にかかる画 面遷移の一例を説明する図である。 第 9図は、 出血部位の自動検索処理手順を示 すフローチャートである。 第 1 0図は、 特徴空間およびこの特徴空間上における 鮮血、 凝固血、 正常な出血の各領域と識別関数との関係を示す図である。 第 1 1 図は、 第 9図に示した円の画像処理手順を示す詳細フローチャートである。 第 1 2図は、 エッジ検出によって円を検出する画像処理を説明する図である。 第 1 3 図は、 本実施の形態による平均色バー表示のための動作を説明するフ口一チヤ一 トである。 第 1 4図は、 本実施の形態の一変形例による診察処理にかかる表示画 面の一例を示す図である。 第 1 5図は、 本実施の形態の一変形例による lie名の 自動判別原理を説明する図である。 第 1 6図は、 本実施の形態の一変形例による fl蔵器名の判別処理を説明するフローチャートである。 第 1 7図は、 第 1 5図の変 形例の応用例を説明する図である。 第 1 8図は、 各画像の平均色要素を時系列的 に連続して表示した画面状態を示す図である。 第 1 9図は、 各画像の平均色要素 力 求めた平均輝度を時系列的に連続して表示した画面状態を示す図である。 第 2 0図は、 各画像のフレーム間誤差を時系列的に連続して表示した画面状態を示 す図である。 第 2 1図は、 本実施の形態による診察手順にかかる画面遷移の一例 を説明する図である。 第 2 2図は、 本実施の形態による指定画像の撮影時間表示 のための動作を説明するフローチヤ一トである。 発明を実施するための最良の形態
以下に添付図面を参照して、 本発明に係る好適な実施の形態について詳述する まず、 本発明の一実施の形態で用いるカプセル内視鏡について第 1図を参照し て全体構成を説明する。 第 1図は本実施の形態にかかるカプセル内視鏡の内部構 造を示す概略図である。 第 1図に示すように、 カプセル内視鏡 1 0は、 体腔内の 画像を撮像し得る撮像部 1 1 1と、 体腔內部を照射する照明部 1 1 2 a , 1 1 2 と、 これらに電力を供給する電源部 1 3と、 内部に上記撮像部 1 1 1、 上記照 明部 1 1 2および上記電源部 1 3を少なくとも配設したカプセル筐体 1 4とから 構成されてなるものである。
ここで、 本実施の形態に係るカプセル筐体 1 4は、 上記撮像部 1 1 1および上 記照明部 1 1 2 a， 1 1 2 bを覆う先端カバー部 1 2 0と、 該先端カバー部 1 2 0とシール部お- 1 2 1を介して水密状態に設けられ、 内部に撮像部 1 1 1等を配 設してなるカプセル胴部 1 2 2とからなり、 必要に応じて後端力パー部 1 2 3を カプセル胴部 1 2 2と別体に設けるようにしてもよい。 なお、 本実施の形態では 後端力パー部 123はカプセノレ胴部と一体に設けられており、 平坦形状としてい るが、 その形状は限定されず、 例えばドーム形状とするようにしてもよい。 また、 先端カバー部 120は照明部 112 a， 1 12 bからの照明光 Lを透過 させる照明用窓部 120 aと照明範囲を撮像する撮像用窓部 120 bとを明確に 分けるようにしてもよい。 なお、 本実施の形態では、 先端力パー部 120はその 全体が透明であり、 照明用窓部 120 aと撮像用窓部 120 bとの領域が部分的 に重なっている。
上記撮像部 1 11は、 撮像基板 124に設けられ、 照明部 112 a， 112 b 力 らの照明光 Lによって照らされた範囲を撮像する例えば CCDからなる固体撮 像素子 125と、 該固体撮像素子 125に被写体の像を結像する固定レンズ 12 6 aおよぴ可動レンズ 126 bからなる結像レンズ 126と力 らなり、 固定レン ズ 1 26 aを固定する固定枠 128 aおよび可動レンズ 126 bを固定する可動 枠 1 28 bによるピント調整部 128によりシャープな結像を行っている。 なお 、 本発明では、 撮像部 11 1としては、 上記 CCDに限定されるものではなく、 たとえば CMOS等の撮像手段を用いてもよい。
また、 上記照明部 112 a， 112 bは、 照明基板 130に設けられ、 例えば 発光ダイオード （LED) からなると共に、 該照明部 1 12 a， i 12 bは、 撮 像部 111を構成する結像レンズ 126を中心とし、 その周囲に複数 （本実施の 形態では、 一例として 4個） 配設されている。 なお、 本発明では、 照明部 1 1'2 a, 112 bとして、 上記 LEDに限定されるものではなく、 他の照明手段を用 いてもよい。
また、 上記電源部 13は、 内部スィッチ 131が設けられた電源基板 132に 設けられ、 ¾?原133として、 たとえばポタン型の電池を用いるようにしている 。 なお、 本発明では、 上記電池として例えば酸化銀電池を用いているが、 本発明 ではこれに限定されるものではなく、 例えば充電式電池、 発電式電池等を用いる ようにしてもよい。 また、 上記内部スィツチ, 1 3 1としては、 例えば磁石同士の離反作用により O N動作を行うことができるものを用いているが、 本発明はこれに限定されるもの ではなく、 他のスィツチ手段を例示することができる。
また、 本実施の形態では、 上記各部以外に、 無線基板 1 4 1に外部と無線通信 を行うためのアンテナ等からなる無線部 1 4 2が設けられており、 必要に応じて 外部との通信を行っている。
また、 上記各部を処理又は制御するための信号処理 ·制御部 1 4 3が撮像基板 1 2 4に設けられており、 カプセル内視鏡 1 0における各種処理を実行するよう にして！/、る。
ここで、 上記信号処理'制御'部 1 4 3は、 映像信号処理機能の一部と、 映像信' 号と同期信号の混合、 誤り訂正符号の付加等を行う送信用信号作成機能と、 例え ば P S K, M S K, GM S K, QM S K, A S K, AM, FM方式に変換する変 調機能と、 スィツチの〇N— O F Fに応じて電源の供給を制御する電源供給制御 機能と、 L E D駆動回路等の駆動回路と、 撮像枚数を制御するタイミングジエネ レータ （T G) 機能と、 撮像枚数を設定するパラメータ等の諸データを記憶する 記憶機能等から構成され、 各種信号処理，制御を行っている。
ここで、 上記映像信号処理機能は、 例えば画像データ補正 （例えばホワイトバ ランス （WB ) 補正、 τ /補正、 色処理、 A G C等） 、 場合により相関二重サンプ リングやアナログ一デジタル変換 （AD C) 、 調光機能 （AE) 等の処理が含ま れる。
なお、 カプセル内視鏡 1 0の内部には、 上述した無線部 1 4 2以外に、 例えば 各種センサ等の情報収集手段、 薬剤を放出する薬剤放出手段、 体腔の組織を切除 •回収する組織回収手段等を適宜配設するようにしてもよい。
つづいて、 本実施の形態による力プセル内視鏡システムについて第 2図を用い て説明する。 第 2図は本実施の形態によるカプセル内視鏡システムの概略図であ る。 上記カプセル内視鏡 1 0を用いて検查をするに際しては、 第 2図に示すよう なカプセル内視鏡システムを用いて行うようにしている。 本実施の形態による力プセル内視鏡システムは、 たとえば第 2図に示したよう に、 カプセル内視鏡 1 0およびそのパッケージ 5 0、 患者すなわち被検査者 2に 着用させるジャケット 3、 ジャケット 3に着脱自在の受信機 4、 ワークステーシ ヨン 5、 C F (コンパクトフラッシュ （登録商標） ) メモリリーダ Zライタ 6、 ラベルプリンタ 7、 データベース 8およびネットワーク 9により構成される。
• ジャケット 3には、'カプセル内視鏡 1 0の無線部 1 4 2から発信される撮像画 像の電波を捕捉するアンテナ 3 1， 3 2.， 3 3および 3 4が設けられ、 受信機 4 との間で無線もしくはケーブルによる有線にて通信可能に設けられている。 なお 、 アンテナの数はとくに 4個に限定されず、 複数あればよく、 これにより、 カプ セル内視鏡 1 0の移動に伴う位置に応じた電波を良好に受信することができる。 受信機 4には、 ジャケット 3から直接電波で撮像画像を受信する場合に用いら れるアンテナ 4 1、 観察 （検査） に必要な情報を表示する表示部 4 2および観察 (検査） に必要な情報を入力する入力部 4 3が設けられている。 また、 受信機 4 は、 受信された撮像画像データを記憶する C Fメモリ 4 4を着脱可能に装着する ことができる。 さらに、 受信機 4には、 携帯時に,も電源供給可能な電源部 4 5お ょぴ観察 （検査） に必要な処理を行う信号処理 ·制御部 4 6が設けられている。 電源部 4 5としては、 たとえば乾電池、 L iイオン二次電池、 N i水素電池等を 例示することができ、 充電式であってもよい。
ワークステーション 5は、 医師もしくは看護士がカプセル内視鏡 1 0により撮 像された患者体内の臓器などの面像に基づいて診断を行うための処理機能を有し ている。 このワークステーション 5は、 図示せぬが、 受信;！幾 4、 C Fメモリリー ダノライタ 6、 ラベルプリンタ 7とそれぞれ通信可能に接続するインタフェース を有しており、 C Fメモリ 4 4のリード/ライト、 カルテ印刷などを行う。 また、 ワークステ ^"シヨン 5は、 ネットワーク 9に接続するための通信機能を 有しており、 このネットワーク 9を介してデータベース 8に患者の診察結果など を蓄積する。 さらに、 ワークステーション 5は、 表示部 5 1を有しており、 受信 機 4から患者体内の撮像画像データを入力して表示部 5 1に臓器などの画像を表 示する。
第 2図に示すように、 検査を開始する前において、 パッケージ 5 0からカプセ ル内視鏡 1 0を取り出し、 被検査者 2が口から当該力プセル内視鏡 1 0を飲み込 むことにより、 食道を通過し、 消化管腔の蠕動により体腔内を進行し、 逐次体腔 内の像を撮像する。
そして、 必要に応じて又は随時撮像結果について無線部 1 4 2を介して撮像画 像の電波が出力され、 ジャケット 3の各アンテナ 3 1， 3 2， 3 3 , 3 4でその 電波が捕捉される。 受信電波強度の高いアンテナからの信号が体外の受信機 4へ 送信される。
受信機 4においては、 C Fメモリ 4 4に逐次受信される撮像画像データが格納 される。 なお、 この受信 4幾 4はカプセル内視鏡 1 0の撮像開始とは同期しておら ず、 入力部 4 3の操作により受信開始と受信終了とが制御される。 また、 撮像画 像データとしては、 動画的に表示するために複数コマノ秒で撮像した静止画像デ ータでもよいし、 通常の動画像データでもよい。
力プセル内視鏡 1 0による被検査者 2の観察 （検査） が終了すると、 C Fメモ リ 4 4に格納されている撮影画像データがケーブルを介してワークステーション 5に転送される。 ワークステーション 5では、 転送されてきた撮像画像データは 患者別に対応させて記憶される。
このよ.うにカプセル内視鏡 1 0で撮像され、 受信機 4で蓄積された体腔内の撮 像画像データは、 ワークステーション 5の表示部 5 1により画像表示される。 こ れにより、 超音波プローブ、 内視鏡等では到達し得ない体深部 （小腸等） も含め 、 人体の消化管のすべてに亙って、 生理学的研究の有用なデータ獲得や病変の診 断を行うことができる。
つづいて上述したカプセル内視鏡システムの処理系について第 3図を用いて説 明する。 第 3図は本実施の形態によるカプセル内視鏡システム内部の一構成例を 示すプロック図である。 ここでは、 各ユニットの主要な構成のみを例に挙げて説 明する。
カプセル内視鏡 1 0は、 すでに第 1図で説明したように、 照明部 1 1 2 aおよ ぴ 1 1 2 bよりなる光源 1 1 2から照射された照明光の反射から体内被写体 （臓 器など） を撮像部 1 1 1で撮像し、 その撮像画像を無線信号により無線部 1 4 2 力 送信する構成を有している。
ジャケット 3は、 4個のアンテナ 3 1， 3 2 , 3 3， 3 4にセレクタ 3 5を接 続させ、 そのセレクタ 3 5に受信機 4と接続させるためのケーブルを繋ぐ I /F 3 6を接続させた構成を有している。 このジャケット 3は、 4個のアンテナ 3 1 ， 3 2， 3 3， 3 4によりカプセル內視鏡 1 0から発信される無線信号を受信し 、 セレクタ 3 5で電波強度に応じて受信信号をセレクトして I / F 3 6を介して 受信機 4に転送する。 このジャケット 3には、 大容量のメモリは設けられておら ず、 アンテナ 3 1， 3 2， 3 3， 3 4を介して受信された撮像画像は逐次後段の 受信機 4に転送される。
受信機 4は、 ジャケット 3の I ZF 3 6とケープノレを介して通信するための I /F 4 0、 受信機全体をあらかじめ用意されたプログラムにしたがって制御する C P U 4 6、 装着された C Fメモリ.4 4との間でデータ通信を行う C Fメモリ I /F 4 7、 ワークステーション 5との間でケーブルによる通信を行う I ZF 4 8 を内部構成として有している。
受信機 4は、 力プセル内視鏡 1 0による体内の観察期間中、 逐次ジャケット 3 側から撮像画像を受信できる状態を確保するために、 被検查者 2に常時装着され ている。 したがって、 観察期間中は、 ジャケット 3から逐次撮像された画像が受 信され、 その受信画像は C Fメモリ I ZF 4 7を介して C Fメモリ 4 4に逐次格 納される。 この観察期間中は、 受信機 4はワークステーション 5とは非接続状態 となり、 被検査者 2は病院などに拘束されることはなく、 自由に移動することが できる。 ' CFメモリリーダ/ライタ 6は、 リーダノライタ全体をあらかじめ用意された プログラムにしたがって制御する CPU61、 装着された CFメモリ 44との間 でデータ通信を行う CFメモリ IZF 62、 ワークステーション 5との間でケー ブルによる通信を行う I/F63を内音構成として有している。
CFメモリリーダ Zライタ 6は、 CFメモリ 44を装着するとともに I/F 6 3を介してワークステーション 5に接続し、 CFメモリ 44に対して本実施の形 態による診断のための撮像情報のフォーマツトを行ったり、 CFメモリ 44から 格納済みの撮像画像データを読み出してワークステーション 5に転送する。 'ここ で、 撮像画像データは、 J P E Gなどの形式である。 .
このように、 本実施の形態においては、 受信機 4からワークステーション 5に 対して直接撮像画像データを転送するか、 あるいは、 受信機 4から CFメモリリ ーダ Zライタ 6に CFメモリ 44を移してワークステーション 5に対して撮像画 像データを転送するかは、 任意に選択することができる。
ワークステーション 5は、 本実施の形態による臓器画像などの表示を行う表示 部 51、 ケーブルを介して受信機 4の I / F 48との間やケーブルを介して C F メモリリーダ Zライタ 6の I/F 63との間の通信を司る IZF 52、 各種の処 理で扱うデータを格納する大容量のメモリ 53、 ワークステーション 5全体をあ らかじめ用意されたプログラムにしたがって制御する CPU 54、 各種の操作を 入力する入力部 55、 ラベルプリンタ 7、 ネットワーク 9を介してのデータべ一 ス 8やその他のプリンタにそれぞれ接続して各種の出力処理を行うための出力部 56などの構成を有している。
観察期間が終了して、 受信機 4がワークステーション 5に通信可能に接続され ると、 CFメモリ 44に格納された撮像画像データが受信機 4からワークステー シヨン 5に転送され、 メモリ 53に格納される。 ワークステーション 5において は、 本実施の形態によるカプセル内視鏡 10の撮像画像の表示、 後述する平均色 スライダの表示、 力プセル内視鏡 10の軌跡などが診断の際に表示される。 診断 結果は、 プリンタからカルテとして出力されたり、 患者毎にデータベース 8に蓄 積される。 '
つぎに、 本実施の形態による具体的な手順について説明する。 第 4図、 第 5図 およぴ第 6図は本実施の形態による観察手順にかかる画面遷移の一例を示す図、 第 7図および第 8図は本実施の形態による診察手順にかかる画面遷移の一例を説 明する図、 そして、 第 9図は本実施の形態による平均色パー表示のための動作を 説明するフローチャートである。 なお、 平均色スライダ表示のためのプログラム は、 その格納手法は C D— R OMなどの記録媒体から直接インストールしたり、 ネッ トワークなどの外部からダウンロード後にインストールしてワークステーシ ヨン 5のメモリ 5 3に格納されるものとする。
まず医師 （または看護士） は、 ワークステーション 5および C Fリーダ Zライ タ 6を用いて C Fメモリ 4 4のフォーマットを行う。 この場合、 ワークステーシ ヨン 5の表示部 5 1には、 観察前の手順として、 C Fメモリ 4 4を C Fメモリリ ーダ Zライタ 6に揷入し、 その C Fメモリリーダ/ライダ 6をワークステーショ ン 5に接続する旨のガイダンス画面が表示される （第 4図 （A) ) 。 医師から 「 次へ」 のメニュー操作があれば、 つぎのガイダンス画面表示に処理は移行する。 このとき、 医師により、 上述のガイダンスにしたがって準備が整ったものとする 。 なお、 この準備で不備があり、 その状態で 「次へ」 のメニュー操作がなされた ときに、 C Fメモリ未揷入や C Fメモリリーダ ライダ未接続などのメッセージ を表示してもよい。
つぎのガイダンス画面には、 診察情報および患者情報を入力する旨のガイダン ス画面が表示される （第 4図 （B ) ) 。 診察情報として、 たとえば、 病院名、 力 プセル投与医師 （看護士） 名、 カプセル投入日時、 カプセルシリアル N o、 受信 機シリアル N oの入力項目がある。 また、 患者情報として、 患者 I D、 患者名、 患者性別、 患者年齢、 患者生年月日の入力項目がある。 各種の入力項目への入力 操作が完了し、 「次へ」 のメニュー操作があると、 入力された項目の確認画面が 表示される （第 5図 （A) ) 。 なお、 「戻る」 のメニュー操作で前の画面に移行 することもできる。
つぎのガイダンス画面には （第 5図 （A) ) 、 前画面で入力した項目の確認が 表示されるので、 医師の操作によりさらに 「次へ」 のメニュー操作がなされると 、 入力情報に問題なしとして、 表示画面はさらに次の画面に移行する （第 5図 （ B ) ) 。 このとき、 C Fメモリ 4 4には、 入力項目の情報が書き込まれる。 また 、 「戻る」 のメニュー操作がなされた場合には、 前回入力した項目を修正するこ とができる。
つぎのガイダンス画面には （第 5図 （B ) ) 、 C Fメモリ 4 4の抜き出し指示 、 入力項目に応じて必要な識別情報を印刷したラベルを受信機 4と C Fメモリ 4 4に貼付ける指示、 および、 C Fメモリ 4 4を受信機 4に揷入する指示のメッセ ージが表示される。 そして、 医師の操作により、 「完了」 のメニュー操作がなさ れると、 被検査者へのカプセル内視鏡 1 0投与前の準備が完了したことになる。 そして、 被検查者 2へのカプセル内視鏡 1 0の投与が完了して、 体内の観察が 開始され、 受信機 4の操作により C Fメ ΐリ 4 4への撮像画像データの格納が開 始される。 観察期間が満了して、 C Fメモリ 4 4への格納が終了すると、 医師は 再度ワークステーション 5からガイダンスを受けることになる。
まず受信機 4から C Fメモリ 4 4を取り出して、 C Fメモリリーダ/ライタ 6 に揷入する旨のガイダンス画面が表示される （第 6図 （Α) ) 。 以上のメッセ一 ジに従って準備が進められた後、 医師により 「次へ」 のメニュー操作がなされる と、 表示画面はつぎに移行する （第 6図 （Β ) ) 。
つぎのガイダンス画面では （第 6図 （Β ) ) 、 C Fメモリ 4 4に記録されてい る診断情報と患者情報とがそのメモリから読み出され、 表示される。 この表示さ れた内容の情報すなわち観測により得られた情報 （撮像画像データなど） がヮー クステーション 5に取得されることになる。
このようにして情報の取得が完了してから、 医師により 「次へ」 のメニュー操 作がなされると、 C Fメモリ 4 4からのデータの取得-処理が行われ、 データの取 得処理が完了すると、 C Fメモリ 4 4からのデータ取得の完了、 〇 メモリ 4 4 の C Fメモリリーダ Zライタ 6からの取り出し、 診察開始を指示するガイダンス 画面が表示される （第 6図 （C) ) 。 そして、 医師により 「完了」 のメニュー操 作がなされると、 観察手順にかかる一連のガイダンスは完了する。
なお、 一連の画面遷移において、 キャンセル、 ヘルプのアイコンがあり、 それ ぞれ医師は任意に選択操作することができる。 キヤンセルが操作された場合には 、 それまでの入力が初期化される。
診察処理の段階では、 まずワークステーション 5のメモリ 5 3に保存された各 患者の診察情報および患者情報が一覧表示される （第 7図） 。 これにより、 医師 はどの患者について診察をするかをたとえばカーソルにて選択操作することがで きる。 選択状態については、 反転表示などすればよい。 カーソルの選択状態で 「 診察」 のメユー操作がなされると、 診察対象の患者が決定する。 なお、 診察済み の患者については、 第 7図のように、 一覧表示上で 「済」 を付加しておけば診察 有無を容易に視認することができる。
このようにして診察対象の患者が決定すると、 第 8図に示したように、 診察処 理画面が表示される。 この診察表示画面には、 診察に必要な情報が表示される。 5 0 1 , 5 0 2はそれぞれ該当する患者の患者情報， 診察情報、 5 0 3は撮像画 像のうちの一枚を表示する画像表示欄を示している。 5 0 4 Aは医師が注目する 画像についてソフトウェアによるチェックボタン C H Kの操作で任意にチェック (選択） した撮像画像を列挙するチェック画像表示欄を示している。
5 0 5は画像表示欄 5 0 3に表示されている撮像画像の撮像位置 （体内の位置 ) を 3 D ( 3次元） 的に表示する 3 D位置表示欄を示し、 5 0 6は画像表示欄 5 0 3に表示させる撮像画像の再生操作を行うための再生操作檷を示し、 5 0 7は 受信機の受信開始時点から受信終了時点の撮像画像について時系列に臓器に応じ た平均色で色分けされた平均色パーを示している。 この平均色バー 5 0 7は、 観 察期間の経過時間を示すスケールの役割を果たす。 表示画面には、 そのほか 「へ ルプ」 、 「戻る」 、 「キャンセル」 、 「診察終了カルテ印刷」 の各メニューが表 示されている。
平均色パー 5 0 7は、 臓器により異なる色の特性を利用して、 撮像画像の各フ レームから平均色を求め、 時系列に酉己色されたものである。 したがって、 平均色 パー 5 0 7においては 各臓器の区間に応じてカプセル内視鏡 1 0が移動してい るときの撮像画像の平均色がほぼ均一となる。 仮に、 同一臓器内を移動している ときに撮像された画像中にノイズが含まれていたとしても、 フレーム毎に一画面 の平均色を求めることにより、 臓器毎のほぼ均一な配色を得ることが可能となる この平均色パー 5 0 7においては、 スライダ Sが時間軸方向に移動可能に表示 される。 このスライダ Sは、 画像表示欄 5 0 3に表示される撮像画像の位置を平 均色パー 5 0 7に位置で示す指標の役目を果たす。 したがって、 再生操作欄 5 0 6の操作に応じてスライダ Sの移動表示制御が行われる。
平均色パー 5 0 7におけるスライダ Sの移動と画像表示欄 5 0 3に表示される 撮像画像の切り換えは同期連動する。 すなわち、 再生操作欄 5 0 6には、 時系列 方向に沿つた再生順方向を操作するためのソフトウェアによるコマ再生ボタン、 再生ポタンおよび高速再生 （高再） ボタン、 ならびに、 時系列方向に沿って再生 逆方向を操作するためのソフトウェアによるコマ逆再生ボタン、 逆再生ポタンぉ よび高速逆再生 （高逆） ポタンが表示制御される。 この再生操作欄 5 0 6には、 さらに、 停止ボタンが表示制御される。
医師により入力部 5 5の操作により再生ボタンがたとえば図示せぬマウスでク リックされた場合、 画像表示欄 5 0 3には再生順方向で時系列に撮像画像データ に基づく画像が表示される。 また、 コマ再生ボタンがクリックされた場合には、 再生順方向でつぎの画像が表示され、 高速再生ボタンがクリックされた場合には 、 再生順方向で再生ボタンによる再生より高速に画像が再生表示される。 再生中 または高速再生中に停止ポタンがクリックされると、 クリックされたときの画像 を表示している状態で表示画像の切換えが停止する。 また、 医師により入力部 5 5の操乍により逆再生ボタンがたとえば図示せぬマ ウスでクリックされた場合、 画像表示欄 5 0 3には時系列方向に対して再生逆方 向で撮像画像データに基づく画像が表示される。 また、 コマ逆再生ボタンがタリ ックされた場合には、 再生順方向でひとつ手前の画像が表示され、 高速逆再生ボ タンがグリックされた場合には、 再生逆方向で逆再生ボタンによる再生より高速 に画像が再生表示される。 逆再生中または高速逆再生中に停止ボタンがクリック されると、 タリックされたときの画像を表示している状態で表示画像の切換えが 停止する。
また、 画像表示欄 5 0 3に画像を再生もしくは逆再生している際に、 出血部位 のように患部が発見されたときなどは、 医師の裁量で他の画像とは区別してチェ ック画像を抜き出すことができる。 このようにチェックしたいときには、 医師に よりチェックボタン C Η Κの操作が必要となる。 チェックされた画像はチェック 画像表示欄 5 0 4 Αにサムネイル画像として追加表示される。 チェック画像表示、 欄 5 0 4 Aには表示領域上の制約があるため、 あらかじめ決められた枚数までの 画像表示が可能となる。 本実施の形態では、 たとえば第 8図に示したように、 5 枚の画像までの表示が可能となり、 それ以外のチェック画像についてはスクロー ル操作によつて表示画像が切換えられる。
ここで、 平均色パー 5 0 7は臓器の種類に応じた平均色で区分されているので 、 医師は平均色パー 5 0 7を参照して直感的に所望の臓器に関する撮像画像の位 · 置に表示画像を素早く移行できる。 その際、 平均色バー 5 0 7のスライダ Sを図 示せぬマウスを用いて移動操作すればよい。 平均色パー 5 0 7上でスライダ Sが 移動操作されると、 画像表示欄 5 0 3では、 その移動に追随してスライダ Sで示 される位置の画像に順次切換えられる処理が実行される。
本実施の形態では、 医師が表示画像から出血部位を発見した際に、 出血部位と してのフラグを撮像画像毎に付与することができる。 この場合には、 図示せぬが 、 現在画像表示欄 5 0 3に表示させている状態でサブメニューを表示させて出血 部位のフラグの設定を手動により行えばよい。 これにより、 たとえば第 8図に示 したように、 出血部位 V I， V 2のように平均色バー 5 0 7の位置に対応させて 表示することができる。
また、 画像処理により自動的に出血部位を抽出することも可能であり、 この場 合には、 出血部位自動検索ボタン 5 0 8を操作すればよい。 この出血部位自動検 索ボタン 5 0 8の操作により、 現在画像表示欄 5 0 3に表示されている画像に対 する出血部位の抽出を行ってもよく、 あるいは、 全两像に対する出血部位の抽出 を行ってもよい。 この自動検索によって出血部位が発見された場合には、 手動の 場合と同様に、 画像毎に対応させてフラグを付与し、 画像表示のときにはこのフ ラグに対応させた出血部位 V 1， V 2などを表示することが好ましい。
医師による診察は 「診察終了カルテ印刷」 のメニュー操作により終了させるこ とができる。 診察結果はカルテとなってワークステーション 5から図示せぬプリ ンタを通じて、 もしくは、 データベース 8経由で印刷される。
ここで、 第 9図〜第 1 2図を参照して、 C P U 5 4による出血部位の自動検索 処理手順について説明する。 第 9図において、 C P U 5 4は、 まず、 メモリ 5 3 內に格納された 1つの画像フレームを取り出し （ステップ S 1 0 1 ) 、 取り出し た画像フレーム内の全画素に対して、 特徴空間上における位置を算出する （ステ ップ S 1 0 2 ) 。
この特^ ¾空間は、 第 1 0図に示すように、 横軸に R/G (赤色要素/緑色要素 ) をとり、 縦軸に B /R (青色要素/赤色要素） を色空間である。 出血があった + 場合、 この特徴空間内における分布をもとに、 鮮血である力 凝固血であるか、 正常な出血であるかを判別できる。 第' 1 0図に示すように、 この特徴空間では、 鮮血領域 E l、 凝固血領域 E 2、 および正常領域 E 3の各領域が形成され、 鮮血 領域 E 1と凝固血領域 E 2とは識別関数 L 1によって領域分別され、 凝固血領域 E 2と正常領域 E 3とは識別関数 L 2によって領域分別される。 ただし、 凝固血 領域 E 2と正常領域 E 3とは一部が重複しており、 識別関数 L 2は、 一部の正常 領域 E 3を含めている。 したがって、 識別関数 L 1よりも R/Gが大きい領域の 色を有する画素である場合には、 鮮血であると半 IJ定され、 識別関数 L 1， L 2に 挟まれた領域の色を有する画素である場合には、 少なくとも凝固血であると判定 され、 識別関数 L 2よりも BZRが大きい領域の色を有する画素である場合には 、 正常な出血であると判定される。
第 9図において、 全画素の特徴空間上における位置を算出した （ステップ S 1 02) 後、 C PU 54は、 全画素内に鮮血領域 E 1に含まれる画素があるか否か を判断する （ステップ S 103) 。 この判断は、 上述した識別関数 L 1を用い、 算出された画素の特徴空間上における位置が、 識別関数 L 1よりも第 10図上、 右側に位置するか否かによって行われる。 ここで、 鮮血領域 E 1内に画素がある 場合 （ステップ S 103， YES) には、 鮮血の出血部位があると判定し （ステ ップ S 104) 、 ステップ S 109に移行する。
一方、 鮮血領域 E 1内に画素がない場合 （ステップ S 103， NO) 、 さらに 凝固血領域 E 2に画素があるか否かを判断する （ステップ S 105) 。 この判断 は、 上述した識別関数 L 1， L 2に挟まれた領域に画素が位置するか否かによつ て行われる。 凝固血領域 E 2内に画素がある場合 （ステップ S 105， YES) には、 さらにこれらの画素を含む出血部位がほぼ円であるか否かを解析する円の 画像処理を行う （ステップ S 106) 。 この円の画像処理を行うのは、 出血部位 が凝固血であれば、 ほぼ円形となるからである。 なお、 出血部位が鮮血であれば 、 出血部位の外縁が波打つた形状となり、 ほぼ円形とならない。
その後、 円の画像処理の結果、 出血部位がほぼ円である力否かを判断し （ステ ップ S 107) 、 出血部位がほぼ円である場合 （ステップ S 107， YES) に は、 凝固血の出血部位があると判定し （ステップ S 108) 、 ステップ S 109 に移行する。 一方、 凝固血領域に画素がない場合 （ステップ S 105, NO) お よび円の画像処理によって出血部位がほぼ円でない場合 （ステップ S 107， N o) には、 出血部位が凝固血、 正常の出血、 あるいは出血がないものと判定して ステップ S 109に移行する。
ステップ S 109では、 全画像フレームに対する出血部位の検索処理が終了し たか否かを判断し、 検索処理すべき画像フレームがある場合にはステップ S 10 1に移行して上述した処理を繰り返して行い、 検索処理すべき画像フレームがな い場合には本処理を終了する。 なお、 鮮血の出血部位あるいは凝固血の出血部位 があると判定された場合、 この画像フレームに対してこの旨を示すフラグを付す る。
なお、 上述したステップ S 1 0 3およびステップ S 1 0 5の判断処理では画素 数について言及していないが、 画像フレーム内において 1以上の画素があればよ い。 ただし、 ノイズである可能性があるため、 所定個数の画素があるか否かを判 断することが好ましい。
また、 上述したステップ S 1 0 3およびステップ S 1 0 5の判断処理では、 識 別関数 L l， L 2を用いていたが、 これに限らず、 識別関数 L 1， L 2を用いず 、 各画素が鮮血領域 E l、 凝固血領域 E 2、 正常領域 E 3に位置するカ否かによ つて判断するようにしてもよい。 '
ここで、 上述したステップ S 1 0 6における円の画像処理について説明する。 第 1 1図は、 円の画像処理手順を示す詳細フローチャートである。 第 1 1図に示 すように、 まず C P U 5 4は、 S O B E L法などによって各画素毎に、 エッジ検 出処理を行う (ステップ S 2 0 1 ) 。 その後、 検出した各エッジの法線である直 線を生成する （ステップ S 2 0 2 ) 。 さらに、 各画素毎に、 この画素に何本の直 線が横切つたかを算出する （ステップ S 2 0 3 ) 。
その後、 算出された直線の数が所定値以上である画素があるか否かを判断する (ステップ S 2 0 4 ) 。 直線の数が所定値以上である場合 （ステップ S 2 0 4， Y E S ) には、 出血部位はほぼ円であると判定し （ステップ S 2 0 5 ) 、 ステツ プ S 1 0 6にリターンする。 一方、 直線の数が所定値以上でない場合 （ステップ S 2 0 4 , N O) には、 出血部位はほぼ円でないと判定し （ステップ S 2 0 6 ) 、 ステップ S 1 0 6にリターンする。
たとえば、 第 1 2図に示すように、 ェッジ検出処理によつて出血部位 Eに対す るエッジ e 1， e 2が検出されると、 各画素のェッジの法線である直線 L Nを生 成し、 この直線 L Nの交差数が所定値以上の画素 P 1カゝ、 所定値以下の画素 P 2 かを判断する。 ここで、 所定値以上の画素 P 1が存在する場合には、 エッジ e 1 はほぼ円であると判定される。
なお、 上述したステップ 2 0 4の判断は、 直線の数が所定値以上である画素が ある力否かを判断していたが、 これに限らず、 直線の数が所定値以上である画素 がさらに所定数以上あるか否かを判断するようにしてもよい。
このようにして、 C P U 5 4は、 出血部位の自動検索処理を行うようにし、 フ ' ラグを介した出血部位のマーキングを行うようにしているので、 膨大な画像情報 の中から出血部位を検索するという煩雑で多大な時間がかかる医師や看護士によ る検索処理を、 容易かつ短時間で行うことができる。 この結果、 出血部位などの 見逃しを軽減するとともに、 医師や看護士が、 出血部位に関する病状の考察など に集中することができる。
なお、 上述した自動検索処理は、 出血部位に関するものであつたが、 これに限 らず、 他の検索対象画像に対しても適応することができる。 さらに、 第 9図に示 した出血部位の自動検索処理において、 凝固血領域の検出などの処理 （ステップ S 1 0 5〜S 1 0 8 ) の処理を行わず、 鮮血領域がある力否かのみの判定を行う ようにしてもよレ、。 すなわち、 上述した出血部位自動検索処理では、 鮮血と凝固 血の出血部位があるか否かを検索するようにしていたが、 鮮血の出血部位のみを' 検索するようにしてもよい。 この場合、 鮮血の出血部位が最も注目すべき検索対 象となる。 また、 正常出血の出血部位については判定しないようにしていたが、 この正常出血も含めた出血部位を検出するようにしてもよい。
ところで、 平均色バー 5 0 7の表示においては、 第 1 3図に示す平均色パー表 示処理が行われる。 すなわち、 第 7図に示した一覧表示から診察対象の患者が決 定すると、 その患者に対応した撮像情報のファイルが指定される。 そして、 1フ レーム分の画像ファイルがメモリ 5 3から読み出されてオープンされ （ステップ S 3 0 1 ) 、 フレーム単位における撮像画像の平均色が測定される （ステップ S 3 0 2 ) 。 平均色が測定され、 平均色データが得られると、 その 1フレーム目の平均色デ ータはメモリ 5 3に格納される （ステップ S 3 0 3 ) 。 そして、 処理済みの画像 ファイルはクローズされて （ステップ S 3 0 4 ) 、 時系列に並ぶつぎの画像ファ ィルが読み出されてオープンされ、 以下、 同様の処理が繰り返し実行される （ス テツプ S 3 0 5の N Oノレート） 。
診察対象患者の撮像情報のすべてについて平均色が求められると （ステップ S 3 0 5 ) 、 メモリ 5 3に蓄えられた平均色データを用いて第 8図に示した如く平 均色パ一 5 0 7が表示制御される （ステップ S 3 0 6 ) 。 このようにして、 平均 色パー 5 0 7の表示が完了する。 このとき、 スライダ Sの初期位置は、 平均色'パ 一 5 0 7の左端 （開始位置） とするが、 これに限定されるものではない。
また、 撮像画像データなどを含む撮像情報は膨大な情報量となっていることか ら、 すべての画像ファイルをオープンして全フレームについて平均色を求める必 要はなく、 効率的に数フレームを間引きながら平均色を求めようにしてもよい。 また、 本実施の形態では、 求めた平均色そのものを平均色バー 5 0 7に表示して いるが、 これに限るものではなく、 この平均色に対応した色が平均色パー 5 0 7 に表示されていればよい。
以上説明したように本実施の形態によれば、 カプセル内視鏡 （体内撮像装置） によって時系列で撮像された入力画像データの全体的な撮像期間を示すスケール を表示し、 このスケール上に移動可能なスライダを表示し、 スケール上における スライダの移動に連動してスライダの位置に対応する撮像時刻の雨像を表示し、 '入力画像データの一画面の平均色情報に対応する色をスケール上の時間的に対応 する位置に表示するので、 撮像部位によって色分けされ、 この色分けされた色か ら体内の臓器を容易に判断することが可能となる。 これによつて、 画像の検索性 が向上するとともに、 表示画像がどのβの画像であるかを容易に認識すること が可能となる。
さて、 上述した実施の形態では、 平均色パーに配列された平均色を指標として 臓器の位置を認識するようにしていたが、 本発明はこれに限定されるものではな く、 以下に説明する変形例のように、 臓器名を平均色に対応させて表示する追カロ 機能をもたせてもよい。 したがって、 以下に説明する変形例は、 前述した構成お よび機能と同様のため、 追加部分についてのみ説明する。
ここで、 第 1 4図は本実施の形態の一変形例による診察処理にかかる表示画面 の一例を示す図であり、 第 1 5図は本実施の形態の一変形例による臓器名の自動 判別原理を説明する図であり、 そして、 第 1 6図は本実施の形態の一変形例によ る臓器名の判別処理を説明するフローチヤ一トである。
第 1 4図において、 臓器名は、 平均色バー 5 0 7の各平均色に対応させて表示 される。 平均色パー 5 0 7には、 カプセル内視鏡 1 0が体内で時系列に撮像する 並びで、 食道、 胃、 小腸、 大腸の順に平均色が並ぶことになる。 したがって、 平 均色バー 5 0 7には、 各臓器の平均色に対応させて食道、 胃、 小腸、 大腸の順に 臓器名 5 0 9が表示される。
そして、 臓器名の自動判別の際は、 臓器範囲の自動判別となる。 経過時間にお ける各撮像画像の赤色のレベル、 青色のレベルは第 1 5図に示した如く特性を有 する。 実際の画像はノイズ成分を含んでいるので、 この特性をもつ赤色、 青色の レベルに対して時間軸方向にローパスフィルタ （L P F) 処理を施してノイズを 除去する。 そして、 L P F処理後の時間軸方向における赤色、 青色の各レベルが 共通してもつエッジ部位 （変色エッジ） を抽出する。
第 1 5図の例では、 上述のようにして抽出された変色ェッジは、 N 1， N 2， N 3の 3箇所である。 したがって、 変色エッジ N l， N 2 , N 3の時間軸方向の 位置から、 最初の変色ェッジ N 1が食道から胃への移行部位、 N 2が胃から小腸 への移行部位、 そして、 N 3が小腸から大腸への移行部位であるという自動判別 がなされる。 このときの臓器名の順位は、 カプセル内視鏡 1 0に撮像される臓器 の時間軸方向の並びに基づくものである。
そこで、 以上の原理に基づく処理としては、 まず赤色レベル、 青色レベルが算 出され （ステップ S 4 0 1 ) 、 赤色レべノレ、 青色レベルについてそれぞれ時間軸 方向の L P F処理が施され （ステップ S 4 0 2 ) 、 変色エッジ N l， N 2， N 3 の検出が行われる （ステップ S 4 0 3 ) 。 そして、 変色エッジ N l， N 2， N 3 の時間的な位置から臓器範囲の自動判別が行われ、 平均色パー 5 0 7の各平均色 に対応させて臓器名が表示される （ステップ S 4 0 4 ) 。
このように、 力プセル內視鏡によつて時系列で撮像された入力画像データの全 体的な撮像期間を示すスケールを表示し、 このスケール上に移動可能なスライダ を表示し、 スケール上におけるスライダの移動に連動してスライダの位置に対応 する撮像時刻の画像を表示し、 入力画像データの一画面の色情報に基づいて臓器 を判別して臓器名をスケールに対応させて表示するので、 表示された臓器名から 体内の臓器を容易に判断することが可能となる。 これによつても、 画像の検索性 が向上するとともに、 表示画像がどの臓器の画像であるかを容易に認識すること が可能となる。
さて、 上述した変形例では、 変色エッジから平均色パー上の臓器範囲を自動判 別するようにしていたが、 本発明はこれに限定されるものではなく、 カプセノレ内 視鏡 1 0に p Hセンサを設けて、 測定された p H値を用いて臓器範囲の特定をよ り正確にしてもよい。 この場合には、 観察期間において p Hセンサにより p H値 が測定され、 この p H値についても撮像画像と同様に時系列に測定され、 受信機 4に蓄えられることになる。 その際、 各フレーム （画像ファイル）,,に撮像画像と p H値とが共存するなどして関連付けて記録される。
ここで、 第 1 7図は第 1 5図の変形例の応用例を説明する図である。 この p H 値を追カ卩した自動判別では、 第 1 7図に示したように、 胃が酸性であることを利 用して、 酸性部位と変色ェッジ N 1， N 2とを比較し、 胃の部位を判別すること になり、 より判別精度を上げることができる。
なお、 上述した平均色パー 5 0 7の表示に代え、 第 1 8図に示すように、 色要 素変化の表示領域 6 0 1を設けるようにしてもよい。 この場合、 各画像フレーム 毎の平均色要素 （R， G， B ) のそれぞれの時系列的変化を直接表示している。 すなわち、 画像フレームから抽出された色要素という数値パラメータを可視情報 化し、 時系列的に連続して表示するようにしている。 ここで、 食道の色は白青色 であり、 胃は赤色であり、 小腸は黄色であり、 大腸は橙色であり、 これらの色変 化に伴つて各色要素も変ィヒする。 各色要素の変化を連続的に可視表示するのみで 、 撮像部位を特定することができる。 この場合、 1つの色要素、 たとえば Rのみ を表示してもよい。 また、 各画像フレームの R， G， Bは、 .全画素の平均値であ つてもよいし、 特定の画素の平均値や、 間引いた後の画素の平均値であってもよ い。 換言すれば、 各画像フレームを代表する色要素値を求めればよい。
また、 各色要素変化の表示に代え、 第 1 9図に示すように、 輝度変化の表示領 域 6 0 2を設けるようにしてもよい。 輝度 Yは、
Y = 0 . 2 9 9 R + 0 . 5 8 7 G + 0 . 1 1 4 B
で示され、 各色要素から各画像フレームの輝度を求めることができる。 すなわち 、 画像フレームから抽出された色要素を輝度の数値パラメータに変換し、 この数 値パラメータを可視情報化し、 時系列的に連続して表示するようにしている。 な お、 第 1 9図では、 時系列的な輝度変化に伴って、 臓器部位が表示されている。 この) 1β部位は、 輝度値の変ィ匕をもとに判別したものであってもよいし、 上述し た色情報あるいは ρ Η値をもとに判別したものであってもよい。
さらに、 輝度変化の表示に代え、 第 2 0図に示すように、 各画像フレーム間の 相対的な誤差であるフレーム間誤差の変化の表示領域 6 0 3を設けるようにして もよい。 この場合、 食道から胃に変わるときに大きなフレーム間誤差が生じ、 そ の変化の大きいところでピークをもつことになる。 このピークが生じる変化を直 接表示しておくことによって、 各臓器部位の境を知ることができる。 なお、 第 2 0図では、 時系列的なフレーム間誤差の変化に伴って臓器部位が表示されている 。 また、 第 2 0図における小腸での細かいピークは、 小腸のぜん動によるもので ある。
すなわち、 第 1 8図〜第 2 0図に示したように、 各色要素や輝度、 さらにはフ レーム間誤差などの変化を時系列的に直接表示しても、 各臓器部位を特定するこ とができる。 この臓器部位は、 フレーム間誤差をもとに判別したものであっても よいし、 上述した色情報あるいは ρ Η値をもとに判別したものであってもよい。 つづいて、 前述した実施の形態におけるカルテ作成について説明する。 第 2 1 図は本実施の形態による診察手順にかかる画面遷移の一例を説明する図であり、 第 2 2図は本実施の形態による指定画像の撮影時間表示のための動作を説明する フローチャートである。 医師による診察は 「診察終了カルテ印刷」 のメニュー操 作により終了させることができるが、 さらにカルテ作成手順に移行することもで さる。
第 8図の表示画面から第 2 1図の表示画面に処理が移行した場合には、 医師の コメント記入や各チェック画像が平均色バー 5 0 7上でどの経過時間に対応する かを示すマーク表示がなされる。
すなわち、 第 2 1図において、 5 0 4 Bはチェック画像表示欄を示し、 前述し たチェック画像表示欄 5 0 4 Aよりも領域を大きくとり、 画面下段に設けられる 。 また、 チェック画像表示欄 5 0 4 Aと異なる点として、 各撮像画像に番号 C 1 〜C 1 0が付与され、 表示されている。 このチェック画像表示欄 5 0 4 Bは、 チ エック画像表示欄 5 0 4 Aと同様の機能を有している。
5 1 0は医師の所見 （コメント） を入力して表示させるコメント揷入欄を示し ている。 このコメント挿入欄 5 1 0にはく 医師の診断結果がコメントとして揷入 される。 5 1 1はチヱック画像表示欄 5 0 4 Bに表示される対象のチェック画像 についてそれぞれどの経過時間のときの撮像画像であるかを平均色パー 5 0 7上 にマークとして表示する撮影時間表示マークを示している。 この撮影時間表示マ ークとして、 平均色パー 5 0 7上にてチェック画像の撮像時刻を指し示す指標と しての下向き矢印と、 チェック画像との対応関係がわかるようにチェック画像と の関連を示す関連表示としてのチェック画像に付与された上記番号とを表示する ようにしている。
第 2 1図には、 1 0枚のチェック画像が例に挙げられている。 この例では、 平 均色パー 5 0 7上において、 時系列に食道、 胃、 小腸、 大腸の順に平均色が色分 けされている。 したがって、 j藤器名 5 0 9の各 ϋ器の範囲から明らかなように、 責道範囲にチェック画像のマーク C 1が存在し、 胃範囲にチェック画像のマーク C 2 , C 3および C 4が存在している。 また小腸範囲にチェック画像のマーク C 5 , C 6， C 7 , C 8および C 1 0が存在している。
したがって、 第 2 1図の例から、 食道、 胃、 小腸にそれぞれ医師がチェックし た画像の存在が認められるとともに、 各チェック画像が撮影されたときの時間に 対-応させてマークが表示配置されるので、 医師はチェック画像が各臓器のどの辺 りで撮影されたものかを容易に確認することが可能である。 なお、 第 2 1図では 、 臓器名が表示された平均色バー 5 0 7に撮影時間表示マークを表示しているが 、 第 8図のような臓器名が表示されていない平均色バー上【こ表示してもよい。 ま た、 第 2 1図では、 撮影時間表示マークとしてチェック画像との関連を示す関連 表示 （番号） を表示しているが、 撮像時刻の位置を示す指標 （下向き矢印） でも よい。
以上のマーク表示についてその処理を、 第 2 2図を用いて説明する。 チェック 画像すなわち指定画像の撮影時間表示においては、 まずメモリ 5 3から指定画像 のファイル作成日時が取得され （ステップ S 5 0 1 ) 、 撮影開始日時からの経過 時間が算出される （ステップ S 5 0 2 ) 。 そして、 平均色バー 5 0 7上の経過時 間に対応する場所に平均色パー 5 0 7のスケールで第 2 1図に示した如くマーク 表示が制御される （ステップ S 5 0 3 ) 。 この後、 カルテ印刷が操作されると、 力ルテ印刷のための出力が実行される。
以上説明したように、 本実施の形態によれば、 カプセル内視鏡 （体内撮像装置 ) によって時系列で撮像された入力画像データの全体的な撮像期間を示すスケー ルを表示し、 入力画像データの一画面の平均色情報に対応する色をスケール上の 時間的に対応する位置に表示し、 入力画像データに対応する画像を表示し、 スケ ール上にお！/ヽて、 指定された画像の撮像時刻に対応する位置を示す指標を表示す るので、 指定画像がどの時間帯にどれくらいあるかなどを視覚的に容易に認識す ることが可能である。 また、 撮像部位によって色分けされた色から臓器を容易に 判断できることから、 どの )]βにどの辺りに指定画像が多いかを容易に認識する ことが可能である。 また、 力プセル内視鏡によつて時系列で撮像された画像データの全体的な撮像 期間を示すスケールを表示し、 入力画像データの一画面の色情報に基づいて臓器 を判別し、 その判別された臓器名をスケールに対応させて表示し、 入力画像デー タに対応する画像を表示し、 スケール上において、 指定された画像の撮像時刻に 対応する位置を示す指標を表示するので、 表示された臓器名から体内の 11βを容 易に判断することが可能となる。 これによつても、 どのβにどの辺りに指定画 像が多！/、かを容易に認識することが可能である。
本発明は、 上述した実施の形態に限らず、 本発明の趣旨を逸脱しない範囲であ れば、 種々の変形が可能である。
また、 本発明では、 撮像部位によって色分けなどがなされ、 この色分けされた 色などから体内の臓器を容易に判断することが可能となり、 これによつて、 面像 の検索性が向上するとともに、 表示画像がどの臓器の画像であるかを容易に認識 することが可能となる。 さらに、 出血部位の自動検索を行うようにしているので 、 医師や看護士にかかる負担が軽減されるという効果を奏する。 ■ 産業上の利用可能性 - . ' 以上のように、 本発明に係る画像表示装置、 画像表示方法および画像表示プロ グラムは、 カプセル型内視鏡などの被検体内導入装置を用いて被検体内の画像を 取得する無線型被検体内情報取得システムに有用であり、 カプセル型内視鏡シス テムに適している。

Claims

請 求 の 範 囲
1 . 体内撮像装置によって時系列で撮像された画像データを入力する入力手段 と、
前記入力手段により入力された時系列で撮像された画像データの全体的な撮像 期間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示するよ うに制御するスケール表示制御手段と、
前記スケール上における前記スライダの移動に連動して該スライダの位置に対 応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御手段と 前記入力手段により入力された画像データの一画面の色情報を検出する色情報 検出手段と、
前記平均色情報検出手段により検出された色情報に対応する色を前記スケール 上の時間的に対応する位置に表示するように制御する色表示制御手段と、 を備えたことを特徴とする画像表示装置。
2 . 前記色情報検出手段は、 前記入力手段により入力された画像データの一画 面の色情報から平均色に関する色情報を検出する平均色検出手段を備えたことを 特徴とする請求の範囲第 1項に記載の画像表示装置。 '
3 . 前記色情報検出手段により検出された色情報に基づいて臓器を判別する臓 器判別手段と、
前記臓器判別手段により判別された臓器名を前記スケールに対応させて表示す るように制御する臓器名表示制御手段と、
を備えたことを特徴とする請求の範囲第 1項に記載の画像表示装置。
4 . 前記臓器判別手段は、 前記色情報を構成する色要素の増減情報をもとに臓 器を判別することを特徴とする請求の範囲第 3項に記載の画像表示装置。
5 . 前記臓器判別手段は、 前記画像データに関連して得られた生体情報を加味 して臓器を判別することを特徴とする請求の範囲第 3項に記載の画像表示装置。
6 . 体内撮像装置によつて時系列で撮像された画像の特徴である数値パラメ一 タを抽出する特徴抽出手段と、
前記特徴抽出手段によつて抽出された数値パラメータを可視化し、 時系列で連 続的に可視表示する表示制御手段と、
を備えたことを特徴とする画像表示装置。
7 . 前記数値パラメータは、 各画像の平均色を示す色要素であることを特徴と する請求の範囲第 6項に記載の画像表示装置。
8 . 前記特徴抽出手段によって抽出された数値パラメータを変換して新たな変 換数値パラメータを生成する変換手段をさらに備え、
前記表示制御手段は、 前記変換手段が変換した変換数値パラメータを可視ィ匕し 、 時系列で連続的に可視表示することを特徴とする請求の範囲第 6項に記載の画
9 · 前記変換手段は、 各画像の色情報の数値パラメータをもとに各画像の輝度 値を示す変換数値パラメータに変換することを特徴とする請求の範囲第 8項に記 載の画像表示装置。
1 0 . 前記変換手段は、 各画像の平均色の数値パラメータをもとに各画像の平 均輝度値を示す変換数値パラメータに変換することを特徴とする請求の範囲第 8 項に記載の画像表示装置。
1 1 . 前記特徴抽出手段は、 各画像フレーム間の差分を示すフレーム間誤差を 数値パラメータとして抽出することを特徴とする請求の範囲第 6項に記載の画像
1 2 . 前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器部 位を判別する臓器判別手段をさらに備え、
前記表示制御手段は、 判別された臓器部位を前記時系列に対応させて表示する 制御を行うことを特徴とする請求の範囲第 6項に記載の画像表示装置。
1 3 . 体内撮像装置によって時系列で撮像された画像データを入力する入力手 段と、
前記入力手段により入力された時系列で撮像された画像データの全体的な撮像 期間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示するよ うに制御するスケール表示制御手段と、
前記スケール上における前記スラィダの移動に連動して該スラィダの位置に対 応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御手段と を備え、
前記表示制御手段は、 前記特徴抽出手段によつて抽出された数値パラメータぁ るレヽは前記変換手段によつて変換された変換数値パラメータを可視化し、 前記ス ケール上の時間的に対応する位置に表示する制御を行うことを特徴とする請求の 範囲第 6項に記載の画像表示装置。
1 4 . 体内撮像装置によって時系列で撮像された一連の画像データ内の各画像 の色情報を取得する色情報取得手段と、
前記色情報取得手段によつて取得された色情報を所定の特徴色空間上の位置情 報に変換する変換手段と、
前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段 によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否 かを判断する出血部位判断手段と、
前記出血部位判断手段によつて検索対象の出血部位があると判断された画像に その旨を示すフラグを付するフラグ付記手段と、
を備えたことを特徴とする画像表示装置。
1 5 . 前記出血部位判断手段は、 前記特徴色空間上における鮮血、 凝固血、 お よび正常出血の各色分布を分離する識別関数を用いて出血の種別を判断すること を特徴とする請求の範囲第 1 4項に記載の画像表示装置。
1 6 . 前記出血部位判断手段は、 出血部位がほぼ円形で.ある場合に該出血部位 を凝固血'の出血部位であると判断することを特徴とする請求の範囲第 1 5項に記
1 7 . 前記出血部位判断手段は、 画像内の各画素のエッジを検出し、 この検出 された各ェッジの法線を生成し、 各画素に投票される法線数が所定値以上であつ た場合に、 ほぼ円形の出血部位があると判断することを特徴とする請求の範囲第 1 6項に記載の画像表示装置。 1 8 · 体内撮像装置によつて時系列で撮像された画像データを入力する入力 前記入力ステップにより入力された時系列で撮像された画像データの全体的な 撮像期間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示す るように制御するスケール表示制御ステップと、
前記スケール上における前記スライダの移動に連動して該スライダの位置に対 応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステツ プと、
前記入力ステップにより入力された画像データの一画面の色情報を検出する色 情報検出ステップと、
前記色情報検出ステツプにより検出された色情報に対応する色を前記スケール 上の時間的に対応する位置に表示するように制御する色表示制御ステップと、 を含むことを特徴とする画像表示方法。
1 9 . 前記色情報検出ステップは、 前記入力手段により入力された画像データ の一画面の色情報から平均色に関する色情報を検出する平均色検出ステップを含 むことを特徴とする請求の範囲第 1 8項に記載の画像表示方法。
2 0 . 前記色情報検出ステップにより検出された色情報に基づいて臓器を判別 する臓器判別ステップと、
前記臓器判別ステップにより判別された臓器名を前記スケールに対応させて表 示するように制御する)藤器名表示制御ステップと、
を含むことを特徴とする請求の範囲第 1 8項に記載の画像表示方法。
2 1 . 前記臓器判別ステップは、 前記色情報を構成する色要素の増減情報をも とに)】 を判別することを特徴とする請求の範囲第 2 0項に記載の画像表示方法 D
2 2 . 前記臓器判別ステップは、 前記画像データに関連して得られた生体情報 を加味して臓器を判別することを特徴とする請求の範囲第 2 0項に記載の画像表 示方法。
2 3 . 体内撮像装置によって時系列で撮像された画像の特徴である数値パラメ ータを抽出する特徴抽出ステップと、
前記特徴抽出手段によつて抽出された数値パラメータを可視化し、 時系列で連 続的に可視表示する表示制御ステツプと、
を含むことを特徴とする画像表示方法。
2 4 . 前記数値パラメータは、 各画像の平均色を示す色要素であることを特徴 とする請求の範囲第 2 3項に記載の画像表示方法。
2 5 . 前記特徴抽出ステップによって抽出された数値パラメータを変換して新 たな変換数値パラメータを生成する変換ステップをさらに含み、
前記表示制御ステップは、 前記変換ステップが変換した変換数値パラメータを 可視化し、 時系列で連続的に可視表示することを特徴とする請求の範囲第 2 3項 に記載の画像表示方法。 ·
2 6 . 前記変換ステップは、 各画像の色情報の数値パラメータをもとに各画像 の輝度値を示す変換数値パラメータに変換することを特徴とする請求の範囲第 2 5項に記載の画像表示方法。
2 7 . 前記変換ステップは、 各画像の平均色の数値パラメータをもとに各画像 の平均輝度値を示す変換数値パラメータに変換することを特徴とする請求の範囲 第 2 5項に記載の画像表示方法。
2 8 . 前記特徴抽出ステップは、 各画像フレーム間の差分を示すフレーム間誤 差を数値パラメータとして抽出することを特徴とする請求の範囲第 2 3項に記載 の画像表示方法。 2 9 . 前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器部 位を判別する臓器判別ステップをさらに含み、
前記表示制御ステップは、 判別された臓器部位を前記時系列に対応させて表示 する制御を行うことを特徴とする請求の範囲第 2 3項に記載の画像表示方法。 3 0 . 体内撮像装置によつて時系列で撮像された画像データを入力する入カス 前記入力ステップにより入力された時系列で撮像された画像データの全体的な 撮像期間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示す るように制御するスケーノレ表示制御ステップと、
前記スケール上における前記スラィダの移動に連動して該スラィダの位置に対 応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステツ プと、
を含み、
前記表示制御ステツプは、 前記特徴抽出ステツプによつて抽出された数値パラ メータあるいは前記変換ステップによつて変換された変換数値パ 9メータを可視 化し、 前記スケール上の時間的に対応する位置に表示する制御を行うことを特徴 とする請求の範囲第 2 3項に記載の画像表示方法。
3 1 . 体内撮像装置によつて時系列で撮像された一連の画像データ内の各画像 の色情報を取得する色情報取得ステップと、
前記色情報取得ステップによつて取得された色情報を所定の特徴色空間上の位 置情報に変換する変換： 前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段 によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否 かを判断する出血部位判断ステツプと、
前記出血部位判断ステップによつて検索対象の出血部位があると判断された画 像にその旨を示すフラグを付するフラグ付記ステツプと、
を含むことを特徴とする画像表示方法。
3 2 . 前記出血部位判断ステップは、 前記特徴色空間上における鮮血、 凝固血. 、 および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断する ことを特徴とする請求の範囲第 3 1項に記載の画像表示方法。
3 3 . 前記出血部位判断ステップは、 出血部位がほぼ円形である場合に該出血 部位を凝固血の出血部位であると判断することを特徴とする請求の範囲第 3 2項 に記載の画像表示方法。
3 4 . 前記出血部位判断ステップは、 画像内の各画素のェッジを検出し、 この 検出された各ェッジの法線を生成し、 各画素に投票される法線数が所定値以上で あった場合に、 ほぼ円形の出血部位があると判断することを特徴とする請求の範 囲第 3 3項に記載の画像表示方法。
3 5 . 体内撮像装置によって時系列で撮像された画像データを入力する入カス 前記入力ステップにより入力された時系列で撮像された画像データの全体的な 撮像期間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示す るように制御するスケール表示制御ステップと、 前記スケール上における前記スライダの移動に連動して該スライダの位置に対 応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステツ プと、
前記入力ステップにより入力された画像データの一画面の色情報を検出する色 情報検出ステップと、
前記色情報検出ステップにより検出された色情報に対応する色を前記スケール 上の時間的に対応する位置に表示するように制御する色表示制御ステップと、 をコンピュータに実行させることを特徴とする画像表示プログラム。
3 6 . 前記色情報検出ステップは、 前記入力手段により入力された画像データ の一画面の色情報から平均色に関する色情報を検出する平均色検出ステップを含 むことを特徴とする請求の範囲第 3 5項に記載の画像表示プログラム。
3 7 . 前記色情報検出ステップにより検出された色情報に基づいて臓器を判別 する) ]β判別ステップと、
前記臓器判別ステップにより判別された臓器名を前記スケールに対応させて表 示するように制御する臓器名表示制御ステップと、
を含むことを特徴とする請求の範囲第 3 5項に記載の画像表示プログラム。
3 8 . 前記臓器判別ステップは、 前記色情報を構成する色要素の増減情報をも とに臓器を判別することを特徴とする請求の範囲第 3 7項に記載の画像表示プロ グラム。
3 9 . 前記 j蔵器判別ステップは、 前記画像データに関連して得られた生体情報 を加味してβを判別することを特徴とする請求の範囲第 3 7項に記載の画像表 示プログラム。
4 0 . 体内撮像装置によって時系列で撮像された画像の特徴である数値パラメ ータを抽出する特徴抽出ステップと、
前記特徴抽出手段によつて抽出された数値パラメータを可視化し、 時系列で連 続的に可視表示する表示制御ステップと、
をコンピュータに実行させることを特徴とする画像表示プログラム。
4 1 . 前記数値パラメータは、 各画像の平均色を示す色要素であることを特徴 とする請求の範囲第 4 0項に記載の画像表示プログラム。 4 2 . 前記特徴抽出ステップによって抽出された数値パラメータを変換して新 たな変換数値パラメータを生成する変換ステツプをさらに含み、
前記表示制御ステップは、 前記変換ステップが変換した変換数値パラメータを 可視化し、 時系列で連続的に可視表示することを特徴とする請求の範囲第 4 0項 に記載の画像表示プロダラム。
4 3 . 前記変換ステップは、 各画像の色情報の数値パラメータをもとに各画像 の輝度値を示す変換数値パラメータに変換することを特徴とする請求の範囲第 4 2項に記載の画像表示プログラム。 4 4 . 前記変換ステップは、 各画像の平均色の数値パラメータをもとに各画像 の平均輝度値を示す変換数値パラメータに変換することを特徴とする請求の範囲 第 4 2項に記載の画像表示プログラム。
4 5 . 前記特徴抽出ステップは、 各画像フレーム間の差分を示すフレーム間誤 差を数値パラメータとして抽出することを特徴とする請求の範囲第 4 0項に記載 の画像表示プログラム。
4 6 . 前記数値パラメータあるあいは前記変換数値パラメータをもとに臓器部 位を判別する臓器判別ステップをさらに含み、
前記表示制御ステップは、 判別された臓器部位を前記時系列に対応させて表示 する制御を行うことを特徴とする請求の範囲第 4 0項に記載の画像表示プロダラ ム。
4 7 . 体内撮像装置によって時系列で撮像された画像データを入力する入カス 前記入力ステップにより入力された時系列で撮像された画像データの全体的な 撮像期間を示すスケールを表示し、 該スケール上を移動可能なスライダを表示す るように制御するスケール表示制御ステップと、
前記スケール上における前 スラィダの移動に連動して該スラィダの位置に対 応する撮像時刻の画像を表示手段に表示するように制御する画像表示制御ステッ プと、
を含み、
前記表示制御ステップは、 前記特徴抽出ステップによつて抽出された数値パラ メータあるいは前記変換ステッズによって変換された変換数値パラメータを可視 化し、 前記スケール上の時間的に対応する位置に表示する制御を行うことを特徴 とする請求の範囲第 2 3項に記載の画像表示プログラム。
4 8 . 体內撮像装置によって時系列で撮像された一連の画像データ内の各画像 の色情報を取得する色情報取得ステップと、
前記色情報取得ステツプによつて取得された色情報を所定の特徴色空間上の位 置情報に変換する変換ステップと、
前記所定の特徴色空間上における出血に関する色分布位置情報と前記変換手段 によって変換された位置情報とをもとに画像内に検出対象の出血部位があるか否 かを判断する出血部位判断ステップと、 前記出血部位判断ステツプによつて検索対象の出血部位があると判断された画 像にその旨を示すフラグを付するフラグ付記ステップと、
をコンピュータに実行させることを特徴とする画像表示プログラム。
4 9 . 前記出血部位判断ステップは、 前記特徴色空間上における鮮血、 凝固血 、 および正常出血の各色分布を分離する識別関数を用いて出血の種別を判断する ことを特徴とする請求の範囲第 4 8項に記載の画像表示プロダラム。
5 0 . 前記出血部位判断ステップは、 出血部位がほぼ円形である場合に該出血 部位を凝固血の出血部位であると判断することを特徴とする請求の範囲第 4 9項 に記載の画像表示プロダラム。
5 1 . 前記出血部位判断^テツプは、 画像内の各画素のエッジを検出し、 この 検出された各ェッジの法線を生成し、 各画素に投票される法線数が所定値以上で あった場合に、 ほぼ円形の出血部位があると判断することを特徴とする請求の範 囲第 5 0項に記載の画像表示プロダラム。
PCT/JP2004/005738 2003-04-25 2004-04-21 画像処理装置、画像処理方法および画像処理プログラム WO2004096025A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2004233674A AU2004233674B2 (en) 2003-04-25 2004-04-21 Image display apparatus, image display method and image display program
CA2523302A CA2523302C (en) 2003-04-25 2004-04-21 Image display apparatus, image display method, and image display program
EP04728669A EP1618828B1 (en) 2003-04-25 2004-04-21 Device, method and program for image processing

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003122804 2003-04-25
JP2003-122804 2003-04-25
JP2004120367A JP4493386B2 (ja) 2003-04-25 2004-04-15 画像表示装置、画像表示方法および画像表示プログラム
JP2004-120367 2004-04-15

Publications (1)

Publication Number Publication Date
WO2004096025A1 true WO2004096025A1 (ja) 2004-11-11

Family

ID=33422054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/005738 WO2004096025A1 (ja) 2003-04-25 2004-04-21 画像処理装置、画像処理方法および画像処理プログラム

Country Status (6)

Country Link
EP (2) EP1618828B1 (ja)
JP (1) JP4493386B2 (ja)
KR (3) KR100852321B1 (ja)
AU (1) AU2004233674B2 (ja)
CA (1) CA2523302C (ja)
WO (1) WO2004096025A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1875855A1 (en) * 2005-04-27 2008-01-09 Olympus Medical Systems Corp. Image processing device, image processing method, and image processing program
US7953261B2 (en) 2005-04-13 2011-05-31 Olympus Medical Systems Corporation Image processing apparatus and image processing method
CN101107732B (zh) * 2005-02-17 2011-07-06 奥林巴斯医疗株式会社 便携式电子设备及胶囊型内窥镜诊疗系统
US8175347B2 (en) 2005-11-24 2012-05-08 Olympus Medical Systems Corp. In vivo image display apparatus, receiving apparatus, and image display system using same and image display method thereof
US8406489B2 (en) 2005-09-09 2013-03-26 Olympus Medical Systems Corp Image display apparatus
CN105101862A (zh) * 2013-03-27 2015-11-25 富士胶片株式会社 图像处理装置和内窥镜系统的工作方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2004277001B2 (en) * 2003-10-02 2010-08-19 Given Imaging Ltd. System and method for presentation of data streams
JP4690683B2 (ja) * 2004-09-13 2011-06-01 株式会社東芝 超音波診断装置及び医用画像閲覧方法
JP4575216B2 (ja) * 2005-04-08 2010-11-04 オリンパス株式会社 医用画像表示装置
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP4624842B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理方法、画像処理装置及びプログラム
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP2006296882A (ja) * 2005-04-22 2006-11-02 Olympus Medical Systems Corp 画像表示装置
JP4832794B2 (ja) * 2005-04-27 2011-12-07 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理プログラム
JP4855709B2 (ja) * 2005-04-27 2012-01-18 オリンパスメディカルシステムズ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP4616076B2 (ja) * 2005-05-19 2011-01-19 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2006345929A (ja) * 2005-06-13 2006-12-28 Olympus Medical Systems Corp 画像表示装置
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
EP1918870A4 (en) 2005-08-22 2012-05-02 Olympus Corp IMAGE DISPLAY DEVICE
US8169472B2 (en) 2005-08-22 2012-05-01 Olympus Corporation Image display apparatus with interactive database
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4464894B2 (ja) 2005-09-09 2010-05-19 オリンパスメディカルシステムズ株式会社 画像表示装置
US20070060798A1 (en) * 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
JP4789607B2 (ja) * 2005-12-05 2011-10-12 オリンパスメディカルシステムズ株式会社 受信装置
JP4746428B2 (ja) 2005-12-28 2011-08-10 オリンパスメディカルシステムズ株式会社 受信装置およびこれを用いた被検体内情報取得システム
IL182332A (en) * 2006-03-31 2013-04-30 Given Imaging Ltd A system and method for assessing a patient's condition
JP2007312810A (ja) 2006-05-23 2007-12-06 Olympus Corp 画像処理装置
JP5086563B2 (ja) 2006-05-26 2012-11-28 オリンパス株式会社 画像処理装置及び画像処理プログラム
JP4914680B2 (ja) * 2006-09-05 2012-04-11 オリンパスメディカルシステムズ株式会社 画像表示装置
US8900124B2 (en) 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
JP4895750B2 (ja) * 2006-10-03 2012-03-14 Ｈｏｙａ株式会社 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
JP2008119145A (ja) 2006-11-09 2008-05-29 Olympus Medical Systems Corp 画像表示方法および画像表示装置
KR100870436B1 (ko) * 2007-02-27 2008-11-26 주식회사 인트로메딕 인체통신시스템에서 미디어 정보를 디스플레이하는 방법 및장치
JP2008278963A (ja) * 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP4932588B2 (ja) * 2007-05-08 2012-05-16 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5028138B2 (ja) * 2007-05-08 2012-09-19 オリンパス株式会社 画像処理装置および画像処理プログラム
WO2008139812A1 (ja) 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
JP5327641B2 (ja) * 2007-05-17 2013-10-30 オリンパスメディカルシステムズ株式会社 画像情報の表示処理装置
JP2008307122A (ja) * 2007-06-12 2008-12-25 Olympus Corp 体内情報取得装置
KR100864945B1 (ko) * 2007-06-21 2008-10-30 주식회사 인트로메딕 영상정보 처리장치의 정보처리 방법
JP5403880B2 (ja) 2007-06-27 2014-01-29 オリンパスメディカルシステムズ株式会社 画像情報の表示処理装置
US20100329520A2 (en) * 2007-11-08 2010-12-30 Olympus Medical Systems Corp. Method and System for Correlating Image and Tissue Characteristic Data
KR100868339B1 (ko) * 2007-11-15 2008-11-12 주식회사 인트로메딕 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법
KR100886462B1 (ko) * 2008-03-17 2009-03-04 주식회사 인트로메딕 캡슐 내시경을 이용한 진단 방법, 그리고 그 방법을 수행하기 위한 프로그램이 기록된 기록매체
KR100869768B1 (ko) * 2008-03-25 2008-11-24 주식회사 인트로메딕 캡슐 내시경의 정보 수신장치 및 수신방법과 이를 이용한캡슐 내시경 시스템
US9538937B2 (en) 2008-06-18 2017-01-10 Covidien Lp System and method of evaluating a subject with an ingestible capsule
JP5215105B2 (ja) * 2008-09-30 2013-06-19 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
KR100902383B1 (ko) * 2008-11-14 2009-06-11 주식회사 인트로메딕 캡슐 내시경 영상의 진단 화면과 이를 이용한 캡슐 내시경 영상의 디스플레이 방법, 및 이를 수행하기 위한 프로그램이 기록된 기록매체
US8744231B2 (en) 2008-10-07 2014-06-03 Intromedic Method of displaying image taken by capsule endoscope and record media of storing program for carrying out that method
JP5231160B2 (ja) * 2008-10-21 2013-07-10 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
EP2177149A1 (en) * 2008-10-14 2010-04-21 Olympus Medical Systems Corporation Image display device, image display method, and image display program
KR100996050B1 (ko) 2008-11-07 2010-11-22 주식회사 인트로메딕 캡슐 내시경 영상을 이용한 Ｕ－Ｈｅａｌｔｈ 기반의 자동병변 검출 시스템
KR100911219B1 (ko) * 2008-12-29 2009-08-06 주식회사 인트로메딕 캡슐 내시경 영상의 디스플레이 장치 및 방법, 그리고 그 방법을 수행하기 위한 프로그램이 기록된 기록매체
US20110032259A1 (en) * 2009-06-09 2011-02-10 Intromedic Co., Ltd. Method of displaying images obtained from an in-vivo imaging device and apparatus using same
KR100946203B1 (ko) * 2009-06-09 2010-03-09 주식회사 인트로메딕 캡슐내시경 시스템 및 그의 영상데이터 처리 방법
JP4724259B2 (ja) * 2009-07-29 2011-07-13 オリンパスメディカルシステムズ株式会社 画像表示装置、読影支援システムおよび読影支援プログラム
KR100963850B1 (ko) * 2010-02-08 2010-06-16 주식회사 인트로메딕 캡슐내시경 시스템 및 그의 영상데이터 처리 방법
EP2425761B1 (en) * 2010-05-10 2015-12-30 Olympus Corporation Medical device
JP5044066B2 (ja) 2010-11-08 2012-10-10 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
EP2567651B1 (en) * 2011-02-01 2015-04-22 Olympus Medical Systems Corp. Diagnosis supporting apparatus
US8873816B1 (en) 2011-04-06 2014-10-28 Given Imaging Ltd. Method and system for identification of red colored pathologies in vivo
JP5980490B2 (ja) * 2011-10-18 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2013164826A1 (en) 2012-05-04 2013-11-07 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
JP6342390B2 (ja) 2012-06-29 2018-06-13 ギブン イメージング リミテッドＧｉｖｅｎ Ｉｍａｇｉｎｇ Ｌｔｄ． 画像ストリームを表示するシステムおよび方法
JP5684300B2 (ja) * 2013-02-01 2015-03-11 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP6097629B2 (ja) 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
WO2014192512A1 (ja) 2013-05-31 2014-12-04 オリンパスメディカルシステムズ株式会社 医療装置
US9324145B1 (en) 2013-08-08 2016-04-26 Given Imaging Ltd. System and method for detection of transitions in an image stream of the gastrointestinal tract
JP6349075B2 (ja) 2013-11-22 2018-06-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍数測定装置及び心拍数測定方法
JP5972312B2 (ja) 2014-03-24 2016-08-17 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP5932894B2 (ja) * 2014-03-24 2016-06-08 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP6121368B2 (ja) * 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6050286B2 (ja) * 2014-06-27 2016-12-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6400994B2 (ja) * 2014-09-05 2018-10-03 オリンパス株式会社 検査画像表示システム
JP6633383B2 (ja) * 2015-12-17 2020-01-22 株式会社Ａｚｅ 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体
JP2018175216A (ja) * 2017-04-10 2018-11-15 コニカミノルタ株式会社 医用画像表示装置及びプログラム
JP2019088553A (ja) * 2017-11-15 2019-06-13 オリンパス株式会社 内視鏡画像観察支援システム
KR102294738B1 (ko) 2020-01-10 2021-08-30 주식회사 인트로메딕 장기 구분 시스템 및 방법
KR102294739B1 (ko) * 2020-01-10 2021-08-30 주식회사 인트로메딕 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
JP7396329B2 (ja) * 2021-05-20 2023-12-12 株式会社村田製作所 表示方法、プログラム、表示システム、及び、評価システム
KR20240065446A (ko) * 2022-10-28 2024-05-14 주식회사 엠티이지 초음파 영상 처리 방법 및 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124649A (ja) 1997-07-07 1999-01-29 Canon Inc グラフ表示装置、グラフ表示方法、記憶媒体
JPH11225996A (ja) * 1998-02-19 1999-08-24 Olympus Optical Co Ltd カプセル型生体内情報検出装置
WO2002021530A1 (en) 2000-09-08 2002-03-14 Koninklijke Philips Electronics N.V. Reproducing apparatus providing a colored slider bar
JP2002290783A (ja) * 2001-03-28 2002-10-04 Fuji Photo Optical Co Ltd 電子内視鏡装置
US20020171669A1 (en) 2001-05-18 2002-11-21 Gavriel Meron System and method for annotation on a moving image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0576483A (ja) * 1991-09-17 1993-03-30 Olympus Optical Co Ltd 内視鏡用ホワイトバランス調整具
US5781188A (en) * 1996-06-27 1998-07-14 Softimage Indicating activeness of clips and applying effects to clips and tracks in a timeline of a multimedia work
JPH10165363A (ja) * 1996-12-06 1998-06-23 Olympus Optical Co Ltd 内視鏡用撮像信号処理装置
JP2000209605A (ja) * 1999-01-18 2000-07-28 Olympus Optical Co Ltd 映像信号処理装置
JP2001143005A (ja) * 1999-11-16 2001-05-25 Nippon Koden Corp 医用画像表示システム
US6709387B1 (en) * 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
ES2365696T3 (es) * 2001-03-14 2011-10-10 Given Imaging Ltd. Método y sistema para detectar anormalidades colorimétricas.
IL159451A0 (en) * 2001-06-20 2004-06-01 Given Imaging Ltd Motility analysis within a gastrointestinal tract

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124649A (ja) 1997-07-07 1999-01-29 Canon Inc グラフ表示装置、グラフ表示方法、記憶媒体
JPH11225996A (ja) * 1998-02-19 1999-08-24 Olympus Optical Co Ltd カプセル型生体内情報検出装置
WO2002021530A1 (en) 2000-09-08 2002-03-14 Koninklijke Philips Electronics N.V. Reproducing apparatus providing a colored slider bar
JP2002290783A (ja) * 2001-03-28 2002-10-04 Fuji Photo Optical Co Ltd 電子内視鏡装置
US20020171669A1 (en) 2001-05-18 2002-11-21 Gavriel Meron System and method for annotation on a moving image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1618828A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101107732B (zh) * 2005-02-17 2011-07-06 奥林巴斯医疗株式会社 便携式电子设备及胶囊型内窥镜诊疗系统
US7953261B2 (en) 2005-04-13 2011-05-31 Olympus Medical Systems Corporation Image processing apparatus and image processing method
EP1875855A1 (en) * 2005-04-27 2008-01-09 Olympus Medical Systems Corp. Image processing device, image processing method, and image processing program
EP1875855A4 (en) * 2005-04-27 2010-10-13 Olympus Medical Systems Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
EP2224400A3 (en) * 2005-04-27 2010-10-13 Olympus Medical Systems Corporation Image processing apparatus, image processing method and image processing program
US7907775B2 (en) 2005-04-27 2011-03-15 Olympus Medical Systems Corp. Image processing apparatus, image processing method and image processing program
US8204287B2 (en) 2005-04-27 2012-06-19 Olympus Medical Systems Corp. Image processing apparatus, image processing method and image processing program
US8406489B2 (en) 2005-09-09 2013-03-26 Olympus Medical Systems Corp Image display apparatus
US8175347B2 (en) 2005-11-24 2012-05-08 Olympus Medical Systems Corp. In vivo image display apparatus, receiving apparatus, and image display system using same and image display method thereof
CN105101862A (zh) * 2013-03-27 2015-11-25 富士胶片株式会社 图像处理装置和内窥镜系统的工作方法

Also Published As

Publication number Publication date
KR20070104948A (ko) 2007-10-29
KR100852321B1 (ko) 2008-08-18
KR20070104947A (ko) 2007-10-29
AU2004233674A1 (en) 2004-11-11
KR100802839B1 (ko) 2008-02-12
KR20060003050A (ko) 2006-01-09
KR100846549B1 (ko) 2008-07-15
AU2004233674B2 (en) 2007-11-15
EP1857042A2 (en) 2007-11-21
JP2004337596A (ja) 2004-12-02
EP1857042A3 (en) 2011-01-05
EP1618828B1 (en) 2012-05-02
JP4493386B2 (ja) 2010-06-30
EP1857042A8 (en) 2010-06-23
EP1857042B1 (en) 2013-05-29
EP1618828A1 (en) 2006-01-25
CA2523302A1 (en) 2004-11-11
EP1618828A4 (en) 2010-09-08
CA2523302C (en) 2014-11-18

Similar Documents

Publication Publication Date Title
JP4493386B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP3810381B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
US20040225223A1 (en) Image display apparatus, image display method, and computer program
JP4554647B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4547401B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4547402B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
CA2614635C (en) Image display apparatus, image display method, and image display program
AU2007221810B2 (en) Image display unit, image display method and image display program

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004233674

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2004728669

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2004233674

Country of ref document: AU

Date of ref document: 20040421

Kind code of ref document: A

WWP Wipo information: published in national office

Ref document number: 2004233674

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2523302

Country of ref document: CA

Ref document number: 1020057020139

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048110839

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057020139

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004728669

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2004233674

Country of ref document: AU

Date of ref document: 20040421

Kind code of ref document: B