WO2014061553A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2014061553A1
WO2014061553A1 PCT/JP2013/077612 JP2013077612W WO2014061553A1 WO 2014061553 A1 WO2014061553 A1 WO 2014061553A1 JP 2013077612 W JP2013077612 W JP 2013077612W WO 2014061553 A1 WO2014061553 A1 WO 2014061553A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
subject
capsule endoscope
unit
Prior art date
Application number
PCT/JP2013/077612
Other languages
English (en)
French (fr)
Inventor
勝義 谷口
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to CN201380009876.6A priority Critical patent/CN104114077B/zh
Priority to EP13846899.6A priority patent/EP2910173A4/en
Priority to JP2014511624A priority patent/JP5568196B1/ja
Priority to US14/221,978 priority patent/US9204781B2/en
Publication of WO2014061553A1 publication Critical patent/WO2014061553A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for processing an image acquired by a capsule endoscope that is introduced into a subject and images the inside of the subject.
  • a capsule endoscope is a device that incorporates an imaging function, a wireless communication function, etc. in a capsule-shaped casing that is sized to be introduced into the digestive tract of a subject, and images the inside of the subject.
  • the image data generated by the above is sequentially wirelessly transmitted outside the subject.
  • a series of image data wirelessly transmitted from the capsule endoscope is temporarily stored in a receiving device provided outside the subject, transferred (downloaded) from the receiving device to an image processing device such as a workstation, and the image processing device.
  • an image processing device such as a workstation, and the image processing device.
  • Various image processing is performed in. As a result, a series of images showing the organs and the like in the subject are generated.
  • a medical staff diagnoses a subject by observing an image displayed on the screen and selecting an abnormal one.
  • the image processing apparatus is provided with an abnormal part extraction function for automatically extracting an image that is considered to be medically abnormal, for example, an image having many red components.
  • the abnormal part extraction function generally collects software that has been determined by a medical worker as having a medical abnormality and extracts software having an algorithm having the same feature quantity as those images, such as a workstation. Built into the hardware.
  • Patent Document 1 discloses a diagnostic image captured in real time in a medical diagnostic apparatus such as a CT apparatus, an MR apparatus, an ultrasonic diagnostic apparatus, and a diagnosis taken in the past A medical image diagnostic apparatus that displays an image on the same screen is disclosed.
  • a capsule endoscope performs imaging while moving in the subject (in the digestive tract) by a peristaltic motion of the small intestine and the like. It is difficult to specify the position as well as the mirror position control. For this reason, even if an abnormal part is found once in a test on a certain subject, it is very difficult to specify the position of the same abnormal part in a subsequent test. Therefore, conventionally, even when the same subject is examined multiple times for follow-up observation, past examination results cannot be used, and the medical staff is the same as a completely new subject. It was necessary to observe all images with the same concentration as the first examination.
  • the present invention has been made in view of the above, and in the case where an examination using a capsule endoscope is performed a plurality of times on the same subject, observation using past examination results is possible.
  • An object is to provide an image processing apparatus and an image processing method.
  • an image processing apparatus includes an inside of a subject acquired by a capsule endoscope that is introduced into the subject and images the inside of the subject.
  • a first image group obtained by sequentially imaging the inside of the subject with the capsule endoscope, and the same subject as the subject within the subject.
  • a first feature image indicating the first feature and a second feature image indicating the second feature are extracted from each of the second image groups obtained by sequentially capturing images before the first image group.
  • An image extracting unit a first amount corresponding to an interval between imaging times of the first and second feature images extracted from the first image group, and the first image extracted from the second image group
  • An obtaining unit a comparison unit that compares the first amount and the second amount, and the difference between the first amount and the second amount is equal to or greater than a reference value
  • a display control unit that performs display control on the image group based on a result of comparison by the comparison unit.
  • the image processing apparatus is an image processing apparatus that processes an image in the subject acquired by a capsule endoscope that is introduced into the subject and images the inside of the subject.
  • the first image group obtained by sequentially imaging the inside of the subject with the capsule endoscope, and the same subject as the subject are sequentially imaged before the first image group.
  • An image extracting unit that extracts a first feature image indicating a first feature and a second feature image indicating a second feature from each of the second image groups obtained in this manner; and the first image group A first feature amount that characterizes movement of the capsule endoscope between the first feature image extracted from the second feature image, and the second feature image extracted from the second image group.
  • a feature amount acquisition unit that acquires a second feature amount that characterizes the first feature amount, a comparison unit that compares the first feature amount and the second feature amount, the first feature amount, and the second feature amount
  • a display control unit configured to perform display control based on a result of comparison by the comparison unit with respect to the first image group when a difference from the feature amount is equal to or larger than a reference value
  • the display control unit when the difference is greater than or equal to the reference value, includes a series of steps between the first feature image and the second feature image of the first image group. Control is performed to display an image as an observation attention image.
  • the image processing apparatus is configured to perform predetermined processing on a series of images between the first feature image and the second feature image of the first image group when the difference is equal to or greater than a predetermined reference value.
  • An image processing unit that performs the image processing is further provided.
  • the image processing apparatus includes an image data acquisition unit that acquires image data corresponding to the first image group, a storage unit that stores the second image group, and each of the first and second image groups. On the other hand, an image processing unit that performs image processing for detecting the first and second features is further provided.
  • the image processing apparatus further includes an image selection unit that selects an image from the first image group based on a selection signal input from the outside, and the image extraction unit selects the image selected by the image selection unit. An image corresponding to is extracted from the second image group.
  • the first and second quantities are times between an imaging time of the first feature image and an imaging time of the second feature image.
  • the first and second quantities are images captured by the capsule endoscope between the time when the first feature image is captured and the time when the second feature image is captured. It is the number of sheets.
  • the first and second feature amounts may be a statistical value of a parameter representing an average color of a series of images between the first feature image and the second feature image, or the average It is a parameter indicating a color change.
  • the first and second feature amounts are statistical values of parameters indicating the presence or absence of a specific shape in each of a series of images between the first feature image and the second feature image. It is characterized by being.
  • the first and second feature quantities are the number of lesions detected from a series of images between the first feature image and the second feature image. To do.
  • the first and second feature quantities indicate movements of the capsule endoscope between an imaging time of the first feature image and an imaging time of the second feature image. It is a parameter.
  • the parameter indicating the movement of the capsule endoscope includes the movement distance of the capsule endoscope, the number of times the capsule endoscope is stopped, and the capsule endoscope is stopped. Or the maximum moving speed of the capsule endoscope and the rotation speed of the capsule endoscope.
  • An image processing method is an image processing method for processing an image in the subject acquired by a capsule endoscope that is introduced into the subject and images the inside of the subject.
  • a first image group obtained by sequentially imaging the inside of the subject with a mold endoscope, and obtained by sequentially imaging the same subject as the subject before the first image group.
  • An imaging time acquisition step of acquiring a corresponding second quantity, the first quantity and the second quantity A comparison step for comparing amounts, and when the difference between the first amount and the second amount is greater than or equal to a reference value, the first image group is based on a comparison result by the comparison unit.
  • An image processing method is an image processing method for processing an image in the subject acquired by a capsule endoscope that is introduced into the subject and images the inside of the subject.
  • the first image group obtained by sequentially imaging the inside of the subject with the capsule endoscope, and the same subject as the subject are sequentially imaged before the first image group.
  • An image extracting step of extracting a first feature image showing a first feature and a second feature image showing a second feature from each of the obtained second image groups; and the first image group A first feature amount that characterizes movement of the capsule endoscope between the first feature image extracted from the second feature image, and the second feature image extracted from the second image group.
  • the capsule-type endoscope between the first feature image and the second feature image A feature amount obtaining step for obtaining a second feature amount characterizing the movement of the first feature amount, a comparison step for comparing the first feature amount and the second feature amount, the first feature amount and the first feature amount.
  • the imaging time or feature amount acquired from the current examination image group is compared with the imaging time or feature amount acquired from the past examination image group, and the difference between the two is equal to or greater than the reference value.
  • display control based on the comparison result is performed on the image group of the current examination, so that observation using past examination results can be performed. Thereby, it is possible to increase the efficiency of finding abnormal locations and shorten the observation time.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a capsule endoscope system including an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating a schematic configuration of the capsule endoscope and the receiving device illustrated in FIG. 1.
  • FIG. 3 is a block diagram showing a schematic configuration of the image processing apparatus shown in FIG.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 5 is a schematic diagram for explaining the operation of the image processing apparatus shown in FIG.
  • FIG. 6 is a schematic diagram illustrating an example of an observation screen displayed on the display device illustrated in FIG. 1.
  • FIG. 7 is a schematic diagram showing a display example of an observation screen in Modification 1-4 of Embodiment 1 of the present invention.
  • FIG. 8 is a schematic diagram showing a display example of an observation screen in Modification 1-5 of Embodiment 1 of the present invention.
  • FIG. 9 is a schematic diagram showing a display example of an observation screen in Modification 1-6 of Embodiment 1 of the present invention.
  • FIG. 10 is a schematic diagram showing a display example of an observation screen in Modification 1-7 of Embodiment 1 of the present invention.
  • FIG. 11 is a schematic diagram showing a display example of an observation screen in Modification 1-8 of Embodiment 1 of the present invention.
  • FIG. 12 is a schematic diagram showing another display example of the observation screen in Modification 1-8 of Embodiment 1 of the present invention.
  • FIG. 13 is a block diagram showing a schematic configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 14 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 15 is a block diagram showing a schematic configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 17 is a schematic diagram showing a display example of an observation screen in Modification 4 of Embodiments 1 to 3 of the present invention.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a capsule endoscope system including an image processing apparatus according to Embodiment 1 of the present invention.
  • a capsule endoscope system 1 shown in FIG. 1 is introduced into a subject 10 and images the inside of the subject 10 to generate image data, which is superimposed on a radio signal and transmitted.
  • a receiving device 3 that receives a radio signal transmitted from the capsule endoscope 2 via a receiving antenna unit 4 attached to the subject 10, and acquires image data from the receiving device 3 to obtain a predetermined signal
  • an image processing device 5 that performs image processing.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the capsule endoscope 2 and the receiving device 3.
  • the capsule endoscope 2 is a device in which various components such as an image sensor are incorporated in a capsule-shaped housing that is sized to allow the subject 10 to swallow.
  • the capsule endoscope 2 includes an imaging unit 21 that images the inside of the subject 10, and a subject.
  • An illuminating unit 22 that illuminates the inside of the specimen 10, a signal processing unit 23, an acceleration sensor 24 as a posture detecting unit of the capsule endoscope 2, a memory 25, a transmitting unit 26, an antenna 27, and a battery 28. Prepare.
  • the imaging unit 21 is disposed, for example, on an image sensor such as a CCD or CMOS that generates and outputs an image signal representing the inside of the subject from an optical image formed on the light receiving surface, and on the light receiving surface side of the image sensor. And an optical system such as an objective lens.
  • an image sensor such as a CCD or CMOS that generates and outputs an image signal representing the inside of the subject from an optical image formed on the light receiving surface, and on the light receiving surface side of the image sensor.
  • an optical system such as an objective lens.
  • the illumination unit 22 is realized by an LED (Light Emitting Diode) that emits light toward the subject 10 during imaging.
  • LED Light Emitting Diode
  • the capsule endoscope 2 has a built-in circuit board (not shown) on which drive circuits and the like for driving the imaging unit 21 and the illumination unit 22 are formed.
  • the imaging unit 21 and the illumination unit 22 include The capsule endoscope 2 is fixed to the circuit board in a state where the visual field is directed outward from one end of the capsule endoscope 2.
  • the signal processing unit 23 controls each unit in the capsule endoscope 2 and A / D converts the imaging signal output from the imaging unit 21 to generate digital image data, and further performs predetermined signal processing. Apply.
  • the acceleration sensor 24 is disposed, for example, near the center of the casing of the capsule endoscope 2, and detects the acceleration in the triaxial direction given to the capsule endoscope 2 and outputs a detection signal.
  • the output detection signal is stored in association with the image data generated at that time.
  • the memory 25 temporarily stores various operations executed by the signal processing unit 23 and image data subjected to signal processing in the signal processing unit 23.
  • the transmitting unit 26 and the antenna 27 superimpose image data stored in the memory 25 together with related information on a radio signal and transmit the image data to the outside.
  • the battery 28 supplies power to each part in the capsule endoscope 2.
  • the battery 28 includes a power supply circuit that boosts the power supplied from a primary battery such as a button battery or a secondary battery.
  • the capsule endoscope 2 moves through the digestive tract of the subject 10 by peristaltic movement of the organ, etc., and moves a living body part (esophagus, stomach, small intestine, large intestine, etc.) to a predetermined level. Images are taken sequentially at time intervals (for example, 0.5 second intervals). Then, the image data and related information generated by the imaging operation are sequentially wirelessly transmitted to the receiving device 3.
  • the related information includes identification information (for example, a serial number) assigned to identify the individual capsule endoscope 2.
  • the receiving device 3 receives image data and related information wirelessly transmitted from the capsule endoscope 2 via the receiving antenna unit 4 having a plurality of (eight in FIG. 1) receiving antennas 4a to 4h.
  • Each of the receiving antennas 4a to 4h is realized by using, for example, a loop antenna, and corresponds to a predetermined position on the external surface of the subject 10 (for example, each organ in the subject 10 that is a passage path of the capsule endoscope 2). Arranged).
  • the reception device 3 includes a reception unit 31, a signal processing unit 32, a memory 33, a data transmission unit 34, an operation unit 35, a display unit 36, a control unit 37, and a battery 38.
  • a reception unit 31 a signal processing unit 32, a memory 33, a data transmission unit 34, an operation unit 35, a display unit 36, a control unit 37, and a battery 38.
  • the receiving unit 31 receives the image data wirelessly transmitted from the capsule endoscope 2 via the receiving antennas 4a to 4h.
  • the signal processing unit 32 performs predetermined signal processing on the image data received by the receiving unit 31.
  • the memory 33 stores the image data subjected to signal processing in the signal processing unit 32 and related information.
  • the data transmission unit 34 is an interface that can be connected to a communication line such as a USB, wired LAN, or wireless LAN. Under the control of the control unit 37, the image transmission unit 34 stores image data and related information stored in the memory 33. Send to 5. The operation unit 35 is used when the user inputs various setting information.
  • the display unit 36 displays registration information (examination information, patient information, etc.) related to the examination, various setting information input by the user, and the like.
  • the control unit 37 controls the operation of each unit in the receiving device 3.
  • the battery 38 supplies power to each unit in the receiving device 3.
  • the receiving device 3 is in a state where imaging is performed by the capsule endoscope 2 (for example, after the capsule endoscope 2 is swallowed by the subject 10 and then discharged through the digestive tract). ), Being carried on the subject 10. During this time, the reception device 3 further adds related information such as reception intensity information and reception time information at the reception antennas 4a to 4h to the image data received via the reception antenna unit 4, and the image data and the related information. Is stored in the memory 33. After the imaging by the capsule endoscope 2 is completed, the receiving device 3 is removed from the subject 10 and this time connected to the image processing device 5 and the image data and related information stored in the memory 33 are stored in the image processing device 5. Forward to. In FIG. 1, the cradle 3a is connected to the USB port of the image processing apparatus 5, and the receiving apparatus 3 is set in the cradle 3a to connect the receiving apparatus 3 and the image processing apparatus 5.
  • the image processing device 5 is configured using a workstation including a display device 5a such as a CRT display or a liquid crystal display.
  • the image processing device 5 performs predetermined image processing on the image in the subject 10 acquired via the receiving device 3, generates an observation screen of a predetermined format, and displays it on the display device 5a.
  • FIG. 3 is a block diagram showing a schematic configuration of the image processing apparatus 5.
  • the image processing apparatus 5 includes an input unit 51, an image data acquisition unit 52, a storage unit 53, a calculation unit 54, a display control unit 55, and a control unit 56.
  • the input unit 51 is realized by an input device such as a keyboard, a mouse, a touch panel, and various switches.
  • the input unit 51 receives input of information and commands according to user operations.
  • the image data acquisition unit 52 is an interface that can be connected to a communication line such as USB, a wired LAN, or a wireless LAN, and includes a USB port, a LAN port, and the like.
  • the image data acquisition unit 52 functions as a data acquisition unit that acquires image data and related information from the reception device 3 via an external device such as the cradle 3a connected to the USB port or various communication lines. To do.
  • the storage unit 53 includes a semiconductor memory such as a flash memory, a RAM, and a ROM, a recording medium such as an HDD, an MO, a CD-R, and a DVD-R, and a writing / reading device that writes and reads information on the recording medium. It is realized by.
  • the storage unit 53 stores a program and various information for operating the image processing apparatus 5 to execute various functions, image data acquired by capsule endoscopy, and the like. More specifically, the storage unit 53 includes a current image data storage unit 53a that stores image data generated by the current examination and acquired from the receiving device 3 together with related information, and an image that is acquired in a past examination and is described later. And a past image data storage unit 53b that stores the processed image data.
  • the calculation unit 54 is realized by hardware such as a CPU and reads a predetermined program stored in the storage unit 53, thereby performing predetermined image processing on the image data acquired by the image data acquisition unit 52, and Image data to be displayed in a predetermined format is generated, and predetermined processing for generating an observation screen is executed.
  • the calculation unit 54 includes an image processing unit 54a, a position and orientation estimation unit 54b, an image extraction unit 54c, an imaging time acquisition unit 54d, and a comparison unit 54e.
  • the image processing unit 54a performs white balance processing, demosaicing, color conversion, density conversion (gamma conversion, etc.), smoothing (noise removal, etc.), sharpening (for image data stored in the image data storage unit 53a this time).
  • Image processing (hereinafter also referred to as display image processing) such as edge enhancement is performed to generate display image data, average color calculation processing, lesion detection processing, red detection processing, organ detection processing Then, image processing such as predetermined feature detection processing is performed.
  • feature detection information such as the average color, the lesion detection result, the red detection result, the organ detection result, and the predetermined feature detection result (hereinafter also referred to as feature detection information), which are the results of these image processes, are associated with the image data, It is stored in the storage unit 53 together with the image data.
  • the position and orientation estimation unit 54b estimates the position of the capsule endoscope 2 in the subject 10 at the image capturing time based on the received intensity information and the received time information acquired as the related information of the image data. Also, various known methods can be used for the position estimation method.
  • the position and orientation estimation unit 54b estimates the orientation of the capsule endoscope 2 with respect to the traveling direction of the capsule endoscope 2 based on the acceleration detection signal acquired as the related information of the image data.
  • the position and orientation estimation results are associated with the image data and stored in the storage unit 53.
  • the image extraction unit 54c Based on the feature detection information associated with the image data stored in the current image data storage unit 53a, the image extraction unit 54c selects a predetermined feature from an image group corresponding to the image data (hereinafter referred to as the current image group). A plurality of images (hereinafter referred to as feature images) are extracted. In addition, the image extraction unit 54c, based on the feature detection result associated with the image data stored in the past image data storage unit 53b, determines from the image group corresponding to the image data (hereinafter referred to as the past image group) this time. A feature image corresponding to the feature image extracted from the image group is extracted.
  • the capsule endoscope 2 moves in the digestive tract by the peristaltic motion of the subject 10 in the digestive tract, it is difficult to control the position and posture of the capsule endoscope 2. An image having the same composition is rarely obtained in the inspection and the past inspection. In addition, since the small intestine continuously peristates and does not have a fixed shape, it is difficult to specify the position of the capsule endoscope 2.
  • the gastrointestinal tract can be identified by color, such as the entrance of the stomach, or a part having a characteristic shape such as the pylorus, duodenal bulb, Mr. Pharter, Peyer's patch, Bauhin valve, etc. Even if the composition has a different ulcer or clipped part of the subject 10, it is relatively easy to identify the site.
  • the small intestine performs peristaltic movement, for example, the portion that was in the upper right abdomen does not move to the lower left abdomen, but only changes in position within a certain range. Such a region should be present at a position that is substantially close between the current examination and the past examination.
  • an image showing the above part is extracted as a landmark. Specifically, images exemplified below are extracted.
  • Image of a location where imaging has started This is the first image in the image group.
  • the pylorus is the part of the stomach that leads to the duodenum.
  • the image showing the pylorus can be identified, for example, from the change in the average color of the image.
  • duodenal bulb image The duodenal bulb is the entrance of the duodenum and has a spherically bulging shape.
  • the duodenal bulb shown in the image can be identified by the shape, for example.
  • Mr. Furter's nipple image The Mr. Furter's nipple is the part where the main bile duct and main pancreatic duct join the duodenum and open. Mr. Furter's nipple shown in the image can be identified by the shape, for example.
  • Peyer's board image Peyer's board is an area where areas with undeveloped villi are scattered in a patchwork pattern. Of the small intestine (duodenum, jejunum, ileum), the jejunum and ileum are The image is identified by the presence or absence of. An image showing the Peyer's board can be identified by, for example, a shape or a texture.
  • Bauhin valve image The Bauhin valve is a valve at the boundary between the ileum and the cecum, and indicates the end of the ileum.
  • the image showing the Bauhin valve can be identified by, for example, the shape.
  • An image showing an ulcer can be extracted by, for example, red detection processing.
  • Image where the clip was hit (clip image)
  • An image showing a clip can be extracted by, for example, matching processing using a specific clip shape as a template.
  • the extracted image is not limited to the above (1) to (9).
  • abnormal sites regions where no fur is present, regions where fur is raised, and the shape of fur is changed ( It is also possible to calculate a parameter indicating hypertrophy etc.)) and extract an image in which the parameter is within a predetermined range as a feature image.
  • the imaging time acquisition unit 54d acquires an imaging time interval (imaging time) between a plurality of feature images extracted from the current image group. Similarly, the imaging time acquisition unit 54d also acquires the imaging time interval (imaging time) between the extracted feature images for the past image group.
  • the comparison unit 54e compares the imaging time acquired from the current image group by the imaging time acquisition unit 54d with the imaging time acquired from the past image group, and whether or not the difference between the two is equal to or greater than a predetermined reference value. If the difference between the two is equal to or greater than a predetermined reference value, a predetermined flag is added to the feature image extracted from the current image group and the image in between.
  • the display control unit 55 performs control to display the observation screen including the current image on the display device 5a in a predetermined format. At this time, the display control unit 55 displays the image to which the predetermined flag is added based on the comparison result by the comparison unit 54e in a format that alerts the user.
  • the control unit 56 is realized by hardware such as a CPU, and by reading various programs stored in the storage unit 53, signals input via the input unit 51 and image data acquired by the image data acquisition unit 52. Based on the above, instructions to each unit constituting the image processing apparatus 5 and data transfer are performed, and the overall operation of the image processing apparatus 5 is comprehensively controlled.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus 5.
  • FIG. 5 is a schematic diagram for explaining the operation of the image processing apparatus 5.
  • step S ⁇ b> 10 the image processing device 5 acquires the image data (current image data) generated by the capsule endoscopy performed this time from the receiving device 3 and temporarily stores it in the storage unit 53. .
  • the image processing unit 54a fetches the current image data from the storage unit 53, performs display image processing, and further performs average color calculation processing, lesion detection processing, red detection processing, organ detection processing, predetermined processing, and the like. Image detection processing such as feature detection processing is performed to generate feature detection information.
  • the position and orientation estimation unit 54b determines the position and orientation of the capsule endoscope 2 at the imaging time of each image based on related information (reception intensity information, reception time information, acceleration detection signal) of the image data. presume.
  • step S12 the image extraction unit 54c extracts two or more feature images exemplified in the above (1) to (9) from the current image group M1, M2,.
  • the pylorus image M (a), the clip image M (b), the Mr. Vater image M (c), and the Bauhin valve image M (d) are extracted. Shall.
  • the imaging time acquisition unit 54d acquires the imaging time between feature images extracted from the current image group. Specifically, as shown in FIG. 5, the imaging time ⁇ T1, which is the interval between the imaging times of the pylorus image M (a) and the clip image M (b), the clip image M (b) and the Mr. Vater's nipple image M ( The imaging time ⁇ T2 that is the interval between the imaging times of c) and the imaging time ⁇ T3 that is the interval between the imaging times of the Mr. Vater image M (c) and the Bauhin valve image M (d) are calculated.
  • step S ⁇ b> 14 the calculation unit 54 reads out the image data acquired in the past examination from the storage unit 53. At this time, if a predetermined feature detection process or the like has not yet been performed on the past image group corresponding to the past image data, the image processing unit 54a executes the process at this timing to obtain the feature detection information. You may make it produce
  • the image extraction unit 54c extracts a feature image corresponding to the feature image extracted from the current image group from the past image group based on the feature detection information of each image. Specifically, as illustrated in FIG. 5, from the past image group m1, m2,..., The pylorus image m (a), the clip image m (b), Mr. Furter's nipple image m (c), and the Bauhin valve image Extract m (d). If the feature image corresponding to the feature image extracted from the current image group M1, M2,... Cannot be detected from the past image group, it may not be detected.
  • step S16 the imaging time acquisition unit 54d acquires the imaging time between feature images extracted from the past image group.
  • the imaging time ⁇ t1 between the pyloric image m (a) and the clip image m (b) the imaging time ⁇ t2 between the clip image m (b) and the Mr. Vater's nipple image m (c)
  • An imaging time ⁇ t3 between the Mr. Vater nipple image m (c) and the Bauhin valve image m (d) is calculated.
  • the comparison unit 54e performs steps S17 and S18 for each imaging time corresponding to each other in the current image group and the past image group.
  • the imaging times ⁇ T1 and ⁇ t1 between the pyloric images M (a) and m (a) and the clip images M (b) and m (b), the clip image M (b), Imaging times ⁇ T2, ⁇ t2 between m (b) and Mr. Vater's nipple image M (c), m (c), and Mr. Vater's nipple images M (c), m (c) and the Bauhin valve image M (d ) And m (d) are imaging times corresponding to imaging times ⁇ T3 and ⁇ t3, respectively.
  • step S17 the comparison unit 54e calculates the difference between the imaging time acquired from the current image group and the imaging time acquired from the past image group, and determines whether or not the difference is equal to or greater than a predetermined reference value. judge.
  • the reference value may be set to a relative value, for example, “30% of the imaging time acquired from the past image group”.
  • the comparison unit 54e When the difference in the imaging time is equal to or larger than the predetermined reference value (step S17: Yes), the comparison unit 54e indicates that the series of images captured within the imaging time in the current examination are observation attention images.
  • An observation attention flag is added (step S18). For example, in the case of FIG. 5, since the current imaging time ⁇ T2 is significantly longer than the past imaging time ⁇ t2, the interval from the clip image M (b) to the Mr. Furter's nipple image M (c) in the current image group. The observation caution flag is added to the image.
  • the reason for adding the observation attention flag is that the landmarks (clip images M (b), m (b) and Mr. Vater's nipple images M (c), m (c) that are common to the current image group and the past image group. ))), The factors (tumor, shape change, residue retention, etc.) that hinder the movement of the capsule endoscope 2 are newly added at the corresponding site in the subject 10. This is because it may have occurred.
  • step S17 when the difference in imaging time is less than the predetermined reference value (step S17: No), the process proceeds to the next step as it is.
  • the difference in imaging time is less than the predetermined reference value (step S17: No)
  • the process proceeds to the next step as it is.
  • step S19 the display control unit 55 generates an observation screen including the current image group and displays it on the display device 5a. At this time, the display control unit 55 performs control so that the image to which the observation attention flag is added is displayed in a format different from other images in order to attract the attention of the medical staff and cause the observation to be performed intensively. Do.
  • FIG. 6 is a schematic diagram illustrating an example of an observation screen displayed on the display device 5a.
  • the observation screen D1 shown in FIG. 6 includes an examination information display field d1 in which examination information such as an examination ID and an examination date is displayed, and a patient information display field in which patient information such as a patient ID, a patient name, and a birth date is displayed.
  • examination information display field d1 in which examination information such as an examination ID and an examination date is displayed
  • a patient information display field in which patient information such as a patient ID, a patient name, and a birth date is displayed.
  • a captured image display area d9 displaying a list of captured images as thumbnails.
  • to indicate imaging time of each image M cap captured may display a line connecting the position on the time bar d7 corresponding to the respective image M cap and the imaging time.
  • the time bar d7 On the time bar d7, in the areas d10 and d11 corresponding to the image to which the observation attention flag is added, a display distinguishable from other areas is made. Specifically, the areas d10 and d11 are displayed in a different color from the other areas. In FIG. 6, the difference in color is indicated by the presence or absence of hatching. Alternatively, the areas d10 and d11 may be blinked.
  • the time bar d7 the user can grasp an image to be observed carefully in the current image group.
  • the display control unit 55 lowers the display frame rate in the main display area d3 and lengthens the display time of the image per sheet when the display order of the images with the observation attention flag added is reached. As a result, the user can observe the image with the observation attention flag added and observe it in a concentrated manner.
  • the display control unit 55 pauses the reproduction of the image or displays a message indicating that the image is an observation attention image in the observation screen D1. For example, the user's attention may be drawn.
  • the display control unit 55 increases the display speed by thinning and displaying an image without the observation attention flag at a predetermined rate, and when the display order of the images with the observation attention flag is reached, the thinning display is performed.
  • all images may be displayed sequentially. In this case, the user can observe the image with the observation attention flag added intensively and can easily observe the other images, so that the observation efficiency can be improved.
  • the display control unit 55 may display the images to which the observation caution flag is added as thumbnails side by side in the captured image display area d9. In this case, the user can grasp the entire observation attention image at a glance. After such display of the observation screen D1, the operation of the image processing device 5 ends.
  • an image in a region where the imaging time between feature images is significantly different between the current image group and the past image group is emphasized, or a format that can be identified by the user Is displayed. Therefore, the user can make a diagnosis by intensively observing images of a part in the subject that may have some change between the time of the previous examination and the time of the current examination. Therefore, it is possible to increase the efficiency of finding abnormal places and shorten the observation time as a whole, thereby improving the observation efficiency.
  • the imaging time is acquired as an amount corresponding to the time between imaging times of a plurality of feature images extracted from each of the current image group and the past image group (see steps S13 and S16).
  • the imaging time instead of the imaging time, the number of a series of images captured between one feature image and another feature image may be acquired.
  • the capsule endoscope 2 normally performs imaging at a constant imaging frame rate, the imaging time and the number of images correspond to each other.
  • step S17 of FIG. 4 the difference between the number of images in a certain section acquired from the current image group and the number of images in the corresponding section acquired from the past image group is greater than or equal to a predetermined reference value. It is determined whether or not.
  • Modification 1-2 of Embodiment 1 of the present invention will be described.
  • the image may be displayed after further predetermined image processing. For example, an image analysis process for extracting a predetermined lesion area is performed on an image to which an observation attention flag is added, and when the image is displayed in the main display area d3, the analysis result is also displayed. good.
  • observation attention flag may be used as a parameter of various auxiliary functions when generating and displaying the observation screen.
  • Modification 1-3 of Embodiment 1 of the present invention will be described.
  • a time bar d7 indicating a time scale is displayed.
  • the average colors of the images included in the current image group are arranged along the time axis.
  • An average color bar may be displayed.
  • the user can confirm the change in the organ type corresponding to the average color of the image by visually observing the average color bar.
  • it is preferable to alert the user by blinking an area on the average color bar corresponding to the image to which the observation attention flag is added.
  • FIG. 7 is a schematic diagram illustrating a display example of an observation screen in Modification 1-4.
  • the observation screen D1 shown in FIG. 6 only the current image group is displayed, but the past image group may be displayed on the same screen together with the current image group.
  • the observation screen D2 illustrated in FIG. 7 further includes a past image display region d12 in which the past image m ref is displayed as a reference image with respect to the observation screen D1.
  • This past image display area d12 is also provided a scroll bar d13 for scrolling past image m ref.
  • the position on the time bar d7 corresponding to the imaging time of the past image m ref displayed in the past image display area d12 may further display the marker d14.
  • the past image m ref displayed in the past image display region d12 may be an image captured during observation of the past image group, or corresponds to an image to which an observation attention flag is added in the current image group. It may be an image in a past image group (that is, the imaging time is compared in step S17), or an image that is determined to be abnormal in a past observation and has a predetermined label added thereto. good.
  • FIG. 8 is a schematic diagram showing a display example of an observation screen in Modification 1-5.
  • the observation screen D3 shown in FIG. 8 further includes a past image display area d15 in which a past image m ref corresponding to the current image M main being displayed in the main display area d3 is further displayed with respect to the observation screen D1 shown in FIG. Is provided.
  • the past image m ref corresponding to the current image M main being displayed is estimated by, for example, apportioning the interval (see FIG. 5) between the imaging times of the corresponding feature images in the current image group and the past image group. Can do.
  • Such a past image display area d15 may be always displayed on the screen, or may be displayed only while an image with the observation attention flag added is displayed in the main display area d3.
  • display / non-display may be switched by a user operation.
  • FIG. 9 is a schematic diagram showing a display example of an observation screen in Modification 1-6.
  • the observation screen D4 shown in FIG. 9 instead of the time bar d7 and the captured image display area d9 shown in FIG. 6, an average color bar d16 created from the current image group and an average color bar created from the past image group are displayed. d17.
  • the average color bar d16 and the average color bar d17 are connected by a line connecting the imaging times of the feature images corresponding to each other.
  • the difference in color is indicated by the difference in the type of hatching.
  • the medical staff grasps the region where the subject 10 has changed between the past examination and the current examination. It becomes possible.
  • FIG. 10 is a schematic diagram illustrating a display example of an observation screen in Modification 1-7.
  • the observation screen D5 shown in FIG. 10 is provided with a trajectory display area d18 for displaying the trajectory of the capsule endoscope 2 in the subject 10 with respect to the observation screen D1 shown in FIG.
  • the trajectory display area d18 the position of the capsule endoscope 2 at the imaging time of each image estimated by the position and orientation estimation unit 54b is indicated by a dotted mark P.
  • the mark P indicating the position of the image to which the observation attention flag is added is displayed more densely than the mark P indicating the position of the other image with respect to such a locus display area d18. .
  • the medical staff can grasp the position in the subject 10 of the image to be observed intensively more accurately.
  • FIG. 11 is a schematic diagram showing a display example of an observation screen in Modification 1-8.
  • An observation screen D6 shown in FIG. 11 is provided with a current image list display area d21 and a past image list display area d22.
  • This image list display area d21 is observed attention flag appended plurality of current images M i is the area to be listed as a still image.
  • the past image list display area d22 is an area where a plurality of past images m j corresponding to the current image M i displayed in the current image list display area d21 are displayed as a list of still images.
  • the current image list display area d21 is provided with a scroll bar d23 for scrolling the area.
  • the past image list display area d22 is provided with a scroll bar d24 for scrolling the area.
  • These scroll bars d23 and d24 may be set to operate in conjunction with each other, or may be set to operate independently.
  • the observation screen D6 can be shifted from the observation screen D1 shown in FIG. 6 by a pointer operation on the overview button d6.
  • this image list display area only the past image m s ⁇ m t of the range corresponding to the current image M s ⁇ M t, which is displayed on the d21, may be displayed in the past image list display area d22.
  • FIG. 13 is a block diagram showing a schematic configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • the image processing device 5-2 according to the second embodiment is different from the image processing device 5 illustrated in FIG. 3 in that the calculation unit 54 includes a feature amount acquisition unit 54f instead of the imaging time acquisition unit 54d. -2.
  • the overall configuration of the calculation unit 54-2 and the image processing apparatus 5-2 other than the feature amount acquisition unit 54f is the same as that illustrated in FIG.
  • the feature amount acquisition unit 54f acquires a feature amount that characterizes the movement of the capsule endoscope 2 between a plurality of feature images extracted from each of the current image group and the past image group by the image extraction unit 54c.
  • the feature amount acquired from the current image group is referred to as the current feature amount
  • the feature amount acquired from the past image group is referred to as the past feature amount.
  • the comparison unit 54e compares the current feature value acquired by the feature value acquisition unit 54f with the past feature value, and determines whether or not the difference between the two is equal to or greater than a predetermined reference value. To do.
  • the feature amount characterizing the movement of the capsule endoscope 2 is calculated by the parameter indicating the change in the feature amount of the image calculated by the image processing unit 54a or the position and orientation estimation unit 54b, as exemplified below.
  • a parameter indicating a change or movement of the position of the capsule endoscope 2 is included.
  • the first feature image is an arbitrary feature image extracted from the current image group (or past image group)
  • the second feature image is the first feature image.
  • Movement distance of the capsule endoscope 2 The movement distance of the capsule endoscope 2 between the first feature image and the second feature image is defined as a feature amount.
  • the movement distance of the capsule endoscope 2 can be estimated from a trajectory obtained by sequentially connecting the positions of the capsule endoscope 2 at the time of capturing each image.
  • the difference between the movement distance estimated as the feature quantity this time and the movement distance estimated as the past feature quantity is large, the shape (expansion / contraction etc.) and position of the part (for example, small intestine) in the subject 10 corresponding to these images It can be said that some change may have occurred.
  • the time during which the capsule endoscope 2 is stopped between the first feature image and the second feature image is defined as a feature amount.
  • the stop time of the capsule endoscope 2 can be estimated from, for example, the number of images whose similarity to the previous image is a predetermined value (for example, 99%) or more.
  • a predetermined value for example, 99%
  • the capsule endoscope 2 is prevented from moving to the site in the subject 10 corresponding to these images. It can be said that factors (tumor, shape change, residue retention, etc.) may have newly occurred or disappeared.
  • Number of times the capsule endoscope 2 is stopped The number of times the capsule endoscope 2 is stopped between the first feature image and the second feature image is defined as a feature amount.
  • the number of times the capsule endoscope 2 is stopped is determined by, for example, the number of images whose similarity to the previous image is a predetermined value (for example, 99%) or more and the rate of change in similarity is a predetermined value or more. Can do. If the difference between the number of stops acquired as the feature amount this time and the number of stops acquired as the previous feature amount is large, a factor that hinders the movement of the capsule endoscope 2 may be newly generated or disappeared I can say that.
  • Maximum moving speed of the capsule endoscope 2 The maximum value of the moving speed of the capsule endoscope 2 between the first feature image and the second feature image is used as a feature amount.
  • the moving speed of the capsule endoscope 2 can be estimated from the imaging time of images adjacent to each other in time series and the position change of the capsule endoscope 2. If the difference between the maximum movement speed acquired as the feature quantity this time and the maximum movement speed acquired as the past feature quantity is large, it can be said that there is a possibility that a factor for changing the speed of the capsule endoscope 2 has occurred.
  • the number of rotations of the capsule endoscope 2 between the first feature image and the second feature image is defined as a feature amount.
  • the rotation of the capsule endoscope 2 can be estimated from the detection signal of the acceleration of the capsule endoscope 2, which is related information of the image data.
  • the difference between the number of rotations acquired as the feature amount this time and the number of rotations acquired as the past feature amount is large (when greatly increased), the capsule endoscope 2 is prevented from proceeding and is rotated on the spot It can be said that a factor may have occurred.
  • FIG. 14 is a flowchart showing the operation of the image processing apparatus 5-2.
  • the second embodiment is different from the first embodiment (see FIG. 4) only in the operations in steps S21, S22, and S23.
  • step S21 following step S12 the feature amount acquisition unit 54f acquires the current feature amount from the current image group.
  • step S22 following step S15 the feature amount acquisition unit 54f acquires a past feature amount from the past image group.
  • the comparison unit 54e performs the process of loop B for each image section (section between the first feature image and the second feature image) corresponding to each other in the current image group and the past image group. That is, when the difference between the current feature value and the past feature value is equal to or larger than a predetermined reference value (step S23: Yes), an observation attention flag is added to a series of images included in the image section in the current image group. (Step S18).
  • the subsequent operation (step S19) is the same as in the first embodiment.
  • the observation is performed based on the amount characterizing the movement of the capsule endoscope 2 calculated in the corresponding feature image section in the current image group and the past image group. Attention images are specified, and these images are displayed on the observation screen so as to call the user's attention. Therefore, the user can concentrate and observe an image of a region in the subject in which some change may have occurred between the past examination and the current examination, thereby improving the observation efficiency. It becomes possible.
  • the third embodiment is characterized in that the user can select a desired image from the current image group as a feature image.
  • FIG. 15 is a block diagram showing a schematic configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • the image processing apparatus 5-3 according to the third embodiment has a calculation unit 54-3 further including an image selection unit 54g and a label addition unit 54h, compared to the image processing apparatus 5 shown in FIG. Prepare.
  • the overall configuration of the calculation unit 54-3 and the image processing apparatus 5-3 other than the image selection unit 54g and the label addition unit 54h is the same as that shown in FIG.
  • the image selection unit 54g receives an input of a selection signal according to a user operation using the input unit 51, selects an image corresponding to the selection signal from the current image group, and adds a selection flag.
  • a marking image selected in accordance with a user operation from the current image group.
  • the selection signal is input in accordance with a predetermined pointer operation on the observation screens D1 to D6 illustrated in FIGS. 6 to 12, for example. Specifically, it may be a click operation on the image M main displayed in the main display area d3 shown in FIG. 6, an operation on the capture button d5, or a desired current image shown in FIG. a click operation for the M i may be.
  • the label adding unit 54h adds a label representing the feature of the marking image to the marking image.
  • the label type represents, for example, features that can be identified as landmarks in the subject 10 such as the stomach entrance, pylorus, duodenal bulb, Vater's papilla, Bayer plate, Bauhin valve, clipped portion, etc.
  • a label indicating a lesion symptom such as a tumor or bleeding can be mentioned.
  • the label adding unit 54h may add the label based on the feature detection information generated as a result of the image processing by the image processing unit 54a.
  • the label adding unit 54 h may add a label based on an input signal corresponding to a user operation using the input unit 51.
  • the input signal received by the label adding unit 54h may be text information input from an input device such as a keyboard, or the user's operation using the input unit 51 from among a plurality of predetermined label candidates.
  • a selection signal may be selected accordingly.
  • an icon with text information or a mark corresponding to the above-described feature is displayed on the screen, and the user can select using an input device such as a mouse. It is good to do so.
  • the image extraction unit 54c extracts an image with the same label from the past image group based on the label added to the marking image.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus 5-3.
  • the third embodiment differs from the first embodiment (see FIG. 4) only in the operations in steps S31 and S32.
  • step S31 following step S11 the image selection unit 54g adds a selection flag and a label to the marking image in accordance with the marking operation by the user using the input unit 51.
  • the imaging time acquisition unit 54d treats the marking image extracted based on the selection flag as a feature image, and acquires the imaging time between these images.
  • step S32 the image extraction unit 54c extracts a past image corresponding to the marking image from the past image group based on the label added to the marking image. Subsequent operations (from step S16) are the same as those in the first embodiment.
  • the image determined to be noticed by the user in the current image group is handled in the same manner as the feature image, and the imaging time is compared with the past image group. Therefore, the user can concentrate and observe an image in which some change may have occurred since the previous examination in the vicinity of the image that the user is interested in.
  • the image extracting unit 54c instead of the image extracting unit 54c automatically extracting the feature image from the current image group (see step S12 in FIG. 4), the user selects the marking image.
  • the automatic extraction of the feature image by 54c and the selection of the marking image by the user may be performed together.
  • image selection unit 54g and the label addition unit 54h may be provided in addition to the calculation unit 54-2 shown in FIG.
  • the past image corresponding to the marking image is extracted based on the label added to the marking image.
  • the past image may be extracted by the method exemplified below.
  • the image selection unit 54g calculates the imaging time of the marking image based on the inspection start time for the current image group. Then, the image selection unit 54g narrows down a plurality of past images having the same imaging time as the marking image from the past image group. At this time, also in the past image group, the imaging time with reference to the examination start time is used. And the image to which the selection flag was added at the time of the past observation is extracted from the several images narrowed down at the imaging time.
  • the image selection unit 54g may extract an image captured at the time of past observation from a plurality of past images narrowed down at the imaging time as described above.
  • the image selection unit 54g may perform a similar image discrimination process on a plurality of past images narrowed down at the imaging time and extract a past image having the highest degree of similarity with the marking image.
  • the image selection unit 54g calculates a parameter indicating a predetermined feature (abnormal part or the like) from the marking image, refers to the parameter, and selects the marking image from a plurality of past images narrowed down at the imaging time. A corresponding past image may be extracted.
  • the fourth modification is characterized in that information relating to past examinations is displayed as a reference on the observation screen based on the examination result of this time. Note that the fourth modification may be applied to any of the image processing apparatuses 5, 5-2, and 5-3 illustrated in FIGS.
  • FIG. 17 is a schematic diagram showing an observation screen in the fourth modification.
  • the observation screen D7 shown in FIG. 17 is further provided with a previous result button d25 and a previous result display area d26 with respect to the observation screen D2 shown in FIG.
  • the previous result button d25 is a button for the user to input an instruction to display the result of the past examination on the observation screen D7.
  • display / non-display of the previous result display area d26 is switched.
  • the previous result display area d26 is an area in which various required times calculated based on the imaging time of the past image selected by the image selection unit 54g are displayed in addition to the examination date of the past examination. Specifically, the time required to reach the stomach after the capsule endoscope 2 is swallowed by the subject 10 (stomach arrival time), the time required to pass through the stomach (gastric transit time) Information such as the time required to reach the small intestine (small intestine arrival time), the time required to pass through the small intestine (small intestine transit time), and the like are displayed. Each of these times is calculated from the imaging time of each image with reference to the swallowing time of the capsule endoscope 2 (examination start time). For example, the imaging start time (of the first image) It may be calculated based on (imaging time) or pyloric passage time (stomach arrival time).
  • the number of captured images, a label added to the captured image, an observation result (findings) input by the user, and the like may be further displayed. Further, each of these items may be customized by the user by setting.
  • the previous result display area d26 is displayed on the observation screen D7 only when there is a difference of a predetermined reference value or more in the corresponding imaging time (or feature amount) between the current image group and the past image group. May be. Alternatively, the previous result display area d26 may be set to be always displayed at any position in the observation screen D7.
  • the image extraction unit 54c When the user determines that there is an abnormal location during past observation of the past image group, and there is a past image to which a label indicating that there is an abnormal location (hereinafter referred to as an abnormal label) exists, the image extraction unit 54c The current image corresponding to the past image to which the abnormal label is added may be extracted from the current image group.
  • a method of selecting the current image having the highest degree of similarity may be used.
  • the similarity for only a part having an abnormality may be calculated.
  • the current image may be extracted using a parameter indicating characteristics similar to the past image (for example, an abnormal part) after narrowing down the current image based on the imaging time. Further, the current image having the position information of the vicinity may be extracted based on the position information of the past image.
  • the display control unit 55 displays the current image extracted in this way on the observation screen in a form that alerts the user. For example, when displaying the current image as a pseudo moving image in the main display area d3, when the current image display timing corresponding to the past image with the abnormal label is reached, the display frame rate may be lowered and displayed slowly. good. Further, a screen on which only the current image corresponding to the past image with the abnormal label added is displayed as a list may be generated. Further, for the time bar d7 (for example, see FIG. 6) and the average color bar d16 (see FIG. 9), a mark is attached to the area of the current image extracted corresponding to the past image to which the abnormal label is added. Alternatively, a blinking display may be used.
  • the current image corresponding to the past image to which the abnormal label has been added in the past is displayed in a form that alerts the user, so that the user can analyze the part that has been diagnosed as abnormal in the past. It is possible to concentrate and observe the progress of
  • image extraction may be performed from each of a plurality of past image groups.
  • the past images extracted from each past image group may be sequentially switched and displayed in, for example, the past image display area d12 shown in FIG. 7 or the past image display area d15 shown in FIGS.
  • a plurality of past image display areas d15 may be provided on one screen, and a plurality of past images corresponding to feature images (or marking images) extracted from the current image group may be displayed side by side in time series.
  • the average color bars d16 and d17 shown in FIG. 9 may be provided according to the number of inspections and displayed side by side in time series.
  • the trajectory display area d18 shown in FIG. 10 may be provided according to the number of examinations and displayed side by side in time series.
  • the average value of the results of the past several tests may be displayed, or the previous time for each past test. It may be provided in the result display area d26 and displayed side by side in time series on one observation screen.
  • the past image data is stored in the storage unit 53 incorporated in the image processing devices 5, 5-2, and 5-3. 2, 5-3 may be stored in an external storage device that can be connected. Alternatively, the past image data may be stored in a server or the like, and the past image data may be taken into the image processing devices 5, 5-2, and 5-3 via a network such as a wired or wireless LAN.
  • Embodiments 1 to 3 and their modifications various combinations can be made by appropriately combining a plurality of components disclosed in the embodiments and modifications.
  • An invention can be formed.
  • some constituent elements may be excluded from all the constituent elements shown in each embodiment or modification, or may be formed by appropriately combining the constituent elements shown in different embodiments or modifications. May be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　過去に実施されたカプセル型内視鏡検査の検査結果を利用した観察が可能な画像処理装置等を提供する。画像処理装置５は、今回の検査により得られた今回画像群及び過去の検査により得られた過去画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部５４ｃと、今回画像群から抽出された第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、過去画像群から抽出された第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得部５４ｄと、第１の量と第２の量とを比較する比較部５４ｅと、第１の量と第２の量との差が所定の基準値以上である場合に、今回画像群に対し、比較部５４ｅによる比較の結果に基づく表示制御を行う表示制御部５５とを備える。

Description

画像処理装置及び画像処理方法
　本発明は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡によって取得された画像を処理する画像処理装置及び画像処理方法に関する。
　近年、内視鏡の分野では、患者等の被検体内に導入されて被検体内を撮像するカプセル型内視鏡を用いた検査が知られている。カプセル型内視鏡は、被検体の消化管内に導入可能な大きさに形成されたカプセル形状の筐体内に撮像機能や無線通信機能等を内蔵させた装置であり、被検体内を撮像することにより生成した画像データを被検体外に順次無線送信する。カプセル型内視鏡から無線送信された一連の画像データは、被検体外に設けられた受信装置に一旦蓄積され、受信装置からワークステーション等の画像処理装置に転送（ダウンロード）され、画像処理装置において種々の画像処理が施される。それにより、被検体内の臓器等が写った一連の画像が生成される。
　これらの画像は、擬似動画又は静止画一覧等の形式で画面表示される。医療従事者（医師）は、画面表示された画像を観察し、異常のあるものを選び出すことにより、被検体の診断を行う。
　ここで、カプセル型内視鏡を用いた１回の検査は約８時間におよび、その間に取得される画像は約６万枚に上る。このため、これらの画像を全て観察するには非常に時間がかかると共に、集中力が必要となる。そこで、画像処理装置には、観察作業を補助するため、例えば赤色の成分が多い画像のように、医学的に異常があると考えられる画像を自動抽出する異常部抽出機能が用意されている。異常部抽出機能は、一般に、医学的に異常があると医療従事者が判断した画像を収集し、それらの画像と同様の特徴量を持つ画像を抽出するアルゴリズムを有するソフトウェアを、ワークステーション等のハードウェアに組み込んでなる。
　検査によって得られる画像の表示に関連する技術として、例えば特許文献１には、ＣＴ装置、ＭＲ装置、超音波診断装置等の医療診断装置においてリアルタイムに撮影している診断画像と過去に撮影した診断画像とを同一画面に表示させる医療画像診断装置が開示されている。
特開２００５－２８８０４３号公報
　ところで、カプセル型内視鏡を用いた検査が行われると、通常、その時に取得された画像に対してのみ観察作業が行われる。即ち、今回取得された画像群に異常があるか否かのみが確認され、過去に実施されたカプセル型内視鏡を用いた検査や他の種類の検査に関する情報が参照されることはない。しかしながら、過去の検査において発見された異常箇所は、今回の検査においても残っている可能性が高いと考えられる。このため、医療従事者には、過去の検査に関する情報を参照して経過観察を行いたいという要望があった。
　しかしながら、ＣＴ装置等の医療診断装置とは異なり、カプセル型内視鏡は、小腸等の蠕動運動により被検体内（消化管内）を移動しながら撮像を行うため、被検体内におけるカプセル型内視鏡の位置制御はもちろん、位置を特定することも困難である。このため、ある被検体に対する検査において異常箇所が一度発見されたとしても、その後の検査において、同じ異常箇所の位置を特定することは非常に難しい。従って、従来は、同じ被検体に対し、経過観察のために複数回検査を行う場合であっても、過去の検査結果を利用することができず、医療従事者は、全く新しい被検体と同様に検査を行い、初回の検査と同様の集中力で全ての画像を観察する必要があった。
　本発明は、上記に鑑みてなされたものであって、同一の被検体に対してカプセル型内視鏡を用いた検査を複数回実施する場合において、過去の検査結果を利用した観察が可能な画像処理装置及び画像処理方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部と、前記第１の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、前記第２の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得部と、前記第１の量と前記第２の量とを比較する比較部と、前記第１の量と前記第２の量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、を備えることを特徴とする。
　また、本発明に係る画像処理装置は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部と、前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得部と、前記第１の特徴量と前記第２の特徴量とを比較する比較部と、前記第１の特徴量と前記第２の特徴量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、を備えることを特徴とする。
　上記画像処理装置において、前記表示制御部は、前記差が前記基準値以上である場合に、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像を、観察注意画像として表示する制御を行うことを特徴とする。
　上記画像処理装置は、前記差が所定の基準値以上である場合に、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像に対して所定の画像処理を施す画像処理部をさらに備えることを特徴とする。
　上記画像処理装置は、前記第１の画像群に対応する画像データを取得する画像データ取得部と、前記第２の画像群を記憶する記憶部と、前記第１及び第２の画像群の各々に対し、前記第１及び第２の特徴を検出する画像処理を施す画像処理部と、をさらに備えることを特徴とする。
　上記画像処理装置は、外部から入力される選択信号に基づいて、前記第１の画像群から画像を選択するさらに画像選択部を備え、前記画像抽出部は、前記画像選択部により選択された画像に対応する画像を、前記第２の画像群から抽出することを特徴とする。
　上記画像処理装置において、前記第１及び第２の量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間の時間であることを特徴とする。
　上記画像処理装置において、前記第１及び第２の量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間に前記カプセル型内視鏡により撮像された画像の枚数であることを特徴とする。
　上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の平均色を表すパラメータの統計値、又は該平均色の変化を示すパラメータであることを特徴とする。
　上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の各々における特定形状の有無を示すパラメータの統計値であることを特徴とする。
　上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像から検出された病変の数であることを特徴とする。
　上記画像処理装置において、前記第１及び第２の特徴量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間における前記カプセル型内視鏡の動きを示すパラメータであることを特徴とする。
　上記画像処理装置において、前記カプセル型内視鏡の動きを示すパラメータは、前記カプセル型内視鏡の移動距離、前記カプセル型内視鏡が停止した回数、前記カプセル型内視鏡が停止していた時間、前記カプセル型内視鏡の最大移動速度、及び前記カプセル型内視鏡の回転数のいずれかであることを特徴とする。
　本発明に係る画像処理方法は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出ステップと、前記第１の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、前記第２の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得ステップと、前記第１の量と前記第２の量とを比較する比較ステップと、前記第１の量と前記第２の量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、を含むことを特徴とする。
　また、本発明に係る画像処理方法は、被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出ステップと、前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得ステップと、前記第１の特徴量と前記第２の特徴量とを比較する比較ステップと、前記第１の特徴量と前記第２の特徴量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、を含むことを特徴とする。
　本発明によれば、今回の検査の画像群から取得された撮像時間又は特徴量と、過去の検査の画像群から取得された撮像時間又は特徴量とを比較し、両者の差が基準値以上である場合に、今回の検査の画像群に対して比較の結果に基づく表示制御を行うので、過去の検査結果を利用した観察を行うことが可能となる。それにより、異常箇所の発見効率を高めると共に、観察時間の短縮化を図ることができる。
図１は、本発明の実施の形態１に係る画像処理装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。 図２は、図１に示すカプセル型内視鏡及び受信装置の概略構成を示す図である。 図３は、図１に示す画像処理装置の概略構成を示すブロック図である。 図４は、図３に示す画像処理装置の動作を示すフローチャートである。 図５は、図３に示す画像処理装置の動作を説明するための模式図である。 図６は、図１に示す表示装置に表示される観察画面の一例を示す模式図である。 図７は、本発明の実施の形態１の変形例１－４における観察画面の表示例を示す模式図である。 図８は、本発明の実施の形態１の変形例１－５における観察画面の表示例を示す模式図である。 図９は、本発明の実施の形態１の変形例１－６における観察画面の表示例を示す模式図である。 図１０は、本発明の実施の形態１の変形例１－７における観察画面の表示例を示す模式図である。 図１１は、本発明の実施の形態１の変形例１－８における観察画面の表示例を示す模式図である。 図１２は、本発明の実施の形態１の変形例１－８における観察画面の別の表示例を示す模式図である。 図１３は、本発明の実施の形態２に係る画像処理装置の概略構成を示すブロック図である。 図１４は、図１３に示す画像処理装置の動作を示すフローチャートである。 図１５は、本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。 図１６は、図１５に示す画像処理装置の動作を示すフローチャートである。 図１７は、本発明の実施の形態１～３の変形例４における観察画面の表示例を示す模式図である。
　以下に、本発明の実施の形態に係る画像処理装置及び画像処理方法について、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。図１に示すカプセル型内視鏡システム１は、被検体１０内に導入されて該被検体１０内を撮像することにより画像データを生成し、無線信号に重畳して送信するカプセル型内視鏡２と、カプセル型内視鏡２から送信された無線信号を、被検体１０に装着された受信アンテナユニット４を介して受信する受信装置３と、受信装置３から画像データを取得して所定の画像処理を施す画像処理装置５とを備える。
　図２は、カプセル型内視鏡２及び受信装置３の概略構成を示すブロック図である。
　カプセル型内視鏡２は、被検体１０が嚥下可能な大きさのカプセル形状の筐体に撮像素子等の各種部品を内蔵した装置であり、被検体１０内を撮像する撮像部２１と、被検体１０内を照明する照明部２２と、信号処理部２３と、カプセル型内視鏡２の姿勢検出手段としての加速度センサ２４と、メモリ２５と、送信部２６及びアンテナ２７と、バッテリ２８とを備える。
　撮像部２１は、例えば、受光面に結像された光学像から被検体内を表す撮像信号を生成して出力するＣＣＤやＣＭＯＳ等の撮像素子と、該撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。
　照明部２２は、撮像時に被検体１０内に向けて光を放射するＬＥＤ（Light　Emitting　Diode）等により実現される。
　カプセル型内視鏡２は、これらの撮像部２１及び照明部２２をそれぞれ駆動する駆動回路等が形成された回路基板（図示せず）を内蔵しており、撮像部２１及び照明部２２は、カプセル型内視鏡２の一端部から外側に視野を向けた状態で、この回路基板に固定されている。
　信号処理部２３は、カプセル型内視鏡２内の各部を制御すると共に、撮像部２１から出力された撮像信号をＡ／Ｄ変換してデジタルの画像データを生成し、さらに所定の信号処理を施す。
　加速度センサ２４は、例えばカプセル型内視鏡２の筐体の中央部付近に配設されており、カプセル型内視鏡２に与えられる３軸方向の加速度を検出して検出信号を出力する。出力された検出信号は、その時に生成された画像データと関連付けて記憶される。
　メモリ２５は、信号処理部２３が実行する各種動作や、信号処理部２３において信号処理を施された画像データを一時的に記憶する。
　送信部２６及びアンテナ２７は、メモリ２５に記憶された画像データを関連情報と共に無線信号に重畳して外部に送信する。
　バッテリ２８は、カプセル型内視鏡２内の各部に電力を供給する。なお、バッテリ２８には、ボタン電池等の一次電池又は二次電池から供給された電力を昇圧等する電源回路が含まれているものとする。
　カプセル型内視鏡２は、被検体１０に嚥下された後、臓器の蠕動運動等によって被検体１０の消化管内を移動しつつ、生体部位（食道、胃、小腸、及び大腸等）を所定の時間間隔（例えば０．５秒間隔）で順次撮像する。そして、この撮像動作により生成された画像データ及び関連情報を受信装置３に順次無線送信する。なお、関連情報には、カプセル型内視鏡２の個体を識別するために割り当てられた識別情報（例えばシリアル番号）等が含まれる。
　受信装置３は、複数（図１においては８個）の受信アンテナ４ａ～４ｈを有する受信アンテナユニット４を介して、カプセル型内視鏡２から無線送信された画像データ及び関連情報を受信する。各受信アンテナ４ａ～４ｈは、例えばループアンテナを用いて実現され、被検体１０の体外表面上の所定位置（例えば、カプセル型内視鏡２の通過経路である被検体１０内の各臓器に対応した位置）に配置される。
　図２に示すように、受信装置３は、受信部３１と、信号処理部３２と、メモリ３３と、データ送信部３４と、操作部３５と、表示部３６と、制御部３７と、バッテリ３８とを備える。
　受信部３１は、カプセル型内視鏡２から無線送信された画像データを、受信アンテナ４ａ～４ｈを介して受信する。
　信号処理部３２は、受信部３１が受信した画像データに所定の信号処理を施す。
　メモリ３３は、信号処理部３２において信号処理が施された画像データ及びその関連情報を記憶する。
　データ送信部３４は、ＵＳＢ、又は有線ＬＡＮ、無線ＬＡＮ等の通信回線と接続可能なインタフェースであり、制御部３７の制御の下で、メモリ３３に記憶された画像データ及び関連情報を画像処理装置５に送信する。
　操作部３５は、ユーザが各種設定情報等を入力する際に用いられる。
　表示部３６は、検査に関する登録情報（検査情報、患者情報等）や、ユーザが入力した各種設定情報等を表示する。
　制御部３７は、これらの受信装置３内の各部の動作を制御する。
　バッテリ３８は、受信装置３内の各部に電力を供給する。
　受信装置３は、カプセル型内視鏡２により撮像が行われている間（例えば、カプセル型内視鏡２が被検体１０に嚥下された後、消化管内を通過して排出されるまでの間）、被検体１０に装着されて携帯される。受信装置３は、この間、受信アンテナユニット４を介して受信した画像データに、各受信アンテナ４ａ～４ｈにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの画像データ及び関連情報をメモリ３３に記憶させる。カプセル型内視鏡２による撮像の終了後、受信装置３は被検体１０から取り外され、今度は画像処理装置５と接続されて、メモリ３３に記憶させた画像データ及び関連情報を画像処理装置５に転送する。なお、図１においては、画像処理装置５のＵＳＢポートにクレードル３ａを接続し、該クレードル３ａに受信装置３をセットすることにより受信装置３と画像処理装置５とを接続している。
　画像処理装置５は、例えば、ＣＲＴディスプレイや液晶ディスプレイ等の表示装置５ａを備えたワークステーションを用いて構成される。画像処理装置５は、受信装置３を介して取得した被検体１０内の画像に所定の画像処理を施し、所定の形式の観察画面を生成して表示装置５ａに表示させる。
　図３は、画像処理装置５の概略構成を示すブロック図である。図３に示すように、画像処理装置５は、入力部５１と、画像データ取得部５２と、記憶部５３と、演算部５４と、表示制御部５５と、制御部５６とを備える。
　入力部５１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部５１は、ユーザの操作に応じた情報や命令の入力を受け付ける。
　画像データ取得部５２は、ＵＳＢ、又は有線ＬＡＮ、無線ＬＡＮ等の通信回線と接続可能なインタフェースであり、ＵＳＢポートやＬＡＮポート等を含んでいる。実施の形態１において、画像データ取得部５２は、ＵＳＢポートに接続されるクレードル３ａ等の外部機器や各種通信回線を介して、受信装置３から画像データ及び関連情報を取得するデータ取得部として機能する。
　記憶部５３は、フラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、ＨＤＤ、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置等によって実現される。記憶部５３は、画像処理装置５を動作させて種々の機能を実行させるためのプログラム及び各種情報や、カプセル型内視鏡検査によって取得された画像データ等を記憶する。より詳細には、記憶部５３は、今回の検査により生成され、受信装置３から取得された画像データを関連情報と共に記憶する今回画像データ記憶部５３ａと、過去の検査において取得され、後述する画像処理が施された画像データを記憶する過去画像データ記憶部５３ｂとを含む。
　演算部５４は、ＣＰＵ等のハードウェアによって実現され、記憶部５３に記憶された所定のプログラムを読み込むことにより、画像データ取得部５２により取得された画像データに所定の画像処理を施し、画像を所定の形式で表示させるための画像データを生成すると共に、観察画面を生成するための所定の処理を実行する。
　より詳細には、演算部５４は、画像処理部５４ａと、位置及び姿勢推定部５４ｂと、画像抽出部５４ｃと、撮像時間取得部５４ｄと、比較部５４ｅとを備える。
　画像処理部５４ａは、今回画像データ記憶部５３ａに記憶された画像データに対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の画像処理（以下、表示用の画像処理ともいう）を施すことにより、表示用の画像データを生成すると共に、平均色算出処理、病変検出処理、赤色検出処理、臓器検出処理、所定の特徴検出処理等の画像処理を施す。なお、これらの画像処理の結果である平均色、病変検出結果、赤色検出結果、臓器検出結果、所定の特徴検出結果等の情報（以下、特徴検出情報ともいう）は、画像データと関連付けられ、画像データと共に記憶部５３に記憶される。
　位置及び姿勢推定部５４ｂは、画像データの関連情報として取得された受信強度情報、受信時刻情報に基づいて、画像の撮像時刻におけるカプセル型内視鏡２の被検体１０内における位置を推定する。また、位置の推定方法については、公知の種々の方法を用いることができる。また、位置及び姿勢推定部５４ｂは、画像データの関連情報として取得された加速度の検出信号に基づいて、カプセル型内視鏡２の進行方向に対するカプセル型内視鏡２の姿勢を推定する。位置及び姿勢の推定結果は画像データと関連付けられ、記憶部５３に記憶される。
　画像抽出部５４ｃは、今回画像データ記憶部５３ａに記憶された画像データと関連付けられた特徴検出情報に基づいて、該画像データに対応する画像群（以下、今回画像群という）から、所定の特徴を示す画像（以下、特徴画像という）を複数抽出する。また、画像抽出部５４ｃは、過去画像データ記憶部５３ｂに記憶された画像データと関連付けられた特徴検出結果に基づいて、該画像データに対応する画像群（以下、過去画像群という）から、今回画像群から抽出された特徴画像に対応する特徴画像を抽出する。
　ここで、カプセル型内視鏡２は、被検体１０の消化管の蠕動運動によって該消化管内を移動するため、カプセル型内視鏡２の位置や姿勢を制御することは困難であり、今回の検査と過去の検査とにおいて同じ構図の画像が得られることは少ない。また、小腸は絶えず蠕動運動を行っており、決まった形状がないため、カプセル型内視鏡２の位置を特定することも困難である。
　しかしながら、消化管内であっても、胃の入り口のように色で識別可能な部位や、幽門、十二指腸球部、ファーター氏乳頭、パイエル板、バウヒン弁等のように特徴的な形状を有する部位や、被検体１０に特有の潰瘍やクリップが打たれている箇所等は、構図が違っていても、部位を特定することは比較的容易である。また、小腸が蠕動運動を行っているとはいえ、例えば右上腹部にあった部分が左下腹部まで動くようなことはなく、ある範囲内での位置の変化に留まるため、上記のような特徴的な部位は、今回の検査と過去の検査とにおいて、概ね近い位置に存在するはずである。そのため、上記の例示した部位が写った画像であれば、互いに異なる検査の間で対応関係をつけることは可能である。そこで、実施の形態１においては、上記部位が写った画像を、ランドマークとして抽出する。具体的には、以下に例示する画像が抽出される。
（１）撮像を開始した箇所の画像
　画像群の最初の画像のことである。
（２）胃の入り口（食道との境界）の画像
　食道の色は平均的に桃色系であるのに対して、胃の色は平均的に赤色系であるので、胃の入り口の画像は、例えば画像の平均色の変化から識別することができる。
（３）幽門画像
　幽門は、十二指腸につながる胃の部分である。ここで、胃の画像の平均色は赤色系であり、十二指腸の画像の平均色は黄色系であることから、幽門が写った画像は、例えば画像の平均色の変化から識別することができる。
（４）十二指腸球部画像
　十二指腸球部は十二指腸の入り口であり、球状に膨らんだ形状をなす。画像内に写った十二指腸球部は、例えば形状により識別することができる。
（５）ファーター氏乳頭画像
　ファーター氏乳頭は、十二指腸に主胆管と主膵管が合流して開口している部分である。画像内に写ったファーター氏乳頭は、例えば形状により識別することができる。
（６）パイエル板画像
　パイエル板とは、絨毛が未発達の領域がパッチワーク状に点在する領域のことであり、小腸（十二指腸、空腸、回腸）のうち、空腸と回腸とは、パイエル板の有無により画像的に識別される。パイエル板が写った画像は、例えば形状又はテクスチャにより識別することができる。
（７）バウヒン弁画像
　バウヒン弁は、回腸と盲腸との境界にある弁であり、回腸の終端を示す。バウヒン弁が写った画像は、例えば形状により識別することができる。
（８）潰瘍画像
　潰瘍が写った画像は、例えば赤色検出処理により抽出することができる。
（９）クリップが打たれた箇所の画像（クリップ画像）
　クリップが写った画像は、例えば特定のクリップ形状をテンプレートとするマッチング処理により抽出することができる。
　なお、抽出される画像としては、上記（１）～（９）に限定されず、例えば、異常部位（柔毛が存在しない領域、柔毛が隆起している領域、柔毛の形状が変化（肥大等））を示すパラメータを算出し、該パラメータが所定の範囲内である画像を特徴画像として抽出しても良い。
　撮像時間取得部５４ｄは、今回画像群から抽出された複数の特徴画像同士の撮像時刻の間隔（撮像時間）を取得する。また、撮像時間取得部５４ｄは、過去画像群に対しても同様に、抽出された特徴画像同士の撮像時刻の間隔（撮像時間）を取得する。
　比較部５４ｅは、撮像時間取得部５４ｄにより今回画像群から取得された撮像時間と、過去画像群から取得された撮像時間とを比較し、両者の差が所定の基準値以上であるか否かを判定し、両者の差が所定の基準値以上である場合に、今回画像群から抽出された特徴画像とその間の画像に対して所定のフラグを付加する。
　表示制御部５５は、今回画像を含む観察画面を表示装置５ａに所定の形式で表示させる制御を行う。この際、表示制御部５５は、比較部５４ｅによる比較の結果に基づき、上記所定のフラグが付加された画像を、ユーザの注意を喚起するような形式で表示を行う。
　制御部５６は、ＣＰＵ等のハードウェアによって実現され、記憶部５３に記憶された各種プログラムを読み込むことにより、入力部５１を介して入力される信号や、画像データ取得部５２が取得した画像データ等に基づいて、画像処理装置５を構成する各部への指示やデータの転送等を行い、画像処理装置５全体の動作を統括的に制御する。
　次に、画像処理装置５の動作について説明する。図４は、画像処理装置５の動作を示すフローチャートである。また、図５は、画像処理装置５の動作を説明するための模式図である。
　まず、ステップＳ１０において、画像処理装置５は、今回行われたカプセル型内視鏡検査により生成された画像データ（今回画像データ）を受信装置３から取得し、記憶部５３に一時的に記憶させる。
　続くステップＳ１１において、画像処理部５４ａは、今回画像データを記憶部５３から取り込んで表示用の画像処理を施し、さらに、平均色算出処理、病変検出処理、赤色検出処理、臓器検出処理、所定の特徴検出処理等の画像処理を施して特徴検出情報を生成する。また、位置及び姿勢推定部５４ｂは、画像データの関連情報（受信強度情報、受信時刻情報、加速度の検出信号）に基づいて、各画像の撮像時刻におけるカプセル型内視鏡２の位置及び姿勢を推定する。
　ステップＳ１２において、画像抽出部５４ｃは、今回画像群Ｍ１、Ｍ２、…から、上記（１）～（９）に例示した特徴画像を２つ以上抽出する。実施の形態１においては、図５に例示するように、幽門画像Ｍ（ａ）、クリップ画像Ｍ（ｂ）、ファーター氏乳頭画像Ｍ（ｃ）、及びバウヒン弁画像Ｍ（ｄ）が抽出されたものとする。
　ステップＳ１３において、撮像時間取得部５４ｄは、今回画像群から抽出された特徴画像間の撮像時間を取得する。具体的には、図５に示すように、幽門画像Ｍ（ａ）とクリップ画像Ｍ（ｂ）との撮像時刻の間隔である撮像時間ΔＴ１、クリップ画像Ｍ（ｂ）とファーター氏乳頭画像Ｍ（ｃ）との撮像時刻の間隔である撮像時間ΔＴ２、及びファーター氏乳頭画像Ｍ（ｃ）とバウヒン弁画像Ｍ（ｄ）との撮像時刻の間隔である撮像時間ΔＴ３を算出する。
　続くステップＳ１４において、演算部５４は、過去の検査において取得された画像データを記憶部５３から読み出す。なお、この際、過去画像データに対応する過去画像群に対し、所定の特徴検出処理等が未だなされていない場合には、画像処理部５４ａがこのタイミングで当該処理を実行し、特徴検出情報を生成するようにしても良い。
　続くステップＳ１５において、画像抽出部５４ｃは、過去画像群から、各画像の特徴検出情報に基づいて、今回画像群から抽出された特徴画像に対応する特徴画像を抽出する。具体的には、図５に例示するように、過去画像群ｍ１、ｍ２、…から、幽門画像ｍ（ａ）、クリップ画像ｍ（ｂ）、ファーター氏乳頭画像ｍ（ｃ）、及びバウヒン弁画像ｍ（ｄ）を抽出する。なお、今回画像群Ｍ１、Ｍ２、…から抽出された特徴画像に対応する特徴画像を過去画像群から検出することができなければ、検出しなくても良い。
　ステップＳ１６において、撮像時間取得部５４ｄは、過去画像群から抽出された特徴画像間の撮像時間を取得する。図５の場合、幽門画像ｍ（ａ）とクリップ画像ｍ（ｂ）との間の撮像時間Δｔ１、クリップ画像ｍ（ｂ）とファーター氏乳頭画像ｍ（ｃ）との間の撮像時間Δｔ２、及びファーター氏乳頭画像ｍ（ｃ）とバウヒン弁画像ｍ（ｄ）との間の撮像時間Δｔ３が算出される。
　続いて、比較部５４ｅは、今回画像群と過去画像群とにおいて互いに対応する撮像時間毎に、ステップＳ１７及びＳ１８の処理を行う。具体的には、図５の場合、幽門画像Ｍ（ａ）、ｍ（ａ）とクリップ画像Ｍ（ｂ）、ｍ（ｂ）との間の撮像時間ΔＴ１、Δｔ１、クリップ画像Ｍ（ｂ）、ｍ（ｂ）とファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ）との間の撮像時間ΔＴ２、Δｔ２、及び、ファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ）とバウヒン弁画像Ｍ（ｄ）、ｍ（ｄ）との間の撮像時間ΔＴ３、Δｔ３が、それぞれ対応する撮像時間となる。
　ステップＳ１７において、比較部５４ｅは、今回画像群から取得された撮像時間と過去画像群から取得された撮像時間との差をそれぞれ算出し、当該差が所定の基準値以上であるか否かを判定する。基準値としては、例えば、「過去画像群から取得された撮像時間の３０％」というように、相対的な値に定めると良い。
　撮像時間の差が所定の基準値以上である場合（ステップＳ１７：Ｙｅｓ）、比較部５４ｅは、今回の検査においてその撮像時間内に撮像された一連の画像に、観察注意画像である旨を示す観察注意フラグを付加する（ステップＳ１８）。例えば図５の場合、過去の撮像時間Δｔ２よりも今回の撮像時間ΔＴ２が大幅に長くなっているため、今回画像群内のクリップ画像Ｍ（ｂ）からファーター氏乳頭画像Ｍ（ｃ）までの間の画像に観察注意フラグが付加される。
　ここで、観察注意フラグを付加する理由は、今回画像群と過去画像群とで共通するランドマーク（クリップ画像Ｍ（ｂ）、ｍ（ｂ）及びファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ））間において撮像時間が大幅に伸びている場合、被検体１０内の該当する部位において、カプセル型内視鏡２の移動を妨げる要因（腫瘍、形状の変化、残渣の滞留等）が新たに発生した可能性があると考えられるからである。
　一方、撮像時間の差が所定の基準値未満である場合（ステップＳ１７：Ｎｏ）、処理はそのまま次のステップに移行する。例えば図５の場合、撮像時間ΔＴ１、Δｔ１同士、及び撮像時間ΔＴ３、Δｔ３同士では、大きな差異が認められないため、幽門画像Ｍ（ａ）～クリップ画像（ｂ）、及びファーター氏乳頭画像（ｃ）～バウヒン弁画像Ｍ（ｄ）の画像に対して特にフラグが付加されることはない。
　ステップＳ１９において、表示制御部５５は、今回画像群を含む観察画面を生成し、表示装置５ａに表示させる。この際、表示制御部５５は、観察注意フラグが付加された画像に対し、医療従事者の注意を喚起して集中的に観察させるため、他の画像とは異なる形式で表示させるように制御を行う。
　図６は、表示装置５ａに表示される観察画面の一例を示す模式図である。図６に示す観察画面Ｄ１は、検査ＩＤや検査日等の検査情報が表示される検査情報表示欄ｄ１と、患者ＩＤ、患者氏名、生年月日等の患者情報が表示される患者情報表示欄ｄ２と、今回の検査により取得された今回画像Ｍmainが擬似動画で順次表示される主表示領域ｄ３と、主表示領域ｄ３に順次表示される今回画像群の再生動作をユーザが操作する際に用いられる再生操作ボタン群ｄ４と、主表示領域ｄ３に表示中の画像をキャプチャする指示をユーザが入力する際に用いられるキャプチャボタンｄ５と、観察画面Ｄ１に表示される今回画像群の表示形式を擬似動画形式から静止画一覧表示形式に切り替える指示をユーザが入力する際に用いられるオーバービューボタンｄ６とを含む。
　主表示領域ｄ３の下方には、主表示領域ｄ３に表示中の今回画像Ｍmainの撮像時刻を表すタイムバーｄ７及びスライダｄ８と、キャプチャされた画像をサムネイルとして一覧表示するキャプチャ画像表示領域ｄ９とが設けられている。なお、キャプチャされた各画像Ｍcapの撮像時刻を示すため、各画像Ｍcapと撮像時刻に応じたタイムバーｄ７上の位置とを結ぶラインを表示しても良い。
　タイムバーｄ７上において、観察注意フラグが付加された画像に対応する領域ｄ１０、ｄ１１には、他の領域と識別可能な表示がなされている。具体的には、当該領域ｄ１０、ｄ１１が他の領域とは異なる色で表示されている。なお、図６においては、色の違いをハッチングの有無で示している。或いは、当該領域ｄ１０、ｄ１１を点滅表示しても良い。ユーザは、このようなタイムバーｄ７を参照することにより、今回画像群のうちで注意して観察すべき画像を把握することが可能となる。
　このような観察画面Ｄ１において、入力部５１（マウス等）を用いた再生操作ボタン群ｄ４に対するポインタ操作により、今回画像群の再生の開始を指示する信号が画像処理装置５に入力されると、主表示領域ｄ３に一連の今回画像が所定の表示フレームレートで順次切り替えて表示される。
　表示制御部５５は、観察注意フラグが付加された画像の表示順になると、主表示領域ｄ３における表示フレームレートを下げ、１枚当たりの画像の表示時間を長くする。これにより、ユーザは、観察注意フラグが付加された画像を注意して、集中的に観察することができる。
　また、表示制御部５５は、観察注意フラグが付加された画像の表示順になった際に、画像の再生を一時停止する、或いは、観察注意画像である旨のメッセージを観察画面Ｄ１中に表示するなどして、ユーザの注意を喚起するようにしても良い。
　或いは、表示制御部５５は、観察注意フラグが付加されていない画像を所定のレートで間引き表示することにより表示速度を上げ、観察注意フラグが付加された画像の表示順になった際に、間引き表示をやめて、全ての画像を順次表示するようにしても良い。この場合、ユーザは、観察注意フラグが付加された画像を隈なく集中的に観察し、それ以外の画像については簡易的に観察することができるので、観察効率を向上させることが可能となる。
　さらに、表示制御部５５は、観察注意フラグが付加された画像をサムネイルとして、キャプチャ画像表示領域ｄ９に並べて表示しても良い。この場合、ユーザは、観察注意画像の全容を一目で把握することが可能となる。
　このような観察画面Ｄ１の表示後、画像処理装置５の動作は終了する。
　以上説明したように、実施の形態１においては、今回画像群と過去画像群との間において、特徴画像間の撮像時間が大幅に異なる領域の画像を強調する、或いは、ユーザが識別可能な形式で表示する。このため、ユーザは、過去の検査時から今回の検査時までの間に何らかの変化が生じている可能性がある被検体内の部位の画像を集中して観察し、診断を行うことができる。従って、異常箇所の発見効率を高めると共に、観察時間を全体として短縮することができ、観察効率を向上させることが可能となる。
（変形例１－１）
　次に、本発明の実施の形態１の変形例１－１について説明する。
　上記実施の形態１においては、今回画像群及び過去画像群の各々から抽出された複数の特徴画像の撮像時刻間の時間に対応する量として、撮像時間を取得した（ステップＳ１３及びＳ１６参照）。しかしながら、撮像時間の代わりに、ある特徴画像と別の特徴画像との間に撮像された一連の画像の枚数を取得しても良い。ここで、カプセル型内視鏡２において通常、一定の撮像フレームレートで撮像が行われるので、撮像時間と画像の枚数とは対応した量となる。この場合、図４のステップＳ１７においては、今回画像群から取得されたある区間の画像枚数と、過去画像群から取得された対応する区間の画像枚数との差が、所定の基準値以上であるか否かが判定される。
（変形例１－２）
　次に、本発明の実施の形態１の変形例１－２について説明する。
　観察画像Ｄ１に観察注意フラグが付加された画像を表示する際には、当該画像に対してさらに所定の画像処理を施した上で表示を行っても良い。例えば、観察注意フラグが付加された画像に対し、所定の病変領域を抽出する画像解析処理を施し、当該画像が主表示領域ｄ３に表示される際に、併せてその解析結果を表示しても良い。
　その他にも、観察注意フラグを、観察画面を生成及び表示する際の各種補助機能のパラメータとして用いても良い。
（変形例１－３）
　次に、本発明の実施の形態１の変形例１－３について説明する。
　図６に示す観察画面Ｄ１においては、時刻のスケールを示すタイムバーｄ７を表示しているが、タイムバーｄ７の代わりに、今回画像群に含まれる各画像の平均色を時間軸に沿って並べた平均色バーを表示しても良い。この場合、ユーザは、平均色バーを目視することにより、画像の平均色に対応する臓器の種類の変化を確認することができる。また、この場合には、観察注意フラグが付加された画像に対応する平均色バー上の領域を点滅させるなどして、ユーザの注意を喚起すると良い。
（変形例１－４）
　次に、本発明の実施の形態１の変形例１－４について説明する。
　図７は、変形例１－４における観察画面の表示例を示す模式図である。図６に示す観察画面Ｄ１においては、今回画像群のみを表示したが、今回画像群と併せて、過去画像群を同じ画面に表示しても良い。
　図７に示す観察画面Ｄ２には、観察画面Ｄ１に対し、参照画像として過去画像ｍrefが表示される過去画像表示領域ｄ１２がさらに設けられている。この過去画像表示領域ｄ１２には、過去画像ｍrefをスクロールするためのスクロールバーｄ１３も設けられている。なお、過去画像表示領域ｄ１２に表示されている過去画像ｍrefの撮像時刻に応じたタイムバーｄ７上の位置に、マーカーｄ１４をさらに表示しても良い。
　過去画像表示領域ｄ１２に表示される過去画像ｍrefとしては、当該過去画像群に対する観察時にキャプチャされた画像であっても良いし、今回画像群中で観察注意フラグが付加された画像に対応する（即ち、ステップＳ１７において撮像時間を比較された）過去画像群中の画像であっても良いし、過去に行われた観察において異常と判断され、所定のラベルが付加された画像であっても良い。
（変形例１－５）
　次に、本発明の実施の形態１の変形例１－５について説明する。
　図８は、変形例１－５における観察画面の表示例を示す模式図である。図８に示す観察画面Ｄ３には、図６に示す観察画面Ｄ１に対し、主表示領域ｄ３に表示中の今回画像Ｍmainと対応する過去画像ｍrefが表示される過去画像表示領域ｄ１５がさらに設けられている。表示中の今回画像Ｍmainと対応する過去画像ｍrefは、例えば、今回画像群と過去画像群とにおいて対応する特徴画像の撮像時刻の間隔（図５参照）を按分することにより、推定することができる。このような過去画像表示領域ｄ１５は、画面に常に表示していても良いし、主表示領域ｄ３に観察注意フラグが付加された画像が表示されている間だけ表示することとしても良い。或いは、ユーザの操作により、表示／非表示を切り替えられるようにしても良い。
（変形例１－６）
　次に、本発明の実施の形態１の変形例１－６について説明する。
　図９は、変形例１－６における観察画面の表示例を示す模式図である。図９に示す観察画面Ｄ４には、図６に示すタイムバーｄ７及びキャプチャ画像表示領域ｄ９の代わりに、今回画像群から作成された平均色バーｄ１６と、過去画像群から作成された平均色バーｄ１７とが設けられている。これらの平均色バーｄ１６と平均色バーｄ１７とは、互いに対応する特徴画像の撮像時刻同士を結ぶラインで繋げられている。なお、図９においては、色の違いをハッチングの種類の違いで示している。
　このように、２つの平均色バーｄ１６、ｄ１７を対比可能に表示することにより、医療従事者は、過去の検査時と今回の検査時とにおいて、被検体１０で変化のあった部位を把握することが可能となる。
（変形例１－７）
　次に、本発明の実施の形態１の変形例１－７について説明する。
　図１０は、変形例１－７における観察画面の表示例を示す模式図である。図１０に示す観察画面Ｄ５は、図６に示す観察画面Ｄ１に対し、被検体１０内におけるカプセル型内視鏡２の軌跡を表示する軌跡表示領域ｄ１８が設けられている。軌跡表示領域ｄ１８には、位置及び姿勢推定部５４ｂにより推定された各画像の撮像時刻におけるカプセル型内視鏡２の位置が点状のマークＰにより示されている。
　このような軌跡表示領域ｄ１８に対し、本変形例１－７においては、観察注意フラグが付加された画像の位置を示すマークＰを、他の画像の位置を示すマークＰよりも密に表示する。それにより、医療従事者は、集中的に観察すべき画像の被検体１０内における位置をより正確に把握することが可能となる。
（変形例１－８）
　次に、本発明の実施の形態１の変形例１－８について説明する。
　図１１は、変形例１－８における観察画面の表示例を示す模式図である。図１１に示す観察画面Ｄ６には、今回画像一覧表示領域ｄ２１及び過去画像一覧表示領域ｄ２２が設けられている。今回画像一覧表示領域ｄ２１は、観察注意フラグが付加された複数の今回画像Ｍiが、静止画で一覧表示される領域である。また、過去画像一覧表示領域ｄ２２は、今回画像一覧表示領域ｄ２１に表示された今回画像Ｍiと対応する複数の過去画像ｍjが、静止画で一覧表示される領域である。
　今回画像一覧表示領域ｄ２１には、当該領域をスクロールするためのスクロールバーｄ２３が設けられている。また、過去画像一覧表示領域ｄ２２には、当該領域をスクロールするためのスクロールバーｄ２４が設けられている。これらのスクロールバーｄ２３、ｄ２４は互いに連動して動作するように設定されていても良いし、各々が独立に動作するように設定されていても良い。このような観察画面Ｄ６には、例えば図６に示す観察画面Ｄ１から、オーバービューボタンｄ６に対するポインタ操作により移行することができる。
　ユーザは、このような観察画面Ｄ６により、集中して観察すべき今回画像Ｍiと、これらに対応する過去画像ｍjとを比較し、症状の経過等を把握することが可能となる。
　ここで、今回の検査と過去の検査とにおいて被検体１０内の同じ部位を撮像した画像であっても、図５に示すクリップ画像Ｍ（ｂ）、ｍ（ｂ）からファーター氏乳頭画像Ｍ（ｃ）、ｍ（ｃ）の間のように、撮像された画像の枚数が異なる場合がある。このような場合、図１２に示すように、今回画像群と過去画像群とにおいて互いに対応する特徴画像Ｍs、ｍs、及び特徴画像Ｍt、ｍtをランドマークとして、今回画像一覧表示領域ｄ２１に表示された今回画像Ｍs～Ｍtに対応する範囲の過去画像ｍs～ｍtのみを、過去画像一覧表示領域ｄ２２に表示しても良い。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　図１３は、本発明の実施の形態２に係る画像処理装置の概略構成を示すブロック図である。図１３に示すように、実施の形態２に係る画像処理装置５－２は、図３に示す画像処理装置５に対し、撮像時間取得部５４ｄの代わりに特徴量取得部５４ｆを有する演算部５４－２を備える。なお、特徴量取得部５４ｆ以外の演算部５４－２及び画像処理装置５－２全体の構成は、図３に示すものと同様である。
　特徴量取得部５４ｆは、画像抽出部５４ｃにより今回画像群及び過去画像群の各々から抽出された複数の特徴画像間において、カプセル型内視鏡２の移動を特徴づける特徴量を取得する。以下、今回画像群から取得された特徴量のことを今回特徴量といい、過去画像群から取得された特徴量のことを過去特徴量という。
　また、実施の形態２において、比較部５４ｅは、特徴量取得部５４ｆにより取得された今回特徴量と過去特徴量とを比較し、両者の差が所定の基準値以上であるか否かを判定する。
　カプセル型内視鏡２の移動を特徴づける特徴量としては、以下に例示するように、画像処理部５４ａにより算出される画像の特徴量の変化を示すパラメータや、位置及び姿勢推定部５４ｂにより算出されるカプセル型内視鏡２の位置の変化や動きを示すパラメータ等が挙げられる。なお、以下において、第１の特徴画像とは、今回画像群（又は過去画像群）から抽出された任意の特徴画像のことであり、第２の特徴画像とは、第１の特徴画像に対し、撮像時刻順に見て次に抽出された特徴画像のことである。
（１）画像の平均色の統計値
　第１の特徴画像と第２の特徴画像との間の各画像の平均色を算出し、該平均色を示すパラメータの統計値（平均値、最頻値等）を特徴量とする。今回特徴量として算出された統計値と過去特徴量として算出された統計値との差が大きい場合、これらの画像に対応する被検体１０内の部位において、過去の検査時と今回の検査時との間に何らかの新たな変化が生じた可能性があるといえる。
（２）色の変化を示すパラメータ
　第１の特徴画像と第２の特徴画像との間の各画像の平均色を算出し、これらの平均色の変化を表すパラメータを特徴量とする。平均色の変化を示すパラメータは、例えば、前画像に対する平均色の変化（Ｒ成分やＧ成分の変化）の割合が所定値以上である場合に、色の変化があった画像と判断し、第１の特徴画像と第２の特徴画像との間で色の変化があった画像の枚数（即ち、色の変化があった回数）を計上することにより取得される。ここで、被検体１０内において色の変化が激しい領域には、何らかの異常が生じている可能性があると考えられる。そのため、今回特徴量として算出されたパラメータと過去特徴量として算出されたパラメータとの差が大きい場合、これらの画像に対応する被検体１０内の部位において、何らかの異常が新たに生じ、或いは異常が消滅した可能性があるといえる。
（３）特定形状の有無を示すパラメータの統計値
　第１の特徴画像と第２の特徴画像との間の各画像に対し、特定形状をテンプレートとするマッチング処理を行い、それによって取得されたマッチング度等のパラメータの統計値（平均値、最頻値等）を特徴量とする。この際、検出対象とする特定形状を、特定の病変を表す形状とすることにより、過去の検査時と今回の検査時との間におけるその病変の進行状況等を把握することが可能となる。
（４）病変画像（赤色検出処理により抽出された画像等）の数
　第１の特徴画像と第２の特徴画像との間において抽出された病変画像の数を特徴量とする。今回特徴量として算出された病変画像の数と過去特徴量として算出された該病変画像の数との差が大きい場合、過去の検査時と今回の検査時との間に、その病変に何らかの変化が生じた可能性があるといえる。
（５）カプセル型内視鏡２の移動距離
　第１の特徴画像と第２の特徴画像との間におけるカプセル型内視鏡２の移動距離を特徴量とする。カプセル型内視鏡２の移動距離は、各画像の撮像時刻におけるカプセル型内視鏡２の位置を順次接続した軌跡から推定することができる。今回特徴量として推定された移動距離と過去特徴量として推定された移動距離との差が大きい場合、これらの画像に対応する被検体１０内の部位（例えば小腸）の形状（伸縮等）や位置に何らかの変化が生じた可能性があるといえる。
（６）カプセル型内視鏡２が停止していた時間
　第１の特徴画像と第２の特徴画像との間において、カプセル型内視鏡２が停止していた時間を特徴量とする。カプセル型内視鏡２の停止時間は、例えば、前画像に対する類似度が所定値（例えば９９％）以上である画像の枚数から推定することができる。今回特徴量として取得された停止時間と前回特徴量として取得された停止時間との差が大きい場合、これらの画像に対応する被検体１０内の部位に、カプセル型内視鏡２の移動を妨げる要因（腫瘍、形状の変化、残渣の滞留等）が新たに生じ、又は消滅した可能性があるといえる。
（７）カプセル型内視鏡２が停止した回数
　第１の特徴画像と第２の特徴画像との間において、カプセル型内視鏡２が停止した回数を特徴量とする。カプセル型内視鏡２が停止した回数は、例えば、前画像に対する類似度が所定値（例えば９９％）以上であり、且つ類似度の変化率が所定値以上である画像の枚数で判断することができる。今回特徴量として取得された停止回数と前回特徴量として取得された停止回数との差が大きい場合、カプセル型内視鏡２の移動を妨げる要因が新たに生じ、又は消滅した可能性があるといえる。
（８）カプセル型内視鏡２の最大移動速度
　第１の特徴画像と第２の特徴画像との間におけるカプセル型内視鏡２の移動速度の最大値を特徴量とする。カプセル型内視鏡２の移動速度は、時系列で互いに隣接する画像の撮像時刻とカプセル型内視鏡２の位置変化とから推定することができる。今回特徴量として取得された最大移動速度と過去特徴量として取得された最大移動速度との差が大きい場合、カプセル型内視鏡２の速度を変化させる要因が生じた可能性があるといえる。
（９）カプセル型内視鏡２の回転数
　第１の特徴画像と第２の特徴画像との間においてカプセル型内視鏡２が回転した回数を特徴量とする。カプセル型内視鏡２の回転は、画像データの関連情報であるカプセル型内視鏡２の加速度の検出信号から推定することができる。今回特徴量として取得された回転数と過去特徴量として取得された回転数との差が大きい場合（大幅に増加した場合）、カプセル型内視鏡２の進行を妨げ、その場で回転させる何らかの要因が発生した可能性があるといえる。
　次に、画像処理装置５－２の動作について説明する。図１４は、画像処理装置５－２の動作を示すフローチャートである。図１４に示すように、実施の形態２においては、ステップＳ２１、Ｓ２２、及びＳ２３における動作のみが実施の形態１（図４参照）とは異なる。
　ステップＳ１２に続くステップＳ２１において、特徴量取得部５４ｆは、今回画像群から今回特徴量を取得する。
　また、ステップＳ１５に続くステップＳ２２において、特徴量取得部５４ｆは、過去画像群から過去特徴量を取得する。
　その後、比較部５４ｅは、今回画像群と過去画像群とにおいて互いに対応する画像区間（第１の特徴画像と第２の特徴画像との区間）毎に、ループＢの処理を行う。即ち、今回特徴量と過去特徴量との差が所定の基準値以上である場合に（ステップＳ２３：Ｙｅｓ）、今回画像群で当該画像区間に含まれる一連の画像に対し、観察注意フラグを付加する（ステップＳ１８）。
　その後の動作（ステップＳ１９）については、実施の形態１と同様である。
　以上、説明したように、実施の形態２によれば、今回画像群と過去画像群とにおいて対応する特徴画像の区間において算出されたカプセル型内視鏡２の移動を特徴づける量に基づいて観察注意画像を特定し、それらの画像を観察画面においてユーザの注意を喚起するように表示する。従って、ユーザは、過去の検査時から今回の検査時までの間に何らかの変化が生じている可能性がある被検体内の領域の画像を集中して観察することができ、観察効率を向上させることが可能となる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　本実施の形態３は、ユーザが今回画像群の内から所望の画像を特徴画像として選択できることを特徴とする。
　図１５は、本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。図１５に示すように、実施の形態３に係る画像処理装置５－３は、図３に示す画像処理装置５に対し、画像選択部５４ｇ及びラベル付加部５４ｈをさらに有する演算部５４－３を備える。なお、画像選択部５４ｇ及びラベル付加部５４ｈ以外の演算部５４－３及び画像処理装置５－３全体の構成は、図３に示すものと同様である。
　画像選択部５４ｇは、入力部５１を用いたユーザの操作に応じた選択信号の入力を受け付け、該選択信号に対応する画像を今回画像群の内から選択して選択フラグを付加する。以下、今回画像群の内からユーザの操作に応じて選択されたマーキング画像という。
　ここで、選択信号の入力は、例えば図６～図１２に例示する観察画面Ｄ１～Ｄ６に対する所定のポインタ操作に応じて行われる。具体的には、図６に示す主表示領域ｄ３に表示中の画像Ｍmainに対するクリック操作であっても良いし、キャプチャボタンｄ５に対する操作であっても良いし、図１１に示す所望の今回画像Ｍiに対するクリック操作であっても良い。
　ラベル付加部５４ｈは、今回画像群からマーキング画像が選択された際に、マーキング画像の特徴を表すラベルを当該マーキング画像に付加する。ラベルの種類としては、例えば、胃の入り口、幽門、十二指腸球部、ファーター氏乳頭、バイエル板、バウヒン弁、クリップが打たれた箇所等、被検体１０内のランドマークとして識別可能な特徴を表すラベルの他、腫瘍や出血等の病変症状を表すラベルが挙げられる。
　この際、ラベル付加部５４ｈは、画像処理部５４ａによる画像処理の結果生成された特徴検出情報に基づいて上記ラベルを付加しても良い。或いは、ラベル付加部５４ｈは、入力部５１を用いたユーザの操作に応じた入力信号に基づいてラベルを付加しても良い。この場合、ラベル付加部５４ｈが受け付ける入力信号は、キーボード等の入力デバイスから入力されるテキスト情報であっても良いし、所定の複数のラベル候補の内から入力部５１を用いたユーザの操作に応じて選択される選択信号であっても良い。後者の場合、ユーザがマーキング画像の選択操作を行った際に、上述した特徴に対応するテキスト情報又はマークが示されたアイコンを画面に表示し、ユーザがマウス等の入力デバイスを用いて選択できるようにすると良い。
　また、実施の形態３において、画像抽出部５４ｃは、マーキング画像に付加されたラベルをもとに、同じラベルが付加された画像を過去画像群から抽出する。
　次に、画像処理装置５－３の動作について説明する。図１６は、画像処理装置５－３の動作を示すフローチャートである。図１６に示すように、実施の形態３においては、ステップＳ３１及びＳ３２における動作のみが実施の形態１（図４参照）とは異なる。
　ステップＳ１１に続くステップＳ３１において、画像選択部５４ｇは、入力部５１を用いたユーザによるマーキング操作に応じ、マーキング画像に選択フラグ及びラベルを付加する。
　続くステップＳ１３において、撮像時間取得部５４ｄは、選択フラグに基づいて抽出されるマーキング画像を特徴画像として扱い、これらの画像間の撮像時間を取得する。
　また、ステップＳ１４に続くステップＳ３２において、画像抽出部５４ｃは、マーキング画像に付加されたラベルをもとに、マーキング画像に対応する過去画像を過去画像群から抽出する。
　その後の動作（ステップＳ１６～）については、実施の形態１と同様である。
　以上説明したように、実施の形態３によれば、今回画像群のうち、ユーザが注目すべきと判断した画像を特徴画像と同様に扱い、過去画像群との間で撮像時間の比較を行うので、ユーザは、自身が気になった画像の近傍で、過去の検査時から何らかの変化が生じている可能性のある画像を集中して観察することが可能となる。
　なお、実施の形態３においては、画像抽出部５４ｃが今回画像群から特徴画像を自動抽出する代わりに（図４のステップＳ１２参照）、ユーザがマーキング画像を選択することとしたが、画像抽出部５４ｃによる特徴画像の自動抽出と、ユーザによるマーキング画像の選択とを共に行うこととしても良い。
　また、上記画像選択部５４ｇ及びラベル付加部５４ｈを、図１３に示す演算部５４－２に追加して設けても良い。
（変形例３－１）
　次に、本発明の実施の形態３の変形例３－１について説明する。
　上記実施の形態３においては、マーキング画像に対応する過去画像の抽出を、マーキング画像に付加されたラベルをもとに行った。しかしながら、過去画像の抽出は以下に例示する方法で行っても良い。
　一例として、まず、画像選択部５４ｇは、今回画像群に対し、検査開始時刻を基準とするマーキング画像の撮像時刻を算出する。そして、画像選択部５４ｇは、マーキング画像の撮像時刻と同程度の撮像時刻となる複数の過去画像を過去画像群の内から絞り込む。この際、過去画像群においても、検査開始時刻を基準とした撮像時刻を用いる。そして、撮像時刻で絞り込まれた複数の画像の内から、過去の観察時に選択フラグが付加された画像を抽出する。
　別の例として、画像選択部５４ｇは、上述したように撮像時刻で絞り込まれた複数の過去画像の内から、過去の観察時にキャプチャされた画像を抽出しても良い。
　さらに別の例として、画像選択部５４ｇは、撮像時刻で絞り込まれた複数の過去画像に対して類似画像判別処理を行い、マーキング画像との類似度が最も高い過去画像を抽出しても良い。
　或いは、画像選択部５４ｇは、マーキング画像から所定の特徴（異常部位等）を示すパラメータを算出し、該パラメータを参照して、撮像時刻で絞り込まれた複数の過去画像の内から、マーキング画像に対応する過去画像を抽出しても良い。
（変形例４）
　次に、本発明の実施の形態１～３の変形例４について説明する。
　本変形例４においては、今回の検査結果に基づく観察画面に対し、過去の検査に関する情報を参照として表示することを特徴とする。なお、本変形例４は、図３、図１３、図１５に示す画像処理装置５、５－２、５－３のいずれに適用しても良い。
　図１７は、変形例４における観察画面を示す模式図である。図１７に示す観察画面Ｄ７は、図７に示す観察画面Ｄ２に対し、前回結果ボタンｄ２５及び前回結果表示領域ｄ２６がさらに設けられている。
　前回結果ボタンｄ２５は、過去の検査の結果を観察画面Ｄ７に表示させる指示をユーザが入力するためボタンである。この前回結果ボタンｄ２５に対するポインタ操作に応じて、前回結果表示領域ｄ２６の表示／非表示が切り替えられる。
　前回結果表示領域ｄ２６は、過去の検査の検査日の他、画像選択部５４ｇにより選択された過去画像の撮像時刻に基づいて算出された種々の所要時間等が表示される領域である。具体的には、カプセル型内視鏡２が被検体１０に嚥下されてから、胃に到達するまでに要した時間（胃到達時間）、胃を通過するまでに要した時間（胃通過時間）、小腸に到達するまでに要した時間（小腸到達時間）、小腸を通過するまでに要した時間（小腸通過時間）等の情報が表示される。なお、これらの各時間は、カプセル型内視鏡２の嚥下時刻を基準（検査開始時刻）として、各画像の撮像時刻から算出されているが、例えば、撮像開始時刻（１枚目の画像の撮像時刻）や幽門通過時刻（胃到達時刻）を基準に算出しても良い。
　また、前回結果表示領域ｄ２６には、上記列挙した時刻の他、キャプチャ画像数、キャプチャ画像に付加されたラベル、ユーザにより入力された観察結果（所見）等をさらに表示しても良い。さらに、これらの各項目をユーザが設定によりカスタマイズできるようにしても良い。
　以上説明したように、変形例４によれば、過去の検査における詳細情報を文字情報で画面表示するので、ユーザは、過去の検査の記録を別途参照することなく、過去の検査と今回の検査との差異を把握することが可能となる。
　なお、前回結果表示領域ｄ２６を、今回画像群と過去画像群とにおいて対応する撮像時間（又は特徴量）に所定の基準値以上の差があった場合にのみ、観察画面Ｄ７に表示するようにしても良い。或いは、前回結果表示領域ｄ２６を観察画面Ｄ７中のいずれかの位置に常時表示されるように設定できるようにしても良い。
（変形例５）
　次に、本発明の実施の形態１～３の変形例５について説明する。
　上記実施の形態１において説明した観察画面Ｄ２～Ｄ４及びＤ６においては、表示中の今回画像に基づいて過去画像を抽出し、過去画像表示領域ｄ１２、ｄ１５、ｄ２２に表示した。しかしながら、特定の過去画像に基づいて今回画像群内を検索することにより、主表示領域ｄ３や今回画像一覧表示領域ｄ２１に表示される今回画像を抽出しても良い。
　例えば、過去画像群に対する過去の観察時に、ユーザが異常箇所と判断し、異常箇所がある旨を示すラベル（以下、異常ラベルという）が付加された過去画像が存在する場合、画像抽出部５４ｃは、異常ラベルが付加された過去画像に対応する今回画像を今回画像群から抽出しても良い。
　抽出方法としては、例えば、検査開始時刻（又は幽門通過時刻）を基準とした過去画像の撮像時刻に基づき、撮像時刻が近い今回画像を絞り込んだ上で、類似画像判別処理を行い、過去画像と類似度が最も高い今回画像を選択する方法を用いても良い。この際、画像全体の類似度ではなく、異常がある部位のみに対する類似度を算出しても良い。或いは、撮像時刻に基づいて今回画像を絞り込んだ上で、過去画像と同様の特徴（例えば異常部位等）を示すパラメータを用いて今回画像を抽出しても良い。さらには、過去画像の位置情報を基づき、近傍の位置情報を有する今回画像を抽出しても良い。
　表示制御部５５は、このようにして抽出された今回画像を、ユーザの注意を喚起する形式で観察画面に表示する。例えば、主表示領域ｄ３において今回画像を擬似動画で表示する場合、異常ラベルが付加された過去画像に対応する今回画像の表示タイミングになった際に、表示フレームレートを下げてゆっくり表示しても良い。また、異常ラベルが付加された過去画像に対応する今回画像のみが一覧表示される画面を生成しても良い。さらには、タイムバーｄ７（例えば図６参照）や平均色バーｄ１６（図９参照）に対し、異常ラベルが付加された過去画像に対応して抽出された今回画像の領域にマークを附したり、点滅表示をするなどしても良い。
　以上説明した変形例５によれば、過去に異常ラベルが付加された過去画像に対応する今回画像を、ユーザの注意を喚起する形式で表示するので、ユーザは、過去に異常と診断された部位の経過を集中して観察することが可能となる。
（変形例６）
　次に、本発明の実施の形態１～３の変形例６について説明する。
　上記実施の形態１～３においては、過去の検査が１回のみである場合について説明した。しかしながら、同じ被検体１０に対して過去に複数回検査を行った場合には、以下のようにして過去画像の抽出及び表示を行うと良い。
　最近の被検体１０の状態を診断したい場合には、複数回の過去の検査のうち、最新の検査により取得された過去画像群のみを対象として画像の抽出を行うと良い。
　一方、被検体１０の状態の変化の傾向を診断したい場合には、複数回分の過去画像群の各々から画像抽出を行うと良い。この場合、各過去画像群から抽出された過去画像は、例えば図７に示す過去画像表示領域ｄ１２や、図８及び図９に示す過去画像表示領域ｄ１５に順次切り替えて表示しても良い。また、過去画像表示領域ｄ１５を１つの画面に複数設け、今回画像群から抽出された特徴画像（又はマーキング画像）に対応する複数の過去画像を、時系列に並べて表示しても良い。この場合、図９に示す平均色バーｄ１６、ｄ１７を、検査回数に応じて設け、時系列順に並べて表示しても良い。或いは、図１０に示す軌跡表示領域ｄ１８を検査回数に応じて設け、時系列順に並べて表示しても良い。
　また、変形例４において説明したように、観察画面に前回結果表示領域ｄ２６を設ける場合には、過去の数回分の検査の結果の平均値を表示しても良いし、過去の検査毎に前回結果表示領域ｄ２６に設け、１つの観察画面に時系列順に並べて表示しても良い。
（変形例７）
　次に、本発明の実施の形態１～３の変形例７について説明する。
　上記実施の形態１～３においては、過去画像データを画像処理装置５、５－２、５－３に内蔵された記憶部５３に記憶させたが、過去画像データを画像処理装置５、５－２、５－３と接続可能な外部記憶装置に記憶させても良い。或いは、過去画像データをサーバ等に格納し、有線又は無線ＬＡＮ等のネットワークを介して過去画像データを画像処理装置５、５－２、５－３に取り込んでも良い。
　以上説明した本発明は、実施の形態１～３及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
　１　カプセル型内視鏡システム
　２　カプセル型内視鏡
　３　受信装置
　３ａ　クレードル
　４　受信アンテナユニット
　４ａ～４ｈ　受信アンテナ
　５、５－２、５－３　画像処理装置
　５ａ　表示装置
　１０　被検体
　２１　撮像部
　２２　照明部
　２３　信号処理部
　２４　加速度センサ
　２５　メモリ
　２６　送信部
　２７　アンテナ
　２８　バッテリ
　３１　受信部
　３２　信号処理部
　３３　メモリ
　３４　データ送信部
　３５　操作部
　３６　表示部
　３７　制御部
　３８　バッテリ
　５１　入力部
　５２　画像データ取得部
　５３　記憶部
　５３ａ　今回画像データ記憶部
　５３ｂ　過去画像データ記憶部
　５４　演算部
　５４ａ　画像処理部
　５４ｂ　位置及び姿勢推定部
　５４ｃ　画像抽出部
　５４ｄ　撮像時間取得部
　５４ｅ　比較部
　５４ｆ　特徴量取得部
　５４ｇ　画像選択部
　５４ｈ　ラベル付加部
　５５　表示制御部
　５６　制御部

Claims (15)

  1. 　被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、
    　前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部と、
    　前記第１の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、前記第２の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得部と、
    　前記第１の量と前記第２の量とを比較する比較部と、
    　前記第１の量と前記第２の量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、
    を備えることを特徴とする画像処理装置。
  2. 　被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理装置であって、
    　前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出部と、
    　前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得部と、
    　前記第１の特徴量と前記第２の特徴量とを比較する比較部と、
    　前記第１の特徴量と前記第２の特徴量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御部と、
    を備えることを特徴とする画像処理装置。
  3. 　前記表示制御部は、前記差が前記基準値以上である場合に、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像を、観察注意画像として表示する制御を行うことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記差が所定の基準値以上である場合に、前記第１の画像群の前記第１の特徴画像と前記第２の特徴画像との間の一連の画像に対して所定の画像処理を施す画像処理部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  5. 　前記第１の画像群に対応する画像データを取得する画像データ取得部と、
    　前記第２の画像群を記憶する記憶部と、
    　前記第１及び第２の画像群の各々に対し、前記第１及び第２の特徴を検出する画像処理を施す画像処理部と、
    をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  6. 　外部から入力される選択信号に基づいて、前記第１の画像群から画像を選択するさらに画像選択部を備え、
    　前記画像抽出部は、前記画像選択部により選択された画像に対応する画像を、前記第２の画像群から抽出することを特徴とする請求項１に記載の画像処理装置。
  7. 　前記第１及び第２の量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間の時間であることを特徴とする請求項１に記載の画像処理装置。
  8. 　前記第１及び第２の量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間に前記カプセル型内視鏡により撮像された画像の枚数であることを特徴とする請求項１に記載の画像処理装置。
  9. 　前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の平均色を表すパラメータの統計値、又は該平均色の変化を示すパラメータであることを特徴とする請求項２に記載の画像処理装置。
  10. 　前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像の各々における特定形状の有無を示すパラメータの統計値であることを特徴とする請求項２に記載の画像処理装置。
  11. 　前記第１及び第２の特徴量は、前記第１の特徴画像と前記第２の特徴画像との間の一連の画像から検出された病変の数であることを特徴とする請求項２に記載の画像処理装置。
  12. 　前記第１及び第２の特徴量は、前記第１の特徴画像の撮像時刻と前記第２の特徴画像の撮像時刻との間における前記カプセル型内視鏡の動きを示すパラメータであることを特徴とする請求項２に記載の画像処理装置。
  13. 　前記カプセル型内視鏡の動きを示すパラメータは、前記カプセル型内視鏡の移動距離、前記カプセル型内視鏡が停止した回数、前記カプセル型内視鏡が停止していた時間、前記カプセル型内視鏡の最大移動速度、及び前記カプセル型内視鏡の回転数のいずれかであることを特徴とする請求項１２に記載の画像処理装置。
  14. 　被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、
    　前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出ステップと、
    　前記第１の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第１の量と、前記第２の画像群から抽出された前記第１及び第２の特徴画像の撮像時刻の間隔に対応する第２の量とを取得する撮像時間取得ステップと、
    　前記第１の量と前記第２の量とを比較する比較ステップと、
    　前記第１の量と前記第２の量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、
    を含むことを特徴とする画像処理方法。
  15. 　被検体内に導入されて該被検体内を撮像するカプセル型内視鏡により取得された前記被検体内の画像を処理する画像処理方法であって、
    　前記カプセル型内視鏡により前記被検体内を順次撮像して得られた第１の画像群、及び、前記被検体と同一の被検体内を前記第１の画像群よりも前に順次撮像して得られた第２の画像群の各々から、第１の特徴を示す第１の特徴画像及び第２の特徴を示す第２の特徴画像を抽出する画像抽出ステップと、
    　前記第１の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第１の特徴量と、前記第２の画像群から抽出された前記第１の特徴画像と前記第２の特徴画像との間における前記カプセル型内視鏡の移動を特徴づける第２の特徴量とを取得する特徴量取得ステップと、
    　前記第１の特徴量と前記第２の特徴量とを比較する比較ステップと、
    　前記第１の特徴量と前記第２の特徴量との差が基準値以上である場合に、前記第１の画像群に対し、前記比較部による比較の結果に基づく表示制御を行う表示制御ステップと、
    を含むことを特徴とする画像処理方法。
PCT/JP2013/077612 2012-10-18 2013-10-10 画像処理装置及び画像処理方法 WO2014061553A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380009876.6A CN104114077B (zh) 2012-10-18 2013-10-10 图像处理装置和图像处理方法
EP13846899.6A EP2910173A4 (en) 2012-10-18 2013-10-10 IMAGE PROCESSING DEVICE AND METHOD
JP2014511624A JP5568196B1 (ja) 2012-10-18 2013-10-10 画像処理装置及び画像処理方法
US14/221,978 US9204781B2 (en) 2012-10-18 2014-03-21 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012231182 2012-10-18
JP2012-231182 2012-10-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/221,978 Continuation US9204781B2 (en) 2012-10-18 2014-03-21 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2014061553A1 true WO2014061553A1 (ja) 2014-04-24

Family

ID=50488120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077612 WO2014061553A1 (ja) 2012-10-18 2013-10-10 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9204781B2 (ja)
EP (1) EP2910173A4 (ja)
JP (1) JP5568196B1 (ja)
CN (1) CN104114077B (ja)
WO (1) WO2014061553A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110993A1 (ja) * 2015-01-09 2016-07-14 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
JP2017108934A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2017158901A1 (ja) * 2016-03-18 2017-09-21 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
KR101900683B1 (ko) 2016-12-27 2018-09-20 아주대학교산학협력단 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법
JP2019030502A (ja) * 2017-08-08 2019-02-28 オリンパス株式会社 内視鏡画像観察支援システム
WO2019049451A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 ビデオプロセッサ、内視鏡システム、表示方法、及び表示プログラム
WO2019092940A1 (ja) * 2017-11-13 2019-05-16 オリンパス株式会社 内視鏡画像観察支援システム
JP2019088553A (ja) * 2017-11-15 2019-06-13 オリンパス株式会社 内視鏡画像観察支援システム
WO2020039929A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2021144951A1 (ja) * 2020-01-17 2021-07-22 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854958B1 (en) * 2013-03-23 2018-01-02 Garini Technologies Corporation System and method for automatic processing of images from an autonomous endoscopic capsule
CN105830458A (zh) * 2013-12-11 2016-08-03 基文影像公司 用于控制图像流显示的系统和方法
JP6013665B1 (ja) * 2014-11-26 2016-10-25 オリンパス株式会社 診断支援装置及び診断支援情報表示方法
CN107072475A (zh) * 2014-12-08 2017-08-18 奥林巴斯株式会社 胶囊型内窥镜系统
US11123149B2 (en) * 2015-10-09 2021-09-21 Covidien Lp Methods of using an angled endoscope for visualizing a body cavity with robotic surgical systems
JP2017205292A (ja) * 2016-05-18 2017-11-24 オリンパス株式会社 画像ファイル作成方法、画像ファイル作成プログラム及び画像ファイル作成装置
JP6741759B2 (ja) 2016-05-19 2020-08-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN109152517B (zh) * 2016-05-27 2021-03-12 奥林巴斯株式会社 图像处理装置、图像处理装置的控制方法和记录介质
JP6326178B1 (ja) * 2016-07-05 2018-05-16 オリンパス株式会社 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6751815B2 (ja) * 2017-04-28 2020-09-09 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法
WO2018230074A1 (ja) * 2017-06-14 2018-12-20 オリンパス株式会社 内視鏡画像観察支援システム
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치
US11622092B2 (en) 2017-12-26 2023-04-04 Pixart Imaging Inc. Image sensing scheme capable of saving more power as well as avoiding image lost and also simplifying complex image recursive calculation
US10645351B2 (en) * 2017-12-26 2020-05-05 Primesensor Technology Inc. Smart motion detection device and related determining method
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
CN109598716B (zh) * 2018-12-05 2020-08-07 武汉楚精灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
US12016696B2 (en) * 2019-01-04 2024-06-25 Stella Surgical Device for the qualitative evaluation of human organs
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP2022084116A (ja) * 2020-11-26 2022-06-07 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005288043A (ja) 2004-04-06 2005-10-20 Hitachi Medical Corp 医療画像診断装置
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
JP2009005866A (ja) * 2007-06-27 2009-01-15 Olympus Medical Systems Corp 画像情報の表示処理装置
JP2009213627A (ja) * 2008-03-10 2009-09-24 Fujifilm Corp 内視鏡検査システム及びその検査方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2290613B1 (en) * 2003-10-02 2017-02-15 Given Imaging Ltd. System and method for presentation of data streams
JP5248780B2 (ja) * 2003-12-31 2013-07-31 ギブン イメージング リミテッド 画像ストリームを表示するシステムおよび方法
WO2006087981A1 (ja) * 2005-02-15 2006-08-24 Olympus Corporation 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
WO2007119784A1 (ja) * 2006-04-14 2007-10-25 Olympus Medical Systems Corp. 画像表示装置
US8900124B2 (en) * 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
JP2009039449A (ja) * 2007-08-10 2009-02-26 Olympus Corp 画像処理装置
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5215105B2 (ja) * 2008-09-30 2013-06-19 オリンパスメディカルシステムズ株式会社 画像表示装置、画像表示方法、および画像表示プログラム
EP2316327B1 (en) * 2008-10-14 2013-05-15 Olympus Medical Systems Corp. Image display device, image display method, and image display program
US20100165088A1 (en) * 2008-12-29 2010-07-01 Intromedic Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method
JP4642940B2 (ja) * 2009-03-11 2011-03-02 オリンパスメディカルシステムズ株式会社 画像処理システム、その外部装置およびその画像処理方法
CN102361585B (zh) * 2009-03-23 2014-06-25 奥林巴斯医疗株式会社 图像处理系统、外部装置以及图像处理系统的图像处理方法
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005288043A (ja) 2004-04-06 2005-10-20 Hitachi Medical Corp 医療画像診断装置
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
JP2009005866A (ja) * 2007-06-27 2009-01-15 Olympus Medical Systems Corp 画像情報の表示処理装置
JP2009213627A (ja) * 2008-03-10 2009-09-24 Fujifilm Corp 内視鏡検査システム及びその検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2910173A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110993A1 (ja) * 2015-01-09 2016-07-14 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
JPWO2016110993A1 (ja) * 2015-01-09 2017-10-19 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
JP2017108934A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 医用画像処理装置、その制御方法、及びプログラム
WO2017158901A1 (ja) * 2016-03-18 2017-09-21 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
KR101900683B1 (ko) 2016-12-27 2018-09-20 아주대학교산학협력단 캡슐 내시경의 영상 시퀀스 분할 장치 및 방법
JP2019030502A (ja) * 2017-08-08 2019-02-28 オリンパス株式会社 内視鏡画像観察支援システム
WO2019049451A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 ビデオプロセッサ、内視鏡システム、表示方法、及び表示プログラム
WO2019092940A1 (ja) * 2017-11-13 2019-05-16 オリンパス株式会社 内視鏡画像観察支援システム
JP2019088553A (ja) * 2017-11-15 2019-06-13 オリンパス株式会社 内視鏡画像観察支援システム
WO2020039929A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2020039929A1 (ja) * 2018-08-23 2021-08-26 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7130043B2 (ja) 2018-08-23 2022-09-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2021144951A1 (ja) * 2020-01-17 2021-07-22 オリンパス株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム

Also Published As

Publication number Publication date
EP2910173A1 (en) 2015-08-26
EP2910173A4 (en) 2016-06-01
CN104114077A (zh) 2014-10-22
JPWO2014061553A1 (ja) 2016-09-05
US20140303435A1 (en) 2014-10-09
CN104114077B (zh) 2016-07-20
US9204781B2 (en) 2015-12-08
JP5568196B1 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5568196B1 (ja) 画像処理装置及び画像処理方法
JP5280620B2 (ja) 生体内のフィーチャーを検出するためのシステム
US8830307B2 (en) Image display apparatus
US8368746B2 (en) Apparatus and method for processing image information captured over time at plurality of positions in subject body
JP4493386B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP6027960B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
US8830308B2 (en) Image management apparatus, image management method and computer-readable recording medium associated with medical images
JP2006288612A (ja) 画像表示装置
JP5044066B2 (ja) 画像表示装置及びカプセル型内視鏡システム
US20090027486A1 (en) Image display apparatus
US20200090548A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6411834B2 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP4554647B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP3984230B2 (ja) 画像情報の表示処理装置、その表示処理方法及び表示処理プログラム
JP4472602B2 (ja) 画像表示装置
US20080172255A1 (en) Image display apparatus
JP4547401B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4789961B2 (ja) 画像表示装置
JP2010099139A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2007307397A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP4923096B2 (ja) 画像表示装置
WO2023175916A1 (ja) 医療支援システムおよび画像表示方法
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014511624

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13846899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013846899

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013846899

Country of ref document: EP