WO2018025444A1 - 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム - Google Patents

画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2018025444A1
WO2018025444A1 PCT/JP2017/013120 JP2017013120W WO2018025444A1 WO 2018025444 A1 WO2018025444 A1 WO 2018025444A1 JP 2017013120 W JP2017013120 W JP 2017013120W WO 2018025444 A1 WO2018025444 A1 WO 2018025444A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
position information
trajectory
group
image processing
Prior art date
Application number
PCT/JP2017/013120
Other languages
English (en)
French (fr)
Inventor
亮 猪股
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018503683A priority Critical patent/JP6333494B1/ja
Publication of WO2018025444A1 publication Critical patent/WO2018025444A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Definitions

  • the present invention relates to an image processing apparatus, a capsule endoscope system, an operation method of the image processing apparatus, and an operation program of the image processing apparatus.
  • a capsule endoscope system that diagnoses a subject using a series of images acquired by a capsule endoscope, which is an imaging device, images the digestive tract of the subject in chronological order is known.
  • This capsule endoscope system receives a radio signal transmitted from a capsule endoscope with a plurality of antennas arranged outside the body of a subject, and from the signal strength of the signal received by each antenna, the capsule endoscope Mirror position information is calculated. Furthermore, the capsule endoscope system calculates the locus of the capsule endoscope in the subject using the calculated position information, and displays the locus on the display device or the like. Thereby, a user such as a doctor can know the position where each image is captured.
  • Patent Document 1 discloses a technique for converting a calculated trajectory (tracking curve) into a modeled path.
  • the present invention has been made in view of the above, and an image processing apparatus, a capsule endoscope system, and an operation of an image processing apparatus that can reduce an error of a trajectory of an imaging apparatus introduced into a subject. It is an object to provide a method and an operation program for an image processing apparatus.
  • an image processing device includes an image group captured by an imaging device introduced into a subject, and a signal generated by the imaging device. And a signal processing unit that acquires signal strength when the antenna is received, and a determination unit that determines the movement of the imaging device when the image is captured for each of the images included in the image group And a trajectory calculation unit that calculates a trajectory of the imaging device using the signal intensity associated with a motion image that is the image that is determined by the determination unit to have performed a predetermined motion. It is characterized by that.
  • the image processing apparatus includes a representative image setting unit that sets a representative image representing the image group, and the determination unit displays the image set as the representative image in the imaging device. Is determined to be the image having a predetermined movement.
  • the image processing apparatus includes an imaging information acquisition unit that acquires a frame rate when each of the images is captured, and the determination unit is configured to acquire the image at the time of imaging acquired by the imaging information acquisition unit.
  • the image having a frame rate greater than a predetermined number of frames is determined to be the image in which the imaging apparatus has made a predetermined movement.
  • the image processing apparatus includes a detection unit that detects the movement of the imaging device, and the determination unit has a predetermined index related to the movement of the imaging device at the time of imaging detected by the detection unit. It is determined that the image larger than the value is the image in which the imaging apparatus has made a predetermined movement.
  • the image processing apparatus includes a position information calculation unit that calculates position information of the imaging device based on the signal intensity for each of the images included in the image group, and the locus calculation.
  • the unit calculates a locus of the imaging device by correcting the position information based on a determination result of the determination unit.
  • the trajectory calculation unit calculates the trajectory of the imaging device using the position information associated with the motion image, or is not the motion image.
  • the locus of the imaging device is calculated by replacing the position information associated with the image with the position information associated with the motion image that is closest in time series to the image.
  • the image processing apparatus compares a group setting unit that divides the image group into a plurality of groups, and the number of moving images for each group set by the group setting unit and a threshold value. And the trajectory calculation unit corrects the position information in the group in which the number of moving images is smaller than the threshold value as a result of the comparison by the comparison unit. Is calculated.
  • the trajectory calculation unit is associated with the image included in the group in which the number of motion images is smaller than the threshold value.
  • the trajectory calculation unit is associated with the image included in the group in which the number of the moving images is equal to or greater than the threshold as a result of the comparison by the comparison unit.
  • the locus of the imaging device is calculated using the position information.
  • the trajectory calculation unit may be the image that is not the motion image in the group in which the number of the motion images is smaller than the threshold as a result of the comparison by the comparison unit. Replacing the position information associated with the image with the position information associated with the motion image included in the group that is closest in time series to the image to calculate the trajectory of the imaging device.
  • the image processing apparatus includes a group setting unit that includes the image that is not the motion image in the same group as the motion image that is closest in time series to the image,
  • the trajectory calculation unit calculates the trajectory of the imaging device by correcting the position information for each group set by the group setting unit.
  • the trajectory calculation unit performs the statistical calculation using the position information associated with the image included in the group, so that the position information The trajectory of the imaging device is calculated by correcting the above.
  • the trajectory calculation unit calculates the trajectory of the imaging device using the position information associated with the motion image, or is included in the group.
  • the position information associated with all the images is replaced with the position information associated with the motion images included in the group, and the trajectory of the imaging device is calculated.
  • the image processing apparatus includes a position information calculation unit that calculates the position information associated with the motion image based on the signal intensity for each motion image, and the trajectory calculation unit. Calculates the trajectory of the imaging device based on the calculation result of the position information calculation unit.
  • An image processing apparatus includes a storage unit that stores a part where the movement of the imaging device is known to be large, and the determination unit stores the storage unit. It is characterized in that the image taken at a site where the movement of the imaging device is known to be large is determined to be the image that the imaging device has made a predetermined movement.
  • the trajectory calculation unit includes the position information associated with the motion image and the position information associated with the image that is not the motion image, The position information associated with the image in which the amount of change from the position information associated with the previous or subsequent image in time series with respect to the image that is not the motion image is smaller than a predetermined amount; It is used for the calculation of the trajectory.
  • a capsule endoscope system includes the above-described image processing device, an imaging device that is introduced into the subject and captures the image in the subject, and generates the signal. And a display device for displaying a trajectory of the imaging device output by the image processing device.
  • an operation method of an image processing device includes an image group captured by an imaging device introduced into a subject, and a signal intensity when an antenna receives a signal generated by the imaging device.
  • an operation program for an image processing device includes an image group captured by an imaging device introduced into a subject, and a signal intensity when the antenna receives a signal generated by the imaging device. And a determination step for determining a movement of the imaging device when the image is captured for each of the images included in the image group, and the determination step. Causing the image processing device to execute a trajectory calculation step of calculating a trajectory of the imaging device using the signal intensity associated with the motion image that is the image that is determined to have performed the predetermined motion of the imaging device. It is characterized by.
  • an image processing apparatus a capsule endoscope system, an operation method of an image processing apparatus, and an operation program for an image processing apparatus that can reduce an error of a trajectory of an imaging apparatus introduced into a subject.
  • an operation program for an image processing apparatus that can reduce an error of a trajectory of an imaging apparatus introduced into a subject.
  • FIG. 1 is a schematic configuration diagram of a capsule endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating the image processing apparatus according to the first embodiment.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram for explaining the operation of the image processing apparatus according to the first embodiment.
  • FIG. 5 is a diagram illustrating how the trajectory is corrected.
  • FIG. 6 is a diagram illustrating another example of the antenna.
  • FIG. 7 is a diagram for explaining a modification of the image processing apparatus.
  • FIG. 8 is a diagram for explaining the operation of the image processing apparatus according to the modified example 1-1 of the first embodiment.
  • FIG. 9 is a block diagram illustrating an image processing apparatus according to the second embodiment.
  • FIG. 1 is a schematic configuration diagram of a capsule endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating the image processing apparatus according to the first embodiment.
  • FIG. 3 is
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
  • FIG. 11 is a diagram for explaining the operation of the image processing apparatus according to the second embodiment.
  • FIG. 12 is a diagram for explaining the operation of the image processing apparatus according to the modified example 2-1 of the second embodiment.
  • FIG. 13 is a diagram for explaining the operation of the image processing apparatus according to the modified example 2-2 of the second embodiment.
  • FIG. 14 is a block diagram illustrating an image processing apparatus according to the third embodiment.
  • FIG. 15 is a flowchart showing the operation of the image processing apparatus according to the third embodiment.
  • FIG. 16 is a diagram for explaining the operation of the image processing apparatus according to the third embodiment.
  • FIG. 17 is a diagram for explaining the operation of the image processing apparatus according to the modified example 3-1 of the third embodiment.
  • FIG. 18 is a diagram for explaining the operation of the image processing apparatus according to the modified example 3-2 of the third embodiment.
  • FIG. 19 is a diagram for explaining the operation of the image processing apparatus according to the modified example 3-3 of the third embodiment.
  • FIG. 20 is a block diagram illustrating an image processing apparatus according to the fourth embodiment.
  • FIG. 21 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment.
  • FIG. 22 is a diagram for explaining the operation of the image processing apparatus according to the fourth embodiment.
  • FIG. 23 is a block diagram illustrating an image processing apparatus according to the fifth embodiment.
  • FIG. 24 is a flowchart showing the operation of the image processing apparatus according to the fifth embodiment.
  • FIG. 25 is a diagram for explaining the operation of the image processing apparatus according to the fifth embodiment.
  • FIG. 1 is a schematic configuration diagram of a capsule endoscope system according to the first embodiment.
  • a capsule endoscope system 1 according to Embodiment 1 includes a capsule endoscope 2 that is an imaging device that is introduced into a subject H and captures an image of a digestive tract or the like in the subject H, and the subject.
  • a processing device 5 and a display device 6 for displaying an image output from the image processing device 5 are provided.
  • the capsule endoscope 2 is swallowed into the subject H and moves within the body cavity of the subject H by the peristaltic motion of the digestive tract cavity.
  • the capsule endoscope 2 sequentially images the inside of the body cavity of the subject H at a minute time interval, for example, 0.5 second interval (2 fps) while moving in the body cavity of the subject H.
  • the image data is generated and transmitted.
  • the capsule endoscope 2 transmits radio signals for image transmission and position detection.
  • the antenna 3 has a plurality of antennas arranged on a flexible antenna sheet attached to the body surface of the subject H. Each antenna receives a radio signal transmitted from the capsule endoscope 2.
  • the receiving device 4 is attached to the subject H, and each antenna of the antenna 3 receives a radio signal transmitted from the capsule endoscope 2. Next, a radio signal having the maximum signal strength is selected from the plurality of received signals. Then, the selected wireless signal is stored as a received signal associated with the image. After the imaging by the capsule endoscope 2 is completed, the receiving device 4 is removed from the subject H and set in a cradle 5 a connected to the image processing device 5. As a result, the subject H is connected in a communicable state with the image processing apparatus 5 and transfers (downloads) the image data and the signal intensity to the image processing apparatus 5.
  • FIG. 2 is a block diagram illustrating the image processing apparatus according to the first embodiment.
  • the control unit 51 that controls the operation of the entire image processing device 5, the image data of the image group in the subject H imaged by the capsule endoscope 2, and each antenna of the antenna 3 are received.
  • a data acquisition unit 52 that acquires the signal strength of the signal, an input unit 53 that inputs a signal according to an external operation to the control unit 51, and predetermined image processing on the image data acquired by the data acquisition unit 52
  • Various information and images are displayed on the display device 6 connected to the image processing device 5. Display.
  • the control unit 51 is realized by hardware such as a CPU (Central Processing Unit) and reads various programs recorded in the storage unit 55 to input image data input from the data acquisition unit 52 or input from the input unit 53. In accordance with a signal or the like, instructions to each unit constituting the image processing apparatus 5 and data transfer are performed, and the overall operation of the image processing apparatus 5 is comprehensively controlled.
  • a CPU Central Processing Unit
  • the data acquisition unit 52 acquires the image data and signal intensity received by the receiving device 4 via the cradle 5a.
  • the data acquisition unit 52 may be configured to acquire image data and signal strength from a server in which the image data and signal strength are stored.
  • the input unit 53 is realized by input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs an input signal generated according to an external operation on these input devices to the control unit 51.
  • the calculation unit 54 is realized by hardware such as a CPU, and performs a process of calculating the locus of the capsule endoscope 2.
  • the calculation unit 54 includes a position information calculation unit 54a that calculates position information, a representative image setting unit 54b that sets a representative image, a determination unit 54c that determines the movement of the capsule endoscope 2, and a determination by the determination unit 54c.
  • a trajectory calculating unit 54d that corrects the position information calculated by the position information calculating unit 54a based on the result and calculates the trajectory of the capsule endoscope 2;
  • the position information calculation unit 54a calculates the position information of the capsule endoscope 2 for each image included in the image group from the signal strength of the received signal at each antenna of the antenna 3 received from the receiving device 4.
  • the representative image setting unit 54b sets a representative image representing an image group.
  • the representative image is an image captured when the capsule endoscope 2 moves greatly in the digestive tract.
  • the representative image setting unit 54b calculates the similarity by comparing the images before and after the image group arranged in chronological order, and sets the image as the representative image when the calculated similarity is smaller than a predetermined threshold.
  • a known technique such as scene change determination using the motion vector of the image may be used.
  • the determination unit 54c determines the movement of the capsule endoscope 2 when an image is captured for each image included in the image group. For example, the determination unit 54c determines that the image set as the representative image is an image in which the capsule endoscope 2 has moved in a predetermined manner.
  • the predetermined movement means that the amount of movement of the capsule endoscope 2 is larger than a predetermined threshold.
  • the representative image is an image whose degree of similarity is smaller than a predetermined threshold value. This is because the captured image changes greatly due to the large movement of the capsule endoscope 2, and the degree of similarity decreases. Therefore, the image set as the representative image means that the amount of movement of the capsule endoscope 2 is larger than a predetermined threshold.
  • the locus calculation unit 54d calculates the locus of the capsule endoscope 2 by correcting the position information calculated by the position information calculation unit 54a based on the determination result of the determination unit 54c. Specifically, the trajectory calculation unit 54d uses the position information associated with the motion image, which is an image for which the determination unit 54c determines that the capsule endoscope 2 has made a predetermined movement, to use the capsule endoscope. 2 trajectories are calculated.
  • the storage unit 55 includes various IC memories such as ROM (Read Only Memory) and RAM (Random Access Memory) such as flash memory that can be updated and recorded, information such as a hard disk built in or connected by a data communication terminal, or information such as a CD-ROM. This is realized by a recording device and its reading device.
  • the storage unit 55 operates the image processing device 5 in addition to the image data and signal intensity of the intra-gastrointestinal image acquired by the data acquisition unit 52, and a program for causing the image processing device 5 to execute various functions, Stores data used during the execution of this program.
  • the storage unit 55 stores a result calculated by each unit of the calculation unit 54.
  • the display device 6 is realized by a display device such as liquid crystal or organic EL (Electro Luminescence), and displays various screens including images in the digestive tract under the control of the control unit 51.
  • a display device such as liquid crystal or organic EL (Electro Luminescence)
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram for explaining the operation of the image processing apparatus according to the first embodiment.
  • the data acquisition unit 52 of the image processing device 5 acquires the image data of the image group IG (see FIG. 4) captured by the capsule endoscope 2 and the signal strength received by each antenna of the antenna 3.
  • the image group IG includes images I1 to I10.
  • the representative image setting unit 54b sets a representative image representing the image group IG acquired by the data acquisition unit 52 (step S1). Specifically, in FIG. 4, hatched images I1, I2, I3, I4, and I6 are images set as representative images.
  • the determination unit 54c determines the movement of the capsule endoscope 2 when each of the images included in the image group IG acquired by the data acquisition unit 52 is captured (step S2). Specifically, the determination unit 54c determines that the images I1, I2, I3, I4, and I6 set as the representative images are images (motion images) in which the capsule endoscope 2 has moved in a predetermined manner.
  • the position information calculation unit 54a obtains the position information of the capsule endoscope 2 from the signal intensity of the received signal received by the data acquisition unit 52 for each image included in the image group IG. (Step S3). Specifically, as shown in FIG. 4, the position information calculation unit 54a calculates position information P1 to P10 corresponding to the images I1 to I10, respectively.
  • the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 by correcting the position information calculated by the position information calculation unit 54a based on the determination result of the determination unit 54c (step S4). Specifically, the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 using position information P1, P2, P3, P4, and P6 associated with the motion image, as shown in FIG. In other words, the trajectory calculation unit 54d does not use the position information P5, P7, P8, P9, and P10 associated with an image that is not a motion image for calculating the trajectory of the capsule endoscope 2.
  • FIG. 5 is a diagram showing how the trajectory is corrected.
  • FIG. 5 is a locus in the large intestine of the capsule endoscope 2.
  • the X direction represents the left-right direction of the subject H
  • the Y direction represents the up-down direction of the subject H
  • the Z direction represents the front-back direction of the subject H.
  • FIG. 5A when the locus of the capsule endoscope 2 is drawn using all the position information calculated by the position information calculation unit 54a, a line representing the actual movement of the capsule endoscope 2 is drawn.
  • the line L2 has a larger error than L1. This is because the fat or the like of the subject H may affect the radio signal received by the antenna 3, or the relative positional relationship between the capsule endoscope 2 and the antenna 3 due to the posture change of the subject H. This is due to the fact that there may be deviations.
  • the line L3 that is the locus calculated by the locus calculating unit 54d has a reduced error with respect to the line L1.
  • the representative image is an image having a large difference (low similarity) compared with the images before and after the time series order, and therefore it is confirmed from the image that the capsule endoscope 2 has actually moved. It is an image. Therefore, by drawing the locus using only the position information associated with the image set as the representative image, the position information confirmed that the capsule endoscope 2 has actually moved is extracted and the locus is drawn. be able to.
  • the position information calculation unit 54a causes the error because the capsule endoscope 2 does not actually move.
  • An image in which the calculated position information is moving can be excluded from the calculation of the trajectory.
  • the trajectory of the imaging device in the subject is calculated by calculating the trajectory using only the position information associated with the image set as the representative image. It is possible to realize an image processing apparatus that can reduce errors occurring in the image processing apparatus.
  • FIG. 6 is a diagram illustrating another example of the antenna. As shown in FIG. 6, on the body surface of the subject H, antennas 3A that are independent lead antennas are arranged. A lead wire 3B is connected to each antenna 3A and is electrically connected to the receiving device 4.
  • FIG. 7 is a diagram for explaining a modification of the image processing apparatus.
  • the receiving device 4 receives the reception signals SIG1 to SIG10 corresponding to the images I1 to I10 via the antenna 3, respectively.
  • the position information calculation unit 54a calculates position information associated with the motion image from the signal strength of the received signal.
  • the position information calculation unit 54a receives position information P1, P2, P3, P4, and the like from the received signals SIG1, SIG2, SIG3, SIG4, and SIG6 of the images I1, I2, I3, I4, and I6 that are motion images. P6 is calculated. Then, the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 using the position information P1, P2, P3, P4, and P6 associated with the motion image based on the calculation result of the position information calculation unit 54a. To do.
  • the trajectory calculation unit 54d does not use position information associated with an image that is not a motion image to calculate the trajectory of the capsule endoscope 2.
  • the trajectory calculation unit 54d includes position information associated with a motion image and position information associated with an image that is not a motion image, and is associated with the previous or subsequent image in time series with respect to the image.
  • Position information associated with an image whose amount of change from the position information is smaller than a predetermined amount (a preset threshold value) may be used for calculating the trajectory of the capsule endoscope 2. Since an image with a small amount of change in position information is an image that does not include a large error, the position information associated with this image may be used for calculating the trajectory of the capsule endoscope 2.
  • FIG. 8 is a diagram for explaining the operation of the image processing apparatus according to the modified example 1-1 of the first embodiment.
  • the trajectory calculation unit 54d replaces position information associated with an image that is not a motion image with position information associated with a motion image that is closest to the front in time series with respect to each image.
  • the locus of the capsule endoscope 2 is calculated. Specifically, the position information P5 is replaced with the position information P4, and the position information P7, P8, P9, and P10 are replaced with the position information P6.
  • the modified example 1-1 it is possible to draw a trajectory using only position information associated with the representative image confirmed from the image that the capsule endoscope 2 has moved.
  • trajectory calculation unit 54d may replace the position information associated with an image that is not a motion image with the position information associated with the motion image that is closest to the rear in the time series with respect to each image. Further, the trajectory calculation unit 54d may replace the position information associated with an image that is not a motion image with the position information associated with the motion image that is closest to each image regardless of whether it is before or after in the time series. .
  • FIG. 9 is a block diagram illustrating an image processing apparatus according to the second embodiment. As shown in FIG. 9, the configuration other than the arithmetic unit 54A of the image processing apparatus 5A may be the same as that of the first embodiment, and thus the description thereof will be omitted as appropriate.
  • the calculation unit 54A of the image processing apparatus 5A includes a group setting unit 54Ae that divides an image group captured by the capsule endoscope 2 into a plurality of groups, and the number of motion images and threshold values for each group set by the group setting unit 54Ae. And a comparison unit 54Af.
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
  • FIG. 11 is a diagram for explaining the operation of the image processing apparatus according to the second embodiment. As shown in FIG. 10, the same processing as in the first embodiment is performed until step S3.
  • the group setting unit 54Ae divides the image group IG captured by the capsule endoscope 2 into a plurality of groups (step S11). Specifically, the group setting unit 54Ae divides the image group IG into groups G1 and G2, as shown in FIG.
  • the comparison unit 54Af compares the number of motion images for each group set by the group setting unit 54Ae with a threshold value (step S12). Specifically, the comparison unit 54Af compares the number of motion images in the groups G1 and G2 with a threshold value.
  • the threshold value is a predetermined value, and FIG. 11 is an example when the threshold value is two.
  • the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 by correcting the position information of the group G2, which is a group in which the number of motion images is smaller than the threshold (Ste S4). Specifically, the trajectory calculation unit 54d corrects the position information by performing statistical calculation using the position information P6 to P10 associated with the images included in the group G2 as the position information of the group G2. Then, the trajectory of the capsule endoscope 2 is calculated.
  • the trajectory calculation unit 54d calculates, for example, position information PA, which is an average value of the position information P6 to P10, as a statistical calculation, and calculates the trajectory of the capsule endoscope 2 using the position information PA.
  • the position information PA may be a mode value or a median value of the position information P6 to P10.
  • the position information of the group having a large number of representative images in which it is confirmed that the capsule endoscope 2 has actually moved is used, and the position information of the group having a small number of representative images is used.
  • FIG. 12 is a diagram for explaining the operation of the image processing apparatus according to the modified example 2-1 of the second embodiment.
  • the group setting unit 54Ae divides the image group IG into groups G1 and G2.
  • the comparison unit 54Af compares the number of motion images in the groups G1 and G2 with a threshold value (FIG. 12 is an example when the threshold value is two).
  • the trajectory calculation unit 54d uses the position information P1 to P5 associated with images included in the group G1 in which the number of moving images is equal to or greater than the threshold value, and the capsule endoscope 2 Is calculated.
  • the position information P6 to P10 of the group G2 in which the number of motion images is less than the predetermined number is not used for calculating the locus of the capsule endoscope 2.
  • the imaging apparatus introduced into the subject It is possible to realize an image processing apparatus that can reduce the error of the trajectory.
  • FIG. 13 is a diagram for explaining the operation of the image processing apparatus according to the modified example 2-2 of the second embodiment.
  • the group setting unit 54Ae divides the image group IG into groups G1 and G2.
  • the comparison unit 54Af compares the number of motion images of the groups G1 and G2 with a threshold value (two).
  • the trajectory calculation unit 54d has positional information associated with images I7, I8, I9, and I10 that are not motion images in the group G2, which is a group in which the number of motion images is less than the threshold.
  • P7, P8, P9, and P10 are replaced with position information P6 associated with the image I6 that is the motion image included in the group G2, which is the closest to the front in time series with respect to these images, and the capsule type endoscope The trajectory of the mirror 2 is calculated.
  • the position information included in the group having a large number of representative images in which it is confirmed that the capsule endoscope 2 has actually moved is used, and the position information in the group having a small number of representative images is used.
  • the trajectory calculation unit 54d displays position information associated with images that are not motion images in time series with respect to these images in a group in which the number of motion images is smaller than a threshold. You may substitute with the positional information linked
  • FIG. 14 is a block diagram illustrating an image processing apparatus according to the third embodiment. As shown in FIG. 14, the configuration other than the calculation unit 54B of the image processing device 5B may be the same as that of the first embodiment, and thus description thereof will be omitted as appropriate.
  • the calculation unit 54B of the image processing device 5B includes a group setting unit 54Be that includes an image that is not a motion image in the same group as the motion image that is closest to the front in time series.
  • FIG. 15 is a flowchart showing the operation of the image processing apparatus according to the third embodiment.
  • FIG. 16 is a diagram for explaining the operation of the image processing apparatus according to the third embodiment. As shown in FIG. 15, the same processing as in the first embodiment is performed until step S3.
  • the group setting unit 54Be divides the image group IG captured by the capsule endoscope 2 into a plurality of groups (step S11). Specifically, as shown in FIG. 16, the group setting unit 54Be displays images I5, I7, I8, I9, and I10 that are not motion images in the image group IG in the time series with respect to these images. Include in the same group as the closest motion image. Specifically, the images I1, I2, and I3 that are motion images are set as groups GA1, GA2, and GA3, respectively. The image I5 that is not a motion image is included in the same group GA4 as the image I4 that is a previous motion image in time series from the image I5. Similarly, the images I7, I8, I9, and I10 that are not motion images are included in the same group GA5 as the image I6 that is the previous motion image in time series.
  • trajectory calculation part 54d calculates the locus
  • calculation unit 54B of the image processing device 5B may include an image that is not a motion image in the same group as the motion image that is closest to the rear side in time series with respect to the image. Further, the calculation unit 54B of the image processing device 5B may include an image that is not a motion image in the same group as the motion image that is closest to the image regardless of whether it is before or after in the time series.
  • FIG. 17 is a diagram for explaining the operation of the image processing apparatus according to the modified example 3-1 of the third embodiment.
  • the group setting unit 54Be divides the image group IG into groups GA1 to GA5.
  • the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 using the position information P1, P2, P3, P4, and P6 associated with the motion image.
  • the trajectory calculation unit 54d does not use the position information P5, P7, P8, P9, and P10 associated with an image that is not a motion image for calculating the trajectory of the capsule endoscope 2.
  • the trajectory is calculated using only the position information associated with the representative image in which it is confirmed that the capsule endoscope 2 has actually moved, thereby being introduced into the subject. It is possible to realize an image processing apparatus that can reduce the error of the trajectory of the image pickup apparatus.
  • FIG. 18 is a diagram for explaining the operation of the image processing apparatus according to the modified example 3-2 of the third embodiment.
  • the group setting unit 54Be divides the image group IG into groups GA1 to GA5.
  • the trajectory calculation unit 54d replaces the position information of all the images included in the group with the position information associated with the motion image included in the group.
  • the position information associated with the images I4 and I5 included in the group GA4 is replaced with the position information P4 associated with the image I4 that is a motion image.
  • the position information associated with the images I6 to I10 included in the group GA5 is replaced with the position information P6 associated with the image I6 that is a motion image.
  • the trajectory is calculated using only the positional information associated with the representative image in which it is confirmed that the capsule endoscope 2 has actually moved, so that it is introduced into the subject. It is possible to realize an image processing apparatus that can reduce the error of the trajectory of the image pickup apparatus.
  • FIG. 19 is a diagram for explaining the operation of the image processing apparatus according to the modified example 3-3 of the third embodiment.
  • the storage unit 55 stores a part where the movement of the capsule endoscope 2 is known to be large.
  • the storage unit 55 stores the duodenum, which is known as a part where the movement of the capsule endoscope 2 increases.
  • the group setting unit 54Be divides the image group IG into two groups of images I1 to I5 captured with the stomach and images I6 to I10 captured with the duodenum. It should be noted that it is possible to determine at which part each image is captured by a user input or by predetermined image processing on the image group IG.
  • the determination unit 54c is an image in which the capsule endoscope 2 has made a predetermined movement based on the images I6 to I10 captured at a site (duodenum) where the movement of the capsule endoscope 2 stored in the storage unit 55 is large. Judge that there is.
  • the trajectory calculation unit 54d uses only the position information P6 to P10 associated with the images I6 to I10 that are images (motion images) determined by the determination unit 54c to have performed the predetermined movement of the capsule endoscope 2. Calculate the trajectory.
  • the imaging device introduced into the subject is calculated by extracting the image captured at the site that is known in advance as the movement of the capsule endoscope 2 is large and calculating the trajectory. It is possible to realize an image processing apparatus that can reduce the error of the trajectory.
  • the transverse colon is a part that is known to have a large movement of the capsule endoscope 2, and therefore the same processing can be performed.
  • FIG. 20 is a block diagram illustrating an image processing apparatus according to the fourth embodiment.
  • the configuration other than the calculation unit 54C of the image processing device 5C may be the same as that of the first embodiment, and thus description thereof will be omitted as appropriate.
  • the capsule endoscope 2 is provided with a frame rate control means. When the capsule endoscope 2 has a large movement, the imaging frame rate increases. When the capsule endoscope 2 has a small movement, the imaging frame rate is increased. It is the composition which falls.
  • the calculation unit 54C of the image processing device 5C includes an imaging information acquisition unit 54Cb that acquires a frame rate when each image is captured. Then, in the determination unit 54c, the capsule endoscope 2 performs a predetermined movement of an image corresponding to the image number captured when the frame rate at the time of imaging acquired by the imaging information acquisition unit 54Cb is larger than a predetermined number of frames. Judged to be an image.
  • the predetermined movement means that the amount of movement of the capsule endoscope 2 is larger than a predetermined threshold.
  • FIG. 21 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment.
  • FIG. 22 is a diagram for explaining the operation of the image processing apparatus according to the fourth embodiment.
  • the data acquisition unit 52 of the image processing apparatus 5 acquires image data and signal intensity of an image group IGC (see FIG. 22) captured by the capsule endoscope 2.
  • the image group IGC includes images IC1 to IC10.
  • the imaging information acquisition unit 54Cb acquires the frame rate when each image of the image group IGC is captured (step S21).
  • the determination unit 54c determines the movement of the capsule endoscope 2 when each of the images included in the image group IGC acquired by the data acquisition unit 52 is captured (step S2).
  • the determination unit 54c determines that an image in which the frame rate at the time of imaging acquired by the imaging information acquisition unit 54Cb is larger than a predetermined number of frames is an image in which the capsule endoscope 2 performs a predetermined movement.
  • the determination unit 54c determines that the images IC1, IC2, IC3, IC4, and IC6 that are hatched (hatched) are images in which the capsule endoscope 2 has made a predetermined movement. .
  • step S3 is performed in parallel with steps S1 and S2.
  • the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 by correcting the position information calculated by the position information calculation unit 54a based on the determination result of the determination unit 54c (step S4). Specifically, as illustrated in FIG. 22, the trajectory calculation unit 54d, the position information PC1 associated with a motion image that is an image for which the determination unit 54c has determined that the capsule endoscope 2 has performed a predetermined movement. The locus of the capsule endoscope 2 is calculated using PC2, PC3, PC4, and PC6. In other words, the trajectory calculation unit 54d does not use the position information PC5, PC7, PC8, PC9, PC10 associated with an image that is not a motion image for calculating the trajectory of the capsule endoscope 2.
  • the subject is calculated by calculating the trajectory without using the position information associated with the image with the small movement of the capsule endoscope 2 that is easily affected by the error. It is possible to realize an image processing apparatus capable of reducing the error of the trajectory of the imaging apparatus introduced into the camera.
  • the motion image may be replaced with an image in which the imaging information acquisition unit 54Cb acquires the motion image from the representative image and has a frame rate greater than a predetermined number of frames. it can.
  • the determination unit 54c causes the capsule endoscope 2 to perform a predetermined movement on an image in which the frame rate at the time of imaging acquired by the imaging information acquisition unit 54Cb is greater than a predetermined number of frames.
  • the configuration for determining an image is described, the configuration is not limited to this.
  • the determination unit 54c may determine that the capsule endoscope 2 is an image with a predetermined movement based on the number of images captured per unit time, the imaging interval, and the like.
  • FIG. 23 is a block diagram illustrating an image processing apparatus according to the fifth embodiment. As shown in FIG. 23, the configuration other than the calculation unit 54D of the image processing device 5D may be the same as that of the first embodiment, and thus description thereof will be omitted as appropriate. However, the capsule endoscope 2 is configured to include an acceleration sensor.
  • the calculation unit 54D of the image processing device 5D includes a detection unit 54Db that detects the movement of the capsule endoscope 2. Then, the determination unit 54c is an image in which the capsule endoscope 2 has made a predetermined movement as an image in which the index related to the movement of the capsule endoscope 2 at the time of imaging detected by the detection unit 54Db is larger than a predetermined value. Is determined.
  • the predetermined movement means that the amount of movement of the capsule endoscope 2 is larger than a predetermined threshold.
  • the index related to the movement of the capsule endoscope 2 is the acceleration of the capsule endoscope 2 detected by the acceleration sensor of the capsule endoscope 2.
  • FIG. 24 is a flowchart showing the operation of the image processing apparatus according to the fifth embodiment.
  • FIG. 25 is a diagram for explaining the operation of the image processing apparatus according to the fifth embodiment.
  • the data acquisition unit 52 of the image processing device 5D acquires image data and signal intensity of an image group IGD (see FIG. 25) captured by the capsule endoscope 2.
  • the image group IGD includes images ID1 to ID10.
  • the detection unit 54Db acquires the result of detecting the movement of the capsule endoscope 2 (step S31). For example, the detection unit 54Db acquires acceleration information from the acceleration sensor of the capsule endoscope 2.
  • the determination unit 54c determines the movement of the capsule endoscope 2 when each of the images included in the image group IGD acquired by the data acquisition unit 52 is captured (step S2).
  • the determination unit 54c determines that an image in which the acceleration of the capsule endoscope 2 during imaging detected by the detection unit 54Db is larger than a predetermined value is an image in which the capsule endoscope 2 has moved in a predetermined manner.
  • the determination unit 54c determines that the image ID1, ID2, ID3, ID4, and ID6 that are hatched (hatched) are images in which the capsule endoscope 2 has made a predetermined movement. .
  • step S3 is performed in parallel with steps S1 and S2.
  • the trajectory calculation unit 54d calculates the trajectory of the capsule endoscope 2 by correcting the position information calculated by the position information calculation unit 54a based on the determination result of the determination unit 54c (step S4). Specifically, as shown in FIG. 25, the trajectory calculation unit 54d, as shown in FIG. 25, position information PD1 associated with a motion image that is an image determined by the determination unit 54c to have made a predetermined movement. The locus of the capsule endoscope 2 is calculated using PD2, PD3, PD4, and PD6. In other words, the trajectory calculation unit 54d does not use the position information PD5, PD7, PD8, PD9, and PD10 associated with an image that is not a motion image for calculating the trajectory of the capsule endoscope 2.
  • the locus is calculated by correcting the positional information of the image with a small movement of the capsule endoscope 2 that is easily affected by the error, and is introduced into the subject. It is possible to realize an image processing apparatus that can reduce the error of the trajectory of the image pickup apparatus.
  • the motion image can be replaced with an image with a large motion of the capsule endoscope 2 at the time of imaging detected from the representative image by the detection unit 54Db. .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置は、被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置であって、前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定部と、前記判定部により前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出部と、を備える。これにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を提供する。

Description

画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
 本発明は、画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムに関する。
 従来、撮像装置であるカプセル型内視鏡が被検体の消化管内を時系列順に撮像することにより取得した一連の画像群を用いて、被検体の診断を行うカプセル型内視鏡システムが知られている(例えば、特許文献1参照)。このカプセル型内視鏡システムは、カプセル型内視鏡が発信する無線信号を被検体の体外に配置された複数のアンテナで受信し、各アンテナが受信した信号の信号強度から、カプセル型内視鏡の位置情報を算出する。さらに、カプセル型内視鏡システムは、算出した位置情報を用いて、カプセル型内視鏡の被検体内における軌跡を算出し、表示装置等に表示させる。これにより、医師等のユーザは各画像が撮像された位置を知ることができる。
 また、特許文献1には、算出した軌跡(トラッキングカーブ)をモデル化経路に変換する技術が開示されている。
特開2008-100075号公報
 しかしながら、従来のカプセル型内視鏡システムにおいて、アンテナにより受信した位置情報からカプセル型内視鏡の軌跡を算出すると、実際のカプセル型内視鏡の軌跡に対する誤差が大きい場合があった。これは、被検体の脂肪等が無線信号に影響を与える場合があることや、被検体の姿勢変更によりカプセル型内視鏡と各アンテナとの相対的な位置関係がずれる場合があること等に起因する。なお、特許文献1の技術では、軌跡をモデル化経路に変換するのであって、軌跡の誤差を補正することはできない。
 本発明は、上記に鑑みてなされたものであって、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置であって、前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定部と、前記判定部により前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出部と、を備えることを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記画像群を代表する代表画像を設定する代表画像設定部を備え、前記判定部は、前記代表画像に設定された前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記画像をそれぞれ撮像した際のフレームレートを取得する撮像情報取得部を備え、前記判定部は、前記撮像情報取得部が取得した撮像時のフレームレートが所定のフレーム数よりも大きい前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記撮像装置の動きを検知する検知部を備え、前記判定部は、前記検知部が検知した撮像時の前記撮像装置の動きに関する指標が所定の値よりも大きい前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記画像群に含まれる前記画像ごとに、前記信号強度に基づいて前記撮像装置の位置情報を算出する位置情報算出部を備え、前記軌跡算出部は、前記判定部の判定結果に基づいて、前記位置情報を補正することにより、前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記動き画像に関連付けられた前記位置情報を用いて前記撮像装置の軌跡を算出する、又は、前記動き画像ではない前記画像に関連付けられた前記位置情報を、前記画像に対して時系列において最も近い、前記動き画像に関連付けられた前記位置情報に置換して前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記画像群を複数のグループに分割するグループ設定部と、前記グループ設定部が設定した前記グループごとの前記動き画像の枚数と閾値とを比較する比較部と、を備え、前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値より少ない前記グループにおいて、前記位置情報を補正することにより、前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値より少ない前記グループ内に含まれる前記画像に関連付けられた前記位置情報を用いた統計的な演算を行うことにより、前記位置情報を補正して前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値以上である前記グループ内に含まれる前記画像に関連付けられた前記位置情報を用いて前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値より少ない前記グループ内において、前記動き画像ではない前記画像に関連付けられた前記位置情報を、前記画像に対して時系列において最も近い、前記グループ内に含まれる前記動き画像に関連付けられた前記位置情報に置換して前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記動き画像ではない前記画像を、前記画像に対して時系列において最も近い、前記動き画像と同じグループ内に含めるグループ設定部を備え、前記軌跡算出部は、前記グループ設定部が設定したグループごとに前記位置情報を補正することにより、前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記グループ内に含まれる前記画像に関連付けられた前記位置情報を用いた統計的な演算を行うことにより、前記位置情報を補正して前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記動き画像に関連付けられた前記位置情報を用いて前記撮像装置の軌跡を算出する、又は、前記グループ内に含まれる全ての前記画像に関連付けられた前記位置情報を、前記グループ内に含まれる前記動き画像に関連付けられた前記位置情報に置換して前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記動き画像毎に、前記信号強度に基づいて前記動き画像に関連付けられた前記位置情報を算出する位置情報算出部を備え、前記軌跡算出部は、前記位置情報算出部の算出結果に基づいて、前記撮像装置の軌跡を算出することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記撮像装置の動きが大きいことが既知である部位を記憶している記憶部を備え、前記判定部は、前記記憶部が記憶している前記撮像装置の動きが大きいことが既知である部位で撮像された前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする。
 また、本発明の一態様に係る画像処理装置は、前記軌跡算出部は、前記動き画像に関連付けられた前記位置情報と、前記動き画像ではない前記画像に関連付けられた前記位置情報であって、前記動き画像ではない前記画像に対して時系列において前又は後の前記画像に関連付けられた前記位置情報からの変化量が所定量より小さい前記画像に関連付けられた前記位置情報と、を前記撮像装置の軌跡の算出に用いることを特徴とする。
 また、本発明の一態様に係るカプセル型内視鏡システムは、上記の画像処理装置と、被検体内に導入されて被検体内の前記画像を撮像するとともに、前記信号を発生する撮像装置と、前記画像処理装置が出力した前記撮像装置の軌跡を表示する表示装置と、を備えることを特徴とする。
 また、本発明の一態様に係る画像処理装置の作動方法は、被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置の作動方法であって、判定部が、前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定ステップと、軌跡算出部が、前記判定ステップにより前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出ステップと、を含むことを特徴とする。
 また、本発明の一態様に係る画像処理装置の作動プログラムは、被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置の作動プログラムであって、前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定ステップと、前記判定ステップにより前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出ステップと、を画像処理装置に実行させることを特徴とする。
 本発明によれば、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムを実現することができる。
図1は、実施の形態1に係るカプセル型内視鏡システムの概略構成図である。 図2は、実施の形態1に係る画像処理装置を示すブロック図である。 図3は、実施の形態1に係る画像処理装置の動作を示すフローチャートである。 図4は、実施の形態1に係る画像処理装置の動作を説明するための図である。 図5は、軌跡を補正する様子を表す図である。 図6は、アンテナの他の一例を表す図である。 図7は、画像処理装置の変形例を説明するための図である。 図8は、実施の形態1の変形例1-1に係る画像処理装置の動作を説明するための図である。 図9は、実施の形態2に係る画像処理装置を示すブロック図である。 図10は、実施の形態2に係る画像処理装置の動作を示すフローチャートである。 図11は、実施の形態2に係る画像処理装置の動作を説明するための図である。 図12は、実施の形態2の変形例2-1に係る画像処理装置の動作を説明するための図である。 図13は、実施の形態2の変形例2-2に係る画像処理装置の動作を説明するための図である。 図14は、実施の形態3に係る画像処理装置を示すブロック図である。 図15は、実施の形態3に係る画像処理装置の動作を示すフローチャートである。 図16は、実施の形態3に係る画像処理装置の動作を説明するための図である。 図17は、実施の形態3の変形例3-1に係る画像処理装置の動作を説明するための図である。 図18は、実施の形態3の変形例3-2に係る画像処理装置の動作を説明するための図である。 図19は、実施の形態3の変形例3-3に係る画像処理装置の動作を説明するための図である。 図20は、実施の形態4に係る画像処理装置を示すブロック図である。 図21は、実施の形態4に係る画像処理装置の動作を示すフローチャートである。 図22は、実施の形態4に係る画像処理装置の動作を説明するための図である。 図23は、実施の形態5に係る画像処理装置を示すブロック図である。 図24は、実施の形態5に係る画像処理装置の動作を示すフローチャートである。 図25は、実施の形態5に係る画像処理装置の動作を説明するための図である。
 以下に、図面を参照して本発明に係る画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、カプセル型内視鏡が撮像した画像群に画像処理を施す画像処理装置一般に適用することができる。
 また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
(実施の形態1)
 図1は、実施の形態1に係るカプセル型内視鏡システムの概略構成図である。実施の形態1に係るカプセル型内視鏡システム1は、被検体H内に導入されて被検体H内の消化管等の画像を撮像する撮像装置であるカプセル型内視鏡2と、被検体Hの体表に取り付けられた複数のアンテナを有するアンテナ3と、アンテナ3の各アンテナが受信した信号を受信する受信装置4と、カプセル型内視鏡2が撮像した画像に画像処理を施す画像処理装置5と、画像処理装置5が出力した画像を表示する表示装置6と、を備える。
 カプセル型内視鏡2は、被検体H内に飲み込まれ、消化管腔の蠕動運動によって被検体Hの体腔内を移動する。カプセル型内視鏡2は、被検体Hの体腔内を移動しながら微小な時間間隔、例えば0.5秒間隔(2fps)で被検体Hの体腔内を順次撮像し、撮像した被検体H内の画像データを生成して送信する。また、カプセル型内視鏡2は、画像送信及び位置検出用の無線信号を発信する。
 アンテナ3は、被検体Hの体表に取り付けられたフレキシブルなアンテナシート上に配置された複数のアンテナを有する。各アンテナは、カプセル型内視鏡2が発信する無線信号を受信する。
 受信装置4は、被検体Hに装着され、アンテナ3の各アンテナは、カプセル型内視鏡2から発信される無線信号を受信する。次に、複数の受信信号のうち、最大の信号強度を有する無線信号を選択する。そして、選択した無線信号を画像に関連付けられた受信信号として保存する。カプセル型内視鏡2による撮像の終了後、受信装置4は被検体Hから取り外され、画像処理装置5と接続されたクレードル5aにセットされる。これにより、被検体Hは、画像処理装置5と通信可能な状態で接続され、画像データ及び信号強度を画像処理装置5に転送(ダウンロード)する。
 図2は、実施の形態1に係る画像処理装置を示すブロック図である。画像処理装置5は、画像処理装置5全体の動作を制御する制御部51と、カプセル型内視鏡2により撮像された被検体H内の画像群の画像データ及びアンテナ3の各アンテナが受信した信号の信号強度を取得するデータ取得部52と、外部からの操作に応じた信号を制御部51に入力する入力部53と、データ取得部52が取得した画像データに対して所定の画像処理を実行する演算部54と、データ取得部52によって取得された画像データや種々のプログラムを格納する記憶部55と、を備え、画像処理装置5に接続された表示装置6に、各種情報や画像を表示させる。
 制御部51は、CPU(Central Processing Unit)等のハードウェアによって実現され、記憶部55に記録された各種プログラムを読み込むことにより、データ取得部52から入力される画像データや入力部53から入力される信号等に従って、画像処理装置5を構成する各部への指示やデータの転送等を行い、画像処理装置5全体の動作を統括的に制御する。
 データ取得部52は、クレードル5aを介して、受信装置4が受信した画像データ及び信号強度を取得する。ただし、データ取得部52は、画像データ及び信号強度が保存されているサーバから画像データ及び信号強度を取得する構成であってもよい。
 入力部53は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部51に出力する。
 演算部54は、CPU等のハードウェアによって実現され、カプセル型内視鏡2の軌跡を算出する処理を行う。演算部54は、位置情報を算出する位置情報算出部54aと、代表画像を設定する代表画像設定部54bと、カプセル型内視鏡2の動きを判定する判定部54cと、判定部54cの判定結果に基づいて、位置情報算出部54aが算出した位置情報を補正してカプセル型内視鏡2の軌跡を算出する軌跡算出部54dと、を備える。
 位置情報算出部54aは、受信装置4から受信したアンテナ3の各アンテナにおける受信信号の信号強度からカプセル型内視鏡2の位置情報を画像群に含まれる画像ごとにそれぞれ算出する。
 代表画像設定部54bは、画像群を代表する代表画像を設定する。代表画像は、カプセル型内視鏡2が消化管内で大きく動いた際に撮像された画像である。代表画像設定部54bは、時系列順に並べられた画像群の前後の画像を比較して類似度を算出し、算出した類似度が所定の閾値より小さい場合にその画像を代表画像に設定する。なお、代表画像を設定するにあたり、画像の動きベクトルを用いたシーンチェンジ判定などの公知の技術を用いてもよい。
 判定部54cは、画像群に含まれる画像それぞれに対し、画像が撮像された際のカプセル型内視鏡2の動きを判定する。例えば、判定部54cは、代表画像に設定された画像をカプセル型内視鏡2が所定の動きをした画像であると判定する。なお、ここでいう所定の動きとは、カプセル型内視鏡2の動き量が所定の閾値よりも大きいことを意味する。代表画像は類似度が所定の閾値より小さい画像であるが、これはカプセル型内視鏡2の動きが大きいために撮像された画像も大きく変化し、類似度が小さくなるのである。従って、代表画像に設定された画像は、カプセル型内視鏡2の動き量が所定の閾値よりも大きいことを意味する。
 軌跡算出部54dは、判定部54cの判定結果に基づいて、位置情報算出部54aが算出した位置情報を補正することにより、カプセル型内視鏡2の軌跡を算出する。具体的には、軌跡算出部54dは、判定部54cによりカプセル型内視鏡2が所定の動きをしたと判定された画像である動き画像に関連づけられた位置情報を用いてカプセル型内視鏡2の軌跡を算出する。
 記憶部55は、更新記録可能なフラッシュメモリ等のROM(Read Only Memory)やRAM(Random Access Memory)といった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD-ROM等の情報記録装置及びその読取装置等によって実現される。記憶部55は、データ取得部52によって取得された消化管内画像の画像データ及び信号強度の他、画像処理装置5を動作させるとともに、種々の機能を画像処理装置5に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。また、記憶部55は、演算部54の各部が演算した結果を記憶する。
 表示装置6は、液晶や有機EL(Electro Luminescence)等の表示装置によって実現され、制御部51の制御の下で、消化管内画像を含む各種画面を表示する。
 次に、図2に示す画像処理装置5の動作について説明する。図3は、実施の形態1に係る画像処理装置の動作を示すフローチャートである。図4は、実施の形態1に係る画像処理装置の動作を説明するための図である。まず、画像処理装置5のデータ取得部52は、カプセル型内視鏡2が撮像した画像群IG(図4参照)の画像データと、アンテナ3の各アンテナが受信した信号強度とを取得する。図4に示すように、画像群IGには、画像I1~I10が含まれている。
 次に、代表画像設定部54bは、データ取得部52が取得した画像群IGを代表する代表画像を設定する(ステップS1)。具体的には、図4において、斜線(ハッチング)を施した画像I1、I2、I3、I4、I6が代表画像に設定された画像である。
 その後、判定部54cは、データ取得部52が取得した画像群IGに含まれる画像をそれぞれ撮像した際のカプセル型内視鏡2の動きを判定する(ステップS2)。具体的には、判定部54cは、代表画像に設定された画像I1、I2、I3、I4、I6をカプセル型内視鏡2が所定の動きをした画像(動き画像)であると判定する。
 ここで、ステップS1、S2と並行して、位置情報算出部54aは、データ取得部52が受信した受信信号の信号強度からカプセル型内視鏡2の位置情報を画像群IGに含まれる画像ごとにそれぞれ算出する(ステップS3)。具体的には、位置情報算出部54aは、図4に示すように、画像I1~I10に対応する位置情報P1~P10をそれぞれ算出する。
 そして、軌跡算出部54dは、判定部54cの判定結果に基づいて、位置情報算出部54aが算出した位置情報を補正することにより、カプセル型内視鏡2の軌跡を算出する(ステップS4)。具体的には、軌跡算出部54dは、図4に示すように、動き画像に関連づけられた位置情報P1、P2、P3、P4、P6を用いてカプセル型内視鏡2の軌跡を算出する。換言すると、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報P5、P7、P8、P9、P10を、カプセル型内視鏡2の軌跡の算出に用いない。
 図5は、軌跡を補正する様子を表す図である。図5は、カプセル型内視鏡2の大腸における軌跡であり、X方向が被検体Hの左右方向、Y方向が被検体Hの上下方向、Z方向が被検体Hの前後方向をそれぞれ表す。図5の(a)に示すように、位置情報算出部54aが算出した位置情報を全て用いてカプセル型内視鏡2の軌跡を描くと、実際のカプセル型内視鏡2の動きを表す線L1に対して誤差が大きい線L2になる。これは、被検体Hの脂肪等がアンテナ3により受信する無線信号に影響を与える場合があることや、被検体Hの姿勢変更によりカプセル型内視鏡2とアンテナ3との相対的な位置関係がずれる場合があること等に起因する。
 これに対して、図5の(b)に示すように、軌跡算出部54dが算出した軌跡である線L3は、線L1に対する誤差が低減されている。これは、代表画像に設定された画像に関連づけられた位置情報のみを用いて軌跡を描いているためである。代表画像は、上述の通り、時系列順の前後の画像を比較して差が大きい(類似度が低い)画像であるから、実際にカプセル型内視鏡2が動いたことが画像から確認された画像である。従って、代表画像に設定された画像に関連づけられた位置情報のみを用いて軌跡を描くことにより、実際にカプセル型内視鏡2が動いたことが確認された位置情報を抽出して軌跡を描くことができる。換言すると、代表画像に設定された画像に関連づけられた位置情報のみを用いて軌跡を描くことにより、実際にはカプセル型内視鏡2が動いていないのに、誤差により位置情報算出部54aが算出した位置情報が移動している画像を、軌跡の算出から排除することができる。
 以上説明したように、実施の形態1によれば、代表画像に設定された画像に関連づけられた位置情報のみを用いて軌跡を算出することにより、被検体内における撮像装置の軌跡を算出した際に生じる誤差を低減できる画像処理装置を実現することができる。
 なお、上述した実施の形態1において、アンテナ3は、アンテナシート上に複数のアンテナが配置されている構成を説明したがこれに限られない。図6は、アンテナの他の一例を表す図である。図6に示すように、被検体Hの体表には、それぞれ独立したリード型のアンテナであるアンテナ3Aが配置されている。各アンテナ3Aには、リード線3Bが接続され、受信装置4に電気的に接続される。
 また、上述した実施の形態1において、位置情報算出部54aは、画像群IGの全ての画像に関連付けられたカプセル型内視鏡2の位置情報を算出する構成を説明したがこれに限られない。図7は、画像処理装置の変形例を説明するための図である。図7に示すように、受信装置4は、アンテナ3を介して各画像I1~I10にそれぞれ対応する受信信号SIG1~SIG10を受信する。そして、位置情報算出部54aは、受信信号の信号強度から動き画像に関連づけられた位置情報を算出する。具体的には、位置情報算出部54aは、動き画像である画像I1、I2、I3、I4、I6の受信信号SIG1、SIG2、SIG3、SIG4、SIG6から、位置情報P1、P2、P3、P4、P6を算出する。そして、軌跡算出部54dは、位置情報算出部54aの算出結果に基づいて、動き画像に関連づけられた位置情報P1、P2、P3、P4、P6を用いてカプセル型内視鏡2の軌跡を算出する。
 また、上述した実施の形態1において、軌跡算出部54dが、動き画像ではない画像に関連づけられた位置情報を、カプセル型内視鏡2の軌跡の算出に用いない構成を説明したが、これに限られない。例えば、軌跡算出部54dは、動き画像に関連づけられた位置情報と、動き画像ではない画像に関連づけられた位置情報であって、その画像に対して時系列において前又は後の画像に関連づけられた位置情報からの変化量が所定量(予め設定された閾値)より小さい画像に関連づけられた位置情報と、をカプセル型内視鏡2の軌跡の算出に用いてもよい。位置情報の変化量が小さい画像は、大きな誤差を含まない画像であるから、この画像に関連づけられた位置情報をカプセル型内視鏡2の軌跡の算出に用いる構成としてもよい。
(変形例1-1)
 図8は、実施の形態1の変形例1-1に係る画像処理装置の動作を説明するための図である。図8に示すように、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報を、各画像に対して時系列において前側の最も近い、動き画像に関連づけられた位置情報に置換してカプセル型内視鏡2の軌跡を算出する。具体的には、位置情報P5を位置情報P4に、位置情報P7、P8、P9、P10を位置情報P6に、それぞれ置換する。その結果、変形例1-1によれば、カプセル型内視鏡2が動いたことが画像から確認された代表画像に関連づけられた位置情報のみを用いて軌跡を描くことができる。
 なお、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報を、各画像に対して時系列において後側の最も近い、動き画像に関連づけられた位置情報に置換してもよい。また、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報を、各画像に対して時系列における前後にかかわらず最も近い、動き画像に関連づけられた位置情報に置換してもよい。
(実施の形態2)
 図9は、実施の形態2に係る画像処理装置を示すブロック図である。図9に示すように、画像処理装置5Aの演算部54A以外の構成は、実施の形態1と同様であってよいので、適宜説明を省略する。
 画像処理装置5Aの演算部54Aは、カプセル型内視鏡2が撮像した画像群を複数のグループに分割するグループ設定部54Aeと、グループ設定部54Aeが設定したグループごとの動き画像の枚数と閾値とを比較する比較部54Afと、を備える。
 図10は、実施の形態2に係る画像処理装置の動作を示すフローチャートである。図11は、実施の形態2に係る画像処理装置の動作を説明するための図である。図10に示すように、ステップS3までは実施の形態1と同様の処理が行われる。
 その後、グループ設定部54Aeは、カプセル型内視鏡2が撮像した画像群IGを複数のグループに分割する(ステップS11)。具体的には、グループ設定部54Aeは、図11に示すように、画像群IGをグループG1及びG2に分割する。
 そして、比較部54Afは、グループ設定部54Aeが設定したグループごとの動き画像の枚数と閾値とを比較する(ステップS12)。具体的には、比較部54Afは、グループG1及びG2の動き画像の枚数と閾値とを比較する。閾値は予め定められた値であり、図11は、閾値を2枚とした時の例である。
 さらに、軌跡算出部54dは、比較部54Afが比較した結果、動き画像の枚数が閾値より小さいグループであるグループG2の位置情報を補正することにより、カプセル型内視鏡2の軌跡を算出する(ステップS4)。具体的には、軌跡算出部54dは、グループG2の位置情報として、グループG2内に含まれる画像に関連づけられた位置情報P6~P10を用いた統計的な演算を行うことにより、位置情報を補正してカプセル型内視鏡2の軌跡を算出する。軌跡算出部54dは、統計的な演算として、例えば位置情報P6~P10の平均値である位置情報PAを算出し、この位置情報PAを用いてカプセル型内視鏡2の軌跡を算出する。位置情報PAは、位置情報P6~P10の最頻値や中央値等であってもよい。
 以上説明したように、実施の形態2によれば、実際にカプセル型内視鏡2が動いたことが確認された代表画像が多いグループの位置情報を用いるとともに、代表画像が少ないグループの位置情報を補正することにより、被検体内における撮像装置の軌跡を算出した際に生じる誤差を低減できる画像処理装置を実現することができる。
(変形例2-1)
 図12は、実施の形態2の変形例2-1に係る画像処理装置の動作を説明するための図である。図12に示すように、グループ設定部54Aeは、画像群IGをグループG1及びG2に分割する。そして、比較部54Afは、グループG1及びG2内の動き画像の枚数と閾値とを比較する(図12は、閾値を2枚とした時の例である)。さらに、軌跡算出部54dは、比較部54Afが比較した結果、動き画像の枚数が閾値以上であるグループG1内に含まれる画像に関連づけられた位置情報P1~P5を用いてカプセル型内視鏡2の軌跡を算出する。換言すると、動き画像の枚数が所定の枚数より少ないグループG2の位置情報P6~P10を、カプセル型内視鏡2の軌跡の算出に用いない。
 変形例2-1によれば、実際にカプセル型内視鏡2が動いたことが画像から確認された代表画像が多いグループの位置情報のみを用いることにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
(変形例2-2)
 図13は、実施の形態2の変形例2-2に係る画像処理装置の動作を説明するための図である。図13に示すように、グループ設定部54Aeは、画像群IGをグループG1及びG2に分割する。そして、比較部54Afは、グループG1及びG2の動き画像の枚数と閾値(2枚)とを比較する。さらに、軌跡算出部54dは、比較部54Afが比較した結果、動き画像の枚数が閾値より少ないグループであるグループG2内において、動き画像ではない画像I7、I8、I9、I10に関連づけられた位置情報P7、P8、P9、P10を、これらの画像に対して時系列において前側の最も近い、グループG2内に含まれる動き画像である画像I6に関連づけられた位置情報P6に置換してカプセル型内視鏡2の軌跡を算出する。
 変形例2-2によれば、実際にカプセル型内視鏡2が動いたことが確認された代表画像が多いグループ内に含まれる位置情報を用いるとともに、代表画像が少ないグループ内の位置情報を代表画像に関連づけられた位置情報に補正することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
 なお、軌跡算出部54dは、比較部54Afが比較した結果、動き画像の枚数が閾値より少ないグループ内において、動き画像ではない画像に関連づけられた位置情報を、これらの画像に対して時系列において後側の最も近い、グループ内に含まれる動き画像に関連づけられた位置情報に置換してもよい。また、軌跡算出部54dは、比較部54Afが比較した結果、動き画像の枚数が閾値より少ないグループ内において、動き画像ではない画像に関連づけられた位置情報を、これらの画像に対して時系列における前後にかかわらず最も近い、グループ内に含まれる動き画像に関連づけられた位置情報に置換してもよい。
(実施の形態3)
 図14は、実施の形態3に係る画像処理装置を示すブロック図である。図14に示すように、画像処理装置5Bの演算部54B以外の構成は、実施の形態1と同様であってよいので、適宜説明を省略する。
 画像処理装置5Bの演算部54Bは、動き画像ではない画像を、その画像に対して時系列において前側の最も近い、動き画像と同じグループ内に含めるグループ設定部54Beを備える。
 図15は、実施の形態3に係る画像処理装置の動作を示すフローチャートである。図16は、実施の形態3に係る画像処理装置の動作を説明するための図である。図15に示すように、ステップS3までは実施の形態1と同様の処理が行われる。
 その後、グループ設定部54Beは、カプセル型内視鏡2が撮像した画像群IGを複数のグループに分割する(ステップS11)。具体的には、グループ設定部54Beは、図16に示すように、画像群IGにおいて、動き画像ではない画像I5、I7、I8、I9、I10を、これらの画像に対して時系列において前側の最も近い、動き画像と同じグループ内に含める。具体的には、動き画像である画像I1、I2、I3は、それぞれグループGA1、GA2、GA3とする。動き画像ではない画像I5は、画像I5より時系列において前の動き画像である画像I4と同じグループGA4内に含める。同様に、動き画像ではない画像I7、I8、I9、I10は、これらの画像より時系列において前の動き画像である画像I6と同じグループGA5内に含める。
 そして、軌跡算出部54dは、グループ設定部54Beが設定したグループごとに位置情報を補正することにより、カプセル型内視鏡2の軌跡を算出する(ステップS4)。具体的には、軌跡算出部54dは、複数の画像が含まれるグループGA4及びGA5の位置情報として、各グループ内に含まれる画像に関連づけられた位置情報を用いた統計的な演算を行うことにより、位置情報を補正してカプセル型内視鏡2の軌跡を算出する。軌跡算出部54dは、統計的な演算として、例えば位置情報P4、P5の平均値である位置情報PA1及び位置情報P6~P10の平均値である位置情報PA2を算出し、この位置情報PA1、PA2を用いてカプセル型内視鏡2の軌跡を算出する。
 以上説明したように、実施の形態3によれば、実際にカプセル型内視鏡2が動いたことが確認された代表画像ごとにグループを分割し、グループごとに位置情報を補正することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
 なお、画像処理装置5Bの演算部54Bは、動き画像ではない画像を、その画像に対して時系列において後側の最も近い、動き画像と同じグループ内に含める構成にしてもよい。また、画像処理装置5Bの演算部54Bは、動き画像ではない画像を、その画像に対して時系列における前後にかかわらず最も近い、動き画像と同じグループに含める構成にしてもよい。
(変形例3-1)
 図17は、実施の形態3の変形例3-1に係る画像処理装置の動作を説明するための図である。図17に示すように、グループ設定部54Beは、画像群IGをグループGA1~GA5に分割する。そして、軌跡算出部54dは、動き画像に関連づけられた位置情報P1、P2、P3、P4、P6を用いてカプセル型内視鏡2の軌跡を算出する。換言すると、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報P5、P7、P8、P9、P10を、カプセル型内視鏡2の軌跡の算出に用いない。
 変形例3-1によれば、実際にカプセル型内視鏡2が動いたことが確認された代表画像に関連づけられた位置情報のみを用いて軌跡を算出することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
(変形例3-2)
 図18は、実施の形態3の変形例3-2に係る画像処理装置の動作を説明するための図である。図18に示すように、グループ設定部54Beは、画像群IGをグループGA1~GA5に分割する。そして、軌跡算出部54dは、グループ内に含まれる全ての画像の位置情報をグループ内に含まれる動き画像に関連づけられた位置情報に置換する。具体的には、グループGA4内に含まれる画像I4、I5に関連づけられた位置情報を動き画像である画像I4に関連づけられた位置情報P4に置換する。さらに、グループGA5内に含まれる画像I6~I10に関連づけられた位置情報を、動き画像である画像I6に関連づけられた位置情報P6に置換する。
 変形例3-2によれば、実際にカプセル型内視鏡2が動いたことが確認された代表画像に関連づけられた位置情報のみを用いて軌跡を算出することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
(変形例3-3)
 図19は、実施の形態3の変形例3-3に係る画像処理装置の動作を説明するための図である。変形例3-3において、記憶部55は、カプセル型内視鏡2の動きが大きいことが既知である部位を記憶している。例えば、記憶部55は、カプセル型内視鏡2の動きが大きくなる部位として既知である、十二指腸を記憶している。グループ設定部54Beは、画像群IGを胃で撮像された画像I1~I5と、十二指腸で撮像された画像I6~I10との2つのグループに分割する。なお、各画像がどの部位で撮像されたかは、ユーザの入力によって判断してもよいし、画像群IGに対する所定の画像処理によって判断してもよい。
 判定部54cは、記憶部55が記憶しているカプセル型内視鏡2の動きが大きい部位(十二指腸)で撮像された画像I6~I10をカプセル型内視鏡2が所定の動きをした画像であると判定する。軌跡算出部54dは、判定部54cによりカプセル型内視鏡2が所定の動きをしたと判定された画像(動き画像)である画像I6~I10に関連づけられた位置情報P6~P10のみを用いて軌跡を算出する。
 変形例3-3によれば、カプセル型内視鏡2の動きが大きいと予めわかっている部位において撮像された画像を抽出して軌跡を算出することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
 なお、十二指腸の他に、横行結腸もカプセル型内視鏡2の動きが大きいことが既知である部位であるため、同様の処理を行うことができる。
(実施の形態4)
 図20は、実施の形態4に係る画像処理装置を示すブロック図である。図20に示すように、画像処理装置5Cの演算部54C以外の構成は、実施の形態1と同様であってよいので、適宜説明を省略する。ただし、カプセル型内視鏡2は、フレームレート制御手段を備え、カプセル型内視鏡2の動きが大きいと撮像のフレームレートが上がり、カプセル型内視鏡2の動きが小さいと撮像のフレームレートが下がる構成である。
 画像処理装置5Cの演算部54Cは、画像をそれぞれ撮像した際のフレームレートを取得する撮像情報取得部54Cbを有する。そして、判定部54cは、撮像情報取得部54Cbが取得した撮像時のフレームレートが所定のフレーム数よりも大きい時に撮像した画像番号に対応する画像をカプセル型内視鏡2が所定の動きをした画像であると判定する。なお、ここでいう所定の動きとは、カプセル型内視鏡2の動き量が所定の閾値よりも大きいことを意味する。
 図21は、実施の形態4に係る画像処理装置の動作を示すフローチャートである。図22は、実施の形態4に係る画像処理装置の動作を説明するための図である。まず、画像処理装置5のデータ取得部52は、カプセル型内視鏡2が撮像した画像群IGC(図22参照)の画像データ及び信号強度を取得する。図22に示すように、画像群IGCには、画像IC1~IC10が含まれている。
 はじめに、撮像情報取得部54Cbは、画像群IGCの各画像をそれぞれ撮像した際のフレームレートを取得する(ステップS21)。
 その後、判定部54cは、データ取得部52が取得した画像群IGCに含まれる画像をそれぞれ撮像した際のカプセル型内視鏡2の動きを判定する(ステップS2)。判定部54cは、撮像情報取得部54Cbが取得した撮像時のフレームレートが所定のフレーム数よりも大きい画像をカプセル型内視鏡2が所定の動きをした画像であると判定する。具体的には、判定部54cは、図22において、斜線(ハッチング)を施した画像IC1、IC2、IC3、IC4、IC6をカプセル型内視鏡2が所定の動きをした画像であると判定する。
 ここで、実施の形態1と同様に、ステップS1、S2と並行して、ステップS3の処理が行われる。
 そして、軌跡算出部54dは、判定部54cの判定結果に基づいて、位置情報算出部54aが算出した位置情報を補正することにより、カプセル型内視鏡2の軌跡を算出する(ステップS4)。具体的には、軌跡算出部54dは、図22に示すように、判定部54cによりカプセル型内視鏡2が所定の動きをしたと判定された画像である動き画像に関連づけられた位置情報PC1、PC2、PC3、PC4、PC6を用いてカプセル型内視鏡2の軌跡を算出する。換言すると、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報PC5、PC7、PC8、PC9、PC10を、カプセル型内視鏡2の軌跡の算出に用いない。
 以上説明したように、実施の形態4によれば、誤差の影響を受けやすいカプセル型内視鏡2の動きが小さい画像に関連づけられた位置情報を用いずに軌跡を算出することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
 なお、実施の形態1~3の各実施の形態及び各変形例において、動き画像を代表画像から撮像情報取得部54Cbが取得した撮像時のフレームレートが所定のフレーム数より大きい画像に置き換えることができる。
 また、上述した実施の形態4において、判定部54cが、撮像情報取得部54Cbが取得した撮像時のフレームレートが所定のフレーム数よりも大きい画像をカプセル型内視鏡2が所定の動きをした画像であると判定する構成を説明したが、これに限られない。判定部54cは、単位時間当たりの撮像枚数や、撮像間隔等に基づいて、カプセル型内視鏡2が所定の動きをした画像であると判定してもよい。
(実施の形態5)
 図23は、実施の形態5に係る画像処理装置を示すブロック図である。図23に示すように、画像処理装置5Dの演算部54D以外の構成は、実施の形態1と同様であってよいので、適宜説明を省略する。ただし、カプセル型内視鏡2は、加速度センサを備える構成である。
 画像処理装置5Dの演算部54Dは、カプセル型内視鏡2の動きを検知する検知部54Dbを有する。そして、判定部54cは、検知部54Dbが検知した撮像時のカプセル型内視鏡2の動きに関する指標が所定の値よりも大きい画像をカプセル型内視鏡2が所定の動きをした画像であると判定する。なお、ここでいう所定の動きとは、カプセル型内視鏡2の動き量が所定の閾値よりも大きいことを意味する。ここで、カプセル型内視鏡2の動きに関する指標は、カプセル型内視鏡2の加速度センサで検知されたカプセル型内視鏡2の加速度である。
 図24は、実施の形態5に係る画像処理装置の動作を示すフローチャートである。図25は、実施の形態5に係る画像処理装置の動作を説明するための図である。まず、画像処理装置5Dのデータ取得部52は、カプセル型内視鏡2が撮像した画像群IGD(図25参照)の画像データ及び信号強度を取得する。図25に示すように、画像群IGDには、画像ID1~ID10が含まれている。
 はじめに、検知部54Dbは、カプセル型内視鏡2の動きを検知した結果を取得する(ステップS31)。例えば、検知部54Dbは、カプセル型内視鏡2の加速度センサから加速度情報を取得する。
 その後、判定部54cは、データ取得部52が取得した画像群IGDに含まれる画像をそれぞれ撮像した際のカプセル型内視鏡2の動きを判定する(ステップS2)。判定部54cは、検知部54Dbが検知した撮像時のカプセル型内視鏡2の加速度が所定の値よりも大きい画像をカプセル型内視鏡2が所定の動きをした画像であると判定する。具体的には、判定部54cは、図25において、斜線(ハッチング)を施した画像ID1、ID2、ID3、ID4、ID6をカプセル型内視鏡2が所定の動きをした画像であると判定する。
 ここで、実施の形態1と同様に、ステップS1、S2と並行して、ステップS3の処理が行われる。
 そして、軌跡算出部54dは、判定部54cの判定結果に基づいて、位置情報算出部54aが算出した位置情報を補正することにより、カプセル型内視鏡2の軌跡を算出する(ステップS4)。具体的には、軌跡算出部54dは、図25に示すように、判定部54cによりカプセル型内視鏡2が所定の動きをしたと判定された画像である動き画像に関連づけられた位置情報PD1、PD2、PD3、PD4、PD6を用いてカプセル型内視鏡2の軌跡を算出する。換言すると、軌跡算出部54dは、動き画像ではない画像に関連づけられた位置情報PD5、PD7、PD8、PD9、PD10を、カプセル型内視鏡2の軌跡の算出に用いない。
 以上説明したように、実施の形態5によれば、誤差の影響を受けやすいカプセル型内視鏡2の動きが小さい画像の位置情報を補正して軌跡を算出することにより、被検体内に導入された撮像装置の軌跡の誤差を低減することができる画像処理装置を実現することができる。
 なお、実施の形態1~3の各実施の形態及び各変形例において、動き画像を代表画像から検知部54Dbが検知した撮像時のカプセル型内視鏡2の動きが大きい画像に置き換えることができる。
 さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
 1 カプセル型内視鏡システム
 2 カプセル型内視鏡
 3、3A アンテナ
 3B リード線
 4 受信装置
 5、5A、5B、5C、5D 画像処理装置
 5a クレードル
 6 表示装置
 51 制御部
 52 データ取得部
 53 入力部
 54、54A、54B、54C、54D 演算部
 54a 位置情報算出部
 54b 代表画像設定部
 54c 判定部
 54d 軌跡算出部
 54Ae、54Be グループ設定部
 54Af 比較部
 54Cb 撮像情報取得部
 54Db 検知部
 55 記憶部
 H 被検体

Claims (19)

  1.  被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置であって、
     前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定部と、
     前記判定部により前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出部と、
     を備えることを特徴とする画像処理装置。
  2.  前記画像群を代表する代表画像を設定する代表画像設定部を備え、
     前記判定部は、前記代表画像に設定された前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする請求項1に記載の画像処理装置。
  3.  前記画像をそれぞれ撮像した際のフレームレートを取得する撮像情報取得部を備え、
     前記判定部は、前記撮像情報取得部が取得した撮像時のフレームレートが所定のフレーム数よりも大きい前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする請求項1に記載の画像処理装置。
  4.  前記撮像装置の動きを検知する検知部を備え、
     前記判定部は、前記検知部が検知した撮像時の前記撮像装置の動きに関する指標が所定の値よりも大きい前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする請求項1に記載の画像処理装置。
  5.  前記画像群に含まれる前記画像ごとに、前記信号強度に基づいて前記撮像装置の位置情報を算出する位置情報算出部を備え、
     前記軌跡算出部は、前記判定部の判定結果に基づいて、前記位置情報を補正することにより、前記撮像装置の軌跡を算出することを特徴とする請求項1~4のいずれか1つに記載の画像処理装置。
  6.  前記軌跡算出部は、前記動き画像に関連付けられた前記位置情報を用いて前記撮像装置の軌跡を算出する、又は、前記動き画像ではない前記画像に関連付けられた前記位置情報を、前記画像に対して時系列において最も近い、前記動き画像に関連付けられた前記位置情報に置換して前記撮像装置の軌跡を算出することを特徴とする請求項5に記載の画像処理装置。
  7.  前記画像群を複数のグループに分割するグループ設定部と、
     前記グループ設定部が設定した前記グループごとの前記動き画像の枚数と閾値とを比較する比較部と、を備え、
     前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値より少ない前記グループにおいて、前記位置情報を補正することにより、前記撮像装置の軌跡を算出することを特徴とする請求項5に記載の画像処理装置。
  8.  前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値より少ない前記グループ内に含まれる前記画像に関連付けられた前記位置情報を用いた統計的な演算を行うことにより、前記位置情報を補正して前記撮像装置の軌跡を算出することを特徴とする請求項7に記載の画像処理装置。
  9.  前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値以上である前記グループ内に含まれる前記画像に関連付けられた前記位置情報を用いて前記撮像装置の軌跡を算出することを特徴とする請求項7に記載の画像処理装置。
  10.  前記軌跡算出部は、前記比較部が比較した結果、前記動き画像の枚数が前記閾値より少ない前記グループ内において、前記動き画像ではない前記画像に関連付けられた前記位置情報を、前記画像に対して時系列において最も近い、前記グループ内に含まれる前記動き画像に関連付けられた前記位置情報に置換して前記撮像装置の軌跡を算出することを特徴とする請求項7に記載の画像処理装置。
  11.  前記動き画像ではない前記画像を、前記画像に対して時系列において最も近い、前記動き画像と同じグループ内に含めるグループ設定部を備え、
     前記軌跡算出部は、前記グループ設定部が設定したグループごとに前記位置情報を補正することにより、前記撮像装置の軌跡を算出することを特徴とする請求項5に記載の画像処理装置。
  12.  前記軌跡算出部は、前記グループ内に含まれる前記画像に関連付けられた前記位置情報を用いた統計的な演算を行うことにより、前記位置情報を補正して前記撮像装置の軌跡を算出することを特徴とする請求項11に記載の画像処理装置。
  13.  前記軌跡算出部は、前記動き画像に関連付けられた前記位置情報を用いて前記撮像装置の軌跡を算出する、又は、前記グループ内に含まれる全ての前記画像に関連付けられた前記位置情報を、前記グループ内に含まれる前記動き画像に関連付けられた前記位置情報に置換して前記撮像装置の軌跡を算出することを特徴とする請求項11に記載の画像処理装置。
  14.  前記動き画像毎に、前記信号強度に基づいて前記動き画像に関連付けられた前記位置情報を算出する位置情報算出部を備え、
     前記軌跡算出部は、前記位置情報算出部の算出結果に基づいて、前記撮像装置の軌跡を算出することを特徴とする請求項1~4のいずれか1つに記載の画像処理装置。
  15.  前記撮像装置の動きが大きいことが既知である部位を記憶している記憶部を備え、
     前記判定部は、前記記憶部が記憶している前記撮像装置の動きが大きいことが既知である部位で撮像された前記画像を前記撮像装置が所定の動きをした前記画像であると判定することを特徴とする請求項1に記載の画像処理装置。
  16.  前記軌跡算出部は、前記動き画像に関連付けられた前記位置情報と、前記動き画像ではない前記画像に関連付けられた前記位置情報であって、前記動き画像ではない前記画像に対して時系列において前又は後の前記画像に関連付けられた前記位置情報からの変化量が所定量より小さい前記画像に関連付けられた前記位置情報と、を前記撮像装置の軌跡の算出に用いることを特徴とする請求項5に記載の画像処理装置。
  17.  請求項1~16のいずれか1つに記載の画像処理装置と、
     被検体内に導入されて被検体内の前記画像を撮像するとともに、前記信号を発生する撮像装置と、
     前記画像処理装置が出力した前記撮像装置の軌跡を表示する表示装置と、
     を備えることを特徴とするカプセル型内視鏡システム。
  18.  被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置の作動方法であって、
     判定部が、前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定ステップと、
     軌跡算出部が、前記判定ステップにより前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出ステップと、
     を含むことを特徴とする画像処理装置の作動方法。
  19.  被検体内に導入された撮像装置によって撮像された画像群と、前記撮像装置が発生した信号をアンテナが受信した際の信号強度と、を取得する画像処理装置の作動プログラムであって、
     前記画像群に含まれる画像それぞれに対し、前記画像が撮像された際の前記撮像装置の動きを判定する判定ステップと、
     前記判定ステップにより前記撮像装置が所定の動きをしたと判定された前記画像である動き画像に関連付けられた前記信号強度を用いて前記撮像装置の軌跡を算出する軌跡算出ステップと、
     を画像処理装置に実行させることを特徴とする画像処理装置の作動プログラム。
PCT/JP2017/013120 2016-08-02 2017-03-29 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム WO2018025444A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018503683A JP6333494B1 (ja) 2016-08-02 2017-03-29 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016152252 2016-08-02
JP2016-152252 2016-08-02

Publications (1)

Publication Number Publication Date
WO2018025444A1 true WO2018025444A1 (ja) 2018-02-08

Family

ID=61073051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013120 WO2018025444A1 (ja) 2016-08-02 2017-03-29 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Country Status (2)

Country Link
JP (1) JP6333494B1 (ja)
WO (1) WO2018025444A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121380A1 (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006187611A (ja) * 2004-12-30 2006-07-20 Given Imaging Ltd 生体内信号源の位置を特定する装置、システム、および方法
JP2007195586A (ja) * 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
JP2009195343A (ja) * 2008-02-19 2009-09-03 Olympus Corp 画像処理装置および画像処理プログラム
WO2012117816A1 (ja) * 2011-03-02 2012-09-07 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡の位置検出装置、カプセル型内視鏡システムおよびカプセル型内視鏡の位置決定プログラム
WO2016110993A1 (ja) * 2015-01-09 2016-07-14 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006187611A (ja) * 2004-12-30 2006-07-20 Given Imaging Ltd 生体内信号源の位置を特定する装置、システム、および方法
JP2007195586A (ja) * 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
JP2009195343A (ja) * 2008-02-19 2009-09-03 Olympus Corp 画像処理装置および画像処理プログラム
WO2012117816A1 (ja) * 2011-03-02 2012-09-07 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡の位置検出装置、カプセル型内視鏡システムおよびカプセル型内視鏡の位置決定プログラム
WO2016110993A1 (ja) * 2015-01-09 2016-07-14 オリンパス株式会社 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121380A1 (ja) * 2018-12-10 2020-06-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JPWO2020121380A1 (ja) * 2018-12-10 2021-10-28 オリンパス株式会社 画像処理装置、消化管の形状モデルの生成方法、及び画像処理装置の作動プログラム

Also Published As

Publication number Publication date
JPWO2018025444A1 (ja) 2018-08-02
JP6333494B1 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6557768B2 (ja) 追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システム
WO2013005316A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2016046666A (ja) 撮像装置およびその制御方法、並びにプログラム
WO2015115073A1 (en) Endoscopic system, image processing device, image processing method, and program
EP3053510A1 (en) Data reception device, capsule endoscope system, data reception method, and program
US8566052B2 (en) Probe shape detection apparatus and probe shape detection method
US20220116540A1 (en) Image stabilization method and apparatus, terminal and storage medium
US20210004961A1 (en) Image processing apparatus, capsule endoscope system, method of operating image processing apparatus, and computer-readable storage medium
JP2013036846A (ja) 撮像装置及びプログラム
CN106922121A (zh) 胶囊内窥镜系统、胶囊内窥镜、胶囊内窥镜的无线通信方法和程序
CN107754310B (zh) 手持式装置以及其定位方法
JP2011191515A (ja) 画像表示装置、および画像表示制御方法、並びにプログラム
JP5977907B1 (ja) カプセル型内視鏡及びカプセル型内視鏡システム
JP2007281555A (ja) 撮像装置
CN110897595A (zh) 运动检测方法、帧率调节方法、胶囊式内窥镜、记录仪及系统
JP6333494B1 (ja) 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
US10932648B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2006285789A (ja) 画像処理方法、画像処理装置
US20160006938A1 (en) Electronic apparatus, processing method and storage medium
JP2017073758A5 (ja)
JP2012084973A (ja) デジタルカメラ
EP4075786A1 (en) Image processing device, system, image processing method and image processing program
JP7100505B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP4868965B2 (ja) 画像表示装置
US20210290047A1 (en) Image processing apparatus, method of operating image processing apparatus, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018503683

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836551

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17836551

Country of ref document: EP

Kind code of ref document: A1