WO2009087816A1 - シーン変化検出装置およびシーン変化検出プログラム - Google Patents

シーン変化検出装置およびシーン変化検出プログラム Download PDF

Info

Publication number
WO2009087816A1
WO2009087816A1 PCT/JP2008/070784 JP2008070784W WO2009087816A1 WO 2009087816 A1 WO2009087816 A1 WO 2009087816A1 JP 2008070784 W JP2008070784 W JP 2008070784W WO 2009087816 A1 WO2009087816 A1 WO 2009087816A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
change
feature
region
images
Prior art date
Application number
PCT/JP2008/070784
Other languages
English (en)
French (fr)
Inventor
Hiroshi Matsuzaki
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP08870182.6A priority Critical patent/EP2233062B1/en
Priority to CN2008801244701A priority patent/CN101909511B/zh
Publication of WO2009087816A1 publication Critical patent/WO2009087816A1/ja
Priority to US12/833,530 priority patent/US20100277650A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to a scene change detection apparatus and a scene change detection program for detecting a scene change image at a position where a scene changes in a continuously captured image sequence or a frame image sequence of moving images.
  • a moving image is composed of an enormous number of continuous image sequences, and it is a useful technical field to generate a summary image sequence by detecting useful images from these continuous image sequences.
  • in-subject images taken with a capsule endoscope are taken approximately every 0.5 seconds from when the capsule endoscope is swallowed through the mouth and discharged out of the body, and about 60000 images are consecutive. It becomes an image sequence.
  • These images are taken sequentially in the digester, and diagnosis is performed by displaying the images on a workstation or the like and observing them.
  • sequentially observing all of a large amount of images of about 60000 sheets takes one hour or more, and a proposal of a method for efficiently observing is desired.
  • the threshold value can be selected and set as shown in Patent Document 1, the user tries to obtain a desired summary image sequence while repeating the change setting of the threshold by trial and error. Nevertheless, it is not easy to obtain an appropriate scene change image sequence that captures the characteristics of an image that the user wants to detect by processing using a certain threshold.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a scene change detection device and a scene change detection program capable of detecting a scene change image according to image characteristics from a continuous image sequence. To do.
  • a scene change detection device detects a scene change image based on a change amount between a plurality of images from a continuous image sequence.
  • a feature region extracting means for extracting a feature region from an image in the image sequence, and setting a detection condition for an inter-image change based on the extracted feature amount of the feature region, and calculating an inter-image change amount.
  • detecting means for detecting a change between a plurality of images.
  • the scene change detection program is a scene change detection program for causing a computer to execute a procedure of detecting a scene change image based on a change amount between a plurality of images from a continuous image sequence, A feature region extraction procedure for extracting a feature region from a target image in the image sequence on a computer, and a detection condition for an inter-image change based on the extracted feature amount of the feature region, and an inter-image change amount And a detection procedure for detecting a change between a plurality of images.
  • the scene change detection device and the scene change detection program according to the present invention it is possible to detect an inter-image change based on a detection condition of an inter-image change in consideration of the feature amount of the feature region. Therefore, there is an effect that it is possible to detect a scene change image according to the feature of the image that the user pays attention to from the continuous image sequence.
  • FIG. 1 is a functional block diagram showing the configuration of the scene change detection apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a schematic flowchart illustrating a scene change detection processing procedure according to the first embodiment.
  • FIG. 3 is a schematic flowchart showing a more detailed processing example of steps S105 and S106 in FIG.
  • FIG. 4 is a schematic explanatory diagram showing, for example, three images extracted from a continuous image sequence in time-series order.
  • FIG. 5 shows the change between images when the region feature is not considered as in the conventional case and the change between images when the region feature is considered as in the first embodiment. It is a schematic diagram which shows a difference.
  • FIG. 6 is a schematic diagram illustrating an example of an image sequence in which a scene change image is detected.
  • FIG. 7 is a schematic flowchart showing a processing example of the second embodiment of the present invention.
  • FIG. 8 is a configuration diagram schematically illustrating a capsule endoscope system including the scene change detection device of the embodiment as
  • FIG. 1 is a functional block diagram showing the configuration of the scene change detection apparatus according to the first embodiment of the present invention.
  • a scene change detection apparatus 1 shown in FIG. 1 is realized by a computer including hardware such as a CPU, a ROM, and a RAM, and includes a control unit 2, a storage unit 3, a display unit 4, and an input unit 5.
  • the control unit 2 generally has a calculation function and a control function.
  • the storage unit 3 stores image information of an image sequence that is continuous in time series like a moving image, and includes a database or the like.
  • the display unit 4 includes an LCD, an ELD, a CRT, and the like, and is used to display various types of information including images of scene change image sequences (summary image sequences) as processing results on a display screen.
  • the input unit 5 includes a keyboard, a mouse, a pointer, and the like, and is used to perform various information input operations and instruction operations in order to perform processing on images.
  • the control unit 2 includes an image reading unit 21, a feature region extraction unit 22, and a detection unit 23.
  • the image reading unit 21 is for reading an image in a continuous image sequence stored in the storage unit 3.
  • the feature region extraction unit 22 extracts at least one feature region from the images sequentially read by the image reading unit 21 by using an existing feature region extraction technique. As a result, the entire target image is extracted. It is for dividing into a plurality of regions.
  • the feature region extraction of the present embodiment is a concept including feature region recognition.
  • the feature area can be recognized by performing a process such as setting the importance according to the feature in each divided area by dividing the entire area of the target image and associating it with the importance. it can.
  • the feature region means, for example, a portion indicating the feature of the image or a desired object for each image, but includes a case where the entire image is a feature region.
  • the detection unit 23 detects a change between a plurality of images by setting an inter-image change detection condition based on the feature amount of the feature region extracted by the feature region extraction unit 22 and calculating an inter-image change amount. Is for.
  • the detection unit 23 includes an image change detection unit 231, an integrated change amount calculation unit 232, and a scene change image detection unit 233.
  • the image change detection unit 231 includes each region of the entire image of the target image (between the extracted feature region, a region excluding this feature region, and a comparison image generated as the feature region moves relative to the image to be compared. For calculating the amount of change between images with respect to images to be compared.
  • the integrated change amount calculation unit 232 sets the detection condition for the change between images based on the feature amount of the extracted feature area, and then corrects the area according to the detection condition for the change between images. By calculating the inter-image change amount and accumulating the calculation results, a statistical value is calculated as the inter-image change amount for the entire image.
  • the integrated change amount calculation unit 232 performs inter-image weighting so as to weight the inter-image change of each region in the entire image of the target image based on the feature amount of the feature region extracted by the feature region extraction unit 22. Set the change detection conditions. Thus, the image change amount for each region is changed relative to the threshold value for determining the image change based on the feature amount of the feature region. Further, the scene change image detection unit 233 compares the statistical value of the inter-image change amount calculated by the integrated change amount calculation unit 232 with a predetermined threshold value for determining the image change, thereby exceeding the threshold value. Is to detect an image having a scene change image (summary image). The scene change image detection unit 233 generates a scene change image sequence from the detected scene change image (summary image), and provides the scene change image sequence for display in time series on the display screen of the display unit 4.
  • the CPU included in the computer that is the scene change detection device 1 having the above-described units in the control unit 2 stores the scene change detection program for executing the scene change detection process according to the first embodiment from the ROM in the computer to the RAM. By reading, the calculation process related to the scene change detection process is executed.
  • the scene change detection program according to the first embodiment can be widely distributed by being recorded on a computer-readable recording medium such as a flexible disk, a CD-ROM, a DVD-ROM, and a flash memory. Therefore, the scene change detection apparatus according to the first embodiment may be configured to include an auxiliary storage device that can read any of the various recording media described above.
  • FIG. 2 is a schematic flowchart showing a scene change detection processing procedure according to the first embodiment.
  • the image reading unit 21 acquires information such as the total number n of images constituting the continuous image sequence, the image size, and the like from the storage unit 3, and sequentially reads the images (step S101).
  • a variable k relating to the number of images for specifying an image to be processed is set to the first 1 (step S102).
  • the feature region extraction unit 22 extracts the feature region from the image (k) using the kth image (k) as a processing target image (step S103).
  • the entire image (k) has an area portion other than the feature area, and is at least divided into a plurality of areas.
  • the region portion other than the extracted feature region can be treated as a feature region when setting the detection condition, and the entire image is divided into regions, and each divided region is treated as a feature region. It is also possible to apply ideas.
  • the image change detection unit 231 moves each feature region with respect to each region (extracted feature region, a region excluding this feature region, and an image to be compared as described later) of the entire image of the target image (k).
  • An inter-image change amount for the image to be compared is calculated (including a common area and a shift area between the image to be compared and the accompanying image) (step S104).
  • the integrated change amount calculation unit 232 sets an inter-image change detection condition based on the extracted feature amount of the feature region, and then, according to the inter-image change detection condition, corrects the inter-image correction for each region.
  • a statistical value (integrated change amount) is calculated as an inter-image change amount in the entire image (step S105).
  • the calculated statistical value is associated as an image change amount of the image (k) (step S106).
  • step S109 A scene change image sequence composed of the detected scene change images is output to the display unit 4 (step S110).
  • m is the number of regions into which each image is divided based on the feature region extraction, and the variable is denoted by i.
  • the variable i is set to 1 (step S201).
  • the integrated change amount calculation unit 232 sets the weight coefficient (i) of the region (i) based on the feature amount of the feature region extracted for the image (step S202). That is, for the region (i), the inter-image change detection condition is set so that the inter-image change in the region (i) is weighted based on the feature amount of the feature region.
  • the image change detection unit 231 calculates the image change amount (i) of the region (i) with respect to the image to be compared (step S203). Further, the integrated change amount calculation unit 232 calculates the weighted image change amount (i) of the region (i) by multiplying the calculated image change amount (i) by the weight coefficient (i) ( In step S204, the calculated weighted image change amount (i) is integrated by accumulating (step S205). Such a process is repeated in the same manner while incrementing by +1 until the variable i reaches the total number of areas m (steps S206 and S207).
  • the entire image is divided into the feature region Ea and the other region Ed.
  • the region Ed can also be considered as one feature region.
  • the feature area Eb extracted in the image B to be processed is the position of the feature area Ea on the image A to be compared, and the original position on the image B is the feature area Ea. Shown as'.
  • a common area Eab and shift areas Eaa and Ebb related to the characteristic area with the image A to be compared are generated.
  • the area Ed also changes to an area Ed ′ that is not included in both the characteristic areas Ea and Eb as the characteristic area moves.
  • these areas Eaa, Eab, Ebb, Ed ′ are handled as respective areas of the entire image.
  • the common region Eab is considered to have the highest importance as the feature amount of each region. Therefore, a high weight is set for the common area Eab with respect to the inter-image change amount.
  • the shift area Eaa in which the common area Eab is excluded from the feature area Ea ′ and the shift area Ebb in which the common area Eab is excluded from the feature area Eb are considered to be lower than the importance of the feature amount of the common area Eab. Therefore, for the shift areas Eaa and Ebb, the amount of change between images is calculated after subtracting a corresponding weight coefficient value. Further, it is considered that the area Ed ′ that is not included in the feature area before and after the movement of the feature area is further less important.
  • the weight coefficient value is further reduced and the inter-image change amount is calculated. That is, according to the importance for each of these areas Eab, Eaa, Ebb, Ed ′, weighting is performed by multiplying the change between images for the image A for each of these areas Eab, Eaa, Ebb, Ed ′ by a different weighting factor. In this way, the detection condition for the change between images is set.
  • An integrated inter-image variation amount for the entire image can be calculated by accumulating the weighted inter-image variation amounts of the regions Eab, Eaa, Ebb, Ed ′ and calculating a statistical value. It is. That is, for each region in the entire image area, the overall value of the inter-image change amount in consideration of the importance is set as the inter-image change amount of this image B.
  • the inter-image change amount calculated in this way is the inter-image change amount corrected based on the feature amount of the extracted feature region.
  • the above relationship of importance may be set in reverse.
  • the common area is treated as the least important area.
  • FIG. 5 shows the change between images in the case where no region feature is considered as in the past for five consecutive images A to E, and the image in the case where the region feature is considered as in the first embodiment.
  • It is a schematic diagram which shows the difference of a change between.
  • the conventional region feature is not taken into consideration, it is based on a simple comparison of the entire image, and when a simple change amount between images exceeds a predetermined threshold (for example, images B and D), it is detected as a scene change image.
  • a predetermined threshold for example, images B and D
  • the feature region characterizing the image content is extracted and divided into a plurality of regions including the feature region for the image to be processed.
  • each area in the entire image including the common area and the shift area generated by the movement of the feature area with respect to the image to be compared is given an importance according to the feature amount of the feature area by the weight coefficient.
  • the images A to C are relatively varied toward the side where the amount of change between images increases compared to the case of the simple comparison, and even if the same predetermined threshold value, the scene change image exceeding this threshold value is exceeded. Will be detected.
  • the images D and E are relatively varied toward the side where the amount of change between images decreases compared to the case of simple comparison. Even if the threshold value is the same, this threshold value is not exceeded, and the scene change image Will not be detected.
  • the detected scene change image is different between the conventional method and the case of the first embodiment, but in the case of the first embodiment, Since the determination is performed by reflecting the importance of the feature region in the form of weighting, an appropriate scene change image can be detected based on the feature of the target image.
  • the change amount between images is shifted in a direction in which a predetermined threshold value can be cleared even if the actual change amount between images is small.
  • the change amount between images is shifted in a direction in which a predetermined threshold cannot be cleared even if the actual change amount between images is large.
  • a feature when calculating the amount of change between images conventionally known correlation between images, SSD (sum of squares of pixel differences), SAD (absolute value of pixel differences). Sum) or the like.
  • the image is divided and the same feature calculation processing is performed for each divided region, points that are regularly selected at regular intervals, and feature points with large local features are calculated. It is also possible to obtain the amount of movement and optical flow, and use the magnitude as an image change amount. Any value that can be defined as a feature amount is used as a value for deriving the feature change amount in the present invention. Is available.
  • the continuous image sequence processed by the scene change detection process of the first embodiment is actually cut by dividing the detected scene change image into a plurality of shots.
  • the first scene change image (cut 1, 2,..., I,..., N ⁇ 1, n) of the shot is sequentially displayed.
  • an image having a small amount of change between images is not displayed. That is, an image with a high degree of similarity is omitted from the display and can be displayed efficiently.
  • the statistical value integrated image change amount
  • Effective scene change images reflecting the contents can be detected.
  • the present invention is not particularly limited to processing between two adjacent images, and two or more images are calculated. It is also possible to calculate a characteristic between the two, calculate a value corresponding to a feature change amount using a statistical calculation based on a combination of these, and detect a set number of sheets based on ordering based on this value.
  • similar images may be continuous.
  • the result of processing on a single image is applied to a plurality of continuous images.
  • a feature region is extracted for an image, and an inter-image change detection condition is set based on the feature amount of the feature region.
  • the inter-image change detection condition is continuous. The same condition is set for a plurality of images. As a result, it is not necessary to perform feature region extraction / recognition processing on all images, and the processing time can be reduced.
  • a method for determining the number of images to which this method is applied a method of simply determining a certain number of images in advance may be used. Furthermore, the similarity between images is compared with a predetermined threshold value. This may be determined adaptively and determined.
  • the gradation information, luminance information, position information, or size information of the feature area may be used.
  • color gradation information and luminance information are useful information in determining the importance of a feature area. Therefore, when using this information to recognize specific color and luminance information, By setting the degree, it is possible to detect a scene change image with high accuracy.
  • the feature amount based on the position of the feature region is also related to the importance of the feature region. For example, when the feature region is reflected in the vicinity of the center, the importance is set high. If a scene change image is captured, the scene change image that is related to the composition of the captured image is set by setting the detection condition in consideration of the importance related to the position. Effective detection is possible.
  • FIG. 7 is a schematic flowchart showing a processing example of the second embodiment that replaces the processing example of FIG.
  • a change between a plurality of images is detected by using a statistical value obtained by calculating and accumulating a weighted change between images for each region of the target image.
  • the difference between the threshold value and the change between images is calculated using a weighted threshold value for each target image area, and the change between a plurality of images is detected using the accumulated statistical value. It is. That is, in the first embodiment, the image change amount is changed by weighting for each region, but in this second embodiment, the threshold value is changed by weighting for each region.
  • the number of regions into which each image is divided based on the extraction of feature regions is m, and the variable is denoted by i.
  • the variable i is set to 1 (step S301).
  • the integrated change amount calculation unit 232 sets the weighting coefficient (i) of the region (i) based on the feature amount of the feature region extracted for the image (step S302), and sets the region (i) of the set region (i).
  • a threshold value (i) for the region (i) is set according to the weighting factor (step S303). That is, for the region (i), setting the detection condition for the inter-image change by weighting the threshold (i) so as to relatively weight the inter-image change of the region (i) based on the feature amount of the feature region.
  • the threshold value is set so as to be smaller as the weighting factor is larger, and the threshold value is set larger as the weighting factor is smaller. It is appropriate to do.
  • the image change detection unit 231 calculates a difference between the image change of the region (i) with respect to the image to be compared and the threshold value (i) set by weighting as a comparison value (step S304). Further, the integrated change amount calculation unit 232 integrates the comparison value with the calculated threshold value (i) as a statistical value by accumulating (step S305). Such processing is repeated in the same manner while incrementing by +1 until the variable i reaches the total number of areas m (steps S306 and S307).
  • the calculated statistical value takes into consideration the importance distribution of each region in the entire target image.
  • the statistical value calculated in this way for each image and generating the scene change image sequence, an appropriate scene change image sequence in which the feature amount of the feature region is taken into consideration is generated. Generation is possible.
  • FIG. 8 is a configuration diagram schematically illustrating a capsule endoscope system including the scene change detection device 1 according to the present embodiment as a workstation.
  • the capsule endoscope system receives a capsule endoscope 6 that is introduced into a body cavity of a subject H and captures an image of the body cavity, and a wireless signal transmitted from the capsule endoscope 6 and receives the received wireless signal.
  • a receiving device 7 that accumulates image information included in the signal, and a portable storage unit 8 such as a memory card that is detachable from the receiving device 7 and the scene change detection device 1 are provided.
  • the storage unit 8 corresponds to the storage unit 3 shown in FIG.
  • the capsule endoscope 6 has an imaging function for capturing an in-vivo image of the subject H and a wireless communication function for transmitting a radio signal including the captured in-vivo image to the outside. More specifically, the capsule endoscope 6 captures an image of the subject H in the body cavity at a predetermined interval (about 2 Hz) of about 0.5 seconds, for example, while proceeding in the body cavity of the subject H. Then, the captured in-vivo image is transmitted to the receiving device 7 by a predetermined radio wave.
  • the receiving device 7 is connected to a plurality of receiving antennas 7a to 7h that receive radio signals transmitted from the capsule endoscope 6.
  • the receiving antennas 7a to 7h are, for example, loop antennas, and are distributed at the body surface positions of the subject H corresponding to the passage path of the capsule endoscope 6. It suffices that at least one such receiving antenna is disposed with respect to the subject H, and the number of the receiving antennas is not limited to eight as in the illustrated example.
  • the receiving device 7 receives a radio signal transmitted from the capsule endoscope 6 via any one of the receiving antennas 7a to 7h, and based on the received radio signal, image information of the body cavity image of the subject H To get.
  • the image information acquired by the receiving device 7 is stored in the storage unit 8 attached to the receiving device 7.
  • the storage unit 8 that stores image information of the in-vivo image of the subject H is attached to the scene change detection device 1 and is subjected to scene change detection processing in the control unit 2.
  • a lesioned part or a hemorrhage can be detected from an image in a body cavity image sequence.
  • extracting and recognizing a part as a feature area, extracting and recognizing a target organ or mucous membrane as a feature area, and changing and setting the detection condition of the change between images for each area based on the feature amount The objective is achieved.
  • a scene change image sequence (summary image) A sufficient number of images must be left in the column.
  • the contents floating in the digestive tract, bubbles, or images of the external environment before it is contained in the mouth, etc. are less important even if they are feature areas. If a large number of change image sequences (summary image sequences) remain, a poor quality scene change image sequence (summary image sequence) will result.
  • the detection condition is set so that the amount of change between images for the entire image becomes relatively large.
  • the image for the entire image is set.
  • the detection condition is set so that the amount of change during the period becomes relatively small.
  • the scene change detection device and the scene change detection program according to the present invention are useful for detecting a scene change image at a position where a scene changes in a continuously captured image sequence or a frame image sequence based on a moving image.
  • it is suitable for detecting a scene change image in accordance with image characteristics from a continuous body cavity image sequence photographed by a capsule endoscope.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Library & Information Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

　連続する画像列から画像の特徴に従ったシーン変化画像の検出を可能にすることを目的とし、連続する画像列中の各画像内から特徴領域抽出部２２によって特徴領域を抽出し、検出部２３では、抽出された特徴領域の特徴量に基づいて画像間変化の検出条件を変化させて設定して複数の画像間の変化を検出するようにしたので、単純な画像間変化の検出に加えて抽出した特徴領域の特徴量を利用することで重要度を考慮した画像間変化の検出条件の設定による画像間変化の検出が可能となり、よって、連続する画像列から画像の特徴に従ったシーン変化画像の検出ができるようにした。

Description

シーン変化検出装置およびシーン変化検出プログラム
　本発明は、連続撮影された画像列や動画によるフレーム画像列中のシーンの変化する位置のシーン変化画像を検出するためのシーン変化検出装置およびシーン変化検出プログラムに関するものである。
　動画像は膨大な数の連続する画像列からなり、これらの連続する画像列から有用な画像を検出することにより要約画像列を生成することは有用な技術分野となっている。連続して撮影された静止画像列についても同様である。例えば、カプセル型内視鏡で撮影される被検体内画像は、カプセル型内視鏡を口から飲み込んで体外に排出されるまでに約０．５秒毎に撮影され、約６００００枚もの連続する画像列となる。これらの画像は、消化官内を順次撮影しており、ワークステーション等において画像を表示させて観察することにより診断を行うものである。しかし、約６００００枚にも及ぶ大量の画像の全てを順次観察するには１時間以上もの時間がかかり、観察を効率的に行うための手法の提案が望まれている。
　従来から、動画像のような連続する画像列中からシーンの変化する位置の画像（シーン変化画像）を検出する種々の方法が提案されている。多量の画像に対する観察を効率的に行うために、このようなシーン変化画像を利用することが考えられる。シーン変化画像を検出する方法として、例えば、隣接する画像間（フレーム間）の特徴変化量を所定の閾値と比較し、閾値を超える場合にシーン変化画像として検出する方法が一般的によく知られている。
　さらには、フレーム間変化の閾値を変更するための入力手段を有し、複数の閾値の中から所望のものを設定することにより、生成されるシーン変化画像列の変更を可能とした提案例もある（例えば、特許文献１参照）。
特開２００６－４１７９４号公報
　しかしながら、特許文献１に示されるものは、閾値の値は選択設定可能であるが、ユーザは、試行錯誤で閾値の変更設定を繰り返しながら、所望の要約画像列を得ようとすることになる。それでも一定の閾値を用いた処理では、ユーザが検出したい画像の特徴をとらえた、適切なシーン変化画像列を得ることは容易ではなかった。
　特に、前述のカプセル型内視鏡で撮影された体腔内画像の場合、医師等のユーザの観察における関心は、画像全体の変化の大きさと一致しないことが多い。画像全体の変化の緩やかな部位であってもシーン変化画像として検出したい場合や、逆に、画像全体の変化の激しい部位であってもシーン変化画像として検出する必要のない場合がある。従来技術では、このような要求に充分に応えることが困難であった。
　本発明は、上記に鑑みてなされたものであって、連続する画像列から画像の特徴に従ったシーン変化画像の検出が可能なシーン変化検出装置およびシーン変化検出プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかるシーン変化検出装置は、連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出するシーン変化検出装置であって、前記画像列中の画像から特徴領域を抽出する特徴領域抽出手段と、抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手段と、を備えることを特徴とする。
　また、本発明にかかるシーン変化検出プログラムは、コンピュータに、連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出する手順を実行させるシーン変化検出プログラムであって、前記コンピュータに、前記画像列中の対象となる画像から特徴領域を抽出する特徴領域抽出手順と、抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手順と、を実行させることを特徴とする。
　本発明にかかるシーン変化検出装置およびシーン変化検出プログラムによれば、特徴領域の特徴量を考慮した画像間変化の検出条件による画像間変化の検出が可能となる。よって、連続する画像列から、ユーザが注目する画像の特徴に従ったシーン変化画像の検出を可能にすることができるという効果を奏する。
図１は、本発明の実施の形態１にかかるシーン変化検出装置の構成を示す機能的ブロック図である。 図２は、実施の形態１にかかるシーン変化検出処理手順を示す概略フローチャートである。 図３は、図２中のステップＳ１０５，Ｓ１０６の、より詳細な処理例を示す概略フローチャートである。 図４は、連続する画像列中の例えば３枚の画像を時系列順に抽出して示す模式的な説明図である。 図５は、ある５枚の連続する画像Ａ～Ｅについて、従来のように領域特徴を考慮しない場合の画像間変化と、実施の形態１のように領域特徴を考慮した場合の画像間変化の違いを示す模式図である。 図６は、シーン変化画像が検出された画像列例を示す模式図である。 図７は、本発明の実施の形態２の処理例を示す概略フローチャートである。 図８は、実施例のシーン変化検出装置をワークステーションとして備えるカプセル型内視鏡システムを模式的に示す構成図である。
符号の説明
　２２　特徴抽出部
　２３　検出部
　以下、添付図面を参照して、本発明を実施するための最良の形態であるシーン変化検出装置およびシーン変化検出プログラムについて説明する。なお、各実施の形態により本発明が限定されるものではなく、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
（実施の形態１）
　図１は、本発明の実施の形態１にかかるシーン変化検出装置の構成を示す機能的ブロック図である。図１に示すシーン変化検出装置１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等のハードウエアを備えるコンピュータによって実現されるもので、制御部２と記憶部３と表示部４と入力部５とを備える。
　制御部２は、概略的には、演算機能および制御機能を備える。また、記憶部３は、動画像のように時系列的に連続した画像列の画像情報を記憶したものであり、データベース等からなる。表示部４は、ＬＣＤ，ＥＬＤ，ＣＲＴ等からなり、表示画面上に処理結果であるシーン変化画像列（要約画像列）の画像を含む各種情報を表示するためのものである。入力部５は、キーボード、マウス、ポインタ等からなり、画像に対する処理を行うために各種情報の入力操作や指示操作を行うためのものである。
　ここで、制御部２は、画像読込部２１と特徴領域抽出部２２と検出部２３とを備える。画像読込部２１は、記憶部３に記憶されている連続した画像列中の画像を読み込むためのものである。特徴領域抽出部２２は、画像読込部２１により順次読み込まれる画像中から、既存の特徴領域抽出技術を用いて、少なくとも一つの特徴領域を抽出することで、結果的に、対象となる画像全域を複数の領域に分割するためのものである。ここで、本実施の形態の特徴領域の抽出は、特徴領域の認識を含む概念である。特徴領域の認識は、対象となる画像全域の領域分割を行うことにより、分割された各領域内の特徴により重要度を設定する等の処理を行い、重要度と関連付ける等の方法で行うことができる。なお、特徴領域は、例えば、画像毎にその画像の特徴を示す部分や所望のオブジェクトを意味するが、画像全体が特徴領域となる場合も含む。
　検出部２３は、特徴領域抽出部２２により抽出された特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出することで複数の画像間の変化を検出するためのものである。検出部２３は、画像変化検出部２３１と、統合変化量算出部２３２と、シーン変化画像検出部２３３とを備える。
　画像変化検出部２３１は、対象となる画像の画像全域の各領域（抽出された特徴領域、この特徴領域を除く領域および比較する画像に対する該特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む）での比較する画像に対する画像間変化量を算出するためのものである。また、統合変化量算出部２３２は、抽出された特徴領域の特徴量に基づいて画像間変化の検出条件が変動するように設定した上で、その画像間変化の検出条件に従い、領域毎に修正された画像間変化量を算出し、算出結果を累積することで、画像全域の画像間変化量として統計値を算出するためのものである。ここで、統合変化量算出部２３２は、対象となる画像の画像全域における各領域の画像間変化に、特徴領域抽出部２２で抽出された特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件を設定する。これにより、特徴領域の特徴量に基づいて領域毎の画像変化量を、画像変化を判定するための閾値に対して相対的に変動させることとなる。また、シーン変化画像検出部２３３は、統合変化量算出部２３２で算出された画像間変化量の統計値を、画像変化を判定するための所定の閾値と比較することで、閾値を超える統計値を有する画像をシーン変化画像（要約画像）として検出するためのものである。シーン変化画像検出部２３３は、検出したシーン変化画像（要約画像）によりシーン変化画像列を生成し、表示部４の表示画面における時系列順での表示に供する。
　以上の各部を制御部２中に有するシーン変化検出装置１なるコンピュータが備えるＣＰＵは、本実施の形態１にかかるシーン変化検出処理を実行するためのシーン変化検出プログラムをコンピュータ中のＲＯＭからＲＡＭに読み出すことにより、シーン変化検出処理に関する演算処理を実行する。なお、本実施の形態１にかかるシーン変化検出プログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ，ＤＶＤ－ＲＯＭ、フラッシュメモリ等のコンピュータが読み取り可能な記録媒体に記録させて広く流通させることも可能である。したがって、本実施の形態１にかかるシーン変化検出装置は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備する構成であってもよい。
　図２は、本実施の形態１にかかるシーン変化検出処理手順を示す概略フローチャートである。まず、画像読込部２１が、連続する画像列を構成する全画像枚数ｎ、画像サイズ等の情報を記憶部３から取得するとともに、画像を順次読み込む（ステップＳ１０１）。ついで、処理対象となる画像を特定するための枚数に関する変数ｋを最初の１にセットする（ステップＳ１０２）。そして、特徴領域抽出部２２は、ｋ番目の画像（ｋ）を処理対象の画像として、この画像（ｋ）中から特徴領域を抽出する（ステップＳ１０３）。この処理により、画像（ｋ）の画像全域が特徴領域以外の領域部分も有することとなり、少なくとも、複数の領域に分割される。すなわち、抽出された特徴領域以外の領域部分も、検出条件の設定の際には、特徴領域として扱うことが可能であり、画像全域を領域分割し、分割された各領域を特徴領域として扱うという考え方を適用することも可能である。
　ついで、画像変化検出部２３１は、対象となる画像（ｋ）の画像全域の各領域（抽出された特徴領域、この特徴領域を除く領域および後述するように比較する画像に対する該特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む）での比較する画像に対する画像間変化量を算出する（ステップＳ１０４）。そして、統合変化量算出部２３２は、抽出された特徴領域の特徴量に基づいて画像間変化の検出条件を設定した上で、その画像間変化の検出条件に従い、領域毎に修正された画像間変化量を算出し、算出結果を累積することで、画像全域の画像間変化量として統計値（統合変化量）を算出する（ステップＳ１０５）。算出された統計値は、該画像（ｋ）の画像変化量として対応付け処理がなされる（ステップＳ１０６）。
　このような処理を、変数ｋが全画像枚数ｎに達するまで＋１ずつインクリメントしながら同様に繰り返す（ステップＳ１０７、Ｓ１０８）。全画像についての統計値の算出処理が終了すると、シーン変化検出部２３３は、各画像に対応付けられた統計値と所定の閾値との比較判断により、シーン変化画像を検出し（ステップＳ１０９）、検出されたシーン変化画像からなるシーン変化画像列を表示部４に対して出力する（ステップＳ１１０）。
　ここで、図２中のステップＳ１０５，Ｓ１０６の処理に関して、より詳細な処理例を、図３を参照して説明する。ここでは、特徴領域の抽出に基づき各画像が分割される領域の数をｍとし、その変数をｉで示す。まず、変数ｉを１にセットする（ステップＳ２０１）。ついで、統合変化量算出部２３２は、当該画像について抽出された特徴領域の特徴量に基づき、領域（ｉ）の重み係数（ｉ）を設定する（ステップＳ２０２）。すなわち、領域（ｉ）について、この領域（ｉ）の画像間変化に特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件の設定を行う。そして、画像変化検出部２３１は、比較する画像に対する領域（ｉ）の画像変化量（ｉ）を算出する（ステップＳ２０３）。さらに、統合変化量算出部２３２は、算出された画像変化量（ｉ）に対して重み係数（ｉ）を乗算することで、領域（ｉ）の重み付き画像変化量（ｉ）を算出し（ステップＳ２０４）、算出された重み付き画像変化量（ｉ）を累積することで統合する（ステップＳ２０５）。このような処理を、変数ｉが全領域数ｍに達するまで＋１ずつインクリメントしながら同様に繰り返す（ステップＳ２０６、Ｓ２０７）。
　ついで、図４を参照して、本実施の形態１における対象となる画像の画像全域における領域毎の重み付け処理について説明する。図４は、連続する画像列中の例えば３枚の画像を時系列順に抽出して示す模式的な説明図である。画像Ａ，Ｂ，Ｃは、時系列的にＴ＝ｔ－１，Ｔ＝ｔ，Ｔ＝ｔ＋１なるタイミングで撮影された画像であり、画像Ｂが注目している処理対象画像であるとする。また、各画像Ａ，Ｂ，Ｃについて特徴領域抽出部２２によって抽出されて重要度の高い特徴量を持つ同一の特徴領域をＥａ，Ｅｂ，Ｅｃとする。
　まず、画像Ａにおいては、特徴領域Ｅａの抽出に伴い、画像全域は、特徴領域Ｅａとそれ以外の領域Ｅｄとに領域分割されたこととなる。ここで、領域Ｅｄも、一つの特徴領域と考えることができる。ついで、注目している処理対象となる画像Ｂにおいて抽出された特徴領域Ｅｂは、比較する画像Ａ上の特徴領域Ｅａが位置移動したものであり、その元の位置を画像Ｂ上では特徴領域Ｅａ´として示す。このように、比較する画像Ａに対する注目領域の移動に伴い、比較する画像Ａとの間の特徴領域に関する共通領域Ｅａｂやずれ領域Ｅａａ，Ｅｂｂを生ずる。また、領域Ｅｄも特徴領域の移動に伴い、特徴領域Ｅａ，Ｅｂの双方に含まれない領域Ｅｄ´に変化する。本実施の形態では、例えば画像Ｂに関しては、これらの領域Ｅａａ，Ｅａｂ，Ｅｂｂ，Ｅｄ´を画像全域の各領域として扱うものである。
　このような特徴領域の移動が生じた場合に、各領域の特徴量として、共通領域Ｅａｂは最も重要度が高いと考える。そこで、共通領域Ｅａｂに対しては画像間変化量に対して重みを高く設定する。そして、特徴領域Ｅａ´から共通領域Ｅａｂを除外したずれ領域Ｅａａや特徴領域Ｅｂから共通領域Ｅａｂを除外したずれ領域Ｅｂｂは、共通領域Ｅａｂの特徴量の重要度よりも低いと考える。そこで、ずれ領域Ｅａａ，Ｅｂｂに対しては、相当するだけの重み係数値を減じた上で、画像間変化量を算出するようにする。さらに、特徴領域の移動前後で特徴領域に含まれない領域Ｅｄ´は、さらに重要度が低いと考える。そこで、領域Ｅｄ´に対しては、一層重み係数値を減じた上で、画像間変化量を算出するようにする。つまり、これらの領域Ｅａｂ，Ｅａａ，Ｅｂｂ，Ｅｄ´毎の重要度に応じて、これらの領域Ｅａｂ，Ｅａａ，Ｅｂｂ，Ｅｄ´毎の画像Ａに対する画像間変化に異なる重み係数を乗算する重み付けを行うように画像間変化の検出条件の設定を行うものである。
　そして、各領域Ｅａｂ，Ｅａａ，Ｅｂｂ，Ｅｄ´の重み付けされた画像間変化量を累積して統計値を算出することで、画像全体についての統合的な画像間変化量を算出できるようにしたものである。つまり、画像全域における各領域に関して、それぞれの重要度を考慮した画像間変化量の総合的な値をこの画像Ｂの画像間変化量とする。このようにして算出された画像間変化量は、抽出された特徴領域の特徴量に基づき修正された画像間変化量となる。
　時系列的に次の画像Ｃを処理対象とする場合の処理についても同様である。
　図３の場合において、元々重要度の低い特徴領域を抽出する場合であれば、上記の重要度の関係を逆に設定してもよい。例えば、共通領域を最も重要度の低い領域として扱う、如くである。
　このようにして、統合的な画像間変化量を統計値として求めると、画像全体の単純比較による画像間変化量の場合と変化の様子が異なるものとなる。例えば、図５は、ある５枚の連続する画像Ａ～Ｅについて、従来のように領域特徴を考慮しない場合の画像間変化と、本実施の形態１のように領域特徴を考慮した場合の画像間変化の違いを示す模式図である。従来の領域特徴を考慮しない場合には、画像全体の単純比較によるものであり、単純な画像間変化量が所定の閾値を超える場合に（例えば、画像Ｂ，Ｄ）、シーン変化画像として検出される。一方、本実施の形態１の場合、同一の画像Ａ～Ｅの場合であっても、処理対象となる画像について、画像内容を特徴付ける特徴領域を抽出して特徴領域を含む複数の領域に分割し、さらには、比較する画像に対する特徴領域の移動に伴い発生する共通領域やずれ領域を含む画像全域における各領域に対して、特徴領域の特徴量に応じた重要度を重み係数によって持たせて画像間変化の検出条件を設定することで、画像内容に応じて領域毎の画像間変化量を所定の閾値に対して相対的に変動させている。よって、例えば画像Ａ～Ｃに関しては、単純比較の場合よりも、画像間変化量が増大する側に相対的に変動させており、同じ所定の閾値であっても、この閾値を超えるシーン変化画像として検出されることとなる。一方、例えば画像Ｄ，Ｅに関しては、単純比較の場合よりも、画像間変化量が減少する側に相対的に変動させており、同じ閾値であっても、この閾値を超えず、シーン変化画像としては検出されないこととなる。よって、同じ閾値でシーン変化画像を検出する上で、従来方式と本実施の形態１の場合とで、検出されるシーン変化画像は異なるものとなるが、本実施の形態１の場合には、特徴領域の重要度を重み付けという形で反映して判断を行っているため、対象となる画像の特徴に基づいた適正なシーン変化画像の検出が可能となる。
　つまり、本実施の形態１では、シーン変化画像として極力抽出したい画像内容の場合には、実際の画像間変化量が小さくても所定の閾値をクリアできる方向に画像間変化量をシフトさせる一方、シーン変化画像として極力抽出したくない画像内容の場合には、実際の画像間変化量が大きくても所定の閾値をクリアできない方向に画像間変化量をシフトさせるものである。
　ここで、画像間変化量を算出する際の特徴としては、従来から、一般的に知られている画像間の相関や、ＳＳＤ（画素の差の二乗和）、ＳＡＤ（画素の差の絶対値和）等を用いることができる。さらには、画像を分割して各分割領域に対して同様な特徴算出処理を行う方法や、規則的、等間隔に選択された点や、さらには、局所的な特徴の大きな特徴点を算出し、その動き量、オプティカルフローを求め、その大きさを画像変化量として用いることも可能であり、特徴量として定義できるような値であれば、本発明における特徴変化量を導出するための値として利用可能である。
　本実施の形態１のシーン変化検出処理により処理された連続する画像列は、図６に示すように、検出されたシーン変化画像をカットして、複数のショットに分割されていることにより、実際に表示部４において表示を行う際には、ショットの最初のシーン変化画像（カット１，２，…，ｉ，…，ｎ－１，ｎ）を順次表示していくことになる。この表示において、画像間変化量の小さな画像は表示されないことになる。すなわち、類似度の大きな画像は、表示が省略され、効率的な表示を行わせることができる。この際、本実施の形態によれば、画像間変化量として、上述のように統計値（統合画像変化量）を算出し、その値を画像間変化量として用いているため、従来よりも画像内容を反映した効果的なシーン変化画像の検出が可能となる。
　なお、上述の説明では、時系列的に隣接する画像間の特徴変化を算出する例で説明したが、特に隣接する２枚の画像間の処理に限定されるものではなく、２枚以上の画像間の特徴を算出し、これらの組み合わせによる統計的演算を用いた特徴変化量に対応する値を算出し、この値による順序付けに基づいた設定枚数の検出を行わせるようにしてもよい。
　また、連続する画像列においては、類似する画像が連続する場合があるので、このような場合には、ある１枚の画像に関して処理を行った結果を、連続する複数の画像に対して適用することも可能である。すなわち、本実施の形態１の場合、画像に関して、特徴領域を抽出して、特徴領域の特徴量に基づき画像間変化の検出条件を設定するものであり、この画像間変化の検出条件を連続する複数の画像に対して同一条件として設定することとなる。これにより、全画像に対して特徴領域の抽出・認識処理を行う必要がなく、処理時間の短縮を図ることができる。
　なお、この手法を適用する画像枚数を決定するための手法として、簡易には、予め一定の枚数を決定しておく方法とすればよく、さらには、画像間類似度を所定の閾値との比較により判断して、適応的に決定するようにしてもよい。
　さらに、特徴領域の重要度を決定する特徴量としては、特徴領域の階調情報、輝度情報、位置情報、または大きさ情報を利用するようにしてもよい。例えば、特徴領域の重要度を決定する上で、色の階調情報や輝度情報は有用な情報となるので、これらの情報を利用して特定の色や輝度情報を認識した際に、その重要度を設定することにより、精度のよいシーン変化画像の検出が可能となる。
　また、特徴領域の特徴量に応じた検出条件を設定する上で、特徴領域の位置に基づいた特徴量をその領域の特徴量とすることも有用である。すなわち、特徴領域が画面（画像）内のどの位置に写っているかということも特徴領域の重要度と関連性があり、例えば、中央付近に写っている場合には重要度を高く設定し、隅に写っている場合には重要度を低く設定する等、位置に関連する重要度を考慮して検出条件の設定を行うことにより、撮影されている画像の構図に関連するようなシーン変化画像を有効に検出することが可能となる。
　さらには、特徴領域の大きさという観点からも、重要度の設定を行うことは可能であり、大きさに基づいた重要度の設定を行うことによっても有効なシーン変化画像の検出を行うことができる。
（実施の形態２）
　図７を参照して、本発明の実施の形態２について説明する。図７は、図３の処理例に代わる本実施の形態２の処理例を示す概略フローチャートである。実施の形態１では、対象となる画像の領域毎に重み付けされた画像間変化量を算出して累積した統計値を用いて複数の画像間の変化を検出するようにしたが、本実施の形態２では、対象となる画像の領域毎に重み付けされた閾値を用いて閾値と画像間変化との差異を算出して累積した統計値を用いて複数の画像間の変化を検出するようにしたものである。すなわち、実施の形態１では、領域毎に画像変化量を重み付けによって変動させたが、本実施の形態２では、領域毎に閾値を重み付けによって変動させるようにしたものである。
　図７においても、特徴領域の抽出に基づき各画像が分割される領域の数をｍとし、その変数をｉで示す。まず、変数ｉを１にセットする（ステップＳ３０１）。ついで、統合変化量算出部２３２は、当該画像について抽出された特徴領域の特徴量に基づき、領域（ｉ）の重み係数（ｉ）を設定し（ステップＳ３０２）、設定された領域（ｉ）の重み係数に従い領域（ｉ）に対する閾値（ｉ）を設定する（ステップＳ３０３）。すなわち、領域（ｉ）について、この領域（ｉ）の画像間変化に特徴領域の特徴量に基づき相対的に重み付けを行うように閾値（ｉ）を重み付けすることで画像間変化の検出条件の設定を行う。この際、予め設定された初期閾値に対して、重み係数が大きいほど検出されやすくするために閾値が小さくなるように設定し、重み係数が小さいほど検出されにくくするため閾値が大きくなるように設定することが適切である。そして、画像変化検出部２３１は、比較する画像に対する領域（ｉ）の画像変化と重み付けされて設定された閾値（ｉ）との差異を比較値として算出する（ステップＳ３０４）。さらに、統合変化量算出部２３２は、算出された閾値（ｉ）との比較値を累積ことで統計値として統合する（ステップＳ３０５）。このような処理を、変数ｉが全領域数ｍに達するまで＋１ずつインクリメントしながら同様に繰り返す（ステップＳ３０６、Ｓ３０７）。
　本実施の形態２の場合も、領域毎に閾値を重み付けにより可変設定しているので、算出される統計値は、対象となる画像全域における各領域の重要度分布が考慮された値となっており、画像毎にこのように算出された統計値を用いてシーン変化画像の検出を行ってシーン変化画像列を生成することにより、特徴領域の特徴量が考慮された適切なシーン変化画像列の生成が可能となる。
（実施例）
　図８を参照して、本発明のシーン変化検出装置の実施例について説明する。本実施例は、前述の実施の形態１または２にかかるシーン変化検出装置１をカプセル型内視鏡システムに利用したものである。図８は、本実施例のシーン変化検出装置１をワークステーションとして備えるカプセル型内視鏡システムを模式的に示す構成図である。カプセル型内視鏡システムは、被検体Ｈの体腔内に導入され体腔内画像を撮影するカプセル型内視鏡６と、カプセル型内視鏡６から送信される無線信号を受信し、受信した無線信号に含まれる画像情報を蓄積する受信装置７と、受信装置７およびシーン変化検出装置１に着脱自在なメモリカード等の携帯型の記憶部８とを備える。この記憶部８は、図１中に示した記憶部３に相当する。
　カプセル型内視鏡６は、被検体Ｈの体腔内画像を撮影する撮像機能と、撮影した体腔内画像を含む無線信号を外部に送信する無線通信機能とを有する。より具体的には、カプセル型内視鏡６は、被検体Ｈの体腔内を進行しながら、例えば０．５秒程度の所定の間隔（２Ｈｚ程度）で被検体Ｈの体腔内画像を撮像し、撮像した体腔内画像を所定の電波によって受信装置７に送信する。
　受信装置７には、カプセル型内視鏡６から送信される無線信号を受信する複数の受信アンテナ７ａ～７ｈが接続されている。受信アンテナ７ａ～７ｈは、例えばループアンテナであり、カプセル型内視鏡６の通過経路に対応する被検体Ｈの体表位置に分散配置されている。このような受信アンテナは、被検体Ｈに対して少なくとも一つ配置されていればよく、その配置数は、図示例のような８個に限定されるものではない。
　受信装置７は、受信アンテナ７ａ～７ｈのいずれかを介してカプセル型内視鏡６から発信された無線信号を受信し、受信した無線信号をもとに被検体Ｈの体腔内画像の画像情報を取得する。受信装置７が取得した画像情報は、受信装置７に装着された記憶部８に格納される。被検体Ｈの体腔内画像の画像情報を格納した記憶部８は、シーン変化検出装置１に装着され、制御部２におけるシーン変化検出処理に供される。
　このようなカプセル型内視鏡システムにおいては、前述の実施の形態１，２で説明したような構成からなるシーン変化検出装置１を用いて、体腔内画像列中の画像中から病変部や出血部を特徴領域として抽出・認識したり、目的とする臓器や粘膜を特徴領域として抽出・認識し、その特徴量に基づいて領域毎の画像間変化の検出条件を変化させて設定することで、目的が達成される。
　すなわち、カプセル型内視鏡６が撮像した体腔内画像を扱う際には、病変部、出血部、粘膜、各種弁等は、画像上、重要な特徴領域であり、シーン変化画像列（要約画像列）中に十分な枚数の画像が残されている必要がある。一方、消化管内に浮遊している内容物や、泡、あるいは口に含む前の外界の様子を撮影した画像などは、特徴領域であっても重要度の低いものであり、これらの画像がシーン変化画像列（要約画像列）中に多数残っていると質の悪いシーン変化画像列（要約画像列）となってしまう。このような事情を踏まえ、体腔内画像に関して、上述のような特徴領域の抽出・認識は、画像内の色情報や輝度情報から大まかながら可能である。そこで、重要度の高い特徴領域を含む画像では画像全体についての画像間変化量が相対的に大きくなるように検出条件を設定する一方、重要度の低い特徴領域を含む画像では画像全体についての画像間変化量が相対的に小さくなるように検出条件を設定する。
　これにより、カプセル型内視鏡６が撮影した体腔内画像特有の重要性のレベルに応じたシーン変化画像の検出が可能となり、有効な診断支援を行うことが可能となる。
　以上のように、本発明にかかるシーン変化検出装置およびシーン変化検出プログラムは、連続撮影された画像列や動画によるフレーム画像列中のシーンの変化する位置のシーン変化画像を検出するために有用であり、特に、カプセル型内視鏡で撮影された連続する体腔内画像列から画像の特徴に従ったシーン変化画像を検出するのに適している。

Claims (10)

  1. 　連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出するシーン変化検出装置であって、
    　前記画像列中の画像から特徴領域を抽出する特徴領域抽出手段と、
    　抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手段と、
    　を備えることを特徴とするシーン変化検出装置。
  2. 　前記検出手段は、抽出された前記特徴領域、該特徴領域を除く領域および比較する画像に対する前記特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む画像全域における各領域での画像間変化量の統計値を用いて複数の画像間の変化を検出することを特徴とする請求項１に記載のシーン変化検出装置。
  3. 　前記検出手段は、画像全域における前記各領域の画像間変化に前記特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件を設定し、領域毎に重み付けされた画像間変化量を算出しその統計値を用いて複数の画像間の変化を検出することを特徴とする請求項２に記載のシーン変化検出装置。
  4. 　前記検出手段は、抽出された前記特徴領域、該特徴領域を除く領域および比較する画像に対する前記特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む画像全域における各領域での画像間変化と閾値との差異の統計値を用いて複数の画像間の変化を検出することを特徴とする請求項１に記載のシーン変化検出装置。
  5. 　前記検出手段は、画像全域における前記各領域の閾値に前記特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件を設定し、領域毎に重み付けされた閾値と領域毎の画像変化との差異を算出しその統計値を用いて複数の画像間の変化を検出することを特徴とする請求項４に記載のシーン変化検出装置。
  6. 　前記検出手段は、画像変化の検出条件を、連続した画像列中の連続する複数枚の画像に対して同一条件として設定することを特徴とする請求項１～５のいずれか一つに記載のシーン変化検出装置。
  7. 　前記特徴領域の特徴量として、該特徴領域の階調情報、輝度情報、位置情報、または大きさ情報の少なくとも一つを用いることを特徴とする請求項１～６のいずれか一つに記載のシーン変化検出装置。
  8. 　連続した画像列は、被検体の体腔内に導入されたカプセル型内視鏡によって撮影された体腔内画像列であることを特徴とする請求項１～７のいずれか一つに記載のシーン変化検出装置。
  9. 　前記特徴領域抽出手段により抽出する前記特徴領域は、体腔内画像中に含まれる病変部、出血部、または粘膜の領域を含むことを特徴とする請求項８に記載のシーン変化検出装置。
  10. 　コンピュータに、連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出する手順を実行させるシーン変化検出プログラムであって、
    　前記コンピュータに、
    　前記画像列中の対象となる画像から特徴領域を抽出する特徴領域抽出手順と、
    　抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手順と、
    　を実行させることを特徴とするシーン変化検出プログラム。
PCT/JP2008/070784 2008-01-09 2008-11-14 シーン変化検出装置およびシーン変化検出プログラム WO2009087816A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP08870182.6A EP2233062B1 (en) 2008-01-09 2008-11-14 Scene change detection device and scene change detection program
CN2008801244701A CN101909511B (zh) 2008-01-09 2008-11-14 场景变化检测装置
US12/833,530 US20100277650A1 (en) 2008-01-09 2010-07-09 Scene-change detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008002183A JP5191240B2 (ja) 2008-01-09 2008-01-09 シーン変化検出装置およびシーン変化検出プログラム
JP2008-002183 2008-01-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/833,530 Continuation US20100277650A1 (en) 2008-01-09 2010-07-09 Scene-change detection device

Publications (1)

Publication Number Publication Date
WO2009087816A1 true WO2009087816A1 (ja) 2009-07-16

Family

ID=40852941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/070784 WO2009087816A1 (ja) 2008-01-09 2008-11-14 シーン変化検出装置およびシーン変化検出プログラム

Country Status (5)

Country Link
US (1) US20100277650A1 (ja)
EP (1) EP2233062B1 (ja)
JP (1) JP5191240B2 (ja)
CN (1) CN101909511B (ja)
WO (1) WO2009087816A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230176B2 (en) 2012-03-14 2016-01-05 Hanwha Techwin Co., Ltd. Method of detecting camera tampering and system thereof

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1964037A4 (en) 2005-12-16 2012-04-25 Nextbio SYSTEM AND METHOD FOR MANAGING SCIENTIFIC INFORMATION KNOWLEDGE
US9183349B2 (en) 2005-12-16 2015-11-10 Nextbio Sequence-centric scientific information management
US20100149183A1 (en) * 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
WO2009111581A1 (en) 2008-03-04 2009-09-11 Nextbio Categorization and filtering of scientific data
JP5576711B2 (ja) * 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
KR101748576B1 (ko) 2011-03-02 2017-06-20 삼성전자주식회사 이동통신 단말기에서 동영상 데이터를 세그먼팅하기 위한 장치 및 방법
JP5784404B2 (ja) 2011-07-29 2015-09-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CA2855177A1 (en) * 2011-11-25 2013-05-30 Thomson Licensing Video quality assessment considering scene cut artifacts
KR20150046036A (ko) * 2012-08-23 2015-04-29 톰슨 라이센싱 비디오 비트스트림에서 점진적 전환 픽쳐를 검출하기 위한 방법 및 장치
CN103973988B (zh) 2013-01-24 2018-02-02 华为终端（东莞）有限公司 场景识别方法及装置
EP3005934A4 (en) 2013-05-31 2017-03-15 Olympus Corporation Medical device
JP6218634B2 (ja) * 2014-02-20 2017-10-25 オリンパス株式会社 内視鏡システム及び内視鏡の作動方法
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
CN104822009B (zh) * 2015-04-14 2017-11-28 无锡天脉聚源传媒科技有限公司 一种视频场景变换识别的方法及装置
US10686969B2 (en) * 2016-07-08 2020-06-16 NETFLIX Inc. Detecting shot changes in a video
WO2018097835A1 (en) * 2016-11-28 2018-05-31 Rovi Guides, Inc. System and method for generating a custom summary of unconsumed portions of a series of media assets
WO2019082268A1 (ja) * 2017-10-24 2019-05-02 三菱電機株式会社 画像処理装置及び画像処理方法
CN110675371A (zh) * 2019-09-05 2020-01-10 北京达佳互联信息技术有限公司 一种场景切换的检测方法、装置、电子设备及存储介质
CN112165621B (zh) * 2020-09-24 2024-01-19 北京金山云网络技术有限公司 场景切换帧的检测方法及装置、存储介质、电子设备
CN112348125B (zh) * 2021-01-06 2021-04-02 安翰科技(武汉)股份有限公司 基于深度学习的胶囊内窥镜影像识别方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041794A (ja) 2004-07-26 2006-02-09 Nikon Corp 画像処理装置および画像処理プログラム
WO2006100808A1 (ja) * 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2006334297A (ja) * 2005-06-06 2006-12-14 Olympus Medical Systems Corp 画像表示装置
JP2007075157A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009155A (ja) * 2001-06-19 2003-01-10 Sanyo Electric Co Ltd 画像復号方法とその装置、および画像符号化方法とその装置
WO2005046199A2 (en) * 2003-11-10 2005-05-19 Mobixell Networks Inc. Video to animation conversion with file size constraint
JP2006217045A (ja) * 2005-02-01 2006-08-17 Olympus Corp インデックス画像生成装置及びインデックス画像を生成するプログラム
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
CN101681518B (zh) * 2007-05-21 2012-11-14 三菱电机株式会社 图像差检测方法和装置、场景转换检测方法和装置、以及图像差分检测方法和装置
CN103124354B (zh) * 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041794A (ja) 2004-07-26 2006-02-09 Nikon Corp 画像処理装置および画像処理プログラム
WO2006100808A1 (ja) * 2005-03-22 2006-09-28 Osaka University カプセル内視鏡画像表示制御装置
JP2006334297A (ja) * 2005-06-06 2006-12-14 Olympus Medical Systems Corp 画像表示装置
JP2007075157A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2233062A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230176B2 (en) 2012-03-14 2016-01-05 Hanwha Techwin Co., Ltd. Method of detecting camera tampering and system thereof

Also Published As

Publication number Publication date
EP2233062A4 (en) 2011-05-25
EP2233062A1 (en) 2010-09-29
EP2233062B1 (en) 2013-08-21
JP2009160298A (ja) 2009-07-23
US20100277650A1 (en) 2010-11-04
JP5191240B2 (ja) 2013-05-08
CN101909511B (zh) 2012-11-21
CN101909511A (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
JP5191240B2 (ja) シーン変化検出装置およびシーン変化検出プログラム
JP5080485B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
EP2149330B1 (en) Image processing apparatus and image processing program
US8743189B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
JP5374135B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
EP2764819B1 (en) Image processing device, endoscopic device, image processing method and image processing program
JP5005032B2 (ja) 画像表示装置および画像表示プログラム
US20110317043A1 (en) Image processing device and information storage medium
WO2012114600A1 (ja) 医用画像処理装置及び医用画像処理方法
WO2008012968A1 (fr) dispositif de traitement d'image médicale et procédé de traitement d'image médicale
JP2010115413A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JPWO2012153568A1 (ja) 医用画像処理装置
JP2007312810A (ja) 画像処理装置
JP2011024628A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN116579954A (zh) 一种超高清内窥镜图像智能增强方法
CN108022220B (zh) 一种超声图像斑点噪声去除方法
JP2009077800A (ja) 画像処理装置および画像処理プログラム
JP5622903B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP2012003584A (ja) 動画像強調処理システムおよび方法
JP5653082B2 (ja) 電子内視鏡用の動画像強調処理システムおよび同システムの作動方法
JP5937286B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2019216948A (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
CN115482216B (zh) 一种腹腔镜图像增强方法及系统
JP6099436B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880124470.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08870182

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008870182

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE