WO2014050637A1 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2014050637A1
WO2014050637A1 PCT/JP2013/075079 JP2013075079W WO2014050637A1 WO 2014050637 A1 WO2014050637 A1 WO 2014050637A1 JP 2013075079 W JP2013075079 W JP 2013075079W WO 2014050637 A1 WO2014050637 A1 WO 2014050637A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
determination target
target image
lost
Prior art date
Application number
PCT/JP2013/075079
Other languages
English (en)
French (fr)
Inventor
陽一 矢口
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201380050261.8A priority Critical patent/CN104662582B/zh
Priority to EP13840346.4A priority patent/EP2902961B1/en
Publication of WO2014050637A1 publication Critical patent/WO2014050637A1/ja
Priority to US14/669,447 priority patent/US9652835B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • the present invention relates to an image processing apparatus, a program, an image processing method, and the like.
  • each moving image is configured.
  • image sequences a very large amount of images that are temporally or spatially continuous are acquired.
  • images that are close in the image sequence that is, close in time or space
  • the need to check everything is not high. In the first place, it is not uncommon for the number of images to be tens of thousands or more, and checking everything with the user's hand itself is a heavy burden.
  • Patent Document 1 discloses an image summarization processing method that leaves an image that makes it easy to grasp the contents of an image sequence by extracting an image of a boundary where the scene in the image sequence changes or an image representative of the image sequence. Has been.
  • JP 2009-5020 A JP 2011-24663 A JP 2007-313119 A JP 2010-115413 A JP 2012-16454 A JP 2011-234931 A
  • image summarization processing that suppresses the occurrence of an area that cannot be observed due to image deletion is performed, and an unnecessary area is used at that time.
  • One aspect of the present invention is an image sequence acquisition unit that acquires an image sequence having a plurality of component images, and a summary image obtained by deleting a part of the plurality of component images of the image sequence acquired by the image sequence acquisition unit
  • a processing unit that performs image summarization processing for generating a sequence, wherein the processing unit selects a reference image and a determination target image from the plurality of component images, detects an unnecessary region of the determination target image, and detects the reference Based on the deformation information between the image and the determination target image, and the unnecessary area, a lost area that is lost when the determination target image is deleted is obtained, and the determination is performed based on the obtained lost area.
  • the present invention relates to an image processing apparatus that determines whether or not a target image can be deleted.
  • a lost area is obtained from the deformation information between the reference image and the determination target image and the unnecessary area, and whether or not the determination target image can be deleted is determined based on the determined lost area.
  • the unnecessary area it is possible to obtain an area that is not covered by the reference image and that is desirably covered (not unnecessary) as the lost area. It becomes possible.
  • the processing unit obtains a covered region that is a region where the determination target image is covered by the reference image, based on the deformation information between the reference image and the determination target image.
  • a covered region that is a region where the determination target image is covered by the reference image, based on the deformation information between the reference image and the determination target image.
  • an area that is not the covered area and is not the unnecessary area may be obtained as the lost area.
  • an area that is neither a covered area nor an unnecessary area in the determination target image can be calculated as a lost area and can be used for determining whether or not deletion is possible.
  • the processing unit calculates a loss rate of the determination target image compared to the reference image based on the loss region, and determines the determination target based on the calculated loss rate. It may be determined whether or not an image can be deleted.
  • the processing unit may calculate a ratio of the lost area in the determination target image as the loss rate.
  • the processing unit uses the loss area to determine whether or not there is a possibility of missing the attention area in the determination target image, and determines whether or not the attention area may be missed. Accordingly, it may be determined whether the determination target image can be deleted.
  • the processing unit determines whether or not the loss area includes an area having a size corresponding to the attention area, thereby determining the attention area in the determination target image. You may determine the possibility of overlooking.
  • the processing unit performs a contraction process using a structural element corresponding to the attention area for the lost area, and when there is a residual area as a result of the contraction process, It is determined that the target image may be missed, the determination target image is determined not to be deleted, and if there is no residual region as a result of the contraction process, the target region may not be missed. It may be determined that the determination target image can be deleted.
  • the image sequence may be an in-vivo image sequence obtained by imaging the inside of the living body, and the processing unit may detect a bubble area or a residue area of the determination target image as the unnecessary area.
  • the processing unit may detect a dark area or a halation area of the determination target image as the unnecessary area.
  • Another aspect of the present invention relates to a program that causes a computer to function as each of the above-described units.
  • an image sequence having a plurality of component images is acquired, a reference image and a determination target image are selected from the plurality of component images, an unnecessary area of the determination target image is detected, and the reference image Based on the deformation information between the determination target image and the unnecessary area, a lost area that is lost when the determination target image is deleted is obtained, and the determination target is determined based on the obtained lost area.
  • the present invention relates to an image processing method that determines whether or not an image can be deleted, and performs image summarization processing that deletes a part of the plurality of images in the image sequence and obtains a summary image sequence based on the determination result of the deletion availability To do.
  • FIG. 1A to FIG. 1C are diagrams for explaining a difference between cases where an unnecessary area is not considered and cases where an unnecessary area is not considered.
  • FIG. 2 is a configuration example of an image processing apparatus.
  • FIG. 3 is a configuration example of a deletion permission / inhibition determination unit.
  • FIG. 4 is a diagram for explaining processing of the first embodiment.
  • FIG. 5 is a flowchart for explaining image summarization processing according to the present embodiment.
  • FIG. 6 is a flowchart for explaining deletion permission / prohibition determination processing.
  • FIGS. 7A to 7C are diagrams illustrating a method for selecting a reference image and a determination target image.
  • FIG. 8 is a diagram illustrating processing for obtaining a covering region based on a plurality of reference images.
  • FIGS. 1A to FIG. 1C are diagrams for explaining a difference between cases where an unnecessary area is not considered and cases where an unnecessary area is not considered.
  • FIG. 2 is a configuration example of an image processing apparatus.
  • FIG. 9A and 9B are diagrams for explaining the deletion permission / inhibition determination process using the first reference image and the second reference image.
  • FIG. 10 is another configuration example of the deletion permission / inhibition determination unit.
  • FIG. 11 is a diagram for explaining processing of the second embodiment.
  • FIG. 12A to FIG. 12F are diagrams for explaining the contraction process by the structural element for the lost region.
  • FIG. 13A and FIG. 13B are diagrams for explaining contraction processing by a structural element for a region other than an unnecessary region in the determination target image.
  • FIG. 14A and FIG. 14B are examples of the inclusion determination of the reference image and the area requiring coverage.
  • FIG. 15A and FIG. 15B are diagrams for explaining another process using a structural element.
  • FIG. 16 is a basic configuration example of an image processing apparatus.
  • FIG. 17 is a diagram for explaining a method for obtaining a coverage based on a coverage area.
  • an image sequence captured using a capsule endoscope can be considered.
  • the capsule endoscope is a capsule-shaped endoscope with a built-in small camera, and takes an image at a given time interval (for example, twice per second). Since the capsule endoscope requires several hours (in some cases, several tens of hours) from taking the clothes to discharging, tens of thousands of captured images are acquired in one examination by one user. In addition, the capsule endoscope stays in the same place or returns in the opposite direction due to the influence of the movement of the living body when moving in the living body. For this reason, in a large number of images, the same subject as that of other images is imaged, and there are many images that are not highly useful in finding lesions.
  • the present applicant selects a reference image (an image to be left, an image to be a candidate to be left depending on the embodiment) and a determination target image (an image to be deleted or not), and selects the reference image and the determination target image.
  • a reference image an image to be left, an image to be a candidate to be left depending on the embodiment
  • a determination target image an image to be deleted or not
  • the subject imaged with the reference image corresponds to the subject imaged on the covering area of the determination target image. That is, the range outside the covered area (hereinafter referred to as a non-covered area) in the determination target image is an area that cannot be covered even if the reference image is left when the determination target image is deleted.
  • the ratio of the coverage area to the determination target image is calculated as the coverage ratio, and by determining whether or not the determination target image is deleted based on the calculated coverage ratio, Control the degree of occurrence. For example, if the image to be judged is deleted when the coverage is equal to or higher than the threshold, and the image to be judged is not deleted when the coverage is less than the threshold, the degree of occurrence of an area that cannot be covered is controlled according to the threshold setting. it can.
  • whether or not the determination target image can be deleted may be determined based on the result of the contraction process using the structural element (corresponding to the attention area) for the non-covered area.
  • the contraction process is a process shown in FIGS. 12A to 12F (however, in FIGS. 12A to 12F, the target is not an uncovered region).
  • the unnecessary area refers to an area in which an unnecessary subject is imaged in the process, or an area in which the subject is not sufficiently imaged in the first place, such as a dark part or halation, when processing using the acquired image is considered.
  • Represents. What kind of subject is unnecessary depends on the processing performed using the image. For example, in the case of an in-vivo image captured by an endoscope apparatus, it is considered that the subject does not need bubbles or residues. It is done.
  • FIGS. 1A to 1C extreme shapes are set for explanation. It is assumed that a covered region as shown in FIG. 1A is obtained as a result of deforming the reference image using the deformation information and projecting it on the determination target image. In this case, the coverage is 50%, and 50% of the subject captured in the determination target image is captured in the reference image. This indicates that when the determination target image is deleted, even if the reference image remains, 50% of the determination target image may not be observed. For example, in the case of FIG. 1 (A), the determination target image is deleted when the coverage threshold used for deletion permission determination is 70% (when the ratio of subjects that cannot be observed is allowed up to 30%). Determined impossible.
  • a covered area and an unnecessary area are considered in the determination target image.
  • the unnecessary area is an area that can be observed even if the image cannot be observed by deleting the determination target image.
  • a region that cannot be observed when a determination target image is deleted and that is not observed can be a loss region in FIG. 1C.
  • the ratio of the lost area in the determination target image is defined as a loss rate, and deletion permission / inhibition determination is performed based on the loss rate.
  • FIGS. 1 (A) to 1 (C) it is determined that a determination target image that cannot be deleted by the determination using the coverage rate can be appropriately deleted. Can do. For this reason, the possibility that the image can be deleted by the image summarization process is improved, so that the effect of reducing the number of images can be improved and the diagnosis by the user can be facilitated.
  • a region of interest eg, a lesion
  • a determination target image the above-mentioned non-covered region if only the covered region is considered. It is determined whether or not there is a possibility of being.
  • the attention area that has been imaged in its entirety in the determination target image may be lost by deleting the determination target image (the reference image does not have a part of it). It is.
  • the unnecessary region is a bubble region or the like as described above, the unnecessary region does not include a region of interest such as a lesion. Therefore, it is not necessary to consider the entire uncovered area as a target for shrinkage processing. Specifically, it is only necessary to consider a region in which a region of interest can be imaged among uncovered regions. This is a region obtained by excluding unnecessary regions from the uncovered region, and is other than the lost region shown in FIG. Don't be. That is, even when a structural element is used, the lost area may be obtained in the same manner as in the example of obtaining the loss rate instead of the coverage rate, and processing may be performed on the obtained lost area.
  • the lost region is a region having an area equal to or smaller than that of the non-covered region, the possibility that the attention region is included in the loss region is lower than the possibility that the attention region is included in the non-cover region. This leads to an improvement in the possibility of determining that the determination target image can be deleted. In this case as well, the effect of reducing the number of images can be improved.
  • an apparatus including a processing unit 100 and an image sequence acquisition unit 200 as shown in FIG. 16 can be considered.
  • the image sequence acquisition unit 200 acquires an image sequence having a plurality of component images.
  • the processing unit 100 performs image summarization processing for generating a summary image sequence by deleting some of the plurality of component images of the image sequence acquired by the image sequence acquisition unit 200.
  • the processing unit 100 selects a reference image and a determination target image from a plurality of component images, detects an unnecessary area of the determination target image, and based on deformation information between the reference image and the determination target image, and an unnecessary area, A lost area of the determination target image compared with the reference image is obtained, and whether or not the determination target image can be deleted is determined based on the obtained lost area.
  • First Embodiment A technique for performing determination processing for determining whether or not to delete a determination target image based on the loss rate will be described. Specifically, a system configuration example of the image processing apparatus will be described, and a processing flow will be described using a flowchart.
  • FIG. 2 shows a system configuration example of the image processing apparatus according to this embodiment.
  • the image processing apparatus includes a processing unit 100, an image sequence acquisition unit 200, and a storage unit 300.
  • the processing unit 100 performs image summarization processing on the image sequence acquired by the image sequence acquisition unit 200 by deleting some of the plurality of images included in the image sequence.
  • the function of the processing unit 100 can be realized by hardware such as various processors (CPU and the like), ASIC (gate array and the like), a program, and the like.
  • the image sequence acquisition unit 200 acquires an image sequence that is an object of image summarization processing.
  • RGB 3-channel images arranged in time series can be considered.
  • it may be an image sequence that is spatially continuous, such as an image sequence that is spatially arranged and photographed by imaging devices arranged in a horizontal row.
  • the image which comprises an image sequence is not limited to RGB 3 channel image, You may use other color spaces, such as a Gray1 channel image.
  • the storage unit 300 stores the image sequence acquired by the image sequence acquisition unit 200 and serves as a work area for the processing unit 100 and the like, and its function can be realized by a memory such as a RAM or an HDD (hard disk drive).
  • a memory such as a RAM or an HDD (hard disk drive).
  • the processing unit 100 includes a deformation information acquisition unit 1001, an unnecessary region detection unit 1002, a reference image selection unit 1003, a determination target image selection unit 1004, a deletion possibility determination unit 1005, May be included.
  • the processing unit 100 is not limited to the configuration in FIG. 2, and various modifications such as omitting some of these components or adding other components are possible.
  • Each of the above-described units is set to explain each subroutine when the image summarization process executed by the processing unit 100 is divided into a plurality of subroutines, and the processing unit 100 does not necessarily include the above-described units. Does not have as.
  • the deformation information acquisition unit 1001 acquires deformation information between two images.
  • the deformation information represents what shape (range) the range captured in one image is captured in the other image.
  • the deformation parameter disclosed in Patent Document 2 Etc the deformation parameter disclosed in Patent Document 2 Etc.
  • the deformation information acquisition unit 1001 acquires deformation information between the reference image selected by the reference image selection unit 1003 and the determination target image selected by the determination target image selection unit 1004. Then, deletion permission / inhibition determination processing is performed based on the acquired deformation information.
  • the deformation information acquisition unit 1001 is not limited to the one that directly obtains deformation information between the reference image and the determination target image.
  • deformation information between adjacent images is obtained, and deformation information between non-adjacent images may be calculated by combining deformation information between adjacent images.
  • the deformation information between the reference image and the determination target image is obtained by combining (all in a narrow sense) deformation information between adjacent images in the reference image, the determination target image, and the image between them. .
  • the deformation information can be calculated by the method shown in Patent Document 2 or the like, but generally, the process of combining multiple pieces of deformation information is very light compared to the process of calculating the deformation information from scratch. is there.
  • the deformation information is a matrix or the like, the process of obtaining the matrix from two pieces of image information is heavy, but combining a plurality of already obtained matrices (for example, it is only necessary to take the matrix product) ) It will be very easy.
  • the image sequence acquired by the image sequence acquisition unit 200 includes N images, there are N ⁇ (N ⁇ 1) / 2 combinations for selecting two images from the images.
  • heavy load process process of calculating the deformation information from a
  • the heavy processing can be performed N-1 times.
  • the unnecessary area detection unit 1002 detects an unnecessary area of each image included in the acquired image sequence.
  • the unnecessary area a bubble area, a residue area, a dark area, and a halation area can be considered.
  • the dark area is an area where the image is blacked out, and is an area composed of pixels whose luminance value calculated from each pixel value of RGB is smaller than a given threshold value, for example.
  • the halation area is an area in which an image is blown out.
  • a luminance value calculated from RGB pixel values is an area composed of pixels larger than a given threshold value.
  • the methods disclosed in Patent Documents 3 to 6 may be used.
  • any one of the bubble regions or the like may be used as the unnecessary region, or a plurality may be combined.
  • the sum area of each area may be set as an unnecessary area.
  • the sum area of the area A and the area B on the image is an area that is a set of pixels included in at least one of the area A and the area B among the pixels constituting the image.
  • the reference image selection unit 1003 selects a reference image from a plurality of images in the partial image sequence.
  • the determination target image selection unit 1004 selects an image different from the reference image from among the plurality of images in the partial image sequence as the determination target image.
  • the deletion permission determination unit 1005 performs a deletion permission determination process for the determination target image based on the deformation information between the reference image and the determination target image and the unnecessary area.
  • the determination target image deletion determination process is performed based on a loss rate that represents a ratio of a region that is lost when the determination target image is deleted.
  • the deletion possibility determination unit 1005 may include a covered region calculation unit 1009, a lost region calculation unit 1010, a loss rate calculation unit 1011 and a threshold determination unit 1012 as shown in FIG.
  • the deletion permission / inhibition determination unit 1005 is not limited to the configuration in FIG. 3, and various modifications such as omission of some of these components and addition of other components are possible.
  • the covering area calculation unit 1009 obtains a covering area by projecting the reference image onto the determination target image using deformation information (deformation parameters) between the two images.
  • the lost area calculation unit 1010 obtains a lost area from the covered area and the unnecessary area.
  • FIGS. 1A to 1C show an example in which the covered region and the unnecessary region do not overlap, but even if they overlap, the lost region can be obtained similarly. Specifically, as shown in FIG. 4, an area that is not included in the covered area and not included in the unnecessary area in the determination target image may be set as the lost area.
  • the loss rate calculation unit 1011 calculates the loss rate based on the loss area. Specifically, the ratio of the area of the lost region to the area of the determination target image may be obtained as the loss rate. As the area of the region, the number of pixels included in the region can be used as it is.
  • the threshold value determination unit 1012 performs a comparison process between the calculated loss rate and a given threshold value. Since the loss rate is an index value that represents the ratio of the area of the subject that is lost when the determination target image is deleted, it is determined that the determination target image cannot be deleted when it is large, and the determination target image is deleted when it is small. Judge that it is possible. Specifically, a given threshold Th is set, and if the loss rate is less than Th, it is determined that the determination target image can be deleted, and if it is equal to or greater than Th (including its value), the determination target image cannot be deleted. What is necessary is just to judge.
  • a deformation estimation process is first performed (S101). Specifically, this corresponds to processing for obtaining deformation information between two adjacent images as described above.
  • an unnecessary area is detected from each image in the acquired image sequence (S102).
  • the sum area of each area may be obtained as described above.
  • a reference image is selected from the image sequence (S103).
  • the top image in the image sequence may be selected as the reference image.
  • the determination target image determined to be unremovable in the deletion permission determination processing in S105 is selected as a new reference image.
  • the reference image selected here is left in the summary image sequence. If the reference image cannot be selected from the partial image sequence due to an error or the like, the image summarization process ends.
  • the determination target image is selected from the images included in the image sequence (S104).
  • the determination target image is selected from images behind the reference image in the image sequence.
  • the process of S104 is performed for the first time after the selection or update process of the reference image in S103, the next image of the reference image is selected as the determination target image. If the kth image has already been selected as the determination target image with the reference image as the starting point, the selection position is shifted by one and the k + 1st image is selected as the new determination target image with the reference image as the starting point. .
  • the case where there is no image to be selected in S104 means that the deletion possibility determination process has been performed up to the last image in the image sequence, and thus the image summarization process ends.
  • the determination target image deletion permission determination process is performed (S105).
  • the process returns to S104 to update the determination target image. If it is determined in S105 that the image cannot be deleted, it means that the determination target image cannot be covered with the reference image at that time. Therefore, it is necessary to leave the determination target image at that time in the summary image sequence. Become. Therefore, the process returns to S103, and the determination target image determined to be undeleteable in S105 is selected as a new reference image.
  • FIGS. 7A to 7C illustrate image summarization processing for the above image sequence.
  • the first image is selected as the reference image
  • the second image is selected as the determination target image.
  • a loss rate is calculated between the reference image and the determination target image, and it is determined whether the determination target image can be deleted.
  • a new determination target image is selected. Specifically, the position of the determination target image is shifted backward, and the third image is selected as the determination target image as shown in FIG. 7B. Then, whether or not the determination target image can be deleted is determined between the reference image and the new determination target image, and the image selected as the determination target image is updated until a determination target image that is determined to be undeleteable is found.
  • the second to k ⁇ 1th images are deleted. Even if the image is deleted, the object to be lost is suppressed to some extent (to the extent corresponding to the threshold value), so the deletion process is performed and the image is not included in the summary image sequence. On the other hand, if the image is deleted, a large number of subjects are lost even if the reference image is left. Therefore, it is necessary to leave the k-th image in the summary image sequence. For this purpose, the k-th image is set as a new reference image here.
  • a method can be considered. In this case, an image between two reference images is sequentially selected as a determination target image. If all the images between the two reference images can be deleted, the subject that is lost even if the images are deleted by leaving the two reference images in the summary image sequence and deleting the images between them. It is possible to perform deletion permission / inhibition determination processing that guarantees that the degree of is below a certain level.
  • the condition that all images between the first reference image (front) and the second reference image (back) can be deleted is set. It is preferable to search for a position where the first reference image and the second reference image are most distant from each other. In this case, when the first reference image is fixed, as shown in FIGS. 9A and 9B, the case where the k-th image is used as the second reference image is invalid. However, if the (k + 1) -th image is used as the second reference image, a search is made for k such that at least one of the images in between cannot be deleted.
  • the k-th image is selected as a new first reference image, and the second reference image is selected from the rear. Then, the image between them is sequentially selected as a determination target image, and deletion permission / inhibition determination processing is performed.
  • the second reference image being searched is an image candidate to be left in the summary image sequence, and the image actually left in the summary image sequence is the first reference image.
  • the selection of the reference image and the determination target image can be realized by various methods.
  • the image processing apparatus has an image sequence acquisition unit 200 that acquires an image sequence having a plurality of constituent images, and a plurality of image sequences acquired by the image sequence acquisition unit 200. It includes a processing unit 100 that performs image summarization processing for deleting a part of the constituent images and generating a summary image sequence. Then, the processing unit 100 selects a reference image and a determination target image from a plurality of component images, and detects an unnecessary area of the determination target image. Further, the processing unit 100 obtains a lost area that is an area lost when the determination target image is deleted based on the deformation information between the reference image and the determination target image and the unnecessary area, and based on the obtained lost area. Then, it is determined whether or not the determination target image can be deleted.
  • the unnecessary area refers to an area on the image that becomes unnecessary in processing using an image included in the image sequence (in-vivo image captured by the endoscope apparatus, diagnosis by a doctor or the like).
  • the processing unit 100 may detect the bubble area or the residue area of the determination target image as the unnecessary area.
  • the bubble region represents a region where bubbles are imaged in the image. It is conceivable that bubbles are generated in the living body due to, for example, gas generated by activities such as bacteria.
  • the method of Patent Document 3 may be used to detect the bubble region.
  • region represents the area
  • the method of Patent Document 4 may be used to detect the residue region.
  • the processing unit 100 may detect a dark area or a halation area of the determination target image as an unnecessary area.
  • the dark area represents an area where the image is blacked out to such an extent that the subject cannot be sufficiently observed in the area.
  • the halation area represents an area where the image is whitened to such an extent that the subject cannot be sufficiently observed in the area. In such a region, even if imaging is performed on a subject useful for processing such as diagnosis, it is not useful in processing such as diagnosis because the useful subject cannot be observed on the image. . Therefore, in this embodiment, the dark area and the halation area may be set as unnecessary areas.
  • the processing unit 100 may obtain a covered region that is a region where the determination target image is covered by the reference image based on deformation information between the reference image and the determination target image. Then, from the determination target image, an area that is not a covered area and is not an unnecessary area is obtained as a lost area.
  • the subject imaged in the covered area corresponds to the subject imaged in the reference image (they match in an ideal situation where there is no error in deformation information, etc.). Even if the target image is deleted, the area is covered by leaving the reference image.
  • the unnecessary area does not need to be covered because a useful subject is not captured in the first place. That is, an area that cannot be observed by deleting the determination target image and that may be useful is called a lost area.
  • the processing unit 100 may calculate the loss rate of the determination target image compared with the reference image based on the lost region, and determine whether or not the determination target image can be deleted based on the calculated loss rate. At this time, the processing unit 100 may calculate the ratio of the lost area in the determination target image as the loss rate.
  • the loss rate may be obtained as a ratio of the lost area to the determination target image (more specifically, the ratio of the area of the lost area to the area of the determination target image). It is possible to determine whether or not deletion is possible by simple calculation.
  • the loss rate may be information indicating the degree of the subject that is lost when the determination target image is deleted (cannot be observed even if the reference image is left), and is not limited to the ratio / ratio.
  • the image processing apparatus or the like of the present embodiment may realize part or most of the processing by a program.
  • a processor such as a CPU executes the program, thereby realizing the image processing apparatus according to the present embodiment.
  • a program stored in the information storage device is read, and a processor such as a CPU executes the read program.
  • the information storage device (device readable by a computer) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type). It can be realized by memory, ROM, etc.
  • a processor such as a CPU performs various processes of the present embodiment based on a program (data) stored in the information storage device.
  • a program for causing a computer an apparatus including an operation unit, a processing unit, a storage unit, and an output unit
  • a program for causing the computer to execute processing of each unit Is memorized.
  • the deletion possibility determination unit 1005 may include a structural element generation unit 1017, a covered region calculation unit 1009, a lost region calculation unit 1010, and an attention region miss possibility determination unit 1018.
  • the deletion permission / inhibition determination unit 1005 is not limited to the configuration in FIG. 10, and various modifications such as omission of some of these components or addition of other components are possible.
  • the structural element generation unit 1017 generates a structural element used for processing in the attention area miss possibility determination section 1018 based on the attention area.
  • a region having the same shape and the same size as a region of interest that is not preferable to be overlooked is set, but the present invention is not limited to this.
  • the covered area calculation unit 1009 calculates a covered area
  • the lost area calculation unit 1010 calculates a lost area based on the covered area and the unnecessary area.
  • the attention area missing possibility determination unit 1018 may be in a situation where the attention area captured on the determination target image is not captured in the reference image (that is, the attention area is missed). The determination process about sex is performed.
  • the structural element generation unit 1017 generates a structural element based on the attention area.
  • an area having a size and shape that is not preferable to be overlooked is set as a structural element.
  • the structural element is a circle with a diameter of 30 pixels. Will be set.
  • the deformation information acquisition unit 1001 acquires deformation information between the reference image and the determination target image.
  • the coverage area calculation unit 1009 uses the acquired deformation information to project the reference image onto the determination target image to obtain a coverage area.
  • the lost area calculation unit 1010 obtains an area that is neither a covered area nor an unnecessary area in the determination target image as a lost area.
  • the attention area missing possibility determination unit 1018 determines the possibility of missing the attention area. Specifically, shrinkage processing using a structural element is performed on the lost region, and it is determined whether there is a remaining region as shown in FIG.
  • the lost area is always a closed area, and its boundary can be set.
  • BO1 that is the outer boundary and BO2 that is the inner boundary are set.
  • the contraction process by the structural element is a process of cutting the overlapping area of the lost area and the structural element when the reference point of the structural element is set on the boundary of the lost area.
  • a circular area is set as a structural element and the reference point is the center of the circle
  • a circle with a center is drawn on the boundary of the lost area, and the part where the circle and the lost area overlap is lost.
  • Processing to exclude from the area is performed. Specifically, as shown in FIG. 12A, a circle centered on a point on the outer boundary BO1 of the lost area is drawn, and an overlapping area with the lost area (here, a semicircular shape indicated by hatching) Are excluded).
  • the outer boundary BO1 is composed of a plurality of points in consideration of discrete processing, the above-described processing may be performed for each point of the plurality of points.
  • a circle around the point on the boundary BO1 is sequentially drawn in a given direction, and an overlapping area with the lost area is defined as the lost area. Exclude it from.
  • the number of the boundary of the lost region may be one. In that case, the above-described processing may be performed for the one boundary.
  • the above-described processing is performed for each. Specifically, as shown in FIG. 12 (B), for the inner boundary BO2, a circle having a center on BO2 is drawn and a process of excluding the overlapping area with the lost area is performed. What is necessary is just to repeat about each point to comprise.
  • the area of the lost region is reduced. For example, when attention is paid to the left part of the lost area in FIG. 12A, the lost area is obtained by the contraction process with BO1 shown in FIG. 12A and the contraction process with BO2 shown in FIG. Is completely deleted and there is no remaining area. On the other hand, when attention is paid to the lower right portion of the lost region, as shown in FIG. 12C, a residual region RE remains that is not excluded in both the contraction process in BO1 and the contraction process in BO2. Therefore, the result of performing the contraction process by the structural element on the entire lost region here is as shown in FIG. 12D, and a residual region RE is generated.
  • a lost area that is a closed area can be considered as an area inside a boundary (which may be a different boundary such as BO1 and BO2 or may be a single boundary).
  • a boundary which may be a different boundary such as BO1 and BO2 or may be a single boundary.
  • R radius
  • the basic concept is the same.
  • the case where the residual region exists is a case where the region corresponding to the structural element is included in the lost region as shown in the lower right of FIG.
  • the determination target image is deleted, there is a possibility that the attention area cannot be observed even if the reference image remains.
  • the attention area cannot be left in the reference image.
  • FIG. 12F there may be a portion where at least a part of the attention area appears to be included in the unnecessary area, but the attention area is not imaged in the first place. Therefore, there is no need to consider the possibility that the attention area exists at the position indicated by the dotted line in FIG. 12F on the determination target image. In this case, the attention area is missed even if the determination target image is deleted. You can think that there is nothing.
  • the attention area overlookability determination unit 1018 performs a contraction process using a structural element on the lost area, and determines whether or not to delete the determination target image based on whether or not there is a remaining area.
  • the object of shrinkage treatment by the structural element is not limited to the lost area.
  • contraction processing by a structural element may be performed on a region excluding unnecessary regions in the determination target image.
  • FIG. 13A contraction processing by a structural element may be performed on a region excluding unnecessary regions in the determination target image.
  • FIG. 13A contraction processing by a structural element may be performed on a region excluding unnecessary regions in the determination target image.
  • FIG. 13B contraction processing by a structural element may be performed on a region excluding unnecessary regions in the determination target image.
  • the remaining area is a required area that is required to be covered by the reference image. That is, in this case, it is sufficient to determine whether or not deletion is possible depending on whether or not the entire covering area is covered with the reference image.
  • the reference image is determined.
  • one of the required coverage areas may be deformed by the deformation information, and inclusion determination using the deformed area may be performed. If the covering area is included in the reference image, the determination target image can be deleted, and if there is a portion that is not included, the determination target image cannot be deleted.
  • the deletion possibility determination process using the structural element is not limited to the process using the contraction process, and may be a process for determining whether or not the structural element is included in the lost region.
  • the distance (k1) from the point (p1 to p6, etc.) on the boundary of the sum area of the covering area and the unnecessary area to the boundary of the determination target image To k6), or the distance from the point on the boundary of the determination target image to the boundary of the sum area a value corresponding to the maximum diameter of the lost area is obtained, and the obtained value and the structural element (in this case, the attention area)
  • a simple method may be used in which a comparison process with a minimum diameter of the same size is performed.
  • 15A shows an example in which the determination target image is a square
  • FIG. 15B shows an example in which the determination target image has a circular shape.
  • the deletion permission determination processing may be performed using a loss rate or using a structural element.
  • the deletion permission / inhibition determination process is not limited to the process of using them alone, and a plurality of them may be combined.
  • both the process using the loss rate and the process using the structural element may be performed.
  • it can be deleted by determination based on the loss rate,
  • it is determined that the image can be deleted based on the determination based on the structural element, it is determined that the determination target image can be deleted.
  • the processing unit 100 determines whether or not there is a possibility of missing the attention area in the determination target image using the lost area, and determines whether or not the determination target is missed. It is determined whether or not an image can be deleted.
  • the attention area is an area where the priority of observation for the user is relatively higher than other areas. For example, when the user is a doctor and desires treatment, an area in which a mucous membrane part or a lesion part is copied. Point to.
  • the attention area is an area in which the bubble or stool part is copied.
  • the bubble area and the residue area described above are not treated as unnecessary areas because the bubbles and the residues are useful subjects for observation.
  • the object that the user should pay attention to depends on the purpose of observation, but in any case, in the observation, an area in which the priority of observation for the user is relatively higher than other areas is the attention area.
  • the determination target image can be deleted from the viewpoint of whether or not there is a possibility of missing the attention area. If the target area is not missed unless the target image is deleted, but the target area is missed even if the reference image is left if the target image is deleted, the target target image is determined not to be deleted. Will do. There are various methods for determining the possibility of missing the attention area. For example, although the attention area is captured in a large area in the determination target image, the attention area may be captured only in a small area (or the image may not be captured at all). It is sufficient to determine that there is a possibility of oversight.
  • the processing unit 100 may determine whether or not there is a possibility of missing the attention area in the determination target image by determining whether or not the lost area includes an area having a size corresponding to the attention area. .
  • the lost region is a region that cannot be observed with the reference image when the determination target image is deleted as described above, and is a region that can include a region of interest because it is not an unnecessary region.
  • the attention region of a given size is captured on the determination target image, but the attention region is completely captured on the reference image. Respond to situations that may not.
  • the determination target image cannot be deleted.
  • the area of the size corresponding to the attention area is not included in the lost area, it is guaranteed that at least a part of the attention area captured on the determination target image is captured in the reference image. Therefore, the determination target image can be deleted.
  • the processing unit 100 may perform a contraction process using a structural element corresponding to the attention area on the lost area. As a result of the shrinking process, if there is a remaining area, it is determined that the target area may be missed, and it is determined that the determination target image cannot be deleted. If there is no remaining area as a result of the shrinking process, it is determined that there is no possibility of missing the attention area, and it is determined that the determination target image can be deleted.
  • the structural element is an element that represents a processing unit in the contraction process, and represents a circular element in FIG.
  • the contraction process is a process of scraping a region corresponding to a structural element from a target region as shown in FIGS. 12 (A) to 12 (F).
  • the processing unit 100 may combine both the determination based on the loss rate and the determination using the structural element for the lost region.

Abstract

　画像処理装置は、複数の構成画像を有する画像列を取得する画像列取得部２００と、画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部１００を含み、処理部１００は、複数の構成画像から基準画像と判定対象画像を選択し、判定対象画像の不要領域を検出し、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた喪失領域に基づいて、判定対象画像の削除可否の判定を行う。

Description

画像処理装置、プログラム及び画像処理方法
　本発明は、画像処理装置、プログラム及び画像処理方法等に関する。
　所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。
　そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。
特開２００９－５０２０号公報 特開２０１１－２４７６３号公報 特開２００７－３１３１１９号公報 特開２０１０－１１５４１３号公報 特開２０１２－１６４５４号公報 特開２０１１－２３４９３１号公報
　例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。
　しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。
　本発明の幾つかの態様によれば、変形情報を用いることで画像の削除により観察できなくなる領域の発生を抑止する画像要約処理を行い、その際に不要領域を用いることで当該画像要約処理の効率を向上させる画像処理装置、プログラム及び画像処理方法等を提供することができる。
　本発明の一態様は、複数の構成画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の構成画像から基準画像と判定対象画像を選択し、前記判定対象画像の不要領域を検出し、前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。
　本発明の一態様では、基準画像と判定対象画像の間の変形情報、及び不要領域から喪失領域を求め、求めた喪失領域に基づいて判定対象画像の削除可否判定を行う。不要領域を考慮することで、喪失領域としては基準画像ではカバーされず、且つカバーされることが望ましい（不要ではない）領域等を求めることができるため、適切な削除可否判定を行うこと等が可能になる。
　また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像のうち、前記被覆領域ではなく且つ前記不要領域でもない領域を、前記喪失領域として求めてもよい。
　これにより、判定対象画像のうちの被覆領域でも不要領域でもない領域を喪失領域として算出し、削除可否判定に用いることが可能になる。
　また、本発明の一態様では、前記処理部は、前記喪失領域に基づいて、前記基準画像と比較した前記判定対象画像の喪失率を算出し、算出した前記喪失率に基づいて、前記判定対象画像の削除可否の判定を行ってもよい。
　これにより、喪失率に基づいて削除可否判定を行うこと等が可能になる。
　また、本発明の一態様では、前記処理部は、前記判定対象画像に占める前記喪失領域の割合を、前記喪失率として算出してもよい。
　これにより、判定対象画像に占める喪失領域の割合を、喪失率として求めることが可能になる。
　また、本発明の一態様では、前記処理部は、前記喪失領域を用いて、前記判定対象画像において注目領域を見逃す可能性の有無を判定し、前記注目領域を見逃している可能性の有無に応じて、前記判定対象画像の削除可否の判定を行ってもよい。
　これにより、喪失領域との関係において、注目すべき領域である注目領域の見逃し可能性があるか否かという観点により、削除可否判定を行うこと等が可能になる。
　また、本発明の一態様では、前記処理部は、前記喪失領域に、前記注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、前記判定対象画像において前記注目領域を見逃す可能性の有無を判定してもよい。
　これにより、喪失領域に注目領域に対応するサイズの領域が含まれるか否かに基づいて、見逃し可能性の有無を判定することが可能になる。
　また、本発明の一態様では、前記処理部は、前記喪失領域に対して、前記注目領域に対応する構造要素を用いた収縮処理を行い、前記収縮処理の結果、残留領域がある場合に、前記注目領域を見逃す可能性があるとして、前記判定対象画像は削除不可であると判定し、前記収縮処理の結果、前記残留領域がない場合に、前記注目領域を見逃す可能性がないとして、前記判定対象画像は削除可能であると判定してもよい。
　これにより、喪失領域に対して構造要素を用いた収縮処理を行い、当該収縮処理の結果、残留領域があるか否かに基づいて、削除可否判定を行うこと等が可能になる。
　また、本発明の一態様では、前記画像列は生体内を撮像した生体内画像列であり、前記処理部は、前記判定対象画像の泡領域又は残渣領域を前記不要領域として検出してもよい。
　これにより、生体内画像における泡領域又は残渣領域を、不要領域として検出することが可能になる。
　また、本発明の一態様では、前記処理部は、前記判定対象画像の暗部領域又はハレーション領域を前記不要領域として検出してもよい。
　これにより、暗部領域又はハレーション領域を、不要領域として検出することが可能になる。
　本発明の他の態様は、上記の各部として、コンピュータを機能させるプログラムに関係する。
　本発明の他の態様は、複数の構成画像を有する画像列を取得し、前記複数の構成画像から基準画像と判定対象画像を選択し、前記判定対象画像の不要領域を検出し、前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。
図１（Ａ）～図１（Ｃ）は、不要領域を考慮する場合としない場合の差異を説明する図。 図２は、画像処理装置の構成例。 図３は、削除可否判定部の構成例。 図４は、第１の実施形態の処理を説明する図。 図５は、本実施形態の画像要約処理を説明するフローチャート。 図６は、削除可否判定処理を説明するためのフローチャート。 図７（Ａ）～図７（Ｃ）は、基準画像と判定対象画像の選択手法を説明する図。 図８は、複数の基準画像に基づいて被覆領域を求める処理を説明する図。 図９（Ａ）、図９（Ｂ）は、第１の基準画像と第２の基準画像を用いた削除可否判定処理を説明する図。 図１０は、削除可否判定部の他の構成例。 図１１は、第２の実施形態の処理を説明する図。 図１２（Ａ）～図１２（Ｆ）は、喪失領域に対する構造要素による収縮処理を説明する図。 図１３（Ａ）、図１３（Ｂ）は、判定対象画像のうち不要領域以外の領域に対する構造要素による収縮処理を説明する図。 図１４（Ａ）、図１４（Ｂ）は、基準画像と要被覆領域の包含判定の例。 図１５（Ａ）、図１５（Ｂ）は、構造要素を用いた他の処理を説明する図。 図１６は、画像処理装置の基本的な構成例。 図１７は、被覆領域に基づいて被覆率を求める手法を説明する図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の手法
　まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
　具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。
　従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。
　このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。
　そこで本出願人は、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）とを選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行う手法を提案する。
　変形情報を用いる画像要約処理の一例としては、図１７に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出することが考えられる。この場合、基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。
　よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。
　変形情報を用いた画像要約処理の別の例としては、非被覆領域に対する構造要素（注目領域に対応する）による収縮処理の結果に基づいて、判定対象画像の削除可否を判定してもよい。収縮処理は図１２（Ａ）～図１２（Ｆ）に示す処理である（ただし図１２（Ａ）～図１２（Ｆ）は対象が非被覆領域ではない）。詳細については後述するが、この場合、判定対象画像を削除したとしても当該判定対象画像上に撮像された構造要素のサイズ以上の領域の少なくとも一部は、基準画像上に撮像されることを保証できる。そのため、判定対象画像に注目領域全体が撮像されていた場合に、当該注目領域の判定対象画像上の位置によらず、その少なくとも一部を基準画像により観察できるため、注目領域の見逃し可能性を抑止することが可能になる。
　しかし、判定対象画像上に不要領域が存在する場合には、上述の被覆領域に基づいた画像要約処理では効率が悪い（残す必要のない画像まで要約処理後の画像列に残ってしまう）可能性がある。ここで不要領域とは、取得された画像を用いた処理を考えた場合に、当該処理において不要な被写体が撮像された領域、或いは暗部やハレーションのようにそもそも被写体が十分に撮像できていない領域を表す。どのような被写体が不要であるかは、その画像を用いて行われる処理によって異なるが、例えば内視鏡装置で撮像された生体内画像の例であれば、泡や残渣が不要な被写体と考えられる。なぜなら、生体内画像を用いて行われる診断等では、生体表面の粘膜や血管構造等が観察の対象であることが想定され、泡や残渣が重要となる可能性が低いためである。よって、そのような場合には、画像上において泡が撮像された泡領域、或いは残渣が撮像された残渣領域が不要領域となる。ただし、観察態様によっては泡等が観察対象となる可能性もあり、その場合には泡領域等も不要領域とはならない。
　図１（Ａ）～図１（Ｃ）を用いて、不要領域を考慮することによる利点を説明する。なお、図１（Ａ）～図１（Ｃ）は説明のために極端な形状を設定している。基準画像を変形情報を用いて変形して判定対象画像上に射影した結果、図１（Ａ）に示したような被覆領域が得られたとする。この場合、被覆率は５０％になり、判定対象画像に撮像された被写体の５０％が基準画像に撮像されていることになる。これは、判定対象画像を削除した場合、基準画像を残したとしても判定対象画像の５０％は観察できなくなる可能性があることを示している。例えば、削除可否判定に用いる被覆率の閾値を７０％とした場合（観察できなくなる被写体の割合を３０％まで許容する場合）であれば、図１（Ａ）の場合には判定対象画像は削除不可能と判定される。
　しかし、判定対象画像上に図１（Ｂ）に示したように不要領域が存在していた場合、当該不要領域にはそもそも価値のある被写体が撮像されていないのであるから、不要領域については判定対象画像を削除することで観察できなくなったとしても問題は生じない。言い換えれば、不要領域が基準画像によってカバーされない（被覆領域に含まれない）場合であっても、そのことは当該判定対象画像を削除できないとする理由にはならないということである。
　図１（Ｃ）のように、判定対象画像に被覆領域と不要領域とを考える。この場合、被覆領域については、対応する被写体が基準画像に撮像されているため、判定対象画像を削除したとしても当該被覆領域に撮像された被写体は基準画像において観察可能である。また、不要領域については上述したように、判定対象画像を削除することで観察できなくなったとしても差し支えない領域である。つまり、判定対象画像を削除した場合に観察できなくなり、且つ観察できなくなることで支障が生じる領域は、図１（Ｃ）の喪失領域を考えればよい。
　つまり、図１（Ａ）～図１（Ｃ）の判定対象画像では、図１（Ａ）のように被覆領域だけを考慮したのでは削除不可と判定すべきとも考えられるが、図１（Ｃ）のように不要領域まで考えれば、削除したとしてもそのことで失われる被写体領域は、判定対象画像の２５％にとどまる以上、削除可能と判定してよい。よってここでは、判定対象画像に占める喪失領域の割合を喪失率と定義し、当該喪失率に基づいて削除可否判定を行う。このようにすれば、図１（Ａ）～図１（Ｃ）に示したように、被覆率を用いた判定では削除不可とされてしまう判定対象画像についても、適切に削除可能と判定することができる。そのため、画像要約処理により削除可能と判定される可能性が向上するため、画像枚数の削減効果を向上させ、ユーザによる診断等を容易にすることが可能になる。
　これは、構造要素を用いた収縮処理についても同様である。構造要素を用いた処理では、判定対象画像を削除した場合に失われる領域（被覆領域だけ考えれば上述した非被覆領域）に所与のサイズ、形状の注目領域（例えば病変部）が完全に内包される可能性の有無を判定している。内包される場合には、判定対象画像においてその全体が撮像されていた注目領域が、判定対象画像を削除することで全て失われる（基準画像にはその一部も残らない）可能性があるためである。
　しかし不要領域とは上述したような泡領域等であるから、当該不要領域には病変部等の注目領域が含まれることはない。よって、収縮処理の対象として非被覆領域全体を考える必要はない。具体的には、非被覆領域のうち注目領域が撮像されうる領域だけを考慮すればよく、これは非被覆領域から不要領域を除いた領域であり図１（Ｃ）に示した喪失領域に他ならない。つまり、構造要素を用いる場合にも、被覆率の代わりに喪失率を求める例と同様に喪失領域を求め、求めた喪失領域を対象として処理を行えばよい。
　喪失領域は、非被覆領域と同じかそれ以下の面積の領域となるため、注目領域が喪失領域に内包される可能性は、注目領域が非被覆領域に内包される可能性よりも低くなる。これは判定対象画像を削除可能と判定される可能性の向上につながるため、この場合にも画像枚数の削減効果の向上が可能となる。
　ここでの画像処理装置の１つの実施形態としては、図１６に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の構成画像を有する画像列を取得する。処理部１００は、画像列取得部２００が取得した画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う。そして処理部１００は、複数の構成画像から基準画像と判定対象画像を選択し、判定対象画像の不要領域を検出し、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、基準画像と比較した判定対象画像の喪失領域を求め、求めた喪失領域に基づいて、判定対象画像の削除可否の判定を行う。
　以下、第１の実施形態では喪失率に基づいて、判定対象画像の削除可否判定処理を行う手法について説明する。また、第２の実施形態では構造要素を用いた収縮処理に基づいて、判定対象画像の削除可否判定処理を行う手法について説明する。
　２．第１の実施形態
　喪失率に基づいて判定対象画像の削除可否判定処理を行う手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。
　２．１　システム構成例
　図２に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。
　処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
　画像列取得部２００は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。
　記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
　また、処理部１００は、図２に示したように変形情報取得部１００１と、不要領域検出部１００２と、基準画像選択部１００３と、判定対象画像選択部１００４と、削除可否判定部１００５と、を含んでもよい。なお処理部１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。
　変形情報取得部１００１は、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。判定対象画像の削除可否判定においては、変形情報取得部１００１は、基準画像選択部１００３で選択された基準画像と、判定対象画像選択部１００４で選択された判定対象画像の間の変形情報を取得し、取得した変形情報に基づいて削除可否判定処理が行われる。
　ただし、変形情報取得部１００１は、基準画像と判定対象画像の間の変形情報を直接求めるものに限定されない。例えば、処理対象となる画像列において、隣り合う画像間の変形情報を求めておき、隣り合わない画像間での変形情報は、隣り合う画像間の変形情報を組み合わせて算出するものであってもよい。この場合、基準画像と判定対象画像の間の変形情報は、基準画像、判定対象画像、及びその間の画像での隣り合う画像間の変形情報を（狭義には全て）組み合わせることで求めることになる。
　このようにすることで、変形情報の算出処理の負荷を軽くすることが可能になる。なぜなら、変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなるためである。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。
　例えば、画像列取得部２００により取得された画像列がＮ枚の画像を含んでいた場合、その中から２枚の画像を選択する組み合わせはＮ×（Ｎ－１）／２通り考えられるため、基準画像と判定対象画像の間の変形情報を直接求めるとすると、負荷の重い処理（変形情報を一から算出する処理）をＮ２のオーダーの回数だけ行う可能性がある。それに対して、隣り合う画像間の変形情報を用いるようにすれば、負荷の重い処理はＮ－１回ですむ。
　不要領域検出部１００２は、取得した画像列に含まれる各画像の不要領域を検出する。不要領域としては泡領域、残渣領域、暗部領域、ハレーション領域が考えられる。なお、暗部領域とは画像が黒つぶれしている領域のことであり、例えばＲＧＢの各画素値から算出される輝度値の値が所与の閾値よりも小さい画素により構成される領域である。また、ハレーション領域とは画像が白飛びしている領域のことであり、例えばＲＧＢの各画素値から算出される輝度値の値が所与の閾値よりも大きい画素により構成される領域である。
　泡領域、残渣領域、暗部領域、ハレーション領域の各領域の検出手法は種々考えられるが、例えばそれぞれ特許文献３～６に開示された手法を用いればよい。なお、不要領域としては泡領域等のうちいずれか１つを用いてもよいし、複数を組み合わせてもよい。複数を組み合わせる場合には、各領域の和領域を不要領域とすればよい。ここで、画像上における領域Ａと領域Ｂの和領域とは、画像を構成する画素のうち領域Ａ及び領域Ｂの少なくとも一方の領域に含まれる画素の集合である領域のことである。
　基準画像選択部１００３は、部分画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００４は、部分画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。
　削除可否判定部１００５は、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、判定対象画像の削除可否判定処理を行う。本実施形態では、判定対象画像を削除した場合に喪失される領域の割合を表す喪失率に基づいて、判定対象画像の削除可否判定処理を行う。
　削除可否判定部１００５は、図３に示したように被覆領域算出部１００９と、喪失領域算出部１０１０と、喪失率算出部１０１１と、閾値判定部１０１２と、を含んでもよい。ただし、削除可否判定部１００５は、図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
　被覆領域算出部１００９は、２つの画像間の変形情報（変形パラメータ）を利用して、基準画像を判定対象画像へ射影して被覆領域を求める。
　喪失領域算出部１０１０は、被覆領域と不要領域とから喪失領域を求める。図１（Ａ）～図１（Ｃ）では被覆領域と不要領域が重なり合わない例を示したが、重なり合ったとしても喪失領域は同様に求めることができる。具体的には図４に示したように、判定対象画像のうち、被覆領域に含まれず、且つ不要領域にも含まれない領域を喪失領域とすればよい。
　喪失率算出部１０１１は、喪失領域に基づいて喪失率を算出する。具体的には、判定対象画像の面積に対する喪失領域の面積の割合を喪失率として求めればよい。領域の面積としては、当該領域に含まれる画素の数をそのまま用いることもできる。
　閾値判定部１０１２は、算出された喪失率と所与の閾値との比較処理を行う。喪失率は、判定対象画像を削除した場合に失われる被写体の面積の割合を表す指標値であるから、大きい場合には判定対象画像は削除不可と判定し、小さい場合には判定対象画像は削除可能と判定する。具体的には、所与の閾値Ｔｈを設定し、喪失率がＴｈ未満であれば判定対象画像を削除可能と判定し、Ｔｈ以上（その値を含む）であれば判定対象画像を削除不可と判定すればよい。
　２．２　処理の流れ
　次に、図５のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず変形推定処理が行われる（Ｓ１０１）。具体的には、上述したように隣接する２つの画像間での変形情報を求める処理に相当する。
　そして、取得した画像列の各画像から不要領域を検出する（Ｓ１０２）。不要領域として複数の領域を考える場合には、上述したように各領域の和領域を求めておいてもよい。
　その後、画像列から基準画像を選択する（Ｓ１０３）。Ｓ１０３の処理が初めて行われる場合には、画像列の先頭の画像を基準画像として選択すればよい。また、２回目以降のＳ１０３の処理（Ｓ１０５からＳ１０３に戻った場合）では、Ｓ１０５での削除可否判定処理で削除不可と判定された判定対象画像を新たな基準画像として選択する。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等により部分画像列から基準画像を選択できない場合には、画像要約処理を終了する。
　基準画像が選択された場合には、画像列に含まれる画像から判定対象画像を選択する（Ｓ１０４）。ここでは画像列において基準画像の後方の画像から判定対象画像を選択するものとする。具体的には、Ｓ１０３での基準画像の選択或いは更新処理後、初めてＳ１０４の処理が行われる場合には、基準画像の次の画像を判定対象画像として選択する。また、すでに基準画像を起点としてｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして基準画像を起点としてｋ＋１番目の画像を新たな判定対象画像として選択する。Ｓ１０４で選択する画像がない場合とは、画像列の最後の画像まで削除可否判定処理が行われたということであるため、画像要約処理を終了する。
　基準画像と判定対象画像が選択されたら、Ｓ１０１で求めた（或いはＳ１０１で求めた変形情報を組み合わせることで取得された）基準画像と判定対象画像の間の変形情報、及びＳ１０２で検出された不要領域に基づいて判定対象画像の削除可否判定処理を行う（Ｓ１０５）。
　Ｓ１０５の削除可否判定処理の流れを図６のフローチャートを用いて説明する。この処理が開始されると、まず、基準画像を変形情報（変形パラメータ）を用いて変形することで被覆領域を求める（Ｓ２０１）。そして、判定対象画像のうち、被覆領域でも不要領域でもない領域を喪失領域として求め（Ｓ２０２）、判定対象画像に占める喪失領域の割合を喪失率として算出する（Ｓ２０３）。算出した喪失率と所与の閾値との比較処理を行って（Ｓ２０４）、判定対象画像の削除可否を判定する。
　Ｓ１０５で削除可能と判定された場合には、Ｓ１０４に戻り判定対象画像の更新処理を行う。また、Ｓ１０５で削除不可と判定された場合には、その際の基準画像では判定対象画像をカバーできないということであるから、その際の判定対象画像は要約画像列に残す必要があるということになる。よって、Ｓ１０３に戻り、Ｓ１０５で削除不可と判定された判定対象画像を新たな基準画像として選択する。
　以上の画像列に対する画像要約処理を図示したものが図７（Ａ）～図７（Ｃ）である。図７（Ａ）に示したように、Ｎ枚の画像を有する画像列に対して、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で喪失率が算出され、判定対象画像の削除可否が判定される。
　判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図７（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。
　図７（Ｃ）に示したように、２番目～ｋ－１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目～ｋ－１番目までの画像は当該画像を削除したとしても失われる被写体はある程度（閾値に対応する程度）に抑えられているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は、当該画像を削除すると基準画像を残したとしても多くの被写体が失われるため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像を新たな基準画像として設定する。
　そして、新たな基準画像が選択されたら、その１つ後方の画像を判定対象画像として選択し、再度図７（Ａ）～図７（Ｃ）の処理を繰り返せばよい。その後も同様であり、判定対象画像が削除可能であれば、判定対象画像を１つ後方の画像に更新し、判定対象画像が削除不可であれば、その画像を新たな基準画像として選択する。そして、画像列の全ての画像について削除可否を判定したら処理を終了する。
　２．３　変形例
　なお、基準画像と判定対象画像の選択手法には種々の変形例が考えられる。例えば、基準画像を複数選択してもよい。その場合、複数の基準画像のいずれかによりカバーされている判定対象画像の領域は、当該判定対象画像を削除したとしても失われることはない。よって、図８に示したように各基準画像を変形して求められた領域の和集合に相当する領域を被覆領域として処理を行えばよい。被覆領域算出後の、喪失領域の算出、喪失率の算出、閾値判定の各処理は上述した例と同様である。
　基準画像を複数選択する手法としては、図９（Ａ）、図９（Ｂ）に示したように、判定対象画像の前方から１枚、後方から１枚の計２枚の基準画像を選択する手法が考えられる。この場合、２枚の基準画像の間の画像を順次判定対象画像として選択する。そして、２枚の基準画像の間の画像が全て削除可能であれば、当該２枚の基準画像を要約画像列に残し、間の画像を削除することで、画像を削除したとしても失われる被写体の度合いが一定以下であることを保証する削除可否判定処理を行えることになる。
　ただし、要約画像の枚数を少なくするという観点で削除可否判定処理を行うのであれば、第１の基準画像（前方）と第２の基準画像（後方）により間の画像を全て削除できるという条件を満たし、且つその中で第１の基準画像と第２の基準画像が最も離れている位置を探索するとよい。その場合、第１の基準画像が確定している場合には、図９（Ａ）、図９（Ｂ）に示したように、ｋ番目の画像を第２の基準画像とした場合には間の画像を全て削除できるが、ｋ＋１番目の画像を第２の基準画像とした場合には間の画像の少なくとも１枚が削除できないようなｋを探索することになる。条件を満たすｋが見つかった場合には、ｋ番目の画像を新たな第１の基準画像として選択し、その後方から第２の基準画像を選択する。そして、その間の画像を順次判定対象画像として選択して削除可否判定処理を行い、上述したように、間の画像が全て削除可能で、且つ新たな第１の基準画像から最も遠い第２の基準画像を探索する処理を繰り返せばよい。この手法では、探索中の第２の基準画像は、要約画像列に残す画像の候補であり、実際に要約画像列に残す画像は第１の基準画像となる。
　その他、基準画像と判定対象画像の選択は種々の手法により実現可能である。
　以上の本実施形態では、画像処理装置は図２に示したように、複数の構成画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部１００を含む。そして処理部１００は、複数の構成画像から基準画像と判定対象画像を選択し、判定対象画像の不要領域を検出する。さらに処理部１００は、基準画像と判定対象画像の間の変形情報、及び不要領域に基づいて、判定対象画像を削除した場合に失われる領域である喪失領域を求め、求めた喪失領域に基づいて、判定対象画像の削除可否の判定を行う。
　ここで、不要領域とは、画像列に含まれる画像を用いた処理（内視鏡装置で撮像された生体内画像であればドクターによる診断等）において不要となる画像上の領域を指す。例えば、画像列として生体内を撮像した生体内画像列を取得した場合には、処理部１００は、判定対象画像の泡領域又は残渣領域を不要領域として検出してもよい。ここで泡領域とは、画像において泡が撮像されている領域を表す。生体内では例えば細菌等の活動により生じるガスに起因して泡が生じることが考えられる。泡領域の検出は例えば特許文献３の手法等を用いればよい。また、残渣領域とは、画像において残渣が撮像されている領域を表す。残渣としては消化しきれなかった食物等が考えられる。残渣領域の検出は例えば特許文献４の手法等を用いればよい。
　或いは、処理部１００は、判定対象画像の暗部領域又はハレーション領域を不要領域として検出してもよい。暗部領域とは、当該領域においては被写体が十分観察できない程度に画像が黒つぶれしている領域を表す。逆にハレーション領域とは、当該領域においては被写体が十分観察できない程度に画像が白飛びしている領域を表す。このような領域では、診断等の処理に有用な被写体を対象に撮像が行われていたとしても、画像上では当該有用な被写体を観察することができない以上、診断等の処理において何ら有用ではない。よって本実施形態では暗部領域やハレーション領域を不要領域としてもよい。
　これにより不要領域を考慮した上で、画像間の変形情報を用いた画像要約処理を行うことが可能になる。変形情報を用いることで、画像を削除した場合に観察できなくなる被写体の発生度合いを適切に制御することが可能になり、特に内視鏡装置による生体内画像を対象とする場合には病変部の見逃しを抑止することができる。不要領域を用いない場合、図１（Ａ）、図１（Ｂ）に示したように実質的に残す意義が認められない画像まで削除不可と判定される可能性があったが、不要領域を用いることで、図１（Ｃ）に示したようにそのような画像を適切に削除することができる。つまり、不要領域を用いない場合に比べて、画像要約処理後の要約画像列に含まれる画像枚数を削減することができ、ユーザの負担軽減等が可能になる。
　また、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求めてもよい。そして、判定対象画像のうち、被覆領域ではなく且つ不要領域でもない領域を喪失領域として求める。
　これにより、図１或いは図４に示したように、被覆領域及び不要領域から喪失領域を求めて、判定対象画像の削除可否判定を行うことが可能になる。ここで被覆領域に撮像されている被写体と、基準画像に撮像されている被写体とは対応する（変形情報等に誤差が生じない理想的な状況では一致する）ことから、被覆領域とは、判定対象画像を削除したとしても基準画像を残すことでカバーされる領域となる。一方、不要領域は上述したように、そもそも有用な被写体は撮像されていないのであるから、カバーされる必要がない。つまり、判定対象画像を削除することで観察できなくなり、且つ有用である可能性のある領域が喪失領域と言うことになる。
　また、処理部１００は、喪失領域に基づいて、基準画像と比較した判定対象画像の喪失率を算出し、算出した喪失率に基づいて、判定対象画像の削除可否の判定を行ってもよい。この際、処理部１００は、判定対象画像に占める喪失領域の割合を、喪失率として算出してもよい。
　これにより、喪失率に基づいて判定対象画像の削除可否判定を行うことが可能になる。例えば、判定対象画像に占める喪失領域の割合（さらに具体的には、判定対象画像の面積に対する、喪失領域の面積の割合）として喪失率を求めてもよく、喪失領域が求まればその後は容易な演算により削除可否判定を行うことができる。ただし、喪失率は判定対象画像を削除した場合に喪失する（基準画像を残したとしても観察できなくなる）被写体の程度を表す情報であればよく、割合・比率等に限定されるものではない。
　なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
　３．第２の実施形態
　次に、喪失領域と構造要素を用いた削除可否判定処理の手法について説明する。本実施形態の画像処理装置の構成例は、削除可否判定部１００５での処理内容が異なるものの、図２と同様であるため詳細な説明は省略する。また、処理の流れについても、Ｓ１０５での処理内容が異なるものの、図５のフローチャートと同様であるため詳細な説明は省略する。
　３．１　構造要素を用いた削除可否判定
　まず、削除可否判定処理として、注目領域に対応した構造要素を用いた処理を行う例について説明する。図１０に示したように、削除可否判定部１００５は、構造要素生成部１０１７と、被覆領域算出部１００９と、喪失領域算出部１０１０と、注目領域見逃し可能性判定部１０１８と、を含んでもよい。ただし、削除可否判定部１００５は、図１０の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
　構造要素生成部１０１７は、注目領域に基づいて、注目領域見逃し可能性判定部１０１８での処理に用いられる構造要素を生成する。ここでは、見逃しが好ましくない注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。
　被覆領域算出部１００９は、被覆領域を算出し、喪失領域算出部１０１０は、被覆領域及び不要領域に基づいて喪失領域を算出する。
　注目領域見逃し可能性判定部１０１８は、判定対象画像を削除した場合に、判定対象画像上に撮像された注目領域が、基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。
　具体的な処理の流れを説明する。構造要素生成部１０１７は、注目領域に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。
　基準画像と判定対象画像が選択されたら、変形情報取得部１００１は、基準画像と判定対象画像の間の変形情報を取得する。被覆領域算出部１００９は、取得された変形情報を利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める。被覆領域が算出されたら、喪失領域算出部１０１０は、判定対象画像のうち被覆領域でも不要領域でもない領域を喪失領域として求める。
　注目領域見逃し可能性判定部１０１８は、注目領域の見逃し可能性を判定する。具体的には、喪失領域に対して、構造要素を用いた収縮処理を行い、図１１に示したように残留領域があるか否かの判定を行う。
　収縮処理の具体例について図１２（Ａ）～図１２（Ｆ）を用いて説明する。喪失領域は図１２（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図１２（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。
　この際、構造要素による収縮処理とは、当該構造要素の基準点を喪失領域の境界上に設定した場合に、喪失領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、喪失領域の境界上に中心を有する円を描き、当該円と喪失領域とが重なる部分を喪失領域から除外する処理を行うことになる。具体的には、図１２（Ａ）に示したように、喪失領域の外側境界ＢＯ１上の点を中心とする円を描き、喪失領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。
　外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図１２（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、喪失領域との重複領域を喪失領域から除外していけばよい。
　喪失領域の境界の一部が判定対象画像の境界と一致する場合等では、喪失領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図１２（Ａ）のＢＯ１、ＢＯ２に示したように、喪失領域の境界として複数の境界が考えられる場合には、それぞれについて上述の処理を行う。具体的には、図１２（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、喪失領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。
　このような収縮処理を行うことで、喪失領域の面積は小さくなる。例えば、図１２（Ａ）の喪失領域の左部に着目した場合、図１２（Ａ）で示したＢＯ１での収縮処理、及び図１２（Ｂ）で示したＢＯ２での収縮処理により、喪失領域は完全に削除され、残留する領域は存在しない。一方、喪失領域の右下部分に着目した場合、図１２（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの喪失領域全体に対して構造要素による収縮処理を行った結果は、図１２（Ｄ）のようになり、残留領域ＲＥが生じることになる。
　ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である喪失領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、喪失領域に含まれる点のうち、上記境界上の点から距離ｒ以内（その値を含む）にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、喪失領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。
　つまり、残留領域が存在する場合とは、図１２（Ｅ）の右下に示したように、構造要素に対応する領域が喪失領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図１２（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。また、図１２（Ｆ）に示したように、注目領域の少なくとも一部が不要領域に含まれるように見える箇所も存在しうるが、不要領域にはそもそも注目領域が撮像されることはない。よって、判定対象画像上の図１２（Ｆ）の点線で示した位置に注目領域が存在するという可能性は考慮しなくてもよく、この場合も判定対象画像を削除しても注目領域を見逃すことはないと考えることができる。
　以上のことより、注目領域見逃し可能性判定部１０１８では、喪失領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、判定対象画像の削除可否判定を行う。
　ただし、構造要素による収縮処理の対象は喪失領域に限定されるものではない。例えば、図１３（Ａ）に示したように、判定対象画像のうち、不要領域を除いた領域を対象として構造要素による収縮処理を行ってもよい。この場合、収縮処理により削られる領域内に注目領域が完全に収まってしまわないように設定する（典型的には構造要素として注目領域の２倍のサイズの要素を設定する）ことで、図１３（Ｂ）に示したように、残存領域は基準画像により被覆されることが求められる要被覆領域となる。つまりこの場合、要被覆領域全体が基準画像により被覆されているか否かにより削除可否判定を行えばよく、具体的には図１４（Ａ）、図１４（Ｂ）に示したように、基準画像及び要被覆領域の一方を変形情報により変形し、変形後の領域を用いた包含判定を行えばよい。要被覆領域が基準画像に包含される場合には、判定対象画像は削除可能となり、包含されない部分があれば判定対象画像は削除不可となる。
　また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、喪失領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図１５（Ａ）や図１５（Ｂ）に示したように、被覆領域と不要領域との和領域の境界上の点（ｐ１～ｐ６等）から判定対象画像の境界までの距離（ｋ１～ｋ６等）、或いは判定対象画像の境界上の点から上記和領域の境界までの距離に基づいて、喪失領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。なお、図１５（Ａ）は判定対象画像が四角形の例、図１５（Ｂ）は判定対象画像が円形状である例を示したものである。
　３．２　削除可否判定の変形例
　上述したように、削除可否判定処理としては、喪失率を用いたものや構造要素を用いたものが考えられる。ただし、削除可否判定処理はそれらを単体で用いる処理に限定されず、複数を組み合わせてもよい。
　例えば、削除可否判定処理として、喪失率を用いた処理と構造要素を用いた処理の両方を行ってもよい。この場合、観察できなくなる領域の発生を抑止し、且つ注目領域の見落とし可能性を抑止することで要約画像列の有用性を高めるという観点から考えれば、喪失率に基づく判定で削除可能とされ、且つ構造要素に基づく判定で削除可能とされた場合に、判定対象画像を削除可能と判定して、それ以外の場合には削除不可と判定すればよい。
　以上の本実施形態では、処理部１００は、喪失領域を用いて、判定対象画像において注目領域を見逃す可能性の有無を判定し、注目領域を見逃している可能性の有無に応じて、判定対象画像の削除可否の判定を行う。
　ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。
　また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。この場合には、泡や残渣が観察上、有用な被写体と言うことになるため、上述した泡領域や残渣領域は不要領域として扱われないことは言うまでもない。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。
　これにより、注目領域を見逃す可能性があるか否かという観点から判定対象画像の削除可否判定を行うことが可能になる。判定対象画像を削除しなければ注目領域を見逃さないのに、判定対象画像を削除してしまうと基準画像を残したとしても注目領域を見逃すことになる場合に、判定対象画像を削除不可と判定することになる。注目領域の見逃し可能性の判定手法は種々考えられるが、例えば判定対象画像では注目領域が大きく撮像されているのに、基準画像では注目領域が小さくしか撮像され得ない（或いは全く撮像されない可能性がある）等の場合に、見逃し可能性があると判定すればよい。
　また、処理部１００は、喪失領域に、注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、判定対象画像において注目領域を見逃す可能性の有無を判定してもよい。
　これにより、喪失領域と、注目領域に対応するサイズの領域との包含関係に基づいて、注目領域の見逃し可能性を判定し、判定対象画像の削除可否判定を行うことが可能になる。ここで喪失領域とは、上述したように判定対象画像を削除した場合に基準画像では観察できない領域であり、且つ不要領域でもないことから注目領域が含まれうる領域である。つまり、注目領域に対応するサイズの領域が喪失領域に含まれる場合とは、判定対象画像上に所与のサイズの注目領域が撮像されていながら、基準画像上では当該注目領域が全く撮像されていない可能性がある状況に対応する。この場合、注目領域を見逃す可能性があるため、判定対象画像は削除不可とする。逆に、注目領域に対応するサイズの領域が喪失領域に含まれることがないのであれば、判定対象画像上に撮像された注目領域の少なくとも一部が、基準画像に撮像されていることが保証できるため、判定対象画像は削除可能である。
　また、処理部１００は、喪失領域に対して、注目領域に対応する構造要素を用いた収縮処理を行ってもよい。そして、収縮処理の結果、残留領域がある場合に、注目領域を見逃す可能性があるとして、判定対象画像は削除不可であると判定する。また、収縮処理の結果、残留領域がない場合に、注目領域を見逃す可能性がないとして、判定対象画像は削除可能であると判定する。
　ここで構造要素とは、収縮処理における処理単位を表す要素であり、図１２（Ａ）等における円形状の要素を表す。また、収縮処理とは、図１２（Ａ）～図１２（Ｆ）に示したように、対象となる領域から構造要素に対応する領域を削り取る処理である。
　これにより、喪失領域に構造要素（ここでは注目領域と同等のサイズ）が完全に収まってしまうか否かを精度よく判定することが可能になる。図１２（Ａ）～図１２（Ｆ）を用いて上述したように、残留領域の有無は、喪失領域に構造要素が完全に収まってしまうか否かに対応することになる。ここでの判定は厳密なものとなるため、図１３（Ａ）～図１５（Ｂ）等の手法等に比べると、削除可否判定の精度を高くすることができる。ただし、処理負荷の軽減等が重要視されるケースにおいては、図１３（Ａ）～図１５（Ｂ）等の手法を用いることを妨げるものではない。
　また、本実施形態の処理部１００は、変形例において上述したように、喪失率に基づく判定と、喪失領域に対する構造要素を用いた判定の両方を組み合わせてもよい。
　以上、本発明を適用した２つの実施の形態１～２およびその変形例について説明したが、本発明は、各実施の形態１～２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１～２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１～２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１００　処理部、２００　画像列取得部、３００　記憶部、
１００１　変形情報取得部、１００２　不要領域検出部、
１００３　基準画像選択部、１００４　判定対象画像選択部、
１００５　削除可否判定部、１００９　被覆領域算出部、
１０１０　喪失領域算出部、１０１１　喪失率算出部、
１０１２　閾値判定部、１０１７　構造要素生成部、
１０１８　注目領域見逃し可能性判定部、
ＢＯ１　外側境界、ＢＯ２　内側境界、ＲＥ　残留領域

Claims (11)

  1. 　複数の構成画像を有する画像列を取得する画像列取得部と、
    　前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部と、
    　を含み、
    　前記処理部は、
    　前記複数の構成画像から基準画像と判定対象画像を選択し、
    　前記判定対象画像の不要領域を検出し、
    　前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、
    　求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  2. 　請求項１において、
    　前記処理部は、
    　前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
    　前記判定対象画像のうち、前記被覆領域ではなく且つ前記不要領域でもない領域を、前記喪失領域として求めることを特徴とする画像処理装置。
  3. 　請求項１において、
    　前記処理部は、
    　前記喪失領域に基づいて、前記判定対象画像を削除した場合に失われる領域の割合を表す喪失率を算出し、算出した前記喪失率に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  4. 　請求項３において、
    　前記処理部は、
    　前記判定対象画像に占める前記喪失領域の割合を、前記喪失率として算出することを特徴とする画像処理装置。
  5. 　請求項１において、
    　前記処理部は、
    　前記喪失領域を用いて、前記判定対象画像において注目領域を見逃す可能性の有無を判定し、前記注目領域を見逃している可能性の有無に応じて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  6. 　請求項５において、
    　前記処理部は、
    　前記喪失領域に、前記注目領域に対応するサイズの領域が含まれるか否かの判定を行うことで、前記判定対象画像において前記注目領域を見逃す可能性の有無を判定することを特徴とする画像処理装置。
  7. 　請求項５において、
    　前記処理部は、
    　前記喪失領域に対して、前記注目領域に対応する構造要素を用いた収縮処理を行い、
    　前記収縮処理の結果、残留領域がある場合に、前記注目領域を見逃す可能性があるとして、前記判定対象画像は削除不可であると判定し、
    　前記収縮処理の結果、前記残留領域がない場合に、前記注目領域を見逃す可能性がないとして、前記判定対象画像は削除可能であると判定することを特徴とする画像処理装置。
  8. 　請求項１乃至７のいずれかにおいて、
    　前記画像列は生体内を撮像した生体内画像列であり、
    　前記処理部は、
    　前記判定対象画像の泡領域又は残渣領域を前記不要領域として検出することを特徴とする画像処理装置。
  9. 　請求項１乃至７のいずれかにおいて、
    　前記処理部は、
    　前記判定対象画像の暗部領域又はハレーション領域を前記不要領域として検出することを特徴とする画像処理装置。
  10. 　複数の構成画像を有する画像列を取得する画像列取得部と、
    　前記画像列取得部が取得した前記画像列の前記複数の構成画像の一部を削除して要約画像列を生成する画像要約処理を行う処理部として、
    　コンピュータを機能させ、
    　前記処理部は、
    　前記複数の構成画像から基準画像と判定対象画像を選択し、
    　前記判定対象画像の不要領域を検出し、
    　前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、
    　求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。
  11. 　複数の構成画像を有する画像列を取得し、
    　前記複数の構成画像から基準画像と判定対象画像を選択し、
    　前記判定対象画像の不要領域を検出し、
    　前記基準画像と前記判定対象画像の間の変形情報、及び前記不要領域に基づいて、前記判定対象画像を削除した場合に失われる領域である喪失領域を求め、
    　求めた前記喪失領域に基づいて、前記判定対象画像の削除可否の判定を行い、
    　前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。
PCT/JP2013/075079 2012-09-27 2013-09-18 画像処理装置、プログラム及び画像処理方法 WO2014050637A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380050261.8A CN104662582B (zh) 2012-09-27 2013-09-18 图像处理装置和图像处理方法
EP13840346.4A EP2902961B1 (en) 2012-09-27 2013-09-18 Image processing device, program, and image processing method
US14/669,447 US9652835B2 (en) 2012-09-27 2015-03-26 Image processing device, information storage device, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012214531A JP5948200B2 (ja) 2012-09-27 2012-09-27 画像処理装置、プログラム及び画像処理方法
JP2012-214531 2012-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/669,447 Continuation US9652835B2 (en) 2012-09-27 2015-03-26 Image processing device, information storage device, and image processing method

Publications (1)

Publication Number Publication Date
WO2014050637A1 true WO2014050637A1 (ja) 2014-04-03

Family

ID=50388043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/075079 WO2014050637A1 (ja) 2012-09-27 2013-09-18 画像処理装置、プログラム及び画像処理方法

Country Status (5)

Country Link
US (1) US9652835B2 (ja)
EP (1) EP2902961B1 (ja)
JP (1) JP5948200B2 (ja)
CN (1) CN104662582B (ja)
WO (1) WO2014050637A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6242072B2 (ja) 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP6006112B2 (ja) * 2012-12-28 2016-10-12 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US9734168B1 (en) * 2013-12-08 2017-08-15 Jennifer Shin Method and system for organizing digital files
JP6824868B2 (ja) * 2017-12-22 2021-02-03 サイバネットシステム株式会社 画像解析装置及び画像解析方法
CN111860475B (zh) * 2019-04-28 2023-12-19 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124965A (ja) * 2003-10-27 2005-05-19 Olympus Corp 画像処理装置、該方法、及び該プログラム
JP2006296569A (ja) * 2005-04-18 2006-11-02 Olympus Medical Systems Corp 画像表示装置
JP2006320650A (ja) * 2005-05-20 2006-11-30 Olympus Medical Systems Corp 画像表示装置
JP2007313119A (ja) 2006-05-26 2007-12-06 Olympus Corp 画像処理装置及び画像処理プログラム
JP2009005020A (ja) 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2009297365A (ja) * 2008-06-16 2009-12-24 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置
JP2010115413A (ja) 2008-11-14 2010-05-27 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010183290A (ja) * 2009-02-04 2010-08-19 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2011234931A (ja) 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012016454A (ja) 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473369A (en) 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus
US5767922A (en) 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
US6724915B1 (en) 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
US6389168B2 (en) 1998-10-13 2002-05-14 Hewlett Packard Co Object-based parsing and indexing of compressed video streams
US7280753B2 (en) 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
WO2005039399A1 (ja) 2003-10-27 2005-05-06 Olympus Corporation 画像処理装置、画像処理方法及び画像処理プログラム
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
US7376246B2 (en) 2005-06-27 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Subspace projection based non-rigid object tracking with particle filters
JP2007195586A (ja) 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
CN101721199B (zh) 2008-10-14 2012-08-22 奥林巴斯医疗株式会社 图像显示装置以及图像显示方法
JP5117353B2 (ja) 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5374135B2 (ja) 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP5454570B2 (ja) 2009-03-31 2014-03-26 日本電気株式会社 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム
JP2011175599A (ja) * 2010-02-25 2011-09-08 Canon Inc 画像処理装置、その処理方法及びプログラム
JP5712489B2 (ja) * 2010-03-03 2015-05-07 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
CN102096917B (zh) 2010-12-22 2012-08-15 南方医科大学 胶囊内窥镜冗余图像数据的自动剔除方法
CN103596489A (zh) * 2011-06-10 2014-02-19 株式会社日立医疗器械 图像诊断支持装置、以及方法
CN106127796B (zh) 2012-03-07 2019-03-26 奥林巴斯株式会社 图像处理装置和图像处理方法
EP2823749A4 (en) 2012-03-08 2016-07-20 Olympus Corp Image processing device, program and image processing method
EP2839770A4 (en) * 2012-04-18 2015-12-30 Olympus Corp Image processing device, program and image processing method

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124965A (ja) * 2003-10-27 2005-05-19 Olympus Corp 画像処理装置、該方法、及び該プログラム
JP2006296569A (ja) * 2005-04-18 2006-11-02 Olympus Medical Systems Corp 画像表示装置
JP2006320650A (ja) * 2005-05-20 2006-11-30 Olympus Medical Systems Corp 画像表示装置
JP2009508567A (ja) * 2005-09-15 2009-03-05 ギブン イメージング リミテッド データストリームを表示するシステムおよび方法
JP2007313119A (ja) 2006-05-26 2007-12-06 Olympus Corp 画像処理装置及び画像処理プログラム
JP2009005020A (ja) 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2009297365A (ja) * 2008-06-16 2009-12-24 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置
JP2010115413A (ja) 2008-11-14 2010-05-27 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010183290A (ja) * 2009-02-04 2010-08-19 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2011234931A (ja) 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2012016454A (ja) 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2902961A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN112232232B (zh) * 2020-10-20 2022-09-27 城云科技（中国）有限公司 一种目标检测方法

Also Published As

Publication number Publication date
JP2014071470A (ja) 2014-04-21
CN104662582B (zh) 2018-06-05
EP2902961B1 (en) 2017-11-01
JP5948200B2 (ja) 2016-07-06
US9652835B2 (en) 2017-05-16
EP2902961A4 (en) 2016-09-21
EP2902961A1 (en) 2015-08-05
US20150199800A1 (en) 2015-07-16
CN104662582A (zh) 2015-05-27

Similar Documents

Publication Publication Date Title
JP6242072B2 (ja) 画像処理装置、プログラム及び画像処理装置の作動方法
JP5948200B2 (ja) 画像処理装置、プログラム及び画像処理方法
US10037468B2 (en) Image processing device, information storage device, and image processing method
WO2013133370A1 (ja) 画像処理装置、プログラム及び画像処理方法
WO2013133368A1 (ja) 画像処理装置、プログラム及び画像処理方法
JP2015032127A (ja) 画像処理装置、画像処理方法及びプログラム
US20180342079A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP6168876B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP5963480B2 (ja) 画像要約装置及びプログラム
JP5973771B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP5835797B2 (ja) パノラマ画像作成プログラム
JP5973783B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP5973770B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP5980567B2 (ja) 画像処理装置、プログラム及び画像処理装置の作動方法
JP6006112B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2016160862A1 (en) Method of overlap-dependent image stitching for images captured using a capsule camera
JP5896791B2 (ja) 画像処理装置、プログラム及び画像処理方法
JPWO2021176852A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13840346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013840346

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013840346

Country of ref document: EP