WO2016139717A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2016139717A1
WO2016139717A1 PCT/JP2015/056070 JP2015056070W WO2016139717A1 WO 2016139717 A1 WO2016139717 A1 WO 2016139717A1 JP 2015056070 W JP2015056070 W JP 2015056070W WO 2016139717 A1 WO2016139717 A1 WO 2016139717A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
area
increase
feature value
Prior art date
Application number
PCT/JP2015/056070
Other languages
English (en)
French (fr)
Inventor
山田 浩之
史生 五十嵐
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/056070 priority Critical patent/WO2016139717A1/ja
Priority to JP2017503224A priority patent/JP6345335B2/ja
Priority to CN201580076958.1A priority patent/CN107408302B/zh
Publication of WO2016139717A1 publication Critical patent/WO2016139717A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • An object of the present invention is to configure an image processing apparatus capable of determining, as a combination of images not suitable for image processing, two images including at least one of the disturbances even when the disturbance is slight.
  • An image processing apparatus includes: A first image that is a two image forming a moving image and a second image are acquired, a first feature value for increase that represents a first pixel that is at least one pixel included in the first image, and the first image A second pixel that is at least one pixel included in the two images and is compared with the second feature value for increase that represents the second pixel corresponding to the first pixel; An increase area extraction unit that extracts an area of the second pixel of the second feature value for increase greater than a first threshold as an increase area; The first image and the second image are acquired, and the first feature value for reduction representing the first pixel is compared with the second feature value for reduction representing the second pixel corresponding to the first pixel.
  • a reduction region extraction unit that extracts, as a reduction region, the region of the second pixel of the second feature value for reduction that is greater than a second threshold value from the first feature value for reduction;
  • the degree of bias representing the degree of bias between the area of the increase region and the area of the decrease region is calculated, and whether or not the first image and the second image are suitable for image processing based on the calculated bias degree
  • a determination unit for determining whether or not.
  • the image processing device of the present invention determines whether or not the first image and the second image are suitable for image processing based on the degree of bias representing the degree of bias between the area of the increase region and the area of the decrease region. Since the determination unit is provided, the disturbance can be appropriately detected even if the disturbance has a small area, and therefore a combination of images that are not suitable for image processing can be determined with high accuracy.
  • FIG. 1 is a block configuration diagram of an image processing apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a hardware configuration diagram of the image processing apparatus according to the first embodiment. 2 is a flowchart showing an image processing method and image processing of the image processing apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a diagram illustrating a minimum unit of a certain image area according to the first embodiment, where (a) is a diagram in which the minimum unit of the certain image area is a pixel, and (b) is a block in which the minimum unit of the certain image area is a block.
  • FIG. 6C is a diagram in which the minimum unit of a certain image area is the entire image.
  • FIG. 3 is a diagram illustrating an area of an increase region according to the first embodiment, (a) is a diagram illustrating the area of the increase region by the number of images, (b) is a diagram illustrating the area of the increase region by the number of blocks, and (c) is a diagram.
  • 2A and 2B are diagrams showing the area of a reduced region according to the first embodiment, where FIG. 3A is a diagram showing the area of the reduced region by the number of images, FIG. 2B is a diagram showing the area of the reduced region by the number of blocks, and FIG. The figure showing the area of a reduction
  • FIG. 3 is a block configuration diagram of an image processing apparatus according to a second embodiment.
  • FIG. 9 is a flowchart showing an image processing method and image processing of the image processing apparatus according to the second embodiment.
  • FIG. 6 is a diagram illustrating the area of a change region according to the second embodiment, where (a) is a diagram illustrating the area of the change region by the number of images, (b) is a diagram illustrating the area of the change region by the number of blocks, and (c) is a diagram. The figure showing the area of a change area with the whole image.
  • FIG. 6 is a block configuration diagram of an image processing apparatus according to a third embodiment.
  • FIG. 9 is a flowchart showing an image processing method and image processing of an image processing apparatus according to Embodiment 3.
  • Embodiment 1 an image processing apparatus 100 that determines whether two images forming a moving image are a combination of images that are not suitable for image processing will be described.
  • the combination of images not suitable for image processing is two images or the like in which at least one includes disturbance.
  • the area of the disturbance is small, even if one of the two images is a two image including the disturbance, there is a possibility that the two images are determined to be suitable for image processing.
  • an image processing apparatus that can determine that two images including an image including a disturbance are a combination of images that are not suitable for image processing even when the area of the disturbance is slight will be described. .
  • the image processing apparatus 100 includes an increase area extraction unit 110, a decrease area extraction unit 120, and a determination unit 1300.
  • the determination unit 1300 includes an increase / decrease bias determination unit 130 and an image determination unit 140.
  • the increased area extraction unit 110 acquires a first image 11 and a second image 12 that are two images forming a moving image.
  • the increase area extraction unit 110 includes a first feature value 1111A for increase that represents the first pixel 111 that is at least one pixel included in the first image 11, and a second that is at least one pixel included in the second image 12.
  • the second increase feature value 1211A representing the pixel 121 is acquired.
  • the increase area extraction unit 110 acquires the second feature value 1211A for increase representing the second pixel 121 corresponding to the first pixel 111, which is the second pixel 121 that is at least one pixel included in the second image 12. .
  • the increase area extraction unit 110 compares the first increase feature value 1111A and the second increase feature value 1211A.
  • the increase area extraction unit 110 extracts the area of the second pixel 121 of the increase second feature value 1211A that is larger than the first threshold 201 as the increase area 1101 from the increase first feature value 1111A.
  • the increased area extraction unit 110 compares the second image 12 associated with the new time information of the two images forming the moving image with the first image 11 associated with the old time information.
  • the increase area extraction unit 110 compares the first image 11 and the second image 12, and the amount of increase in the feature value in the area of the first pixel 111 or the second pixel 121, which is a constant image area, sets the first threshold value 201.
  • the image area that exceeds is determined as the increased area 1101.
  • the increase area extraction unit 110 is also referred to as an increase area determination unit.
  • the increase amount of the feature value is an increase amount from the first increase feature value 1111A to the second increase feature value 1211A.
  • the reduced area extraction unit 120 acquires the first image 11 and the second image 12.
  • the reduction region extraction unit 120 is a reduction first feature value 1111B that represents the first pixel 111 that is at least one pixel included in the first image 11, and a reduction pixel that represents the second pixel 121 corresponding to the first pixel 111.
  • the second feature value 1211B is acquired.
  • the decrease area extraction unit 120 extracts the area of the second pixel 121 having the decrease second feature value 1211B that is larger than the second threshold value 202 as the decrease amount from the decrease first feature value 1111B as the decrease area 1201.
  • the reduced area extraction unit 120 compares the first image 11 and the second image 12, and the amount of decrease in the feature value in the area of the first pixel 111 or the second pixel 121, which is a constant image area, sets the second threshold value.
  • the exceeding image area is determined as the reduced area 1201.
  • the reduced area extraction unit 120 is also referred to as a reduced area determination unit.
  • the reduction amount of the feature value is a reduction amount from the first feature value for reduction 1111B to the second feature value for reduction 1211B.
  • Feature values such as the first feature value for increasing 1111A, the second feature value for increasing 1211A, the first feature value for decreasing 1111B, and the second feature value for decreasing 1211B are the first pixel or the second based on the pixel value. It is a value representing the characteristics of the pixel. For example, when the first pixel or the second pixel is one pixel, the pixel value of the pixel may be used as the feature value. Further, when the first pixel or the second pixel is a set of pixels, an average value of pixel values of each pixel in the set of pixels may be used as the feature value. When the first pixel or the second pixel is a set of pixels, the number of pixels that satisfy a predetermined condition for each pixel in the set of pixels may be used as the feature value.
  • the first pixel 111 may be a single pixel or an aggregate of a plurality of pixels. Further, the first pixel 111 may be all the pixels constituting the first image 11. Similarly, the second pixel 121 may be one pixel or an aggregate of a plurality of pixels. Further, the second pixel 121 may be all the pixels constituting the second image 12.
  • the region of the first pixel 111 included in the first image 11 to be compared with the feature value and the region of the second pixel 121 included in the second image 12 are referred to as a fixed image region or a minimum unit of the fixed image region There is.
  • the determination unit 1300 calculates a degree of bias C that represents the degree of bias between the area of the increasing region 1101 and the area of the decreasing region 1201, and the first image 11 and the second image 12 are based on the calculated degree of bias C. It is determined whether it is suitable for image processing.
  • the area of the increasing region 1101 is referred to as the area I of the increasing region
  • the area of the decreasing region 1201 is referred to as the area D of the decreasing region.
  • the determination unit 1300 compares the degree of bias C with the third threshold 203, and determines that the first image 11 and the second image 12 are not suitable for image processing when the degree of bias C is greater than the third threshold 203. .
  • the determination unit 1300 calculates the value of the ratio between the area I of the increasing region and the area D of the decreasing region as the degree of bias C.
  • the increase / decrease bias determination unit 130 of the determination unit 1300 determines that there is an increase / decrease bias when the bias degree C between the increase region 1101 and the decrease region 1201 exceeds the third threshold value 203.
  • the degree of bias C between the increasing region 1101 and the decreasing region 1201 is calculated based on the area I of the increasing region and the area D of the decreasing region.
  • the image determination unit 140 of the determination unit 1300 determines that the first image 11 and the second image 12 are image combinations that are not suitable for image processing.
  • the first threshold value 201, the second threshold value 202, and the third threshold value 203 may be stored in the image processing apparatus 100 in advance, or may be set by the user at the start of image processing. Further, the first threshold 201 and the second threshold 202 may be different from each other or the same value.
  • the image processing apparatus 100 is a computer.
  • the image processing apparatus 100 includes hardware such as a processor 901, an auxiliary storage device 902, a memory 903, a communication device 904, an input interface 905, and a display interface 906.
  • the processor 901 is connected to other hardware via the signal line 910, and controls these other hardware.
  • the input interface 905 is connected to the input device 907.
  • the display interface 906 is connected to the display 908.
  • the processor 901 is an IC (Integrated Circuit) that performs processing.
  • the processor 901 is, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • the auxiliary storage device 902 is, for example, a ROM (Read Only Memory), a flash memory, or an HDD (Hard Disk Drive).
  • the memory 903 is, for example, a RAM (Random Access Memory).
  • the communication device 904 includes a receiver 9041 that receives data and a transmitter 9042 that transmits data.
  • the communication device 904 is, for example, a communication chip or a NIC (Network Interface Card).
  • the input interface 905 is a port to which the cable 911 of the input device 907 is connected.
  • the input interface 905 is, for example, a USB (Universal Serial Bus) terminal.
  • the display interface 906 is a port to which the cable 912 of the display 908 is connected.
  • the display interface 906 is, for example, a USB terminal or an HDMI (registered trademark) (High Definition Multimedia Interface) terminal.
  • the input device 907 is, for example, a mouse, a keyboard, or a touch panel.
  • the display 908 is, for example, an LCD (Liquid Crystal Display).
  • the auxiliary storage device 902 stores programs that realize the functions of the increased area extracting unit 110, the decreased area extracting unit 120, the increase / decrease bias determining unit 130, and the image determining unit 140 shown in FIG.
  • the increase area extraction unit 110, the decrease area extraction unit 120, the increase / decrease bias determination unit 130, and the image determination unit 140 are collectively referred to as “parts”.
  • the program that realizes the function of the “part” described above is also referred to as an image processing program.
  • the program that realizes the function of “unit” may be a single program or a plurality of programs.
  • This program is loaded into the memory 903, read into the processor 901, and executed by the processor 901.
  • the auxiliary storage device 902 also stores an OS (Operating System). Then, at least a part of the OS is loaded into the memory 903, and the processor 901 executes a program that realizes the function of “unit” while executing the OS.
  • the image processing apparatus 100 may include a plurality of processors 901.
  • a plurality of processors 901 may execute a program for realizing the function of “unit” in cooperation with each other.
  • information, data, signal values, and variable values indicating the results of the processing of “unit” are stored as files in the memory 903, the auxiliary storage device 902, or a register or cache memory in the processor 901.
  • circuitry may be provided as “circuitry”. Further, “part” may be read as “circuit”, “process”, “procedure”, or “processing”. Further, “processing” may be read as “circuit”, “process”, “procedure”, or “part”. “Circuit” and “Circuitry” include not only the processor 901 but also other types of processing circuits such as a logic IC or GA (Gate Array) or ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). It is a concept to include.
  • GA Gate Array
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • a program product is a storage medium, a storage device, or the like on which a program that realizes the function described as a “part” is recorded. It is what you are loading.
  • the increased area extraction unit 110 acquires a first image 11 and a second image 12 that are two images forming a moving image. As described above, it is assumed that the second image 12 is an image associated with time information that is newer than the time information associated with the first image 11.
  • the first image 11 and the second image 12 may be images extracted from a continuous image forming a moving image, and may be continuous or may not be continuous.
  • the increased area extraction unit 110 corresponds to the first feature value 1111A for increasing pixels included in the acquired first image 11 and the pixels included in the acquired second image 12 and included in the first image 11.
  • the second feature value 1211A for increasing pixels to be compared is compared.
  • the increase area extraction unit 110 executes an increase area extraction process S110 that extracts, as the increase area 1101, a pixel area of the increase second feature value 1211A in which the increase amount from the increase first feature value 1111A is larger than the first threshold 201. To do.
  • An image forming a moving image is associated with time information such as a time stamp. Therefore, the two images forming the moving image have one image having newer time information than the other image, and are classified into the first image 11 and the second image 12 having newer time information than the first image 11. Can do. Two consecutive images forming a 30 fps (frames per second) moving image are associated with different time information by 1/30 second. Even when the time information is lost due to some processing such as image format conversion, the serial number indicating the numbered image in the moving image can be handled as the time information. In this case, if the time information is newer as the value of the serial number is larger, the two images forming the moving image can be classified into the first image 11 and the second image 12.
  • the increased region extraction process S110 will be specifically described with reference to FIG.
  • a configuration example in which the minimum unit of a certain image area in the increase area extraction processing S110 is a pixel will be described with reference to FIG.
  • the constant image region to be compared that is, the region of the first pixel 111 is a region of one pixel included in the first image 11.
  • a constant image region to be compared that is, the region of the second pixel 121 is a region of one pixel included in the second image 12 and corresponding to the first pixel 111 in the second image 12. That is, each of the first pixel 111 and the second pixel 121 for comparing the amount of increase in the feature value is one pixel.
  • the increase area extraction unit 110 uses a minimum unit of a certain image area as a pixel.
  • the increase area extraction unit 110 sets the increase amount of the feature value to a value obtained by subtracting the pixel value of the pixel at the same position of the first image 11 from the pixel value of one pixel of the second image 12. That is, the increase area extraction unit 110 sets the pixel value of the second pixel 121 that is one pixel of the second image 12 as the second feature value 1211A for increase, and is in the same position as the second pixel 121 in the first image 11.
  • the amount of increase in the feature value is calculated using the pixel value of the first pixel 111 as the first feature value 1111A for increase.
  • the increase area extraction unit 110 compares the increase amount with the first threshold 201 to determine whether the pixel is the increase area 1101 for each pixel.
  • the minimum unit of a certain image area in the increase area extraction process S110 is a block including a plurality of pixels
  • the first pixel 111 is a plurality of pixels included in the first image 11
  • the second pixel 121 is included in the second image 12, at a position corresponding to the first pixel 111 in the second image 12.
  • the increased area extracting unit 110 sets a minimum unit of a certain image area as a block that is an aggregate of a plurality of pixels.
  • the increase area extraction unit 110 calculates the increase amount of the feature value from the average value of the pixel values in the block of the block of the second image 12 to the pixel value of the pixel in the block of the block at the same position of the first image 11. The average value is subtracted.
  • the increase area extraction unit 110 sets the average value of the pixel values of the pixels in the block in the block (second pixel 121) in the second image 12 as the second feature value 1211 ⁇ / b> A for increase, and the second pixel 121 in the first image 11.
  • the increase area extraction unit 110 compares the increase amount with the first threshold 201 and determines whether the block is the increase area 1101 for each block.
  • the algorithm is simplified and the processing is simplified compared to the extraction method in which the minimum unit of a certain image area is a pixel. There is an effect of high speed.
  • the amount of increase in the feature value is calculated in the second pixel 121 so that the pixel value of the second pixel 121 is the same as that of the first pixel 111. It may be the number of pixels in the block that satisfy the condition that the pixel value is larger than a certain pixel.
  • the increase area extraction unit 110 does not have a pixel satisfying the above condition in the block that is the first pixel 111, so 0 is set as the first feature value 1111 ⁇ / b> A for increase, and the above condition is satisfied in the block that is the second pixel 121.
  • the number of pixels is set as the second feature value for increase 1211A, and the increase amount of the feature value is calculated.
  • the extraction method in which the minimum unit of a certain image area is a block has an effect that the processing speed is increased when a processing device capable of performing a specific operation at a high speed such as subtraction between images or counting of the number of pixels is installed.
  • the blocks do not necessarily have to be rectangular, and may have any shape.
  • the minimum unit of a certain image area in the increased area extraction processing S110 is the entire image
  • the first pixel 111 is all the pixels included in the first image 11
  • the second pixel 121 is all the pixels included in the second image 12. That is, the minimum unit of a certain image area is the entire image.
  • the increase area extraction unit 110 sets the minimum unit of a certain image area as the entire image, and determines the increase amount of the feature value as the average value of the pixel values of all the pixels of the second image 12. The average value of the pixel values of all the pixels of the first image 11 is subtracted from the first image 11.
  • the increase area extraction unit 110 sets the average value of the pixel values of all the pixels of the second image 12 as the increase second feature value 1211A, and sets the average value of the pixel values of all the pixels of the first image 11 to the first increase value. As the feature value 1111A, an increase amount of the feature value is calculated. The increase area extraction unit 110 determines whether or not the entire image is the increase area 1101.
  • the algorithm is simplified and the processing is faster than the extraction method in which the minimum unit of the certain image area is a block.
  • the increase area 1101 may be determined by defining the minimum unit of a certain image area and the definition of the increase amount of the feature value other than the method described above.
  • the increased area extraction unit 110 compares the first image 11 and the second image 12, and determines that the image area is the increased area 1101 when the increase amount of the feature value exceeds a threshold value in a certain image area. Any configuration can be used.
  • the decrease area extraction unit 120 acquires the first image 11 and the second image 12, decreases the first feature value 1111 ⁇ / b> B of the first pixel 111 included in the first image 11, and the first image included in the second image 12.
  • the second feature value 1211B for reduction of the two pixels 121 is compared.
  • the reduction area extraction unit 120 extracts the area of the second pixel 121 of the second feature value 1211B for reduction that is larger than the second threshold value 202 as the reduction area 1201 from the first characteristic value for reduction 1111B as the reduction area 1201. S120 is executed.
  • the reduced area extraction process S120 will be specifically described with reference to FIG.
  • a configuration example in which the minimum unit of a certain image area in the reduced area extraction process S120 is a pixel will be described with reference to FIG.
  • the fixed image region is a region of the first pixel 111 and a region of the second pixel 121 which are one pixel.
  • the reduced area extraction unit 120 uses a minimum unit of a certain image area as a pixel.
  • the reduction area extraction unit 120 sets the reduction amount of the feature value to a value obtained by subtracting the pixel value of the pixel at the same position in the second image 12 from the pixel value of the pixel in the first image 11.
  • the reduction area extraction unit 120 sets the pixel value of the first pixel 111, which is one pixel of the first image 11, as the first feature value 1111B for reduction, and is in the same position as the first pixel 111 in the second image 12.
  • the feature value reduction amount is calculated using the pixel value of the second pixel 121 as the second feature value for reduction 1211B.
  • the reduction area extraction unit 120 determines whether the pixel is the reduction area 1201 for each pixel.
  • the minimum unit of a certain image area in the reduced area extraction process S120 is a block
  • the fixed image area is an area of the first pixel 111 and an area of the second pixel 121 that are aggregates of pixels.
  • the reduced area extraction unit 120 sets a minimum unit of a certain image area as a block.
  • the reduction area extraction unit 120 calculates the reduction amount of the feature value from the average pixel value of the pixels in the block of the block of the first image 11 to the average pixel value of the pixels in the block of the block at the same position of the second image 12. The value minus the value.
  • the reduction area extraction unit 120 sets the average value of the pixel values of the pixels in the block in the block (second pixel 121) in the second image 12 as the second feature value for reduction 1211 ⁇ / b> B, and the second pixel 121 in the first image 11.
  • the average value of the pixel values of the pixels in the block in the block (first pixel 111) at the same position as the first feature value 1111B for reduction is calculated, and the amount of reduction of the feature value is calculated.
  • the reduction area extraction unit 120 determines whether the block is a reduction area 1201 for each block.
  • the algorithm is simplified and the processing is simplified compared to the extraction method in which the minimum unit of a certain image area is a pixel. There is an effect of high speed.
  • the amount of decrease in the feature value is set so that the pixel value of the second pixel 121 is the same as that of the first pixel 111 in the second pixel 121.
  • the number of pixels in the block that satisfy the condition that the pixel value is smaller than a certain pixel may be used.
  • the reduced area extraction unit 120 does not have a pixel that satisfies the above condition in the block that is the first pixel 111, so 0 is set as the first feature value 1111 B for reduction, and the above condition is satisfied in the block that is the second pixel 121.
  • a value obtained by multiplying the number of pixels by ⁇ 1 is set as a second feature value for reduction 1211B, and a feature value reduction amount is calculated.
  • the extraction method in which the minimum unit of a certain image area is a block has an effect that the processing speed is increased when a processing device capable of performing a specific operation at a high speed such as subtraction between images or counting of the number of pixels is installed.
  • the blocks do not necessarily have to be rectangular, and may have any shape.
  • the fixed image region is a region of the first pixel 111 that is a pixel of the entire image of the first image 11 and a region of the second pixel 121 that is a pixel of the entire image of the second image 12.
  • the reduced area extraction unit 120 sets the minimum unit of a certain image area as the entire image.
  • the reduction area extraction unit 120 sets the amount of reduction of the feature value to a value obtained by subtracting the average value of the pixel values of all the pixels of the second image 12 from the average value of the pixel values of all the pixels of the first image 11.
  • the reduction area extraction unit 120 sets the average value of the pixel values of all the pixels of the second image 12 as the second characteristic value for reduction 1211B, and sets the average value of the pixel values of all the pixels of the first image 11 to the first value for reduction.
  • a feature value decrease amount is calculated as the feature value 1111B.
  • the reduction area extraction unit 120 determines whether or not the entire image is the reduction area 1201.
  • the algorithm is simplified and the processing is faster than the extraction method in which the minimum unit of the certain image area is a block.
  • the reduction area 1201 may be determined by defining the minimum unit of a certain image area and the definition of the reduction amount of the feature value other than the method described above.
  • the reduction area extraction unit 120 compares the first image 11 and the second image 12 and determines that the image area is the reduction area 1201 when the reduction amount of the feature value exceeds a threshold value in a certain image area. Any configuration can be used.
  • the determination unit 1300 calculates a degree of bias C that represents the degree of bias between the area I of the increasing region and the area D of the decreasing region, and the first image 11 and the second image 12 are based on the calculated degree of bias C.
  • a determination process S1300 for determining whether or not the image processing is suitable is executed.
  • the determination process S1300 includes an increase / decrease bias determination process S130 and an image determination process S140.
  • the increase / decrease bias determination process S ⁇ b> 130 will be specifically described with reference to FIGS. 5 and 6.
  • the increase / decrease bias determination unit 130 is configured to calculate the bias degree C using the area I of the increase region and the area D of the decrease region as shown in the following equation.
  • C I / D (when I>D> 0)
  • C D / I (when D ⁇ I> 0)
  • a configuration example in which the area of an image area is represented by the number of pixels in the image area will be described with reference to FIGS.
  • the increase area extraction unit 110 determines the increase area 1101 for each pixel and the decrease area extraction unit 120 determines the decrease area 1201 for each pixel
  • the area of the image area is represented by the number of pixels, and the degree of bias C is calculated. .
  • the increase / decrease bias determination unit 130 acquires 158321 pixels as the increase area 1101 as illustrated in FIG. 5A and acquires 20179 pixels as the decrease area 1201 as illustrated in FIG. That is, the area I of the increased region is represented as 158321 pixels, and the area D of the decreased region is 20179 pixels.
  • the increase / decrease bias determination unit 130 compares the calculated bias degree C with the third threshold 203, determines whether there is an increase / decrease bias, and outputs a determination result.
  • the degree of bias C is calculated by expressing the area as the number of blocks.
  • the increase / decrease bias determination unit 130 acquires 12 blocks as the area I of the increased region as shown in FIG. 5B, and acquires 2 blocks as the area D of the decreased region as shown in FIG. 6B. .
  • the increase / decrease bias determination unit 130 compares the calculated bias degree C with the third threshold 203, determines whether there is an increase / decrease bias, and outputs a determination result.
  • the increase area extraction unit 110 determines the increase area 1101 in the entire image unit
  • the decrease area extraction unit 120 determines the decrease area 1201 in the entire image unit.
  • an image to be determined is an image that is neither the increase area 1101 nor the decrease area 1201, an image that is the increase area 1101, or an image that is the decrease area 1201.
  • the increase / decrease bias determination unit 130 determines that there is an increase / decrease bias when the entire image is only one of the increase region 1101 and the decrease region 1201.
  • This determination method is equivalent to a process of calculating the bias degree C by applying the above-described formula and then comparing it with the third threshold value 203.
  • the increased area extraction unit 110 determines that the increased area 1101 has an area I of the increased area as one image as shown in FIG.
  • the reduced region extraction unit 120 determines that the reduced region 1201 is an image having a reduced region area D of 0 as shown in FIG.
  • the degree of bias C is ⁇ (infinite), and since the degree of bias C exceeds the finite third threshold 203, it is determined that there is an increase / decrease bias.
  • the increase / decrease bias determination unit 130 can compare the calculated bias degree C with the third threshold 203, determine whether there is an increase / decrease bias, and output the determination result.
  • the definition of the degree of bias C is not limited to the above formula.
  • the degree of bias C may be calculated by a conditional branch or calculation formula that is more complicated than the above formula.
  • the increase / decrease bias determination unit 130 may have any configuration as long as it is configured to determine that there is an increase / decrease bias when the degree of bias of the increase region 1101 and the decrease region 1201 exceeds a threshold value.
  • the image determination unit 140 determines whether the first image 11 and the second image 12 are suitable for image processing based on the determination result output from the increase / decrease bias determination unit 130. The image determination unit 140 determines that the first image 11 and the second image 12 are a combination of images that are not suitable for image processing when the determination result output from the increase / decrease bias determination unit 130 has an increase / decrease bias. When the determination result output from the increase / decrease bias determination unit 130 indicates that there is no increase / decrease bias, the image determination unit 140 determines that the first image 11 and the second image 12 are a combination of images suitable for image processing.
  • the increase / decrease bias determination unit 130 may calculate the degree of bias C and output the calculated degree of bias C to the image determination unit 140.
  • the image determination unit 140 acquires the degree of bias C from the increase / decrease bias determination unit 130, compares the acquired degree of bias C with the third threshold value 203, and the first image 11 and the second image 12 are suitable for image processing. It may be configured to determine whether or not a combination of images.
  • the image processing apparatus acquires a second image associated with new time information and a first image associated with old time information among the two images forming the moving image.
  • the increase area extraction unit compares the acquired first image and second image, and determines that the image area is an increase area when the increase amount of the feature value exceeds a threshold value in a certain image area.
  • the reduction area extraction unit compares the first image and the second image, and determines that the image area is a reduction area when the reduction amount of the feature value exceeds a threshold value in a certain image area.
  • the increase / decrease bias determination unit determines that there is an increase / decrease bias when the degree of bias of the increase region and the decrease region exceeds a threshold value.
  • the image determination unit determines that the first image and the second image are a combination of images that are not suitable for image processing when the increase / decrease bias determination unit determines that there is an increase / decrease bias.
  • the degree of bias between the increase area and the decrease area is a criterion for determining whether the two images are a combination of images that are not suitable for image processing. Therefore, the image processing apparatus displays the first image and the second image when the area of the increase region or the decrease region is small and has a tendency to be biased toward either the increase region or the decrease region. It can be determined that the combination of images is not suitable for processing.
  • the image processing apparatus has an effect that even if the disturbance is slight, at least one of the images including the disturbance can be determined as a combination of images not suitable for image processing.
  • Embodiment 2 FIG. In the present embodiment, differences from the first embodiment will be mainly described.
  • the same components as those described in Embodiment 1 are denoted by the same reference numerals, and the description thereof may be omitted.
  • the image processing apparatus 100 a according to the present embodiment includes a changed region extraction unit 150 in addition to the configuration of the image processing apparatus 100 described in the first embodiment.
  • the determination unit 1300a according to the present embodiment includes a large change determination unit 160 in addition to the configuration of the determination unit 1300 described in the first embodiment.
  • the change area extraction unit 150 acquires the first image 11 and the second image 12, changes the first feature value 1111C representing the first pixel 111, and the change representing the second pixel 121 corresponding to the first pixel 111.
  • the second feature value 1211C for use is acquired.
  • the change area extraction unit 150 has the degree of change representing the degree of change from the first change feature value 1111C to the second change feature value 1211C greater than the fourth threshold value of the second pixel 121 of the second change feature value 1211C.
  • An area is extracted as a change area 1501. When the change degree of the feature value exceeds the fourth threshold value 204 in a certain image area, the change area extraction unit 150 determines that the image area is a change area.
  • the change area extraction unit 150 is also referred to as a change area determination unit.
  • the change degree of the feature value is a degree of change from the first change feature value 1111C to the second change feature value 1211C.
  • the determination unit 1300a determines whether the first image 11 and the second image 12 are suitable for image processing based on the degree of bias C and the area M of the change region.
  • the determination unit 1300a compares the degree C of bias with the third threshold value 203, and compares the area M of the change region with the fifth threshold value 205.
  • the determination unit 1300a determines that the first image 11 and the second image 12 are not suitable for image processing when the degree of bias C is larger than the third threshold 203 or when the area M of the change region is larger than the fifth threshold 205. Is determined.
  • the image processing method and image processing S100a of the image processing apparatus 100a according to the present embodiment will be described with reference to FIG.
  • the increase area extraction process S110 and the decrease area extraction process S120 in FIG. 8 are the same as the increase area extraction process S110 and the decrease area extraction process S120 in FIG.
  • the change region extraction unit 150 is a region of the second pixel 121 of the second change feature value 1211C that is larger than the fourth threshold value 204 by subtracting the first change feature value 1111C from the second change feature value 1211C. Is executed as a change area 1501.
  • the change area extraction processing S121 will be described in detail.
  • a configuration example in which the minimum unit of a certain image area is a pixel in the change area extraction process S121 will be described with reference to FIG.
  • the change area extraction unit 150 subtracts the pixel value of the pixel at the same position in the first image 11 from the pixel value of the pixel in the second image 12 as the degree of change in the feature value.
  • the absolute value of the measured value That is, the change area extraction unit 150 sets the pixel value of the second pixel 121, which is one pixel of the second image 12, as the second feature value for change 1211C, and is in the same position as the second pixel 121 in the first image 11.
  • the degree of change in the feature value is calculated using the pixel value of the first pixel 111 as the first feature value for change 1111C.
  • the change area extraction unit 150 compares the degree of change with the fourth threshold value 204 and determines whether or not the change area 1501 for each pixel.
  • the change area extraction unit 150 sets the change degree of the feature value in the second pixel 121 at the same position as the pixel value of the first pixel 111 and the second pixel 121.
  • the change area extraction unit 150 sets 0 as the first change feature value 1111C, and the block that is the second pixel 121 satisfies the above condition.
  • the number of pixels is set as the second feature value for change 1211C, and the change degree of the feature value is calculated.
  • the change area extraction unit 150 compares the degree of change with the fourth threshold value 204 and determines whether or not the area is the change area 1501 for each block. With this configuration, even if the pixel value may fluctuate greatly in a very small number of pixels due to random noise, there is an effect that the influence of random noise can be suppressed by determining in block units.
  • the blocks do not necessarily have to be rectangular, and may have any shape.
  • the change area extraction unit 150 sets the change degree of the feature value at the same position in the second image 12 as the pixel value of the pixel of the first image 11 in the second pixel 121. Let the number of pixels satisfy the condition that the absolute value of the difference between the pixel values of the pixels exceeds a certain threshold. In this case, since the first image 11 that is the first pixel 111 has no pixel that satisfies the above condition, the change region extraction unit 150 sets 0 as the first feature value 1111C for change and the second image that is the second pixel 121.
  • the change area extraction unit 150 compares the degree of change with the fourth threshold value 204 and determines whether or not the entire image is the change area 1501. This configuration has an effect that the algorithm is simplified and the processing is faster than the configuration example of the extraction method in which the minimum unit of a certain image area is a block.
  • the change region 1501 may be determined by defining the minimum unit of a certain image region and the definition of the change degree of the feature value other than the method described above.
  • the change area extraction unit 150 compares the first image 11 and the second image 12 and determines that the image area is the change area 1501 when the change degree of the feature value exceeds the fourth threshold value 204 in a certain image area. If it is, it can be set as arbitrary structures.
  • the fourth threshold value 204, the fifth threshold value 205, or other threshold values are set in advance and stored in the storage device of the image processing apparatus 100a.
  • the fourth threshold value 204, the fifth threshold value 205, or other threshold values may be set by the user at the start of the image processing S100a.
  • the fourth threshold value 204 is set in advance according to what value the degree of change is calculated.
  • the change area extraction unit 150 outputs the extracted change area 1501 to the determination unit 1300a.
  • the determination unit 1300a executes determination processing S1300a for determining whether the first image 11 and the second image 12 are suitable for image processing based on the degree of bias C and the area M of the change region.
  • the determination process S1300a includes an increase / decrease bias determination process S130, a large change determination process S131, and an image determination process S140a.
  • the increase / decrease bias determination process S130 is the same as the increase / decrease bias determination process S130 of FIG.
  • the large change determination unit 160 acquires the change region 1501 output from the change region extraction unit 150.
  • the large change determination unit 160 determines that there is a large change when the area M of the change region exceeds the fifth threshold value 205.
  • the large change determination unit 160 determines whether there is a large change or no large change based on the change region 1501 and outputs a determination result.
  • the large change determination process S131 will be described with reference to FIG. FIG. 9A shows a configuration in which the area M of the change region is represented by the number of pixels of the change region 1501. It is assumed that the change area extraction unit 150 determines the change area 1501 as shown in FIG. 9A, and the area M of the change area is expressed by 197688 pixels. The large change determination unit 160 determines that there is a large change when 197688 pixels exceed the fifth threshold value 205.
  • (B) of FIG. 9 is a configuration example in which the change area 1501 is determined in units of blocks.
  • the large change determination unit 160 may determine whether there is a large change by representing the area M of the change region by the number of blocks. . It is assumed that the change area extraction unit 150 determines the change area 1501 as shown in FIG. 9B, and the area M of the change area is represented by 19 blocks. The large change determination unit 160 determines that there is a large change when 19 blocks exceed the fifth threshold value 205.
  • (C) of FIG. 9 is a configuration example in which the change area 1501 is determined in units of the entire image.
  • the change area extraction unit 150 is configured to determine the change area 1501 in units of the entire image, if the entire image is the change area 1501, it is determined that there is a large change.
  • This process is equivalent to a configuration in which it is determined that there is a large change when the area 1 of the entire image unit exceeds a fifth threshold value 205 (for example, 0).
  • a fifth threshold value 205 for example, 0
  • the change area extraction unit 150 determines the change area 1501 as shown in (c) of FIG. 9 and the area M of the change area is one image, it is determined that there is a large change because the fifth threshold value 205 exceeds 0.
  • the large change determination unit 160 may have any configuration as long as it is configured to determine that there is a large change when the area M of the change region exceeds the fifth threshold.
  • the determination unit 1300a determines that the first image 11 and the second image 12 are not suitable for image processing when the degree of bias C is larger than the third threshold 203 or when the area M of the change region is larger than the fifth threshold 205. Is determined.
  • the image determination unit 140a determines whether the first image 11 and the second image 12 are suitable for image processing based on the determination result output from the increase / decrease bias determination unit 130 and the determination result output from the large change determination unit 160. Determine whether or not.
  • the image determination unit 140 a The image 12 is determined to be a combination of images suitable for image processing.
  • the image processing apparatus 100a described in the present embodiment not only determines the first image and the second image as a combination of images that are not suitable for image processing when the degree of bias of the increase region and the decrease region exceeds a threshold value. Even when the area of the change region exceeds the threshold, the first image and the second image are determined to be a combination of images that are not suitable for image processing. Since the area of the change area becomes large when a disturbance over a wide range occurs on the image, the image processing apparatus having this configuration has at least one of a case where the disturbance is small or a wide range. Has an effect that two images including disturbance can be discriminated as a combination of images not suitable for image processing.
  • the increase / decrease bias determination unit 130 has the same configuration as the increase / decrease bias determination unit 130 in the image processing apparatus 100 according to Embodiment 1.
  • the increase / decrease bias determination unit 130b acquires the change area 1501 in addition to the increase area 1101 and the decrease area 1201. Then, the increase / decrease bias determination unit 130b refers to the increase area 1101, the decrease area 1201, and the change area 1501 to determine whether there is an increase / decrease bias.
  • the increase area extraction unit 110b sets a minimum unit of a certain image area as a block.
  • the increase area extraction unit 110b is configured such that a difference obtained by subtracting the pixel value of the pixel at the same position of the first image 11 from the pixel value of the pixel of the second image 12 exceeds the sixth threshold value 206. The number of pixels in the block that satisfies Then, the increase area extraction unit 110b determines whether or not the increase amount of the feature value exceeds the seventh threshold value 207, thereby determining whether or not the increase area 1101 for each block.
  • the reduced area extraction unit 120b sets a minimum unit of a certain image area as a block.
  • the reduction area extraction unit 120b is configured such that the difference between the pixel value of the pixel in the first image 11 and the pixel value of the pixel at the same position in the second image 12 exceeds the sixth threshold value 206 as the reduction amount of the feature value.
  • the number of pixels in the block that satisfies Then, the reduction area extraction unit 120b determines whether or not the block is the reduction area 1201 for each block by determining whether or not the reduction amount of the feature value exceeds the seventh threshold value 207.
  • the change area extraction unit 150b sets a minimum unit of a certain image area as a block.
  • the change area extraction unit 150b sets the degree of change of the feature value so that the absolute value of the difference between the pixel value of the pixel of the first image 11 and the pixel value of the pixel at the same position of the second image 12 exceeds the sixth threshold value 206.
  • the change area extraction unit 150b determines whether the block is the change area 1501 for each block by determining whether the change degree of the feature value exceeds the seventh threshold value 207.
  • the increase / decrease bias determination unit 130b calculates the bias degree C using the area I of the increase region, the area D of the decrease region, and the area M of the change region as shown in the following equation.
  • C I / M (when I>D> 0)
  • C D / M (when D ⁇ I> 0)
  • the increase / decrease bias determination unit 130b determines whether or not there is a bias by comparing the bias degree C and the third threshold value 203.
  • the increase / decrease bias determination unit 130b determines that there is a bias when the ratio of the area I of the increase region or the area D of the decrease region to the area M of the change region exceeds the third threshold value 203.
  • the ratio of the area I of the increase region or the area D of the decrease region to 0 (less than 1 and less than 1) can be set as the third threshold value 203.
  • the change region extraction units 150a and 150b are configured to operate independently of the increase region extraction unit 110 and the decrease region extraction unit 120.
  • the image processing apparatus 100c may include a change region extraction unit 150c that operates using the processing of the increase region extraction unit 110 and the decrease region extraction unit 120.
  • the increase area extraction unit 110 determines that the image area is the increase area 1101 when the increase amount of the feature value exceeds the first threshold 201 in a certain image area. Further, the reduction area extraction unit 120 determines that the image area is the reduction area 1201 when the reduction amount of the feature value exceeds the second threshold value 202 in a certain image area. At this time, the first threshold 201 and the second threshold 202 are preferably equal.
  • the change area extraction unit 150c may set the change degree of the feature value as a larger value of the feature value increase amount and the feature value decrease amount. Then, the change area extraction unit 150c may execute a change area extraction process S121c that determines the image area as the change area 1501 when the change degree of the feature value exceeds the fourth threshold value 204 in a certain image area.
  • This change area extraction process S121c has an effect that the algorithm for calculating the change degree of the feature value is simplified and the process becomes faster.
  • the change area 1501 determined by the change area extraction process S121c is a union of the increase area 1101 and the decrease area 1201. Therefore, the change area extraction process S121c is equivalent to a process in which the change area extraction unit determines that the union of the increase area 1101 and the decrease area 1201 is the change area 1501.
  • the change area extraction process S121c is also equivalent to the following process. In this process, the change degree of the feature value of the image area included in the increase area 1101 or the decrease area 1201 is set to 1, otherwise the change degree of the feature value is set to 0, and the change degree of the feature value exceeds a threshold value less than 1.
  • the image area is determined to be a change area.
  • this change area extraction process S121c a change in which the increase or decrease is not clear is not evaluated as a change. Therefore, the static noise indicating the property that the increase and decrease are mixed at random is not regarded as a change, and a change in luminous intensity or the like. Temporary disturbance due to the cause will be regarded as a change. Therefore, according to this change area extraction processing S121c, there is an effect that two images including the disturbance in at least one of them can be efficiently determined as a combination of images not suitable for image processing.
  • Embodiment 3 FIG. In the present embodiment, differences from Embodiment 2 will be mainly described.
  • an image processing apparatus 100d that suppresses erroneous detection that occurs when a moving object is detected by determining whether two images forming a moving image are a combination of images that are not suitable for image processing will be described.
  • the same components as those described in Embodiment 2 are denoted by the same reference numerals, and the description thereof may be omitted.
  • the image processing apparatus 100d according to the present embodiment includes a moving object detection unit 170 in addition to the configuration of the image processing apparatus 100a described in the second embodiment.
  • the moving body detection unit 170 acquires the first image 11 and the second image 12, and acquires a determination result 1301 as to whether or not the first image 11 and the second image 12 are suitable for image processing from the determination unit 1300a. .
  • the moving object detection unit 170 executes a moving object detection process using the first image 11 and the second image 12 when it is determined that the first image 11 and the second image 12 are suitable for image processing, and the executed moving object
  • the result of the detection process is set as a detection result 1701.
  • the moving object detection unit 170 sets a detection failure in the detection result 1701 without executing the moving object detection process.
  • the image processing S100d of the image processing apparatus 100d according to the present embodiment will be described with reference to FIG.
  • the increase area extraction process S110, the decrease area extraction process S120, the change area extraction process S121, the increase / decrease bias determination process S130, the large change determination process S131, and the image determination process S140 are the same as those described in the second embodiment.
  • the moving body detection unit 170 acquires the first image 11 and the second image 12, and acquires a determination result 1301 as to whether or not the first image 11 and the second image 12 are suitable for image processing from the determination unit 1300a. .
  • the moving object detection unit 170 executes a moving object detection process using the first image 11 and the second image 12 when it is determined that the first image 11 and the second image 12 are suitable for image processing, and the moving object detection process is performed. Is set as a detection result 1701. When it is determined that the first image 11 and the second image 12 are not suitable for image processing, the moving object detection unit 170 sets detection failure to the detection result 1701.
  • the moving object detection process is performed only when the image determination unit 140 does not determine that the first image 11 and the second image 12 are a combination of images not suitable for image processing.
  • the moving object detection unit 170 detects the moving object by comparing the first image 11 and the second image 12.
  • the moving object detection unit 170 may invalidate the moving object detection. . That is, the moving object detection unit 170 discards the content of the detection result 1701 of the moving object detection process only when the image determination unit 140 determines that the first image 11 and the second image 12 are a combination of images that are not suitable for image processing. The moving object may not be detected.
  • the moving object detection process becomes invalid. Any processing method can be used. The fact that the moving object detection process is invalid means that even if the moving object detection process is executed, it is not executed or the moving object detection process is not executed.
  • the image processing apparatus 100d compares the first image 11 and the second image 12, and determines whether the first image 11 and the second image 12 are a combination of images that are not suitable for image processing. . Then, the image processing apparatus 100d executes processing for invalidating the moving object detection when the first image 11 and the second image 12 are a combination of images that are not suitable for image processing. For this reason, according to the image processing device 100d, it is possible to suppress erroneous detection in which at least one of the first image 11 and the second image 12 is processed as a correctly detected moving object detected from two images including disturbance. There is an effect to.
  • the pixel value may be any component value.
  • the pixel value can be a value of a luminance (shading) component.
  • the pixel value can be any one of a red (R) component, a green (G) component, and a blue (B) component.
  • the target is a YCbCr color image
  • the pixel value can be any one of a luminance (Y) component, a blue color difference (Cb) component, and a red color difference (Cr) component.
  • the image processing apparatus described in the first to third embodiments can be applied to two images that form a moving image generated by applying some processing to the moving image. For example, each image forming a black and white moving image is replaced with an image obtained by extracting only a high frequency component in the image. Two images forming a moving image obtained by this replacement can be handled by the image processing apparatus described in the first to third embodiments.
  • the pixel value handled by the image processing apparatus described in the first to third embodiments is the value of the high frequency component of the image.
  • the pixel value can be a value of an arbitrary component.
  • the second image associated with the new time information and the first image associated with the old time information among the two images forming the moving image are used. It was configured to work.
  • another control apparatus for controlling the image processing apparatus is prepared, and the image processing apparatus is operated while sequentially changing the first image and the second image.
  • the control device may be configured to perform control.
  • an image processing apparatus that operates in real time on a live moving image by configuring the second image as the latest image and the first image as the second image used in the operation one step before the sequential control. realizable.
  • the increase area extraction unit, the decrease area extraction unit, the change area extraction unit, the increase / decrease bias determination unit, the large change determination unit, the image determination unit, and the moving object detection unit are respectively provided.
  • the image processing apparatus is configured as an independent functional block. However, the image processing apparatus may not be configured as described above, and the configuration of the image processing apparatus is arbitrary.
  • the increase region extraction unit, the decrease region extraction unit, and the change region extraction unit may be realized by one functional block, and the increase / decrease bias determination unit, the large change determination unit, and the image determination unit may be realized by one functional block.
  • the functional blocks of the image processing apparatus are arbitrary as long as the functions described in the first to third embodiments can be realized. These functional blocks may be configured in any other combination.
  • the image processing apparatus may be configured with an arbitrary block configuration.
  • the image processing apparatus may be an image processing system including a plurality of apparatuses instead of a single apparatus.
  • Embodiments 1 to 3 have been described, a plurality of these three embodiments may be partially combined. Alternatively, one of these three embodiments may be partially implemented. In addition, these three embodiments may be implemented in any combination as a whole or in part. In addition, said embodiment is an essentially preferable illustration, Comprising: It does not intend restrict

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

 動画像を形成する2つの画像である第1画像(11)と第2画像(12)とを取得し、第1画像(11)に含まれる第1画素を表す増加用第1特徴値と、第2画像(12)に含まれる第2画素であって第1画素に対応する第2画素を表す増加用第2特徴値とを比較し、増加領域(1101)を抽出する増加領域抽出部(110)と、第1画素を表す減少用第1特徴値と、第1画素に対応する第2画素を表す減少用第2特徴値とを比較し、減少領域(1201)を抽出する減少領域抽出部(120)と、増加領域の面積(I)と減少領域の面積(D)との偏り度(C)に基づいて、第1画像(11)と第2画像(12)とが画像処理に適するか否かを判定する判定部(1300)とを備える。

Description

画像処理装置、画像処理方法、及びプログラム
 本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
 動画像をデジタル計算機で処理し、その動画像に含まれる物体や人などの対象物を検知する画像処理装置がある。この画像処理装置では、対象物が実際にはないにもかかわらずあると判断してしまう誤検知が発生するという問題がある。特に、動画像を形成する二つの画像を比較して動体を検知する画像処理装置において、この問題は顕著である。昼光、照明光、雷光によって画像の明るさが変化するなどした動画像、撮影時にカメラの自動制御によって、明るさ、色合い、コントラスト等が変化するなどした動画像では、誤検知の発生率が高くなる。
 このような問題に対処するため、画像処理に適さない画像の組み合わせを判別する必要がある。特許文献1には、対象物の領域面積を前後フレームで比較して面積変化量が予め定められた閾値以上である場合に誤検知の可能性があるものとして処理することが開示されている。
特開2012-123721号公報
 特許文献1のように対象物の領域面積を前後フレームで比較することは、既に対象物が動画像の枠内に存在している場合しか行うことができない。そのため、対象物が出現した瞬間であり、後フレームに対象物が含まれ、前フレームに対象物が含まれない場合には、誤検知の可能性を判断できない。前フレームの対象物面積をゼロとして、同様の処理を適用することはできるが、面積変化量が小さく閾値未満であった場合は、誤検知の可能性はないと判断される。すなわち、小さな対象物が出現した場合と、対象物ではない僅かな外乱が出現した場合は、いずれも面積変化量が小さいため、誤検知の可能性はないと判断される。そのため、特許文献1の技術では、外乱が僅かな場合に、対象物がないにもかかわらず対象物があると判断する誤検知が起こるという課題がある。
 本発明は、外乱が僅かな場合であっても、少なくとも一方が外乱を含む二画像を画像処理に適さない画像の組み合わせとして判定可能な画像処理装置を構成することを目的とする。
 本発明に係る画像処理装置は、
 動画像を形成する2つの画像である第1画像と第2画像とを取得し、前記第1画像に含まれる少なくとも1つの画素である第1画素を表す増加用第1特徴値と、前記第2画像に含まれる少なくとも1つの画素である第2画素であって前記第1画素に対応する前記第2画素を表す増加用第2特徴値とを比較し、前記増加用第1特徴値からの増加量が第1閾値より大きい前記増加用第2特徴値の前記第2画素の領域を増加領域として抽出する増加領域抽出部と、
 前記第1画像と前記第2画像とを取得し、前記第1画素を表す減少用第1特徴値と、前記第1画素に対応する前記第2画素を表す減少用第2特徴値とを比較し、前記減少用第1特徴値からの減少量が第2閾値より大きい前記減少用第2特徴値の前記第2画素の領域を減少領域として抽出する減少領域抽出部と、
 前記増加領域の面積と前記減少領域の面積との偏りの度合いを表す偏り度を算出し、算出した偏り度に基づいて、前記第1画像と前記第2画像とが画像処理に適するか否かを判定する判定部とを備える。
 本発明に係る画像処理装置によれば、増加領域の面積と減少領域の面積との偏りの度合いを表す偏り度に基づいて、第1画像と第2画像とが画像処理に適するか否かを判定する判定部を備えるので、僅かな面積の外乱であっても外乱を適切に検知することができるので、画像処理に適さない画像の組み合わせを高精度で判定することができる。
実施の形態1に係る画像処理装置のブロック構成図。 実施の形態1に係る画像処理装置のハードウェア構成図。 実施の形態1に係る画像処理装置の画像処理方法及び画像処理を示すフロー図。 実施の形態1に係る一定の画像領域の最小単位を表す図であり、(a)は一定の画像領域の最小単位を画素とする図、(b)は一定の画像領域の最小単位をブロックとする図、(c)は一定の画像領域の最小単位を画像全体とする図。 実施の形態1に係る増加領域の面積を表す図であり、(a)は増加領域の面積を画像数で表す図、(b)は増加領域の面積をブロック数で表す図、(c)は増加領域の面積を画像全体で表す図。 実施の形態1に係る減少領域の面積を表す図であり、(a)は減少領域の面積を画像数で表す図、(b)は減少領域の面積をブロック数で表す図、(c)は減少領域の面積を画像全体で表す図。 実施の形態2に係る画像処理装置のブロック構成図。 実施の形態2に係る画像処理装置の画像処理方法及び画像処理を示すフロー図。 実施の形態2に係る変化領域の面積を表す図であり、(a)は変化領域の面積を画像数で表す図、(b)は変化領域の面積をブロック数で表す図、(c)は変化領域の面積を画像全体で表す図。 実施の形態3に係る画像処理装置のブロック構成図。 実施の形態3に係る画像処理装置の画像処理方法及び画像処理を示すフロー図。
 実施の形態1.
 本実施の形態では、動画像を形成する二画像が画像処理に適さない画像の組み合わせか否かを判別する画像処理装置100について説明する。
 画像処理に適さない画像の組み合わせとは、少なくとも一方が外乱を含む二画像等である。外乱の面積が僅かである場合、二画像のうちの一方が外乱を含む二画像であっても、この二画像は画像処理に適すると判断される虞がある。本実施の形態では、外乱の面積が僅かである場合であっても、外乱を含む画像を含む二画像は画像処理に適さない画像の組み合わせであると判定することができる画像処理装置について説明する。
***構成の説明***
 図1を用いて、本実施の形態に係る画像処理装置100のブロック構成について説明する。
 画像処理装置100は、増加領域抽出部110、減少領域抽出部120、判定部1300を備える。判定部1300は、増減偏り判定部130、画像判定部140を備える。
 増加領域抽出部110は、動画像を形成する2つの画像である第1画像11と第2画像12とを取得する。増加領域抽出部110は、第1画像11に含まれる少なくとも1つの画素である第1画素111を表す増加用第1特徴値1111Aと、第2画像12に含まれる少なくとも1つの画素である第2画素121を表す増加用第2特徴値1211Aとを取得する。増加領域抽出部110は、第2画像12に含まれる少なくとも1つの画素である第2画素121であって第1画素111に対応する第2画素121を表す増加用第2特徴値1211Aを取得する。
 増加領域抽出部110は、増加用第1特徴値1111Aと増加用第2特徴値1211Aとを比較する。増加領域抽出部110は、増加用第1特徴値1111Aからの増加量が第1閾値201より大きい増加用第2特徴値1211Aの第2画素121の領域を増加領域1101として抽出する。
 増加領域抽出部110は、動画像を形成する二画像のうち新しい時刻情報に関連付けられた第2画像12と、古い時刻情報に関連付けられた第1画像11とを比較する。増加領域抽出部110は、第1画像11と第2画像12とを比較し、一定の画像領域である第1画素111あるいは第2画素121の領域において特徴値の増加量が第1閾値201を超える画像領域を増加領域1101と判定する。増加領域抽出部110は、増加領域判定部とも称される。
 ここで、特徴値の増加量とは、増加用第1特徴値1111Aから増加用第2特徴値1211Aまでの増加量である。
 減少領域抽出部120は、第1画像11と第2画像12とを取得する。減少領域抽出部120は、第1画像11に含まれる少なくとも1つの画素である第1画素111を表す減少用第1特徴値1111Bと、第1画素111に対応する第2画素121を表す減少用第2特徴値1211Bとを取得する。減少領域抽出部120は、減少用第1特徴値1111Bからの減少量が第2閾値202より大きい減少用第2特徴値1211Bの第2画素121の領域を減少領域1201として抽出する。
 減少領域抽出部120は、第1画像11と第2画像12とを比較して、一定の画像領域である第1画素111あるいは第2画素121の領域において特徴値の減少量が第2閾値を超える画像領域を減少領域1201と判定する。減少領域抽出部120は、減少領域判定部とも称される。
 ここで、特徴値の減少量とは、減少用第1特徴値1111Bから減少用第2特徴値1211Bまでの減少量である。
 増加用第1特徴値1111A、増加用第2特徴値1211A、減少用第1特徴値1111B、減少用第2特徴値1211Bのような特徴値とは、画素値に基づいて第1画素あるいは第2画素の特徴を表した値である。例えば、第1画素あるいは第2画素が1つの画素である場合は、その画素の画素値を特徴値としてもよい。また、第1画素あるいは第2画素が画素の集合である場合は、画素の集合の各画素の画素値の平均値を特徴値としてもよい。また、第1画素あるいは第2画素が画素の集合である場合は、画素の集合の各画素について予め定められた条件を満たす画素の数を特徴値としてもよい。
 なお、第1画素111とは、1つの画素でもよいし、複数の画素の集合体でもよい。また、第1画素111とは、第1画像11を構成する全ての画素でもよい。同様に、第2画素121とは、1つの画素でもよいし、複数の画素の集合体でもよい。また、第2画素121とは、第2画像12を構成する全ての画素でもよい。
 特徴値を比較する第1画像11に含まれる第1画素111の領域及び第2画像12に含まれる第2画素121の領域を、一定の画像領域、あるいは一定の画像領域の最小単位と称する場合がある。
 判定部1300は、増加領域1101の面積と減少領域1201の面積との偏りの度合いを表す偏り度Cを算出し、算出した偏り度Cに基づいて、第1画像11と第2画像12とが画像処理に適するか否かを判定する。以下の説明において、増加領域1101の面積を増加領域の面積Iと称し、減少領域1201の面積を減少領域の面積Dと称する。
 判定部1300は、偏り度Cと第3閾値203とを比較し、偏り度Cが第3閾値203より大きい場合に、第1画像11と第2画像12とが画像処理に適さないと判定する。判定部1300は、増加領域の面積Iと減少領域の面積Dとの比の値を偏り度Cとして算出する。
 判定部1300の増減偏り判定部130は、増加領域1101と減少領域1201との偏り度Cが第3閾値203を超える場合に増減偏り有りと判定する。
 増加領域1101と減少領域1201の偏り度Cは、増加領域の面積Iと減少領域の面積Dとに基づいて算出される。
 判定部1300の画像判定部140は、増減偏り判定部130により増減偏り有りと判定された場合に、第1画像11と第2画像12とを画像処理に適さない画像の組み合わせと判定する。
 なお、第1閾値201、第2閾値202、第3閾値203は、予め画像処理装置100に記憶されていてもよいし、画像処理の開始時に利用者により設定されるものでもよい。また、第1閾値201と第2閾値202とは、互いに異なる値でもよいし、同一の値でもよい。
 図2を用いて、本実施の形態に係る画像処理装置100のハードウェア構成の一例について説明する。
 画像処理装置100はコンピュータである。
 画像処理装置100は、プロセッサ901、補助記憶装置902、メモリ903、通信装置904、入力インタフェース905、ディスプレイインタフェース906といったハードウェアを備える。
 プロセッサ901は、信号線910を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
 入力インタフェース905は、入力装置907に接続されている。
 ディスプレイインタフェース906は、ディスプレイ908に接続されている。
 プロセッサ901は、プロセッシングを行うIC(Integrated Circuit)である。
 プロセッサ901は、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
 補助記憶装置902は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)である。
 メモリ903は、例えば、RAM(Random Access Memory)である。
 通信装置904は、データを受信するレシーバー9041及びデータを送信するトランスミッター9042を含む。
 通信装置904は、例えば、通信チップ又はNIC(Network Interface Card)である。
 入力インタフェース905は、入力装置907のケーブル911が接続されるポートである。
 入力インタフェース905は、例えば、USB(Universal Serial Bus)端子である。
 ディスプレイインタフェース906は、ディスプレイ908のケーブル912が接続されるポートである。
 ディスプレイインタフェース906は、例えば、USB端子又はHDMI(登録商標)(High Definition Multimedia Interface)端子である。
 入力装置907は、例えば、マウス、キーボード又はタッチパネルである。
 ディスプレイ908は、例えば、LCD(Liquid Crystal Display)である。
 補助記憶装置902には、図1に示す増加領域抽出部110、減少領域抽出部120、増減偏り判定部130、画像判定部140の機能を実現するプログラムが記憶されている。以下、増加領域抽出部110、減少領域抽出部120、増減偏り判定部130、画像判定部140をまとめて「部」と表記する。
 上述した「部」の機能を実現するプログラムは、画像処理プログラムとも称される。「部」の機能を実現するプログラムは、1つのプログラムであってもよいし、複数のプログラムから構成されていてもよい。
 このプログラムは、メモリ903にロードされ、プロセッサ901に読み込まれ、プロセッサ901によって実行される。
 更に、補助記憶装置902には、OS(Operating System)も記憶されている。
 そして、OSの少なくとも一部がメモリ903にロードされ、プロセッサ901はOSを実行しながら、「部」の機能を実現するプログラムを実行する。
 図2では、1つのプロセッサ901が図示されているが、画像処理装置100が複数のプロセッサ901を備えていてもよい。
 そして、複数のプロセッサ901が「部」の機能を実現するプログラムを連携して実行してもよい。
 また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ903、補助記憶装置902、又は、プロセッサ901内のレジスタ又はキャッシュメモリにファイルとして記憶される。
 「部」を「サーキットリー」で提供してもよい。
 また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。また、「処理」を「回路」又は「工程」又は「手順」又は「部」に読み替えてもよい。
 「回路」及び「サーキットリー」は、プロセッサ901だけでなく、ロジックIC又はGA(Gate Array)又はASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)といった他の種類の処理回路をも包含する概念である。
 なお、プログラムプロダクトと称されるものは、「部」として説明している機能を実現するプログラムが記録された記憶媒体、記憶装置などであり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。
***動作の説明***
 図3を用いて、本実施の形態に係る画像処理装置100の画像処理方法及び画像処理S100について説明する。
<増加領域抽出処理S110>
 増加領域抽出部110は、動画像を形成する2つの画像である第1画像11と第2画像12とを取得する。
 上述したように、第2画像12は、第1画像11に関連付けられた時刻情報よりも新しい時刻情報に関連付けられた画像であるものとする。第1画像11と第2画像12とは、動画像を形成する連続した画像から抽出された画像であればよく、連続していてもよいし、連続していなくてもよい。
 増加領域抽出部110は、取得した第1画像11に含まれる画素の増加用第1特徴値1111Aと、取得した第2画像12に含まれる画素であって第1画像11に含まれる画素に対応する画素の増加用第2特徴値1211Aとを比較する。増加領域抽出部110は、増加用第1特徴値1111Aからの増加量が第1閾値201より大きい増加用第2特徴値1211Aの画素の領域を増加領域1101として抽出する増加領域抽出処理S110を実行する。
 動画像を形成する画像は、タイムスタンプのような時刻情報と関連付けられている。よって、動画像を形成する二画像は、一方の画像が他方の画像より新しい時刻情報を持っており、第1画像11と第1画像11より新しい時刻情報の第2画像12とに分類することができる。
 30fps(frames per second)の動画像を形成する連続する二画像は、1/30秒ずつ異なる時刻情報と関連付けられている。画像形式変換など何らかの処理によって時刻情報が消失している場合であっても、その動画像の中で何番目の画像であるかを表す通し番号を時刻情報として扱うことができる。この場合、通し番号の値が大きい程新しい時刻情報であるとすれば、動画像を形成する二画像を第1画像11と第2画像12とに分類することができる。
 図4を用いて、本実施の形態に係る増加領域抽出処理S110を具体的に説明する。
 図4の(a)を用いて、増加領域抽出処理S110の一定の画像領域の最小単位を画素とする構成例について説明する。ここでは、比較対象の一定の画像領域、すなわち第1画素111の領域は、第1画像11に含まれる1つの画素の領域である。また、比較対象の一定の画像領域、すなわち第2画素121の領域は、第2画像12に含まれ、第2画像12において第1画素111に対応する位置の1つの画素の領域である。すなわち、特徴値の増加量を比較する第1画素111と第2画素121とは、それぞれ1つの画素である。
 図4の(a)に示すように、増加領域抽出部110は、一定の画像領域の最小単位を画素とする。増加領域抽出部110は、特徴値の増加量を、第2画像12の1つの画素の画素値から第1画像11の同じ位置にある画素の画素値を引いた値とする。
 すなわち、増加領域抽出部110は、第2画像12の1つの画素である第2画素121の画素値を増加用第2特徴値1211Aとし、第1画像11において第2画素121と同じ位置にある第1画素111の画素値を増加用第1特徴値1111Aとして、特徴値の増加量を算出する。
 増加領域抽出部110は、増加量と第1閾値201とを比較して、画素毎に画素が増加領域1101か否かを判定する。
 図4の(b)を用いて、増加領域抽出処理S110の一定の画像領域の最小単位を複数の画素を含むブロックとする構成例について説明する。ここでは、第1画素111は、第1画像11に含まれる複数の画素であり、第2画素121は、第2画像12に含まれ、第2画像12において第1画素111に対応する位置の複数の画素である。すなわち、特徴値の増加量を比較する第1画素111と第2画素121とは、それぞれ1つのブロックである。
 図4の(b)に示すように、増加領域抽出部110は、一定の画像領域の最小単位を複数の画素の集合体であるブロックとする。増加領域抽出部110は、特徴値の増加量を、第2画像12のブロックのブロック内画素の画素値の平均値から、第1画像11の同じ位置にあるブロックのブロック内画素の画素値の平均値を引いた値とする。
 増加領域抽出部110は、第2画像12内のブロック(第2画素121)におけるブロック内画素の画素値の平均値を増加用第2特徴値1211Aとし、第1画像11において、第2画素121と同じ位置にあるブロック(第1画素111)におけるブロック内画素の画素値の平均値を増加用第1特徴値1111Aとし、特徴値の増加量を算出する。
 増加領域抽出部110は、増加量と第1閾値201とを比較して、ブロック毎にブロックが増加領域1101か否かを判定する。
 一定の画像領域の最小単位をブロックとする抽出方法では、画素毎の閾値処理が不要となるため、一定の画像領域の最小単位を画素とする抽出方法に比べ、アルゴリズムが簡略化され、処理が高速となるという効果がある。
 また、一定の画像領域の最小単位をブロックとする抽出方法において、特徴値の増加量を、第2画素121において、第2画素121の画素の画素値の方が第1画素111の同じ位置にある画素の画素値より大きいという条件を満たすブロック内画素の数としてもよい。この場合、増加領域抽出部110は、第1画素111であるブロックには上記条件を満たす画素はないので0を増加用第1特徴値1111Aとし、第2画素121であるブロックにおいて上記条件を満たす画素の数を増加用第2特徴値1211Aとし、特徴値の増加量を算出する。
 一定の画像領域の最小単位をブロックとする抽出方法では、画像同士の減算や画素数の集計など特定の演算を高速に行える処理装置を搭載した場合に、処理が高速となるという効果がある。ブロックは必ずしも矩形である必要はなく、任意の形状でよい。
 図4の(c)を用いて、増加領域抽出処理S110の一定の画像領域の最小単位を画像全体とする構成例について説明する。ここでは、第1画素111は、第1画像11に含まれる全ての画素であり、第2画素121は、第2画像12に含まれる全ての画素である。すなわち、一定の画像領域の最小単位を画像全体とする。
 図4の(c)に示すように、増加領域抽出部110は、一定の画像領域の最小単位を画像全体とし、特徴値の増加量を、第2画像12の全画素の画素値の平均値から第1画像11の全画素の画素値の平均値を引いた値とする。
 すなわち、増加領域抽出部110は、第2画像12の全画素の画素値の平均値を増加用第2特徴値1211Aとし、第1画像11の全画素の画素値の平均値を増加用第1特徴値1111Aとして、特徴値の増加量を算出する。
 増加領域抽出部110は、画像全体が増加領域1101か否かを判定する。
 一定の画像領域の最小単位を画像全体とする抽出方法では、一定の画像領域の最小単位をブロックとする抽出方法に比べ、アルゴリズムが簡略化され、処理が高速となるという効果がある。
 なお、一定の画像領域の最小単位や特徴値の増加量の定義を上述した方法以外のように定めて増加領域1101を判定するよう構成してもよい。増加領域抽出部110は、第1画像11と第2画像12とを比較して、一定の画像領域において特徴値の増加量が閾値を超える場合にその画像領域を増加領域1101と判定するのであれば、任意の構成とすることができる。
<減少領域抽出処理S120>
 減少領域抽出部120は、第1画像11と第2画像12とを取得し、第1画像11に含まれる第1画素111の減少用第1特徴値1111Bと、第2画像12に含まれる第2画素121の減少用第2特徴値1211Bとを比較する。減少領域抽出部120は、減少用第1特徴値1111Bからの減少量が第2閾値202より大きい減少用第2特徴値1211Bの第2画素121の領域を減少領域1201として抽出する減少領域抽出処理S120を実行する。
 図4を用いて、減少領域抽出処理S120を具体的に説明する。
 図4の(a)を用いて、減少領域抽出処理S120の一定の画像領域の最小単位を画素とする構成例について説明する。ここでは、一定の画像領域は、1つの画素である第1画素111の領域、第2画素121の領域である。
 図4の(a)に示すように、減少領域抽出部120は、一定の画像領域の最小単位を画素とする。減少領域抽出部120は、特徴値の減少量を、第1画像11の画素の画素値から第2画像12の同じ位置にある画素の画素値を引いた値とする。
 すなわち、減少領域抽出部120は、第1画像11の1つの画素である第1画素111の画素値を減少用第1特徴値1111Bとし、第2画像12において第1画素111と同じ位置にある第2画素121の画素値を減少用第2特徴値1211Bとして、特徴値の減少量を算出する。
 減少領域抽出部120は、画素毎に画素が減少領域1201か否かを判定する。
 図4の(b)を用いて、減少領域抽出処理S120の一定の画像領域の最小単位をブロックとする構成例について説明する。ここでは、一定の画像領域は、画素の集合体である第1画素111の領域、第2画素121の領域である。
 図4の(b)に示すように、減少領域抽出部120は、一定の画像領域の最小単位をブロックとする。減少領域抽出部120は、特徴値の減少量を、第1画像11のブロックのブロック内画素の画素値の平均値から第2画像12の同じ位置にあるブロックのブロック内画素の画素値の平均値を引いた値とする。
 減少領域抽出部120は、第2画像12内のブロック(第2画素121)におけるブロック内画素の画素値の平均値を減少用第2特徴値1211Bとし、第1画像11において、第2画素121と同じ位置にあるブロック(第1画素111)におけるブロック内画素の画素値の平均値を減少用第1特徴値1111Bとし、特徴値の減少量を算出する。
 減少領域抽出部120は、ブロック毎にブロックが減少領域1201か否かを判定する。
 一定の画像領域の最小単位をブロックとする抽出方法では、画素毎の閾値処理が不要となるため、一定の画像領域の最小単位を画素とする抽出方法に比べ、アルゴリズムが簡略化され、処理が高速となるという効果がある。
 また、一定の画像領域の最小単位をブロックとする抽出方法において、特徴値の減少量を、第2画素121において、第2画素121の画素の画素値の方が第1画素111の同じ位置にある画素の画素値より小さいという条件を満たすブロック内画素の数としてもよい。この場合、減少領域抽出部120は、第1画素111であるブロックには上記条件を満たす画素はないので0を減少用第1特徴値1111Bとし、第2画素121であるブロックにおいて上記条件を満たす画素の数に-1をかけた値を減少用第2特徴値1211Bとし、特徴値の減少量を算出する。
 一定の画像領域の最小単位をブロックとする抽出方法では、画像同士の減算や画素数の集計など特定の演算を高速に行える処理装置を搭載した場合に、処理が高速となるという効果がある。ブロックは必ずしも矩形である必要はなく、任意の形状でよい。
 図4の(c)を用いて、減少領域抽出処理S120の一定の画像領域の最小単位を画像全体とする構成例について説明する。ここでは、一定の画像領域は、第1画像11の画像全体の画素である第1画素111の領域、第2画像12の画像全体の画素である第2画素121の領域である。
 図4の(c)に示すように、減少領域抽出部120は、一定の画像領域の最小単位を画像全体とする。減少領域抽出部120は、特徴値の減少量を、第1画像11の全画素の画素値の平均値から第2画像12の全画素の画素値の平均値を引いた値とする。
 すなわち、減少領域抽出部120は、第2画像12の全画素の画素値の平均値を減少用第2特徴値1211Bとし、第1画像11の全画素の画素値の平均値を減少用第1特徴値1111Bとして、特徴値の減少量を算出する。
 減少領域抽出部120は、画像全体が減少領域1201か否かを判定する。
 一定の画像領域の最小単位を画像全体とする抽出方法では、一定の画像領域の最小単位をブロックとする抽出方法に比べ、アルゴリズムが簡略化され、処理が高速となるという効果がある。
 なお、一定の画像領域の最小単位や特徴値の減少量の定義を上述した方法以外のように定めて減少領域1201を判定するよう構成してもよい。減少領域抽出部120は、第1画像11と第2画像12とを比較して、一定の画像領域において特徴値の減少量が閾値を超える場合にその画像領域を減少領域1201と判定するのであれば、任意の構成とすることができる。
<判定処理S1300>
 判定部1300は、増加領域の面積Iと減少領域の面積Dとの偏りの度合いを表す偏り度Cを算出し、算出した偏り度Cに基づいて、第1画像11と第2画像12とが画像処理に適するか否かを判定する判定処理S1300を実行する。
 判定処理S1300は、増減偏り判定処理S130と、画像判定処理S140とを備える。
<増減偏り判定処理S130>
 図5及び図6を用いて、増減偏り判定処理S130について具体的に説明する。
 増減偏り判定部130は、増加領域の面積Iと減少領域の面積Dとを用いて、下式のように偏り度Cを算出する構成である。
C=0(I=D=0の場合)
C=∞(I>D=0またはD>I=0の場合)
C=I/D(I>D>0の場合)
C=D/I(D≧I>0の場合)
 図5の(a)及び図6の(a)を用いて、画像領域の面積をその画像領域内の画素数で表す構成例について説明する。増加領域抽出部110が画素毎に増加領域1101を判定し、減少領域抽出部120が画素毎に減少領域1201を判定する場合は、画像領域の面積を画素数で表し、偏り度Cを算出する。
 増減偏り判定部130は、図5の(a)に示すように増加領域1101として158321画素を取得し、図6の(a)に示すように減少領域1201として20179画素を取得する。すなわち、増加領域の面積Iは158321画素と表され、減少領域の面積Dは20179画素となる。
 増減偏り判定部130は、I>Dであると判定し、偏り度CをC=I/D、すなわち158321/20179≒7.846と算出する。
 増減偏り判定部130は、算出した偏り度Cと第3閾値203とを比較し、増減偏り有りか増減偏り無しかを判定し、判定結果を出力する。
 次に、図5の(b)及び図6の(b)を用いて、画像領域の面積をその画像領域内のブロック数で表す構成例について説明する。増加領域抽出部110がブロック単位で増加領域1101を判定し、減少領域抽出部120がブロック単位で減少領域1201を判定する場合は、面積をブロック数で表して偏り度Cを算出する。
 増減偏り判定部130は、図5の(b)に示すように増加領域の面積Iとして12ブロックを取得し、図6の(b)に示すように減少領域の面積Dとして2ブロックを取得する。増減偏り判定部130は、I>Dであると判定し、偏り度CをC=I/D、すなわち12/2=6と算出する。
 増減偏り判定部130は、算出した偏り度Cと第3閾値203とを比較し、増減偏り有りか増減偏り無しかを判定し、判定結果を出力する。
 次に、図5の(c)及び図6の(c)を用いて、画像領域の面積をその画像領域全体で表す構成例について説明する。増加領域抽出部110は、画像全体単位で増加領域1101を判定し、減少領域抽出部120が画像全体単位で減少領域1201を判定する。この場合、判定の対象となる画像は、増加領域1101と減少領域1201とのどちらでもない画像と、増加領域1101である画像と、減少領域1201である画像とのいずれかとなる。増減偏り判定部130は、画像全体が増加領域1101か減少領域1201かのいずれか一方のみである場合に増減偏り有りと判定する。
 この判定方法は、上述した式を適用して偏り度Cを算出した後、第3閾値203と比較する処理と等価である。増加領域抽出部110が増加領域1101を図5の(c)のように増加領域の面積Iが1画像と判定したとする。また、減少領域抽出部120が減少領域1201を図6の(c)のように減少領域の面積Dが0画像であると判定したとする。この場合、偏り度Cは∞(無限大)となり、偏り度Cが有限値の第3閾値203を超えるため、増減偏り有りと判定される。このように、増減偏り判定部130は、算出した偏り度Cと第3閾値203とを比較し、増減偏り有りか増減偏り無しかを判定し、判定結果を出力することができる。
 なお、偏り度Cの定義は上式に限定されない。上式より複雑な条件分岐や計算式によって偏り度Cを算出してもよい。また、増減偏り判定部130は、増加領域1101と減少領域1201の偏り度が閾値を超える場合に増減偏り有りと判定するように構成するのであれば、任意の構成とすることができる。
<画像判定処理S140>
 画像判定部140は、増減偏り判定部130から出力された判定結果に基づいて、第1画像11と第2画像12とが画像処理に適しているか否かを判定する。画像判定部140は、増減偏り判定部130から出力された判定結果が増減偏り有りの場合は第1画像11と第2画像12とは画像処理に適さない画像の組み合わせであると判定する。画像判定部140は、増減偏り判定部130から出力された判定結果が増減偏り無しの場合は第1画像11と第2画像12とは画像処理に適した画像の組み合わせであると判定する。
 なお、増減偏り判定部130は、偏り度Cを算出し、算出した偏り度Cを画像判定部140に出力してもよい。画像判定部140は、増減偏り判定部130から偏り度Cを取得し、取得した偏り度Cと第3閾値203とを比較し、第1画像11と第2画像12とが画像処理に適した画像の組み合わせか否かを判定する構成でもよい。
 以上で、本実施の形態に係る画像処理装置100の画像処理S100についての説明を終わる。
***効果の説明***
 本実施の形態に係る画像処理装置は、動画像を形成する二画像のうち新しい時刻情報に関連付けられた第2画像と古い時刻情報に関連付けられた第1画像を取得する。増加領域抽出部は、取得した第1画像と第2画像とを比較し、一定の画像領域において特徴値の増加量が閾値を超える場合にその画像領域を増加領域と判定する。減少領域抽出部は、第1画像と第2画像を比較して、一定の画像領域において特徴値の減少量が閾値を超える場合にその画像領域を減少領域と判定する。また、増減偏り判定部は、増加領域と減少領域の偏り度が閾値を超える場合に増減偏り有りと判定する。画像判定部は、増減偏り判定部が増減偏り有りと判定した場合に第1画像と第2画像を画像処理に適さない画像の組み合わせと判定する。
 このように、本実施の形態に係る画像処理装置では、増加領域と減少領域の偏り度が、二画像が画像処理に適さない画像の組み合わせかどうかを判定する基準になっている。よって、画像処理装置は、増加領域や減少領域の面積が小さい場合であっても、増加領域か減少領域かどちらか一方に偏った性質を持つ場合に、第1画像と第2画像とを画像処理に適さない画像の組み合わせと判断することができる。僅かな外乱が画像内に発生した場合、その外乱が一つの原因によるものであれば、外乱による画素値の変化は、増加傾向か減少傾向かどちらか一方に偏ることが多い。したがって、本実施の形態に係る画像処理装置では、外乱が僅かな場合であっても、少なくとも一方が外乱を含む二画像を画像処理に適さない画像の組み合わせとして判別できるという効果がある。
 実施の形態2.
 本実施の形態では、主に、実施の形態1と異なる点について説明する。
 実施の形態1で説明した構成と同様の構成については同一の符号を付し、その説明を省略する場合がある。
 図7を用いて、本実施の形態に係る画像処理装置100aのブロック構成について説明する。
 図7に示すように、本実施の形態に係る画像処理装置100aは、実施の形態1で説明した画像処理装置100の構成に加え、変化領域抽出部150を備える。また、本実施の形態に係る判定部1300aは、実施の形態1で説明した判定部1300の構成に加え、大変化判定部160を備える。
 変化領域抽出部150は、第1画像11と第2画像12とを取得し、第1画素111を表す変化用第1特徴値1111Cと、第1画素111に対応する第2画素121を表す変化用第2特徴値1211Cとを取得する。変化領域抽出部150は、変化用第1特徴値1111Cから変化用第2特徴値1211Cへの変化の度合いを表す変化度が第4閾値より大きい変化用第2特徴値1211Cの第2画素121の領域を変化領域1501として抽出する。変化領域抽出部150は、一定の画像領域において特徴値の変化度が第4閾値204を超える場合に、その画像領域を変化領域と判定する。変化領域抽出部150は、変化領域判定部とも称される。
 ここで、特徴値の変化度とは、変化用第1特徴値1111Cから変化用第2特徴値1211Cまでの変化の度合いである。
 判定部1300aは、偏り度Cと変化領域の面積Mとに基づいて、第1画像11と第2画像12とが画像処理に適するか否かを判定する。
 判定部1300aは、偏り度Cと第3閾値203とを比較すると共に、変化領域の面積Mと第5閾値205とを比較する。判定部1300aは、偏り度Cが第3閾値203より大きい場合、あるいは、変化領域の面積Mが第5閾値205より大きい場合に、第1画像11と第2画像12とが画像処理に適さないと判定する。
 図8を用いて、本実施の形態に係る画像処理装置100aの画像処理方法及び画像処理S100aについて説明する。
 図8における増加領域抽出処理S110、減少領域抽出処理S120は、図3における増加領域抽出処理S110、減少領域抽出処理S120と同様である。
<変化領域抽出処理S121>
 変化領域抽出部150は、変化用第2特徴値1211Cから変化用第1特徴値1111Cを引いた値の絶対値が第4閾値204より大きい変化用第2特徴値1211Cの第2画素121の領域を変化領域1501として抽出する変化領域抽出処理S121を実行する。
 図4を用いて、本実施の形態に係る変化領域抽出処理S121を具体的に説明する。
 図4の(a)を用いて、変化領域抽出処理S121において一定の画像領域の最小単位を画素とする構成例について説明する。図4の(a)に示すように、変化領域抽出部150は、特徴値の変化度を、第2画像12の画素の画素値から第1画像11の同じ位置にある画素の画素値を引いた値の絶対値とする。
 すなわち、変化領域抽出部150は、第2画像12の1つの画素である第2画素121の画素値を変化用第2特徴値1211Cとし、第1画像11において第2画素121と同じ位置にある第1画素111の画素値を変化用第1特徴値1111Cとして、特徴値の変化度を算出する。
 変化領域抽出部150は、変化度と第4閾値204とを比較して、画素毎に変化領域1501か否かを判定する。
 図4の(b)を用いて、変化領域抽出処理S121において一定の画像領域の最小単位をブロックとする構成例について説明する。図4の(b)に示すように、変化領域抽出部150は、特徴値の変化度を、第2画素121において、第1画素111の画素の画素値と第2画素121の同じ位置にある画素の画素値の差の絶対値が一定の閾値を超えるという条件を満たすブロック内の画素の数とする。この場合、変化領域抽出部150は、第1画素111であるブロックには上記条件を満たす画素はないので0を変化用第1特徴値1111Cとし、第2画素121であるブロックにおいて上記条件を満たす画素の数を変化用第2特徴値1211Cとし、特徴値の変化度を算出する。
 変化領域抽出部150は、変化度と第4閾値204とを比較して、ブロック毎に変化領域1501か否かを判定する。この構成では、ランダムノイズによってごく少数の画素において画素値が大きく変動する場合があっても、ブロック単位で判定することでランダムノイズの影響を抑制することができるという効果がある。ブロックは必ずしも矩形である必要はなく、任意の形状でよい。
 図4の(c)を用いて、変化領域抽出処理S121の一定の画像領域の最小単位を画像全体とする構成例について説明する。図4の(c)に示すように、変化領域抽出部150は、特徴値の変化度を、第2画素121において、第1画像11の画素の画素値と第2画像12の同じ位置にある画素の画素値の差の絶対値が一定の閾値を超えるという条件を満たす画素の数とする。この場合、変化領域抽出部150は、第1画素111である第1画像11には上記条件を満たす画素はないので0を変化用第1特徴値1111Cとし、第2画素121である第2画像12において上記条件を満たす画素の数を変化用第2特徴値1211Cとし、特徴値の変化度を算出する。
 変化領域抽出部150は、変化度と第4閾値204とを比較して、画像全体が変化領域1501か否かを判定する。
 この構成では、一定の画像領域の最小単位をブロックとする抽出方法の構成例に比べ、アルゴリズムが簡略化され、処理が高速となるという効果がある。
 なお、一定の画像領域の最小単位や特徴値の変化度の定義を上記の方法以外のように定めて変化領域1501を判定するよう構成してもよい。変化領域抽出部150は、第1画像11と第2画像12を比較して、一定の画像領域において特徴値の変化度が第4閾値204を超える場合にその画像領域を変化領域1501と判定するのであれば、任意の構成とすることができる。
 なお、第4閾値204、第5閾値205、あるいはその他の閾値は、予め設定され、画像処理装置100aの記憶装置などに記憶される。あるいは、第4閾値204、第5閾値205、あるいはその他の閾値は、画像処理S100aの開始時に利用者により設定されるものでもよい。第4閾値204は、変化度がどのような値として算出されるかに応じて予め設定される。
 変化領域抽出部150は、抽出した変化領域1501を判定部1300aに出力する。
<判定処理S1300a>
 判定部1300aは、偏り度Cと変化領域の面積Mとに基づいて、第1画像11と第2画像12とが画像処理に適するか否かを判定する判定処理S1300aを実行する。
 判定処理S1300aは、増減偏り判定処理S130と、大変化判定処理S131と、画像判定処理S140aとを備える。
 増減偏り判定処理S130については、図3の増減偏り判定処理S130と同様である。
<大変化判定処理S131>
 大変化判定部160は、変化領域抽出部150から出力された変化領域1501を取得する。大変化判定部160は、変化領域の面積Mが第5閾値205を超える場合に大変化有りと判定する。大変化判定部160は、変化領域1501に基づいて、大変化有りか大変化無しかを判定し、判定結果を出力する。
 図9を用いて、大変化判定処理S131について説明する。
 図9の(a)は、変化領域の面積Mを変化領域1501の画素数で表す構成である。変化領域抽出部150が変化領域1501を図9の(a)のように判定し、変化領域の面積Mが197688画素で表されるものとする。大変化判定部160は、197688画素が第5閾値205を超える場合に大変化有りと判定する。
 図9の(b)は、変化領域1501をブロック単位で判定する構成例である。変化領域抽出部150がブロック単位で変化領域1501を判定する構成である場合は、大変化判定部160は変化領域の面積Mをブロック数で表して大変化有りか否かを判定してもよい。変化領域抽出部150が変化領域1501を図9の(b)に示すように判定し、変化領域の面積Mが19ブロックで表されるものとする。大変化判定部160は、19ブロックが第5閾値205を超える場合に大変化有りと判定する。
 図9の(c)は、変化領域1501を画像全体単位で判定する構成例である。変化領域抽出部150が画像全体単位で変化領域1501を判定する構成である場合は、画像全体が変化領域1501であれば大変化有りと判定する。この処理は、画像全体単位の面積1が第5閾値205(例えば0)を超える場合に大変化有りと判定する構成と等価である。変化領域抽出部150が変化領域1501を図9の(c)のように判定し、変化領域の面積Mが1画像である場合、第5閾値205の0を超えるため、大変化有りと判定される。以上のように、大変化判定部160は、変化領域の面積Mが第5閾値を超える場合に大変化有りと判定するように構成するのであれば、任意の構成とすることができる。
<画像判定処理S140a>
 判定部1300aは、偏り度Cが第3閾値203より大きい場合、あるいは、変化領域の面積Mが第5閾値205より大きい場合に、第1画像11と第2画像12とが画像処理に適さないと判定する。
 画像判定部140aは、増減偏り判定部130から出力された判定結果及び大変化判定部160から出力された判定結果に基づいて、第1画像11と第2画像12とが画像処理に適しているか否かを判定する。
 画像判定部140aは、増減偏り判定部130から出力された判定結果が偏り無しであり、かつ、大変化判定部160から出力された判定結果が大変化無しの場合、第1画像11と第2画像12とは画像処理に適した画像の組み合わせであると判定する。
 以上で、本実施の形態に係る画像処理装置100aの画像処理S100aについての説明を終わる。
 本実施の形態で説明した画像処理装置100aは、増加領域と減少領域の偏り度が閾値を超える場合に第1画像と第2画像とを画像処理に適さない画像の組み合わせと判定するだけでなく、変化領域の面積が閾値を超える場合にも第1画像と第2画像とを画像処理に適さない画像の組み合わせと判定するよう構成した。画像上の広範囲に渡る外乱が発生した場合に変化領域の面積が大きくなることから、この構成の画像処理装置では、外乱が僅かな場合であっても広範囲に渡る場合であっても、少なくとも一方が外乱を含む二画像を画像処理に適さない画像の組み合わせとして判別できるという効果がある。
 次に、画像処理装置100aの画像処理S100aとは異なる機能を有する画像処理装置100bの画像処理S100bについて説明する。
 上述した画像処理S100aの判定処理S1300aでは、増減偏り判定部130は、実施の形態1に係る画像処理装置100における増減偏り判定部130と同様の構成であった。しかし、以下に説明する画像処理S100bでは、増減偏り判定部130bは、増加領域1101と減少領域1201とに加え、変化領域1501を取得する。そして、増減偏り判定部130bは、増加領域1101と減少領域1201と変化領域1501とを参照して、増減偏り有りか否かを判定する。
<増加領域抽出処理S110b>
 増加領域抽出部110bは、図4の(b)に示すように、一定の画像領域の最小単位をブロックとする。増加領域抽出部110bは、特徴値の増加量を、第2画像12の画素の画素値から第1画像11の同じ位置にある画素の画素値を引いた差が第6閾値206を超えるという条件を満たすブロック内画素の数とする。そして、増加領域抽出部110bは、特徴値の増加量が第7閾値207を超えるか否かを判定することによりブロック毎に増加領域1101か否かを判定する。
<減少領域抽出処理S120b>
 減少領域抽出部120bは、図4の(b)に示すように、一定の画像領域の最小単位をブロックとする。減少領域抽出部120bは、特徴値の減少量を、第1画像11の画素の画素値から第2画像12の同じ位置にある画素の画素値を引いた差が第6閾値206を超えるという条件を満たすブロック内画素の数とする。そして、減少領域抽出部120bは、特徴値の減少量が第7閾値207を超えるか否かを判定することによりブロック毎にブロックが減少領域1201か否かを判定する。
<変化領域抽出処理S121b>
 変化領域抽出部150bは、図4の(b)に示すように、一定の画像領域の最小単位をブロックとする。変化領域抽出部150bは、特徴値の変化度を、第1画像11の画素の画素値と第2画像12の同じ位置にある画素の画素値との差の絶対値が第6閾値206を超えるという条件を満たすブロック内画素の数とする。そして、変化領域抽出部150bは、特徴値の変化度が第7閾値207を超えるか否かを判定することによりブロック毎にブロックが変化領域1501か否かを判定する。
<増減偏り判定処理S130b>
 上述した増加領域抽出処理S110b、減少領域抽出処理S120b、変化領域抽出処理S121bにおいては、増加領域1101と減少領域1201とは、必然的に変化領域1501となる。すなわち、増加領域の面積I、減少領域の面積D、及び変化領域の面積Mの関係は、M≧I+Dとなる。
 増減偏り判定部130bは、増加領域の面積I、減少領域の面積D、変化領域の面積Mを用いて、下式のように偏り度Cを算出する。
C=0(I=D=0の場合)
C=∞(I>D=0またはD>I=0の場合)
C=I/M(I>D>0の場合)
C=D/M(D≧I>0の場合)
 増減偏り判定部130bは、偏り度Cと第3閾値203とを比較することにより、偏り有りか否かを判定する。増減偏り判定部130bは、変化領域の面積Mに対する増加領域の面積Iまたは減少領域の面積Dの割合が第3閾値203を超える場合に偏り有りと判定することとなるため、変化領域の面積Mに対する増加領域の面積Iまたは減少領域の面積Dの割合(0以上1未満)を第3閾値203とすることができる。
 次に、本実施の形態で説明した画像処理装置100a,100bの画像処理S100a,S100bとは異なる画像処理装置100cの画像処理S100cについて説明する。
 本実施の形態で説明した画像処理装置100a,100bの画像処理S100a,S100bでは、変化領域抽出部150a,150bは、増加領域抽出部110や減少領域抽出部120とは独立に動作する構成である。しかし、画像処理装置100cでは、増加領域抽出部110や減少領域抽出部120の処理を流用して動作する変化領域抽出部150cを備えていてもよい。
<変化領域抽出処理S121c>
 増加領域抽出部110は、一定の画像領域において特徴値の増加量が第1閾値201を超える場合にその画像領域を増加領域1101と判定する。また、減少領域抽出部120は、一定の画像領域において特徴値の減少量が第2閾値202を超える場合にその画像領域を減少領域1201と判定する。このとき、第1閾値201と第2閾値202とは等しいことが好ましい。
 変化領域抽出部150cは、特徴値の変化度を、特徴値の増加量と特徴値の減少量とのうち大きい方の値としてよい。そして、変化領域抽出部150cは、一定の画像領域において特徴値の変化度が第4閾値204を超える場合にその画像領域を変化領域1501と判定する変化領域抽出処理S121cを実行してもよい。
 この変化領域抽出処理S121cでは、特徴値の変化度を算出するアルゴリズムが簡略化され、処理が高速となるという効果がある。また、この変化領域抽出処理S121cによって判定される変化領域1501は、増加領域1101と減少領域1201の和集合となる。よって、この変化領域抽出処理S121cは、変化領域抽出部が増加領域1101と減少領域1201の和集合を変化領域1501と判定するよう構成する処理と等価である。また、この変化領域抽出処理S121cは、次のような処理とも等価である。この処理は、増加領域1101または減少領域1201に含まれる画像領域の特徴値の変化度を1とし、さもなければ特徴値の変化度を0とし、特徴値の変化度が1未満の閾値を超える場合にその画像領域を変化領域と判定する処理である。
 この変化領域抽出処理S121cでは、増加か減少かがはっきりしない変化を変化と評価しないこととなるため、増加と減少がランダムに混ざり合う性質を示す常在ノイズを変化と見なさず、光度変化などの原因による一時的な外乱を変化と見なすこととなる。よって、この変化領域抽出処理S121cによれば、少なくとも一方に当該外乱が含まれる二画像を効率よく画像処理に適さない画像の組み合わせと判定することができるという効果がある。
 実施の形態3.
 本実施の形態では、主に、実施の形態2と異なる点について説明する。
 本実施の形態では、動画像を形成する二画像が画像処理に適さない画像の組み合わせか否かを判別することで、動体を検知する際に起こる誤検知を抑制する画像処理装置100dについて説明する。
 本実施の形態では、実施の形態2で説明した構成と同様の構成については同一の符号を付し、その説明を省略する場合がある。
 図10を用いて、本実施の形態に係る画像処理装置100dのブロック構成について説明する。
 図10に示すように、本実施の形態に係る画像処理装置100dは、実施の形態2で説明した画像処理装置100aの構成に加え、動体検知部170を備える。
 動体検知部170は、第1画像11と第2画像12とを取得すると共に、判定部1300aから第1画像11と第2画像12とが画像処理に適するか否かの判定結果1301を取得する。動体検知部170は、第1画像11と第2画像12とが画像処理に適すると判定された場合に第1画像11と第2画像12とを用いた動体検知処理を実行し、実行した動体検知処理の結果を検知結果1701に設定する。動体検知部170は、第1画像11と第2画像12とが画像処理に適さないと判定された場合は、動体検知処理を実行せずに検知結果1701に検知失敗を設定する。
 図11を用いて、本実施の形態に係る画像処理装置100dの画像処理S100dについて説明する。
 増加領域抽出処理S110、減少領域抽出処理S120、変化領域抽出処理S121、増減偏り判定処理S130、大変化判定処理S131、画像判定処理S140については、実施の形態2で説明した処理と同様である。
<動体検知処理S150>
 動体検知部170は、第1画像11と第2画像12とを取得すると共に、判定部1300aから第1画像11と第2画像12とが画像処理に適するか否かの判定結果1301を取得する。動体検知部170は、第1画像11と第2画像12とが画像処理に適すると判定された場合に第1画像11と第2画像12とを用いた動体検知処理を実行し、動体検知処理の結果を検知結果1701に設定する。動体検知部170は、第1画像11と第2画像12とが画像処理に適さないと判定された場合は検知結果1701に検知失敗を設定する。
 この動体検知処理S150では、画像判定部140が第1画像11と第2画像12を画像処理に適さない画像の組み合わせと判定しなかった場合に限り、動体検知処理を実施する。
 あるいは、動体検知部170は、第1画像11と第2画像12を比較して動体を検知する。画像判定部140から出力された判定結果1301が第1画像11と第2画像12を画像処理に適さない画像の組み合わせと判定した場合に、動体検知部170は、動体検知を無効化してもよい。すなわち、動体検知部170は、画像判定部140が第1画像11と第2画像12を画像処理に適さない画像の組み合わせと判定した場合に限り、動体検知処理の検知結果1701の内容を廃棄し、動体が検知されなかったものとしてもよい。
 上記のような動体検知処理の他に、第1画像11と第2画像12とが画像処理に適さない画像の組み合わせと判定された場合には、動体検知処理が無効となるような動体検知処理であれば、任意の処理方式とすることができる。動体検知処理が無効となるとは、動体検知処理を実行したとしても実行しなかったものとすること、あるいは、動体検知処理を実行しないことである。
 本実施の形態に係る画像処理装置100dは、第1画像11と第2画像12とを比較して第1画像11と第2画像12とが画像処理に適さない画像の組み合わせかどうかを判定する。そして、画像処理装置100dは、第1画像11と第2画像12とが画像処理に適さない画像の組み合わせである場合に動体検知を無効化する処理を実行する。このため、画像処理装置100dによれば、第1画像11と第2画像12との少なくとも一方が外乱を含む二画像から誤って検知された動体を正しく検知されたものとして処理する誤検知を抑制する効果がある。
 実施の形態1から3で説明した画像処理装置では、画素値はどのような成分の値であってもよい。例えば、白黒画像が対象であれば、画素値は、輝度(濃淡)成分の値とすることができる。RGBカラー画像が対象であれば、画素値は、赤色(R)成分、緑色(G)成分、青色(B)成分のいずれかの値とすることができる。YCbCrカラー画像が対象であれば、画素値は、輝度(Y)成分、青色色差(Cb)成分、赤色色差(Cr)成分のいずれかの値とすることができる。
 また、実施の形態1から3で説明した画像処理装置は、動画像に何らかの加工を施して生成された動画像を形成する二画像に対しても適用することができる。例えば、白黒動画像を形成する各画像を、画像内における高周波成分のみを抽出した画像で置き換える。この置き換えによって得られる動画像を形成する二画像を、実施の形態1から3で説明した画像処理装置で扱うこともできる。この場合、実施の形態1から3で説明した画像処理装置で扱う画素値は、画像の高周波成分の値となる。このように、実施の形態1から3で説明した画像処理装置では、画素値は任意の成分の値とすることができる。
 また、実施の形態1から3で説明した画像処理装置では、動画像を形成する二画像のうち新しい時刻情報に関連付けられた第2画像と古い時刻情報に関連付けられた第1画像とを用いて動作する構成とした。この画像処理装置を継続的に動作させるには、この画像処理装置を制御する他の制御装置を用意し、逐次的に、第1画像と第2画像とを変更しながらこの画像処理装置を動作させる制御をするように、その制御装置を構成すればよい。特に、第2画像を最新画像とし、第1画像を逐次制御の一段階前の動作で使用した第2画像とするよう構成することで、ライブ動画像を対象としてリアルタイムに動作する画像処理装置を実現できる。
 また、実施の形態1から3で説明した画像処理装置では、増加領域抽出部、減少領域抽出部、変化領域抽出部、増減偏り判定部、大変化判定部、画像判定部、動体検知部がそれぞれ独立した機能ブロックとして画像処理装置を構成している。しかし、画像処理装置は上記のような構成でなくてもよく、画像処理装置の構成は任意である。増加領域抽出部、減少領域抽出部、変化領域抽出部をひとつの機能ブロックで実現し、増減偏り判定部、大変化判定部、画像判定部をひとつの機能ブロックで実現してもよい。画像処理装置の機能ブロックは、上記の実施の形態1から3で説明した機能を実現することができれば、任意である。これらの機能ブロックを、他のどのような組み合わせで構成してもよい。あるいは任意のブロック構成で画像処理装置を構成しても構わない。
 また、画像処理装置は、1つの装置でなく、複数の装置から構成された画像処理システムでもよい。
 また、実施の形態1から3について説明したが、これらの3つの実施の形態のうち、複数を部分的に組み合わせて実施しても構わない。あるいは、これらの3つの実施の形態のうち、1つの実施の形態を部分的に実施しても構わない。その他、これらの3つの実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
 なお、上記の実施の形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。
 11 第1画像、12 第2画像、100,100a,100b,100c,100d 画像処理装置、110,110b 増加領域抽出部、111 第1画素、120,120b 減少領域抽出部、121 第2画素、130,130b 増減偏り判定部、140,140a 画像判定部、150,150a,150b,150c 変化領域抽出部、160 大変化判定部、170 動体検知部、201 第1閾値、202 第2閾値、203 第3閾値、204 第4閾値、205 第5閾値、206 第6閾値、207 第7閾値、901 プロセッサ、902 補助記憶装置、903 メモリ、904 通信装置、905 入力インタフェース、906 ディスプレイインタフェース、907 入力装置、908 ディスプレイ、910 信号線、911,912 ケーブル、9041 レシーバー、9042 トランスミッター、1101 増加領域、1111A 増加用第1特徴値、1111B 減少用第1特徴値、1111C 変化用第1特徴値、1201 減少領域、1211A 増加用第2特徴値、1211B 減少用第2特徴値、1211C 変化用第2特徴値、1301 判定結果、1300,1300a,1300b,1300c 判定部、1501 変化領域、1701 検知結果、C 偏り度、D 減少領域の面積、I 増加領域の面積、M 変化領域の面積、S100,S100a,S100b,S100c,S100d 画像処理、S110,S110b 増加領域抽出処理、S120,S120b 減少領域抽出処理、S121,S121b,S121c 変化領域抽出処理、S130,S130b 増減偏り判定処理、S131 大変化判定処理、S140,S140a 画像判定処理、S150 動体検知処理、S1300,S1300a 判定処理。

Claims (12)

  1.  動画像を形成する2つの画像である第1画像と第2画像とを取得し、前記第1画像に含まれる少なくとも1つの画素である第1画素を表す増加用第1特徴値と、前記第2画像に含まれる少なくとも1つの画素である第2画素であって前記第1画素に対応する前記第2画素を表す増加用第2特徴値とを比較し、前記増加用第1特徴値からの増加量が第1閾値より大きい前記増加用第2特徴値の前記第2画素の領域を増加領域として抽出する増加領域抽出部と、
     前記第1画像と前記第2画像とを取得し、前記第1画素を表す減少用第1特徴値と、前記第1画素に対応する前記第2画素を表す減少用第2特徴値とを比較し、前記減少用第1特徴値からの減少量が第2閾値より大きい前記減少用第2特徴値の前記第2画素の領域を減少領域として抽出する減少領域抽出部と、
     前記増加領域の面積と前記減少領域の面積との偏りの度合いを表す偏り度を算出し、算出した偏り度に基づいて、前記第1画像と前記第2画像とが画像処理に適するか否かを判定する判定部と
    を備える画像処理装置。
  2.  前記判定部は、
     前記偏り度と第3閾値とを比較し、前記偏り度が前記第3閾値より大きい場合に、前記第1画像と前記第2画像とが画像処理に適さないと判定する請求項1に記載の画像処理装置。
  3.  前記画像処理装置は、さらに、
     前記第1画像と前記第2画像とを取得し、前記第1画素を表す変化用第1特徴値と、前記第1画素に対応する前記第2画素を表す変化用第2特徴値とを比較し、前記変化用第1特徴値から前記変化用第2特徴値への変化の度合いを表す変化度が第4閾値より大きい前記変化用第2特徴値の前記第2画素の領域を変化領域として抽出する変化領域抽出部を備え、
     前記判定部は、
     前記偏り度と前記変化領域の面積とに基づいて、前記第1画像と前記第2画像とが画像処理に適するか否かを判定する請求項1に記載の画像処理装置。
  4.  前記判定部は、
     前記偏り度と第3閾値とを比較すると共に、前記変化領域の面積と第5閾値とを比較し、前記偏り度が前記第3閾値より大きい場合、あるいは、前記変化領域の面積が第5閾値より大きい場合に、前記第1画像と前記第2画像とが画像処理に適さないと判定する請求項3に記載の画像処理装置。
  5.  前記判定部は、
     前記増加領域の面積と前記減少領域の面積との比の値を前記偏り度として算出する請求項1から4のいずれか1項に記載の画像処理装置。
  6.  前記判定部は、
     前記増加領域の面積と前記減少領域の面積とを加算した加算面積と、前記増加領域あるいは前記減少領域の面積との比の値を前記偏り度として算出する請求項1から4のいずれか1項に記載の画像処理装置。
  7.  前記第1画素は、前記第1画像に含まれる1つの画素であり、
     前記第2画素は、前記第2画像に含まれ、前記第2画像において前記第1画像における前記第1画素に対応する位置の1つの画素である請求項1から6のいずれか1項に記載の画像処理装置。
  8.  前記第1画素は、前記第1画像に含まれる複数の画素であり、
     前記第2画素は、前記第2画像に含まれ、前記第2画像において前記第1画像における前記第1画素に対応する位置の複数の画素である請求項1から6のいずれか1項に記載の画像処理装置。
  9.  前記第1画素は、前記第1画像に含まれる全ての画素であり、
     前記第2画素は、前記第2画像に含まれる全ての画素である請求項8に記載の画像処理装置。
  10.  前記画像処理装置は、
     前記第1画像と前記第2画像とを取得すると共に、前記判定部から前記第1画像と前記第2画像とが画像処理に適するか否かの判定結果を取得し、前記第1画像と前記第2画像とが画像処理に適すると判定された場合に前記第1画像と前記第2画像とを用いた動体検知処理を実行し、前記動体検知処理の結果を検知結果に設定し、前記第1画像と前記第2画像とが画像処理に適さないと判定された場合は前記検知結果に検知失敗を設定する動体検知部を備える請求項1から9のいずれか1項に記載の画像処理装置。
  11.  増加領域抽出部が、動画像を形成する2つの画像である第1画像と第2画像とを取得し、前記第1画像に含まれる少なくとも1つの画素である第1画素を表す増加用第1特徴値と、前記第2画像に含まれる少なくとも1つの画素である第2画素であって前記第1画素に対応する前記第2画素を表す増加用第2特徴値とを比較し、前記増加用第1特徴値からの増加量が第1閾値より大きい前記増加用第2特徴値の前記第2画素の領域を増加領域として抽出し、
     減少領域抽出部が、前記第1画像と前記第2画像とを取得し、前記第1画像に含まれる少なくとも1つの画素である第1画素を表す減少用第1特徴値と、前記第1画素に対応する前記第2画素を表す減少用第2特徴値とを比較し、前記減少用第1特徴値からの減少量が第2閾値より大きい前記減少用第2特徴値の前記第2画素の領域を減少領域として抽出し、
     判定部が、前記増加領域の面積と前記減少領域の面積との偏りの度合いを表す偏り度を算出し、算出した偏り度に基づいて、前記第1画像と前記第2画像とが画像処理に適するか否かを判定する画像処理方法。
  12.  動画像を形成する2つの画像である第1画像と第2画像とを取得し、前記第1画像に含まれる少なくとも1つの画素である第1画素を表す増加用第1特徴値と、前記第2画像に含まれる少なくとも1つの画素である第2画素であって前記第1画素に対応する前記第2画素を表す増加用第2特徴値とを比較し、前記増加用第1特徴値からの増加量が第1閾値より大きい前記増加用第2特徴値の前記第2画素の領域を増加領域として抽出する増加領域抽出処理と、
     前記第1画像と前記第2画像とを取得し、前記第1画像に含まれる少なくとも1つの画素である第1画素を表す減少用第1特徴値と、前記第1画素に対応する前記第2画素を表す減少用第2特徴値とを比較し、前記減少用第1特徴値からの減少量が第2閾値より大きい前記減少用第2特徴値の前記第2画素の領域を減少領域として抽出する減少領域抽出処理と、
     前記増加領域の面積と前記減少領域の面積との偏りの度合いを表す偏り度を算出し、算出した偏り度に基づいて、前記第1画像と前記第2画像とが画像処理に適するか否かを判定する判定処理とをコンピュータに実行させるプログラム。
PCT/JP2015/056070 2015-03-02 2015-03-02 画像処理装置、画像処理方法、及びプログラム WO2016139717A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/056070 WO2016139717A1 (ja) 2015-03-02 2015-03-02 画像処理装置、画像処理方法、及びプログラム
JP2017503224A JP6345335B2 (ja) 2015-03-02 2015-03-02 画像処理装置、画像処理方法、及びプログラム
CN201580076958.1A CN107408302B (zh) 2015-03-02 2015-03-02 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056070 WO2016139717A1 (ja) 2015-03-02 2015-03-02 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2016139717A1 true WO2016139717A1 (ja) 2016-09-09

Family

ID=56848400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056070 WO2016139717A1 (ja) 2015-03-02 2015-03-02 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP6345335B2 (ja)
CN (1) CN107408302B (ja)
WO (1) WO2016139717A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106366A (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 画像処理装置、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340178A (ja) * 1991-03-11 1992-11-26 Mitsubishi Electric Corp 侵入監視装置
JPH05229756A (ja) * 1992-02-21 1993-09-07 Toshiba Corp 画像監視装置および該画像監視装置を利用したエレベータ制御装置
JP2001160146A (ja) * 1999-12-01 2001-06-12 Matsushita Electric Ind Co Ltd 画像認識方法および画像認識装置
JP2003187248A (ja) * 2001-12-21 2003-07-04 Mitsubishi Electric Corp 画像処理システムおよび画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713835B2 (ja) * 1996-10-01 2005-11-09 三菱電機株式会社 監視用画像認識装置
JP3480847B2 (ja) * 2003-02-03 2003-12-22 株式会社東芝 画像監視装置を利用したエレベータ制御装置
CN102186045B (zh) * 2011-04-20 2015-03-25 广东威创视讯科技股份有限公司 去隔行处理的三场运动检测方法、装置以及去隔行系统
JP5934929B2 (ja) * 2011-05-27 2016-06-15 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
JP2014178739A (ja) * 2013-03-13 2014-09-25 Sony Corp 画像処理装置及び画像処理方法、並びにプログラム
JP6120632B2 (ja) * 2013-03-25 2017-04-26 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340178A (ja) * 1991-03-11 1992-11-26 Mitsubishi Electric Corp 侵入監視装置
JPH05229756A (ja) * 1992-02-21 1993-09-07 Toshiba Corp 画像監視装置および該画像監視装置を利用したエレベータ制御装置
JP2001160146A (ja) * 1999-12-01 2001-06-12 Matsushita Electric Ind Co Ltd 画像認識方法および画像認識装置
JP2003187248A (ja) * 2001-12-21 2003-07-04 Mitsubishi Electric Corp 画像処理システムおよび画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106366A (ja) * 2016-12-26 2018-07-05 三菱電機株式会社 画像処理装置、プログラム

Also Published As

Publication number Publication date
JPWO2016139717A1 (ja) 2017-06-08
CN107408302B (zh) 2020-09-01
JP6345335B2 (ja) 2018-06-20
CN107408302A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
AU2015272846B2 (en) Image processing system and computer-readable recording medium
US9165346B2 (en) Method and apparatus for reducing image noise
US11113795B2 (en) Image edge processing method, electronic device, and computer readable storage medium
JP5698435B2 (ja) Rgbw映像信号の彩度向上システムおよび方法
EP2927873A1 (en) Image processing apparatus and image processing method
CN108876742B (zh) 图像色彩增强方法和装置
US10027897B2 (en) Image processing apparatus, image processing method, and storage medium
CN111429370B (zh) 一种煤矿井下的图像增强方法、系统及计算机存储介质
JP5810803B2 (ja) ホワイトボードの画像を調整する方法、装置及びシステム
CN111626967A (zh) 图像增强方法、装置、计算机装置及可读存储介质
WO2014119060A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2010200295A (ja) 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置
JP6345335B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN104093011A (zh) 一种伪彩色抑制方法和装置
US9083913B2 (en) Image processing method, image processing device, and program
US20170053384A1 (en) Image-processing device, image-capturing device, image-processing method, and storage medium
CN117218039A (zh) 图像处理方法、装置、计算机设备及存储介质
US9117292B2 (en) Picture processing device
US20210158487A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
EP3360321B1 (en) Projection apparatus, projection system, program, and non-transitory computer-readable recording medium
JP2009200884A (ja) 画像データ処理装置及び画像データ処理方法
CN109509161B (zh) 图像增强装置及图像增强方法
JP2018085578A (ja) 画像処理装置、画像処理方法、及びプログラム
TWI491266B (zh) 降低圖框內像素之雜訊的方法與裝置
US10530996B2 (en) Electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883887

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017503224

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883887

Country of ref document: EP

Kind code of ref document: A1