WO2016067507A1 - 画像処理装置、監視カメラシステム、画像処理方法及びプログラム - Google Patents

画像処理装置、監視カメラシステム、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2016067507A1
WO2016067507A1 PCT/JP2015/004711 JP2015004711W WO2016067507A1 WO 2016067507 A1 WO2016067507 A1 WO 2016067507A1 JP 2015004711 W JP2015004711 W JP 2015004711W WO 2016067507 A1 WO2016067507 A1 WO 2016067507A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
luminance
image data
image
motion
Prior art date
Application number
PCT/JP2015/004711
Other languages
English (en)
French (fr)
Inventor
盛一 大槻
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/521,007 priority Critical patent/US10469766B2/en
Publication of WO2016067507A1 publication Critical patent/WO2016067507A1/ja
Priority to US16/594,321 priority patent/US11310440B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response

Definitions

  • This technology relates to a technology such as an image processing apparatus that inputs image information and corrects and outputs the luminance of the input image information.
  • a technique for correcting and outputting the luminance (gradation) of an input image is widely known.
  • a luminance histogram of an input image is generated, and then, any one of a plurality of tone curves prepared in advance based on the luminance histogram. Is selected. Then, the luminance of the image is corrected based on the tone curve and output.
  • a tone curve having a steep inclination angle in the intermediate portion of the luminance is used for an image in which the luminance frequency is concentrated in the intermediate portion in the luminance histogram.
  • a brightness gradation is preferentially assigned to the intermediate portion.
  • such a tone curve is used to prevent the image from becoming an unclear image with no contrast.
  • Patent Document 2 can be cited as a technique related to such a problem.
  • a method of generating a high frequency component histogram separately from the luminance histogram and correcting the luminance histogram based on the high frequency component histogram is employed. According to this method, the gradation assigned to the sky corresponding to the low frequency component can be redistributed to the person corresponding to the high frequency component.
  • JP 2013-250314 A JP 2010-220032 JP
  • an object of the present technology is to provide a technology capable of increasing the contrast of a moving object so that the moving object can be easily seen.
  • An image processing apparatus includes an image processing unit.
  • the image processing unit receives image data, determines a motion amount in the image based on the image data, corrects and outputs the brightness of the image data so that a contrast of an object having a large motion amount is increased. .
  • the image processing unit determines a level of a high frequency component in the image based on the image data, and the brightness of the image data is increased so that a contrast of an object having a high level of the high frequency component is increased. May be output after correction.
  • the image processing unit In the image processing device, the image processing unit generates a luminance histogram that reflects the amount of motion and indicates a luminance distribution of each pixel in the image data, and based on the luminance histogram, the luminance of the image data A tone curve for correcting the above may be generated.
  • the image processing unit In the image processing device, the image processing unit generates a luminance histogram that reflects a luminance distribution of each pixel in the image data and reflects the amount of motion and the level of the high frequency component, and is based on the luminance histogram. Thus, a tone curve for correcting the luminance of the image data may be generated.
  • the image processing unit when generating the luminance histogram, the image processing unit weights a count value for counting the frequency of pixels according to the amount of motion at a position corresponding to the pixel.
  • the luminance histogram is obtained by executing, for each pixel, a process of adding a weighted count value to a bin corresponding to the luminance of the pixel among a plurality of bins divided according to luminance. It may be generated.
  • the image processing unit when the image processing unit generates the luminance histogram, the amount of motion and the high frequency component at a position corresponding to the pixel with respect to a count value for counting the frequency of the pixel A process is performed for each pixel, such as adding a weighted count value to a bin corresponding to the brightness of the pixel among a plurality of bins divided according to the brightness. By doing so, the luminance histogram may be generated.
  • the surveillance camera system includes an imaging unit and an image processing unit.
  • the imaging unit is disposed at a monitoring position.
  • the image processing unit inputs image data captured by the imaging unit, determines a motion amount in the image based on the image data, and increases the contrast of the image data so that the contrast of an object having a large motion amount is increased.
  • the brightness is corrected and output.
  • image data is input.
  • the amount of motion in the image is determined based on the image data.
  • the brightness of the image data is corrected and output so that the contrast of an object with a large amount of motion is increased.
  • a program according to the present technology is stored in an image processing apparatus. Inputting image data; Determining the amount of movement in the image based on the image data; And correcting and outputting the brightness of the image data so that the contrast of an object having a large amount of motion is increased.
  • FIG. 1 is a block diagram illustrating a monitoring camera system 100 according to an embodiment of the present technology.
  • the surveillance camera system 100 includes a surveillance camera unit 10 and a surveillance terminal 20.
  • the monitoring camera unit 10 is appropriately installed in a place that needs to be monitored, such as a store, a financial institution, a station, or on the road. In the example illustrated in FIG. 1, the case where the number of monitoring camera units 10 is one is shown, but the number of monitoring camera units 10 may be two or more.
  • the surveillance camera unit 10 includes a lens unit 1 (imaging unit), a control unit 2 (image processing apparatus), and a turning unit 3 that turns the lens unit 1 in the pan direction (left-right direction) and the tilt direction (up-down direction). Including.
  • the lens unit 1 includes an optical lens system 11, a lens driving unit 12, an image sensor 13, and a timing generator (TG) 14.
  • the control unit 2 includes an image processing unit 15, a communication unit 16, a control unit 17, and a storage unit 18, and the turning unit 3 includes a turning drive unit 19.
  • the optical lens system 11 has various lenses such as an imaging lens, a zoom lens, and a focus lens, and an aperture.
  • the lens driving unit 12 is configured by a motor or the like, and moves the zoom lens and the focus lens along the optical axis direction or adjusts the aperture of the diaphragm according to an instruction from the control unit 17.
  • the image sensor 13 is configured by a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device) sensor, or the like.
  • the image sensor 13 has a plurality of pixels (R pixel, G pixel, and B pixel), and converts the subject light incident on the exposure surface of the image sensor 13 into an electronic signal by photoelectric conversion for each pixel.
  • the image sensor 13 outputs the obtained three primary color signals (R, G, B) to the image processing unit 15 as image data.
  • the timing generator 14 (TG) generates a drive pulse necessary for driving the image sensor 13 in accordance with an instruction from the control unit 17 and supplies the drive pulse to the image sensor 13. Imaging is performed by driving the imaging element 13 by the timing generator 14.
  • the image processing unit 15 performs noise removal processing, luminance (gradation) correction processing, and the like on the input image data, and outputs the image data subjected to these processings to the communication unit 16.
  • the gradation of luminance is preferentially applied to moving objects included in the image data and objects corresponding to high frequency components. Processing such as allocation is executed. This processing will be described in detail later in the explanation of operation.
  • the communication unit 16 transmits and receives signals to and from the monitoring terminal 20 by wired connection or wireless connection.
  • the communication unit 16 transmits image data on which the luminance (gradation) correction processing has been performed to the monitoring terminal 20 or receives control signals for zoom adjustment, focus adjustment, and turning operation transmitted from the monitoring terminal 20. And output to the control unit 17.
  • the control unit 17 is configured by, for example, a CPU (Central Processing Unit) and the like, and comprehensively controls each unit of the monitoring camera unit 10. For example, in accordance with a control signal from the monitoring terminal 20, the control unit 17 drives the lens driving unit 12 to perform zoom adjustment and focus adjustment, or drives the turning driving unit 19 to turn the lens unit 1. To do.
  • a CPU Central Processing Unit
  • the storage unit 18 stores volatile memory (for example, RAM (Random Access Memory)) used as a work area of the control unit 17 and various programs and data necessary for the processing of the control unit 17 in a fixed manner.
  • volatile memory for example, RAM (Random Access Memory)
  • Non-volatile memories for example, ROM (Read Only Memory) are included.
  • the turning drive unit 19 is configured by a motor or the like, and turns the lens unit 1 in the pan direction and the tilt direction in response to an instruction from the control unit 17.
  • the monitoring terminal 20 is configured by, for example, a PC (Personal Computer).
  • the monitoring terminal 20 is arranged in a monitoring room or the like and is managed by a monitor.
  • the monitoring terminal 20 includes a control unit 21, a storage unit 22, a communication unit 23, an input unit 24, an external storage device 25, and a display device 26.
  • the control unit 21 is composed of, for example, a CPU and controls each unit of the monitoring terminal 20 in an integrated manner.
  • the control unit 21 displays the image data transmitted from the monitoring camera unit 10 on the screen of the display device 26. Further, the control unit 21 generates a control signal for performing zoom adjustment and focus adjustment, a control signal for turning the lens unit 1, and the like in accordance with an instruction from the monitor input from the input unit 24. These signals are transmitted from the communication unit 23.
  • the storage unit 22 includes a volatile memory (for example, a RAM) used as a work area of the control unit 21 and a non-volatile memory (fixedly storing various programs and data necessary for the processing of the control unit 21).
  • a volatile memory for example, a RAM
  • a non-volatile memory fixedly storing various programs and data necessary for the processing of the control unit 21.
  • ROM read-only memory
  • the communication unit 23 transmits and receives signals to and from the monitoring camera unit 10 by wired connection or wireless connection.
  • the communication unit 23 receives the image data transmitted from the monitoring camera unit 10 and transmits control signals for zoom adjustment, focus adjustment, and turning operation to the monitoring camera unit 10.
  • the display device 26 includes, for example, a liquid crystal display, an organic EL (EL) display, or the like.
  • the display device 26 displays the image data captured by the monitoring camera unit 10 on the screen according to the control of the control unit 21.
  • the display device 26 basically displays the captured image data on the screen in real time, but the image data recorded in the external storage device 25 can also be displayed.
  • the input unit 24 is composed of, for example, a keyboard and a mouse.
  • the input unit 24 converts an operation performed by the supervisor into an operation signal and outputs this signal to the control unit 17.
  • the monitor can adjust the zoom and focus, or turn the lens unit 1 by inputting an instruction via the input unit 24.
  • the external storage device 25 is configured by, for example, a hard disk drive (HDD), an optical disk drive (ODD), or the like, and stores (records) image data transmitted from the monitoring camera unit 10.
  • the image data stored in the external storage device 25 is read from the external storage device 25 as necessary and displayed on the screen of the display device 26.
  • the image data is stored in the monitoring terminal 20, but the image data may be stored in the monitoring camera unit 10 or may be stored in a server device prepared on the network.
  • FIG. 2 is a flowchart showing processing in the image processing unit 15.
  • the image processing unit 15 inputs image data (step 101), and selects one pixel among a plurality of pixels included in the image data as a target pixel (step 102).
  • the image processing unit 15 determines the amount of motion at the position of the target pixel (step 103). In this determination of the amount of motion, first, the image processing unit 15 acquires luminance information of a pixel at the same position as the target pixel in the image data of one frame before. Then, the image processing unit 15 calculates a difference amount between the luminance of the pixel in the current image data and the luminance of the pixel in the image data of the previous frame, and based on this difference amount, the amount of motion at the pixel position Determine.
  • the amount of motion is a value that increases as the difference amount increases.
  • the image processing unit 15 determines the position of the object in a predetermined area (for example, 8 ⁇ 8 pixels) constituted by a plurality of pixels including the target pixel in the image data one frame before.
  • the image processing unit 15 determines the position of the object within the predetermined area in the current image data, and the difference amount between the position of the object in the image data one frame before and the position of the object in the current image data ( Motion vector amount) is calculated. Then, the image processing unit 15 determines this difference amount as a motion amount at the position of the target pixel.
  • the image processing unit 15 next determines a motion amount level determination value corresponding to the determined motion amount (step 104).
  • This motion amount level determination value is any value in the range of 0 to 1, and is a value that increases as the motion amount increases.
  • the image processing unit 15 next executes a process of determining the level of the high frequency component in the target pixel (step 105). In this step, first, the image processing unit 15 obtains luminance information of peripheral pixels existing around the target pixel. Next, the image processing unit 15 determines the amount of dispersion of the luminance of the target pixel with respect to the luminance of the surrounding pixels, and determines the level of the high-frequency component in the target pixel based on this amount of dispersion.
  • Another method for determining the level of the high-frequency component includes a method of integrating the absolute value of the high-frequency component that has passed through the high-pass filter and determining the level of the high-frequency component based on this integrated value.
  • two methods are described as methods for determining the level of the high-frequency component, but one of these two methods may be used, or both may be used.
  • the image processing unit 15 next determines a high frequency level determination value corresponding to the determined level of the high frequency component (step 106).
  • the high frequency level determination value is any value in the range of 0 to 1, and is a value that increases as the level of the high frequency component increases.
  • FIG. 3 is a diagram illustrating an example of a luminance histogram.
  • the horizontal axis represents the luminance level
  • the vertical axis represents the frequency (cumulative).
  • the luminance histogram is divided into a plurality of luminance levels for each predetermined luminance range on the horizontal axis.
  • Each of the luminance ranges divided into a plurality is called a bin.
  • FIG. 3 an example in which the luminance level is divided into 16 bins is shown, but the number of bins is not particularly limited.
  • the image processing unit 15 then responds to the count value for counting the frequency in the luminance histogram (this value is set to 1) according to the amount of motion and the level of the high frequency component. Weighting is performed (step 107). In this step, first, the image processing unit 15 executes a process of determining a weight value for weighting the count value.
  • the following [1] to [3] can be mentioned.
  • [1] The larger value of the motion amount level determination value and the high frequency level determination value is used as the weight value.
  • [2] The motion amount level determination value and the high frequency level determination value are added, and this sum is used as a weight value.
  • [3] Multiply the motion amount level determination value and the high frequency level determination value, and use this product as a weight value (when a product is used, one or more values are used as the motion amount level determination value and the high frequency level determination value). ).
  • the image processing unit 15 When the image processing unit 15 determines the weight value, the image processing unit 15 multiplies the count value (set to 1 in the present embodiment) by this weight value, and weights the count value.
  • the weighted count value is referred to as a weighted count value for convenience.
  • the image processing unit 15 When weighting is performed on the count value, the image processing unit 15 next determines the luminance of the target pixel and determines the bin to which the weighted count value is to be added (step 108). Then, the image processing unit 15 adds a weighted count value to the bin (step 109).
  • the image processing unit 15 determines whether or not the frequency counting process has been completed for all the pixels included in the image data (step 110). If there remains a pixel to be processed (NO in step 110), the image processing unit 15 returns to step 102 and selects one of the remaining pixels as a target pixel.
  • the image processing unit 15 performs normal processing so that the maximum value (maximum value on the vertical axis) that can be taken in the frequency of the luminance histogram is 1. (Step 111). In this case, the image processing unit 15 performs the normalization by dividing the count value (frequency) in each bin by the total number of count values (frequency) of all bins. Thereby, it is possible to appropriately cope with the fluctuation of the maximum value due to the weighting of the count value.
  • a luminance histogram is generated by the processing in steps 101 to 110 described above. Since this luminance histogram is generated by counting with the weighted cant value as described above, the frequency of bins corresponding to the luminance of a moving object or an object with a high level of high-frequency components increases.
  • FIG. 4 is a diagram illustrating an example of a tone curve.
  • the horizontal axis represents input luminance (input gradation), and the vertical axis represents output luminance (output gradation).
  • the bins are indicated by broken lines.
  • This tone curve is preferentially assigned to a high frequency location in the luminance histogram.
  • the frequency of luminance corresponding to a moving object or a high-frequency component object is increased, so that the luminance corresponding to a moving object or a high-frequency component object is reduced.
  • the slope is preferentially assigned.
  • luminance histogram and tone curve are typically generated for each frame, but these may be generated for every two or more frames.
  • the image processing unit 15 next corrects the luminance (gradation) of the image data based on the generated tone curve, and outputs the image data with the corrected luminance (gradation) (step). 113).
  • the image data output at this time is an image in which gradation is preferentially assigned to the luminance corresponding to a moving object or an object having a high frequency component.
  • the contrast of the object corresponding to a moving body or a high frequency component can be increased.
  • the observer visually recognizes the image displayed on the screen of the display device 26, for example, a person who is walking or a car running can be identified.
  • FIG. 5 is a diagram illustrating an example of an image captured by the monitoring camera unit 10. This image is an image taken at night. A store is shown above the image, and a person who walks from the left to the right after walking in the parking lot is shown below the image. Note that the image shown in FIG. 5 is an input image before the luminance (gradation) is corrected.
  • the signboard on the roof of the store shines brightly, and the light inside the store leaks out of the store through the doorway. For this reason, in the parking lot, the part near the store is illuminated by the light from the store and is brightened. On the other hand, the parking lot gradually darkens as you move away from the store. The person who crosses the parking lot is dark, although it is somewhat illuminated by the light of the store.
  • a luminance histogram is generated simply by counting the number of pixels for each luminance without performing the above-described counting by weighting, and a tone curve is generated based on this histogram.
  • a gradation of luminance is preferentially assigned to a portion having a high luminance frequency (a portion having the same brightness and a large area), it is brightly illuminated in bright shops and parking lots having a relatively large area in the image.
  • Gradation is preferentially assigned to the part that is present.
  • the proportion of gradation that is assigned to a dark person whose area is relatively small in the image is relatively small. For this reason, it becomes difficult for a supervisor to identify a person's face and clothes crossing a parking lot.
  • the luminance histogram is generated by counting so that the luminance frequency corresponding to the moving object and the high frequency component is increased (see FIG. 3). (See bins 2-4). A tone curve is generated based on the luminance histogram, and the luminance (tone) of the image data is corrected based on the tone curve.
  • gradation is preferentially assigned to a person crossing the parking lot (moving and the face and clothes being worn are high-frequency components) (that is, dark portions) ( (See bins 2 to 4 in FIG. 4).
  • the tone assigned to a bright store or a brightly illuminated parking lot (not moving, low frequency component) having a luminance different from that of a person is relatively low (bin 13 in FIG. 4). (Refer to -16).
  • FIG. 6 is a diagram illustrating an example of an image after the luminance is corrected by the image processing according to the present embodiment.
  • the contrast of the person who crosses the parking lot is increased, and the monitor can easily identify the face and clothes of the person.
  • Tone is preferentially assigned to (component).
  • the gradation assigned to a dark parking lot not moving and having a low frequency component having a luminance different from that of a person is low.
  • the image processing unit 15 may be provided in the monitoring terminal 20 (that is, the display device 26 side).
  • the image processing unit 15 image processing apparatus
  • the image processing unit 15 may be applied to a display device 26 such as a television device, or may be applied to an imaging device such as a digital still camera.
  • the luminance histogram reflecting the amount of motion and the level of the high frequency component is generated by weighting the count value according to the amount of motion and the level of the high frequency component.
  • the method of generating the luminance histogram reflecting the amount of motion and the level of the high frequency component is not limited to this.
  • the number of pixels for each luminance is simply counted to generate a first luminance histogram.
  • a second luminance histogram is generated based on the amount of motion, and a third luminance histogram is generated based on the level of the high frequency component.
  • the first luminance histogram is corrected based on the second luminance histogram and the third luminance histogram.
  • the method of generating a luminance histogram by performing weighting according to the amount of motion and high frequency components on the count value makes the process simpler than when generating a plurality of luminance histograms. It is advantageous.
  • person detection such as face detection may be performed in addition to determination of the amount of motion and the level of high frequency components.
  • face detection when the frequency of the pixel corresponding to the person (face) is counted in the luminance histogram, the weight value heavier than other parts is multiplied by the count value (or the fourth luminance based on the person detection).
  • a histogram is generated and the first histogram is corrected).
  • the luminance histogram is generated for the entire image, but the luminance histogram may be generated for each of a plurality of blocks.
  • the entire image is divided into a plurality of blocks (for example, 48 blocks of 8 ⁇ 6). Then, a luminance histogram reflecting the amount of motion and the level of high-frequency components (and person detection) is generated for each block. Thereafter, a distribution as shown on the left side of FIG. 7 is generated for each bin.
  • the X-axis direction and the Y-axis direction indicate the block positions, and the Z-axis direction indicates the frequency of the corresponding bin.
  • these distributions are scaled by bicubic interpolation, and each distribution is expanded to the target image size (for example, 1280 ⁇ 1024 pixels). (See the right side of FIG. 7).
  • a tone curve is generated based on the expanded distribution. Thereby, it can prevent that the boundary line of each block becomes unnatural.
  • An image processing unit that inputs image data, determines the amount of motion in the image based on the image data, and corrects and outputs the brightness of the image data so that the contrast of an object with a large amount of motion is increased
  • An image processing apparatus comprising: (2) The image processing apparatus according to (1) above, The image processing unit determines a level of a high frequency component in the image based on the image data, and corrects and outputs the luminance of the image data so that a contrast of an object having a high level of the high frequency component is increased.
  • Image processing device
  • the image processing unit generates a luminance histogram that reflects the amount of motion and indicates a luminance distribution of each pixel in the image data, and a tone for correcting the luminance of the image data based on the luminance histogram An image processing device that generates curves.
  • the image processing unit generates a luminance histogram that reflects a luminance distribution of each pixel in the image data and reflects the amount of motion and the level of the high-frequency component, and based on the luminance histogram, An image processing apparatus that generates a tone curve for correcting luminance.
  • the image processing unit When generating the luminance histogram, the image processing unit weights the count value for counting the frequency of pixels according to the amount of motion at a position corresponding to the pixel, and according to the luminance An image processing apparatus that generates the luminance histogram by executing, for each pixel, a process of adding a weighted count value to a bin corresponding to the luminance of the pixel among the plurality of bins divided in this manner.
  • the image processing unit When generating the luminance histogram, the image processing unit weights the count value for counting the frequency of pixels according to the amount of motion and the level of the high frequency component at a position corresponding to the pixel.
  • the luminance histogram is obtained by performing, for each pixel, a process of adding a weighted count value to a bin corresponding to the luminance of the pixel among a plurality of bins divided according to luminance.
  • An image processing device that generates (7) an imaging unit disposed at a monitoring position; Inputs image data captured by the imaging unit, determines the amount of motion in the image based on the image data, and corrects and outputs the brightness of the image data so that the contrast of an object with a large amount of motion is increased A surveillance camera system.
  • Input image data Determining the amount of movement in the image based on the image data; An image processing method for correcting and outputting the luminance of the image data so that the contrast of an object having a large amount of motion is increased.
  • In the image processing apparatus Inputting image data; Determining the amount of movement in the image based on the image data; A program for correcting and outputting the brightness of the image data so that the contrast of an object with a large amount of motion is increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【解決手段】画像処理装置は、画像処理部を具備する。前記画像処理部は、画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する。

Description

画像処理装置、監視カメラシステム、画像処理方法及びプログラム
　本技術は、画像情報を入力し、入力された画像情報の輝度を補正して出力する画像処理装置等の技術に関する。
　従来から、入力された画像の輝度（諧調）を補正して出力する技術が広く知られている。例えば、下記特許文献１に記載の技術では、まず、入力された画像の輝度ヒストグラムが生成され、次に、この輝度ヒストグラムに基づいて、予め用意された複数のトーンカーブのうちいずれかのトーンカーブが選択される。そして、このトーンカーブに基づいて画像の輝度が補正されて出力される。
　特許文献１に記載の技術では、例えば、輝度ヒストグラムにおいて輝度の頻度が中間部分に集中している画像に対しては、輝度の中間部分で傾斜角度が急になるトーンカーブが用いられ、輝度の中間部分について優先的に輝度の諧調が割り当てられる。引用文献１に記載の技術では、このようなトーンカーブを用いることによって、画像が明暗差のないはっきりとしない画像となってしまうことを防止している。
　特許文献１に記載の技術では、入力画像において輝度の頻度が高い部分（つまり、同じ明るさで面積が広い部分）について優先的に輝度の諧調を割り当てるといった方法が採用されている。一方、例えば、空（高輝度、大面積）と、人物（中間輝度、小面積）とを含む画像においてこのような方法が用いられると、空に対して割り当てられる輝度の諧調が増加する一方で、人物に対して割り当てられる輝度の諧調が減少してしまう。このため、人物に対するコントラストが低下し、人物がはっきり見えないといった現象が生じる場合がある。
　このような問題に関連する技術として下記特許文献２が挙げられる。この技術では、輝度ヒストグラムとは別に、高周波成分ヒストグラムを生成し、この高周波成分ヒストグラム基づいて、輝度ヒストグラムを補正するといった方法が採用されている。この方法によれば、低周波数成分に対応する空に割り当てられていた階調を、高周波成分に対応する人物に対して再分配することができる。
特開2013-250314号公報 特開2010-220032号公報
　このような技術分野において、人物や車などの動体のコントラストを大きくして動体を見え易くすることができる技術が求められている。特に、監視カメラシステムなど、動体をはっきり見えるようにする必要があるシステムにおいてこのような技術が求められている。
　以上のような事情に鑑み、本技術の目的は、動体のコントラストを大きくして動体を見え易くすることができる技術を提供することにある。
　本技術に係る画像処理装置は、画像処理部を具備する。
　前記画像処理部は、画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する。
　この画像処理装置では、動き量が大きい物体のコントラストが大きくなるため、動体（例えば、人や車など）を見え易くすることができる。
　上記画像処理装置において、前記画像処理部は、前記画像データに基づいて画像内における高周波数成分のレベルを判定し、高周波数成分のレベルが高い物体のコントラストが大きくなるように前記画像データの輝度を補正して出力してもよい。
　この画像処理装置では、高周波成分のレベルが高い物体のコントラストが大きくなるため、高周波成分のレベルが高い物体（例えば、人や車など）を見え易くすることができる。
　上記画像処理装置において、前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量が反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成してもよい。
　これにより、動き量が大きい物体のコントラストを適切に大きくするためのトーンカーブを生成することができる。
　上記画像処理装置において、前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量及び前記高周波数成分のレベルが反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成してもよい。
　これにより、動き量が大きく、高周波数成分のレベルが高い物体のコントラストを適切に大きくするためのトーンカーブを生成することができる。
　上記画像処理装置において、前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量に応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成してもよい。
　これにより、動き量が大きい物体のコントラストを適切に大きくするための輝度ヒストグラムを生成することができる。
　上記画像処理装置において、前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量及び前記高周波数成分のレベルに応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成してもよい。
　これにより、動き量が大きく、高周波数成分のレベルが高い物体のコントラストを適切に大きくするための輝度ヒストグラムを生成することができる。
　本技術に係る監視カメラシステムは、撮像部と、画像処理部とを具備する。
　前記撮像部は、監視位置に配置される。
　前記画像処理部は、前記撮像部により撮像された画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する。
　本技術に係る画像処理方法は、画像データが入力される。
　前記画像データに基づいて画像内における動き量が判定される。
　前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度が補正されて出力される。
　本技術に係るプログラムは、画像処理装置に、
　画像データを入力するステップと、
　前記画像データに基づいて画像内における動き量を判定するステップと、
　前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力するステップと
　を実行させる。
　以上のように、本技術によれば、動体のコントラストを大きくして動体を見え易くすることができる技術を提供することができる。
本技術の一実施形態に係る監視カメラシステムを示すブロック図である。 監視カメラシステムにおける画像処理部の処理を示すフローチャートである。 輝度ヒストグラムの一例を示す図である。 トーンカーブの一例を示す図である。 監視カメラユニットによって撮像された、画像処理前の画像の一例を示す図である。 画像処理によって輝度が補正された後の画像の一例を示す図である。 複数に分割されたブロック毎に輝度ヒスログラムを生成する場合の一例を説明するための補足図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
〈監視カメラシステム１００の全体構成及び各部の構成〉
　図１は、本技術の一実施形態に係る監視カメラシステム１００を示すブロック図である。図１に示すように、監視カメラシステム１００は、監視カメラユニット１０及び監視端末２０を備えている。
　監視カメラユニット１０は、例えば、商店や金融機関、駅、路上など、監視する必要がある場所に適宜設置される。図１に示す例では、監視カメラユニット１０の台数が１台である場合について示されているが、監視カメラユニット１０の数は２台以上であってもよい。
　監視カメラユニット１０は、レンズユニット１（撮像部）と、制御ユニット２（画像処理装置）と、レンズユニット１をパン方向（左右方向）及びチルト方向（上下方向）に旋回させる旋回ユニット３とを含む。
　レンズユニット１は、光学レンズ系１１、レンズ駆動部１２、撮像素子１３及びタイミングジェネレータ（ＴＧ）１４を有している。制御ユニット２は、画像処理部１５、通信部１６、制御部１７及び記憶部１８を有しており、旋回ユニット３は、旋回駆動部１９を有している。
　光学レンズ系１１は、撮像レンズ、ズームレンズ、フォーカスレンズなどの各種のレンズ、及び絞りを有している。レンズ駆動部１２は、モータなどにより構成されており、制御部１７からの指示に応じて、ズームレンズ、フォーカスレンズを光軸方向に沿って移動させたり、絞りの開度を調整したりする。
　撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）センサなどにより構成されている。撮像素子１３は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有しており、撮像素子１３の露光面に入射された被写体光を画素毎に光電変換により電子信号に変換する。そして、撮像素子１３は、得られた３原色信号（Ｒ、Ｇ、Ｂ）を画像データとして画像処理部１５へ出力する。
　タイミングジェネレータ１４（ＴＧ）は、制御部１７からの指示に応じて撮像素子１３の駆動に必要な駆動パルスを生成して撮像素子１３に供給する。このタイミングジェネレータ１４によって撮像素子１３が駆動されることで撮像が行われる。
　画像処理部１５は、入力された画像データに対して、ノイズ除去処理や、輝度（諧調）補正処理などを施し、これらの処理が施された画像データを通信部１６へ出力する。
　本実施形態に係る監視カメラシステム１００においては、画像処理部１５による輝度（諧調）補正処理において、画像データ内に含まれる動体や、高周波成分に対応する物体に対して優先的に輝度の諧調が割り当てられるといった処理が実行される。この処理については、動作説明の欄において後に詳述する。
　通信部１６は、有線接続あるいは無線接続によって監視端末２０との間で信号を送受信する。この通信部１６は、輝度（諧調）補正処理が施された画像データを監視端末２０へ送信したり、監視端末２０から送信された、ズーム調整、フォーカス調整、旋回動作のための制御信号を受信して制御部１７へ出力したりする。
　制御部１７は、例えば、ＣＰＵ（Central Processing Unit）などにより構成されており、監視カメラユニット１０の各部を統括的に制御する。例えば、制御部１７は、監視端末２０からの制御信号に応じて、レンズ駆動部１２を駆動させてズーム調整、フォーカス調整を行ったり、旋回駆動部１９を駆動させてレンズユニット１を旋回させたりする。
　記憶部１８は、制御部１７の作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））と、制御部１７の処理に必要な各種のプログラムやデータが固定的に記憶された不揮発性のメモリ（例えば、ＲＯＭ（Read Only Memory）とを含む。
　旋回駆動部１９は、モータなどにより構成されており、制御部１７からの指示に応じて、レンズユニット１をパン方向及びチルト方向に旋回させる。
　監視端末２０は、例えば、ＰＣ（Personal Computer）などによって構成されている。この監視端末２０は、監視室などに配置されており、監視者によって管理されている。監視端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、外部記憶装置２５及び表示装置２６を含む。
　制御部２１は、例えば、ＣＰＵなどにより構成されており、監視端末２０の各部を統括的に制御する。この制御部２１は、監視カメラユニット１０から送信された画像データを表示装置２６の画面上に表示させる。また、制御部２１は、入力部２４から入力された監視者による指示に応じて、ズーム調整やフォーカス調整を行うための制御信号や、レンズユニット１を旋回させるための制御信号などを生成して、これらの信号を通信部２３から送信させる。
　記憶部２２は、制御部２１の作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ）と、制御部２１の処理に必要な各種のプログラムやデータが固定的に記憶された不揮発性のメモリ（例えば、ＲＯＭ）とを含む。
　通信部２３は、有線接続あるいは無線接続によって監視カメラユニット１０との間で信号を送受信する。この通信部２３は、監視カメラユニット１０から送信された画像データを受信したり、ズーム調整、フォーカス調整、旋回動作のための制御信号を監視カメラユニット１０へ送信したりする。
　表示装置２６は、例えば、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成されている。表示装置２６は、監視カメラユニット１０によって撮像された画像データを、制御部２１の制御に応じて画面上に表示させる。なお、表示装置２６は、基本的には、撮像された画像データをリアルタイムで画面上に表示させるが、外部記憶装置２５に録画された画像データを表示させることも可能されている。
　入力部２４は、例えば、キーボードやマウスなどによって構成されている。入力部２４は、監視者による操作を操作信号に変換し、この信号を制御部１７へ出力する。監視者は、入力部２４を介して指示を入力することで、ズームやフォーカスを調整したり、レンズユニット１を旋回させたりすることができる。
　外部記憶装置２５は、例えば、ハードディスクドライブ（ＨＤＤ）や、光ディスクドライブ（ＯＤＤ）などにより構成されており、監視カメラユニット１０から送信された画像データを保存（録画）する。外部記憶装置２５に保存された画像データは、必要に応じて外部記憶装置２５から読み出され、表示装置２６の画面上に表示される。
　なお、本実施形態においては、画像データが監視端末２０に保存されるが、画像データは監視カメラユニット１０に保存されてもよいし、ネットワーク上に用意されたサーバ装置に保存されてもよい。
　［動作説明］
　次に、画像処理部１５における輝度（諧調）補正処理について説明する。図２は、画像処理部１５における処理を示すフローチャートである。
　まず、画像処理部１５は、画像データを入力し（ステップ１０１）、画像データに含まれる複数の画素のうち１つの画素を対象画素として選択する（ステップ１０２）。
　次に、画像処理部１５は、対象画素の位置における動き量を判定する（ステップ１０３）。この動き量の判定では、まず、画像処理部１５は、１フレーム前の画像データにおける、対象画素と同じ位置での画素の輝度情報を取得する。そして、画像処理部１５は、現在の画像データにおける画素の輝度と、１フレーム前の画像データにおける画素の輝度との差分量を算出し、この差分量に基づいて、その画素位置での動き量を判定する。動き量は、差分量が大きくなるに従って大きくなる値とされている。
　動き量を判定するための他の方法としては、動きベクトル量に基づく方法が挙げられる。この場合、まず、画像処理部１５は、１フレーム前の画像データにおいて、対象画素を含む複数の画素によって構成される所定領域内（例えば８×８画素）で物体の位置を判断する。
　そして、画像処理部１５は、現在の画像データにおいて上記所定領域内で物体の位置を判断し、１フレーム前の画像データにおける物体の位置と、現在の画像データにおける物体の位置との差分量（動きベクトル量）を算出する。そして、画像処理部１５は、この差分量を、対象画素の位置での動き量として判定する。
　ここでの説明では、動き量を判定する方法として２つの方法を挙げたが、これらの２つの方法のうち一方が用いられてもよいし両方が用いられてもよい。
　動き量を判定すると、次に、画像処理部１５は、判定された動き量に応じた動き量レベル判定値を決定する（ステップ１０４）。この動き量レベル判定値は、０～１までの範囲の値のうちいずれかの値であり、動き量が大きくなるにしたがって大きくなる値とされている。
　動き量レベル判定値を決定すると、次に、画像処理部１５は、対象画素における高周波成分のレベルを判定する処理を実行する（ステップ１０５）。このステップでは、まず、画像処理部１５は、対象画素の周辺に存在する周辺画素の輝度情報を取得する。次に、画像処理部１５は、周辺画素の輝度に対する対象画素の輝度の分散量を判断し、この分散量に基づいて、対象画素における高周波成分のレベルを判定する。
　高周波成分のレベルを判定する他の方法としては、ハイパスフィルタを通過した高周波成分の絶対値を積算し、この積算値に基づいて高周波成分のレベルを判定する方法が挙げられる。
　ここでの説明では、高周波成分のレベルを判定する方法として２つの方法を挙げたが、これらの２つの方法のうち一方が用いられてもよいし両方が用いられてもよい。
　高周波成分のレベルを判定すると、次に、画像処理部１５は、判定された高周波成分のレベルに応じた高周波レベル判定値を決定する（ステップ１０６）。高周波レベル判定値は、０～１までの範囲の値のうちいずれかの値であり、高周波成分のレベルが大きくなるにしたがって大きくなる値とされている。
　ここで、図３を参照して、画像データの輝度の分布を示す輝度ヒストグラムについて説明する。図３は、輝度ヒストグラムの一例を示す図である。輝度ヒストグラムは、横軸が輝度レベルを表しており、縦軸が頻度（累積）を表している。
　輝度ヒストグラムは、横軸において、輝度レベルが所定の輝度範囲毎に複数個に区分されている。この複数個に区分されたそれぞれの輝度範囲は、ビンと呼ばれる。図３に示す例では、輝度レベルが１６個のビンに区分された場合の一例が示されているが、ビンの個数については特に限定されない。
　図２の説明に戻る。高周波レベル判定値を決定すると、次に、画像処理部１５は、輝度ヒストグラムにおいて頻度をカウントするためのカウント値（この値は、１に設定）に対して、動き量及び高周波成分のレベルに応じた重みづけを行う（ステップ１０７）。このステップでは、まず、画像処理部１５は、カウント値に対して重み付けを行うための重み値を決定する処理を実行する。
　ここで、重み値を決定する方法として、以下の［１］～［３］が挙げられる。［１］動き量レベル判定値及び高周波レベル判定値のうちいずれか大きい方の値を重み値として用いる。［２］動き量レベル判定値及び高周波レベル判定値を加算し、この和を重み値として用いる。［３］動き量レベル判定値及び高周波レベル判定値を乗算し、この積を重み値として用いる（なお、積が用いられる場合、動き量レベル判定値及び高周波レベル判定値として１以上の値が用いられる）。
　画像処理部１５は、重み値を決定すると、この重み値をカウント値（本実施形態では、１に設定）に乗算し、カウント値に対して重み付けを行う。なお、以降の説明では、重み付けが行われたカウント値を便宜的に重み付けカウント値と呼ぶ。
　カウント値に対して重み付けを行うと、次に、画像処理部１５は、対象画素の輝度を判定し、重み付けカウント値を加算すべきビンを判定する（ステップ１０８）。そして、画像処理部１５は、そのビンに対して重み付けカウント値を加算する（ステップ１０９）。
　次に、画像処理部１５は、画像データに含まれる全ての画素について、頻度をカウントする処理が終了したかを判定する（ステップ１１０）。処理を行うべき画素が残っている場合（ステップ１１０のＮＯ）、画像処理部１５は、ステップ１０２へ戻り、残りの画素のうち１つの画素を対象画素として選択する。
　一方、全ての画素について処理が終了した場合（ステップ１１０のＹＥＳ）、画像処理部１５は、輝度ヒストグラムの頻度においてとり得る値の最大値（縦軸の最大値）が１となるように、正規化を行う（ステップ１１１）。この場合、画像処理部１５は、各ビンにおけるカウント値（頻度）を、全てのビンのカウント値（頻度）の総数でそれぞれ除すことによって、上記正規化を行う。これにより、カウント値の重み付けにより上記最大値が変動してしまうことに適切に対応することができる。
　本実施形態では、上述のステップ１０１～ステップ１１０による処理によって、輝度ヒストグラムが生成されることになる。この輝度ヒストグラムは、上述のような重み付けカント値によるカウントによって生成されるため、動いている物体や高周波成分のレベルが高い物体の輝度に対応するビンの頻度が高くなることになる。
　輝度ヒストグラムが生成されると、次に、画像処理部１５は、輝度ヒストグラムに基づいてトーンカーブを生成する（ステップ１１２）。図４は、トーンカーブの一例を示す図である。図４では、横軸が入力輝度（入力諧調）を表しており、縦軸が出力輝度（出力諧調）を示している。なお、図４では、ビンが破線において示されている。
　このトーンカーブは、輝度ヒストグラムにおいて頻度が高い箇所に対して優先的に傾斜が割り当てられる。つまり、本実施形態においては、上述のように、動いている物体や高周波成分の物体に対応する輝度の頻度が高くされているため、動いている物体や高周波成分の物体に対応する輝度に対して、優先的に傾斜が割り当てられる。
　なお、輝度ヒストグラム及びトーンカーブは、典型的には１フレーム毎に生成されるが、これらは、２フレーム以上のフレーム毎に生成されてもよい。
　トーンカーブを生成すると、次に、画像処理部１５は、生成されたトーンカーブに基づいて、画像データの輝度（諧調）を補正し、輝度（諧調）が補正された画像データを出力する（ステップ１１３）。　このとき出力される画像データは、動いている物体や高周波成分の物体に対応する輝度に対して優先的に諧調が割り当てられた画像となる。
　これにより、本実施形態では、動体や高周波成分に対応する物体のコントラストを大きくすることができる。このため、本実施形態では、監視者は、表示装置２６の画面上に表示された画像を視認するときに、例えば、歩いている人や走っている車などを識別することができる。
　＜作用等＞
　以降では、具体的な一例を挙げて、本実施形態に係る監視カメラシステム１００による作用について説明する。
　ここでの例では、監視カメラユニット１０が商店の駐車場に設置されているとして説明する。図５は、監視カメラユニット１０によって撮像された画像の一例を示す図である。この画像は、夜に撮像された画像であり、画像の上側には商店が写っており、また、画像の下側には駐車場を歩いて左から右に横切る人物が写っている。なお、この図５に示す画像は、輝度（諧調）が補正される前の入力画像である。
　商店は、商店の屋根部分に設けられた看板が明るく光っており、また、店内の明かりが出入り口のドアを介して店外に漏れ出している。このため、駐車場は、商店に近い部分は商店からの光によって照らされて明るくなっている。一方、商店から遠ざかるに従って、駐車場は徐々に暗くなっていく。駐車場を横切る人物は、店の光によって多少照らされているものの、暗くなっている。
　ここで、比較例として、上述の重み付けによるカウントを行わずに、単純に輝度毎の画素数をカウントすることによって輝度ヒストグラムを生成し、このヒストグラムに基づいてトーンカーブを生成する場合について説明する。
　この場合、輝度の頻度が高い部分（同じ明るさで面積が広い部分）について優先的に輝度の諧調が割り当てられるため、画像内において相対的に面積が広い、明るい商店及び駐車場において明るく照らされている部分に対して優先的に諧調が割り当てられることになる。一方、画像内において相対的に面積が小さい、暗い人物に対しては割り当てられる諧調の割合が相対的に少なくなってしまう。このため、駐車場を横切る人物の顔や服装を監視者が識別しにくくなってしまう。
　一方、本実施形態に係る監視カメラユニット１０では、上述のように、動体、高周波成分に対応する輝度の頻度が高くなるようにカウントが行われることによって、輝度ヒストグラムが生成される（図３のビン２～４を参照）。そして、この輝度ヒストグラムに基づいてトーンカーブが生成され、このトーンカーブに基づいて画像データの輝度（諧調）が補正される。
　このため、本実施形態では、駐車場を横切る人物（動いており、かつ、顔や着ている服が高周波成分）（つまり、暗い部分）に対して優先的に諧調が割り当てられることになる（図４におけるビン２～４の箇所参照）。一方で、人物とは輝度が異なる、明るい商店や、明るく照らされている駐車場（動いておらず、低周波成分）に割り当てられる諧調は相対的に低くなることになる（図４におけるビン１３～１６の箇所参照）。
図６は、本実施形態に係る画像処理によって輝度が補正された後の画像の一例を示す図である。
　図６に示すように、本実施形態によれば、駐車場を横切る人物のコントラストが大きくなり、監視者がこの人物の顔や服装を識別しやすくなる。
　なお、駐車場において商店により明るく照らされている場所や店内を人物が横切る場合、画像処理部１５による処理によって、明るく照らされている人物（動いており、かつ、顔や着ている服が高周波成分）に対して、優先的に諧調が割り当てられることになる。一方で、人物とは輝度が異なる、暗い駐車場（動いておらず、かつ、低周波成分）に割り当てられる諧調は低くなることになる。
　本実施形態では、このような場合においても、その人物のコントラストが大きくなり、監視者がこの人物の顔や服装を識別しやすくなる。
　＜各種変形例＞
　上述の説明では、画像処理部１５が監視カメラユニット１０に設けられる場合について説明したが、画像処理部１５は監視端末２０（つまり、表示装置２６側）に設けられていてもよい。
　また、以上の説明では、本実施形態に係る画像処理部１５（画像処理装置）が監視カメラシステム１００に適用される場合について説明した。一方、画像処理部１５は、テレビジョン装置等の表示装置２６に適用されてもよいし、デジタルスチルカメラに等の撮像装置に適用されてもよい。
　以上の説明では、動き量及び高周波成分のレベルに応じた重み付けをカウント値に対して行うことによって、動き量及び高周波成分のレベルが反映された輝度ヒストグラムを生成する場合について説明した。一方、動き量及び高周波成分のレベルが反映された輝度ヒストグラムを生成する方法はこれに限られない。
　他の方法の一例では、まず、単純に輝度毎の画素数がカウントされて第１の輝度ヒストグラムが生成される。そして、第１の輝度ヒストグラムとは別に、動き量に基づいて第２の輝度ヒストグラムが生成され、かつ、高周波成分のレベルに基づいて第３の輝度ヒストグラムが生成される。そして、第２の輝度ヒストグラム及び第３の輝度ヒストグラムに基づいて第１の輝度ヒストグラムが補正される。
　なお、動き量及び高周波成分に応じた重み付けをカウント値に対して行うことによって輝度ヒストグラムを生成する方法の場合、複数の輝度ヒストグラムを生成する場合に比べて処理が簡単になるため、この点で有利である。
　処理に余裕がある場合、動き量及び高周波成分のレベルの判定の他に、顔検出などの人物検出が行われてもよい。この場合、輝度ヒストグラムにおいて人（顔）に対応する画素の頻度がカウントされるとき、他の部分より重い重み値がカウント値に対して乗算される（あるいは、人物検出に基づいて第４の輝度ヒストグラムが生成されて、第１のヒストグラムが補正される）。
　以上の説明では、動き量及び高周波成分のレベルの両方（並びに、人物検出）を輝度ヒストグラムに反映させる場合について説明した。一方、動き量のみを輝度ヒストグラムに反映させてもよい。なお、この場合、動き量のみに基づいてカウント値に対する重み付けが行われる。
　上述の説明では、画像全体について輝度ヒストグラムを生成する場合について説明したが、輝度ヒストグラムは、複数のブロック毎に生成されてもよい。
　この場合、まず、画像全体が複数のブロック（例えば、横８×縦６の４８個）に分割される。そして、動き量及び高周波成分のレベル（並びに、人物検出）が反映された輝度ヒストグラムがブロック毎に生成される。その後、図７の左側に示すような分布がビン毎に生成される。
　図７の左側に示す分布は、Ｘ軸方向及びＹ軸方向がブロックの位置を示しており、Ｚ軸方向が対応するビンの頻度を表している。図７の左側に示すビン毎の分布が生成された後、これらの分布に対してバイキュービック補間によるスケーリングが行われて、各分布が目的とする画像サイズ（例えば、１２８０×１０２４画素）に拡張される（図７の右側参照）。そして、この拡張された分布に基づいて、トーンカーブが生成される。これにより、各ブロックの境界線が不自然になってしまうことを防止することができる。
　本技術は以下の構成をとることもできる。
（１）画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部
　を具備する画像処理装置。
（２）　上記（１）に記載の画像処理装置であって、
　前記画像処理部は、前記画像データに基づいて画像内における高周波数成分のレベルを判定し、高周波数成分のレベルが高い物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
　画像処理装置。
（３）　上記（１）又は（２）に記載の画像処理装置であって、
　前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量が反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
　画像処理装置。
（４）　上記（２）又は（３）に記載の画像処理装置であって、
　前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量及び前記高周波数成分のレベルが反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
　画像処理装置。
（５）　上記（３）又は（４）に記載の画像処理装置であって、
　前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量に応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
　画像処理装置。
（６）　上記（４）又は（５）記載の画像処理装置であって、
　前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量及び前記高周波数成分のレベルに応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
　画像処理装置。
（７）監視位置に配置された撮像部と、
　前記撮像部により撮像された画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部と
　を具備する監視カメラシステム。
（８）画像データを入力し、
　前記画像データに基づいて画像内における動き量を判定し、
　前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
　画像処理方法。
（９）画像処理装置に、
　画像データを入力するステップと、
　前記画像データに基づいて画像内における動き量を判定するステップと、
　前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力するステップと
　を実行させるプログラム。
　１…レンズユニット
　２…制御ユニット
　３…旋回ユニット
　１０…監視カメラユニット
　１５…画像処理部
　２０…監視端末
　１００…監視カメラシステム

Claims (9)

  1. 　画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記画像処理部は、前記画像データに基づいて画像内における高周波数成分のレベルを判定し、高周波数成分のレベルが高い物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
    　画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量が反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
    　画像処理装置。
  4. 　請求項２に記載の画像処理装置であって、
    　前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量及び前記高周波数成分のレベルが反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
    　画像処理装置。
  5. 　請求項３に記載の画像処理装置であって、
    　前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量に応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
    　画像処理装置。
  6. 　請求項４に記載の画像処理装置であって、
    　前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量及び前記高周波数成分のレベルに応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
    　画像処理装置。
  7. 　監視位置に配置された撮像部と、
    　前記撮像部により撮像された画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部と
    　を具備する監視カメラシステム。
  8. 　画像データを入力し、
    　前記画像データに基づいて画像内における動き量を判定し、
    　前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
    　画像処理方法。
  9. 　画像処理装置に、
    　画像データを入力するステップと、
    　前記画像データに基づいて画像内における動き量を判定するステップと、
    　前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力するステップと
    　を実行させるプログラム。
PCT/JP2015/004711 2014-10-28 2015-09-16 画像処理装置、監視カメラシステム、画像処理方法及びプログラム WO2016067507A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/521,007 US10469766B2 (en) 2014-10-28 2015-09-16 Image processing apparatus, surveillance camera system, and image processing method to improve contrast of a moving object
US16/594,321 US11310440B2 (en) 2014-10-28 2019-10-07 Image processing apparatus, surveillance camera system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-219548 2014-10-28
JP2014219548A JP6467865B2 (ja) 2014-10-28 2014-10-28 画像処理装置、カメラシステム、画像処理方法及びプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/521,007 A-371-Of-International US10469766B2 (en) 2014-10-28 2015-09-16 Image processing apparatus, surveillance camera system, and image processing method to improve contrast of a moving object
US16/594,321 Continuation US11310440B2 (en) 2014-10-28 2019-10-07 Image processing apparatus, surveillance camera system, and image processing method

Publications (1)

Publication Number Publication Date
WO2016067507A1 true WO2016067507A1 (ja) 2016-05-06

Family

ID=55856877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/004711 WO2016067507A1 (ja) 2014-10-28 2015-09-16 画像処理装置、監視カメラシステム、画像処理方法及びプログラム

Country Status (3)

Country Link
US (2) US10469766B2 (ja)
JP (1) JP6467865B2 (ja)
WO (1) WO2016067507A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467865B2 (ja) * 2014-10-28 2019-02-13 ソニー株式会社 画像処理装置、カメラシステム、画像処理方法及びプログラム
JP6738906B2 (ja) * 2016-10-31 2020-08-12 Eizo株式会社 画像処理装置、画像表示装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220032A (ja) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd 映像信号処理方法及び映像信号処理装置
WO2014087606A1 (ja) * 2012-12-03 2014-06-12 株式会社デンソー 撮影画像表示装置、および撮影画像表示方法
JP2014158074A (ja) * 2013-02-14 2014-08-28 Canon Inc 画像処理装置、画像処理方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296785A (ja) * 1998-04-14 1999-10-29 Matsushita Electric Ind Co Ltd 車両ナンバー認識システム
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
JP2002367090A (ja) * 2001-06-08 2002-12-20 Radias:Kk 車両管理システム、携帯端末機器、車両管理端末および車両
JP2003230099A (ja) * 2002-02-01 2003-08-15 Teruyoshi Maruyama 衝撃時の映像を記録するカメラシステム
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
JP4240023B2 (ja) * 2005-08-31 2009-03-18 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
WO2009055328A2 (en) * 2007-10-25 2009-04-30 Marvell World Trade Ltd. Motion-adaptive alternating gamma drive for a liquid crystal display
JP2009177272A (ja) * 2008-01-22 2009-08-06 Sony Corp 撮像装置、その制御方法およびプログラム
JP5180916B2 (ja) * 2008-06-25 2013-04-10 株式会社半導体エネルギー研究所 画像処理システム、及び画像処理方法
JP5249077B2 (ja) * 2009-02-17 2013-07-31 キヤノン株式会社 撮像装置及び画像処理方法
JP5047344B2 (ja) * 2009-12-28 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP2013250314A (ja) 2012-05-30 2013-12-12 Nec Casio Mobile Communications Ltd 画像処理装置、表示装置、情報処理装置および画像処理方法
JP6467865B2 (ja) * 2014-10-28 2019-02-13 ソニー株式会社 画像処理装置、カメラシステム、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220032A (ja) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd 映像信号処理方法及び映像信号処理装置
WO2014087606A1 (ja) * 2012-12-03 2014-06-12 株式会社デンソー 撮影画像表示装置、および撮影画像表示方法
JP2014158074A (ja) * 2013-02-14 2014-08-28 Canon Inc 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6467865B2 (ja) 2019-02-13
US20170339349A1 (en) 2017-11-23
US20200036904A1 (en) 2020-01-30
JP2016086364A (ja) 2016-05-19
US11310440B2 (en) 2022-04-19
US10469766B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
JP4990234B2 (ja) 測距装置、測距方法、測距プログラム又は撮像装置
JP4730431B2 (ja) 目標追尾装置
CN109756668B (zh) 在不同图像捕获条件下结合光学变焦和数字变焦
KR102289261B1 (ko) 움직임 영역 검출 장치 및 방법
JP5887067B2 (ja) 全方位監視画像処理システム
US9218681B2 (en) Image processing apparatus and image processing method
JP5887508B2 (ja) 露光制御装置、撮像装置、画像表示装置及び露光制御方法
US10931882B2 (en) Imaging device, control method of imaging device, and storage medium, with controlling of exposure levels of plurality of imaging units
US20180288339A1 (en) Dynamic frame rate controlled thermal imaging systems and methods
JP2009180583A (ja) ディスプレイの輝度ムラ評価方法および装置
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
US11310440B2 (en) Image processing apparatus, surveillance camera system, and image processing method
JP6351377B2 (ja) 画像処理システム、撮像装置及び記録装置
US20200204717A1 (en) Image processing apparatus and control method for same
CN108765346B (zh) 一种辅助对焦方法、装置和可读介质
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
CN110933304B (zh) 待虚化区域的确定方法、装置、存储介质与终端设备
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019093090A1 (ja) 画像処理装置、画像撮像装置、画像処理方法およびプログラム
JP2016086364A5 (ja) 画像処理装置、カメラシステム、画像処理方法及びプログラム
JP6929185B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP7095714B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15855424

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15855424

Country of ref document: EP

Kind code of ref document: A1