WO2020016921A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020016921A1
WO2020016921A1 PCT/JP2018/026687 JP2018026687W WO2020016921A1 WO 2020016921 A1 WO2020016921 A1 WO 2020016921A1 JP 2018026687 W JP2018026687 W JP 2018026687W WO 2020016921 A1 WO2020016921 A1 WO 2020016921A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
unit
inclination
tilt
image
Prior art date
Application number
PCT/JP2018/026687
Other languages
English (en)
French (fr)
Inventor
橋本　充夫
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/026687 priority Critical patent/WO2020016921A1/ja
Priority to US17/254,871 priority patent/US11153497B2/en
Priority to JP2020530754A priority patent/JP7130041B2/ja
Publication of WO2020016921A1 publication Critical patent/WO2020016921A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an imaging device that corrects a tilt of an angle of view caused by external force, vibration, or the like with high accuracy.
  • a conventional image pickup apparatus having an image pickup device such as a CCD has a rotating pan head, and can perform PTZ (PAN (pan) direction / TILT (tilt) direction / ZOOM (zoom) direction) operation and perform normal monitoring.
  • PTZ PAN (pan) direction / TILT (tilt) direction / ZOOM (zoom) direction
  • an imaging device start imaging after adjusting the angle of view so that a desired subject image can be captured.
  • the base on which the surveillance camera is installed, or the support itself is subject to weather, disaster, and aging deterioration.
  • the operator judges the change by watching the image captured by the surveillance camera, goes to the site, and manually adjusts the shooting direction and angle of view at the facility. Needed.
  • Patent Literature 1 a technique for displaying an alarm when a displacement of a captured image is detected has been proposed.
  • Patent Literature 1 a feature point in a current position image is extracted, and a feature of a captured image extracted in a previous region setting.
  • the present invention has been made to solve the above-described problem, and has as its object to provide an imaging apparatus capable of performing efficient and highly accurate correction.
  • An imaging apparatus includes a camera platform mechanism, a lens mechanism, an imaging unit that performs analog-to-digital conversion of an image transmitted from the lens mechanism, an image input unit that performs image processing on a digital signal transmitted from the imaging unit, A memory for recording an image processed by the image input unit, a tilt detection unit for detecting a tilt from a reference position and outputting it as angle data, and a feature point extraction for extracting a feature point based on the reference position image and the current position image And a shift amount calculating unit that calculates a tilt angle based on the angle data based on the angle data and calculates a pixel shift amount based on the feature point.
  • a correction method for fine-tuning the angle of view is commanded.
  • the decision part and the supplement Based on a command method determining unit, and a control unit and a pan-tilt zoom operation unit for controlling the pan head mechanism and a lens mechanism.
  • an operation is performed so as to select an optimal correction method according to the degree of the angle shift from the reference position of the imaging device, so that the angle of view of the imaging device can be corrected efficiently and with high accuracy.
  • FIG. 3 is a block diagram illustrating a functional configuration of the imaging device according to the first and second embodiments of the present invention.
  • FIG. 3 is an explanatory diagram illustrating a relationship between an example of an imaging device according to Embodiments 1 and 2 of the present invention and X, Y, and Z axes.
  • FIG. 3 is an explanatory diagram illustrating a relationship between an example of an imaging device according to Embodiments 1 and 2 of the present invention and X, Y, and Z axes.
  • 5 is a flowchart illustrating an operation of the imaging device according to the first embodiment of the present invention.
  • 9 is a flowchart illustrating an operation of the imaging device according to the second embodiment of the present invention.
  • 13 is a flowchart illustrating a process of determining a correction method based on a tilt angle and a pixel shift amount according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging device according to Embodiment 1 of the present invention.
  • the imaging device 1 includes an imaging device control unit 1a, a lens mechanism 2, and a camera platform mechanism 22.
  • the camera platform mechanism 22 maintains the attitude of the imaging device 1.
  • the lens mechanism 2 sends the image of the subject to the imaging device controller 1a.
  • the imaging device control unit 1a includes an imaging unit 3, an image input unit 4, an inclination detection unit 5, a shift amount calculation unit 6, a correction method determination unit 7, a PTZ operation unit (pan-tilt zoom operation unit) 8, a feature point extraction unit 9, And a memory 10.
  • FIG. 2 is an explanatory diagram illustrating a relationship between a turning monitoring camera, which is an example of an imaging device, and X, Y, and Z axes.
  • the dotted frame is the imaging device 1, which is directed to a desired direction and adjusts the angle of view to image a subject.
  • FIG. 2 shows three axes (X, Y, Z) around the imaging device 1 and directions of the three axes.
  • 30a is rotation around the X axis
  • 30b is rotation around the Y axis
  • 30c is Z axis. Represents the rotation around.
  • the head mechanism 22 includes a PAN head 20 and a TILT head 21.
  • the PAN head 20 can rotate the Z axis (30c)
  • the TILT head 21 can rotate the Y axis (30b)
  • the lens mechanism 2 can rotate the X axis (30a). it can.
  • FIG. 3 is an explanatory diagram showing the relationship between the imaging device 1b having an outer shape different from that of FIG. 2 and the X, Y, and Z axes.
  • the imaging device 1b includes a head unit 40a and a housing unit 40b.
  • the TILT pan head is built in the housing, and can rotate the head 40a around the Y axis.
  • the inclination detecting unit 5 (gyro sensor) is provided at the intersection of the X axis, the Y axis, and the Z axis.
  • the imaging unit 3 captures an image of a subject through the lens mechanism 2 and performs photoelectric conversion and AD conversion (analog-digital conversion).
  • the image input unit 4 includes a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), and performs image processing such as color interpolation processing, automatic exposure processing, and white balance processing on a digital signal sent from the imaging unit 3. And then send the image to a system device or monitor at the subsequent stage.
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the tilt detection unit 5 is hardware that detects the tilt angle of the imaging device 1 built in the imaging device 1, and is configured by an angular velocity sensor such as a gyro sensor.
  • the gyro sensor outputs angular velocity (speed rotating in the X-axis, Y-axis, and Z-axis directions), which is one type of angle data applied to the sensor, as analog data or digital data (for example, 10-bit data).
  • the shift amount calculation unit 6 is, for example, hardware constituted by a CPU. By integrating the angle data sent from the tilt detection unit 5 with the shift amount calculation unit 6, the tilt angles are calculated in the X-axis, Y-axis, and Z-axis directions.
  • the CPU performs AD conversion (conversion from analog to digital data) in the CPU, and then integrates, and calculates an inclination angle in the X-axis, Y-axis, and Z-axis directions.
  • the correction method determination unit 7 operates as a control unit of the shift correction processing of the imaging device of the present invention.
  • the correction method determining unit 7 is, for example, hardware constituted by a CPU.
  • the correction method determination unit 7 determines whether or not to correct the current position of the imaging device 1 to the angle before the tilt based on the digital data (for example, 10-bit data) corresponding to the tilt angle sent from the shift amount calculation unit 6. Is determined and the current position of the imaging apparatus 1 is returned to the position before the tilt, firstly, the amount of movement between the necessary PAN head 20 and the TILT head 21 (both in FIG. 2) of the head mechanism 22 is calculated. , The pan adjustment head 20 and the TILT pan head 21 are operated, and the calculated digital data is sent to the PTZ operation unit 8 to output a correction command.
  • the PTZ operation unit 8 performs a pan-tilt zoom operation on the attitude of the imaging device 1 according to the correction method from the correction method determination unit 7.
  • whether or not to return the position of the imaging device 1 to the position before the tilt is determined by the respective tilt angles on the X axis, the Y axis, and the Z axis.
  • the correction method determination unit 7 determines whether or not to return the posture of the imaging device 1 to the state before the inclination, by determining whether the inclination angle in one of the X axis, the Y axis, and the Z axis is the lower limit value A (for example, 5 degrees). Degrees) or more, but a reference value may be set for each of the X-axis, Y-axis, and Z-axis from a subsequent system, and a combination of these may be determined.
  • the X axis has a lower limit value AX
  • the Y axis has a lower limit value AY
  • the Z axis has a lower limit value AZ. It may be returned to.
  • the orientation of the imaging device can be corrected in all directions using multiple axes of the X axis, the Y axis, and the Z axis.
  • any one of the X-axis, Y-axis, and Z-axis is larger than the upper limit value B, it is determined that it is impossible to return to the posture before shifting by operating the PAN head 20 and the TILT head 21. Then, a signal indicating that the imaging device has tilted, but has not been corrected because the angle is larger than the correctable angle is sent to the subsequent system, and an electric signal is sent to the CPU or the DSP of the image input unit 4, The image input unit 4 superimposes a marking indicating that the attitude of the imaging device has not been corrected at an arbitrary position on the screen based on the electric signal. This marking signal may be displayed for a certain period of time (for example, 10 minutes), or the display may be stopped when the image input unit 4 receives a communication from a subsequent system.
  • the marking device displayed on the screen allows the user to immediately identify the imaging device and direct the worker for tilt correction to the site. , Can be dealt with early.
  • the correction method determination unit 7 extracts the feature points to the feature point extraction unit 9.
  • the image processed by the image input unit 4 at the time of initial installation is recorded in the memory 10 as a reference position image.
  • the feature point extracting unit 9 extracts the reference image feature point Ch1 based on the reference position image, and extracts the current image feature point Ch2 based on the current position image (current image) sent from the image input unit 4. I do.
  • a method of multiplying an image by an HPF (High Pass Filter) and subtracting a low frequency component from all frequency components to extract an edge as only a high frequency component is used.
  • the eigenvector may be calculated based on the direction of the edge.
  • the result may be a result of extracting a steep luminance change amount of an image and performing a first derivative or a second derivative on the image.
  • the image data of the feature points Ch1 and Ch2 extracted from the feature point extraction unit 9 is sent to the shift amount calculation unit 6, and the shift amount calculation unit 6 calculates the pixel shift amount ⁇ based on the feature points Ch1 and Ch2, and the correction method. It is sent to the decision unit 7.
  • the pixel shift amount ⁇ is composed of a horizontal pixel shift amount ⁇ x and a vertical pixel shift amount ⁇ y on the screen.
  • the memory 10 records the reference position image and the current position image processed by the image input unit 4.
  • the correction method determination unit 7 further determines whether or not to finely adjust the angle of view of the imaging device 1 based on the amount of shift between the feature points Ch1 and Ch2.
  • the angle of view of the imaging device 1 is finely adjusted.
  • the amount of fine adjustment between the PAN head 20 and the TILT head 21 (both shown in FIG. 2) of the necessary head mechanism 22 is calculated based on the pixel shift amount ⁇ , and the PAN head 20 and the TILT head 21 are moved.
  • the subsequent zoom fine adjustment amount is also calculated, and the calculated digital data is sent to the PTZ operation unit 8.
  • the PTZ operation unit 8 operates the imaging device 1 in the PAN (pan) direction / TILT (tilt) direction / ZOOM (zoom) direction according to the correction method from the correction method determination unit 7.
  • FIG. 4 is a flowchart illustrating an operation of the imaging device 1 according to Embodiment 1 of the present invention. A method for correcting a shift in the angle of view of the imaging device will be described step by step. First, when the image pickup apparatus 1 is installed, registration processing of reference position information and image information is performed in the memory 10 at a preset time. When the control start instruction is received, the current position information is acquired (step S101).
  • step S102 the presence or absence of a tilt angle is detected by an angular velocity sensor such as a gyro sensor of the tilt detection unit 5 built in the imaging device 1 (step S102). If no tilt angle is detected, the process returns to step S101. If the inclination angle is detected, the deviation amount calculation unit 6 integrates the angle data from the gyro sensor to calculate the inclination angle ⁇ (step S103). The tilt angle is obtained for each of the X axis, Y axis, and Z axis, and the flow processing is performed.
  • an angular velocity sensor such as a gyro sensor of the tilt detection unit 5 built in the imaging device 1
  • step S104 determines whether or not the inclination angle ⁇ sent from the shift amount calculation unit 6 is equal to or larger than the lower limit A (step S104). If NO in step S104, the inclination angle ⁇ is smaller than the lower limit value A. In this case, it is not necessary to correct the inclination of the posture, and the process proceeds to step S109 to perform fine adjustment of the angle of view.
  • step S105 it is further determined whether or not the inclination angle ⁇ is equal to or smaller than the upper limit value B (step S105). If NO in step S105, that is, if the inclination angle ⁇ of the posture of the imaging device is larger than the upper limit value B, it is determined that the posture of the imaging device cannot be corrected, and it is determined that the correction has not been performed. In addition to notifying the system, a mark for indicating that correction has not been performed is superimposed on the screen (step S106), and the process ends. The latter system does not perform the PTZ operation because the result is to know that "the imaging device was tilted, but the correction was not performed because it was larger than the correctable angle". Furthermore, even if the subject cannot be captured within the angle of view and monitoring becomes impossible, it is easy to identify which imaging device is tilted by the markings displayed on the screen. Can be dealt with early.
  • step S104 When the inclination angle ⁇ is equal to or larger than the lower limit value A in step S104 and is equal to or smaller than the upper limit value B in step S105, it is determined that the inclination correction can be performed, and the PAN head, the TILT head, and the zoom lens are moved.
  • An electric signal is sent to a drive circuit in the PTZ operation unit 8 to output an instruction for performing a PTZ operation (step S107).
  • the PTZ operation unit 8 Based on the digital data relating to the movement amount of the PAN head 20 and the TILT head 21 necessary for returning the angle of the imaging device 1 to the angle before being sent from the correction method determination unit 7, the PTZ operation unit 8 An electric signal is sent to a drive circuit that moves the PAN head 20 and the TILT head 21 to correct the tilt of the imaging device 1.
  • the digital data indicating the position of the lens mechanism 2 before the attitude of the imaging device 1 is recorded in the memory 10 and the lens mechanism 2 after the attitude of the imaging apparatus 1 is tilted. Then, the lens mechanism 2 is corrected so that the position of the imaging device 1 becomes the same as the zoom position before the posture is tilted (step S108).
  • the process proceeds to step S109, and fine adjustment of the angle of view is performed.
  • the tilt detection unit 5 generates an event signal in the imaging device 1 indicating that the fine adjustment of the angle of view is necessary, and sends the event signal to the feature point extraction unit 9.
  • the feature point extracting unit 9 reads the reference position image recorded in the memory 10, extracts the reference image feature point Ch1 based on the reference position image, and also displays the current position image (current image). , And extracts the current image feature point Ch2 (step S109), and sends the image data of the feature points Ch1 and Ch2 to the shift amount calculation unit 6.
  • the shift amount calculator 6 compares the feature points Ch1 and Ch2 (matching processing) and calculates the pixel shift amount ⁇ (step S110).
  • the correction method determination unit 7 determines whether to finely adjust the inclination of the angle of view of the imaging device 1 based on the data sent from the shift amount calculation unit 6 (step S111). If NO in step S111, that is, if the shift amount (pixel) ⁇ is smaller than the fine adjustment lower limit C, it is determined that it is not necessary to perform the fine adjustment of the angle of view, and the system in the subsequent stage performs the fine adjustment. It is notified that the angle of view has not been corrected below the lower limit (step S112), and the process ends.
  • step S113 a command for fine adjustment of the angle of view is output (step S113).
  • the PTZ operation of the camera platform mechanism 22 and the lens mechanism 2 is performed to finely adjust the angle of view (step S114).
  • step S115 the system at the subsequent stage is notified of the completion of angle of view correction (step S115), and the processing ends.
  • the imaging apparatus according to the first embodiment is configured and operates as described above, even when the displacement of the imaging area is large, the inclination of the imaging apparatus detected by the gyro sensor or the like is automatically corrected. The effect of finely adjusting the inclination of the angle of view to obtain a shot image efficiently and accurately is exhibited.
  • Embodiment 2 In the first embodiment, the imaging device 1 automatically monitors the change in the posture, and when the inclination is detected and it is determined that the angle of view needs to be adjusted, the inclination of the posture of the imaging device is automatically corrected. Therefore, fine adjustment of the angle of view was performed.
  • the imaging apparatus 1 determines whether to perform the correction from the posture inclination correction as in the first embodiment or to perform only the fine adjustment of the angle of view. This is executed by determining and selecting a correction method having a short processing time.
  • the configuration of the imaging device according to the second embodiment is the same as the configuration of the imaging device according to the first embodiment shown in FIG.
  • FIG. 5 is a flowchart illustrating the operation of the imaging device according to the second embodiment.
  • the correction method of the imaging device according to the second embodiment will be described step by step.
  • the imaging apparatus when the imaging apparatus is installed, registration processing of the reference position information and the image information is performed in the memory 10 at a preset time.
  • the current position information is acquired (step S201).
  • the presence or absence of a tilt angle is detected by an angular velocity sensor such as a gyro sensor of the tilt detection unit 5 built in the imaging device 1 (step S202). If no tilt angle is detected, the process returns to step S201.
  • the deviation amount calculation unit 6 integrates the angular velocity (one form of angle data) obtained from the gyro sensor to calculate the inclination angle ⁇ (step S203). Such an inclination angle is obtained for each of the X axis, the Y axis, and the Z axis, and the flow processing is performed.
  • step S204 determines whether the inclination angle ⁇ sent from the shift amount calculation unit 6 is equal to or larger than the lower limit value A (step S204). If NO in step S204, that is, if the inclination angle ⁇ is smaller than the lower limit value A, the inclination of the posture does not need to be corrected, and the process proceeds to step S212, where only the fine adjustment of the angle of view is performed. Subsequent steps are the same as the processing of step S109 and subsequent steps in the first embodiment.
  • the inclination detection unit 5 sends the inclination to the imaging apparatus 1.
  • An event signal indicating that the event has occurred is generated, and the event signal is sent to the feature point extracting unit 9.
  • the feature point extracting unit 9 reads the reference position image recorded in the memory 10, extracts the feature point Ch1 based on the reference position image, and based on the current position image (current image).
  • the feature point Ch2 is extracted (step S207), and the image data of the feature points Ch1 and Ch2 is sent to the shift amount calculation unit 6. For example, a signal in which the current image is significantly displaced and the feature point Ch2 cannot be extracted is also sent to the displacement amount calculating unit 6 at the same time.
  • the shift amount calculator 6 compares the feature points Ch1 and Ch2 (matching processing) and calculates the pixel shift amount ⁇ (step S208).
  • the correction method determination unit 7 determines a correction method based on the inclination angle ⁇ and the pixel shift amount ⁇ sent from the shift amount calculation unit 6 (Step S209).
  • FIG. 6 shows a flowchart of the processing in step S209.
  • step S209 after correcting the inclination angle ⁇ , the PTZ operation trajectory for performing fine adjustment of the angle of view and the time required for the correction operation are calculated (step S219), and only the pixel shift amount ⁇ is corrected.
  • the PTZ operation trajectory and the time required for the correction operation are also calculated (step S229).
  • the two correction times are compared to determine a more efficient correction method (step S239).
  • step S210 If it is determined that the correction time is shorter when the correction is performed from the inclination angle of the imaging apparatus, or if the inclination is large and the feature point Ch2 cannot be extracted, the inclination angle is corrected in step S210. Then, feature points are extracted again and fine adjustment of the angle of view is performed. If it is determined that the correction of the tilt angle is not necessary and only the fine adjustment of the angle of view is shorter, the process proceeds to step S214.
  • step S210 the correction method determination unit 7 outputs a command to return the imaging device 1 to the state before the angle is tilted. From here, the process is the same as the flowchart from step S107 of the first embodiment.
  • the PTZ operation unit 8 is based on digital data transmitted from the correction method determination unit 7 and relating to the amount of movement of the PAN head 20 and the TILT head 21 necessary to return the imaging device 1 to the position before the inclination.
  • An electric signal is sent to a drive circuit in the PTZ operation unit 8 that moves the PAN head 20 and the TILT head 21 to correct the tilt of the imaging device 1.
  • digital data indicating the position of the lens mechanism 2 before the attitude of the imaging device 1 is recorded in the memory 10 and the lens mechanism 2 after the attitude of the imaging apparatus 1 is tilted. Is compared with the digital data indicating the position, and the lens mechanism 2 is corrected so that the posture of the imaging apparatus 1 becomes the same as the zoom position before the inclination (step S211).
  • the process proceeds to step S212, and fine adjustment of the angle of view is performed.
  • the tilt detection unit 5 generates an event signal indicating whether or not the fine adjustment of the angle of view is necessary in the imaging device, and sends the event signal to the feature point extraction unit 9.
  • the feature point extracting unit 9 extracts a new feature point Ch3 from the image whose tilt angle has been corrected, that is, the latest image that is currently being captured (step S212), and shifts the image data of Ch3. It is sent to the quantity calculator 6.
  • the shift amount calculating unit 6 compares the feature point Ch1 of the reference position image already sent with the new feature point Ch3 of the latest image (matching process), and calculates the pixel shift amount ⁇ ′ (step S213).
  • the correction method determination unit 7 determines whether or not to finely adjust the angle of view of the imaging device 1 based on the data sent from the shift amount calculation unit 6 (step S214). If NO in step S214, the pixel shift amount ⁇ 'is smaller than the fine adjustment lower limit C. In this case, it is determined that there is no need to perform the fine adjustment of the angle of view, and the subsequent system is notified that the fine adjustment of the angle of view was not performed below the fine adjustment lower limit value (step S215), and the process ends.
  • step S216 a fine angle adjustment instruction for the angle of view is output (step S216).
  • the PTZ operation of the camera platform mechanism 22 and the lens mechanism 2 is performed to finely adjust the angle of view (step S217).
  • step S217 the system at the subsequent stage is notified of the completion of angle of view correction (step S218), and the processing ends.
  • step S209 when it is determined that the correction time for performing only the fine adjustment of the angle of view is shorter and it is not necessary to perform the correction based on the tilt angle, steps S210 to S213 are not performed, and the process proceeds from step S214. Execute.
  • the correction method determination unit 7 compares the deviation amount (pixel) ⁇ already calculated in step S208 with the fine adjustment lower limit value C (step S214), and determines whether or not the fine adjustment of the angle of view is possible. Subsequent steps S214 to S218 are the same as those in the first embodiment, and a detailed description thereof will be omitted.
  • the imaging device according to the second embodiment is configured and operates as described above, similarly to the imaging device according to the first embodiment, correction is performed by automatically detecting the inclination of the imaging region using an angle sensor or the like.
  • the pixel shift amount is calculated and compared with the tilt angle, and efficient correction is performed. Determine the method. Accordingly, it is determined whether the inclination angle is corrected and then the angle of view is finely adjusted based on the amount of inclination of the imaging device, or the fine adjustment of the angle of view is only performed based on the pixel shift amount, or a correction method with a short correction time is determined. Therefore, a captured image can be obtained more efficiently and with high accuracy.
  • the present invention is not limited to this.
  • an acceleration sensor may be used.
  • the inclination angle of the imaging device can be calculated from measurement data (one form of angle data) of acceleration in one to three axes.
  • both a gyro sensor and an acceleration sensor may be used.
  • the inclination of the imaging device can be detected with higher accuracy by combining with an HPF (High Pass Filter) or an LPF (Low Pass Filter).
  • 1 imaging device 1a imaging device control unit, 2 lens mechanism, 3 imaging unit, 4 image input unit, 5 tilt detection unit, 6 shift amount calculation unit, 7 correction method determination unit, 8 PTZ operation unit, 9 feature point extraction unit , 10 memory, 20 PAN head, 21 TILT head, 22 head mechanism, 30a rotation angle around X axis, ⁇ 30b ⁇ ⁇ rotation angle around Y axis, 30c rotation angle around Z axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

撮影領域が大きくずれた場合でも、効率的にかつ正確に撮像装置の画角を補正できる撮像装置を提供する。 本撮像装置１は、基準位置からの傾きを検知して角度データとして出力する傾き検知部５と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部９と、角度データに基づき傾き角度を算出し、特徴点に基づき画素ずれ量を算出するずれ量算出部６と、傾き角度が補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、傾き角度を補正してから、画角傾斜を微調整する補正を指令し、傾き角度が下限値未満である場合には、画角傾斜を微調整する補正を指令する補正方法決定部７とを備える。

Description

撮像装置
本発明は、外力、振動などで生じた画角の傾きを高精度に補正する撮像装置に関する。
　従来のＣＣＤ等の撮像素子を備えた撮像装置では、回転する雲台を有し、ＰＴＺ（ＰＡＮ（パン）方向／ＴＩＬＴ（チルト）方向／ＺＯＯＭ（ズーム）方向）操作が可能であり、通常監視用途向けに屋外や屋内環境に設置されている。
　撮像装置を設置する際、所望の被写体像が撮像できるように画角を調整してから撮像を開始するが、監視カメラが設置されている土台、あるいは、支柱自体が、天候・災害・経年劣化等の影響を受けて大きな傾きが発生した場合、オペレータが、監視カメラが撮像した映像を見て変化を判断し、現地に赴いて、施設時の撮影方向と画角に手動で再調整を行う必要があった。そのような人手による修復により、画像がずれる前の状態に戻すまでに時間を要するだけでなく、人件費もかかった。しかも、監視システムを目的とする撮像装置では厳格な画角調整が要求されているため、作業員の技能に左右される部分が大きく、元の画角に精度よく合わせることが非常に困難であった。
一方、撮像画像のずれを検出した場合にはアラームを表示する技術が提案され、例えば特許文献１では、現在位置画像中の特徴点を抽出し、以前の領域設定において抽出された撮像画像の特徴点と比較して対応する特徴点の位置の誤差が閾値以上である場合に、領域設定の変化ありと判定し、領域変化検知情報を後段のサーバに送信することができるカメラ装置を提供する技術が提案されている。
特開２０１７－２０４８２５号公報
　特許文献１に開示されているような撮像装置では、基準画像の設定領域内の変化を検知できるが、設定領域外までの大きなずれがある場合、撮像画像の特徴点による補正ができない問題がある。また、設定領域内のずれであっても、例えばずれ角が大きい場合、特徴点を抽出して画角補正のみを実施すると補正に時間がかかり、効率がよくない問題がある。
さらに、撮影領域が大きくずれた場合、画像処理で補正できない、あるいは補正時間がかかる問題がある。この対策として、角速度センサなどにより検出されたずれ角を調整する方法も考えられるものの、かかる方法では、画像処理の微調整ができないため、撮影画像が正確に得られない問題点がある。
　本発明は、上述のような問題を解決するためになされたもので、効率的かつ高精度に補正できる撮像装置を提供することを目的とする。
本発明の撮像装置は、雲台機構と、レンズ機構と、レンズ機構から送られた画像をアナログ－デジタル変換する撮像部と、撮像部から送られたデジタル信号を画像処理する画像入力部と、画像入力部で処理された画像を記録するメモリと、基準位置からの傾きを検知して角度データとして出力する傾き検知部と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部と、角度データに基づき傾き角度を算出し、特徴点に基づき画素ずれ量を算出するずれ量算出部と、傾き角度が角度補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、傾き角度を補正してから、画角傾斜を微調整する補正を指令し、傾き角度が下限値未満である場合には、画角傾斜を微調整する補正を指令する補正方法決定部と、補正方法決定部の指令に基づき、雲台機構とレンズ機構を制御するパンチルトズーム操作部とを有する制御部とを備える。
本発明によれば、撮像装置の基準位置からの角度ずれの度合いに応じて、最適な補正方法を選択するように動作するので、撮像装置の画角傾斜を効率的かつ高精度に補正できる。
本発明の実施の形態１と２による撮像装置の機能構成を示すブロック図である。 本発明の実施の形態１と２に係る一例の撮像装置とＸ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。 本発明の実施の形態１と２に係る一例の撮像装置とＸ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。 本発明の実施の形態１に係る撮像装置の動作を説明するフローチャートである。 本発明の実施の形態２に係る撮像装置の動作を説明するフローチャートである。 実施の形態２における傾き角度と画素ずれ量により補正方法を判定する処理を説明するフローチャートである。
　以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１
図１は、本発明の実施の形態１による撮像装置の構成を示すブロック図である。
　図１に示すように、撮像装置１は、撮像装置制御部１a、レンズ機構２および雲台機構２２で構成されている。雲台機構２２は撮像装置１の姿勢を維持する。レンズ機構２は被写体の画像を撮像装置制御部１aに送る。撮像装置制御部１aは、撮像部３、画像入力部４、傾き検知部５、ずれ量算出部６、補正方法決定部７、ＰＴＺ操作部（パンチルトズーム操作部）８、特徴点抽出部９、およびメモリ１０とを備える。
また、実施の形態１に係る撮像装置１は、一例として、インターネットなどの通信網を介して制御を行う旋回監視カメラを想定している。図２は、撮像装置の一例である旋回監視カメラと、Ｘ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。点線枠が撮像装置１であり、所望の方向に向け、画角を調整して被写体を撮像する。図２に、撮像装置１を中心とした３軸（Ｘ、Ｙ、Ｚ）およびぞれぞれの向きを示し、３０ａはＸ軸回りの回転、３０ｂはＹ軸回りの回転、３０ｃはＺ軸回りの回転を表している。雲台機構２２はＰＡＮ雲台２０とＴＩＬＴ雲台２１とで構成されている。ＰＡＮ雲台２０はＺ軸回りの回転（３０ｃ）を、ＴＩＬＴ雲台２１はＹ軸回りの回転（３０ｂ）を、またレンズ機構２はＸ軸回りの回転（３０ａ）を、それぞれ操作することができる。
図３は図２とは外形が異なる撮像装置１ｂと、Ｘ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。撮像装置１ｂはヘッド部４０ａと、筐体部４０ｂで構成される。ＴＩＬＴ雲台は筐体部に内蔵されており、ヘッド部４０ａをＹ軸回りに回転させることができる。この場合もＸ軸、Ｙ軸、Ｚ軸の交点位置に傾き検知部５（ジャイロセンサ）がある。
次に、図１に基づき、撮像装置制御部１aの各部の構成および動作を説明する。
撮像部３は、レンズ機構２を通した被写体の画像を取り込み、光電変換ならびにＡＤ変換（アナログ－デジタル変換）を行う。
画像入力部４はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）で構成され、撮像部３から送られたデジタル信号に対して、色補間処理、自動露光処理、およびホワイトバランス処理等画像処理を施すことで人が認識可能な画像とした上で、後段のシステム機器やモニタに画像を送る。
傾き検知部５は、撮像装置１内に内蔵された撮像装置１の傾き角度を検知するハードウェアであり、ジャイロセンサ等の角速度センサで構成される。ジャイロセンサはセンサに掛かる角度データの一種である角速度（Ｘ軸、Ｙ軸、Ｚ軸方向に回転する速度）を、アナログデータ、もしくはデジタルデータ（例えば１０ｂｉｔデータ）として出力する。
ずれ量算出部６は、例えばＣＰＵで構成されるハードウェアである。傾き検知部５から送られてきた角度データをずれ量算出部６で積分することにより、Ｘ軸、Ｙ軸、Ｚ軸方向に傾き角度をそれぞれ算出する。ジャイロセンサの出力がアナログデータの場合は、ＣＰＵ内でＡＤ変換（アナログからデジタルデータへの変換）を実施した後に積分し、Ｘ軸、Ｙ軸、Ｚ軸方向に傾き角度としてそれぞれ算出する。
補正方法決定部７は、本発明の撮像装置のずれ補正処理の制御部として動作する。補正方法決定部７は、例えば、ＣＰＵで構成されるハードウェアである。補正方法決定部７では、ずれ量算出部６から送られてきた傾き角度に相当するデジタルデータ（例えば１０ｂｉｔデータ）に基づき、撮像装置１の現在位置を傾いた前の角度に補正するか否かを判定するとともに、撮像装置１の現在位置を傾いた前に戻す場合は、まず、必要な雲台機構２２のＰＡＮ雲台２０とＴＩＬＴ雲台２１（共に図２）との動き量を算出し、ＰＡＮ雲台２０とＴＩＬＴ雲台２１が動作した後のズーム調整量も算出し、算出したデジタルデータをＰＴＺ操作部８に送り、補正指令を出力する。
ＰＴＺ操作部８は、補正方法決定部７からの補正方法に従って、撮像装置１の姿勢をパンチルトズーム操作する。
補正方法決定部７において、撮像装置１の位置を傾いた前に戻すか否かは、Ｘ軸、Ｙ軸、Ｚ軸におけるそれぞれの傾き角度によって決定する。すなわち、Ｘ軸、Ｙ軸、Ｚ軸のいずれか1つの軸における傾き角度が下限値Ａ（例えば、Ａ＝５度）以上、かつ、Ｘ軸、Ｙ軸、Ｚ軸の全ての軸における傾き角度が上限値Ｂ（例えば、Ｂ＝９０度）以下である場合は、撮像装置の姿勢を傾いた前の角度まで補正する。同時に、後段のシステムに「撮像装置が傾いたため、補正を行う」ことを示す信号を送る。
補正方法決定部７において、撮像装置１の姿勢を傾いた前に戻すか否かの決定は、Ｘ軸、Ｙ軸、Ｚ軸のいずれか１つの軸における傾き角度が下限値Ａ（例えば、５度）以上であるとしたが、Ｘ軸、Ｙ軸、Ｚ軸それぞれに後段のシステムから基準値を設定して、これらの組み合わせで決定してもよい。例えば、Ｘ軸は下限値ＡＸ、Ｙ軸は下限値ＡＹ、Ｚ軸は下限値ＡＺとし、ＡＸ、ＡＹ、ＡＺの全ての角度が＋５度以上あるいはー５度以下の場合に姿勢を傾いた前に戻すとしてもよい。いずれの場合も、Ｘ軸、Ｙ軸、Ｚ軸という多軸を使って、全方位に撮像装置の姿勢を補正することができる。
Ｘ軸、Ｙ軸、Ｚ軸のいずれか１つの軸における傾き角が上限値Ｂより大きい場合は、ＰＡＮ雲台２０、ＴＩＬＴ雲台２１の操作でずれる前の姿勢に戻すことは不可能と判断し、後段のシステムに「撮像装置が傾いたが、補正可能な角度より大きかったため補正を行わなかった」ことを示す信号を送るとともに、画像入力部４のＣＰＵ、またはＤＳＰに電気信号を送り、画像入力部４ではその電気信号に基づいて画面上の任意の場所に、撮像装置の姿勢を補正しなかったことを示すマーキングを重畳させる。このマーキング信号は一定時間（例えば１０分）表示し続けてもよいし、画像入力部４で後段のシステムからの通信を受信すると表示を止めるようにすることもできる。
後段のシステムでは「撮像装置が傾いたが、補正可能な角度より大きかったため補正を行わなかった」ことを知ることにより、無駄なＰＴＺ動作を行わないことで、傾き修復までの時間を短縮できる。さらに、画角内に被写体を捉えられず監視不能となった場合でも、画面上に表示されるマーキングにより即座に該撮像装置を特定でき、傾き修復のための作業者を現地に向わせるなど、早期に対処することができる。
一方、上記の傾き角度を補正すると決定して補正した後、または、傾き角度が下限値Ａに満たなく姿勢を補正しない場合は、補正方法決定部７は特徴点抽出部９に特徴点を抽出するように指令し、画角の微調整を実施する。
　初期設置時に画像入力部４で処理された画像を、基準位置画像としてメモリ１０に記録する。特徴点抽出部９は、この基準位置画像に基づいて基準画像特徴点Ｃｈ１を抽出し、および画像入力部４から送られてくる現在位置画像（現画像）に基づいて現画像特徴点Ｃｈ２を抽出する。
特徴点抽出部９において特徴点を得るためには、例えば、画像にＨＰＦ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）を掛けて、全周波数成分から低周波成分を減算することにより高周波成分のみとして、エッジを抽出する方法がある。あるいは、エッジの向きに基づいて固有ベクトルを算出してもよい。さらは、画像の急峻な輝度変化量を抽出し、画像に対して１次微分、あるいは２次微分を実施した結果でもよい。
特徴点抽出部９から抽出された特徴点Ｃｈ１、Ｃｈ２の画像データをずれ量算出部６へ送り、ずれ量算出部６で特徴点Ｃｈ１、Ｃｈ２に基づいて画素ずれ量βを算出し、補正方法決定部７に送る。画素ずれ量βは、画面上における水平方向の画素ずれ量βｘと垂直方向の画素ずれ量βｙで構成されている。
メモリ１０は、画像入力部４で処理された基準位置画像および現在位置画像を記録する。
補正方法決定部７はさらに、特徴点Ｃｈ１、Ｃｈ２のずれ量によって、撮像装置１の画角傾斜を微調整するか否かを判定する。撮像画像の特徴点の水平方向の画素ずれ量βｘ、垂直方向の画素ずれ量βｙのいずれかの１つが微調整下限値Ｃ以上である場合は、撮像装置１の画角傾斜を微調整することを決定する。まず、画素ずれ量βによって必要な雲台機構２２のＰＡＮ雲台２０とＴＩＬＴ雲台２１（共に図２）との微調整量を算出して、ＰＡＮ雲台２０とＴＩＬＴ雲台２１が動いた後のズーム微調整量も算出し、算出したデジタルデータをＰＴＺ操作部８に送る。ＰＴＺ操作部８は、補正方法決定部７からの補正方法に従って、撮像装置１をＰＡＮ（パン）方向／ＴＩＬＴ（チルト）方向／ＺＯＯＭ（ズーム）方向に操作する。
水平方向の画素ずれ量βｘと垂直方向の画素ずれ量βｙとも微調整下限値Ｃより小さい場合には、画角の微調整をせず、後段のシステムに「画素ずれ量が微調整下限値Ｃより小さいため、画角微調整の必要なし」ということを表すメッセージを表示するための信号を送り、終了する。
図４は、本発明の実施の形態１に係る撮像装置１の動作を説明するフローチャートである。撮像装置の画角位置がずれた際の補正方法に関し、順を追って述べる。
まず、撮像装置１の設置時に、予め設定された時点で、メモリ１０に基準位置情報および画像情報の登録処理を行う。制御開始の指示を受付けると、現在位置情報の取得を実施する（ステップＳ１０１）。
次に、撮像装置１内に内蔵された傾き検知部５のジャイロセンサ等の角速度センサで、傾き角度の有無を検知する（ステップＳ１０２）。傾き角度が検知されない場合は、ステップＳ１０１に戻る。傾き角度が検知された場合は、ずれ量算出部６でジャイロセンサによる角度データを積分し、傾き角度αを算出する（ステップＳ１０３）。傾き角度はＸ軸、Ｙ軸、Ｚ軸それぞれについて求め、フロー処理を行う。
次に、補正方法決定部７がずれ量算出部６から送られた傾き角度αが、下限値Ａ以上か否かを判定する（ステップＳ１０４）。
ステップＳ１０４でＮＯとなった場合は、傾き角度αが下限値Ａより小さい場合である。この場合は、姿勢の傾きを補正する必要がなく、画角の微調整を実施するため、ステップＳ１０９に進む。
傾き角度αが下限値Ａ以上の場合は、更に傾き角度αが上限値Ｂ以下か否かを判定する（ステップＳ１０５）。
ステップＳ１０５でＮＯとなった場合、つまり、撮像装置の姿勢の傾き角度αが上限値Ｂより大きい場合は、撮像装置の姿勢の補正が不可能と判断し、補正を行わなかったことを後段のシステムに通知するとともに、画面上に補正を行わなかったことを示すためのマーキングを重畳させ（ステップＳ１０６）、終了する。後段のシステムでは「撮像装置が傾いたが、補正可能な角度より大きかったため補正を行わなかった」ことを知る結果となるため、ＰＴＺ動作を行わない。さらに、画角内に被写体を捉えられず監視不能となった場合でも、画面上に表示されるマーキングにより傾いた撮像装置がどれかを容易に特定できるため、傾き修復のための作業者を現地に向わせるなど、早期に対処することができる。
ステップＳ１０４で傾き角度αが下限値Ａ以上、かつ、ステップＳ１０５でαが上限値B以下である場合は、傾き補正が実施可能と判断し、ＰＡＮ雲台、ＴＩＬＴ雲台、およびズームレンズを動かす電気信号をＰＴＺ操作部８内の駆動回路に送り、ＰＴＺ操作を行う指示を出力する（ステップＳ１０７）。補正方法決定部７から送られてきた、撮像装置１の角度を傾いた前に戻すために必要なＰＡＮ雲台２０およびＴＩＬＴ雲台２１の動き量に関するデジタルデータに基づき、ＰＴＺ操作部８は、ＰＡＮ雲台２０およびＴＩＬＴ雲台２１を動かす駆動回路に電気信号を送り、撮像装置１の傾きを補正する。雲台機構２２を補正した後に、メモリ１０に記録された、撮像装置１の姿勢を傾いた前のレンズ機構２の位置を示すデジタルデータと、撮像装置１の姿勢が傾いた後のレンズ機構２の位置を示すデジタルデータとを比較し、撮像装置１の姿勢が傾いた前のズーム位置と同じとなるように、レンズ機構２の補正を行う（ステップＳ１０８）。
以上の動作で撮像装置の姿勢の傾きを補正する。次に、撮像画像の画角を補正するため、ステップＳ１０９に進み、画角の微調整を実施する。具体的には、傾き検知部５から撮像装置１に画角の微調整要否判定であるというイベント信号を生成し、特徴点抽出部９にこのイベント信号を送る。特徴点抽出部９では、このイベント信号を受けると、メモリ１０に記録されている基準位置画像を読出し、基準位置画像に基づいて基準画像特徴点Ｃｈ１を抽出するとともに、現在位置画像（現画像）に基づいて現画像特徴点Ｃｈ２を抽出し（ステップＳ１０９）、特徴点Ｃｈ１、Ｃｈ２の画像データをずれ量算出部６へ送る。
ずれ量算出部６では、特徴点Ｃｈ１、Ｃｈ２の比較（マッチング処理）を行い、画素ずれ量βを算出する（ステップＳ１１０）。
次に、補正方法決定部７では、ずれ量算出部６から送られたデータに基づき、撮像装置１の画角傾斜を微調整するか否かを判定する（ステップＳ１１１）。ステップＳ１１１でＮＯとなった場合は、すなわち、ずれ量（画素）βが微調整下限値Ｃより小さい場合は、画角の微調整を実施する必要がないと判断し、後段のシステムに微調整下限値未満で画角補正を行わなかったことを通知し（ステップＳ１１２）、終了する。
画素ずれ量βが微調整下限値Ｃ以上である場合は、画角微調整の指令を出力する（ステップＳ１１３）。雲台機構２２およびレンズ機構２のＰＴＺ操作を行い、画角の微調整を行う（ステップＳ１１４）。
ステップＳ１１４で画角傾斜を微調整した後、後段のシステムに画角補正完了を通知（ステップＳ１１５）して終了する。
実施の形態１の撮像装置では、以上のように構成され、また、動作するので、撮影領域のずれが大きい場合においても、ジャイロセンサなどにより検出された撮像装置の傾きを自動的に補正した後、画角傾斜を微調整して、撮影画像を効率よく、かつ、正確に得る効果を奏する。
実施の形態２
　実施の形態１では、撮像装置１は、定期的に姿勢の変化を観察して、傾きが検出されて画角の調整が必要と判定すると、自動的に撮像装置の姿勢の傾きを補正してから、画角の微調整を行うようにしていた。
実施の形態２に係る撮像装置では、撮像装置１は、傾きが検出された場合、実施の形態１のように姿勢の傾き補正から実施するか、あるいは、画角の微調整のみを行うかを、処理時間の短い補正方法を判定した上で選択することで実行する。
この実施の形態２に係る撮像装置の構成は、図１に示された実施の形態１に係る撮像装置の構成と同一であるため、説明を省略する。
　図５は、実施の形態２に係る撮像装置の動作を説明するフローチャートである。実施の形態２に係る撮像装置の補正方法に関して、順を追って述べる。
実施の形態１と同様に、撮像装置の設置時に、予め設定された時点で、メモリ１０に基準位置情報および画像情報の登録処理を行う。制御開始の指示を受付けると現在位置情報の取得を実施する（ステップＳ２０１）。
次に、撮像装置１に内蔵された傾き検知部５のジャイロセンサ等の角速度センサで、傾き角度の有無を検知する（ステップＳ２０２）。傾き角度が検知されない場合は、ステップＳ２０１に戻る。傾き角度が検知された場合は、ずれ量算出部６でジャイロセンサから得られた角速度（角度データの一形態）を積分し、傾き角度αを算出する（ステップＳ２０３）。かかる傾き角度はＸ軸、Ｙ軸、Ｚ軸それぞれについて求め、フロー処理を行う。
次に、補正方法決定部７がずれ量算出部６から送られた傾き角度αが下限値Ａ以上か否かを判定する（ステップＳ２０４）。
ステップＳ２０４でＮＯとなった場合、つまり、傾き角度αが下限値Ａより小さい場合は、姿勢の傾きを補正する必要はなく、ステップＳ２１２に進み、画角の微調整のみを実施する。以降は実施の形態１のステップＳ１０９以下の処理と同様である。
傾き角度αが下限値Ａ以上の場合は、さらに、傾き角度αが上限値Ｂ（例えば、Ｂ＝±９０度）以下か否かを判定する（ステップＳ２０５）。
ステップＳ２０５でＮＯとなった場合、つまり、撮像装置の姿勢の傾き角度αが上限値Ｂより大きい場合は、姿勢の傾きの補正が不可能と判断し、補正を行わなかったことを後段のシステムに通知するとともに、画面上に補正を行わなかったことを示すためのマーキングを重畳させ（ステップＳ２０６）、終了する。
ステップＳ２０４で傾き角度αが下限値Ａ以上、かつ、ステップＳ２０５で傾き角度αが上限値Ｂ以下である場合は、傾き補正が実施可能と判断し、傾き検知部５から撮像装置１に傾きが発生したというイベント信号を生成し、特徴点抽出部９にこのイベント信号を送る。特徴点抽出部９ではイベント信号を受けると、メモリ１０に記録してある基準位置画像を読出し、この基準位置画像に基づいて特徴点Ｃｈ１を抽出するとともに、現在位置画像（現画像）に基づいて特徴点Ｃｈ２を抽出し（ステップＳ２０７）、特徴点Ｃｈ１、Ｃｈ２の画像データをずれ量算出部６へ送る。例えば、現画像が大きくずれて、特徴点Ｃｈ２の抽出が不可能な信号も同時にずれ量算出部６へ送る。
ずれ量算出部６では、特徴点Ｃｈ１、Ｃｈ２の比較（マッチング処理）を行い、画素ずれ量βを算出する（ステップＳ２０８）。
補正方法決定部７が、ずれ量算出部６から送られた傾き角度αおよび画素ずれ量βにより補正方法を判定する（ステップＳ２０９）。
図６にステップＳ２０９の処理工程のフローチャートを示す。ステップＳ２０９において、傾き角度αを補正してから、画角の微調整を実施する場合のＰＴＺ操作軌道および補正動作に必要な時間を算出し（ステップＳ２１９）、画素ずれ量βのみ補正する場合のＰＴＺ操作軌道および補正動作に必要な時間も算出する（ステップＳ２２９）。両者の補正時間を比較し、より効率的な補正方法を判定する（ステップＳ２３９）。
撮像装置の傾き角度の補正から実施する方が、補正時間が短いと判定された場合、あるいは、傾きが大きくて特徴点Ｃｈ２の抽出が不可能な場合は、ステップＳ２１０において傾き角度を補正した後、再度特徴点を抽出して画角の微調整を実施する。傾き角度の補正が必要でなく、画角の微調整のみの方が、補正時間が短いと判定された場合は、ステップＳ２１４に進む。
ステップＳ２１０では、補正方法決定部７が、撮像装置１の角度を傾いた前に戻す指令を出力する。ここからは実施の形態１のステップＳ１０７からのフローチャートと同様である。
ＰＴＺ操作部８は、補正方法決定部７から送られてきた、撮像装置１の角度を傾いた前に戻すために必要なＰＡＮ雲台２０、ＴＩＬＴ雲台２１の動き量に関するデジタルデータに基づき、ＰＡＮ雲台２０、ＴＩＬＴ雲台２１を動かすＰＴＺ操作部８内の駆動回路に電気信号を送り、撮像装置１の傾きを補正する。雲台機構２２を補正した後に、メモリ１０に記録された、撮像装置１の姿勢を傾いた前のレンズ機構２の位置を示すデジタルデータと、撮像装置１の姿勢が傾いた後のレンズ機構２の位置を示すデジタルデータとを比較し、撮像装置１の姿勢が傾いた前のズーム位置と同じとなるように、レンズ機構２の補正を行う（ステップＳ２１１）。　
以上の動作で姿勢の傾きを補正する。次に、撮像画像の画角を補正するため、ステップＳ２１２に進み、画角の微調整を実施する。具体的には、傾き検知部５から撮像装置に画角の微調整要否判定というイベント信号を生成し、特徴点抽出部９にこのイベント信号を送る。特徴点抽出部９では、このイベント信号を受けると、傾き角度を補正した後の画像、すなわち、現在撮像中の最新画像により新特徴点Ｃｈ３を抽出し（ステップＳ２１２）、Ｃｈ３の画像データをずれ量算出部６へ送る。
ずれ量算出部６では、すでに送られた基準位置画像の特徴点Ｃｈ１と最新画像の新特徴点Ｃｈ３との比較（マッチング処理）を行い、画素ずれ量β′を算出する（ステップＳ２１３）。
次に、補正方法決定部７では、ずれ量算出部６から送られたデータに基づき、撮像装置１の画角傾斜を微調整するか否かを判定する（ステップＳ２１４）。ステップＳ２１４でＮＯとなった場合は、画素ずれ量β′が微調整下限値Ｃより小さい場合である。この場合は、画角の微調整を実施する必要がないと判断し、後段のシステムに微調整下限値未満で画角の微調整を行わなかったことを通知し（ステップＳ２１５）、終了する。
画素ずれ量β′が微調整下限値Ｃ以上である場合には、画角の微調整指示を出力する（ステップＳ２１６）。雲台機構２２、レンズ機構２のＰＴＺ操作を行い、画角の微調整を行う（ステップＳ２１７）。
ステップＳ２１７で画角傾斜を微調整した後、後段のシステムに画角補正完了を通知（ステップＳ２１８）して終了する。
一方、ステップＳ２０９で、画角の微調整のみを実施する補正時間の方がより短く、傾き角度から補正する必要がないと判定する場合は、ステップＳ２１０～ステップＳ２１３を実行せず、ステップＳ２１４から実行する。
補正方法決定部７では、ステップS２０８ですでに算出されたずれ量（画素）βを微調整下限値Ｃに比較して（ステップＳ２１４）、画角の微調整の可否を判定する。その後のステップＳ２１４からステップＳ２１８は実施の形態１と同様であるため、詳細な説明を省略する。
実施の形態２に係る撮像装置では、以上のように構成され、また動作するので、実施の形態１に係る撮像装置と同様に、自動的に角度センサなどにより撮影領域の傾きを検出して補正するが、実施の形態１における自動的に撮像装置の傾き角度を補正してから画角傾斜を微調整する場合と異なり、傾き角度と同時に画素ずれ量も算出して比較し、効率の良い補正方法を判定する。それにより、撮像装置の傾き量により、傾き角度を補正してから画角傾斜を微調整するか、画素ずれ量により画角の微調整のみを実施するか、補正時間の短い補正方法を判定して実施できるため、より効率よく、かつ、高精度に撮影画像を得ることができる。
なお、実施の形態１と実施の形態２では、傾き検知部５はジャイロセンサで構成される例を示したが、この限りではなく、例えば加速度センサを使用してもよい。加速度センサを使用した場合、１軸から３軸方向の加速度の計測データ（角度データの一形態）により、撮像装置の傾き角度を算出することができる。
あるいは、ジャイロセンサと加速度センサ両方を使用してもよい。その場合、ＨＰＦ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）との組合せでより高精度に撮像装置の傾きを検出することができる。
　１　撮像装置、１a　撮像装置制御部、２　レンズ機構、３　撮像部、４　画像入力部、５　傾き検知部、　６　ずれ量算出部、７　補正方法決定部、８　ＰＴＺ操作部、９　特徴点抽出部、１０　メモリ、２０　ＰＡＮ雲台、２１　ＴＩＬＴ雲台、２２　雲台機構、３０ａ　Ｘ軸回り回転角、　３０ｂ　Ｙ軸回り回転角、３０ｃ　Ｚ軸回り回転角

Claims (6)

  1. 雲台機構と、
    レンズ機構と、
    前記レンズ機構から送られた画像をアナログ－デジタル変換する撮像部と、前記撮像部から送られたデジタル信号を画像処理する画像入力部と、前記画像入力部で処理された画像を記録するメモリと、基準位置からの傾きを検知して角度データとして出力する傾き検知部と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部と、前記角度データに基づき傾き角度を算出し、前記特徴点に基づき画素ずれ量を算出するずれ量算出部と、前記傾き角度が角度補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、前記傾き角度を補正してから、画角傾斜を微調整する補正を指令し、前記傾き角度が前記下限値未満である場合には、前記画角傾斜を微調整する補正を指令する補正方法決定部と、前記補正方法決定部の指令に基づき、前記雲台機構と前記レンズ機構を制御するパンチルトズーム操作部と、を有する制御部と、
    を備える撮像装置。
  2. 雲台機構と、
    レンズ機構と、
    前記レンズ機構から送られた画像をアナログ－デジタル変換する撮像部と、前記撮像部から送られたデジタル信号を画像処理する画像入力部と、前記画像入力部で処理された画像を記録するメモリと、基準位置からの傾きを検知して角度データとして出力する傾き検知部と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部と、前記角度データに基づき傾き角度を算出し、前記特徴点に基づき画素ずれ量を算出するずれ量算出部と、前記傾き角度が角度補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、前記傾き角度を補正してから画角傾斜を微調整する補正を実行するのに要する処理時間と、前記画角傾斜を微調整する補正のみを実行するのに要する処理時間を比較して処理時間の短い補正方法を選択するように指令し、前記傾き角度が前記下限値未満である場合には、前記画角傾斜を微調整する補正を指令する補正方法決定部と、前記補正方法決定部の指令に基づき、前記雲台機構と前記レンズ機構を制御するパンチルトズーム操作部と、を有する制御部と、
    を備える撮像装置。
  3. 前記補正方法決定部は、前記傾き角度が前記上限値より大きい場合は、前記画像入力部にて画面上にマーキングを表示させることを特徴とする請求項１または２に記載の撮像装置。
  4. 前記補正方法決定部は、前記画素ずれ量が微調整下限値未満の場合は、前記画像入力部にて画面上に前記画素ずれ量が前記微調整下限値未満であることを表すメッセージと表示させることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
  5. 前記傾き検知部は、基準位置に対するＸ軸、Ｙ軸、Ｚ軸方向の傾きをそれぞれ検知することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
  6. 前記傾き検知部は、ジャイロセンサ、あるいは加速度センサで構成されることを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
PCT/JP2018/026687 2018-07-17 2018-07-17 撮像装置 WO2020016921A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/026687 WO2020016921A1 (ja) 2018-07-17 2018-07-17 撮像装置
US17/254,871 US11153497B2 (en) 2018-07-17 2018-07-17 Image capturing device
JP2020530754A JP7130041B2 (ja) 2018-07-17 2018-07-17 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026687 WO2020016921A1 (ja) 2018-07-17 2018-07-17 撮像装置

Publications (1)

Publication Number Publication Date
WO2020016921A1 true WO2020016921A1 (ja) 2020-01-23

Family

ID=69164811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026687 WO2020016921A1 (ja) 2018-07-17 2018-07-17 撮像装置

Country Status (3)

Country Link
US (1) US11153497B2 (ja)
JP (1) JP7130041B2 (ja)
WO (1) WO2020016921A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656719B1 (ko) * 2023-11-15 2024-04-09 (주)한국아이티에스 Ｄｄ모터를 이용한 침입 감지 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227807A (ja) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp 画像スタビライザ
WO2009008174A1 (ja) * 2007-07-12 2009-01-15 Panasonic Corporation 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および、画像処理プロセッサ
JP2014022841A (ja) * 2012-07-13 2014-02-03 Canon Inc 設置型カメラ装置及び設置型カメラ装置の制御方法
JP2017102138A (ja) * 2015-11-30 2017-06-08 株式会社プロドローン 水平位置調節装置付き三脚
JP2017143417A (ja) * 2016-02-10 2017-08-17 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4990056B2 (ja) * 2007-07-27 2012-08-01 株式会社リコー 撮像装置とその制御方法
US8471915B2 (en) * 2009-04-16 2013-06-25 Raytheon Company Self-correcting adaptive long-stare electro-optical system
JP6519805B2 (ja) 2016-05-13 2019-05-29 パナソニックＩｐマネジメント株式会社 カメラシステム及びカメラ装置
JP6737528B2 (ja) 2016-06-13 2020-08-12 三菱電機株式会社 監視カメラ制御装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227807A (ja) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp 画像スタビライザ
WO2009008174A1 (ja) * 2007-07-12 2009-01-15 Panasonic Corporation 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および、画像処理プロセッサ
JP2014022841A (ja) * 2012-07-13 2014-02-03 Canon Inc 設置型カメラ装置及び設置型カメラ装置の制御方法
JP2017102138A (ja) * 2015-11-30 2017-06-08 株式会社プロドローン 水平位置調節装置付き三脚
JP2017143417A (ja) * 2016-02-10 2017-08-17 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656719B1 (ko) * 2023-11-15 2024-04-09 (주)한국아이티에스 Ｄｄ모터를 이용한 침입 감지 시스템

Also Published As

Publication number Publication date
JPWO2020016921A1 (ja) 2021-03-11
JP7130041B2 (ja) 2022-09-02
US20210185236A1 (en) 2021-06-17
US11153497B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
JP4942185B2 (ja) 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
US9497388B2 (en) Zooming factor computation
US10356301B2 (en) Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program
US8164626B2 (en) Monitoring camera device
CN103176332A (zh) 图像稳定设备及其控制方法、光学设备和摄像设备
CN102957862A (zh) 摄像设备和摄像设备的控制方法
JP2016224204A (ja) ブレ補正装置、光学機器、撮像装置、ブレ補正方法
JP6671982B2 (ja) 撮像装置
TW201636959A (zh) 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置
JP5183152B2 (ja) 画像処理装置
EP2237552B1 (en) Autofocus system
US11956537B2 (en) Location positioning device for moving body and location positioning method for moving body
CN110351475B (zh) 摄像系统、信息处理设备及其控制方法和存储介质
WO2020016921A1 (ja) 撮像装置
JP2007089042A (ja) 撮像装置
JP2014191017A (ja) 撮像装置及びその制御方法
KR102482341B1 (ko) 차량 단속영역좌표 자동 보정 시스템
US10863092B2 (en) Imaging device and method for correcting shake of captured image
KR101629221B1 (ko) Gps센서와 전자 나침반을 이용한 카메라 위치 판별 및 영점 고정 시스템
JP2011182253A (ja) 撮像装置及び撮像方法
JP4517813B2 (ja) パンニング撮影可能なカメラおよび動画像編集用プログラム
US10986272B2 (en) Image capturing device and captured image display method
KR102333760B1 (ko) 지능형 영상 관제 방법 및 그 서버
KR100872403B1 (ko) 고정형 카메라를 이용하여 ｐｔｚ 카메라를 제어하는 감시시스템
JP5083293B2 (ja) 監視テレビカメラシステム及び監視テレビカメラの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530754

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927200

Country of ref document: EP

Kind code of ref document: A1