JP7301542B2 - Imaging device and its control method - Google Patents

Imaging device and its control method Download PDF

Info

Publication number
JP7301542B2
JP7301542B2 JP2019007781A JP2019007781A JP7301542B2 JP 7301542 B2 JP7301542 B2 JP 7301542B2 JP 2019007781 A JP2019007781 A JP 2019007781A JP 2019007781 A JP2019007781 A JP 2019007781A JP 7301542 B2 JP7301542 B2 JP 7301542B2
Authority
JP
Japan
Prior art keywords
image
imaging
correction
point
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019007781A
Other languages
Japanese (ja)
Other versions
JP2020118758A (en
Inventor
悦也 高見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019007781A priority Critical patent/JP7301542B2/en
Publication of JP2020118758A publication Critical patent/JP2020118758A/en
Application granted granted Critical
Publication of JP7301542B2 publication Critical patent/JP7301542B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an imaging device and its control method.

バスや電車や船舶等の公共交通機関等に設置される撮像装置として、ネットワークカメラが提案されている。ネットワークカメラは、公共交通機関等に設置されることで、光学防振や電子防振では除去できない大きな振幅を持つ振れが生じることがある。したがって、被写体を撮影する撮像部に加わる振れに応じて、撮像部を水平方向または垂直方向に回転駆動させることで、撮像画像に係る像ブレを補正する像ブレ補正（以下、「パン・チルト防振」と記述）が必要となる。 2. Description of the Related Art Network cameras have been proposed as imaging devices installed in public transportation such as buses, trains, and ships. When network cameras are installed in public transportation facilities, etc., shakes with large amplitudes that cannot be eliminated by optical image stabilization or electronic image stabilization may occur. Therefore, image blur correction (hereinafter referred to as “pan/tilt prevention”) corrects image blurring in a captured image by rotating the image capturing unit in the horizontal or vertical direction according to the shake applied to the image capturing unit that captures the subject. described as “vibration”) is required.

撮像部の振れは、シフト方向の揺れも伴うので、パン・チルト防振によって撮影点と被写体の位置とに応じた撮影角度が変化する。したがって、撮像部の基準となる撮影位置（振れの中心）を示す基準撮影点以外の撮影点から被写体を撮影すると、基準撮影点で撮影した被写体に比べて、被写体のあおり（形状変化）が生じてしまう。また、大きな振れにより生じる像ブレをパン・チルト防振で補正する場合は、撮影点と被写体との距離（撮影距離）が変化する。したがって、基準撮影点以外の撮影点からの撮影では、基準撮影点からの撮影に比べて、被写体の大きさの変化（倍率変化）の変化を生じてしまう。その結果、被写体の形状変化や倍率変化の影響により、プライバシーマスクに係る所定の領域や、圧縮伸張率を任意に設定するための所定の指定領域がズレる。また、顔検出や人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の、所定の画像解析の精度が劣化する。 Since the shake of the imaging unit is accompanied by the shake in the shift direction, the pan/tilt image stabilization changes the shooting angle according to the shooting point and the position of the subject. Therefore, if the subject is shot from a shooting point other than the reference shooting point that indicates the shooting position (the center of the shake) that serves as the reference for the imaging unit, the subject will tilt (change in shape) compared to the subject shot at the reference shooting point. end up Further, in the case of correcting image blur caused by large shake by pan/tilt image stabilization, the distance (shooting distance) between the shooting point and the subject changes. Therefore, photographing from a photographing point other than the reference photographing point causes a change in the size of the subject (magnification change) as compared with photographing from the reference photographing point. As a result, the predetermined area related to the privacy mask and the predetermined designated area for arbitrarily setting the compression/expansion rate are shifted due to the influence of the subject's shape change and magnification change. In addition, the accuracy of predetermined image analysis such as face detection, person detection, moving object detection, passage detection, congestion detection, trajectory detection, abandoned/taken away detection, etc., deteriorates.

特許文献１は、焦点距離に応じて、回転方向およびあおり方向の像ブレの補正を制限し、並進方向の像ブレ補正量を大きくする撮像装置を開示している。また、特許文献２は、幾何変形画像と幾何変形処理を受けていない画像との間での動きベクトルに基づいて算出される防振パラメータを用いて画像の変形処理を行う撮像装置を開示している。 Japanese Patent Application Laid-Open No. 2002-200301 discloses an imaging device that limits the correction of image blur in the rotation direction and the tilt direction according to the focal length, and increases the amount of image blur correction in the translation direction. Further, Patent Literature 2 discloses an imaging apparatus that performs image deformation processing using image stabilization parameters calculated based on motion vectors between a geometrically deformed image and an image that has not undergone geometric deformation processing. there is

特開２０１４－１２８０１４号公報JP 2014-128014 A 特開２０１２－１２４９３９号公報JP 2012-124939 A

パン・チルト防振においては、通常の手ぶれ補正等に比べて、撮影点の移動（変位）が大きいので、撮影点と被写体の角度、および撮影点と被写体の距離は大きく変化する。したがって、被写体の形状または大きさが大きく変化する場合がある。このため、撮像画像内の注視領域によって、被写体のあおり（形状変化）や大きさの変化（倍率変化）を補正する量も異なる。注視領域は、所定の指定領域または所定の画像解析に係る検出領域である。特許文献１、特許文献２が開示するいずれの撮像装置によっても、パン・チルト防振により生じる、注視領域に応じた被写体のあおり（形状変化）や大きさの変化（倍率変化）を効果的に補正することはできない。本発明は、パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正する撮像装置の提供を目的とする。 In pan/tilt image stabilization, the movement (displacement) of the shooting point is greater than in normal image stabilization or the like, so the angle between the shooting point and the subject and the distance between the shooting point and the subject change greatly. Therefore, the shape or size of the subject may change significantly. Therefore, the amount of correction for tilt (change in shape) and change in size (change in magnification) of the subject also differs depending on the region of interest in the captured image. The region of interest is a predetermined designated region or a detection region related to predetermined image analysis. Both of the imaging apparatuses disclosed in Patent Document 1 and Patent Document 2 effectively reduce the tilt (shape change) and size change (magnification change) of the subject according to the region of interest caused by the pan/tilt image stabilization. It cannot be corrected. SUMMARY OF THE INVENTION It is an object of the present invention to provide an imaging apparatus that effectively corrects changes in the shape and magnification of a subject according to an area of interest caused by pan/tilt image stabilization.

本発明の一実施形態の撮像装置は、被写体を撮影して撮像画像を出力する撮像手段と、前記撮像手段を駆動して、撮像方向を変更する駆動手段と、前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する補正制御手段と、前記撮像画像における複数の注視領域と、各々の前記注視領域に対する画像補正処理の基準となる補正点を決定する決定手段と、複数の前記補正点に対して重み付けを行い、前記補正点の重心を求め、求めた前記重心を補正点とし、撮影点と求めた前記重心である補正点とに応じて決まり、現在の撮影点からの撮影における撮影角度と、撮影点と求めた前記重心である補正点とに応じて決まり、基準撮影点からの撮影における撮影角度との差と、基準撮影点からの撮影と現在の撮影点からの撮影との間の倍率比とを撮像情報として算出する算出手段と、前記算出された撮像情報に基づいて、前記注視領域に対して画像補正処理を行う画像補正手段と、を備える。 An imaging apparatus according to an embodiment of the present invention comprises imaging means for capturing an image of a subject and outputting a captured image, driving means for driving the imaging means to change the imaging direction, and controlling the driving means, Correction control means for correcting image blur associated with the captured image caused by vibration applied to the imaging means, a plurality of attention areas in the captured image, and determination of correction points serving as a reference for image correction processing for each of the attention areas determining means for weighting a plurality of the correction points, determining the center of gravity of the correction points, setting the determined center of gravity as the correction point, and determining according to the shooting point and the correction point that is the determined center of gravity , is determined according to the shooting angle in shooting from the current shooting point, the shooting point and the correction point that is the center of gravity obtained above, and the difference between the shooting angle in shooting from the reference shooting point and the shooting from the reference shooting point Calculation means for calculating, as imaging information, a magnification ratio between the current imaging point and the imaging from the current imaging point; and image correction means for performing image correction processing on the region of interest based on the calculated imaging information. , provided.

本発明の撮像装置によれば、パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正することができる。 According to the image pickup apparatus of the present invention, it is possible to effectively correct changes in the shape and magnification of the subject according to the region of interest caused by pan/tilt image stabilization.

撮像装置の構成例を示す図である。It is a figure which shows the structural example of an imaging device. 画像補正処理を説明するフローチャートである。4 is a flowchart for explaining image correction processing; 画像補正処理を説明するフローチャートである。4 is a flowchart for explaining image correction processing; 画像補正処理を説明するフローチャートである。4 is a flowchart for explaining image correction processing; 注視領域と補正点の一例を説明する図である。FIG. 4 is a diagram illustrating an example of a gaze area and correction points; 図２のＳ２０６の処理を説明する図である。FIG. 3 is a diagram for explaining the processing of S206 in FIG. 2; 画像の切り出し領域を説明する図である。FIG. 4 is a diagram for explaining an image clipping region; 重み付けテーブルの一例を示す図である。It is a figure which shows an example of a weighting table.

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置１００は、公共交通機関等に設置されるネットワークカメラである。本発明は、ネットワークカメラ以外の、動画像を撮像する機能を備えた様々な機器に適用することができる。本発明は、例えば、ビデオカメラやスチルカメラ、撮像機能を備えた携帯電話、携帯情報端末等に適用可能である。 (Example 1)
FIG. 1 is a diagram showing a configuration example of an imaging apparatus according to this embodiment.
An imaging device 100 shown in FIG. 1 is a network camera installed in public transportation or the like. INDUSTRIAL APPLICABILITY The present invention can be applied to various devices other than network cameras that have a function of capturing moving images. The present invention can be applied to, for example, video cameras, still cameras, mobile phones with imaging functions, personal digital assistants, and the like.

撮像装置１００は、ＣＰＵ１０１乃至圧縮伸長部１２０を備える。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置であって、撮像装置１００全体を制御する。ＣＰＵ１０１は、振動情報解析部１０１－１、注視領域算出部１０１－２、撮像情報算出部１０１－３、パン・チルト防振制御部１０１－４、画像補正制御部１０１－５、制御部１０１－６を備える。 The imaging device 100 includes a CPU 101 through a compression/decompression unit 120 . A CPU (Central Processing Unit) 101 is a central processing unit and controls the imaging apparatus 100 as a whole. The CPU 101 includes a vibration information analysis unit 101-1, a gaze area calculation unit 101-2, an imaging information calculation unit 101-3, a pan/tilt image stabilization control unit 101-4, an image correction control unit 101-5, and a control unit 101-. 6.

制御部１０１－６は、ＣＰＵ１０１全体を制御する。振動情報解析部１０１－１は、ジャイロセンサ１１３から取得された撮像部１０２の振動情報（角速度情報）を解析して、撮像部１０２の振動波形を求める。パン・チルト防振制御部１０１－４は、振動情報解析部１０１－１によって求められた撮像部１０２の振動波形に基づき、アクチュエータ１１１を介して雲台１１０を制御する。 The control unit 101-6 controls the CPU 101 as a whole. The vibration information analysis unit 101-1 analyzes the vibration information (angular velocity information) of the imaging unit 102 acquired from the gyro sensor 113 and obtains the vibration waveform of the imaging unit 102. FIG. The pan/tilt image stabilization control unit 101-4 controls the camera platform 110 via the actuator 111 based on the vibration waveform of the imaging unit 102 obtained by the vibration information analysis unit 101-1.

注視領域算出部１０１－２は、注視領域を算出（決定）する。注視領域は、プライバーマスク等の処理や圧縮データの生成処理に係る所定の指定領域、または顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の画像解析に係る検出領域のうちから決定される。撮像情報算出部１０１－３は、注視領域に対する画像補正処理の基準となる位置を示す補正点に基づいて、所定の撮像情報（例えば、後述する撮影角度の差）を算出する。画像補正制御部１０１－５は、撮像情報算出部１０１－３によって算出された撮像情報に基づいて、注視領域に対する画像補正処理に必要な情報（例えば、後述する画像の切り出し領域と幾何変換係数）を算出する。画像補正制御部１０１－５は、算出した情報を画像補正部１１８に通知する。 The gaze area calculation unit 101-2 calculates (determines) the gaze area. The gaze area is a predetermined designated area related to privacy mask processing and compressed data generation processing, or image analysis such as face detection, person detection, moving body detection, passage detection, congestion detection, trajectory detection, abandoned/removed detection, etc. is determined from among the detection areas associated with The imaging information calculation unit 101-3 calculates predetermined imaging information (for example, a difference in imaging angles to be described later) based on a correction point indicating a reference position for image correction processing with respect to the region of interest. The image correction control unit 101-5 provides information necessary for image correction processing for the region of interest (for example, an image clipping region and geometric conversion coefficients, which will be described later), based on the imaging information calculated by the imaging information calculation unit 101-3. Calculate The image correction control unit 101-5 notifies the image correction unit 118 of the calculated information.

撮像部１０２は、被写体を撮影して撮像画像を出力する。撮像部１０２は、ズームレンズ１０２－１、フォーカスレンズ１０２－２、絞り１０２―３、およびイメージセンサ等を有する撮像素子１０２－４を備える。ズームレンズ１０２－１は、レンズ制御部１０８により、光軸に沿って駆動する。フォーカスレンズ１０２－２は、レンズ制御部１０８により、光軸に沿って駆動する。絞り１０２－３は、レンズ制御部１０８により駆動されて動作する。また、レンズ制御部１０８は、制御部１０１－６によって制御される。 The image capturing unit 102 captures a subject and outputs a captured image. The imaging unit 102 includes a zoom lens 102-1, a focus lens 102-2, an aperture 102-3, and an imaging element 102-4 having an image sensor or the like. The zoom lens 102-1 is driven along the optical axis by the lens controller 108. FIG. The focus lens 102-2 is driven along the optical axis by the lens control unit 108. FIG. The diaphragm 102-3 is driven and operated by the lens control unit 108. FIG. Also, the lens control unit 108 is controlled by the control unit 101-6.

雲台１１０は、パン駆動部とチルト駆動部とを有する。パン駆動部は、ボトムケースとターンテーブルとを有し、ターンテーブルが水平方向に回転することで、撮像部１０２を水平方向に回転駆動（パンニング）する。パン駆動部は、水平方向に－１７５度から＋１７５度まで回転することができる。チルト駆動部は、ターンテーブルの上に備えられた支柱と撮像部１０２とを有し、撮像部１０２を垂直方向に回転駆動（チルティング）する。チルト駆動部は、水平方向０度から真上方向９０度まで回転することができる。アクチュエータ１１１は、バス１０６を介したＣＰＵ１０１の制御にしたがって、雲台１１０を制御する。アクチュエータ１１１の制御にしたがって、雲台１１０が有するパン駆動部とチルト駆動部が、撮像部１０２を水平方向または垂直方向に回転駆動する。これにより、撮像部１０２が、撮像方向を変更して撮影することができる。また、前述したパン・チルト防振制御部１０１－４は、撮像部１０２に加わる振れに応じた雲台１１０の制御により、撮像部１０２を水平方向または垂直方向に回転駆動して、撮像画像に係る像ブレを補正（パン・チルト防振）する補正制御手段として機能する。 The camera platform 110 has a pan drive section and a tilt drive section. The pan drive unit has a bottom case and a turntable, and rotates (pans) the imaging unit 102 in the horizontal direction by rotating the turntable in the horizontal direction. The pan drive can rotate horizontally from -175 degrees to +175 degrees. The tilt driving unit has a support provided on the turntable and the imaging unit 102, and rotates (tilts) the imaging unit 102 in the vertical direction. The tilt drive can rotate from 0 degrees in the horizontal direction to 90 degrees in the vertical direction. Actuator 111 controls camera platform 110 under the control of CPU 101 via bus 106 . Under the control of the actuator 111, the pan drive section and the tilt drive section of the camera platform 110 rotationally drive the imaging section 102 in the horizontal direction or the vertical direction. This allows the imaging unit 102 to change the imaging direction and perform imaging. In addition, the above-described pan/tilt image stabilization control unit 101-4 rotates the imaging unit 102 in the horizontal direction or the vertical direction by controlling the camera platform 110 in accordance with the vibration applied to the imaging unit 102, thereby producing a captured image. It functions as correction control means for correcting such image blurring (pan/tilt anti-vibration).

ジャイロセンサ１１３は、撮像部１０２のパンニング方向（水平方向）およびチルティング方向（垂直方向）の角速度を検出する。検出した角速度情報は、撮像部１０２に加わる振れに対応する。角速度情報は、バス１０６を介してＣＰＵ１０１によって取得され、パン・チルト防振に用いられる。撮像素子１０２－４は、ズームレンズ１０２－１、フォーカスレンズ１０２－２、および絞り１０２－３を通過した被写体光を光電変換して、撮像画像に係るアナログ画像信号を生成する。生成されたアナログ画像信号は、相関二重サンプリング等のサンプリング処理による増幅処理が施された後、Ａ／Ｄ変換部１０３に出力される。増幅処理に用いられるパラメータは、ＣＰＵ１０１によって制御される。 The gyro sensor 113 detects angular velocities of the imaging unit 102 in the panning direction (horizontal direction) and tilting direction (vertical direction). The detected angular velocity information corresponds to the vibration applied to the imaging unit 102 . The angular velocity information is acquired by the CPU 101 via the bus 106 and used for pan/tilt image stabilization. The imaging element 102-4 photoelectrically converts subject light that has passed through the zoom lens 102-1, focus lens 102-2, and diaphragm 102-3 to generate an analog image signal of the captured image. The generated analog image signal is subjected to amplification processing by sampling processing such as correlated double sampling, and then output to the A/D conversion unit 103 . Parameters used for the amplification process are controlled by the CPU 101 .

Ａ／Ｄ変換部１０３は、増幅されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０３は、変換によって得られたデジタル画像信号を画像入力コントローラ１０４に出力する。画像入力コントローラ１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル画像信号を取り込み、画像信号処理部１０５に出力する。画像信号処理部１０５は、画像入力コントローラ１０４から入力されたデジタル画像信号に対して、撮像素子１０２－４から出力される撮像時の感度情報に基づいて、各種デジタル画像処理を施す。感度情報は、例えば、ＡＧＣ（自動利得制御）ゲインまたはＩＳＯ（国際標準化機構）感度である。デジタル画像処理が施された画像は、バス１０６を介してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０７に格納される。デジタル画像処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。また、画像信号処理部１０５は、画像の所定の指定領域にマスク処理を施すプライバーマスク等の処理を実行する。 The A/D converter 103 converts the amplified analog image signal into a digital image signal. The A/D converter 103 outputs the digital image signal obtained by conversion to the image input controller 104 . The image input controller 104 takes in the digital image signal output from the A/D converter 103 and outputs it to the image signal processor 105 . The image signal processing unit 105 performs various digital image processing on the digital image signal input from the image input controller 104 based on the sensitivity information at the time of imaging output from the image sensor 102-4. The sensitivity information is, for example, AGC (Automatic Gain Control) gain or ISO (International Organization for Standardization) sensitivity. An image that has undergone digital image processing is stored in a RAM (Random Access Memory) 107 via a bus 106 . Digital image processing includes, for example, offset processing, gamma correction processing, gain processing, RGB interpolation processing, noise reduction processing, contour correction processing, color tone correction processing, and light source type determination processing. In addition, the image signal processing unit 105 performs processing such as a privacy mask for performing mask processing on a predetermined designated region of the image.

ＲＡＭ１０７は、ＳＲＡＭやＤＲＡＭ等の揮発性メモリである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０９は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。記憶装置１１２はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ｅＭＭＣ（組み込み用のマルチメディアカード）等の記憶装置である。撮像装置１００の機能を実現するためのプログラムや、当該プログラムが実行される際に用いられるデータは、ＲＯＭ１０９または記憶装置１１２に予め格納される。これらのプログラムやデータは、ＣＰＵ１０１による制御のもと、バス１０６を介して適宜ＲＡＭ１０７に取り込まれ、ＣＰＵ１０１によって実行される。 A RAM 107 is a volatile memory such as SRAM or DRAM. A ROM (Read Only Memory) 109 is a non-volatile memory such as an EEPROM or flash memory. The storage device 112 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or an eMMC (embedded multimedia card). A program for realizing the functions of the imaging apparatus 100 and data used when the program is executed are stored in advance in the ROM 109 or the storage device 112 . These programs and data are appropriately loaded into RAM 107 via bus 106 and executed by CPU 101 under the control of CPU 101 .

Ｉ／Ｆ１１４は入出力に係る各種インタフェースである。Ｉ／Ｆ１１４は、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、タッチパネル、キーボードやポインティングデバイス（例えばマウス）等の入力装置１１５と接続し、指示情報を受信する。そして、Ｉ／Ｆ１１４は、受信した指示情報を、バス１０６を介して、ＣＰＵ１０１に通知する。また、Ｉ／Ｆ１１４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａ Ｄｉｓｐｌａｙ）等の表示装置１１６と接続し、ＲＡＭ１０７に一時的に記録された画像や操作メニュー等の情報を表示する。Ｉ／Ｆ１１４は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してネットワーク１２１と接続する。 The I/F 114 is various interfaces related to input/output. The I/F 114 is connected to an input device 115 such as an operation key including a release switch and a power switch, a cross key, a joystick, a touch panel, a keyboard, and a pointing device (for example, a mouse) to receive instruction information. I/F 114 notifies CPU 101 of the received instruction information via bus 106 . The I/F 114 is also connected to a display device 116 such as an LCD (Liquid Crystal Display), and displays information such as images temporarily recorded in the RAM 107 and operation menus. The I/F 114 connects with the network 121 via a LAN (Local Area Network).

画像補正部１１８は、画像補正制御部１０１－５から通知された情報に基づいて、注視領域に対して画像補正処理を行う。これにより、パン・チルト防振によって生じる被写体のあおり（形状変化）や大きさの変化（倍率変化）が補正される。具体的には、画像補正部１１８は、画像の幾何変形処理を行う。 The image correction unit 118 performs image correction processing on the gaze area based on the information notified from the image correction control unit 101-5. As a result, the tilt (shape change) and size change (magnification change) of the object caused by the pan/tilt image stabilization are corrected. Specifically, the image correction unit 118 performs geometric deformation processing on the image.

画像解析部１１９は、所定の検出領域を対象に、顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の画像解析を行う。画像解析結果は、バス１０６を介してＣＰＵ１０１に通知される。圧縮伸長部１２０は、ＣＰＵ１０１の制御にしたがい、画像に圧縮処理を施して圧縮データを生成する。圧縮伸長部１２０は、所定の指定領域の圧縮率を変えて、圧縮データを生成する機能を有する。圧縮データは、Ｉ／Ｆ１１４を介して、表示装置１１６やネットワーク１２１に出力される。また、圧縮伸長部１２０は、記憶装置１１２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。圧縮伸長部１２０は、静止画像に対しては、ＪＰＥＧ規格に準拠した圧縮方式を、動画像に対しては、ＭＯＴＩＯＩＮ－ＪＰＥＧやＭＰＥＧ２、ＡＶＣ／Ｈ．２６４、ＡＶＣ／Ｈ．２６５の規格に準拠した圧縮伸長を行う。 The image analysis unit 119 performs image analysis such as face detection, person detection, moving object detection, passage detection, congestion detection, trajectory detection, abandoned/taken away detection, etc. for a predetermined detection area. The image analysis result is notified to the CPU 101 via the bus 106 . The compression/decompression unit 120 performs compression processing on an image to generate compressed data under the control of the CPU 101 . The compression/decompression unit 120 has a function of changing the compression rate of a predetermined specified area and generating compressed data. The compressed data is output to display device 116 and network 121 via I/F 114 . Further, the compression/decompression unit 120 performs decompression processing in a predetermined format on the compressed data stored in the storage device 112 to generate non-compressed data. The compression/decompression unit 120 applies compression methods conforming to the JPEG standard for still images, and MOTIOIN-JPEG, MPEG2, AVC/H. 264, AVC/H. Compression/decompression conforming to the H.265 standard is performed.

図２は、実施例１の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例１の撮像装置１００は、パン・チルト防振を施したことによって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に対する画像補正処理によって補正する。撮像装置１００は、注視領域に対応する補正点を決定し、決定した補正点と撮像部１０２の撮影点とに応じた撮像情報を算出し、撮像情報に応じて決まる画像の切り出し領域と幾何変形係数とに基づいて、切り出し領域の画像の幾何変形処理を実行する。撮影点は、撮像部１０２の撮影位置を示す。本実施形態では、撮像装置１００は、補正点を注視領域に係る幾何変換中心点に決定する。図２に示すＳは、ステップ番号を示す。 FIG. 2 is a flowchart for explaining image correction processing executed by the imaging apparatus according to the first embodiment.
The imaging apparatus 100 according to the first embodiment corrects the tilt (shape change) and size change (magnification change) of the subject caused by performing the pan/tilt stabilization by performing image correction processing on the region of interest. The imaging apparatus 100 determines a correction point corresponding to the region of interest, calculates imaging information according to the determined correction point and the imaging point of the imaging unit 102, and determines an image clipping region and geometric deformation determined according to the imaging information. A geometric deformation process is performed on the image of the cutout region based on the coefficients. A shooting point indicates a shooting position of the imaging unit 102 . In this embodiment, the imaging device 100 determines the correction point as the geometric transformation center point of the gaze region. S shown in FIG. 2 indicates a step number.

Ｓ２０１において、撮影情報算出部１０１－３が、制御部１０１－６およびバス１０６を介して、撮像情報を取得する。具体的には、撮影情報算出部１０１－３は、ＲＯＭ１０９または記憶装置１１２に格納されている焦点距離等のレンズに係る情報（レンズ情報）および撮影画角（ＦＯＶ）の情報を取得する。撮像装置１００が、交換式のレンズユニットを有する場合は、撮影情報算出部１０１－３は、制御部１０１－６およびバス１０６を介して、レンズ制御部１０８からレンズ情報を取得する。撮影情報算出部１０１－３が、レンズ制御部１０８からレンズ識別子を取得し、取得したレンズ識別子に応じて、ＲＯＭ１０９または記憶装置１１２に予め格納されているレンズ情報を取得してもよい。撮影情報算出部１０１－３が、制御部１０１－６、バス１０６、Ｉ／Ｆ１１４、およびネットワーク１２１を介して、レンズ識別子に応じたレンズ情報を、所定のサーバから取得してもよい。本実施例は、レンズ情報の取得方法を制限するものではない。 In S201, the imaging information calculation unit 101-3 acquires imaging information via the control unit 101-6 and the bus . Specifically, the shooting information calculation unit 101-3 acquires lens information (lens information) such as focal length and shooting angle of view (FOV) information stored in the ROM 109 or the storage device 112. FIG. If the imaging apparatus 100 has an interchangeable lens unit, the imaging information calculation unit 101-3 acquires lens information from the lens control unit 108 via the control unit 101-6 and the bus . The shooting information calculation unit 101-3 may acquire a lens identifier from the lens control unit 108, and acquire lens information pre-stored in the ROM 109 or the storage device 112 according to the acquired lens identifier. The shooting information calculation unit 101-3 may acquire lens information corresponding to the lens identifier from a predetermined server via the control unit 101-6, bus 106, I/F 114, and network 121. FIG. This embodiment does not limit the acquisition method of lens information.

次に、Ｓ２０２において、振動情報解析部１０１－１が、制御部１０１－６およびバス１０６を介して、ジャイロセンサ１１３から現在の撮像部１０２の振動情報（角速度情報）を取得する。続いて、Ｓ２０３において、振動情報解析部１０１－１が、Ｓ２０２において取得した現在の撮像部１０２の振動情報（角速度情報）と、過去に取得した撮像部１０２の振動情報とに基づいて、撮像部１０２の振動波形を算出する。振動情報解析部１０１－１は、算出した撮像部１０２の振動波形に応じてパン・チルト防振する際の波形（パン・チルト防振波形）を算出する。Ｓ２０４において、パン・チルト防振制御部１０１－４が、Ｓ２０３において算出されたパン・チルト防振波形に基づき、制御部１０１－６、バス１０６およびアクチュエータ１１１を介して雲台１１０を制御する。これにより、パン・チルト防振制御部１０１－４は、現在の撮像部１０２の変位に応じたパン・チルト防振を実行する。 Next, in S202, the vibration information analysis unit 101-1 acquires current vibration information (angular velocity information) of the imaging unit 102 from the gyro sensor 113 via the control unit 101-6 and the bus . Subsequently, in S203, the vibration information analysis unit 101-1, based on the current vibration information (angular velocity information) of the imaging unit 102 acquired in S202 and the vibration information of the imaging unit 102 acquired in the past, The vibration waveform of 102 is calculated. The vibration information analysis unit 101-1 calculates a waveform (pan/tilt vibration isolation waveform) for performing pan/tilt vibration isolation according to the calculated vibration waveform of the imaging unit 102. FIG. In S204, the pan/tilt vibration isolation control unit 101-4 controls the camera platform 110 via the control unit 101-6, the bus 106, and the actuator 111 based on the pan/tilt vibration isolation waveform calculated in S203. As a result, the pan/tilt image stabilization control unit 101-4 executes pan/tilt image stabilization according to the current displacement of the imaging unit 102. FIG.

次に、Ｓ２０５において、注視領域算出部１０１－２が、注視領域を決定する。具体的には、注視領域算出部１０１－２は、バス１０６を介して、画像処理部１０５が用いるプライバシーマスクに係る所定の指定領域や、圧縮伸長部１２０が用いる圧縮率を任意に指定するための所定の指定領域等を取得する。また、注視領域算出部１０１－２は、バス１０６を介して、画像解析部１１９が実行する顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の所定の画像解析に係る検出領域を取得する。注視領域算出部１０１－２は、取得した領域から注視領域を決定する。実施例１では、注視領域算出部１０１－２は、取得した領域から一つの注視領域を決定する。注視領域算出部１０１－２は、決定した注視領域内に対応する補正点を決定する。具体的には、注視領域算出部１０１－２は、注視領域内の所定の位置を画像上の補正点に決定する。注視領域算出部１０１－２は、決定した注視領域と補正点の情報を撮像情報算出部１０１－３に通知する。 Next, in S205, the gaze area calculation unit 101-2 determines the gaze area. Specifically, the region-of-interest calculation unit 101-2 arbitrarily designates a predetermined designated region related to the privacy mask used by the image processing unit 105 and the compression rate used by the compression/decompression unit 120 via the bus 106. acquires a predetermined specified area, etc. In addition, gaze region calculation unit 101-2 performs predetermined functions such as face detection, person detection, moving object detection, passage detection, congestion detection, trajectory detection, and abandoned/removed detection executed by image analysis unit 119 via bus 106. Acquire the detection area related to the image analysis of The gaze area calculation unit 101-2 determines the gaze area from the acquired area. In Example 1, the gaze area calculation unit 101-2 determines one gaze area from the acquired areas. The gaze area calculation unit 101-2 determines a correction point corresponding to the determined gaze area. Specifically, the gaze area calculation unit 101-2 determines a predetermined position within the gaze area as a correction point on the image. The gaze area calculation unit 101-2 notifies the imaging information calculation unit 101-3 of information on the determined gaze area and correction points.

図５は、注視領域と補正点の一例を説明する図である。
図５（Ａ）に示す画像５００は、撮像装置１００が撮像部１０２によって基準撮影点から撮影した際に得られる撮像画像である。基準撮影点は、撮像部１０２の基準となる撮影位置を示す。注視領域５００－１は、所定の指定領域または所定の画像解析に係る検出領域である。補正点５００－１は、注視領域５００－１に対応する補正点である。図５（Ｂ）に示す画像５０１は、パン・チルト防振を施している際の撮像画像である。すなわち、画像５０１は、撮像装置１００が基準撮影点とは異なる撮影点から撮影した際の撮像画像である。注視領域５０１－１は、画像５０１から決定された注視領域である。補正点５０１－２は、注視領域５０１－１に対応する補正点である。図５に示す注視領域は、所定の指定領域または所定の画像解析に係る検出領域を制限するものではない。 FIG. 5 is a diagram illustrating an example of a gaze area and correction points.
An image 500 shown in FIG. 5A is a captured image obtained when the imaging device 100 captures an image from a reference shooting point using the imaging unit 102 . A reference shooting point indicates a reference shooting position of the imaging unit 102 . The region of interest 500-1 is a predetermined designated region or a detection region related to predetermined image analysis. A correction point 500-1 is a correction point corresponding to the region of interest 500-1. An image 501 shown in FIG. 5B is a captured image when pan/tilt stabilization is performed. That is, the image 501 is a captured image captured by the imaging apparatus 100 from a shooting point different from the reference shooting point. A gaze area 501 - 1 is the gaze area determined from the image 501 . A correction point 501-2 is a correction point corresponding to the gaze area 501-1. The region of interest shown in FIG. 5 does not limit a predetermined specified region or a predetermined detection region for image analysis.

図２の説明に戻る。Ｓ２０６において、撮像情報算出部１０１－３が、Ｓ２０１で取得されたレンズ情報と撮影画角（ＦＯＶ）の情報に基づき、Ｓ２０５で決定した画像上の補正点に対応する実空間上の補正点を算出する。そして、撮像情報算出部１０１－３は、算出した実空間上の補正点と、Ｓ２０４においてパン・チルト防振が施されている現在の撮影点との距離を算出する。また、撮像情報算出部１０１－３は、実空間上の補正点と基準撮影点との距離を算出する。そして、撮像情報算出部１０１－３は、現在の撮影点からの撮影と基準撮影点からの撮影との間での倍率差を撮像情報として算出する。 Returning to the description of FIG. In S206, the imaging information calculation unit 101-3 calculates a correction point in real space corresponding to the correction point on the image determined in S205 based on the lens information and the information on the shooting angle of view (FOV) acquired in S201. calculate. Then, the image pickup information calculation unit 101-3 calculates the distance between the calculated correction point in the real space and the current image pickup point where the pan/tilt image stabilization is performed in S204. Also, the imaging information calculation unit 101-3 calculates the distance between the correction point in the real space and the reference imaging point. Then, the imaging information calculation unit 101-3 calculates, as imaging information, the magnification difference between the imaging from the current imaging point and the imaging from the reference imaging point.

図６は、図２のＳ２０６の処理を説明する図である。
撮影点６００は、基準撮影点を示す。撮影点６０１は、パン・チルト防振を施している場合の、基準撮影点とは異なる現在の撮影点を示す。補正点６０２は、画像上の補正点が座標変換された、実空間での補正点を示す。撮像情報算出部１０１－３は、撮影点６００と補正点６０２の距離である撮影距離６００－２を算出する。また、撮像情報算出部１０１－３は、撮影点６０１と補正点６０２の距離である撮影距離６０１－２を算出する。そして、撮像情報算出部１０１－３は、撮影距離６００－２と撮影距離６０１－２との差分から、基準撮影点からの撮影と現在の撮影点からの撮影との間の倍率比ｆｄｉｆｆを算出する。倍率比ｆｄｉｆｆは、撮影距離６００－２をｆｂａｓｅ、撮影距離６０１－２をｆｎとして、以下の式（１）により求めることができる。
ｆｄｉｆｆ＝ｆｂａｓｅ／ｆｎ・・・式（１） FIG. 6 is a diagram for explaining the processing of S206 in FIG.
A shooting point 600 indicates a reference shooting point. A shooting point 601 indicates a current shooting point different from the reference shooting point when pan/tilt stabilization is performed. A correction point 602 indicates a correction point in the real space, which is a coordinate transformation of the correction point on the image. The imaging information calculation unit 101-3 calculates an imaging distance 600-2, which is the distance between the imaging point 600 and the correction point 602. FIG. The imaging information calculation unit 101-3 also calculates a shooting distance 601-2, which is the distance between the shooting point 601 and the correction point 602. FIG. Then, the imaging information calculation unit 101-3 calculates the magnification ratio fdiff between the imaging from the reference imaging point and the imaging from the current imaging point from the difference between the imaging distance 600-2 and the imaging distance 601-2. do. The magnification ratio fdiff can be obtained by the following equation (1), where fbase is the shooting distance 600-2 and fn is the shooting distance 601-2.
fdiff=fbase/fn Expression (1)

図２の説明に戻る。Ｓ２０７において、撮像情報算出部１０１－３が、Ｓ２０５で決定した画像上の補正点に対応する実空間上の補正点と、Ｓ２０４においてパン・チルト防振が施されている現在の実空間上の撮影点とに応じて決まる撮影角度θｂａｓｅを算出する。また、撮像情報算出部１０１－３は、実空間上の補正点と基準撮影点とに応じて決まる撮影角度θｎを算出する。そして、撮像情報算出部１０１－３は、以下の式（２）に基づいて、現在の撮影点からの撮影と基準撮影点からの撮影との間での、撮影点と補正点とに応じて決まる撮影角度の差θｄｉｆｆを撮像情報として算出する。
θｄｉｆｆ＝θｎ－θｂａｓｅ・・・式（２） Returning to the description of FIG. In S207, the imaging information calculation unit 101-3 calculates the correction points on the real space corresponding to the correction points on the image determined in S205, and the current real space image where the pan/tilt image stabilization is applied in S204. A photographing angle θbase determined according to the photographing point is calculated. Further, the imaging information calculation unit 101-3 calculates the imaging angle θn determined according to the correction point on the real space and the reference imaging point. Then, based on the following formula (2), the imaging information calculation unit 101-3 calculates the following according to the imaging point and the correction point between the imaging from the current imaging point and the imaging from the reference imaging point. The determined imaging angle difference θdiff is calculated as imaging information.
θdiff=θn−θbase Expression (2)

図６中の撮影角度６００－１は、撮影点６００から補正点６０２を撮影する際の撮影角度θｂａｓｅを示す。撮影角度６０１－１は、撮影点６０１から補正点６０２を撮影する際の撮影角度θｎを示す。 A photographing angle 600-1 in FIG. 6 indicates the photographing angle θbase when photographing the correction point 602 from the photographing point 600. FIG. A photographing angle 601-1 indicates the photographing angle θn when photographing the correction point 602 from the photographing point 601. FIG.

次に、図２のＳ２０８において、画像補正制御部１０１－５が、画像補正処理を行うか否かを判断する。前述したｆｄｉｆｆまたはθｄｉｆｆのうちの一つ以上が所定の閾値を超えている場合、画像補正制御部１０１－５が、画像補正処理を行うと判断して、処理がＳ２０９に進む。ｆｄｉｆｆまたはθｄｉｆｆのうちの一つ以上が所定の閾値を超えていない場合、画像補正制御部１０１－５が、画像補正処理を行わないと判断して、処理がＳ２１１に進む。 Next, in S208 of FIG. 2, the image correction control unit 101-5 determines whether or not to perform image correction processing. If one or more of fdiff or θdiff described above exceeds the predetermined threshold, the image correction control unit 101-5 determines to perform image correction processing, and the process proceeds to S209. If one or more of fdiff and θdiff do not exceed the predetermined threshold, the image correction control unit 101-5 determines not to perform image correction processing, and the process proceeds to S211.

Ｓ２０９において、画像補正制御部１０１－５が、Ｓ２０６で算出した倍率比ｆｄｉｆｆとＳ２０７で算出した角度差θｄｉｆｆに基づいて、画像の切り出し領域と、幾何変換係数を算出する。切り出し領域Ａは、ステップＳ２０６で算出した倍率比ｆｄｉｆｆおよびステップＳ２０１で取得した撮影画角（ＦＯＶ）を用いて、式（３）のように表現できる。
Ａ＝ｆｄｉｆｆ＊ＦＯＶ・・・式（３） In S209, the image correction control unit 101-5 calculates an image clipping region and a geometric conversion coefficient based on the magnification ratio fdiff calculated in S206 and the angle difference θdiff calculated in S207. The clipping area A can be expressed as in Equation (3) using the magnification ratio fdiff calculated in step S206 and the imaging angle of view (FOV) obtained in step S201.
A=fdiff*FOV Expression (3)

図７は、画像の切り出し領域を説明する図である。
画像補正制御部１０１－５は、図７（Ａ）に示すように、倍率比ｆｄｉｆｆと撮影画角（ＦＯＶ）とに基づいて、補正点を基準とした画像の切り出し領域を算出する。算出した切り出し領域は、注視領域に対応している。 FIG. 7 is a diagram for explaining an image cut-out region.
As shown in FIG. 7A, the image correction control unit 101-5 calculates an image clipping area with reference to the correction point based on the magnification ratio fdiff and the shooting angle of view (FOV). The calculated clipping area corresponds to the gaze area.

次に、幾何変換係数の算出について説明する。撮像装置１００は、画像補正処理として、透視変換による画像の幾何変換処理を実行する。透視変換に係る手法は、公知であるので省略する。また、撮像装置１００は、アフィン変換や射影変換等の任意の幾何変換を用いてもよい。補正角度は、図２のＳ２０７で算出した角度差θｄｉｆｆと同等であり、補正角度から幾何変換係数を算出することができる。補正角度から幾何変換係数を算出する手段は、幾何変換手法に依存し、公知であるので、省略する。また、本実施例は、幾何変換の手法を制限するものではない。 Next, calculation of geometric transformation coefficients will be described. The imaging apparatus 100 executes geometric transformation processing of an image by perspective transformation as image correction processing. Since the method of perspective transformation is known, it will be omitted. Also, the imaging apparatus 100 may use arbitrary geometric transformations such as affine transformations and projective transformations. The correction angle is equivalent to the angle difference θdiff calculated in S207 of FIG. 2, and the geometric conversion coefficient can be calculated from the correction angle. Means for calculating the geometric conversion coefficient from the correction angle is omitted because it depends on the geometric conversion method and is well known. Also, this embodiment does not limit the method of geometric transformation.

図２のＳ２１０において、画像補正部１１８が、Ｓ２０９で算出された画像の切り出し領域と幾何変換係数とに基づいて、画像の幾何変換を実行する。画像補正部１１８は、例えば、図７（Ａ）に示す切り出し領域の画像に対して幾何変換処理を実行する。これにより、図７（Ｂ）に示すように、被写体のあおり（形状変化）や大きさの変化（倍率変化）が補正された補正画像が得られる。 In S210 of FIG. 2, the image correction unit 118 performs geometric transformation of the image based on the image clipping region and the geometric transformation coefficient calculated in S209. The image correction unit 118 performs, for example, a geometric transformation process on the image of the cutout region shown in FIG. 7(A). As a result, as shown in FIG. 7B, a corrected image in which the subject's tilt (shape change) and size change (magnification change) are corrected is obtained.

Ｓ２１１において、ＣＰＵ１０１が、像ブレ補正処理（防振処理）が継続されるかを判断する。防振機能が無効に設定された場合、ＣＰＵ１０１は、防振処理が継続されないと判断する。そして、処理が終了する。防振機能が無効に設定されておらず、有効である場合、ＣＰＵ１０１は、防振処理が継続されると判断する。そして、処理がＳ２０２に戻る。防振機能の有効または無効は、入力装置１１５もしくはネットワーク１２１を介して任意に設定することができる。本実施例の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に応じて効果的に補正することができる。 In S211, the CPU 101 determines whether the image blur correction process (anti-vibration process) is to be continued. When the anti-vibration function is disabled, the CPU 101 determines that anti-vibration processing will not be continued. Then the process ends. If the anti-vibration function is not disabled and is enabled, the CPU 101 determines that the anti-vibration process is to be continued. Then, the process returns to S202. Validity or invalidity of the anti-vibration function can be arbitrarily set via the input device 115 or the network 121 . According to the image pickup apparatus 100 of the present embodiment, it is possible to effectively correct the tilt (shape change) and size change (magnification change) of the subject caused by the pan/tilt image stabilization according to the region of interest. .

（実施例２）
図３は、実施例２の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例２の撮像装置は、複数の注視領域の各々に対応する補正点の重心を、画像補正処理の基準とする補正点として、ｆｄｉｆｆとθｄｉｆｆの算出に用いる。図２に示すＳは、ステップ番号を示す。 (Example 2)
FIG. 3 is a flowchart for explaining image correction processing executed by the imaging apparatus according to the second embodiment.
The imaging apparatus according to the second embodiment uses the center of gravity of the correction points corresponding to each of the plurality of gaze areas as a correction point used as a reference for image correction processing to calculate fdiff and θdiff. S shown in FIG. 2 indicates a step number.

Ｓ３０１乃至Ｓ３０４は、図２のＳ２０１乃至Ｓ２０４と同様である。Ｓ３０５において、注視領域算出部１０１－２が、複数の注視領域と、各々の注視領域に対応する補正点を決定する。これにより、複数の補正点が決定される。Ｓ３０６において、撮像情報算出部１０１－３が、Ｓ３０５で決定された複数の補正点に対して重み付けを行う。撮像情報算出部１０１－３は、例えば、補正点と、重み付けに用いられる係数とが対応付けられたテーブルである重み付けテーブルを参照して、複数の補正点に対して重み付けを行う。重み付けテーブルは、例えば、ＲＯＭ１０９または記憶装置１１２に記憶される。 S301 to S304 are the same as S201 to S204 in FIG. In S305, the gaze area calculation unit 101-2 determines a plurality of gaze areas and correction points corresponding to each gaze area. Thereby, a plurality of correction points are determined. In S306, the imaging information calculation unit 101-3 weights the plurality of correction points determined in S305. The imaging information calculation unit 101-3, for example, refers to a weighting table, which is a table in which correction points are associated with coefficients used for weighting, and weights a plurality of correction points. The weighting table is stored in ROM 109 or storage device 112, for example.

図８は、重み付けテーブルの一例を示す図である。
図８に示す重み付けテーブル７００には、領域１乃至５のそれぞれが示す注視領域の補正点ごとに、関連機能、機能優先係数７０１、検出利用頻度係数７０２、優先度設定係数７０３、重み付け係数７０４が設定される。
関連機能は、各々の注視領域の機能を示す。例えば、領域２に対応する関連機能は、人物検出であるので、領域２は、画像解析部１１９による人物検出という機能に用いられることがわかる。 FIG. 8 is a diagram showing an example of a weighting table.
In the weighting table 700 shown in FIG. 8, related functions, function priority coefficients 701, detection use frequency coefficients 702, priority setting coefficients 703, and weighting coefficients 704 are provided for each correction point of the gaze region indicated by each of regions 1 to 5. set.
Associated functions indicate the function of each gaze area. For example, since the related function corresponding to area 2 is person detection, it can be seen that area 2 is used for the function of person detection by the image analysis unit 119 .

機能優先係数７０１は、注視領域の機能に応じて決まる優先度を示す係数である。検出利用頻度係数７０２は、画像解析部１１９による注視領域の画像解析結果の利用頻度に応じた係数である。画像解析結果の利用方法としては、通知イベントと紐付けて、表示装置１１６へ画像解析結果を表示する方法、ネットワーク１２１を介してメール等で通知する方法等がある。また、画像解析結果に応じて、所定のアクションイベントを発生させてもよい。例えば、画像解析結果に応じて、雲台１１０を駆動してパン・チルトするようにしてもよい。画像解析結果の利用方法は、公知であるので、詳細な説明を省略する。 A function priority coefficient 701 is a coefficient indicating the priority determined according to the function of the gaze area. The detection usage frequency coefficient 702 is a coefficient corresponding to the usage frequency of the image analysis result of the gaze region by the image analysis unit 119 . As a method of using the image analysis result, there are a method of displaying the image analysis result on the display device 116 in association with a notification event, a method of notifying the image analysis result by e-mail or the like via the network 121, and the like. Also, a predetermined action event may be generated according to the image analysis result. For example, the platform 110 may be driven to pan and tilt according to the image analysis result. Since the method of using the image analysis result is well known, detailed description thereof will be omitted.

優先度設定係数７０３は、入力装置１１５もしくはネットワーク１２１を介して任意に設定される優先度である。重み付け係数７０４は、重み付けの際に各注視領域の補正点に対して付与される係数である。撮像情報算出部１０１－３は、機能優先度係数７０１乃至優先度設定係数７０３に基づいて、重み付け係数７０４を算出する。撮像情報算出部１０１－３は、算出した重み付け係数に基づき、それぞれの補正点に対して重み付けを実行した後、全ての補正点の重心を、補正点として決定する。当該決定された補正点が、画像補正処理の基準となり、ｆｄｉｆｆとθｄｉｆｆの算出に用いられる。本実施例は、重み付けの係数の演算方法を制限するものではない。図３のＳ３０７乃至Ｓ３１２は、図２のＳ２０８乃至Ｓ２１１と同様の処理である。実施例２の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、複数の注視領域に応じて効果的に補正することができる。 A priority setting coefficient 703 is a priority arbitrarily set via the input device 115 or the network 121 . A weighting coefficient 704 is a coefficient given to the correction point of each gaze region during weighting. The imaging information calculation unit 101-3 calculates weighting coefficients 704 based on the function priority coefficients 701 to priority setting coefficients 703. FIG. The imaging information calculation unit 101-3 weights each correction point based on the calculated weighting coefficient, and then determines the center of gravity of all the correction points as the correction point. The determined correction point becomes a reference for image correction processing, and is used to calculate fdiff and θdiff. This embodiment does not limit the calculation method of the weighting coefficients. S307 to S312 in FIG. 3 are the same processes as S208 to S211 in FIG. According to the imaging apparatus 100 of the second embodiment, the tilt (shape change) and size change (magnification change) of the subject caused by pan/tilt image stabilization can be effectively corrected according to a plurality of gaze areas. can be done.

（実施例３）
図４は、実施例３の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例３の撮像装置１００は、前述した注視領域に対する画像補正処理を、処理の負荷に応じて制限する。具体的には、撮像装置１００は、幾何変換係数の大きさに応じて、画像の幾何変換処理を制限する。図３に示すＳは、ステップ番号を示す。 (Example 3)
FIG. 4 is a flowchart for explaining image correction processing executed by the imaging apparatus according to the third embodiment.
The imaging apparatus 100 of the third embodiment limits the image correction processing for the gaze region described above according to the processing load. Specifically, the imaging device 100 limits the geometric transformation processing of the image according to the size of the geometric transformation coefficient. S shown in FIG. 3 indicates a step number.

Ｓ４０１乃至Ｓ４０９は、図２のＳ２０１乃至Ｓ２０９と同様である。Ｓ４１０において、撮像情報算出部１０１－３が、幾何変形処理を実行するかを判断する。Ｓ４０９で算出された幾何変換係数が、所定の閾値を超えていない場合は、幾何変形処理に関する撮像装置１００の負荷は低い。したがって、この場合は、画像補正制御部１０１－５は、幾何変形処理を実行すると判断する。閾値は、ＣＰＵ１０１の稼働状況や同画像のフレームレートなどから算出される。幾何変換係数が、所定の閾値を超えている場合は、幾何変形処理に関する撮像装置１００の負荷は高い。したがって、この場合は、画像補正制御部１０１－５は、幾何変形処理を実行しない（制限する）と判断して、処理がＳ４１１に進む。Ｓ４１１は、図２のＳ２１０と同様である。なお、図４に示す例では、幾何変換係数の大きさに応じて、画像の幾何変換処理を制限しているが、画像の幾何変換処理を制限する条件は、幾何変換係数の大きさに限定されない。 S401 to S409 are the same as S201 to S209 in FIG. In S410, the imaging information calculation unit 101-3 determines whether to execute geometric transformation processing. If the geometric transformation coefficients calculated in S409 do not exceed the predetermined threshold, the load on the imaging apparatus 100 related to geometric transformation processing is low. Therefore, in this case, the image correction control unit 101-5 determines to execute geometric deformation processing. The threshold is calculated from the operating status of the CPU 101, the frame rate of the same image, and the like. When the geometric transformation coefficient exceeds a predetermined threshold, the load on the imaging device 100 regarding geometric deformation processing is high. Therefore, in this case, the image correction control unit 101-5 determines not to execute (restrict) the geometric transformation process, and the process proceeds to S411. S411 is the same as S210 in FIG. In the example shown in FIG. 4, the geometric transformation processing of the image is restricted according to the size of the geometric transformation coefficient. not.

次に、Ｓ４１２において、画像補正制御部１０１－５が、画像補正部１１８による画像補正処理（幾何変換処理）に関する情報である幾何変換補正情報を生成する。Ｓ４０８またはＳ４１０で、幾何変換による画像補正処理を実行しないと判断された場合は、Ｓ４１２において、画像補正制御部１０１－５は、未補正に係る幾何変換補正情報を生成する。また、Ｓ４０８、Ｓ４１０で、幾何変換による画像補正処理を実行すると判断された場合は、画像補正制御部１０１－５は、補正点と幾何変換補正係数等を含む幾何変換補正情報を生成する。 Next, in S412, the image correction control unit 101-5 generates geometric transformation correction information, which is information regarding image correction processing (geometric transformation processing) by the image correction unit 118. FIG. If it is determined in S408 or S410 that the image correction processing by geometric transformation is not to be executed, in S412 the image correction control unit 101-5 generates geometric transformation correction information related to uncorrected. Further, when it is determined in S408 and S410 that image correction processing by geometric transformation is to be executed, the image correction control unit 101-5 generates geometric transformation correction information including correction points, geometric transformation correction coefficients, and the like.

画像補正制御部１０１－５は、幾何変換補正情報を、画像補正処理の後に処理を実行する所定の処理部に通知する。例えば、画像補正制御部１０１－５は、幾何変換補正情報を画像解析部１１９、圧縮伸張部１２０に通知する。例えば、圧縮伸張部１２０は、画像の圧縮処理の実行と共に、幾何変換補正情報をメタデータとして統合し、圧縮データを生成する。また、ＣＰＵ１０１が、バス１０６およびＩ／Ｆ１１４、ネットワーク１２１を介して、画像解析装置等の外部装置に圧縮データを通知してもよい。当該通知を受けた画像解析装置は、幾何変換補正情報に基づく解析処理を実行することができる。Ｓ４１３は、図２のＳ２１１と同様である。 The image correction control unit 101-5 notifies geometric transformation correction information to a predetermined processing unit that executes processing after image correction processing. For example, the image correction control unit 101-5 notifies the image analysis unit 119 and compression/decompression unit 120 of geometric transformation correction information. For example, the compression/decompression unit 120 performs image compression processing and integrates geometric transformation correction information as metadata to generate compressed data. Alternatively, the CPU 101 may notify the compressed data to an external device such as an image analysis device via the bus 106 , I/F 114 and network 121 . The image analysis apparatus that has received the notification can execute analysis processing based on the geometric transformation correction information. S413 is the same as S211 in FIG.

実施例３の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に対して効果的に補正することができるとともに、処理の負荷に応じて画像補正処理を制限することができる。上述した実施例１乃至３を任意に組み合わせてもよい。例えば、実施例３の変形例として、実施例２と同様に、複数の注視領域の各々の補正点の重心を画像補正処理の基準として、ｆｄｉｆｆおよびθｄｉｆｆを算出するようにしてもよい。 According to the imaging apparatus 100 of the third embodiment, it is possible to effectively correct the tilt (change in shape) and change in size (change in magnification) of the object caused by the pan/tilt stabilization in the region of interest. In addition, it is possible to limit the image correction processing according to the processing load. You may combine Example 1-3 mentioned above arbitrarily. For example, as a modification of the third embodiment, similarly to the second embodiment, fdiff and θdiff may be calculated using the center of gravity of each correction point of a plurality of attention areas as a reference for image correction processing.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

１００ 撮像装置
１０１ ＣＰＵ
１０２ 撮像部 100 imaging device 101 CPU
102 imaging unit

Claims (9)

被写体を撮影して撮像画像を出力する撮像手段と、
前記撮像手段を駆動して、撮像方向を変更する駆動手段と、
前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する補正制御手段と、
前記撮像画像における複数の注視領域と、各々の前記注視領域に対する画像補正処理の基準となる補正点を決定する決定手段と、
複数の前記補正点に対して重み付けを行い、前記補正点の重心を求め、求めた前記重心を補正点とし、前記撮像手段の撮影位置を示す撮影点と求めた前記重心である補正点とに応じて決まり、現在の撮影点からの撮影における撮影角度と、前記撮像手段の撮影位置を示す撮影点と求めた前記重心である補正点とに応じて決まり、基準撮影点からの撮影における撮影角度との差と、基準撮影点からの撮影と現在の撮影点からの撮影との間の倍率比とを撮像情報として算出する算出手段と、
前記算出された撮像情報に基づいて、前記注視領域に対して画像補正処理を行う画像補正手段と、を備える
ことを特徴とする撮像装置。 imaging means for capturing an image of a subject and outputting a captured image;
driving means for driving the imaging means to change the imaging direction;
correction control means for controlling the driving means to correct image blurring of the captured image caused by vibration applied to the imaging means;
determining means for determining a plurality of gaze areas in the captured image and a correction point that serves as a reference for image correction processing for each of the gaze areas;
A plurality of correction points are weighted, the center of gravity of the correction points is obtained, the obtained gravity is used as a correction point, and the photographing point indicating the photographing position of the imaging means and the correction point that is the obtained gravity center is determined according to the photographing angle in photographing from the current photographing point, the photographing point indicating the photographing position of the image pickup means, and the obtained correction point which is the center of gravity, and the photographing angle in photographing from the reference photographing point and a calculation means for calculating, as image pickup information, the difference between the image pickup point and the magnification ratio between the image pickup from the reference image pickup point and the image pickup from the current image pickup point;
and image correction means for performing image correction processing on the region of interest based on the calculated imaging information. 前記算出手段は、複数の前記補正点に対して、前記注視領域の機能に応じて決まる優先度を示す係数である機能優先係数と、所定の検出領域を対象に画像解析を行う画像解析部による前記注視領域の画像解析結果の利用頻度に応じた係数である検出利用頻度係数と、入力装置又はネットワークを介して任意に設定される優先度である優先度設定係数との少なくとも一つを使用して重み付けを行う、
ことを特徴とする請求項１に記載の撮像装置。 The calculation means calculates, for the plurality of correction points , a function priority coefficient, which is a coefficient indicating a priority determined according to the function of the attention area, and an image analysis unit that performs image analysis on a predetermined detection area. using at least one of a detection usage frequency coefficient, which is a coefficient according to the frequency of usage of the image analysis result of the region of interest, and a priority setting coefficient, which is a priority arbitrarily set via an input device or a network; weighted by
2. The imaging device according to claim 1, wherein: 前記画像補正手段は、前記倍率比または前記撮影角度の差が閾値を超えていない場合は、前記画像補正処理を実行しない
ことを特徴とする請求項１又は２に記載の撮像装置。 3. The imaging apparatus according to claim 1, wherein the image correcting means does not execute the image correcting process when the magnification ratio or the imaging angle difference does not exceed a threshold value. 前記決定手段は、所定の指定領域または所定の画像解析に係る検出領域を前記注視領域として設定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 4. The imaging apparatus according to any one of claims 1 to 3, wherein the determination unit sets a predetermined designated area or a detection area related to predetermined image analysis as the gaze area. 前記画像補正手段は、前記撮像情報に基づいて、画像の切り出し領域と幾何変形係数とを算出し、算出された画像の切り出し領域と幾何変形係数とに基づいて、前記切り出し領域の画像の幾何変形処理を行う
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 The image correcting means calculates an image clipping region and a geometric deformation coefficient based on the imaging information, and geometrically transforms the image in the clipping region based on the calculated image clipping region and the geometric deformation coefficient. 5. The imaging apparatus according to claim 1, wherein processing is performed. 前記画像補正手段は、前記幾何変形係数が所定の閾値を超えている場合は、前記画像補正処理を制限する
ことを特徴とする請求項５に記載の撮像装置。 6. The imaging apparatus according to claim 5, wherein said image correction means restricts said image correction processing when said geometric deformation coefficient exceeds a predetermined threshold. 前記画像補正処理に関する情報を外部装置に通知する通知手段を備える
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 7. The imaging apparatus according to any one of claims 1 to 6, further comprising notifying means for notifying an external device of information regarding the image correction processing. 前記駆動手段は、前記撮像手段を水平方向または垂直方向に回転駆動する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 7, wherein the driving means rotates the imaging means in a horizontal direction or a vertical direction. 被写体を撮影して撮像画像を出力する撮像手段と、前記撮像手段を駆動して、撮像方向を変更する駆動手段と、を備える撮像装置の制御方法であって、
前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する工程と、
前記撮像画像における複数の注視領域と、各々の前記注視領域に対する画像補正処理の基準となる補正点を決定する工程と、
複数の前記補正点に対して重み付けを行い、前記補正点の重心を求め、求めた前記重心を補正点とし、撮影点と求めた前記重心である補正点とに応じて決まり、現在の撮影点からの撮影における撮影角度と、撮影点と求めた前記重心である補正点とに応じて決まり、基準撮影点からの撮影における撮影角度との差と、基準撮影点からの撮影と現在の撮影点からの撮影との間の倍率比とを撮像情報として算出する工程と、
前記算出された撮像情報に基づいて、前記画像補正処理を行う工程と、を有する
ことを特徴とする制御方法。 A control method for an imaging device comprising imaging means for imaging a subject and outputting a captured image, and driving means for driving the imaging means to change an imaging direction,
a step of controlling the driving means to correct image blur associated with the captured image caused by vibration applied to the imaging means;
a step of determining a plurality of gaze areas in the captured image and a correction point serving as a reference for image correction processing for each of the gaze areas;
A plurality of correction points are weighted, the centroids of the correction points are obtained, the obtained centroids are used as the correction points, and the current photographing point is determined according to the photographing point and the correction point which is the obtained centroid. is determined according to the shooting angle in shooting from, the shooting point and the correction point that is the center of gravity obtained, the difference between the shooting angle in shooting from the reference shooting point, the shooting from the reference shooting point and the current shooting point a step of calculating as imaging information a magnification ratio between imaging from
and performing the image correction process based on the calculated imaging information.
JP2019007781A 2019-01-21 2019-01-21 Imaging device and its control method Active JP7301542B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019007781A JP7301542B2 (en) 2019-01-21 2019-01-21 Imaging device and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019007781A JP7301542B2 (en) 2019-01-21 2019-01-21 Imaging device and its control method

Publications (2)

Publication Number Publication Date
JP2020118758A JP2020118758A (en) 2020-08-06
JP7301542B2 true JP7301542B2 (en) 2023-07-03

Family

ID=71890626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019007781A Active JP7301542B2 (en) 2019-01-21 2019-01-21 Imaging device and its control method

Country Status (1)

Country Link
JP (1) JP7301542B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237251A (en) 2009-03-30 2010-10-21 Canon Inc Imaging apparatus and control method of the same
JP2013192270A (en) 2013-06-17 2013-09-26 Canon Inc Imaging apparatus, control method for the same, and program
JP2015022027A (en) 2013-07-16 2015-02-02 キヤノン株式会社 Image pickup device and method for controlling the same
JP2018189730A (en) 2017-04-28 2018-11-29 キヤノン株式会社 Image tremor correction device and control method for the same, program therefor, and storage medium
JP2020046498A (en) 2018-09-18 2020-03-26 株式会社日立国際電気 Imaging device and tremor-damping method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237251A (en) 2009-03-30 2010-10-21 Canon Inc Imaging apparatus and control method of the same
JP2013192270A (en) 2013-06-17 2013-09-26 Canon Inc Imaging apparatus, control method for the same, and program
JP2015022027A (en) 2013-07-16 2015-02-02 キヤノン株式会社 Image pickup device and method for controlling the same
JP2018189730A (en) 2017-04-28 2018-11-29 キヤノン株式会社 Image tremor correction device and control method for the same, program therefor, and storage medium
JP2020046498A (en) 2018-09-18 2020-03-26 株式会社日立国際電気 Imaging device and tremor-damping method

Also Published As

Publication number Publication date
JP2020118758A (en) 2020-08-06

Similar Documents

Publication Publication Date Title
US9019387B2 (en) Imaging device and method of obtaining image
JP4926920B2 (en) Anti-shake image processing apparatus and anti-shake image processing method
JP6209002B2 (en) Imaging apparatus and control method thereof
WO2013005316A1 (en) Image processing device, image processing method, and image processing program
JP2005252626A (en) Image pickup device and image processing method
EP3644598A1 (en) Control apparatus, imaging apparatus, control method, and program
KR102529479B1 (en) Control apparatus, control method, and storage medium
JP6128109B2 (en) Image capturing apparatus, image capturing direction control method, and program
JP2017175364A (en) Image processing device, imaging device, and control method of image processing device
JP2007243335A (en) Camera shake correction method, camera shake correction apparatus, and imaging apparatus
JP6223161B2 (en) Image processing apparatus, imaging apparatus including the same, and image processing method
JP6282133B2 (en) Imaging device, control method thereof, and control program
JP6152991B2 (en) Image generation apparatus, camera apparatus, image display apparatus, and image generation method
JP2014050039A (en) Image processor, image processing method and computer program
JP7301542B2 (en) Imaging device and its control method
JP2020129019A (en) Imaging device and control method therefor
JP5341655B2 (en) Imaging apparatus and control method thereof
JP2015095670A (en) Imaging apparatus, control method thereof and control program
JP6316030B2 (en) Imaging apparatus and control method thereof
JP2008244670A (en) Imaging apparatus
JP6381212B2 (en) Imaging apparatus and control method thereof
JP6188369B2 (en) Imaging device
JP2010118822A (en) Camera shake correcting device and camera shake correcting method
JP2024074622A (en) Imaging device, its control means, and program
JP2007235806A (en) Image processor, photographic device, image processing method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R151 Written notification of patent or utility model registration

Ref document number: 7301542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151