JP5173549B2 - Image processing apparatus and imaging apparatus - Google Patents

Image processing apparatus and imaging apparatus Download PDF

Info

Publication number
JP5173549B2
JP5173549B2 JP2008107423A JP2008107423A JP5173549B2 JP 5173549 B2 JP5173549 B2 JP 5173549B2 JP 2008107423 A JP2008107423 A JP 2008107423A JP 2008107423 A JP2008107423 A JP 2008107423A JP 5173549 B2 JP5173549 B2 JP 5173549B2
Authority
JP
Japan
Prior art keywords
motion vector
image
moving
positions
motion vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008107423A
Other languages
Japanese (ja)
Other versions
JP2009260671A5 (en
JP2009260671A (en
Inventor
光洋 齊藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2008107423A priority Critical patent/JP5173549B2/en
Publication of JP2009260671A publication Critical patent/JP2009260671A/en
Publication of JP2009260671A5 publication Critical patent/JP2009260671A5/ja
Application granted granted Critical
Publication of JP5173549B2 publication Critical patent/JP5173549B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、撮像装置の振れに起因する画像振れを低減する防振処理技術に関する。   The present invention relates to an image stabilization processing technique for reducing image blur due to camera shake.
ビデオカメラ等の撮像装置には、該撮像装置の振れに起因した画像振れを低減するための電子防振機能が搭載されていることがある。   An image pickup apparatus such as a video camera may be equipped with an electronic image stabilization function for reducing image shake due to the shake of the image pickup apparatus.
電子防振では、撮像により生成されたフレーム画像のうち、実際に記録又は表示用に出力する領域を切り出し領域とし、フレーム画像ごとの切り出し領域を画像振れが打ち消されるようにシフト又は変形させる座標変換処理を行う。   In electronic image stabilization, the area that is actually output for recording or display in the frame image generated by imaging is used as a cutout area, and coordinate conversion that shifts or deforms the cutout area for each frame image so that the image shake is canceled out. Process.
画像を用いた撮像装置の振れの検出方法には、フレーム画像ごとに輝度投影ヒストグラムを作成し、フレーム画像間でのヒストグラムの位置差から振れ(方向と量)を算出する方法がある。また、フレーム画像間で動きベクトルを算出し、動きベクトルから振れを求める方法もある。   As a shake detection method of an imaging apparatus using an image, there is a method in which a brightness projection histogram is created for each frame image, and shake (direction and amount) is calculated from a position difference of the histogram between the frame images. There is also a method of calculating a motion vector between frame images and obtaining a shake from the motion vector.
これらの振れ検出方法は、撮像により得られた画像の全体が撮像装置の振れによって動く場合に有効である。ただし、画像中に歩行者や車両等の移動する物体(移動被写体)が存在する場合には、該移動被写体の影響を受けたヒストグラムの位置差や動きベクトルが算出されるため、正しい撮像装置の振れを検出することができない。   These shake detection methods are effective when the entire image obtained by imaging moves due to the shake of the imaging apparatus. However, when a moving object (moving subject) such as a pedestrian or a vehicle exists in the image, the positional difference and motion vector of the histogram affected by the moving subject are calculated. The shake cannot be detected.
このため、画像中に移動被写体が存在している場合でも良好な撮像装置の振れ検出を行えるようにすることが必要である。   For this reason, it is necessary to be able to perform favorable shake detection of the imaging apparatus even when a moving subject is present in the image.
特許文献1には、撮像により得られた画像を複数の領域に分割し、それぞれの領域で算出された動きベクトルの信頼性を判定し、信頼性がないと判定された領域の動きベクトルを撮像装置の振れ検出に用いないようにした振れ検出方法が開示されている。これにより、移動被写体の影響を除いた撮像装置の振れの検出が可能となる。   In Patent Document 1, an image obtained by imaging is divided into a plurality of areas, the reliability of motion vectors calculated in each area is determined, and the motion vectors of areas determined to be unreliable are captured. A shake detection method that is not used for shake detection of an apparatus is disclosed. Thereby, it is possible to detect the shake of the imaging apparatus excluding the influence of the moving subject.
また、特許文献2にて開示された移動被写体の検出方法では、画像中の領域ごとに算出された動きベクトルから、画像全体の動きベクトルを算出する。そして、画像全体の動きベクトルを蓄積処理して画像全体の動きの変化について統計的性質を抽出し、この統計的性質に基づいて、後続のフレーム画像における画像全体の動きベクトルの予測を行う。このとき、各領域において算出された動きベクトルの値と画像全体の動きベクトルの予測値とが大きく異なる場合には、その領域に移動被写体が存在していると判定する。
特許第2512207号公報 特開平11−266459号公報
In the moving subject detection method disclosed in Patent Document 2, the motion vector of the entire image is calculated from the motion vector calculated for each region in the image. Then, the motion vector of the entire image is accumulated to extract a statistical property regarding the change in the motion of the entire image, and based on this statistical property, the motion vector of the entire image in the subsequent frame image is predicted. At this time, if the value of the motion vector calculated in each region and the predicted value of the motion vector of the entire image are significantly different, it is determined that a moving subject exists in that region.
Japanese Patent No. 2512207 Japanese Patent Laid-Open No. 11-266459
しかしながら、特許文献1にて開示された振れの検出方法では、2つのフレーム画像間での相関値を用いて移動被写体の存在判定を行う。このため、撮像装置にパンやチルト等のカメラワークが行われた場合には、移動被写体が存在していない領域においても相関値が大きく変化し、移動被写体の存在を判定することが不可能になる。   However, in the shake detection method disclosed in Patent Document 1, the presence of a moving subject is determined using a correlation value between two frame images. For this reason, when camera work such as panning or tilting is performed on the imaging apparatus, the correlation value changes greatly even in an area where there is no moving subject, making it impossible to determine the presence of the moving subject. Become.
また、特許文献2にて開示された移動被写体の検出方法では、画像全体の動きベクトルが線形的に変化することを前提としているため、高い周波数の撮像装置の振れや複雑なカメラワーク下での撮像により得られた画像に対しては予測精度が低下する。このため、移動被写体が存在するか否かの判定精度も低下する。   In addition, the moving object detection method disclosed in Patent Document 2 is based on the premise that the motion vector of the entire image changes linearly. Prediction accuracy decreases for an image obtained by imaging. For this reason, the accuracy of determining whether or not there is a moving subject also decreases.
本発明は、移動被写体の影響を除いた防振処理を行う場合に、高い精度で移動被写体の影響を受けた動きベクトルを判定できるようにした画像処理装置、撮像装置及び画像処理方法を提供する。   The present invention provides an image processing apparatus, an imaging apparatus, and an image processing method capable of determining a motion vector affected by a moving subject with high accuracy when performing an image stabilization process excluding the influence of the moving subject. .
本発明の一側面としての画像処理装置は、動画撮像により得られた画像における複数の位置での動きベクトルを算出する動きベクトル算出手段と、前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも1つの対称関係にある動きベクトルを1組として移動被写体に対応する動きベクトルを判定する判定手段と、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行う処理手段とを有し、前記判定手段は、前記複数の位置のうち、前記1組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする。 An image processing apparatus according to an aspect of the present invention includes a motion vector calculation unit that calculates motion vectors at a plurality of positions in an image obtained by moving image capturing, and a motion vector at the plurality of positions . Determination means for determining a motion vector corresponding to a moving subject with a set of motion vectors in at least one of point symmetry, vertical symmetry, and left-right symmetry with respect to the center, and among the motion vectors at the plurality of positions on the basis of the motion vector excluding the motion vector corresponding to the moving object, and a processing means for performing processing you reduce image shake, said determining means, among the plurality of positions, the set and motion motion vector is based on a determination of whether it has a particular relationship, corresponding to the moving object among the motion vectors at the plurality of positions vectors And judging a.
なお、動画撮像を行う撮像系と上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。   Note that an imaging apparatus having an imaging system for capturing a moving image and the image processing apparatus also constitutes another aspect of the present invention.
また、本発明の他の一側面としての画像処理方法は、動画撮像により得られた画像における複数の位置での動きベクトルを算出するステップと、前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも1つの対称関係にある動きベクトルを1組として移動被写体に対応する動きベクトルを判定する判定ステップと、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行うステップとを有し、前記判定ステップにおいて、前記複数の位置のうち、前記1組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする。 The image processing method as another aspect of the present invention includes the steps of calculating a motion vector at a plurality of positions in the image obtained by moving image pickup, among the motion vectors at the plurality of locations, the image A determination step of determining a motion vector corresponding to the moving subject with a set of motion vectors having at least one of point symmetry, vertical symmetry, and left-right symmetry with respect to the center of the motion vector, and motion vectors at the plurality of positions out on the basis of the motion vector excluding the motion vector corresponding to the moving object, and a step of performing processing you reduce image blur, in the determination step, the plurality of locations, the set and It was in motion vector is based on a determination of whether it has a specific relationship, to correspond to the moving object among the motion vectors at the plurality of locations And judging the motion vector.
本発明によれば、移動被写体が含まれる画像において対称関係にある位置での動きベクトルが特定の関係を有するか否かの判定に基づいて移動被写体の影響を受けた動きベクトルを高い精度で判定することができる。したがって、高い周波数の撮像装置の振れや複雑なカメラワーク下での撮像により得られた画像に対しても、移動被写体の影響を除いた良好な防振処理を行うことができる。   According to the present invention, a motion vector affected by a moving subject is determined with high accuracy based on whether or not the motion vector at a symmetrical position in an image including the moving subject has a specific relationship. can do. Therefore, it is possible to perform a good image stabilization process excluding the influence of the moving subject even on an image obtained by a shake of a high-frequency imaging device or an image taken under complicated camera work.
以下、本発明の好ましい実施例について図面を参照しながら説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
図1には、本発明の実施例1である画像処理装置を含むビデオカメラ、デジタルスチルカメラ等の動画撮像が可能な撮像装置の構成を示す。   FIG. 1 shows a configuration of an imaging apparatus capable of capturing a moving image, such as a video camera or a digital still camera, including an image processing apparatus that is Embodiment 1 of the present invention.
図1において、101は被写体像を形成する光学系、102は光学系101により形成された被写体像を光電変換するCCDセンサやCMOSセンサ等の撮像素子である。   In FIG. 1, reference numeral 101 denotes an optical system that forms a subject image, and 102 denotes an image sensor such as a CCD sensor or a CMOS sensor that photoelectrically converts a subject image formed by the optical system 101.
103は撮像素子102から出力される電気信号から映像信号を形成する画像形成回路である。画像形成回路103は、A/D変換回路104、オートゲイン制御回路(AGC)105、オートホワイトバランス回路(AWB)106を含み、デジタル映像信号を生成する。A/D変換回路104は、アナログ信号をデジタル信号に変換する。AGC105は、デジタル信号のレベル補正を行う。また、AWB106は、映像の白レベル補正を行う。撮像素子102及び画像形成回路103により、動画撮像を行う撮像系が構成される。   An image forming circuit 103 forms a video signal from an electrical signal output from the image sensor 102. The image forming circuit 103 includes an A / D conversion circuit 104, an auto gain control circuit (AGC) 105, and an auto white balance circuit (AWB) 106, and generates a digital video signal. The A / D conversion circuit 104 converts an analog signal into a digital signal. The AGC 105 corrects the level of the digital signal. The AWB 106 corrects the white level of the video. The imaging device 102 and the image forming circuit 103 constitute an imaging system that performs moving image imaging.
107はフレームメモリであり、画像形成回路103により形成された映像信号の1フレーム画像又は複数のフレーム画像を一時的に記憶保持する。108はフレームメモリ107に入出力される映像信号を制御するメモリ制御回路である。   A frame memory 107 temporarily stores and holds one frame image or a plurality of frame images of the video signal formed by the image forming circuit 103. Reference numeral 108 denotes a memory control circuit that controls video signals input to and output from the frame memory 107.
109は動きベクトル算出回路であり、連続する(隣接する)2つのフレーム画像間から抽出された複数の特徴点のそれぞれにおける動きベクトルを検出し、さらにフレーム画像を複数の領域に分割して、各領域(位置)での代表動きベクトルを算出する。動きベクトル算出回路109は、動きベクトル検出回路110と、領域分割回路111と、代表動きベクトル算出回路112とから構成される。なお、以下の説明において、フレーム画像を単に画像ともいう。   Reference numeral 109 denotes a motion vector calculation circuit that detects a motion vector at each of a plurality of feature points extracted between two consecutive (adjacent) frame images, further divides the frame image into a plurality of regions, A representative motion vector in the region (position) is calculated. The motion vector calculation circuit 109 includes a motion vector detection circuit 110, an area division circuit 111, and a representative motion vector calculation circuit 112. In the following description, the frame image is also simply referred to as an image.
動きベクトル検出回路110は、画像中の複数の特徴的な点(特徴点)を抽出し、連続する2フレーム画像間における被写体像の動き(変位)の方向と量を示す動きベクトルを算出する。動きベクトルは、画像中に存在する被写体像の見かけ上の動きを表す動き情報である。   The motion vector detection circuit 110 extracts a plurality of characteristic points (feature points) in the image, and calculates a motion vector indicating the direction and amount of movement (displacement) of the subject image between two consecutive frame images. The motion vector is motion information representing the apparent motion of the subject image existing in the image.
領域分割回路111は、フレーム画像を複数の領域(例えば、4×4の16領域)に分割する。   The area dividing circuit 111 divides the frame image into a plurality of areas (for example, 4 × 4 16 areas).
代表動きベクトル算出回路112は、領域分割回路111によって分割された複数の領域のそれぞれについて、当該領域を代表する1つの動きベクトルである代表動きベクトルを算出する。   The representative motion vector calculation circuit 112 calculates, for each of a plurality of regions divided by the region dividing circuit 111, a representative motion vector that is one motion vector representing the region.
113は判定手段としての動きベクトル解析回路であり、動きベクトル算出回路109から得られた複数の領域での代表動きベクトルの解析を行う。動きベクトル解析回路113は、代表動きベクトルの解析結果から、移動物体(移動被写体)に対応する代表動きベクトルを判定する。   Reference numeral 113 denotes a motion vector analysis circuit as determination means, which analyzes representative motion vectors in a plurality of regions obtained from the motion vector calculation circuit 109. The motion vector analysis circuit 113 determines a representative motion vector corresponding to the moving object (moving subject) from the analysis result of the representative motion vector.
114は移動物体除去回路である。該移動物体除去回路114は、上記分割された複数の領域(以下、分割領域という)のうち、動きベクトル解析回路113によって移動物体に対応する代表動きベクトルが存在すると判定された分割領域(以下、移動物体領域という)を、以降の処理から除外する。なお、移動物体領域を除外するとは、移動物体に対応する代表動きベクトルを除外すると同義である。   Reference numeral 114 denotes a moving object removal circuit. The moving object removal circuit 114 is a divided area (hereinafter, referred to as a divided motion area) in which a representative motion vector corresponding to the moving object is determined by the motion vector analysis circuit 113 among the divided areas (hereinafter referred to as divided areas). The moving object area is excluded from the subsequent processing. Note that excluding a moving object region is synonymous with excluding a representative motion vector corresponding to a moving object.
115は補正パラメータ算出回路であり、上記複数の分割領域のうち移動物体除去回路114によって移動物体領域が除外された残りの分割領域での動きベクトル群から画像変形量を算出する。さらに、補正パラメータ算出回路115は、該画像変形量から、画像振れを補正(低減)するための補正パラメータを算出する。   Reference numeral 115 denotes a correction parameter calculation circuit, which calculates an image deformation amount from a motion vector group in the remaining divided areas from which the moving object area is excluded by the moving object removal circuit 114 among the plurality of divided areas. Further, the correction parameter calculation circuit 115 calculates a correction parameter for correcting (reducing) image blur from the image deformation amount.
116は振れ補正回路であり、フレーム画像に対して、補正パラメータ算出回路115によって算出された補正パラメータを用いて、画像振れ補正のための幾何変換処理(すなわち、防振処理)を行う。   Reference numeral 116 denotes a shake correction circuit, which performs geometric transformation processing (ie, image stabilization processing) for image shake correction on the frame image using the correction parameter calculated by the correction parameter calculation circuit 115.
移動物体除去回路114、補正パラメータ算出回路115及び振れ補正回路116により、処理手段が構成される。また、動きベクトル算出回路109、動きベクトル解析回路113、移動物体除去回路114、補正パラメータ算出回路115、振れ補正回路116によって、画像処理装置が構成される。   The moving object removal circuit 114, the correction parameter calculation circuit 115, and the shake correction circuit 116 constitute processing means. The motion vector calculation circuit 109, the motion vector analysis circuit 113, the moving object removal circuit 114, the correction parameter calculation circuit 115, and the shake correction circuit 116 constitute an image processing apparatus.
117は映像出力回路であり、画像振れ補正処理(幾何変換処理)が行われたフレーム画像を順次、不図示のディスプレイに表示したり、半導体メモリ、光ディスク、磁気テープ等の記録媒体に記録したりする。   Reference numeral 117 denotes a video output circuit, which sequentially displays frame images that have undergone image blur correction processing (geometric transformation processing) on a display (not shown) or records them on a recording medium such as a semiconductor memory, an optical disk, or a magnetic tape. To do.
100は撮像素子102、画像形成回路103、動きベクトル算出回路109、動きベクトル解析回路113、移動物体除去回路114、補正パラメータ算出回路115、振れ補正回路116及び映像出力回路117の動作を制御するメインコントローラである。メインコントローラ100は、CPU等により構成される。メインコントローラ100は、メモリ制御回路108の動作も制御する。   Reference numeral 100 denotes a main that controls the operations of the image sensor 102, the image forming circuit 103, the motion vector calculation circuit 109, the motion vector analysis circuit 113, the moving object removal circuit 114, the correction parameter calculation circuit 115, the shake correction circuit 116, and the video output circuit 117. It is a controller. The main controller 100 is constituted by a CPU or the like. The main controller 100 also controls the operation of the memory control circuit 108.
以上のように構成された撮像装置の動作を、図2に示すフローチャートを用いて説明する。なお、ここで説明する動作は、メインコントローラ100の不図示のメモリに格納されたコンピュータプログラムに従って実行される。このことは、以下の実施例でも同様である。   The operation of the imaging apparatus configured as described above will be described with reference to the flowchart shown in FIG. The operation described here is executed according to a computer program stored in a memory (not shown) of the main controller 100. The same applies to the following embodiments.
図2において、ステップS201では、メインコントローラ100は、光学系101によって形成された被写体像を撮像素子102に光電変換させる。さらに、メインコントローラ100は、撮像素子102から被写体輝度に応じて出力されたアナログ信号を画像形成回路103に処理させて映像信号を生成させる。   In FIG. 2, in step S <b> 201, the main controller 100 causes the image sensor 102 to photoelectrically convert the subject image formed by the optical system 101. Further, the main controller 100 causes the image forming circuit 103 to process an analog signal output from the image sensor 102 in accordance with the subject brightness, thereby generating a video signal.
画像形成回路103は、A/D変換回路104によってアナログ信号を、例えば14ビットのデジタル信号に変換する。さらに、AGC105及びAWB106によって信号レベル補正や白レベル補正が行われたデジタル映像信号は、フレームメモリ107に記録保持される。   The image forming circuit 103 converts the analog signal into, for example, a 14-bit digital signal by the A / D conversion circuit 104. Further, the digital video signal that has been subjected to signal level correction and white level correction by the AGC 105 and AWB 106 is recorded and held in the frame memory 107.
本実施例の撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ107に記憶保持されたフレーム画像は順次、動きベクトル算出回路109に入力される。また、フレームメモリ107によって記憶されるフレーム画像も順次更新される。以上の動作は、メインコントローラ100からの指示に従うメモリ制御回路108によって制御される。そして、ステップS202以降において、画像振れ補正が行われる。   In the imaging apparatus of this embodiment, frame images are sequentially generated at a predetermined frame rate, and the frame images stored and held in the frame memory 107 are sequentially input to the motion vector calculation circuit 109. In addition, the frame images stored in the frame memory 107 are also updated sequentially. The above operation is controlled by the memory control circuit 108 in accordance with an instruction from the main controller 100. In step S202 and subsequent steps, image blur correction is performed.
ステップS202では、メインコントローラ100は、動きベクトル検出回路110に、連続する2フレーム画像間での動きベクトルを検出させる。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、その方法はどのようなものでもよい。   In step S202, the main controller 100 causes the motion vector detection circuit 110 to detect a motion vector between two consecutive frame images. For the detection of the motion vector, a general detection method such as a template matching method or a gradient method may be used, but any method may be used.
また、動きベクトルの検出は、一般に、連続する2つのフレーム画像間における注目画素及びその近傍領域のテクスチャ情報の相関関係に基づいて算出される。このため、注目画素及びその近傍領域にテクスチャがなく、輝度値の変化がほとんどない場合にはフレーム画像間での相関関係を見出すことができない。   In addition, the detection of the motion vector is generally calculated based on the correlation between the pixel of interest between two consecutive frame images and the texture information of the neighboring area. For this reason, when there is no texture in the target pixel and its neighboring region and there is almost no change in luminance value, it is not possible to find a correlation between frame images.
そこで、予め物体(被写体)の角や線を画像中の特徴点として抽出しておき、それらを動きベクトル検出での注目画素とすることで、正確な動きベクトルを検出することができる。特徴点の抽出方法には、画像中のエッジの交点を特徴点とする手法や、色情報を用いる手法等があるが、その方法はどのようなものでもよい。   Therefore, an accurate motion vector can be detected by previously extracting corners and lines of an object (subject) as feature points in the image and using them as a target pixel in motion vector detection. The feature point extraction method includes a method using an intersection of edges in an image as a feature point, a method using color information, and the like, and any method may be used.
ステップS203では、メインコントローラ100は、領域分割回路111に、画像を複数の領域に分割させる。さらに、メインコントローラ100は、代表動きベクトル算出回路112に、動きベクトル検出回路110により検出された、各分割領域内での複数の動きベクトルを用いて当該分割領域での代表動きベクトルを算出させる。   In step S203, the main controller 100 causes the area dividing circuit 111 to divide the image into a plurality of areas. Further, the main controller 100 causes the representative motion vector calculation circuit 112 to calculate a representative motion vector in the divided area using the plurality of motion vectors detected in the divided area.
ここで、領域分割回路111によるフレーム画像の領域分割の例を図3に示す。301はステップS202において検出された特徴点及び該特徴点での動きベクトルを示す。302は1つの分割領域を示している。なお、図3では、4×4の格子状に領域分割を行った場合を示しているが、分割数及び分割形状はどのようなものでもよい。   Here, an example of the region division of the frame image by the region dividing circuit 111 is shown in FIG. Reference numeral 301 denotes the feature points detected in step S202 and motion vectors at the feature points. Reference numeral 302 denotes one divided area. Note that FIG. 3 shows a case where the region is divided into a 4 × 4 grid, but any number of divisions and division shapes may be used.
図4には、代表動きベクトル算出回路112によって分割領域ごとに算出された代表動きベクトルを示している。401は図3に示した分割領域302での代表動きベクトルである。代表動きベクトルは、1つの分割領域内に複数抽出された特徴点での動きベクトルを1つに統合したものである。代表動きベクトルは、分割領域内の複数の動きベクトルの平均値や中間値を求めることで算出できるが、その算出方法はどのようなものであってもよい。   FIG. 4 shows representative motion vectors calculated for each divided region by the representative motion vector calculation circuit 112. Reference numeral 401 denotes a representative motion vector in the divided region 302 shown in FIG. The representative motion vector is obtained by integrating a plurality of motion vectors at feature points extracted in one divided region. The representative motion vector can be calculated by obtaining an average value or an intermediate value of a plurality of motion vectors in the divided area, but any calculation method may be used.
ステップS204では、メインコントローラ100は、動きベクトル解析回路113に、ステップS203において得られた代表動きベクトルを解析させ、移動物体が存在する分割領域(移動物体領域)を判定させる。言い換えれば、移動物体に対応する代表動きベクトルを判定させる。そして、メインコントローラ100は、動きベクトル解析回路113に、これ以降の処理の対象領域から移動物体領域を除去させる。   In step S204, the main controller 100 causes the motion vector analysis circuit 113 to analyze the representative motion vector obtained in step S203 and determine a divided region (moving object region) where the moving object exists. In other words, the representative motion vector corresponding to the moving object is determined. Then, the main controller 100 causes the motion vector analysis circuit 113 to remove the moving object region from the target region for subsequent processing.
ここで、本実施例における動きベクトル解析回路113による動きベクトル解析方法について説明する。ここでは、画像の中心(画像における光学系101の光軸位置に対応する位置)に関して点対称の位置関係(対称関係)にある2つの領域を1つの組として代表動きベクトルの解析を行う。また、以下の説明において、画像の中心に関して対称の位置関係にある1組の分割領域を点対称領域といい、該1組の分割領域での代表動きベクトルを、対称位置代表動きベクトルという。   Here, a motion vector analysis method by the motion vector analysis circuit 113 in this embodiment will be described. Here, a representative motion vector is analyzed with two regions having a point-symmetrical positional relationship (symmetrical relationship) with respect to the center of the image (a position corresponding to the optical axis position of the optical system 101 in the image) as one set. In the following description, a set of divided areas having a symmetric positional relationship with respect to the center of the image is referred to as a point-symmetric area, and a representative motion vector in the set of divided areas is referred to as a symmetric position representative motion vector.
撮像装置(つまりは画像)に振れが生じた際に、点対称位置代表動きベクトルは、移動物体が存在しなければ、特定の関係、すなわち該振れに起因する画像全体の動きの種類に応じた特有の関係を有する。   When a shake occurs in the image pickup apparatus (that is, an image), the point-symmetric position representative motion vector corresponds to a specific relationship, that is, the type of motion of the entire image caused by the shake if there is no moving object. Has a unique relationship.
並進の振れが生じた場合は、点対称位置代表動きベクトルはともに同じ方向を向くという特有の関係を有する。また、回転の振れが生じた場合は、点対称位置代表動きベクトルは該回転の接線方向において互いに反対方向を向くという特有の関係を有する。さらに、前後(光軸方向)の振れ、つまり拡大縮小の振れが生じた場合は、点対称位置代表動きベクトルは放射方向において互いに反対側を向くという特有の関係を有する。図13には、並進、回転、拡大及び縮小の振れが生じた場合の画像中の複数位置での動きベクトルの関係を示す。   When translational shake occurs, the point-symmetric position representative motion vectors have a specific relationship that they both face the same direction. Further, when a rotational shake occurs, the point-symmetric position representative motion vectors have a specific relationship that they are opposite to each other in the tangential direction of the rotation. Furthermore, when a forward / backward (optical axis direction) shake, that is, an enlargement / reduction shake, occurs, the point-symmetric position representative motion vectors have a specific relationship that they are opposite to each other in the radial direction. FIG. 13 shows the relationship of motion vectors at a plurality of positions in an image when translation, rotation, enlargement, and reduction shakes occur.
したがって、点対称位置代表動きベクトルが有する関係が画像全体の動きに特有の関係とは異なる場合には、点対称領域のうちどちらかが画像全体の動きとは異なる動きを持った移動物体が存在する移動物体領域であると判定できる。言い換えれば、点対称代表動きベクトルが有する関係が上記特有の関係と異なる場合には、該点対称代表動きベクトルのうちどちらかが移動物体に対応する代表動きベクトルと判定できる。   Therefore, if the relationship of the point-symmetric position representative motion vector is different from the relationship peculiar to the motion of the entire image, there is a moving object in which one of the point-symmetric regions has a motion different from the motion of the entire image. It can be determined that it is a moving object area. In other words, when the relationship of the point symmetric representative motion vector is different from the above unique relationship, one of the point symmetric representative motion vectors can be determined as the representative motion vector corresponding to the moving object.
図5には、並進振れが生じている場合の移動物体領域の判定方法を示す。点対称領域501における代表動きベクトルはともに同じ方向を向いているため、並進振れによる画像全体の動きに応じた特有の関係を有し、移動物体領域を含まないと判定できる。これに対し、点対称領域502における代表動きベクトルは、上記特有の関係(さらに言えば、並進の振れだけでなく、回転及び拡大縮小の振れに対する特有の関係)を有さないため、該点対称領域502のいずれかが移動物体領域と判定される。   FIG. 5 shows a method for determining a moving object region when translational shake occurs. Since the representative motion vectors in the point symmetry region 501 are both in the same direction, it can be determined that the representative motion vector has a specific relationship according to the motion of the entire image due to translational shake and does not include the moving object region. On the other hand, the representative motion vector in the point symmetry region 502 does not have the above specific relationship (more specifically, not only the translational shake but also the unique relationship with respect to the rotation and scaling shake). One of the areas 502 is determined as a moving object area.
また、図6には、並進振れ601と縮小振れ602が同時に生じた場合の代表動きベクトルの出現の仕方603を示す。なお、図6では、画像の四隅の分割領域における代表動きベクトルのみを示している。   FIG. 6 shows how the representative motion vector appears 603 when translational shake 601 and reduced shake 602 occur simultaneously. In FIG. 6, only representative motion vectors in the divided areas at the four corners of the image are shown.
このように複数種類の振れが混在して生じた場合には、点対称の位置関係にある代表動きベクトルのみでは、振れに起因した特有の関係(特定の関係)を見出すことは困難である。このため、このような場合は、点対称の位置関係のほかに、画像の中心に関して上下対称及び左右対称の位置関係にある代表動きベクトルが特有の関係を有するか否かの判定も用いて移動物体領域を判定する。   When a plurality of types of shakes occur in this way, it is difficult to find a specific relationship (specific relationship) caused by the shakes only with representative motion vectors that are in a point-symmetric positional relationship. Therefore, in such a case, in addition to the point-symmetrical positional relationship, the movement is also determined using whether or not the representative motion vectors that are vertically and horizontally symmetrical relative to the center of the image have a specific relationship. Determine the object area.
図6において、上下対称の位置関係にある代表動きベクトル604,606間では、水平方向での大きさが同じであり、左右対称の位置関係にある代表動きベクトル604,607間では、垂直方向での大きさが同じであるという特有の関係を見出すことができる。このような関係は、画像全体の動きに並進振れによる動きと縮小振れによる動きが混在している場合に特有の関係である。このことを用いれば、画像全体の動きと移動物体の動きとを判別することが可能である。   In FIG. 6, the horizontal size is the same between the representative motion vectors 604 and 606 that are in a vertically symmetrical positional relationship, and the vertical direction is between the representative motion vectors 604 and 607 that are in a symmetrical positional relationship. It is possible to find a peculiar relationship that the sizes of are the same. Such a relationship is unique when the motion of the entire image includes a motion due to translational shake and a motion due to reduced shake. By using this, it is possible to discriminate between the movement of the entire image and the movement of the moving object.
したがって、複数の分割領域の代表動きベクトルに複数種類の振れが影響している場合でも、複数種類の対称位置関係にある代表動きベクトルを併用することにより、良好な移動物体領域の判定を行うことができる。しかも、複数種類の対称位置関係にある代表動きベクトルを用いて移動物体領域の判定を行うことにより、いずれかが移動物体領域であると判定された1組の分割領域のうちどちらが真の移動物体領域かを判別することも可能となる。   Therefore, even when a plurality of types of shake affect the representative motion vectors of a plurality of divided regions, it is possible to determine a favorable moving object region by using a plurality of types of representative motion vectors in a symmetrical positional relationship. Can do. In addition, by determining the moving object region using the representative motion vectors having a plurality of types of symmetrical positional relationships, which one of the set of divided regions determined to be any moving object region is which is the true moving object. It is also possible to determine whether the area.
図7には、複数種類の対称位置関係を用いた移動物体領域の判定方法を示す。ここでは、分割領域702が移動物体領域であるとする。   FIG. 7 shows a moving object region determination method using a plurality of types of symmetrical positional relationships. Here, it is assumed that the divided area 702 is a moving object area.
まず、分割領域702と点対称の位置関係にある分割領域701の代表動きベクトルが前述した特有の関係を有するか否かの判定によって、移動物体領域が分割領域701,702のうちどちらかであると判定できる。さらに、分割領域702と左右対称の位置関係にある分割領域703の代表動きベクトルが前述した特有の関係を有するか否かの判定によって、移動物体領域が分割領域702,703のうちどちらかであると判定できる。   First, the moving object region is one of the divided regions 701 and 702 by determining whether or not the representative motion vector of the divided region 701 that is point-symmetric with the divided region 702 has the above-described specific relationship. Can be determined. Furthermore, the moving object region is one of the divided regions 702 and 703 by determining whether or not the representative motion vector of the divided region 703 that has a symmetrical positional relationship with the divided region 702 has the above-described specific relationship. Can be determined.
そして、上下対称の位置関係にある分割領域701,703の代表動きベクトルが前述した特有の関係を有するか否かの判定によって、該分割領域701,703はどちらも移動物体領域ではないと判定できる。この結果、移動物体領域は分割領域702であると特定することができる。   Then, by determining whether or not the representative motion vectors of the divided areas 701 and 703 having a vertically symmetrical positional relationship have the above-described specific relationship, the divided areas 701 and 703 can be determined not to be moving object areas. . As a result, the moving object area can be specified as the divided area 702.
このようにして、移動物体領域である分割領域を特定し、その分割領域を以降の処理対象から除外することによって、移動物体に対応する代表動きベクトルの影響を受けることなく、精度の高い画像全体の動きを算出することが可能となる。   In this way, by specifying a divided region that is a moving object region and excluding the divided region from the subsequent processing targets, the entire image with high accuracy can be obtained without being affected by the representative motion vector corresponding to the moving object. Can be calculated.
図2のステップS205では、メインコントローラ100は、補正パラメータ算出回路115に、ステップS204で特定された移動物体領域が除外された残りの分割領域での代表動きベクトル群を用いて画像変形量、さらには補正パラメータを算出させる。その後、メインコントローラ100は、振れ補正回路116に、補正パラメータを用いた幾何変換処理を行わせる。   In step S205 of FIG. 2, the main controller 100 causes the correction parameter calculation circuit 115 to use the representative motion vector group in the remaining divided areas from which the moving object area specified in step S204 is excluded, Causes correction parameters to be calculated. Thereafter, the main controller 100 causes the shake correction circuit 116 to perform a geometric transformation process using the correction parameter.
本実施例では、画像変形量の算出にアフィン変換行列を使用する。   In this embodiment, an affine transformation matrix is used for calculating the image deformation amount.
画像上のある点a、   A point a on the image,
(式1)
が次フレームにおいて点a′、
(Formula 1)
Is the point a ′ in the next frame,
(式2)
に移動したとする。この場合、点aと点a′の対応関係は、アフィン変換行列Haを用いることにより、
(Formula 2)
Suppose you move to. In this case, the correspondence between the points a and a ′ is obtained by using the affine transformation matrix Ha,
(式3)
と表すことができる。
(Formula 3)
It can be expressed as.
アフィン変換行列Haは画像間の並進、回転、変倍、せん断による変形量を示す行列式であり、以下の式により表すことができる。   The affine transformation matrix Ha is a determinant indicating the amount of deformation due to translation, rotation, scaling, and shear between images, and can be expressed by the following formula.
(式4)
なお、点a,a′及びアフィン変換行列Haは斉次座標を用いて表されている。このことは以下でも同様である。
(Formula 4)
Note that the points a, a ′ and the affine transformation matrix Ha are expressed using homogeneous coordinates. The same applies to the following.
アフィン変換行列Haの各要素は、ステップS204で得られる代表動きベクトル群、つまりフレーム画像間における分割領域の対応関係を用いて、最小二乗法等の統計的処理を適用することにより算出することができる。このとき、移動物体に対応する動きベクトルを予め除去した上でアフィン変換行列Haの各要素を算出することにより、移動物体の存在に影響されない良好な画像全体の動きを求めることができる。   Each element of the affine transformation matrix Ha can be calculated by applying a statistical process such as a least square method using the representative motion vector group obtained in step S204, that is, the correspondence relationship of the divided areas between the frame images. it can. At this time, by removing each motion vector corresponding to the moving object in advance and calculating each element of the affine transformation matrix Ha, it is possible to obtain a good overall motion of the image that is not affected by the presence of the moving object.
このようにして求められたアフィン変換行列Haは、撮像装置の振れによる画像変形量を表す。このため、画像振れを補正するためには、これを打ち消す画像変形量を示すようにアフィン変換行列Haを変換する必要がある。このため、アフィン変換行列Haをその逆行列
The affine transformation matrix Ha obtained in this way represents the amount of image deformation due to the shake of the imaging device. Therefore, in order to correct the image blur, it is necessary to convert the affine transformation matrix Ha so as to indicate the amount of image deformation that cancels this. For this reason, the affine transformation matrix Ha is converted to its inverse matrix.
に変換する。 Convert to
これにより、   This
(式5)
と表すことができる。
(Formula 5)
It can be expressed as.
この式により、振れが生じた後の点a′を振れが生じる前の点aと同じ座標に戻すことが可能となる。本実施例では、
This equation makes it possible to return the point a ′ after the shake has occurred to the same coordinates as the point a before the shake has occurred. In this example,
を補正パラメータと呼ぶ。 Is called a correction parameter.
そして、この補正パラメータを用いて画像中の全画素に対して幾何変換処理を行うことにより、画像振れが補正(低減)される。   Then, image blurring is corrected (reduced) by performing geometric transformation processing on all pixels in the image using the correction parameters.
なお、本実施例では、振れ量を表す画像変形量としてアフィン変換行列を使用したが、振れ(動き)の種類や撮像時のカメラの設定条件に応じて、ヘルマート行列や平面射影行列等、他の画像変形量を用いてもよい。   In this embodiment, an affine transformation matrix is used as the amount of image deformation representing the amount of shake. However, depending on the type of shake (motion) and the setting conditions of the camera at the time of imaging, other factors such as a Helmat matrix and a planar projection matrix can be used. The image deformation amount may be used.
ステップS206では、メインコントローラ100は、映像出力回路117に画像振れが補正された画像を出力させる。   In step S206, the main controller 100 causes the video output circuit 117 to output an image with corrected image blur.
以上説明したように、本実施例では、対称関係にある位置(領域)での代表動きベクトルが、画像全体の動きの種類に応じた特有の関係(特定の関係)を有することを利用して、画像中に移動物体が存在するか否かを判定する。これにより、画像中に移動物体が存在している場合でも、良好な画像振れ補正処理(電子防振処理)を行うことができる。   As described above, the present embodiment utilizes the fact that the representative motion vector at the symmetrical position (region) has a specific relationship (specific relationship) according to the type of motion of the entire image. Then, it is determined whether or not there is a moving object in the image. Thereby, even when a moving object is present in the image, it is possible to perform a good image shake correction process (electronic image stabilization process).
図8には、本発明の実施例2である画像処理装置を含む撮像装置の構成を示す。本実施例では、画像を分割して得られた各分割領域内における特徴点の分布を判定し、その結果に応じて以降の処理に使用する分割領域を決定する。   FIG. 8 shows a configuration of an imaging apparatus including an image processing apparatus that is Embodiment 2 of the present invention. In the present embodiment, the distribution of feature points in each divided region obtained by dividing the image is determined, and the divided region used for the subsequent processing is determined according to the result.
図8において、図1に示した構成要素と共通する構成要素については、図1と同符号を付す。本実施例の撮像装置は、図1に示した構成に加え、領域分割回路111により分割された画像の各分割領域における特徴点の分布を判定する特徴点分布判定回路801を有する。なお、図1に示したメインコントローラ100は、図8では省略している。   In FIG. 8, the same components as those shown in FIG. In addition to the configuration illustrated in FIG. 1, the imaging apparatus according to the present exemplary embodiment includes a feature point distribution determination circuit 801 that determines the distribution of feature points in each divided region of an image divided by the region dividing circuit 111. The main controller 100 shown in FIG. 1 is omitted in FIG.
以下、本実施例の撮像装置(メインコントローラ100)の動作について、図9に示すフローチャートを用いて説明する。   Hereinafter, the operation of the imaging apparatus (main controller 100) of the present embodiment will be described with reference to the flowchart shown in FIG.
ステップS901及びステップS902はそれぞれ、図2に示したステップS201及びステップS202と同じである。   Step S901 and step S902 are respectively the same as step S201 and step S202 shown in FIG.
ステップS903では、メインコントローラ100は、特徴点分布判定回路801に、領域分割回路111によって分割された画像の各分割領域における特徴点分布を判定させる。そして、メインコントローラ100は、その判定結果に応じて以降の処理に使用する分割領域(つまりは、代表動きベクトル)を決定させる。   In step S903, the main controller 100 causes the feature point distribution determination circuit 801 to determine the feature point distribution in each divided region of the image divided by the region dividing circuit 111. Then, the main controller 100 determines a divided region (that is, a representative motion vector) to be used for subsequent processing according to the determination result.
例えば、空や壁面のように輝度値が一様な被写体については、特徴的な部分が存在しないため、特徴点を抽出することができない。このような領域において算出された代表動きベクトルは、多くの場合、十分な精度を有してはいない。そこで、本実施例では、画像内の特徴点の分布状態を判定し、良好な精度で代表動きベクトルが得られる特徴点分布を有する分割領域(以下、有効分割領域という)のみを以降の処理に用いるようにする。   For example, a feature point cannot be extracted for a subject having a uniform luminance value such as a sky or a wall surface because there is no characteristic portion. In many cases, the representative motion vector calculated in such a region does not have sufficient accuracy. Therefore, in this embodiment, the distribution state of the feature points in the image is determined, and only a divided region (hereinafter referred to as an effective divided region) having a feature point distribution from which a representative motion vector can be obtained with good accuracy is used for the subsequent processing. Use it.
図10に、特徴点分布判定回路801による特徴点分布判定の概要を示す。ここでは、判定すべき特徴点の分布状態として、各分割領域内における特徴点の数を用いる方法について説明する。   FIG. 10 shows an outline of feature point distribution determination by the feature point distribution determination circuit 801. Here, a method of using the number of feature points in each divided region as the distribution state of feature points to be determined will be described.
まず、特徴点分布判定回路801は、各分割領域内にいくつの特徴点が存在しているかを計測する。次に、良好な精度の代表動きベクトルを得ることができる最小の特徴点数を閾値として、各分割領域が有効分割領域であるか否かを判定する。   First, the feature point distribution determination circuit 801 measures how many feature points exist in each divided region. Next, whether or not each divided region is an effective divided region is determined using the minimum number of feature points that can obtain a representative motion vector with good accuracy as a threshold value.
特徴点分布判定回路801は、図10に示す分割領域1001のように、特徴点の数が閾値(所定値)より少ない分割領域については有効分割領域ではないと判定する。そして、その分割領域1001を以降の処理対象から除外する。一方、特徴点の数が閾値以上である分割領域1002については有効分割領域と判定する。   The feature point distribution determination circuit 801 determines that a divided region having a smaller number of feature points than a threshold value (predetermined value) is not an effective divided region, such as the divided region 1001 shown in FIG. Then, the divided area 1001 is excluded from the subsequent processing targets. On the other hand, the divided area 1002 in which the number of feature points is equal to or greater than the threshold is determined as an effective divided area.
なお、ここでは、特徴点分布の判定方法として各領域の特徴点の数を用いたが、これ以外の方法で特徴点分布を判定してもよい。例えば、特徴点の座標の分散値を用いるようにしてもよい。   Here, the number of feature points in each region is used as the feature point distribution determination method, but the feature point distribution may be determined by other methods. For example, a variance value of feature point coordinates may be used.
図9のステップS904は、図2に示したステップS203と同じである。   Step S904 in FIG. 9 is the same as step S203 shown in FIG.
また、ステップS905では、メインコントローラ100は、図2に示したステップS204と同様に、移動物体除去回路114に、移動物体領域をこれ以降の処理対象から除外させる。さらに、メインコントローラ100は、移動物体除去回路114に、上述した特徴点分布判定により有効分割領域ではないと判定された分割領域(非有効領域)をこれ以降の処理対象から除外させる。   In step S905, the main controller 100 causes the moving object removal circuit 114 to exclude the moving object region from the subsequent processing targets, similarly to step S204 shown in FIG. Further, the main controller 100 causes the moving object removal circuit 114 to exclude a divided area (ineffective area) determined not to be an effective divided area by the above-described feature point distribution determination from subsequent processing targets.
ステップS906及びステップS907はそれぞれ、図2に示したステップS205及びS206と同じである。   Steps S906 and S907 are the same as steps S205 and S206 shown in FIG. 2, respectively.
このようにして、本実施例では、移動物体領域とされた分割領域と特徴点分布の判定結果から非有効領域とされた分割領域とを除外した残りの分割領域での代表動きベクトル群を用いて画像振れ補正処理が行われる。   As described above, in this embodiment, the representative motion vector group in the remaining divided areas excluding the divided areas determined as the moving object areas and the divided areas determined as the ineffective areas from the determination result of the feature point distribution is used. Then, image blur correction processing is performed.
これにより、移動物体に対応する代表動きベクトルと、誤って算出された可能性が高い代表動きベクトルの影響を取り除いた、より良好な画像振れ補正処理(電子防振処理)を行うことができる。   As a result, it is possible to perform better image blur correction processing (electronic image stabilization processing) that eliminates the influence of the representative motion vector corresponding to the moving object and the representative motion vector that is likely to be erroneously calculated.
図11には、本発明の実施例3である画像処理装置を含む撮像装置の構成を示す。本実施例では、実施例1,2のように特徴点抽出を行う代わりに、複数の所定の座標位置(座標点)での動きベクトルを検出し、それらを用いて画像振れ補正処理を行う。   FIG. 11 shows a configuration of an imaging apparatus including an image processing apparatus that is Embodiment 3 of the present invention. In the present embodiment, instead of performing feature point extraction as in the first and second embodiments, motion vectors at a plurality of predetermined coordinate positions (coordinate points) are detected, and image blur correction processing is performed using them.
図11において、図1に示した構成要素と共通する又は同様の機能を有する構成要素については、図1と同符号を付す。本実施例の撮像装置は、図1に示した構成から、領域分割回路111及び代表動きベクトル算出回路112を省き、動きベクトル信頼度判定回路1101を加えた構成を有する。なお、図1に示したメインコントローラ100は、図11では省略している。   In FIG. 11, the same reference numerals as those in FIG. The image pickup apparatus according to the present embodiment has a configuration in which the region dividing circuit 111 and the representative motion vector calculation circuit 112 are omitted from the configuration illustrated in FIG. 1 and a motion vector reliability determination circuit 1101 is added. The main controller 100 shown in FIG. 1 is omitted in FIG.
以下、本実施例の撮像装置(メインコントローラ100)の動作について、図12に示すフローチャートを用いて説明する。   Hereinafter, the operation of the imaging apparatus (main controller 100) of the present embodiment will be described with reference to the flowchart shown in FIG.
ステップS1201は、図2に示したステップS201と同じである。   Step S1201 is the same as step S201 shown in FIG.
ステップS1202では、メインコントローラ100は、動きベクトル検出回路110に、所定の座標位置を検出点として設定させ、各検出点で動きベクトルを検出させる。検出点の配置は、格子状の配置や同心円状の配置等、画像の中心に関して対称の位置関係にある複数組の検出点が存在するような配置であれば、どのような配置であってもよい。一般に、特徴点の抽出には多くの時間を要するため、本実施例のように予め動きベクトルを検出する点を定めておくことにより、処理の高速化を図ることができる。   In step S1202, the main controller 100 causes the motion vector detection circuit 110 to set a predetermined coordinate position as a detection point and detect a motion vector at each detection point. The arrangement of the detection points may be any arrangement as long as there are multiple sets of detection points that are symmetrical with respect to the center of the image, such as a lattice arrangement or a concentric arrangement. Good. In general, since it takes a lot of time to extract feature points, it is possible to speed up the processing by setting points for detecting motion vectors in advance as in this embodiment.
ステップS1203では、メインコントローラ100は、動きベクトル信頼度判定回路1101に、各検出点(各位置)で検出された動きベクトルが信頼できるものであるかを判定させる。   In step S1203, the main controller 100 causes the motion vector reliability determination circuit 1101 to determine whether the motion vector detected at each detection point (each position) is reliable.
動きベクトルは、テクスチャのない領域や繰り返し模様が存在する領域等においては良好に検出されない。正しく検出されない動きベクトルを用いて画像振れ補正処理を行っても、良好に画像振れが補正された画像を得ることはできない。   The motion vector is not detected well in a region without a texture or a region where a repetitive pattern exists. Even if the image blur correction process is performed using a motion vector that is not correctly detected, it is not possible to obtain an image in which the image blur is favorably corrected.
そこで、本実施例では、動きベクトルの正しさの度合いを示す信頼度をまず判定する。信頼度としては、判定対象の動きベクトルの近傍にて検出された動きベクトルに対する判定対象の動きベクトルの類似度や、前フレーム画像で検出された動きベクトルに対する現フレーム画像で検出された判定対象の動きベクトルの相関値等を用いることができる。信頼度が所定レベルよりも低い動きベクトルについては、正しく検出されていないものとみなして、以降の処理には使用しないようにする。   Therefore, in this embodiment, first, a reliability indicating the degree of correctness of the motion vector is determined. As the reliability, the similarity of the motion vector to be determined with respect to the motion vector detected in the vicinity of the motion vector to be determined, or the determination target detected in the current frame image with respect to the motion vector detected in the previous frame image A correlation value of a motion vector or the like can be used. A motion vector whose reliability is lower than a predetermined level is regarded as not being detected correctly and is not used in the subsequent processing.
ステップS1204では、メインコントローラ100は、移動物体除去回路114に、図2のステップS204での移動物体領域の判定処理と同様にして、移動物体に対応する動きベクトルを判定させる。本実施例の移動物体除去回路114は、複数の検出点のうち対称関係にある2つの検出点での動きベクトルが特定の関係(振れに起因する画像全体の動きの種類に応じた特有の関係)を有するか否かの判定に基づいて、移動物体に対応する動きベクトルを判定する。そして、移動物体に対応する動きベクトルを以降の処理対象から除外する。   In step S1204, the main controller 100 causes the moving object removal circuit 114 to determine the motion vector corresponding to the moving object in the same manner as the moving object region determination process in step S204 of FIG. The moving object removal circuit 114 according to the present exemplary embodiment has a specific relationship between motion vectors at two detection points that are in a symmetrical relationship among a plurality of detection points (a unique relationship according to the type of motion of the entire image caused by shake). ) To determine a motion vector corresponding to the moving object. Then, the motion vector corresponding to the moving object is excluded from the subsequent processing targets.
ステップS1205及びステップS1206は、図2に示したステップS205及びステップS206と同じである。   Steps S1205 and S1206 are the same as steps S205 and S206 shown in FIG.
このようにして、本実施例では、移動物体に対応する動きベクトルを除外した残りの動きベクトル群を用いて画像振れ補正処理が行われる。   In this manner, in this embodiment, the image blur correction process is performed using the remaining motion vector group excluding the motion vector corresponding to the moving object.
以上説明したように、本実施例では、所定の座標位置で動きベクトルを検出するので、実施例1,2のような特徴点の抽出処理や画像の分割処理を行う必要がない。このため、高速な電子防振処理を実現することができる。   As described above, in this embodiment, since a motion vector is detected at a predetermined coordinate position, it is not necessary to perform feature point extraction processing and image division processing as in the first and second embodiments. For this reason, high-speed electronic image stabilization processing can be realized.
上記各実施例では、撮像装置に、電子防振機能を備えた画像処理装置を内蔵した場合について説明したが、本発明はこれに限らない。   In each of the above-described embodiments, the case where the image processing apparatus having the electronic image stabilization function is incorporated in the imaging apparatus has been described. However, the present invention is not limited to this.
例えば図14に示すように、撮像装置1401で撮像した画像をパーソナルコンピュータ1402に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやLANを介して送信してもよい。   For example, as illustrated in FIG. 14, an image captured by the imaging device 1401 is transmitted to the personal computer 1402. The transmission method may be either a cable method or a wireless method, and may be transmitted via the Internet or a LAN.
パーソナルコンピュータ1402は、ハードディスク等に格納されたコンピュータプログラムに従って、図2,9及び12のフローチャートに示した動きベクトルの算出処理から画像振れ補正処理及び振れ補正後の画像の出力までの処理を行う。この場合、パーソナルコンピュータが本発明にいう画像処理装置として機能する。   The personal computer 1402 performs processing from the motion vector calculation processing shown in the flowcharts of FIGS. 2, 9 and 12 to image shake correction processing and image output after shake correction according to a computer program stored in a hard disk or the like. In this case, the personal computer functions as the image processing apparatus according to the present invention.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。   Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
例えば、上記各実施例では、検出された動きベクトルを用いて画像処理としての電子防振処理を行う場合について説明したが、本発明は、検出された動きベクトルを用いて、レンズ等の光学素子を移動させる光学防振処理を行う場合にも適用することが可能である。   For example, in each of the embodiments described above, the case where the electronic image stabilization processing as the image processing is performed using the detected motion vector has been described. However, the present invention uses an optical element such as a lens using the detected motion vector. The present invention can also be applied to the case where an optical image stabilization process for moving the lens is performed.
本発明の実施例1である撮像装置の構成を示すブロック図。1 is a block diagram illustrating a configuration of an imaging apparatus that is Embodiment 1 of the present invention. 実施例1の撮像装置の動作を示すフローチャート。6 is a flowchart illustrating the operation of the imaging apparatus according to the first embodiment. 実施例1における画像の領域分割処理を示す図。FIG. 5 is a diagram illustrating image area division processing according to the first exemplary embodiment. 実施例1における各分割領域の代表動きベクトル算出処理を示す図。FIG. 6 is a diagram illustrating a representative motion vector calculation process for each divided region according to the first embodiment. 実施例1における移動物体領域の判定処理を示す図。FIG. 6 is a diagram illustrating a moving object region determination process according to the first embodiment. 実施例1における複数種類の振れが混在している場合の代表動きベクトルを示す図。The figure which shows the representative motion vector in case the multiple types of shake in Example 1 is mixed. 実施例1における複数の対称位置関係を利用しての移動物体領域の判定方法を示す図。FIG. 4 is a diagram illustrating a moving object region determination method using a plurality of symmetrical positional relationships in the first embodiment. 本発明の実施例2である撮像装置の構成を示すブロック図。FIG. 3 is a block diagram illustrating a configuration of an imaging apparatus that is Embodiment 2 of the present invention. 実施例2の撮像装置の動作を示すフローチャート。9 is a flowchart illustrating the operation of the imaging apparatus according to the second embodiment. 実施例2における特徴点分布の判定処理を示す図。FIG. 10 is a diagram illustrating a feature point distribution determination process according to the second embodiment. 本発明の実施例3である撮像装置の構成を示すブロック図。FIG. 6 is a block diagram illustrating a configuration of an imaging apparatus that is Embodiment 3 of the present invention. 実施例3の撮像装置の動作を示すフローチャート。10 is a flowchart illustrating the operation of the imaging apparatus according to the third embodiment. 並進、回転、拡大縮小の振れにより生ずる動きベクトルを示す図。The figure which shows the motion vector which arises by translation, rotation, and the shake of expansion / contraction. 本発明の実施例4である画像処理装置の使用形態を示す図。FIG. 10 is a diagram illustrating a usage pattern of an image processing apparatus that is Embodiment 4 of the present invention.
符号の説明Explanation of symbols
100 メインコントローラ
101 光学系
102 撮像素子
103 画像形成回路
109 動きベクトル算出回路
110 動きベクトル検出回路
111 領域分割回路
112 代表動きベクトル算出回路
113 動きベクトル解析回路
114 移動物体除去回路
115 補正パラメータ算出回路
116 振れ補正回路
801 特徴点分布判定回路
1101 動きベクトル信頼度判定回路
DESCRIPTION OF SYMBOLS 100 Main controller 101 Optical system 102 Image pick-up element 103 Image formation circuit 109 Motion vector calculation circuit 110 Motion vector detection circuit 111 Area division circuit 112 Representative motion vector calculation circuit 113 Motion vector analysis circuit 114 Moving object removal circuit 115 Correction parameter calculation circuit 116 Shaking Correction circuit 801 Feature point distribution determination circuit 1101 Motion vector reliability determination circuit

Claims (10)

  1. 動画撮像により得られた画像における複数の位置での動きベクトルを算出する動きベクトル算出手段と、
    前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも1つの対称関係にある動きベクトルを1組として移動被写体に対応する動きベクトルを判定する判定手段と、
    前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行う処理手段とを有し、
    前記判定手段は、前記複数の位置のうち、前記1組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする画像処理装置。
    Motion vector calculation means for calculating motion vectors at a plurality of positions in an image obtained by moving image capturing;
    Among the motion vectors at the plurality of positions, a motion vector corresponding to the moving subject is determined with a set of motion vectors having at least one of point symmetry, vertical symmetry, and left-right symmetry with respect to the center of the image. A determination means;
    Said plurality of based on the motion vector excluding the motion vector corresponding to the moving object among the motion vectors at positions, and a processing means for performing processing you reduce image shake,
    The determination means corresponds to the moving subject among the motion vectors at the plurality of positions based on determination of whether or not the set of motion vectors has a specific relationship among the plurality of positions. An image processing apparatus for determining a motion vector.
  2. 前記特定の関係は、前記複数の位置のうち対称関係にある位置での前記1組とした動きベクトルが同じ方向を向くか、回転の接線方向において互いに反対方向を向くか、放射方向において互いに反対側を向くかの少なくとも1つであることを特徴とする請求項1に記載の画像処理装置。 The specific relationship is that the set of motion vectors at the symmetrical positions among the plurality of positions are directed in the same direction, are directed in opposite directions in the tangential direction of rotation, or are mutually opposite in the radial direction. The image processing apparatus according to claim 1, wherein the image processing apparatus is at least one of facing sideways.
  3. 前記判定手段は、前記複数の位置のうち対称関係にある位置での前記1組とした動きベクトルが前記特定の関係を有さない場合には、前記複数の位置のうち対称関係にある位置での動きベクトルの少なくともいずれか一方が前記移動被写体に対応する動きベクトルと判定することを特徴とする請求項1または2に記載の画像処理装置。 The determination means determines whether the set of motion vectors at the positions having a symmetrical relationship among the plurality of positions has a symmetrical relationship among the plurality of positions. The image processing apparatus according to claim 1, wherein at least one of the motion vectors is determined as a motion vector corresponding to the moving subject.
  4. 前記複数の位置は、複数の領域であり、
    前記動きベクトル算出手段は、前記画像から抽出した特徴点での動きベクトルを算出し、該特徴点での動きベクトルから前記領域ごとに代表動きベクトルを算出し、
    前記処理手段は、前記複数の領域での前記代表動きベクトルのうち、前記移動被写体に対応する代表動きベクトルを除外した代表動きベクトルに基づいて前記処理を行い、
    前記判定手段は、前記複数の領域のうち対称関係にある領域での前記代表動きベクトルを1組として、前記特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する代表動きベクトルを判定することを特徴とする請求項1ないし3の何れか1項に記載の画像処理装置。
    The plurality of positions are a plurality of regions;
    The motion vector calculation means calculates a motion vector at a feature point extracted from the image, calculates a representative motion vector for each region from the motion vector at the feature point,
    The processing means, of the representative motion vector in the plurality of regions, performs Kisho physical before based on the representative motion vector excluding the representative motion vector corresponding to the moving object,
    The determination means sets the representative motion vectors in a symmetric relationship among the plurality of regions as a set, and determines whether or not the motion vectors at the plurality of positions are based on the determination as to whether or not the specific relationship exists. The image processing apparatus according to claim 1, wherein a representative motion vector corresponding to the moving subject is determined.
  5. 前記判定手段は、前記複数の領域での前記代表動きベクトルのうち、抽出された前記特徴点の数が所定値よりも少ない領域の代表動きベクトルを除外した代表動きベクトルに基づいて前記処理を行うことを特徴とする請求項4に記載の画像処理装置。 Said determining means out of the representative motion vector in the plurality of regions, before the number of extracted characteristic points is based on the representative motion vector excluding the representative motion vector of smaller area than a predetermined value Kisho sense The image processing apparatus according to claim 4, wherein:
  6. 前記複数の位置が、複数の所定の座標点であることを特徴とする請求項1ないし3の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the plurality of positions are a plurality of predetermined coordinate points.
  7. 前記処理手段は、前記各位置での動きベクトルの信頼度を判定し、
    前記複数の位置での動きベクトルのうち前記信頼度が所定レベルよりも低い動きベクトルと前記移動被写体に対応する動きベクトルとを除外した動きベクトルに基づいて、前記処理を行うことを特徴とする請求項6に記載の画像処理装置。
    The processing means determines the reliability of the motion vector at each position,
    And characterized in that said reliability is based on the motion vector excluding the motion vector corresponding to the moving object and the lower motion vector than a predetermined level, before Kisho sense of motion vectors at the plurality of locations The image processing apparatus according to claim 6.
  8. 動画撮像を行う撮像系と、
    請求項1から7のいずれか1つに記載の画像処理装置とを有することを特徴とする撮像装置。
    An imaging system for capturing moving images;
    An imaging apparatus comprising: the image processing apparatus according to claim 1.
  9. 動画撮像により得られた画像における複数の位置での動きベクトルを算出するステップと、
    前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも1つの対称関係にある動きベクトルを1組として移動被写体に対応する動きベクトルを判定する判定ステップと、
    前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行うステップとを有し、
    前記判定ステップにおいて、前記複数の位置のうち、前記1組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする画像処理方法。
    Calculating motion vectors at a plurality of positions in an image obtained by moving image capturing;
    Among the motion vectors at the plurality of positions, a motion vector corresponding to the moving subject is determined with a set of motion vectors having at least one of point symmetry, vertical symmetry, and left-right symmetry with respect to the center of the image. A determination step;
    Said plurality of based on the motion vector excluding the motion vector corresponding to the moving object among the motion vectors at positions, and a step of performing processing you reduce image shake,
    In the determining step, of the plurality of positions, the set of motion vectors corresponding to the moving subject among the motion vectors at the plurality of positions is determined based on whether or not the set of motion vectors has a specific relationship. An image processing method characterized by determining a motion vector.
  10. 請求項9に記載の画像処理方法を実行させるための、コンピュータが読み取り可能なプログラム。   A computer-readable program for executing the image processing method according to claim 9.
JP2008107423A 2008-04-17 2008-04-17 Image processing apparatus and imaging apparatus Expired - Fee Related JP5173549B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008107423A JP5173549B2 (en) 2008-04-17 2008-04-17 Image processing apparatus and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008107423A JP5173549B2 (en) 2008-04-17 2008-04-17 Image processing apparatus and imaging apparatus

Publications (3)

Publication Number Publication Date
JP2009260671A JP2009260671A (en) 2009-11-05
JP2009260671A5 JP2009260671A5 (en) 2011-06-02
JP5173549B2 true JP5173549B2 (en) 2013-04-03

Family

ID=41387522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008107423A Expired - Fee Related JP5173549B2 (en) 2008-04-17 2008-04-17 Image processing apparatus and imaging apparatus

Country Status (1)

Country Link
JP (1) JP5173549B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5380336B2 (en) * 2010-03-04 2014-01-08 富士フイルム株式会社 Imaging apparatus, panoramic image synthesis method and program thereof
JP5869833B2 (en) * 2011-10-06 2016-02-24 ザインエレクトロニクス株式会社 Camera shake correction processing apparatus and camera shake correction processing method
JP6235860B2 (en) * 2013-10-25 2017-11-22 キヤノン株式会社 Information processing apparatus, control method therefor, and program
JP6577703B2 (en) * 2014-08-05 2019-09-18 キヤノン株式会社 Image processing apparatus, image processing method, program, and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61269475A (en) * 1985-05-23 1986-11-28 Toshiba Corp Detection system for dynamic vector
JP2584383B2 (en) * 1992-03-02 1997-02-26 三洋電機株式会社 Video camera shake control device
JP2000032331A (en) * 1998-07-13 2000-01-28 Kawasaki Steel Corp Automatic exposure control device
JP4462092B2 (en) * 2005-03-31 2010-05-12 カシオ計算機株式会社 Electronic camera and imaging control program

Also Published As

Publication number Publication date
JP2009260671A (en) 2009-11-05

Similar Documents

Publication Publication Date Title
JP5284048B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US8417059B2 (en) Image processing device, image processing method, and program
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
EP2640057A1 (en) Image processing device, image processing method and program
JP6395506B2 (en) Image processing apparatus and method, program, and imaging apparatus
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
KR101747216B1 (en) Apparatus and method for extracting target, and the recording media storing the program for performing the said method
JP5484184B2 (en) Image processing apparatus, image processing method, and program
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP2000011133A (en) Device and method for detecting moving object
JP5173549B2 (en) Image processing apparatus and imaging apparatus
JP6178646B2 (en) Imaging apparatus and image shake correction processing method
CN107958202B (en) Human body detection apparatus, control method of human body detection apparatus, and storage medium
JP5839796B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP4042750B2 (en) Image processing apparatus, computer program, and image processing method
KR101524548B1 (en) Apparatus and method for alignment of images
JP3534551B2 (en) Motion detection device
JP5754931B2 (en) Image analysis apparatus, image analysis method, and program
JP6282133B2 (en) Imaging device, control method thereof, and control program
JP2005063036A (en) Object-tracking device
JP2006172064A (en) Object tracking device and method
JP5446641B2 (en) Image processing apparatus, image processing method, and image processing program
JP5605492B2 (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R151 Written notification of patent or utility model registration

Ref document number: 5173549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees