JPH08251474A - Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device - Google Patents

Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device

Info

Publication number
JPH08251474A
JPH08251474A JP5575195A JP5575195A JPH08251474A JP H08251474 A JPH08251474 A JP H08251474A JP 5575195 A JP5575195 A JP 5575195A JP 5575195 A JP5575195 A JP 5575195A JP H08251474 A JPH08251474 A JP H08251474A
Authority
JP
Japan
Prior art keywords
motion vector
area
image
screen
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5575195A
Other languages
Japanese (ja)
Inventor
Kazuya Inao
和也 稲生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP5575195A priority Critical patent/JPH08251474A/en
Publication of JPH08251474A publication Critical patent/JPH08251474A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Systems (AREA)

Abstract

PURPOSE: To conduct image shake correction and image tracking processing efficiently by allowing the device detecting the motion vector of an image to detect the motion vector of an entire image with high accuracy even when plural moving objects are in existence in the image. CONSTITUTION: A motion vector detection circuit 13 detects the motion vector of an image at plural block positions on a screen pattern and a reliability discrimination means 14 discriminates whether or not a detected motion vector is valid. Furthermore, the device is provided with a pattern division means 4 dividing the screen pattern into plural areas each having a different motion vector and with an area selection means 5 selecting any of the area divisions according to a prescribed condition, and a motion vector discriminated to be valid by the discrimination means 14 is fed to the means 4, 5. Then a motion vector decision means 15 decides the motion vector of the entire image from the motion vector in the area selected by the area selection means 5 and the image shake correction and image tracking processing is conducted by using the motion vector.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、画像の動きベクトルを
検出する動きベクトル検出装置,動きベクトル検出方
法,動きベクトル検出装置を用いた画像ぶれ補正装置,
画像追尾装置及び撮像装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector detecting device for detecting a motion vector of an image, a motion vector detecting method, an image blur correcting device using the motion vector detecting device,
The present invention relates to an image tracking device and an imaging device.

【0002】[0002]

【従来の技術】画像の動きベクトルを検出する手段とし
て、従来相関演算に基づく相関法やブロックマッチング
法が知られている。
2. Description of the Related Art Conventionally, as a means for detecting a motion vector of an image, a correlation method and a block matching method based on a correlation calculation are known.

【0003】ブロックマッチング法は、入力された画像
信号を複数の適当な大きさのブロック(例えば8画素×
8ライン)に分割し、このブロック単位で前のフィール
ド(またはフレーム)の一定範囲の画素との差を計算
し、この差の絶対値の和が最小となる前のフィールド
(またはフレーム)のブロックを探索する方法である。
そして、画面間の相対的なずれが、そのブロックの動き
ベクトルを示している。
In the block matching method, an input image signal is divided into a plurality of blocks of appropriate size (for example, 8 pixels ×).
8 lines), calculate the difference between the previous field (or frame) and a certain range of pixels in block units, and calculate the block of the previous field (or frame) where the sum of the absolute values of this difference is the smallest. Is a way to explore.
The relative shift between the screens indicates the motion vector of that block.

【0004】また、マッチング演算については、尾上守
夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1
976 で詳しく論じられている。
Regarding the matching calculation, Morio Onoue et al., Information Processing Vol.17, No.7, p.634-640 July 1
It is discussed in detail in 976.

【0005】図13は上記ブロックマッチング法を用い
た従来の動きベクトル検出装置の構成を示すブロック図
であり、以下この図を用いてその構成及び動作を簡単に
説明する。
FIG. 13 is a block diagram showing the structure of a conventional motion vector detecting apparatus using the block matching method. The structure and operation will be briefly described below with reference to this figure.

【0006】動きベクトルの検出対象となる画像信号が
空間周波数フィルタ10に印加されると、フィルタ10
はその画像信号から動きベクトル検出に有用な空間周波
数成分を抽出する。即ち、画像信号の低空間周波数成分
及び高空間周波数成分を除去する。
When an image signal for which a motion vector is to be detected is applied to the spatial frequency filter 10, the filter 10
Extracts a spatial frequency component useful for motion vector detection from the image signal. That is, the low spatial frequency component and the high spatial frequency component of the image signal are removed.

【0007】上記フィルタ10を通過した画像信号は、
相関演算回路11及び1フィールド期間遅延手段として
設けられたメモリ12に印加される。相関演算回路11
には更にメモリ12より前フィールドの画像信号が印加
されている。そして、相関演算回路11はブロックマッ
チング法に従い、ブロック単位に現フィールドと前フィ
ールドの相関演算を行い、その結果を動きベクトル検出
回路13に出力する。
The image signal passed through the filter 10 is
It is applied to the correlation calculation circuit 11 and the memory 12 provided as a 1-field period delay means. Correlation calculation circuit 11
Further, the image signal of the previous field is applied to the memory 12. Then, the correlation calculation circuit 11 performs the correlation calculation of the current field and the previous field in block units according to the block matching method, and outputs the result to the motion vector detection circuit 13.

【0008】動きベクトル検出回路13は、相関演算回
路11からの相関値を用いて、ブロック単位の動きベク
トルを検出する。具体的には、相関値が最小となる前フ
ィールドのブロックを探索し、その相対的なずれを動き
ベクトルとする。
The motion vector detection circuit 13 uses the correlation value from the correlation calculation circuit 11 to detect a motion vector in block units. Specifically, the block in the previous field having the smallest correlation value is searched for, and the relative shift is used as the motion vector.

【0009】上記動きベクトル検出回路13は、検出し
たブロック単位の動きベクトルを信頼性判定手段14に
送出する。信頼性判定手段14は、各ブロックの動きベ
クトルの信頼性を評価し、信頼性の高い動きベクトルを
動きベクトル決定手段15に出力する。
The motion vector detection circuit 13 sends the detected motion vector in block units to the reliability judgment means 14. The reliability determination means 14 evaluates the reliability of the motion vector of each block and outputs a highly reliable motion vector to the motion vector determination means 15.

【0010】動きベクトル決定手段15は、信頼性判定
手段14から送出された動きベクトルから、全体の動き
ベクトルを決定する。この全体の動きベクトルは、信頼
性の高い動きベクトルの平均値または中央値として求め
られる。そして、この領域の動きベクトルが画像全体の
動きベクトルとして出力される。
The motion vector decision means 15 decides the entire motion vector from the motion vectors sent from the reliability decision means 14. This entire motion vector is obtained as the average value or median value of highly reliable motion vectors. Then, the motion vector of this area is output as the motion vector of the entire image.

【0011】[0011]

【発明が解決しようとする課題】しかしながら、上記従
来例では、画像中に複数の移動物がある場合の処理が不
十分であり、以下のような問題点があった。
However, in the above-mentioned conventional example, the processing when there are a plurality of moving objects in the image is insufficient, and there are the following problems.

【0012】即ち、検出された動きベクトルの平均値を
全体の動きベクトルにすると、画像中の複数の移動物の
動きが混合してしまう。例えば、平均値を用いて画像ぶ
れ補正処理をした場合、画面が移動物に引っ張られたよ
うな動きをしてしまう。
That is, if the average value of the detected motion vectors is used as the entire motion vector, the motions of a plurality of moving objects in the image are mixed. For example, when the image blur correction process is performed using the average value, the screen moves like being pulled by a moving object.

【0013】また、検出された動きベクトルの中央値を
全体の動きベクトルにすると、画像中の移動物の大きさ
及び数によって動きベクトルの信頼性が異なってしま
う。例えば、中央値を用いて画像ぶれ補正した場合、移
動物が多いと防振対象が随時変化し、適切な画像ぶれ補
正ができない。
If the median value of the detected motion vectors is used as the whole motion vector, the reliability of the motion vector will differ depending on the size and number of moving objects in the image. For example, when image blur correction is performed using the median value, if there are many moving objects, the image stabilization target changes at any time, and appropriate image blur correction cannot be performed.

【0014】本発明は、上記のような問題点に着目して
なされたもので、画像中に複数の移動物が存在する場合
でも、画像全体の動きベクトルを精度良く検出すること
ができる動きベクトル検出装置及びその検出方法、また
これを用いた画像ぶれ補正装置、画像追尾装置、更にこ
れらの装置を備えた撮像装置を提供することを目的とし
ている。
The present invention has been made by paying attention to the above problems, and it is possible to accurately detect the motion vector of the entire image even when there are a plurality of moving objects in the image. An object of the present invention is to provide a detection device and a detection method thereof, an image blur correction device using the same, an image tracking device, and an imaging device equipped with these devices.

【0015】[0015]

【課題を解決するための手段】本発明に係る動きベクト
ル検出装置は、次のように構成したものである。
A motion vector detecting device according to the present invention is configured as follows.

【0016】(1)画面中の複数の位置での画像の動き
ベクトルを検出する動きベクトル検出回路と、画面をそ
れぞれ動きベクトルの異なる複数の領域に分割する画面
分割手段と、分割された領域の一つを所定の条件に従っ
て選択する領域選択手段と、選択された領域の動きベク
トルから画像全体の動きを代表する動きベクトルを決定
する動きベクトル決定手段とを備えた。
(1) A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions on a screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and An area selection means for selecting one according to a predetermined condition and a motion vector determination means for determining a motion vector representing the motion of the entire image from the motion vector of the selected area are provided.

【0017】(2)上記(1)の装置において、画面分
割手段は、画面の各位置での動きベクトルの大きさに応
じて分割精度を変えるようにした。
(2) In the device of (1) above, the screen division means changes the division accuracy according to the magnitude of the motion vector at each position on the screen.

【0018】(3)上記(1)または(2)の装置にお
いて、領域選択手段は、複数の領域のうち最も範囲が大
きな領域を選択するようにした。
(3) In the device of (1) or (2), the area selecting means selects the area having the largest range from the plurality of areas.

【0019】(4)上記(1)または(2)の装置にお
いて、領域選択手段は、複数の領域のうち最も動きベク
トルが小さな領域を選択するようにした。
(4) In the above device (1) or (2), the area selecting means selects the area having the smallest motion vector among the plurality of areas.

【0020】(5)上記(1)または(2)の装置にお
いて、領域選択手段は、複数の領域のうち前回選択した
領域に重なる範囲が最も大きな領域を選択するようにし
た。
(5) In the apparatus of (1) or (2) above, the area selecting means selects the area having the largest range overlapping the previously selected area among the plurality of areas.

【0021】(6)上記(1)または(2)の装置にお
いて、領域選択手段は、複数の領域のうち、最も範囲が
大きな領域と、最も動きベクトルが小さな領域と、前回
選択した領域に重なる範囲が最も大きな領域の何れかを
選択するようにした。
(6) In the apparatus of (1) or (2) above, the area selecting means overlaps the area having the largest range, the area having the smallest motion vector, and the area selected the previous time among the plurality of areas. Any one of the areas having the largest range is selected.

【0022】本発明に係る画像ぶれ補正装置は、次のよ
うに構成したものである。
The image blur correction device according to the present invention is configured as follows.

【0023】(7)画面中の複数の位置での画像の動き
ベクトルを検出する動きベクトル検出回路と、画面をそ
れぞれ動きベクトルの異なる複数の領域に分割する画面
分割手段と、分割された領域の一つを選択する領域選択
手段と、選択された領域の動きベクトルから画像全体の
動きを代表する動きベクトルを決定する動きベクトル決
定手段とからなる動きベクトル検出装置を備えた。
(7) A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions on the screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and The motion vector detecting device comprises a region selecting means for selecting one and a motion vector determining means for determining a motion vector representative of the motion of the entire image from the motion vector of the selected region.

【0024】(8)上記(7)の装置において、動きベ
クトル検出装置の画面分割手段は、画面の各位置での動
きベクトルの大きさに応じて分割精度を変えるようにし
た。
(8) In the device of (7) above, the screen division means of the motion vector detection device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.

【0025】(9)上記(7)または(8)の装置にお
いて、動きベクトル検出装置の領域選択手段は、複数の
領域のうち、最も範囲が大きな領域と、最も動きベクト
ルが小さな領域と、前回選択した領域に重なる範囲が最
も大きな領域の何れかを選択するようにした。
(9) In the above device (7) or (8), the area selecting means of the motion vector detecting device selects the area having the largest range, the area having the smallest motion vector, and the previous area among the plurality of areas. Any one of the areas having the largest overlapping area with the selected area is selected.

【0026】本発明に係る画像追尾装置は、次のように
構成したものである。
The image tracking device according to the present invention is constructed as follows.

【0027】(10)画面中の複数の位置での画像の動
きベクトルを検出する動きベクトル検出回路と、画面を
それぞれ動きベクトルの異なる複数の領域に分割する画
面分割手段と、分割された領域の一つを選択する領域選
択手段と、選択された領域の動きベクトルから画像全体
の動きを代表する動きベクトルを決定する動きベクトル
決定手段とからなる動きベクトル検出装置を備えた。
(10) A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions on the screen, a screen dividing means for dividing the screen into a plurality of regions each having a different motion vector, and the divided regions. The motion vector detecting device comprises a region selecting means for selecting one and a motion vector determining means for determining a motion vector representative of the motion of the entire image from the motion vector of the selected region.

【0028】(11)上記(10)の装置において、動
きベクトル検出装置の画面分割手段は、画面の各位置で
の動きベクトルの大きさに応じて分割精度を変えるよう
にした。
(11) In the device of (10) above, the screen dividing means of the motion vector detecting device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.

【0029】(12)上記(10)または(11)の装
置において、動きベクトル検出装置の領域選択手段は、
複数の領域のうち、最も範囲が大きな領域と、最も動き
ベクトルが小さな領域と、前回選択した領域に重なる範
囲が最も大きな領域の何れかを選択するようにした。
(12) In the device of (10) or (11) above, the area selecting means of the motion vector detecting device is
Among the plurality of areas, one of the area having the largest range, the area having the smallest motion vector, and the area having the largest range overlapping with the previously selected area is selected.

【0030】本発明に係る撮像装置は、次のように構成
したものである。
The image pickup device according to the present invention is configured as follows.

【0031】(13)画面中の複数の位置での画像の動
きベクトルを検出する動きベクトル検出回路と、画面を
それぞれ動きベクトルの異なる複数の領域に分割する画
面分割手段と、分割された領域の一つを選択する領域選
択手段と、選択された領域の動きベクトルから画像全体
の動きを代表する動きベクトルを決定する動きベクトル
決定手段とからなる動きベクトル検出装置を備えた画像
ぶれ補正装置を有するようにした。
(13) A motion vector detection circuit for detecting motion vectors of an image at a plurality of positions on the screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and An image blur correction device having a motion vector detection device including a region selection unit that selects one and a motion vector determination unit that determines a motion vector representing the motion of the entire image from the motion vector of the selected region. I did it.

【0032】(14)上記(13)の装置において、画
像ぶれ補正装置の画面分割手段は、画面の各位置での動
きベクトルの大きさに応じて分割精度を変えるようにし
た。
(14) In the apparatus of (13) above, the screen division means of the image blur correction device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.

【0033】(15)上記(13)または(14)の装
置において、画像ぶれ補正装置の領域選択手段は、複数
の領域のうち、最も範囲が大きな領域と、最も動きベク
トルが小さな領域と、前回選択した領域に重なる範囲が
最も大きな領域の何れかを選択するようにした。
(15) In the apparatus of (13) or (14), the area selection means of the image blur correction apparatus selects the area having the largest range, the area having the smallest motion vector, and the previous area among the plurality of areas. Any one of the areas having the largest overlapping area with the selected area is selected.

【0034】また本発明に係る撮像装置は、次のように
構成したものである。
The image pickup device according to the present invention is constructed as follows.

【0035】(16)画面中の複数の位置での画像の動
きベクトルを検出する動きベクトル検出回路と、画面を
それぞれ動きベクトルの異なる複数の領域に分割する画
面分割手段と、分割された領域の一つを選択する領域選
択手段と、選択された領域の動きベクトルから画像全体
の動きを代表する動きベクトルを決定する動きベクトル
決定手段とからなる動きベクトル検出装置を備えた画像
追尾装置を有するようにした。
(16) A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions on the screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and An image tracking device having a motion vector detection device including a region selection means for selecting one and a motion vector determination means for determining a motion vector representative of the motion of the entire image from the motion vector of the selected region. I chose

【0036】(17)上記(16)の装置において、画
像追尾装置の画面分割手段は、画面の各位置での動きベ
クトルの大きさに応じて分割精度を変えるようにした。
(17) In the above device (16), the screen division means of the image tracking device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.

【0037】(18)上記(16)または(17)の装
置において、画像追尾装置の領域選択手段は、複数の領
域のうち、最も範囲が大きな領域と、最も動きベクトル
が小さな領域と、前回選択した領域に重なる範囲が最も
大きな領域の何れかを選択するようにした。
(18) In the apparatus of (16) or (17), the area selecting means of the image tracking apparatus selects the area having the largest range, the area having the smallest motion vector, and the previous selection from the plurality of areas. One of the regions having the largest range overlapping the selected region is selected.

【0038】(19)本発明に係る動きベクトル検出方
法は、画面中の複数の位置での画像の動きベクトルを検
出し、その画面をそれぞれ動きベクトルの異なる複数の
領域に分割し、この分割された複数の領域の中から所定
の条件に従って一つの領域を選択し、その選択された領
域の動きベクトルから画像全体の動きを代表する動きベ
クトルを検出するようにしたものである。
(19) The motion vector detecting method according to the present invention detects the motion vector of the image at a plurality of positions on the screen, divides the screen into a plurality of regions each having a different motion vector, and divides the divided region. One area is selected from a plurality of areas according to a predetermined condition, and a motion vector representing the motion of the entire image is detected from the motion vector of the selected area.

【0039】(20)また上記(19)の検出方法にお
いて、分割された画面の複数の領域の中から、最も範囲
が大きな領域と、最も動きベクトルが小さな領域と、前
回選択した領域に重なる範囲が最も大きな領域の何れか
を選択するようにしたものである。
(20) In the detection method of (19), the area having the largest range, the area having the smallest motion vector, and the area overlapping the previously selected area are selected from the plurality of areas of the divided screen. Is to select one of the largest areas.

【0040】[0040]

【作用】本発明の動きベクトル検出装置及びその検出方
法においては、画面をそれぞれ動きベクトルの異なる複
数の領域に分割し、その中から所定の条件に従って一つ
の領域を選択し、その領域の動きベクトルから画像全体
の動きベクトルを決定するようにしているので、画像全
体の動きベクトルを精度良く検出することができる。
In the motion vector detecting apparatus and the detecting method thereof according to the present invention, the screen is divided into a plurality of areas each having a different motion vector, and one area is selected from the areas according to a predetermined condition. Since the motion vector of the entire image is determined from, the motion vector of the entire image can be accurately detected.

【0041】また本発明の画像ぶれ補正装置において
は、上記構成の動き検出装置を備えているので、精度の
良い画像ぶれ補正を行うことができる。
Since the image blur correction device of the present invention is equipped with the motion detection device having the above-described configuration, it is possible to perform accurate image blur correction.

【0042】また本発明の画像追尾装置においては、上
記構成の動き検出装置を備えているので、精度の良い画
像追尾処理を行うことができる。
Since the image tracking device of the present invention is equipped with the motion detecting device having the above-mentioned configuration, it is possible to perform the image tracking process with high accuracy.

【0043】また本発明の撮像装置においては、上記の
動きベクトル検出装置を備えた画像ぶれ補正装置あるい
は画像追尾装置を有しているので、高性能の撮像を行う
ことができる。
Further, since the image pickup apparatus of the present invention has the image blur correction apparatus or the image tracking apparatus provided with the above motion vector detection apparatus, high-performance image pickup can be performed.

【0044】[0044]

【実施例】以下、本発明の実施例を図面を参照して説明
する。
Embodiments of the present invention will be described below with reference to the drawings.

【0045】(動きベクトル検出装置の実施例)図1は
本発明に係る動きベクトル検出装置の概略構成を示すブ
ロック図であり、図13と同一符号は同一構成要素を示
している。
(Embodiment of Motion Vector Detecting Device) FIG. 1 is a block diagram showing a schematic structure of a motion vector detecting device according to the present invention, and the same reference numerals as those in FIG. 13 denote the same constituent elements.

【0046】動きベクトルの検出対象となる画像信号
は、まず空間周波数フィルタ10に印加される。フィル
タ10は、その画像信号から動きベクトル検出に有用な
空間周波数成分を抽出する。即ち、画像信号の低空間周
波数成分及び高空間周波数成分を除去する。
The image signal which is the object of motion vector detection is first applied to the spatial frequency filter 10. The filter 10 extracts a spatial frequency component useful for motion vector detection from the image signal. That is, the low spatial frequency component and the high spatial frequency component of the image signal are removed.

【0047】上記フィルタ10を通過した画像信号は、
相関演算回路11及び1フィールド期間遅延手段として
設けられたメモリ12に印加される。相関演算回路11
には、更にメモリ12より前フィールドの画像信号が印
加されている。そして、相関演算回路11は前述のブロ
ックマッチング法に従い、ブロック単位に現フィールド
と前フィールドの相関演算を行い、その結果を動きベク
トル検出回路13に出力する。
The image signal passed through the filter 10 is
It is applied to the correlation calculation circuit 11 and the memory 12 provided as a 1-field period delay means. Correlation calculation circuit 11
Further, the image signal of the previous field is applied from the memory 12. Then, the correlation calculation circuit 11 performs the correlation calculation of the current field and the previous field in block units according to the block matching method described above, and outputs the result to the motion vector detection circuit 13.

【0048】動きベクトル検出回路13は、画面中の複
数のブロック位置での画像の動きベクトルを検出するも
のであり、相関演算回路11からの相関値を用いて、ブ
ロック単位の動きベクトルを検出する。具体的には、相
関値が最小となる前フィールドのブロックを探索し、そ
の相対的なずれを動きベクトルとする。
The motion vector detection circuit 13 detects the motion vector of the image at a plurality of block positions on the screen, and uses the correlation value from the correlation calculation circuit 11 to detect the motion vector in block units. . Specifically, the block in the previous field having the smallest correlation value is searched for, and the relative shift is used as the motion vector.

【0049】上記動きベクトル検出回路13は、検出し
たブロック単位の動きベクトルを信頼性判定手段14に
送出する。信頼性判定手段14は、各ブロックの動きベ
クトルの信頼性を評価し、有効,無効を判定する。そし
て、信頼性の高い動きベクトルを画面分割手段4に出力
する。
The motion vector detection circuit 13 sends the detected motion vector in block units to the reliability judgment means 14. The reliability determination means 14 evaluates the reliability of the motion vector of each block and determines whether it is valid or invalid. Then, the highly reliable motion vector is output to the screen dividing unit 4.

【0050】画面分割手段4は、信頼性判定手段14か
ら送られてきた動きベクトルに基づき、画面をそれぞれ
動きベクトルの異なる複数の領域に分割するものであ
り、その分割結果を領域選択手段5に出力する。
The screen division means 4 divides the screen into a plurality of areas having different motion vectors based on the motion vector sent from the reliability determination means 14, and the division result is sent to the area selection means 5. Output.

【0051】領域選択手段5は、上記画面分割手段4に
より分割された複数の領域の中から所定の条件に従って
一つの領域を選択するものであり、その選択結果を動き
ベクトル決定手段15に出力する。
The area selecting means 5 selects one area from the plurality of areas divided by the screen dividing means 4 according to a predetermined condition, and outputs the selection result to the motion vector determining means 15. .

【0052】そして、動きベクトル決定手段15は、領
域選択手段5により選択された領域の動きベクトルか
ら、その領域全体の動きベクトルを決定する。この全体
の動きベクトルは、信頼性の高い動きベクトルの平均値
あるいは中央値として求められ、この領域の動きベクト
ルが画像全体の動きベクトルとして出力される。
Then, the motion vector determining means 15 determines the motion vector of the entire area from the motion vector of the area selected by the area selecting means 5. This whole motion vector is obtained as the average value or median value of highly reliable motion vectors, and the motion vector of this region is output as the motion vector of the entire image.

【0053】このように、画面をそれぞれ動きベクトル
の異なる複数の領域に分割し、その中から所定の条件に
従って一つの領域を選択し、その領域の動きベクトルか
ら画像全体を代表する動きベクトルを決定するようにし
ているので、画像中に複数の移動物が存在する場合で
も、画像全体の動きベクトルを精度良く検出することが
できる。
In this way, the screen is divided into a plurality of areas each having a different motion vector, one area is selected from the areas according to a predetermined condition, and a motion vector representing the entire image is determined from the motion vectors of the area. Therefore, even when there are a plurality of moving objects in the image, the motion vector of the entire image can be accurately detected.

【0054】(画像ぶれ補正装置及び画像追尾装置の実
施例)図2は上記の動きベクトル検出装置を備えた画像
ぶれ補正装置及び画像追尾装置の概略構成を示すブロッ
ク図であり、この画像ぶれ補正装置と画像追尾装置は同
一の構成ブロックで表わされる。
(Embodiment of Image Blur Correction Device and Image Tracking Device) FIG. 2 is a block diagram showing a schematic configuration of an image blur correction device and an image tracking device equipped with the above motion vector detection device. The device and the image tracking device are represented by the same configuration block.

【0055】図2において、入力クロマ信号はメモリ2
0に加えられ、入力輝度信号はメモリ21及び図1の構
成の動きベクトル検出装置1に加えられる。そして、メ
モリ20は入力クロマ信号を一時記憶し、メモリ21は
入力輝度信号を一時記憶する。
In FIG. 2, the input chroma signal is stored in the memory 2
0, and the input luminance signal is added to the memory 21 and the motion vector detecting device 1 having the configuration of FIG. Then, the memory 20 temporarily stores the input chroma signal, and the memory 21 temporarily stores the input luminance signal.

【0056】動きベクトル検出装置1は、入力輝度信号
より画像全体の動きベクトルを上述のようにして検出
し、検出した動きベクトルを積分手段22に送出する。
The motion vector detecting device 1 detects the motion vector of the entire image from the input luminance signal as described above, and sends the detected motion vector to the integrating means 22.

【0057】積分手段は、検出された動きベクトルを積
分し、メモリ読み出し手段23は、積分された動きベク
トルに従ってメモリ20,メモリ21の読み出し部分を
制御する。これにより、メモリ20からはクロマ信号、
メモリ21からは輝度信号がそれぞれ送出される。
The integrating means integrates the detected motion vector, and the memory reading means 23 controls the read parts of the memory 20 and the memory 21 according to the integrated motion vector. This allows the chroma signal from the memory 20,
Luminance signals are transmitted from the memory 21.

【0058】そして、このように構成された画像ぶれ補
正装置、画像追尾装置は、それぞれ精度の良い画像ぶれ
補正、画像追尾処理を行うことができ、高性能の装置を
実現することができる。
The image blur correction device and the image tracking device configured as described above can perform image blur correction and image tracking processing with high accuracy, respectively, and can realize a high-performance device.

【0059】(撮像装置の実施例)図3は上述の画像ぶ
れ補正装置または画像追尾装置を有する撮像装置の概略
構成を示すブロック図であり、以下その構成及び動作に
ついて説明する。
(Embodiment of Image Pickup Apparatus) FIG. 3 is a block diagram showing the schematic arrangement of an image pickup apparatus having the above-described image blur correction apparatus or image tracking apparatus. The configuration and operation will be described below.

【0060】図3において、被写体画像は撮像レンズ3
0を通り、撮像素子であるCCD31によって電気信号
に変換される。このCCD31の出力は、サンプルホー
ルド(S/H)回路32を経て自動利得制御(AGC)
回路33に送出される。
In FIG. 3, the subject image is the image pickup lens 3
After passing through 0, it is converted into an electric signal by the CCD 31 which is an image pickup device. The output of the CCD 31 passes through a sample hold (S / H) circuit 32 and automatic gain control (AGC).
It is sent to the circuit 33.

【0061】AGC回路33のアナログ出力は、A/D
変換器34によりディジタル信号に変換され、輝度信号
(Y)と色信号(C)のY/C分離回路35に入力され
る。Y/C分離回路35は、2つの1H遅延線と、入力
信号及び2H遅延信号を加算する加算器からなり、該加
算器の出力は色信号処理回路であるCプロセス回路36
に加えられ、また1H遅延信号は輝度信号処理回路であ
るYプロセス回路37に加えられる。
The analog output of the AGC circuit 33 is the A / D
It is converted into a digital signal by the converter 34 and input to the Y / C separation circuit 35 for the luminance signal (Y) and the color signal (C). The Y / C separation circuit 35 includes two 1H delay lines and an adder that adds an input signal and a 2H delay signal, and the output of the adder is a C process circuit 36 that is a color signal processing circuit.
In addition, the 1H delay signal is applied to the Y process circuit 37 which is a luminance signal processing circuit.

【0062】Cプロセス回路36は、Y/C分離回路3
5より出力された色信号からクロマ信号を生成し、Yプ
ロセス回路37は、Y/C分離回路35より出力された
輝度信号に対して、エッジ強調,ガンマ補正等の処理を
行う。
The C process circuit 36 is the Y / C separation circuit 3
A chroma signal is generated from the color signal output from the Y / C circuit 5, and the Y process circuit 37 performs edge enhancement, gamma correction, and the like on the luminance signal output from the Y / C separation circuit 35.

【0063】上記Cプロセス回路36から出力されたク
ロマ信号及びYプロセス回路37から出力された輝度信
号は、図2の構成の画像ぶれ補正装置または画像追尾装
置2に入力される。そして、画像ぶれ補正装置の場合
は、ここからぶれ補正されたクロマ信号及び輝度信号が
出力される。また画像追尾装置の場合は、ここから追尾
処理されたクロマ信号及び輝度信号が出力される。
The chroma signal output from the C process circuit 36 and the luminance signal output from the Y process circuit 37 are input to the image blur correction device or the image tracking device 2 having the configuration of FIG. In the case of the image blur correction device, the blur-corrected chroma signal and luminance signal are output from here. In the case of an image tracking device, the chroma signal and the luminance signal subjected to the tracking processing are output from here.

【0064】画像ぶれ補正装置または画像追尾装置2か
ら出力されたクロマ信号は、D/A変換器38によりア
ナログ信号に変換されて出力される。また画像ぶれ補正
装置あるいは画像追尾装置2から出力された輝度信号
は、D/A変換器39によりアナログ信号に変換されて
出力される。
The chroma signal output from the image blur correction device or the image tracking device 2 is converted into an analog signal by the D / A converter 38 and output. The brightness signal output from the image blur correction device or the image tracking device 2 is converted into an analog signal by the D / A converter 39 and output.

【0065】このようにして、画像ぶれを補正した映像
信号あるいは画像追尾処理した映像信号が得られ、この
画像ぶれ補正装置または画像追尾装置2を備えることに
より、高性能の撮像装置を得ることができる。
In this way, a video signal whose image blur has been corrected or a video signal which has undergone image tracking processing can be obtained. By providing this image blur correction device or image tracking device 2, a high-performance image pickup device can be obtained. it can.

【0066】次に、図1の画面分割手段4の詳細につい
て、図4,図5のフローチャートにより説明する。
Next, details of the screen dividing means 4 of FIG. 1 will be described with reference to the flow charts of FIGS.

【0067】(画面分割手段の実施例1)図4は図1中
の画面分割手段4の動作の一例を示すフローチャートで
ある。
(Embodiment 1 of the screen dividing means) FIG. 4 is a flow chart showing an example of the operation of the screen dividing means 4 in FIG.

【0068】まず、この画面分割手段4は、信頼性判定
手段14によって有効と判断された動きベクトルを受信
して受け取る(ステップ401)。次に、その動きベク
トルの大きさを複数の閾値と比較していく。ここでは、
動きベクトルのX成分を閾値A及び閾値−A(Aは定
数)と比較して(ステップ402,403)、動きベク
トルをAより大きい集合(A)、−A以上A以下の集合
(0)、−Aより小さい集合(−A)の3つの集合に分
類する(ステップ404,405,406)。
First, the screen division means 4 receives and receives the motion vector judged to be valid by the reliability judgment means 14 (step 401). Next, the magnitude of the motion vector is compared with a plurality of thresholds. here,
The X component of the motion vector is compared with a threshold value A and a threshold value -A (A is a constant) (steps 402 and 403) to set the motion vector to a set larger than A (A), a set not smaller than -A and not larger than A (0), It is classified into three sets, which are smaller than -A (-A) (steps 404, 405, and 406).

【0069】そして、Y成分も同様に3つの集合に分類
すれば、X,Yの組み合わせで図10に示すように2次
元で表わされる9つの集合(集合(−A, A)、集合
(0, A)、集合(A, A)、集合(−A,
0)、集合(0, 0)、集合(A, 0)、集合(−
A,−A)、集合(0,−A)、集合(A,−A))に
動きベクトルを分けることができる。例えば、図10中
の矢印で示される動きベクトルは集合(A,A)に分類
される。
Similarly, if the Y component is also classified into three sets, nine sets (sets (-A, A) and sets (0) represented two-dimensionally by the combination of X and Y as shown in FIG. , A), set (A, A), set (-A,
0), set (0, 0), set (A, 0), set (-
A, −A), set (0, −A), set (A, −A)) can be divided into motion vectors. For example, the motion vector indicated by the arrow in FIG. 10 is classified into the set (A, A).

【0070】このとき、各動きベクトルの検出ブロック
は分かっているので、動きベクトルの集合に対応する検
出ブロックを分類すれば、その画像を動きの異なる9つ
の領域に分割することができる。そして分割後、各検出
ブロックにおける領域情報をメモリに保存する(ステッ
プ407)。
At this time, since the detection block of each motion vector is known, if the detection block corresponding to the set of motion vectors is classified, the image can be divided into nine regions having different motions. After the division, the area information of each detection block is stored in the memory (step 407).

【0071】以上の動作を、図11により具体的に説明
する。図11の(a)は入力画像を模式的に示したもの
であり、画面の左右に向かって移動する自動車が1台ず
つ存在している。また、図11の(b)は入力画像中の
各検出ブロックで検出された動きベクトルを表してい
る。
The above operation will be specifically described with reference to FIG. FIG. 11A schematically shows the input image, and there is one vehicle moving to the left and right of the screen. Further, FIG. 11B shows the motion vector detected by each detection block in the input image.

【0072】自動車が存在する検出ブロックでは、X方
向(画面の横方向)に大きな動きベクトルが検出され、
背景の検出ブロックでは、Y方向(画面の縦方向)に小
さな動きベクトルが検出されている。ここで、簡単のた
め全てのベクトルが高い信頼性を持ち、信頼性判定手段
14において有効と判断されているとすると、閾値Aを
自動車の移動速度より小さく設定しておけば、上記フロ
ーチャートの動作に従って、左に移動する自動車の動き
ベクトルは集合(−A)、背景の動きベクトルは集合
(0)、右に移動する自動車の動きベクトルは集合
(A)の3つに分類される。
In the detection block where a car exists, a large motion vector is detected in the X direction (horizontal direction of the screen),
In the background detection block, a small motion vector is detected in the Y direction (vertical direction of the screen). Here, for the sake of simplicity, if all the vectors have high reliability and the reliability determination means 14 determines that they are valid, if the threshold value A is set to be smaller than the moving speed of the vehicle, the operation of the above-mentioned flowchart is performed. Accordingly, the motion vector of the vehicle moving to the left is classified into a set (-A), the motion vector of the background is classified into a set (0), and the motion vector of the vehicle moving to the right is classified into a set (A).

【0073】したがって、画面は図11の(c)に示す
ように、領域(−A),領域(0),領域(A)の3つ
に分割される。
Therefore, the screen is divided into three areas (-A), area (0), and area (A) as shown in FIG. 11 (c).

【0074】(画面分割手段の実施例2)上記の例では
閾値を固定としたが、閾値の個数や値を変化させれば、
画面分割の精度をコントロールすることができる。図5
は画面の各ブロック位置での動きベクトルの大きさに応
じて分割精度を変えるようにした画面分割手段4の動作
を示すフローチャートであり、図4と同一符号のステッ
プは同一処理内容を示している。
Second Embodiment of Screen Dividing Means Although the threshold value is fixed in the above example, if the number of threshold values or the value is changed,
You can control the accuracy of screen division. Figure 5
Is a flow chart showing the operation of the screen division means 4 in which the division accuracy is changed according to the magnitude of the motion vector at each block position on the screen, and the steps with the same reference numerals as in FIG. 4 show the same processing contents. .

【0075】図4の画面分割手段4の実施例1の動作と
異なる点は、閾値との比較ルーチンが複数用意されてい
て、適応的に選択できるようにしたことである。複数の
比較ルーチンでは、それぞれ異なった個数、値の閾値を
用意しておき、それぞれのルーチンを通すことによっ
て、異なった精度で画面を分割することができる。
The difference from the operation of the first embodiment of the screen dividing means 4 in FIG. 4 is that a plurality of threshold value comparison routines are prepared so that they can be adaptively selected. In a plurality of comparison routines, different numbers of threshold values and different threshold values are prepared in advance, and the screens can be divided with different accuracy by passing through the respective routines.

【0076】例えば、前フィールドで分割された領域の
個数を判別し(ステップ408)、少なくなればより細
かい精度で画面分割を行うように比較ルーチンを選択し
(ステップ411)、逆に分割された領域の個数が多く
なればより粗い精度で画面分割を行うように比較ルーチ
ンを選択し(ステップ409)、中間であれば中間の比
較ルーチンを選択する(ステップ410)。これによ
り、ある領域の動きベクトルを更に精度良く検出するこ
とができる。
For example, the number of regions divided in the previous field is discriminated (step 408), and if the number is smaller, the comparison routine is selected so as to divide the screen with a finer precision (step 411), and the division is performed in reverse. If the number of regions is large, the comparison routine is selected so that the screen division is performed with coarser accuracy (step 409), and if it is intermediate, the intermediate comparison routine is selected (step 410). Thereby, the motion vector of a certain area can be detected with higher accuracy.

【0077】次に、図1の領域選択手段5の詳細につい
て、図6〜図9のフローチャートにより説明する。
Next, the details of the area selecting means 5 of FIG. 1 will be described with reference to the flow charts of FIGS.

【0078】(領域選択手段の実施例1)図6は図1中
の領域選択手段5の動作の一例を示すフローチャートで
ある。
(Embodiment 1 of Area Selecting Means) FIG. 6 is a flow chart showing an example of the operation of the area selecting means 5 in FIG.

【0079】画面分割手段4によって保存された領域情
報を読出し(ステップ501)、画面分割後の各領域に
付いてその領域を構成する検出ブロックの個数を計測す
る(ステップ502)。次に、計測された個数を比較し
(ステップ503)、最も個数の多い領域を選択する
(ステップ504)。最後に、選択された領域の動きベ
クトルを送出する(ステップ505)。
The area information stored by the screen dividing means 4 is read (step 501), and the number of detection blocks constituting each area after the screen division is measured (step 502). Next, the measured numbers are compared (step 503) and the region with the largest number is selected (step 504). Finally, the motion vector of the selected area is transmitted (step 505).

【0080】以上の動作を、図11により具体的に説明
する。図11の(d)は図11の(a)の入力画像を前
述の画面分割手段4の実施例1の動作に従って分割した
後の領域情報を示している。この領域情報は、各検出ブ
ロックにつき領域を区別する情報である。この例では、
画面は3つの領域に分かれており、それぞれの領域の個
数は領域(−A)が13個、領域(0)が49個、領域
(A)が8個で、最も範囲が大きな背景を表わす領域
(0)が選択される。
The above operation will be specifically described with reference to FIG. FIG. 11D shows the area information after the input image of FIG. 11A is divided according to the operation of the first embodiment of the screen dividing unit 4 described above. This area information is information that distinguishes areas for each detection block. In this example,
The screen is divided into three areas. The number of each area is 13 in the area (-A), 49 in the area (0), and 8 in the area (A). (0) is selected.

【0081】このように、画像中で最も大きな物体の動
きベクトルを検出することで、例えばTV会議システム
等でカメラが固定されて、画像はほとんど一人の人物で
占められているような場合、非常に効果的な画像追尾処
理を行うことができる。
As described above, by detecting the motion vector of the largest object in the image, when the camera is fixed in the TV conference system or the like and the image is occupied by almost one person, Therefore, effective image tracking processing can be performed.

【0082】(領域選択手段の実施例2)図7は上記領
域選択手段5の動作の他の例を示すフローチャートであ
る。
(Second Embodiment of Area Selecting Means) FIG. 7 is a flow chart showing another example of the operation of the area selecting means 5.

【0083】画面分割手段4によって保存された領域情
報を読出し(ステップ501)、各領域内の動きの大き
さを比較してステップ(506)、最も動きの小さな領
域を探す。ここでは、画面分割手段4により画面は動き
ベクトルの大きさによって分割されているので、領域情
報の中で最も絶対値の小さな領域を選択する(ステップ
507)。そして、最後に選択された領域の動きベクト
ルを送出する(ステップ505)。
The area information stored by the screen dividing means 4 is read (step 501), the magnitude of the movement in each area is compared, and the step (506) is performed to find the area with the smallest movement. Here, since the screen is divided by the size of the motion vector by the screen dividing means 4, the area having the smallest absolute value in the area information is selected (step 507). Then, the motion vector of the finally selected area is transmitted (step 505).

【0084】以上の動作を、図11により具体的に説明
する。図11の(d)は図11の(a)の入力画像を前
述の画面分割手段4の実施例1の動作に従って分割した
後の領域情報を示している。この領域情報は、各検出ブ
ロックにつき領域を区別する情報である。この例では、
画面は3つの領域に分かれており、それぞれの領域で0
が最も絶対値が小さいので、その背景を表わす領域
(0)が選択される。
The above operation will be specifically described with reference to FIG. FIG. 11D shows the area information after the input image of FIG. 11A is divided according to the operation of the first embodiment of the screen dividing unit 4 described above. This area information is information that distinguishes areas for each detection block. In this example,
The screen is divided into three areas, with 0 in each area.
Has the smallest absolute value, the region (0) representing the background is selected.

【0085】このように、画像中で最も小さな物体の動
きベクトルを検出することで、例えばビデオカメラで撮
像する画像は被写体が動かないように意識して撮影する
ので、非常に効果的な画像ぶれ補正を行うことができ
る。
As described above, by detecting the motion vector of the smallest object in the image, the image captured by the video camera, for example, is captured while keeping the subject stationary so that the image blur is very effective. Corrections can be made.

【0086】(領域選択手段の実施例3)図8は上記領
域選択手段5の動作の他の例を示すフローチャートであ
る。
(Third Embodiment of Area Selecting Means) FIG. 8 is a flow chart showing another example of the operation of the area selecting means 5.

【0087】現フィールドで画面分割手段4によって保
存された領域情報を読出すとともに(ステップ50
1)、前回のフィールド処理時に領域選択手段5によっ
て保存された前選択領域情報を読出す(ステップ50
8)。そして、前フィールドで選択された領域につい
て、今フィールドで分割された領域の占める個数、つま
り前選択領域内の各領域の検出ブロック数を計測する
(ステップ509)。
The area information stored by the screen dividing means 4 in the current field is read out (step 50).
1) Read the previously selected area information stored by the area selecting means 5 at the previous field processing (step 50).
8). Then, with respect to the region selected in the previous field, the number of regions divided in the current field, that is, the number of detected blocks in each region in the previous selected region is measured (step 509).

【0088】次に、計測された個数を比較し(ステップ
503)、最も個数の多い領域を選択する(ステップ5
04)。この選択された領域の位置データの情報は、次
回の領域選択時に比較するためメモリに保存する(ステ
ップ510)。最後に、選択された領域の動きベクトル
を送出する(ステップ505)。
Next, the measured numbers are compared (step 503) and the region with the largest number is selected (step 5).
04). The information on the position data of the selected area is stored in the memory for comparison at the next area selection (step 510). Finally, the motion vector of the selected area is transmitted (step 505).

【0089】以上の動作を、図12により具体的に説明
する。図12の(a),(b)は連続する2フィールド
の入力画像を示している。また、図12の(c)は図1
2の(a)の画像処理時に、領域選択手段5によって保
存された選択領域情報を示しており、図中の斜線で表わ
された領域が選択領域である。
The above operation will be specifically described with reference to FIG. 12A and 12B show an input image of two consecutive fields. In addition, FIG.
The selected area information stored by the area selection unit 5 during the image processing of 2 (a) is shown, and the area shaded in the drawing is the selected area.

【0090】図12の(d)は図12の(b)の入力画
像を前述の画面分割手段4の実施例1の動作に従って分
割した後の領域情報を示している。そして、図12の
(c)の選択領域における図12の(d)の領域情報
は、図12の(e)に示すように、最大個数を占める領
域(−A)が選択される。よって、図12の(b)の画
像の選択領域情報は、図12の(f)に示すようにな
り、この情報が次のフィールド処理時に備えて保存され
る。
FIG. 12D shows the area information after the input image of FIG. 12B is divided according to the operation of the first embodiment of the screen dividing means 4 described above. Then, in the area information of (d) of FIG. 12 in the selected area of (c) of FIG. 12, the area (-A) that occupies the maximum number is selected as shown in (e) of FIG. Therefore, the selected area information of the image of FIG. 12B becomes as shown in FIG. 12F, and this information is saved in preparation for the next field processing.

【0091】このように、画像中のある一つの物体の動
きベクトルを時間的に連続して検出することで、物体の
大きさや速さの変化に関係なくある物体の動きベクトル
を検出することができ、非常に効果的な画像ぶれ補正や
画像追尾処理を行うことができる。
As described above, by continuously detecting the motion vector of a certain object in an image, it is possible to detect the motion vector of an object regardless of the change in the size or speed of the object. Therefore, it is possible to perform very effective image blur correction and image tracking processing.

【0092】(領域選択手段の実施例4)図9は上記領
域選択手段5の動作の他の例を示すフローチャートであ
る。
Fourth Embodiment of Area Selecting Means FIG. 9 is a flow chart showing another example of the operation of the area selecting means 5.

【0093】現フィールドで画面分割手段4によって保
存された領域情報及び、前フィールド処理時に領域選択
手段5によって保存された選択領域情報を読出す(ステ
ップ501,508)。そして、前フィールドで選択さ
れた領域があれば(ステップ511)、その領域内で現
フィールドで分割された領域の占める個数を計測する
(ステップ509)。次に、計測された個数を比較し
(ステップ503)、最も個数の多い領域を選択する
(ステップ504)。
The area information saved by the screen dividing means 4 in the current field and the selected area information saved by the area selecting means 5 during the previous field processing are read (steps 501 and 508). If there is a region selected in the previous field (step 511), the number of regions divided by the current field in that region is measured (step 509). Next, the measured numbers are compared (step 503) and the region with the largest number is selected (step 504).

【0094】また、前フィールドで選択された領域がな
ければ(ステップ511)、画面分割手段4によって保
存された領域情報に従って各領域内の動きの大きさを比
較し(ステップ506)、最も動きの小さな領域を探し
て選択する(ステップ507)。このとき、画面分割手
段4により、画面は動きベクトルの大きさによって分割
されているので、領域情報の中で最も絶対値の小さな領
域を選択する。そして、選択した領域の位置データを次
回の領域選択時に比較するために保存する(ステップ5
10)。最後に、選択された領域の動きベクトルを送出
する(ステップ505)。
If there is no area selected in the previous field (step 511), the magnitude of the movement within each area is compared according to the area information stored by the screen dividing means 4 (step 506), and the largest movement is detected. A small area is searched for and selected (step 507). At this time, since the screen is divided by the size of the motion vector by the screen dividing means 4, the area having the smallest absolute value in the area information is selected. Then, the position data of the selected area is saved for comparison at the next area selection (step 5).
10). Finally, the motion vector of the selected area is transmitted (step 505).

【0095】[0095]

【発明の効果】以上説明したように、本発明によれば、
画面をそれぞれ動きベクトルの異なる複数の領域に分割
し、その中から所定の条件に従って一つの領域を選択
し、その領域の動きベクトルから画像全体の動きベクト
ルを決定するようにしたため、画像中に複数の移動物が
存在する場合でも、画像を各移動物が存在する移動領域
と、移動物がない静止領域に分割することによって、画
像全体の動きベクトルを精度良く求めることができる。
As described above, according to the present invention,
Since the screen is divided into multiple areas with different motion vectors, one area is selected according to the specified conditions, and the motion vector of the entire image is determined from the motion vector of that area. Even when the moving object exists, the image can be accurately obtained by dividing the image into a moving area where each moving object exists and a stationary area where there is no moving object.

【0096】また、画面分割手段の分割精度を適応的に
変化させることによって、ある領域の動きベクトルを更
に精度良く求めることができる。
By adaptively changing the division accuracy of the screen division means, the motion vector of a certain area can be obtained with higher accuracy.

【0097】また、領域選択手段で最も範囲が大きな動
きベクトルの領域を選択することにより、例えばTV会
議システム等で使われるカメラは固定されているが、画
像はほとんど一人の人物で占められているような場合、
画像追尾処理が非常に効果的に行える。
By selecting the area of the motion vector having the largest range by the area selecting means, the camera used in, for example, the TV conference system is fixed, but the image is occupied by almost one person. In such cases,
Image tracking processing can be performed very effectively.

【0098】また、領域選択手段で最も動きの小さな動
きベクトルの領域を選択することにより、例えばビデオ
カメラで撮影する画像は撮影したい被写体が動かないよ
うに撮影者が意識するので、画像ぶれ補正処理が非常に
効果的に行える。
Further, by selecting the area of the motion vector having the smallest movement by the area selecting means, the photographer is aware that the object to be photographed does not move in the image photographed by the video camera. Can be done very effectively.

【0099】また、画像中のある一つの物体の動きベク
トルを時間的に連続して検出することにより、物体の大
きさや速さの変化に関係なくある物体の動きベクトルを
検出でき、画像ぶれ補正処理や画像追尾処理を非常に効
果的に行える。
Further, by continuously detecting the motion vector of one object in the image in time, the motion vector of the object can be detected regardless of the change in the size or speed of the object, and the image blur correction can be performed. Processing and image tracking processing can be performed very effectively.

【0100】また、上記の画像ぶれ補正処理あるいは画
像追尾処理が可能な高性能の撮像装置を実現することが
できる。
Further, it is possible to realize a high-performance image pickup apparatus capable of performing the above-described image blur correction processing or image tracking processing.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明に係る動きベクトル検出装置の構成を
示すブロック図
FIG. 1 is a block diagram showing a configuration of a motion vector detection device according to the present invention.

【図2】 動きベクトル検出装置を備えた画像ぶれ補正
装置及び画像追尾装置の構成を示すブロック図
FIG. 2 is a block diagram showing the configurations of an image blur correction device and an image tracking device provided with a motion vector detection device.

【図3】 画像ぶれ補正装置または画像追尾装置を有し
た撮像装置の構成を示すブロック図
FIG. 3 is a block diagram showing a configuration of an image pickup apparatus having an image blur correction device or an image tracking device.

【図4】 画面分割手段の動作の一例を示すフローチャ
ート
FIG. 4 is a flowchart showing an example of the operation of the screen dividing means.

【図5】 画面分割手段の動作の他の例を示すフローチ
ャート
FIG. 5 is a flowchart showing another example of the operation of the screen dividing means.

【図6】 領域選択手段の動作の一例を示すフローチャ
ート
FIG. 6 is a flowchart showing an example of the operation of the area selection means.

【図7】 領域選択手段の動作の他の例を示すフローチ
ャート
FIG. 7 is a flowchart showing another example of the operation of the area selection means.

【図8】 領域選択手段の動作の他の例を示すフローチ
ャート
FIG. 8 is a flowchart showing another example of the operation of the area selection means.

【図9】 領域選択手段の動作の他の例を示すフローチ
ャート
FIG. 9 is a flowchart showing another example of the operation of the area selection means.

【図10】 動きベクトルの分類を示す説明図FIG. 10 is an explanatory diagram showing classification of motion vectors.

【図11】 画面分割手段及び領域選択手段の具体的動
作を示す説明図
FIG. 11 is an explanatory diagram showing specific operations of the screen dividing unit and the region selecting unit.

【図12】 領域選択手段の具体的動作を示す説明図FIG. 12 is an explanatory diagram showing a specific operation of the area selection means.

【図13】 従来の動きベクトル検出装置の構成を示す
ブロック図
FIG. 13 is a block diagram showing the configuration of a conventional motion vector detection device.

【符号の説明】[Explanation of symbols]

1 動きベクトル検出装置 2 画像ぶれ補正装置または画像追尾装置 4 画面分割手段 5 領域選択手段 11 相関演算回路 13 動きベクトル検出回路 14 信頼性判定手段 15 動きベクトル決定手段 31 CCD DESCRIPTION OF SYMBOLS 1 motion vector detection device 2 image blur correction device or image tracking device 4 screen division means 5 area selection means 11 correlation calculation circuit 13 motion vector detection circuit 14 reliability determination means 15 motion vector determination means 31 CCD

Claims (20)

【特許請求の範囲】[Claims] 【請求項1】 画面中の複数の位置での画像の動きベク
トルを検出する動きベクトル検出回路と、画面をそれぞ
れ動きベクトルの異なる複数の領域に分割する画面分割
手段と、分割された領域の一つを所定の条件に従って選
択する領域選択手段と、選択された領域の動きベクトル
から画像全体の動きを代表する動きベクトルを決定する
動きベクトル決定手段とを備えたことを特徴とする動き
ベクトル検出装置。
1. A motion vector detection circuit for detecting motion vectors of an image at a plurality of positions in a screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and one of the divided regions. Motion vector detecting apparatus, which comprises: a region selecting unit that selects one of the two in accordance with a predetermined condition; and a motion vector determining unit that determines a motion vector representing the motion of the entire image from the motion vector of the selected region .
【請求項2】 画面分割手段は、画面の各位置での動き
ベクトルの大きさに応じて分割精度を変えることを特徴
とする請求項1記載の動きベクトル検出装置。
2. The motion vector detection device according to claim 1, wherein the screen division means changes the division accuracy according to the magnitude of the motion vector at each position on the screen.
【請求項3】 領域選択手段は、複数の領域のうち最も
範囲が大きな領域を選択することを特徴とする請求項1
または2記載の動きベクトル検出装置。
3. The area selecting means selects the area having the largest range among the plurality of areas.
Alternatively, the motion vector detecting device described in 2.
【請求項4】 領域選択手段は、複数の領域のうち最も
動きベクトルが小さな領域を選択することを特徴とする
請求項1または2記載の動きベクトル検出装置。
4. The motion vector detecting apparatus according to claim 1, wherein the area selecting means selects an area having the smallest motion vector among the plurality of areas.
【請求項5】 領域選択手段は、複数の領域のうち前回
選択した領域に重なる範囲が最も大きな領域を選択する
ことを特徴とする請求項1または2記載の動きベクトル
検出装置。
5. The motion vector detecting apparatus according to claim 1, wherein the area selecting means selects an area having the largest range of overlapping with the previously selected area among the plurality of areas.
【請求項6】 領域選択手段は、複数の領域のうち、最
も範囲が大きな領域と、最も動きベクトルが小さな領域
と、前回選択した領域に重なる範囲が最も大きな領域の
何れかを選択することを特徴とする請求項1または2記
載の動きベクトル検出装置。
6. The area selecting means selects one of a plurality of areas, that is, the area having the largest range, the area having the smallest motion vector, and the area having the largest range overlapping the previously selected area. The motion vector detecting device according to claim 1 or 2, characterized in that
【請求項7】 画面中の複数の位置での画像の動きベク
トルを検出する動きベクトル検出回路と、画面をそれぞ
れ動きベクトルの異なる複数の領域に分割する画面分割
手段と、分割された領域の一つを選択する領域選択手段
と、選択された領域の動きベクトルから画像全体の動き
を代表する動きベクトルを決定する動きベクトル決定手
段とからなる動きベクトル検出装置を備えたことを特徴
とする画像ぶれ補正装置。
7. A motion vector detection circuit for detecting motion vectors of an image at a plurality of positions in a screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and one of the divided regions. An image blur, which is provided with a motion vector detection device including a region selection unit that selects one of the two and a motion vector determination unit that determines a motion vector representative of the motion of the entire image from the motion vector of the selected region. Correction device.
【請求項8】 動きベクトル検出装置の画面分割手段
は、画面の各位置での動きベクトルの大きさに応じて分
割精度を変えることを特徴とする請求項7記載の画像ぶ
れ補正装置。
8. The image blur correction device according to claim 7, wherein the screen division means of the motion vector detection device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.
【請求項9】 動きベクトル検出装置の領域選択手段
は、複数の領域のうち、最も範囲が大きな領域と、最も
動きベクトルが小さな領域と、前回選択した領域に重な
る範囲が最も大きな領域の何れかを選択することを特徴
とする請求項7または8記載の画像ぶれ補正装置。
9. The area selecting means of the motion vector detecting device is any one of a plurality of areas having a largest range, an area having a smallest motion vector, and an area having a largest range overlapping the previously selected area. 9. The image blur correction device according to claim 7, wherein the image blur correction device is selected.
【請求項10】 画面中の複数の位置での画像の動きベ
クトルを検出する動きベクトル検出回路と、画面をそれ
ぞれ動きベクトルの異なる複数の領域に分割する画面分
割手段と、分割された領域の一つを選択する領域選択手
段と、選択された領域の動きベクトルから画像全体の動
きを代表する動きベクトルを決定する動きベクトル決定
手段とからなる動きベクトル検出装置を備えたことを特
徴とする画像追尾装置。
10. A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions in a screen, a screen dividing means for dividing the screen into a plurality of regions each having a different motion vector, and one of the divided regions. Image tracking, which is provided with a motion vector detection device including a region selection unit that selects one of the two and a motion vector determination unit that determines a motion vector representative of the motion of the entire image from the motion vector of the selected region. apparatus.
【請求項11】 動きベクトル検出装置の画面分割手段
は、画面の各位置での動きベクトルの大きさに応じて分
割精度を変えることを特徴とする請求項10記載の画像
追尾装置。
11. The image tracking device according to claim 10, wherein the screen division means of the motion vector detection device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.
【請求項12】 動きベクトル検出装置の領域選択手段
は、複数の領域のうち、最も範囲が大きな領域と、最も
動きベクトルが小さな領域と、前回選択した領域に重な
る範囲が最も大きな領域の何れかを選択することを特徴
とする請求項10または11記載の画像追尾装置。
12. The area selecting means of the motion vector detecting device is any one of a plurality of areas having a largest range, an area having a smallest motion vector, and an area having a largest range overlapping with a previously selected area. The image tracking device according to claim 10 or 11, characterized in that
【請求項13】 画面中の複数の位置での画像の動きベ
クトルを検出する動きベクトル検出回路と、画面をそれ
ぞれ動きベクトルの異なる複数の領域に分割する画面分
割手段と、分割された領域の一つを選択する領域選択手
段と、選択された領域の動きベクトルから画像全体の動
きを代表する動きベクトルを決定する動きベクトル決定
手段とからなる動きベクトル検出装置を備えた画像ぶれ
補正装置を有することを特徴とする撮像装置。
13. A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions on a screen, a screen dividing means for dividing the screen into a plurality of regions having different motion vectors, and one of the divided regions. An image blur correction device including a motion vector detection device including a region selection unit that selects one of the two and a motion vector determination unit that determines a motion vector representative of the motion of the entire image from the motion vector of the selected region. An imaging device characterized by.
【請求項14】 画像ぶれ補正装置の画面分割手段は、
画面の各位置での動きベクトルの大きさに応じて分割精
度を変えることを特徴とする請求項13記載の撮像装
置。
14. The screen dividing means of the image blur correction device,
14. The image pickup apparatus according to claim 13, wherein the division accuracy is changed according to the magnitude of the motion vector at each position on the screen.
【請求項15】 画像ぶれ補正装置の領域選択手段は、
複数の領域のうち、最も範囲が大きな領域と、最も動き
ベクトルが小さな領域と、前回選択した領域に重なる範
囲が最も大きな領域の何れかを選択することを特徴とす
る請求項13または14記載の撮像装置。
15. The area selection means of the image blur correction device comprises:
15. The one of a plurality of regions, which has a largest range, a region having a smallest motion vector, and a region which has a largest range overlapping with a previously selected region, are selected. Imaging device.
【請求項16】 画面中の複数の位置での画像の動きベ
クトルを検出する動きベクトル検出回路と、画面をそれ
ぞれ動きベクトルの異なる複数の領域に分割する画面分
割手段と、分割された領域の一つを選択する領域選択手
段と、選択された領域の動きベクトルから画像全体の動
きを代表する動きベクトルを決定する動きベクトル決定
手段とからなる動きベクトル検出装置を備えた画像追尾
装置を有することを特徴とする撮像装置。
16. A motion vector detection circuit for detecting a motion vector of an image at a plurality of positions in a screen, a screen dividing means for dividing the screen into a plurality of regions each having a different motion vector, and one of the divided regions. An image tracking device having a motion vector detection device including a region selection unit that selects one of the two and a motion vector determination unit that determines a motion vector representing the motion of the entire image from the motion vector of the selected region. A characteristic imaging device.
【請求項17】 画像追尾装置の画面分割手段は、画面
の各位置での動きベクトルの大きさに応じて分割精度を
変えることを特徴とする請求項16記載の撮像装置。
17. The image pickup apparatus according to claim 16, wherein the screen division means of the image tracking device changes the division accuracy according to the magnitude of the motion vector at each position on the screen.
【請求項18】 画像追尾装置の領域選択手段は、複数
の領域のうち、最も範囲が大きな領域と、最も動きベク
トルが小さな領域と、前回選択した領域に重なる範囲が
最も大きな領域の何れかを選択することを特徴とする請
求項16または17記載の撮像装置。
18. The area selecting means of the image tracking device selects one of a plurality of areas, the area having the largest range, the area having the smallest motion vector, and the area having the largest range overlapping the previously selected area. 18. The image pickup apparatus according to claim 16, wherein the image pickup apparatus is selected.
【請求項19】 画面中の複数の位置での画像の動きベ
クトルを検出し、その画面をそれぞれ動きベクトルの異
なる複数の領域に分割し、この分割された複数の領域の
中から所定の条件に従って一つの領域を選択し、その選
択された領域の動きベクトルから画像全体の動きを代表
する動きベクトルを検出することを特徴とする動きベク
トル検出方法。
19. A motion vector of an image at a plurality of positions on a screen is detected, the screen is divided into a plurality of regions having different motion vectors, and a predetermined condition is selected from among the plurality of divided regions. A motion vector detection method characterized by selecting one area and detecting a motion vector representing the motion of the entire image from the motion vector of the selected area.
【請求項20】 分割された画面の複数の領域の中か
ら、最も範囲が大きな領域と、最も動きベクトルが小さ
な領域と、前回選択した領域に重なる範囲が最も大きな
領域の何れかを選択することを特徴とする請求項19記
載の動きベクトル検出方法。
20. Selecting, from a plurality of divided screen areas, an area having a largest range, an area having a smallest motion vector, or an area having a largest range overlapping with a previously selected area. 20. The motion vector detecting method according to claim 19, further comprising:
JP5575195A 1995-03-15 1995-03-15 Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device Withdrawn JPH08251474A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5575195A JPH08251474A (en) 1995-03-15 1995-03-15 Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5575195A JPH08251474A (en) 1995-03-15 1995-03-15 Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device

Publications (1)

Publication Number Publication Date
JPH08251474A true JPH08251474A (en) 1996-09-27

Family

ID=13007563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5575195A Withdrawn JPH08251474A (en) 1995-03-15 1995-03-15 Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device

Country Status (1)

Country Link
JP (1) JPH08251474A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000506982A (en) * 1996-10-30 2000-06-06 アプライド スペクトラル イメージング リミテッド Moving object, interferometer based spectral imaging method
JP2007036743A (en) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd Method of synthesizing multiple images and imaging apparatus
JP2007036741A (en) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd Method and apparatus for synthesizing multiple images
JP2007122275A (en) * 2005-10-26 2007-05-17 Casio Comput Co Ltd Motion vector detection device and its program
KR100827794B1 (en) * 2005-07-29 2008-05-07 재단법인서울대학교산학협력재단 compensating method for camera image fluctuation
JP2009188837A (en) * 2008-02-07 2009-08-20 Olympus Corp Image pickup apparatus and image pickup method
JP2010041417A (en) * 2008-08-05 2010-02-18 Olympus Corp Image processing unit, image processing method, image processing program, and imaging apparatus
JP2010258710A (en) * 2009-04-23 2010-11-11 Canon Inc Motion vector detection apparatus, method for controlling the same, and image capturing apparatus
US8111877B2 (en) 2008-02-07 2012-02-07 Olympus Corporation Image processing device and storage medium storing image processing program
US8164685B2 (en) 2008-02-26 2012-04-24 Olympus Corporation Image pickup apparatus which performs aperture value control for a multiple exposure image, and recording medium
US8379932B2 (en) 2008-08-05 2013-02-19 Olympus Corporation Image processing apparatus, recording medium storing image processing program, and electronic apparatus
JP5389049B2 (en) * 2008-12-16 2014-01-15 パナソニック株式会社 Imaging apparatus, semiconductor integrated circuit, and motion vector determination method
JP2014123359A (en) * 2012-12-21 2014-07-03 Samsung Techwin Co Ltd Digital image processing apparatus and method of estimating global motion of image
US8849040B2 (en) 2011-06-10 2014-09-30 Canon Kabushiki Kaisha Image combining apparatus
US9405170B2 (en) 2010-11-11 2016-08-02 Samsung Electronics Co., Ltd. Method and apparatus for continuous auto focusing of a camera in a mobile terminal
WO2020039688A1 (en) * 2018-08-24 2020-02-27 パナソニックIpマネジメント株式会社 Encoder device and encoding method

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000506982A (en) * 1996-10-30 2000-06-06 アプライド スペクトラル イメージング リミテッド Moving object, interferometer based spectral imaging method
JP2007036743A (en) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd Method of synthesizing multiple images and imaging apparatus
JP2007036741A (en) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd Method and apparatus for synthesizing multiple images
JP4654817B2 (en) * 2005-07-27 2011-03-23 パナソニック電工株式会社 Multiple image composition method and multiple image composition device
KR100827794B1 (en) * 2005-07-29 2008-05-07 재단법인서울대학교산학협력재단 compensating method for camera image fluctuation
JP2007122275A (en) * 2005-10-26 2007-05-17 Casio Comput Co Ltd Motion vector detection device and its program
US8320452B2 (en) 2005-10-26 2012-11-27 Casio Computer Co., Ltd. Imaging apparatus with motion vector detecting function
US8111877B2 (en) 2008-02-07 2012-02-07 Olympus Corporation Image processing device and storage medium storing image processing program
JP2009188837A (en) * 2008-02-07 2009-08-20 Olympus Corp Image pickup apparatus and image pickup method
US8164685B2 (en) 2008-02-26 2012-04-24 Olympus Corporation Image pickup apparatus which performs aperture value control for a multiple exposure image, and recording medium
US8199202B2 (en) 2008-08-05 2012-06-12 Olympus Corporation Image processing device, storage medium storing image processing program, and image pickup apparatus
JP2010041417A (en) * 2008-08-05 2010-02-18 Olympus Corp Image processing unit, image processing method, image processing program, and imaging apparatus
US8379932B2 (en) 2008-08-05 2013-02-19 Olympus Corporation Image processing apparatus, recording medium storing image processing program, and electronic apparatus
JP5389049B2 (en) * 2008-12-16 2014-01-15 パナソニック株式会社 Imaging apparatus, semiconductor integrated circuit, and motion vector determination method
US8780990B2 (en) 2008-12-16 2014-07-15 Panasonic Intellectual Property Corporation Of America Imaging device for motion vector estimation using images captured at a high frame rate with blur detection and method and integrated circuit performing the same
JP2010258710A (en) * 2009-04-23 2010-11-11 Canon Inc Motion vector detection apparatus, method for controlling the same, and image capturing apparatus
US9405170B2 (en) 2010-11-11 2016-08-02 Samsung Electronics Co., Ltd. Method and apparatus for continuous auto focusing of a camera in a mobile terminal
US8849040B2 (en) 2011-06-10 2014-09-30 Canon Kabushiki Kaisha Image combining apparatus
JP2014123359A (en) * 2012-12-21 2014-07-03 Samsung Techwin Co Ltd Digital image processing apparatus and method of estimating global motion of image
WO2020039688A1 (en) * 2018-08-24 2020-02-27 パナソニックIpマネジメント株式会社 Encoder device and encoding method

Similar Documents

Publication Publication Date Title
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
JP2940762B2 (en) Video camera with image stabilization device
KR100252080B1 (en) Apparatus for stabilizing video signals through revising the motion of the video signals using bit plane matching and a stabilizing method therefor
US8194148B2 (en) Image processing device, electronic camera and image processing program
US7929611B2 (en) Frame rate converting apparatus, pan/tilt determining apparatus, and video apparatus
JPH08251474A (en) Motion vector detector, motion vector detection method, image shake correction device, image tracking device and image pickup device
US20090207266A1 (en) Image processing device, camera device, image processing method, and program
US20030081465A1 (en) Apparatus and method for processing output from image sensor
JP4876065B2 (en) Motion vector detection device, motion vector detection method, imaging device, and program
US8436906B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2010114752A (en) Device and method of imaging and program
KR20160000423A (en) Image processing apparatus, control method thereof, and storage medium
JP2679778B2 (en) Image motion detection device
KR960014831B1 (en) Auto-image stabilization device of camcoder
JPH04213973A (en) Image shake corrector
JPH04309078A (en) Jiggling detector for video data
JP2944369B2 (en) Video camera shake correction device and video camera
JPH06121214A (en) Image recorder
JPH0316470A (en) Hand blur correction device
JP3639640B2 (en) Motion vector detection device
JP5759162B2 (en) Motion vector detection device, motion vector detection method, correction device, and program
US8964837B2 (en) Regional film cadence detection
JP5704069B2 (en) Image input device
WO2024034390A1 (en) Information processing device, information processing method, and program
JP2925890B2 (en) Video camera with image stabilization device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20020604