KR20090019197A - Apparatus and method for estimating motion by hand trembling, and image pickup device using the same - Google Patents

Apparatus and method for estimating motion by hand trembling, and image pickup device using the same Download PDF

Info

Publication number
KR20090019197A
KR20090019197A KR1020070083449A KR20070083449A KR20090019197A KR 20090019197 A KR20090019197 A KR 20090019197A KR 1020070083449 A KR1020070083449 A KR 1020070083449A KR 20070083449 A KR20070083449 A KR 20070083449A KR 20090019197 A KR20090019197 A KR 20090019197A
Authority
KR
South Korea
Prior art keywords
motion
block
motion vector
image
unit
Prior art date
Application number
KR1020070083449A
Other languages
Korean (ko)
Other versions
KR101392732B1 (en
Inventor
이창우
신윤철
최동범
남태욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070083449A priority Critical patent/KR101392732B1/en
Priority to US12/045,837 priority patent/US8035690B2/en
Priority to PCT/KR2008/001436 priority patent/WO2009025434A1/en
Priority to RU2010106087/09A priority patent/RU2433563C1/en
Priority to CN2008800222692A priority patent/CN101690236B/en
Priority to EP08153979A priority patent/EP2028840B1/en
Publication of KR20090019197A publication Critical patent/KR20090019197A/en
Application granted granted Critical
Publication of KR101392732B1 publication Critical patent/KR101392732B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

A motion estimator and a method thereof and an image photographing apparatus using the same by the vibration of hands using the same are provided to determine weighted value about a block motion vector according to the zoom magnification and focus information. A block weight setting up part(510) especially determines a weighted value about a different motion vector by a block or a domain by using focus information and zoom magnification information. A block partitioning part(520) divides the video signal image-picked up into block or the domain of the fixation part. A motion estimation part(530) estimates the motion vector about each block divided in the block partitioning part by using a block matching algorithm. A region motion detecting part(540) corrects with the image in which it is generated to be shaken as the time direction. A hand shaking correction part(560) corrects the location of the frame.

Description

손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치{Apparatus and method for estimating motion by hand trembling, and image pickup device using the same}Apparatus and method for estimating motion by hand trembling, and image pickup device using the same}

본 발명은 영상 촬상 장치에 관한 것이며, 특히 주움(zoom) 정보 및 포커스 정보를 이용하여 손떨림에 의한 영상의 전역 움직임 벡터를 추정하는 움직임 추정 장치 및 방법, 그를 이용한 영상 촬상 장치에 관한 것이다.The present invention relates to an image capturing apparatus, and more particularly, to a motion estimation apparatus and method for estimating a global motion vector of an image due to hand shake using zoom information and focus information, and an image capturing apparatus using the same.

대부분의 동영상 처리 기법에서는 인접하는 프레임(Frame)간에 나타나는 지역적인 물체의 움직임(local motion)만을 추정하여 보상하는 움직임 보상기법을 사용하고 있다. 그러나 실제 동영상 내에는 지역적인 움직임 뿐만 아니라 카메라의 줌(Zoom), 팬(Pan), 로테이션(Rotation) 등과 같이 영상전체에 영향을 미치는 움직임이 포함되어 있는 경우가 있다. 이러한 영상전체에 영향을 미치는 움직임을 전역 움직임(global motion)이라 한다. 통상적으로 카메라와 캠코더와 같은 영상 촬상 장치는 전역 움직임을 이용하여 프레임의 위치를 조정한다. Most video processing techniques use a motion compensation technique that estimates and compensates only local motion of objects that appear between adjacent frames. However, the actual video may include not only local movement but also movements affecting the entire image such as the zoom, pan, and rotation of the camera. The motion affecting the entire image is called a global motion. Typically, image capturing devices such as cameras and camcorders use global movement to adjust the position of the frame.

이러한 영상 촬상 장치는 영상 촬영시 조작자의 손떨림 및 주변 진동에 의해 시간 방향으로 촬영 영상의 공간적 위치가 변화한다. In such an image capturing apparatus, a spatial position of a captured image is changed in a time direction due to an operator's hand shaking and surrounding vibration when the image is captured.

통상적으로 움직이는 카메라로부터 획득한 영상에는 배경의 움직임과 물체의 움직임이 동시에 존재하므로 영상마다 전역 움직임을 계산하여 물체의 움직임을 검출한다. In general, since the motion of the background and the motion of the object exist simultaneously in the image obtained from the moving camera, the motion of the object is detected by calculating the global motion for each image.

종래의 전역 움직임 벡터 추정 방법은 영상 촬영 장치들이 제공하는 줌에 의해 전역 움직임 벡터를 찾기가 어려운 문제점이 발생한다. In the conventional global motion vector estimation method, it is difficult to find the global motion vector by zoom provided by the image capturing apparatus.

도 1a는 줌 배율이 적을 때 촬영될 영상이고, 도 1b는 줌 배율이 높을 때 촬영될 영상이다.1A is an image to be photographed when the zoom magnification is small, and FIG. 1B is an image to be photographed when the zoom magnification is high.

장치의 손 떨림과 물체의 움직임이 동시에 발생한 경우 물체의 움직임은 도 1a의 피사체 영역(103)에서 찾을 수 있다. When the shaking of the device and the movement of the object occur at the same time, the movement of the object can be found in the subject area 103 of FIG. 1A.

따라서 손 떨림에 의한 움직임은 피사체 영역(103)을 제외한 모든 영역에서 나타나게 되고 또한 전체 영역 대비 상대적으로 큰 비율을 나타내게 된다. 그러나 도 1b와 같이 줌 배율이 커지게 되면 피사체 영역(104)은 전체 영역 대비 상대적으로 큰 비율을 나타내게 된다. Therefore, the motion caused by the hand shaking is displayed in all areas except the subject area 103 and also shows a relatively large ratio with respect to the entire area. However, as shown in FIG. 1B, when the zoom magnification is increased, the subject area 104 may have a relatively large ratio with respect to the entire area.

따라서 피사체의 움직임은 조작자의 의도된 카메라 움직임보다는 적은 빈도를 가지지만 줌 배율이 커지면 커질수록 전체 영상에서 피사체가 차지하는 비율이 커진다.Therefore, the movement of the subject is less frequent than the intended camera movement of the operator, but as the zoom magnification increases, the ratio of the subject to the entire image increases.

따라서 줌 배율이 커지게 되면 피사체에 의한 움직임이 전체 영역에서 크게 영향을 미치게 되어 손 떨림에 의한 전역 움직임 벡터를 선정하는 데 어려움이 발생한다.Therefore, when the zoom magnification increases, the movement by the subject greatly affects the entire area, and thus, it is difficult to select the global motion vector due to the hand shake.

본 발명이 해결하고자하는 과제는 카메라나 캠코더와 같은 영상 촬상 장치에서 줌 배율 정보 및 포커스 정보에 따라 블록 움직임 벡터에 대한 가중치를 설정하여 손 떨림에 의한 전역 움직임을 추정하는 손떨림에 의한 움직임 추정 장치 및 방법을 제공하는 데 있다. SUMMARY An object of the present invention is to provide a motion estimation apparatus based on hand shake, which estimates global motion due to hand shake by setting weights for block motion vectors according to zoom magnification information and focus information in an image capturing apparatus such as a camera or a camcorder. To provide a way.

본 발명이 해결하고자하는 과제는 상기 손떨림에 의한 움직임 추정 장치 및 방법을 적용한 영상 촬상 장치를 제공하는 데 있다. SUMMARY OF THE INVENTION An object of the present invention is to provide an image capturing apparatus to which the apparatus and method for estimating motion caused by hand shake are applied.

상기의 과제를 해결하기 위하여, 본 발명은 영상 촬상 장치의 움직임 추정 방법에 있어서, In order to solve the above problems, the present invention provides a motion estimation method of an image pickup apparatus,

포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정;Determining a weight for a motion vector in units of blocks depending on the focus information and the zoom magnification information;

촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정;Dividing the photographed image into a plurality of blocks and predicting a motion vector for each block;

상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함하는 것을 특징으로 한다.And estimating global motion by applying weights of the determined motion vector in the block unit to the predicted block motion vectors.

상기의 다른 과제를 해결하기 위하여, 본 발명은 영상 촬상 기기의 움직임 추정 장치에 있어서, MEANS TO SOLVE THE PROBLEM In order to solve the said another subject, this invention is a motion estimation apparatus of an image pick-up apparatus,

포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;A block weight setting unit that determines weights of different motion vectors for each block according to the focus information and the zoom magnification information;

촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;A motion estimator for estimating a motion vector for each of the divided blocks in the captured image;

상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부를 포함하는 것을 특징으로 한다. And a global motion estimator for estimating global motion by applying weights to the motion vectors in the block unit to the motion vectors estimated in the block unit.

상술한 바와 같이 본 발명에 의하면, 포커스 정보와 줌 배율에 따라 손 떨림에 의한 움직임과 피사체의 움직임에 의한 비율이 달리지게 된다. 따라서 카메라나 캠코더와 같은 영상 촬상 장치에서 줌 배율 및 포커스 정보에 따라 블록 움직임 벡터에 대한 가중을 결정함으로써 손 떨림에 의한 움직임을 정확하게 추정할 수 있다. 또한 줌 배율에 따라 적응적으로 움직임 벡터를 찾음으로써 전역 벡터 추정시 피사체의 움직임에 의한 영향을 최소화할 수 있다. As described above, according to the present invention, the movement due to hand shake and the movement of the subject vary according to the focus information and the zoom magnification. Accordingly, by determining the weighting of the block motion vector according to the zoom magnification and the focus information in the image capturing apparatus such as a camera or a camcorder, it is possible to accurately estimate the motion due to the hand shake. Also, by adaptively finding the motion vector according to the zoom magnification, the influence of the movement of the subject in minimizing the global vector can be minimized.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 2는 통상적인 촬상 이미지 정보를 설명하기 위한 3D 세계(World) 좌표계를 도시한 것이다. 2 illustrates a 3D world coordinate system for describing general captured image information.

3D 세계의 움직임이 2D 이미지 플레인에 투영되었을 때 영상 촬상 장치에서 제공하는 줌(zoom)에 의해 줌 배율과 이미지 플레인상의 피사체 크기는 선형적 관계를 갖는다.When the motion of the 3D world is projected onto the 2D image plane, the zoom magnification and the subject size on the image plane have a linear relationship due to the zoom provided by the image capturing apparatus.

도 2는 3D 세계(World) 좌표상의 어떤 물체(203)가 이미지 플레인(plane)(202)에 맺히는 정보를 나타낸다. 2 shows information that an object 203 in 3D world coordinates bears on the image plane 202.

204는 줌에 의한 영향으로 생성되는 정보를 나타내며, 줌 배율의 변화에 따라 다음과 같은 수학 식 1과 같은 관계를 얻을 수 있다.204 represents information generated by the influence of the zoom, and a relationship as shown in Equation 1 below can be obtained according to the change of the zoom magnification.

Figure 112007059965847-PAT00001
Figure 112007059965847-PAT00001

Figure 112007059965847-PAT00002
Figure 112007059965847-PAT00002

Figure 112007059965847-PAT00003
Figure 112007059965847-PAT00003

Figure 112007059965847-PAT00004
Figure 112007059965847-PAT00004

여기서 Z는 3차원 공간상에서 피사체의 깊이 정보이며, f는 줌 정보이다. Z is depth information of a subject in three-dimensional space, and f is zoom information.

수학식 1로부터 물체가 이미지 플레인에 맺히는 위치(x, y)는 줌 정보(f)와 선형적인 관계가 있음을 알 수 있다. It can be seen from Equation 1 that the position (x, y) of the object in the image plane has a linear relationship with the zoom information (f).

따라서 물체가 이미지 플레인에 맺히는 위치(x, y)와 줌 정보(f)간의 선형적인 관계로 인해 전역 움직임 벡터를 추정하는 데 있어서 문제가 발생한다. Therefore, a problem arises in estimating the global motion vector due to the linear relationship between the position (x, y) and the zoom information (f) at which the object forms the image plane.

도 3a는 촬상 장치에서 촬영시 손떨림이 발생하였을 때 움직임 벡터의 빈도 수를 나타내는 그래프이다. 3A is a graph showing the frequency number of a motion vector when a hand shake occurs in the image capturing apparatus.

도 3b는 촬상 장치에서 줌 배율을 크게 설정했을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.3B is a graph showing the frequency of the motion vectors when the zoom magnification is set large in the imaging device.

도 3a를 참조하면, x좌표는 움직임 벡터(mv)의 크기값을 나타내고, y좌표는 움직임 벡터의 빈도수(frequency)를 나타낸다. 303은 블록 단위 움직임 추정한 후 블록 단위의 움직임 벡터의 크기 분포를 나타낸다. 도 3a의 움직임 벡터의 크기 분포를 보면 x좌표축으로 한 개의 큰 피크와 또 다른 한 개의 작은 피크 값이 존재한다. 여기서 손 떨림에 의한 움직임은 영상의 전체 영역에 영향을 미치기 때문에 피크가 큰 mvx1(404)을 손 떨림에 의한 움직임 벡터로 피크가 적은 mvx2(405)를 물체의 움직임 벡터로 판단할 수 있다. Referring to FIG. 3A, the x coordinate represents a magnitude value of the motion vector mv, and the y coordinate represents a frequency of the motion vector. 303 shows a size distribution of a motion vector of a block unit after the block unit motion estimation. Referring to the size distribution of the motion vector of FIG. 3A, one large peak and another small peak exist in the x-coordinate axis. Wherein movement of the hand movement is the mv x2 (405) the peak less the large mv x1 (404) peak as a motion vector due to hand movement because it affects the entire region of the image can be determined as a motion vector of the object, .

그러나 줌 배율을 크게 하거나 촬영 대상이 동일 선상의 깊이에 존재하지 않는 경우 전체 영역에 대비하여 물체가 영상에서 차지하는 비율이 커지게 된다. 따라서 촬영시 도 3b에 도시된 바와 같이 x좌표축으로 두 개의 피크가 생기게 된다. 따라서 두 개의 피크들 즉, mvx1(406), mvx2(408)중에서 어느 것이 손 떨림에 의한 움직임 벡터인지 판단하는데 있어 어려움을 갖게 된다.However, when the zoom magnification is increased or the photographing target is not present at the depth of collinear lines, the object occupies in the image in relation to the entire area. Therefore, as shown in FIG. 3B, two peaks are generated on the x-coordinate axis. Therefore, it is difficult to determine which of the two peaks, mv x1 406 and mv x2 408, is a motion vector due to hand shaking.

도 4는 본 발명에 따른 영상 촬상 장치의 전체 블록도이다.4 is an overall block diagram of an image pickup apparatus according to the present invention.

도 4의 영상 촬상 장치는 촬영 렌즈부(410), 포커스 측정부(420), 이미지 센서부(430), 디지털 이미지 안정화부(440), 제어부(450), 조작부(460)로 구성된다.The image capturing apparatus of FIG. 4 includes a photographing lens unit 410, a focus measuring unit 420, an image sensor unit 430, a digital image stabilizing unit 440, a control unit 450, and an operation unit 460.

촬영 렌즈부(410)는 광학 렌즈 모듈을 이용하여 촬영하고자 하는 피사체상 을 이미지 센서부(430)의 입사면상에 결상시킨다. The photographing lens unit 410 forms an image of a subject to be photographed on the incident surface of the image sensor unit 430 by using the optical lens module.

이미지 센서부(430)는 CCD 또는 CMOS 타입이 있으며, 입사면상에 결상되는 피사체상을 촬상하여 해당 아날로그 RGB 신호를 출력한다. The image sensor 430 has a CCD or CMOS type, and photographs a subject image formed on an incident surface and outputs an analog RGB signal.

조작부(460)는 오퍼레이터로부터 기능 선택 및 동작 제어에 관련된 조작 명령을 입력받는다. 특히, 조작부(460)는 조작자의 줌 변환 명령을 받아 제어부(460)에 인가한다. The operation unit 460 receives an operation command related to function selection and operation control from an operator. In particular, the operation unit 460 receives an operator's zoom conversion command and applies it to the control unit 460.

포커스 측정부(420)는 주지의 기술을 이용하여 촬상된 영상의 영역들중에서 포커스된 위치를 측정하여 제어부(420)로 인가한다. 예를 들면, 포커스 측정부(420)는 주지의 촬상된 영상의 고주파 성분을 체크하여 포커스 정보를 판단한다.The focus measuring unit 420 measures the focused position among the areas of the image picked up using a known technique and applies it to the control unit 420. For example, the focus measuring unit 420 determines the focus information by checking a high frequency component of a known image.

제어부(450)는 조작부(460)를 통해 조작자의 줌 변환 정보를 수신하여 촬영 렌즈부(410)의 줌 배율 및 포커스를 조정하고, 포커스 측정부(420)로부터 포커스 정보를 수신한다. 일실시예로 제어부(450)는 특정 피사체를 촬영하여 광학 줌을 조작 했을 때 조작자가 얼마 만큼의 줌 배율이 적용되었는지를 디지털 이미지 안정화부(440)에 전해주게 된다. 그리고 제어부(450)는 영상에서 어느 위치에 포커스가 맞았는지를 디지털 이미지 안정화부(440)에 전해주게 된다.The controller 450 receives the operator's zoom conversion information through the operation unit 460, adjusts the zoom magnification and the focus of the photographing lens unit 410, and receives the focus information from the focus measuring unit 420. In one embodiment, the control unit 450 informs the digital image stabilization unit 440 how much zoom magnification is applied when the operator operates the optical zoom by photographing a specific subject. The controller 450 informs the digital image stabilization unit 440 which position in the image is focused.

디지털 이미지 안정화부(440)는 이미지 센서부(430)에서 입력되는 손 떨림 영상으로부터 전역 움직임 벡터들을 검출하고, 그 전역 움직임 벡터를 누적하여 안정화된 영상을 얻는다. 특히 디지털 이미지 안정화부(440)는 제어부(450)의 줌 배율 및 포커스 정보에 따라 블록 단위 움직임 벡터의 가중을 결정하고, 그 블록 단위 움직임 벡터의 가중에 근거하여 손 떨림에 의한 전역 움직임을 추출한다. The digital image stabilizer 440 detects global motion vectors from the hand shake image input from the image sensor 430, and accumulates the global motion vectors to obtain a stabilized image. In particular, the digital image stabilization unit 440 determines the weight of the block unit motion vector according to the zoom magnification and the focus information of the controller 450, and extracts the global motion due to the hand shake based on the weight of the block unit motion vector. .

도 5는 도 4의 디지털 이미지 안정화부(440)의 상세도이다. 5 is a detailed view of the digital image stabilizer 440 of FIG. 4.

도 5의 디지털 이미지 안정화부는 블록 가중치 설정부(510), 블록 구획부(520), 움직임 추정부(530), 전역 움직임 검출부(540), 움직임 벡터 누적부(550), 손떨림 보정부(560)로 구성된다. The digital image stabilization unit of FIG. 5 includes a block weight setting unit 510, a block partitioning unit 520, a motion estimation unit 530, a global motion detection unit 540, a motion vector accumulator 550, and a camera shake correction unit 560. It consists of.

블록 가중치 설정부(510)는 포커스 정보 및 줌 배율 정보를 이용하여 블록 또는 영역 별로 서로 다른 움직임 벡터에 대한 가중치를 결정한다. 즉, 블록 가중치 설정부(510)는 포커스 정보에 의존적으로 미리 설정된 움직임 벡터의 가중 함수를 결정하고, 이어서 줌 배율 정보에 의존적으로 움직임 벡터의 가중 함수의 기울기를 변화시킨다. 이때 움직임 벡터의 가중 함수는 1차원 선형 함수 또는 2차원 선형 함수로 설정할 수 있다. 또한 줌 배율 또는 포커스 정보에 따른 블록별 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 미리 저장될 수 있다. 또한 블록별로 움직임 벡터에 대한 가중치 연산은 여러 실시예가 있을 수 있다. The block weight setting unit 510 determines weights for different motion vectors for each block or region using focus information and zoom magnification information. That is, the block weight setting unit 510 determines the weighting function of the motion vector preset in dependence on the focus information, and then changes the slope of the weighting function of the motion vector in dependence on the zoom magnification information. In this case, the weighting function of the motion vector may be set as a 1-dimensional linear function or a 2-dimensional linear function. In addition, the weight of the motion vector for each block according to the zoom magnification or the focus information may be stored in advance as a look-up table. In addition, the weight calculation for the motion vector for each block may be various embodiments.

블록 구획부(520)는 촬상된 영상 신호를 일정 단위의 블록 또는 영역으로 분할한다. The block dividing unit 520 divides the captured image signal into blocks or areas of a predetermined unit.

움직임 추정부(530)는 블록 정합 알고리듬을 이용하여 블록 구획부(520)에서 분할된 블록들 각각에 대해 움직임 벡터를 추정한다. 예를 들면, 움직임 추정부(530)는 인접한 프레임간의 시간적 상관성을 이용하여 참조 프레임(이전 프레임)의 블록과 현재 프레임의 블록간의 차를 계산하여 각 블록별로 움직임 벡터를 추정한다. The motion estimator 530 estimates a motion vector for each of the blocks divided by the block partitioner 520 using a block matching algorithm. For example, the motion estimator 530 estimates a motion vector for each block by calculating a difference between a block of a reference frame (previous frame) and a block of the current frame using temporal correlation between adjacent frames.

전역 움직임 검출부(540)는 시간 방향으로 흔들림이 발생한 영상을 교정하 기 위해 영상의 전역 움직임을 탐색한다. 따라서 전역 움직임 검출부(540)는 움직임 추정부(530)에서 추정된 각 블록별 움직임 벡터에 블록 가중치 설정부(510)에서 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 손떨림에 의한 전역 움직임 벡터를 검출한다.  The global motion detector 540 searches the global motion of the image to correct the image in which the shaking occurs in the time direction. Therefore, the global motion detector 540 applies the weights of the motion vectors in the unit of the block determined by the block weight setting unit 510 to the motion vectors for each block estimated by the motion estimation unit 530, and applies the global motion vectors due to hand shake. Detect.

움직임 누적부(550)는 전역 움직임 검출부(540)에서 검출된 전역 움직임 벡터를 누적한다. The motion accumulator 550 accumulates the global motion vectors detected by the global motion detector 540.

손떨림 보정부(560)는 움직임 누적부(550)에서 누적된 전역 움직임 벡터를 이용하여 손 떨림을 보상하기 위해 프레임의 위치를 보정한다. The image stabilizer 560 corrects the position of the frame to compensate for hand shake by using the global motion vector accumulated by the motion accumulator 550.

도 6은 본 발명에 따른 줌 배율에 따른 블록 단위의 움직임 벡터에 대한 가중 함수를 도시한 것이다. 6 illustrates a weighting function for a motion vector in units of blocks according to a zoom magnification according to the present invention.

도 6을 참조하면, x좌표는 x방향의 영상 공간 위치이고, y좌표는 움직임 벡터의 가중치이다. 603은 줌 배율이 없거나 작을 때 움직임 벡터의 가중함수이며, 604, 605, 606, 607은 줌 배율이 각각 1배, 3배, 8배, 10배에 해당하는 움직임 벡터 가중함수이다. 줌 배율이 1배, 3배, 8배, 10배로 커짐에 따라 피사체 움직임에 의한 영향을 줄이기 위하여 블록 단위의 영상에 설정되는 움직임 벡터의 가중 함수도 변화한다. 따라서 도 6에 도시된 바와 같이 줌 배율에 따라 블록 별로 서로 다른 움직임 벡터에 대한 가중치를 결정함으로써 줌 정보에 따른 움직임 추정을 적응적으로 수행할 수 있다. 이때 줌 배율에 따라 서로 다른 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 저장된다. Referring to FIG. 6, the x coordinate is an image space position in the x direction, and the y coordinate is a weight of a motion vector. 603 is a weighting function of the motion vector when there is no zoom factor or small, and 604, 605, 606, and 607 are motion vector weighting functions whose zoom magnifications are 1, 3, 8, and 10 times, respectively. As the zoom magnification is increased to 1, 3, 8, and 10 times, the weighting function of the motion vector set on the image in units of blocks also changes in order to reduce the effect of the movement of the subject. Accordingly, as shown in FIG. 6, motion estimation based on the zoom information may be adaptively determined by determining weights for different motion vectors for each block according to the zoom magnification. At this time, weights for different motion vectors according to the zoom magnification are stored in a look-up table.

도 7a 및 7b는 본 발명에 따른 포커스 정보에 따른 움직임 벡터에 대한 가중 함수의 변화를 나타낸 그림이다.7A and 7B illustrate a change in weighting function for a motion vector according to focus information according to the present invention.

도 7a 및 7b는 포커스가 맞추어진 영역에서 찾은 움직임 벡터에 큰 가중을 설정하게 되는 일 실시예를 도시한 것이다. 포커스 정보에 따라 서로 다른 움직임 벡터에 대한 가중치는 룩 - 업 테이블(look-up table)로 저장된다. 7A and 7B illustrate an embodiment in which a large weight is set on a motion vector found in a focused area. Weights for different motion vectors according to the focus information are stored in a look-up table.

도 7a를 참조하면, 701은 영상의 전체 영역을 나타내고, 702는 영상에서 포커스가 맞추어진 영역을 나타낸다. 따라서 영상 촬상 장치는 특정 피사체를 촬영했을 때 포커스가 맞추어진 중간 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 가중 함수(704)를 선택하게 된다. Referring to FIG. 7A, 701 denotes an entire area of an image, and 702 denotes a focused area of an image. Accordingly, the image capturing apparatus selects a weighting function 704 that gives a greater weight to the motion vector found in the focused middle region when the specific image is captured.

따라서 영상에서 피사체 영상을 검출하여 피사체와 배경의 움직임 벡터에 대한 가중치를 결정한다. Therefore, the subject image is detected from the image to determine the weight of the motion vector of the subject and the background.

도 7b를 참조하면, 706은 영상의 전체 영역을 나타내고, 705는 영상에서 포커스가 맞추어진 영역을 나타낸다. 따라서 영상 촬상 장치는 특정 피사체를 촬영했을 때 포커스가 맞추어진 외곽 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 가중 함수(708)를 선택하게 된다. Referring to FIG. 7B, 706 represents an entire area of the image, and 705 represents a focused area of the image. Accordingly, the image capturing apparatus selects a weighting function 708 that gives a greater weight to the motion vector found in the focused outer region when the specific image is captured.

따라서 손 떨림에 의한 움직임 정보가 많은 영상의 외곽 지역은 줌 배율이 높아질 때 상대적으로 높게 설정됨으로써 전체 영상에서 피사체가 차지하는 비율이 커진다 하더라도 손 떨림에 의한 전역 움직임 벡터를 정확하게 추정할 수 있게 된다.Therefore, the outer region of the image having a lot of motion information due to hand shake is set relatively high when the zoom magnification is increased, so that even if the proportion of the subject occupies in the entire image increases, it is possible to accurately estimate the global motion vector due to hand shake.

도 8은 본 발명에 따른 손떨림에 의한 움직임 추정 방법을 보이는 흐름도이다. 8 is a flowchart illustrating a method for estimating motion due to hand shake according to the present invention.

먼저, 특정 피사체를 촬영하여 광학 줌을 조작 했을 때 조작자가 조작한 줌 배율 정보를 추출한다(810 과정). First, when the optical zoom is operated by photographing a specific subject, the zoom magnification information manipulated by the operator is extracted (step 810).

그리고 영상에서 어느 위치에 포커스가 맞았는지를 알려주는 포커스 정보를 추출한다(820 과정). In operation 820, focus information indicating which position in the image is in focus is extracted.

이어서, 포커스 정보 및 줌 배율 정보를 이용하여 영상의 블록 또는 영역 별로 서로 다른 움직임 벡터에 대한 가중치를 결정한다(830 과정). 이때 벡터의 크기 변화는 주움 배율에 의존해야 한다. 그리고 포커스가 맞는 위치에서의 움직임 벡터를 채용해야 한다.Subsequently, weights for different motion vectors are determined for each block or region of the image using the focus information and the zoom magnification information (step 830). The change in size of the vector should depend on the magnification. And we have to adopt the motion vector at the focused position.

따라서 촬영된 영상에서 움직임 벡터를 적용하기 위한 일 실시예로, 포커스 정보에 의존적으로 미리 설정된 움직임 벡터의 가중 함수를 결정하고, 이어서 줌 배율 정보에 의존적으로 움직임 벡터의 가중 함수의 기울기를 변화시킨다. Therefore, as an embodiment for applying a motion vector to a captured image, a weighting function of a predetermined motion vector is determined depending on the focus information, and then the slope of the weighting function of the motion vector is changed depending on the zoom magnification information.

한편 촬상된 영상이 입력되면(840 과정) 그 영상을 일정 크기의 블록 또는 영역으로 분할한다(850). Meanwhile, when the captured image is input (step 840), the image is divided into blocks or regions having a predetermined size (850).

이어서, 블록 매칭 알고리듬을 이용하여 분할된 블록들 각각에 대해 움직임 벡터를 추정한다(860 과정). 프레임 매칭 알고리듬은 현재 영상과 이전 영상을 일정 크기의 작은 블록으로 나누고 각각의 블록에 대해 움직임을 예측하여 움직임 벡터를 얻는다. In operation 860, a motion vector is estimated for each of the divided blocks using a block matching algorithm. The frame matching algorithm divides the current image and the previous image into small blocks of a certain size and predicts the motion for each block to obtain a motion vector.

이어서, 추정된 각 블록별 움직임 벡터에 블록별로 서로 다른 움직임 벡터에 대한 가중치를 부여하여 전역 움직임을 검출한다(870 과정). 예를 들면, 가중치가 부여된 블록별 움직임 벡터들의 빈도수를 이용하여 히스토그램을 작성하고, 그 히 스토그램에서 빈도수가 가장 큰 움직임 벡터를 전역 움직임 벡터로 추정한다. Subsequently, the global motion is detected by assigning weights to different motion vectors for each block to the estimated motion vectors for each block (step 870). For example, a histogram is created using the frequencies of the weighted block-by-block motion vectors, and the motion vector with the highest frequency in the histogram is estimated as the global motion vector.

이어서, 전역 움직임 벡터를 누적하여 프레임 위치를 조정함으로써 영상의 손떨림을 보정한다(890 과정). Next, the camera shake is corrected by accumulating the global motion vector to adjust the frame position (step 890).

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다. The present invention is not limited to the above-described embodiment, and of course, modifications may be made by those skilled in the art within the spirit of the present invention.

또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.The present invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, flash memory, optical data storage device, and also carrier waves (for example, transmission over the Internet). It also includes the implementation in the form of. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

도 1a 및 도 1b는 줌 배율의 변화에 따라 촬영된 영상 화면을 도시한 것이다. 1A and 1B illustrate image screens photographed according to a change in a zoom magnification.

도 2는 통상적인 촬상 이미지 정보를 설명하기 위한 3D 세계(World) 좌표계를 도시한 것이다. 2 illustrates a 3D world coordinate system for describing general captured image information.

도 3a는 촬상 장치에서 촬영시 손떨림이 발생하였을 때 움직임 벡터의 빈도수를 나타내는 그래프이다. 3A is a graph showing the frequency of the motion vector when the hand shake occurs in the image capturing apparatus.

도 3b는 촬상 장치에서 줌 배율을 크게 설정했을 때 움직임 벡터의 빈도수를 나타내는 그래프이다.3B is a graph showing the frequency of the motion vectors when the zoom magnification is set large in the imaging device.

도 4는 본 발명에 따른 영상 촬상 장치의 블록도이다.4 is a block diagram of an image pickup apparatus according to the present invention.

도 5는 도 4의 디지털 이미지 안정화부의 상세도이다. 5 is a detailed view of the digital image stabilization unit of FIG. 4.

도 6은 본 발명에 따른 줌 배율에 따른 블록 단위의 움직임 벡터에 대한 가중 함수를 도시한 것이다. 6 illustrates a weighting function for a motion vector in units of blocks according to a zoom magnification according to the present invention.

도 7a 및 7b는 본 발명에 따른 포커스 정보에 따른 움직임 벡터에 대한 가중 함수의 변화를 나타낸 그림이다.7A and 7B illustrate a change in weighting function for a motion vector according to focus information according to the present invention.

도 8은 본 발명에 따른 손떨림에 의한 움직임 추정 방법을 보이는 흐름도이다. 8 is a flowchart illustrating a method for estimating motion due to hand shake according to the present invention.

Claims (15)

영상 촬상 장치의 움직임 추정 방법에 있어서, In the motion estimation method of the image pickup device, 포커스 정보 및 줌 배율 정보에 의존적으로 블록 단위의 움직임 벡터에 대한 가중치를 결정하는 과정;Determining a weight for a motion vector in units of blocks depending on the focus information and the zoom magnification information; 촬상된 영상을 복수개 블록들로 나누고 각각의 블록에 대해 움직임 벡터를 예측하는 과정;Dividing the photographed image into a plurality of blocks and predicting a motion vector for each block; 상기 예측된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 과정을 포함하는 영상 촬상 장치의 움직임 추정 방법.Estimating a global motion by applying weights of the determined block-based motion vector to the predicted block-based motion vectors. 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은 The method of claim 1, wherein the weighting process for the motion vector is performed. 상기 포커스 정보에 의존적으로 움직임 벡터의 가중 함수를 결정하고,Determine a weighting function of the motion vector depending on the focus information, 상기 줌 배율 정보에 의존적으로 상기 움직임 벡터의 가중 함수의 기울기를 변화시키는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.And changing the inclination of the weighting function of the motion vector in dependence on the zoom magnification information. 제2항에 있어서, 상기 움직임 벡터의 가중 함수는 1차원함수 또는 2차원 함수로 설정하는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.The motion estimation method of claim 2, wherein the weighting function of the motion vector is set to a one-dimensional function or a two-dimensional function. 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은 The method of claim 1, wherein the weighting process for the motion vector is performed. 상기 포커스가 맞추어진 영역에서 찾은 움직임 벡터에 더 큰 가중치를 두는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.And a greater weight is placed on the motion vector found in the focused area. 제1항에 있어서, 상기 움직임 벡터에 대한 가중치 설정 과정은 The method of claim 1, wherein the weighting process for the motion vector is performed. 영상에서 피사체 영역을 검출하여 피사체와 배경의 가중치를 결정하는 것임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.The method for estimating motion of an image capturing apparatus according to claim 1, wherein the weight of the subject and the background is determined by detecting a subject region in the image. 제1항에 있어서, 상기 줌 배율에 따라 상기 블록별로 서로 다른 움직임 벡터에 대한 가중치를 설정하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.The method of claim 1, wherein weights for different motion vectors are set for each block according to the zoom magnification. 제1항에 있어서, 상기 포커스 정보에 따라 상기 블록별로 서로 다른 움직임 벡터에 대한 가중치를 설정하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.The method of claim 1, wherein weights for different motion vectors are set for each block according to the focus information. 제1항에 있어서, 상기 전역 움직임 추정 과정은The method of claim 1, wherein the global motion estimation process 상기 가중치가 부여된 블록별 움직임 벡터들의 빈도수를 계산하고, Calculating the frequency of the weighted block-by-block motion vectors, 그 빈도수가 가장 큰 움직임 벡터를 전역 움직임 벡터로 추정하는 과정임을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.A motion estimation method of an image capturing apparatus, comprising: estimating a motion vector having the highest frequency as a global motion vector. 제1항에 있어서, 상기 줌 배율에 따라 서로 다른 움직임 벡터에 대한 가중치를 룩 -업 테이블로 저장하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.The method of claim 1, wherein weights for different motion vectors according to the zoom magnification are stored as a look-up table. 제1항에 있어서, 상기 포커스 정보에 따라 서로 다른 움직임 벡터에 대한 가중치를 룩 -업 테이블로 저장하는 것을 특징으로 하는 영상 촬상 장치의 움직임 추정 방법.The method of claim 1, wherein weights of different motion vectors are stored as a look-up table according to the focus information. 영상 촬상 기기의 움직임 추정 장치에 있어서, In the motion estimation device of the image pickup device, 포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;A block weight setting unit that determines weights of different motion vectors for each block according to the focus information and the zoom magnification information; 촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;A motion estimator for estimating a motion vector for each of the divided blocks in the captured image; 상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부를 포함하는 움직임 추정 장치. And a global motion estimator for estimating global motion by applying a weight to the motion vectors in the block unit to the motion vectors estimated in the block unit. 제11항에 있어서, 상기 블록 가중치 설정부는The method of claim 11, wherein the block weight setting unit 줌 배율 및 포커스 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 저장한 룩 -업 테이블을 구비하는 것을 특징으로 하는 움직임 추정 장치.And a look-up table storing weights for different motion vectors for each block according to zoom magnification and focus information. 제11항에 있어서, 상기 블록 가중치 설정부는The method of claim 11, wherein the block weight setting unit 포커스 정보에 의존적으로 움직임 벡터의 가중 함수를 결정하고,Determine the weighting function of the motion vector depending on the focus information, 상기 줌 배율 정보에 의존적으로 상기 움직임 벡터의 가중 함수의 기울기를 변화시키는 것임을 특징으로 하는 움직임 추정 장치.And changing the slope of the weighting function of the motion vector in dependence on the zoom magnification information. 영상 촬상 장치에 있어서, In the video image pickup device, 이미지 신호를 생성하는 이미지 센서부;An image sensor unit generating an image signal; 조작자의 줌 변환 정보를 수신하여 광 렌즈 모듈의 줌 배율 및 포커스를 조정하는 제어부;A control unit which receives the operator's zoom conversion information and adjusts the zoom magnification and focus of the optical lens module; 상기 제어부의 줌 배율 및 포커스 정보에 따라 블록 단위 움직임 벡터의 가중을 결정하고, 블록 단위 움직임 벡터의 가중에 근거하여 상기 센서부에서 생성된 이미지 신호의 전역 움직임을 추출하는 이미지 안정화부를 포함하는 영상 촬상 장치.An image capture unit comprising: an image stabilization unit configured to determine the weight of a block unit motion vector according to the zoom magnification and focus information of the controller, and extract a global motion of the image signal generated by the sensor unit based on the weight of the block unit motion vector. Device. 제14항에 있어서, 상기 이미지 안정화부는 The method of claim 14, wherein the image stabilization unit 포커스 정보 및 줌 배율 정보에 따라 블록별로 서로 다른 움직임 벡터에 대한 가중치를 결정하는 블록 가중치 설정부;A block weight setting unit that determines weights of different motion vectors for each block according to the focus information and the zoom magnification information; 촬영된 영상내 분할된 블록들 각각에 대해 움직임 벡터를 추정하는 움직임 추정부;A motion estimator for estimating a motion vector for each of the divided blocks in the captured image; 상기 움직임 추정부에서 추정된 블록 단위의 움직임 벡터들에 상기 결정된 블록 단위의 움직임 벡터에 대한 가중치를 적용하여 전역 움직임을 추정하는 전역 움직임 추정부; A global motion estimator for estimating global motion by applying weights of the determined motion vector in the block unit to the motion vectors estimated in the block unit; 상기 움직임 누적부에서 누적된 전역 움직임 벡터를 바탕으로 손 떨림을 보상하는 손떨림 보정부를 구비하는 것을 특징으로 하는 영상 촬상 장치.And a hand shake correction unit for compensating for hand shake based on the global motion vector accumulated by the motion accumulator.
KR1020070083449A 2007-08-20 2007-08-20 Apparatus and method for estimating motion by hand trembling, and image pickup device using the same KR101392732B1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020070083449A KR101392732B1 (en) 2007-08-20 2007-08-20 Apparatus and method for estimating motion by hand trembling, and image pickup device using the same
US12/045,837 US8035690B2 (en) 2007-08-20 2008-03-11 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
PCT/KR2008/001436 WO2009025434A1 (en) 2007-08-20 2008-03-14 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
RU2010106087/09A RU2433563C1 (en) 2007-08-20 2008-03-14 Apparatus and method of estimating displacement due to arm shake and device using said method and apparatus to obtain images
CN2008800222692A CN101690236B (en) 2007-08-20 2008-03-14 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
EP08153979A EP2028840B1 (en) 2007-08-20 2008-04-02 Apparatus and method for estimating motion due to hand trembling and image pickup device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070083449A KR101392732B1 (en) 2007-08-20 2007-08-20 Apparatus and method for estimating motion by hand trembling, and image pickup device using the same

Publications (2)

Publication Number Publication Date
KR20090019197A true KR20090019197A (en) 2009-02-25
KR101392732B1 KR101392732B1 (en) 2014-05-08

Family

ID=40016127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070083449A KR101392732B1 (en) 2007-08-20 2007-08-20 Apparatus and method for estimating motion by hand trembling, and image pickup device using the same

Country Status (6)

Country Link
US (1) US8035690B2 (en)
EP (1) EP2028840B1 (en)
KR (1) KR101392732B1 (en)
CN (1) CN101690236B (en)
RU (1) RU2433563C1 (en)
WO (1) WO2009025434A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348855B1 (en) * 2012-10-30 2014-01-16 성균관대학교산학협력단 Method, apparatus and image capturing system for real-time image stabilization with reduced search range using motion sensors
US8724704B2 (en) 2010-02-17 2014-05-13 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation and image processing apparatus

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5298899B2 (en) * 2009-02-03 2013-09-25 株式会社Ｊｖｃケンウッド Image correction processing apparatus and image correction processing method
JP5740844B2 (en) 2009-11-24 2015-07-01 株式会社リコー Imaging apparatus, image processing method, and computer program
KR20110068635A (en) * 2009-12-16 2011-06-22 삼성전자주식회사 Apparatus for processing digital image and thereof method and a computer-readable storage medium
CN102118559B (en) * 2009-12-30 2012-10-03 华晶科技股份有限公司 Method for adjusting shooting conditions of digital camera by utilizing motion detection
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
KR101710624B1 (en) 2010-07-27 2017-02-27 삼성전자주식회사 Digital photographing method, Digital photographing apparatus and medium for recording the method
JP5759162B2 (en) * 2010-12-16 2015-08-05 キヤノン株式会社 Motion vector detection device, motion vector detection method, correction device, and program
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP5864880B2 (en) * 2011-04-07 2016-02-17 オリンパス株式会社 Endoscope apparatus and method for operating endoscope apparatus
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
CN104580907B (en) * 2014-12-31 2018-11-23 广东欧珀移动通信有限公司 A kind of photographic method and device of stabilization
JP6086619B2 (en) 2015-03-27 2017-03-01 株式会社日立国際電気 Encoding apparatus and encoding method
CN105578061A (en) * 2016-02-25 2016-05-11 广东欧珀移动通信有限公司 Anti-shaking method and device for photographing, and mobile terminal
JP2022120683A (en) * 2021-02-05 2022-08-18 キヤノン株式会社 Image processing apparatus and image processing method, program, and storage medium

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928217T2 (en) 1988-09-09 1998-01-29 Canon Kk Automatic image stabilization device
KR100319034B1 (en) 1993-06-29 2002-03-21 다카노 야스아키 Video camera with image stabilization
US6734901B1 (en) * 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
DE60032452T2 (en) 1999-09-21 2007-10-11 Koninklijke Philips Electronics N.V. METHOD FOR GLOBAL MOTOR ESTIMATION
RU2197070C2 (en) 2000-07-31 2003-01-20 Государственное унитарное предприятие "Конструкторское бюро приборостроения" Method of image stabilization and device for its realization
US7050500B2 (en) 2001-08-23 2006-05-23 Sharp Laboratories Of America, Inc. Method and apparatus for motion vector coding with global motion parameters
IL160758A0 (en) 2001-09-07 2004-08-31 Intergraph Hardware Tech Co Method, device and computer program product for demultiplexing of video images
US7321626B2 (en) 2002-03-08 2008-01-22 Sharp Laboratories Of America, Inc. System and method for predictive motion estimation using a global motion predictor
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
EP1376471A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
DE60234649D1 (en) * 2002-12-26 2010-01-14 Mitsubishi Electric Corp IMAGE PROCESSOR
JP4010254B2 (en) 2003-02-06 2007-11-21 ソニー株式会社 Image recording / reproducing apparatus, image photographing apparatus, and chromatic aberration correction method
EP1700471B1 (en) 2003-12-23 2008-09-24 Nxp B.V. Method and system for stabilizing video data
JP4404822B2 (en) * 2004-08-31 2010-01-27 三洋電機株式会社 Camera shake correction apparatus and imaging device
JP4636887B2 (en) * 2005-01-11 2011-02-23 キヤノン株式会社 Optical equipment
JP2006287814A (en) * 2005-04-04 2006-10-19 Fuji Photo Film Co Ltd Imaging apparatus and method of determining motion vector
JP2007033543A (en) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp Imaging apparatus
CN101238714B (en) * 2005-08-12 2012-03-28 Nxp股份有限公司 Method and system for digital image stabilization
CN100551057C (en) 2005-12-29 2009-10-14 北京中星微电子有限公司 A kind of method and encoder of realizing video code anti-shake based on dynamic image
JP4655957B2 (en) * 2006-02-20 2011-03-23 ソニー株式会社 Captured image distortion correction method, captured image distortion correction apparatus, imaging method, and imaging apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724704B2 (en) 2010-02-17 2014-05-13 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation and image processing apparatus
KR101348855B1 (en) * 2012-10-30 2014-01-16 성균관대학교산학협력단 Method, apparatus and image capturing system for real-time image stabilization with reduced search range using motion sensors

Also Published As

Publication number Publication date
EP2028840B1 (en) 2011-12-14
EP2028840A3 (en) 2010-10-13
US8035690B2 (en) 2011-10-11
KR101392732B1 (en) 2014-05-08
RU2433563C1 (en) 2011-11-10
CN101690236B (en) 2013-05-15
US20090051777A1 (en) 2009-02-26
CN101690236A (en) 2010-03-31
EP2028840A2 (en) 2009-02-25
WO2009025434A1 (en) 2009-02-26
RU2010106087A (en) 2011-08-27

Similar Documents

Publication Publication Date Title
KR101392732B1 (en) Apparatus and method for estimating motion by hand trembling, and image pickup device using the same
US9854168B2 (en) One-pass video stabilization
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
JP5794705B2 (en) Imaging apparatus, control method thereof, and program
JP4623111B2 (en) Image processing apparatus, image processing method, and program
JP6395506B2 (en) Image processing apparatus and method, program, and imaging apparatus
KR20100107594A (en) Apparatus and method for image stabilization using adaptive kalman filter
JP2018151689A (en) Image processing apparatus, control method thereof, program and storage medium
KR101830077B1 (en) Image processing apparatus, control method thereof, and storage medium
CN107018311B (en) Mobile information acquisition device, mobile information acquisition method, and recording medium
JP2010114752A (en) Device and method of imaging and program
US8036525B2 (en) Method and apparatus for motion compensation
JP5968379B2 (en) Image processing apparatus and control method thereof
US20120019677A1 (en) Image stabilization in a digital camera
CN106454066B (en) Image processing apparatus and control method thereof
JP2019062340A (en) Image shake correction apparatus and control method
JP7013205B2 (en) Image shake correction device and its control method, image pickup device
JP2019149717A (en) Image processing apparatus, image processing method, imaging apparatus, program, and storage medium
JP2017212636A (en) Image processing apparatus, imaging apparatus, and image processing method
JP2010079815A (en) Image correction device
JP2022099120A (en) Subject tracking device and control method for the same
JP5610967B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP2021044653A (en) Motion vector detection device and motion vector detection method
JP2020086824A (en) Image processing system, image processing method, imaging device, and program
JP2020102786A (en) Image processing device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 6