WO2014175484A1 - 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 - Google Patents

흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 Download PDF

Info

Publication number
WO2014175484A1
WO2014175484A1 PCT/KR2013/003542 KR2013003542W WO2014175484A1 WO 2014175484 A1 WO2014175484 A1 WO 2014175484A1 KR 2013003542 W KR2013003542 W KR 2013003542W WO 2014175484 A1 WO2014175484 A1 WO 2014175484A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
frame
stabilized
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/003542
Other languages
English (en)
French (fr)
Inventor
배주한
황영배
최병호
김정호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2014175484A1 publication Critical patent/WO2014175484A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Definitions

  • the present invention relates to image stabilization, and more particularly, to a method for stabilizing shake caused in an image and an image processing apparatus using the same.
  • Low fps video with low frame rate is less accurate in feature point matching due to image blur when camera shake is severe and inaccurate motion between frames.
  • Image stabilization using hardware cannot correct the movement of a complex camera by correcting only horizontal and vertical changes, and causes a problem of raising a model price due to a sensor price.
  • the general image stabilization method of stabilizing an image by minimizing the motion difference between frames has a problem of generating an unnatural image when there is a sudden motion change in the future.
  • the present invention been made in view of the above problems, an object of the present invention, after extracting the "motion between frames in High fps video, and stabilize the extraction motion, stabilized by selecting only a portion of the frame
  • An image stabilization method for generating a stabilized low fps image based on motion and an image processing apparatus using the same are provided.
  • a method for stabilizing an image comprising: selecting a part of frames constituting a first image at a first frame rate; Motion stabilizing the frames selected in the selecting step; And outputting a second image having a second frame rate composed of frames stabilized in the stabilizing step.
  • the image stabilization method may further include grouping the frames constituting the first image into a plurality of segments, wherein the selecting step may select a frame for each segment. have. . Also, in the selecting step, one frame may be selected for each segment.
  • the most stabilized frame the actual number of frames included in the segment It may be a frame in which the difference between the cumulative motion and the stabilized cumulative motion is minimal.
  • the first frame rate may be higher than the second frame rate.
  • the image stabilization method the step of extracting the motion between the frames constituting the first image; And step 1 for generating stabilized motions from the motions extracted in the extracting step, wherein the stabilizing step multiplies the selected frame by the inverse of the cumulative motion up to a specific previous point, and the previous specific point in time. By multiplying the stabilized cumulative motion up to a corresponding point in time of the frame, the motion stabilization may be performed.
  • the stabilized motion generation step may generate a stabilized motion by a weighted sum using the motions of the previous time point and the motions of the after time point.
  • the weight may be determined based on motions from a frame output time point to subsequent time points.
  • the acquisition unit for obtaining a first image of the first frame rate; And an image processor that selects some of the frames constituting the first image acquired by the acquisition unit, performs motion stabilization of the selected frames, and outputs a second image having a second frame rate composed of the stabilized frames.
  • a low fps image is generated by selecting frames having a minimum difference between a real cumulative motion and a stabilized cumulative motion, unnaturalness that may occur in the low fps image may be minimized.
  • the motion stabilization is performed by referring to the motion of the frames of the previous time point and the subsequent time point based on the frame output time point, a natural image stabilization result can be obtained even with a sudden camera movement.
  • FIG. 1 is a block diagram of an image processing apparatus to which the present invention is applicable;
  • FIG. 2 is a flowchart provided to explain a method of stabilizing a shake image according to an exemplary embodiment of the present invention.
  • 2 is a graph illustrating an example of actual motion and stabilized motion
  • FIG. 4 is a diagram illustrating a specific method of selecting a frame for each segment.
  • the image processing apparatus 100 to which the present invention is applicable includes an image capturing unit 110, an image processor 120, and an image application unit 130 as shown in FIG. 1.
  • the image capturing unit 110 photographs the front to generate a high fps image (an image having a high frame rate, for example, a 120 fps image), and transmits the generated image to the image processor 120.
  • a high fps image an image having a high frame rate, for example, a 120 fps image
  • the high fps image captured by the image capturing unit 110 is unstable because of the large shake. can do.
  • the image processor 120 converts the 'unstable' Highfps image received from the image capturing unit 110 into a 'stable' low fps image (an image having a low frame rate, for example, a 30 fps image). In this process, the image is stabilized by shaking the image by the image processor 120.
  • the image application unit 130 is a low fps stabilized by the image processor 120 Perform a variety of applications from the image.
  • the grand performance performed by the image grand unit 130 may include image display and storage as well as image recognition, object tracking, and event detection.
  • FIG. 2 is a flowchart provided to explain a shake image stabilization method according to a preferred embodiment of the present invention.
  • the image processor 120 extracts interframe motions constituting the high fps image (S220). Specifically, in step S220, the time between adjacent frames and ⁇
  • the feature point Daeung relationship is generated and the inter-frame motion ⁇ 1) is extracted based on this.
  • Equation 1 Since the previous inter-frame motions are extracted for all the frames constituting the high fps image, the relationship shown in Equation 1 below may be established.
  • step S230 the image processor 120 stabilizes all the motions extracted in step S220 (S230). Specifically, in step S230, the motion w-i stabilized by the sum of the additive value using the smoothing KernelOO and the inter-frame motions is generated.
  • Smoothing Kernel (K) can be implemented with Gaussian kernel.
  • the highest weight can be enjoyed at 't', which is the frame output time.
  • the input section of the smoothing kernel (K) is from 't-N' to 't + N'.
  • 't + N' is the current time, after the frame output time, and 't-N' is before the frame output time. Therefore, for the motion stabilization at step S230, both the output time point and the motions before and after the time point are used.
  • the Gaussian kernel as the sigma increases, the Gaussian distribution becomes flat and the stabilization increases.
  • the absolute value average of motions from the frame output time 't' to the current time 't + N' is calculated.
  • ⁇ can be determined based on Equation 2 below.
  • d th is the threshold
  • c is a constant
  • a init is the initial value of ⁇ , which is determined by the specifications of the system and the desired performance.
  • step S230 of FIG. 2 the dx components of the motions stabilized by step S230 of FIG. 2 are indicated by a dashed line, and it can be confirmed that the shaking is alleviated.
  • the image processor 120 groups the frames constituting the high fps image into a plurality of segments (S240).
  • the number of frames included in the segments is equal to n.
  • the number n of frames included in the segment may be determined by Equation 3 below.
  • fps H is the frame rate of the high fps image input to the image processor 120
  • the image processor 120 selects one of the most stable frames for each segment (S250).
  • the frame selected in step S250 is a frame having a minimum difference between the actual cumulative motion ( ⁇ ′ ⁇ ) and the stabilized cumulative motion ( ⁇ o), and is specifically selected by using Equation 4 below.
  • D t is the difference between the actual cumulative motion and the stabilized cumulative motion, where the cumulative motion is a cumulative motion from the output time point t to a subsequent time point t + n.
  • f means ⁇ whose D t is the minimum among ⁇ belonging to the segment ⁇ .
  • step S260 The low fps image generation in step S260 is generated using Equation 5 below.
  • Equation 5 denotes a frame constituting a low fps image, and may be generated by multiplying by and multiplying ⁇ o. Then, ( ⁇ ) is the inverse of, which is the actual cumulative motion from the key frame J o to, and is the stabilized cumulative motion in the same period.
  • the image processor 120 outputs the motion stabilized low fps image generated in operation S260 ' (S270).
  • the image capturing unit 110 stabilizes an image acquired through photographing, which is merely exemplary.
  • the technical idea of the present invention is also applicable to stabilization of an image stored in a storage medium or an image received through a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치가 제공된다. 본 발명의 실시예에 따른 영상 안정화 방법은, High fps 영상으로 프레임들 간 모션을 추출하고 추출된 모션을 안정화시킨 후에, 프레임들 중 일부만을 선정하여 안정화된 모션을 기반으로 안정화된 Low fps 영상을 생성한다. 이에 의해, 흔들림이 심한 영상에서도 프레임들 간 모션 추출이 정확해지고, Low fps 영상에서 발생할 수 있는 부자연스러움을 최소화하며, 급격한 움직임에도 자연스러운 영상 안정화 결과를 얻을 수 있다.

Description

【발명의 명칭】
흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 【기술분야】
본 발명은 영상 안정화에 관한 것으로， 더욱 상세하게는 영상에 발생한 흔들림을 안정화하기 위한 방법 및 이를 적용한 영상 처리 장치에 관한 것이다.
【배경기술】
프레임 레이트가 낮은 Low fps 영상은 카메라의 흔들림이 심할 경우 영상 번짐 현상 (Blur effect)으로 인해 특징점 매칭의 정확도가 떨어져， 프레임간모션이 부정확하다.
자이로 센서 등의 하드웨어를 이용하는 영상 안정화는 수평, 수직 변화만을 보정하여 복잡한 카메라의 움직임을 적절하게 표현할 수 없고， 센서 가격으로 인한 모들 가격 상승을 유발하는 문제가 있다.
프레임 간 모션 차이를 최소화하는 방법으로 영상을 안정화시키는 일반적인 영상 안정화 방법은 차후 급격한 모션 변화가 있을 경우 부자연스러운 영상을 생성한다는 문제가 있다. 【발명의 개시】
【기술적 과제】
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서， 본 발명의 목적은， High fps 영상으로 프레임들 간 '모션을 추출하고 추출된 모션을 안정화시킨 후에， 프레임들 중 일부만을 선정하여 안정화된 모션을 기반으로 안정화된 Low fps 영상을 생성하는 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치를 제공함에 있다.
【기술적 해결방법】
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른， 영상 안정화 방법은, 제 1 프레임 레이트의 제 1 영상을 구성하는 프레임들 증 일부를 선정하는 단계; 상기 선정단계에서 선정된 프레임들을 모션 안정화시키는 단계; 및 상기 안정화 단계에서 안정화된 프레임들로 구성된 제 2 프레임 레이트의 제 2 영상을 출력하는 단계;를 포함한다.
그리고, 본 발명의 일 실시예에 따른 영상 안정화 방법은, 상기 제 1 영상을 구성하는 프레임들을 다수의 세그먼트들로 그룹화하는 단계;를 더 포함하고， 상기 선정단계는， 세그먼트 마다 프레임을 선정할 수 있다. . 또한, 상기 선정단계는， 세그먼트 마다 가장 안정화된 프레임을 하나씩 선정할 수 있다.
그리고, 상기 가장 안정화된 프레임은, 세그먼트에 포함된 프레임들 증 실제 누적 모션과 안정화된 누적 모션의 차가 최소인 프레임일 수 있다.
또한， 상기 제 1 프레임 레이트는， 상기 제 2 프레임 레이트 보다 높을 수 있다.
그리고， 세그먼트들에 포함되는 프레임들의 개수는 n개이고， n= '제 1 프레임 레이트 / 제 2 프레임 레이트 '일 수 있다.
또한， 본 발명의 일 실시예에 따른 영상 안정화 방법은， 상기 제 1 영상을 구성하는 프레임들 간 모션들을 추출하는 단계; 및 상기 추출단계에서 추출된 모션들로부터 안정화된 모션들을 생성하는 단겨 1;를 더 포함하고, 상기 안정화 단계는, 선정된 프레임에 이전의 특정 시점까지의 누적 모션의 역을 곱하고, 이전의 특정 시점에서 프레임의 해당 시점까지의 안정화된 누적 모션을 곱하여， 모션 안정화를 수행할 수 있다.
그리고， 상기 안정화된 모션 생성단계는, 이전 시점의 모션들과 이후 시점의 모션들을 이용한 가중치 합으로 안정화된 모션을 생성할 수 있다.
또한， 상기 가중치는， 프레임 출력 시점에서 이후 시점들까지 모션들의 기초로 결정될 수 있다.
한편， 본 발명의 다른 실시예에 따른, 영상 처리 장치는, 제 1 프레임 레이트의 제 1 영상올 획득하는 획득부; 및 상기 획득부에서 획득된 제 1 영상을 구성하는 프레임들 중 일부를 선정하고, 선정된 프레임들을 모션 안정화시켜， 안정화된 프레임들로 구성된 제 2 프레임 레이트의 제 2 영상을 출력하는 영상 프로세서 ;를 포함한다. 【유리한 효과】
이상 설명한 바와 같이， 본 발명의 실시예들에 따르면, High fps 영상으로 프레임들 간 모션을 추출하고 추출된 모션을 안정화시킨 후에， 프레임들 중 일부만을 선정하여 안정화된 모션을 기반으로 안정화된 Low fps 영상을 생성할 수 있다.
이에 의해, Low fps 영상 보다 영상 번짐 현상이 적은 High fps 영상을 이용하여 흔들림이 심한 영상에서도 프레임들 간 모션 추출이 정확해지므로， 궁극적으로 영상 안정화 성능을 높일 수 있다.
또한， 실제 누적 모션과 안정화된 누적 모션의 차가 최소인 프레임들을 선별하여 Low fps 영상을 생성하기 때문에， Low fps 영상에서 발생할 수 있는 부자연스러움을 최소화할 수 있다.
그리고， 프레임 출력 시점을 기준으로 이전 시점은 물론 이후 시점의 프레임들에 대한 모션까지 참조하여 모션 안정화를 수행하므로， 급격한 카메라의 움직임에도 자연스러운 영상 안정화 결과를 얻을 수 있다.
【도면에 관한 간단한 설명】
도 1은 본 발명이 적용가능한 영상 처리 장치의 블럭도,
도 2는 본 발명의 바람직한 실시예에 따른 흔들림 영상 안정화 방법의 설명에 제공되는 흐름도， 2 도 3은 실제 모션과 안정화된 모션을 예시적으로 나타낸 그래프， 그리고, 도 4는 세그먼트 별로 프레임을 선정하는 구체적인 방법을 도식적으로 나타낸 도면이다. 【발명의 최선의 실시예】
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명이 적용가능한 영상 처리 장치의 블럭도이다. 본 발명이 적용가능한 영상 처리 장치 (100)는, 도 1에 도시된 바와 같이, 영상 촬영부 (110), 영상 프로세서 (120) 및 영상 응용부 (130)를 구비한다.
영상 촬영부 (110)는 전방을 촬영하여 High fps 영상 (높은 프레임 레이트를 갖는 영상, 예를 들면, 120 fps 영상)을 생성하고， 생성된 영상을 영상 프로세서 (120)에 전달한다.
외부 환경， 영상 촬영부 (110) 자체의 움직임， 영상 촬영부 (110)가 설치된 기구 /장치의 구동에 의한 움직임 등에 의해， 영상 촬영부 (110)에 의해 촬영되는 High fps 영상은 흔들림이 많아 불안정할 수 있다.
영상 프로세서 (120)는 영상 촬영부 (110)로부터 전달받은 '불안정한' Highfps 영상을 '안정한' Low fps 영상 (낮은 프레임 레이트를 갖는 영상, 예를 들면， 30 fps 영상)으로 변환한다. 이 과정에서, 영상 프로세서 (120)에 의해 영상은 흔들림이 완화되어 안정화된다.
영상 응용부 (130)는 영상 프로세서 (120)에 의해 안정화된 Low fps 영상으로부터 다양한 응용을 수행한다. 영상 웅용부 (130)에 의해 수행되는 웅용에는， 영상 디스플레이와 저장은 물론， 영상 인식， 객체 추적, 이벤트 감지 등을 포함할 수 있다.
영상 프로세서 (120)에 의한 영상 안정화 처리에 대해， 이하에서 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 바람직한 실시예에 따른 흔들림 영상 안정화 방법의 설명에 제공되는 흐름도이다.
도 2에 도시된 바와 같이, 영상 촬영부 (110)로부터 흔들림이 많은 불안정한 High fps 영상이 입력되면 (S210), 영상 프로세서 (120)는 High fps 영상을 구성하는 프레임들 간모션들을 추출한다 (S220). 구체적으로， S220단계에서는， 시간적으로 인접한 프레임들인 과 ^ 간의
Outlier를 제거한 후， 특징점 대웅관계를 생성하여 이를 기반으로 프레임 간 모션 ᅳ 1)을 추출한다.
모션 모델로 D0F가 4인 Similarity motion model을 사용할 수 있지만， 그 밖의 다른 모션 모델 (예를 들면， D0F가 2인 Translational model , D0F가 6인 Affine motion model, DOF가 8인 Projective motion model 등)을 사용할 수도 있다.
High fps 영상을 구성하는 프레임들 모두에 대해 바로 이전 프레임 간 모션들을 추출하기 때문에， 아래의 수학식 1에 나타난 관계가 성립할 수 있다.
【수학식 1】
Figure imgf000008_0001
气 o Wi,o
Figure imgf000009_0001
■■· lvIt,t-i. 여기서， ¾ 는 기준이 되는 키-프레임이고， / ,0는 J0 에서 .까지의 누적 모션 ( 에서 까지 생성된 프레임들 간 모션들의 곱)에 해당한다. 도 3에는 의 dx 성분이 실선으로 나타나 있는데， 흔들림이 많은 불안정한 상태임을 확인할 수 있다.
다음， 영상 프로세서 (120)는 S220단계에서 추출된 모션들올 안정화시킨다 (S230). 구체적으로， S230단계에서는, Smoothing KernelOO과 프레임 간 모션들을 이용한 가증치 합으로 안정화된 모션 w-i)을 생성하게 된다.
Smoothing Kernel (K)은 Gaussian 커널로 구현가능하다. Gaussian 커널로 구현하는 경우， 프레임 출력 시점인 't'에 가장 높은 가중치를 즐 수 있다. 이 경우， Smoothing Kernel (K)의 입력 구간은 't-N'에서 't+N'까지이다. 't+N'은 현재 시점으로， 프레임 출력 시점 이후의 시점이고， 't-N'은 프레임 출력 시점 이전이다. 따라서， S230단계에서의 모션 안정화에는， 출력 시점은 물론 그 이전 시점과 이후 시점의 모션들이 모두 이용된다. Gaussian 커널은 σ가 클수록 Gaussian 분포가 평탄화되어 안정화 정도가 증가하는 반면， 급격한 화면 변화를 반영하지 못한다.
따라서， 안정화와 급격한 화면 변화 반영 모두를 층족시키기 위해， 프레임 출력 시점인 't'로부터 현재 시점인 't+N'까지의 모션들에 대한 절대값 평균을 기반으로 아래의 수학식 2와 같이 σ를 결정할 수 있다.
【수학식 2】
Figure imgf000010_0001
σ= σ.
init ... (dt < dt )
Figure imgf000010_0002
여기서， dth는 임계치이고, c는 상수이며, ainit는 σ의 초기값으로， 이들은 시스템의 사양 및 원하는 성능에 따라 결정된다.
도 3에는， 도 2의 S230단계에 의해 안정화된 모션들의 dx 성분이 일점쇄선으로 나타나 있는데, 흔들림이 완화되었음을 확인할 수 있다.
다음， 영상 프로세서 (120)는 High fps 영상을 구성하는 프레임들을 다수의 세그먼트들로 그룹화한다 (S240). 세그먼트들에 포함되는 프레임들의 개수는 n개로 동일하다.
세그먼트에 포함되는 프레임의 개수 n은 아래의 수학식 3으로 결정할 수 있다.
【수학식 3】
JVSH
fpsL 여기서, fpsH는 영상 프로세서 (120)에 입력되는 High fps 영상의 프레임 레이트이고， fpsL은 영상 프로세서 (120)에서 출력하고자 하는 Low fps 영상의 프레임 레이트이다ᅳ 만약， fpSH가 120이고 ipsL가 30이면， n=4가 된다. 즉, 하나의 '세그먼트는 4개의 프레임들올 포함하게 된다.
이후， 영상 프로세서 (120)는 세그먼트 마다 가장 안정적인 프레임올 하나씩 선정한다 (S250). S250단계에서 선정되는 프레임은， 실제 누적 모션 ( Ά'ο )과 안정화된 누적 모션 (^ o)의 차가 최소인 프레임으로 하며， 구체적으로는 아래의 수학식 4를 이용하여 선정한다.
【수학식 4】
Figure imgf000011_0001
Dt는 실제 누적 모션과 안정화된 누적 모션의 차로， 여기서의 누적 모션은 출력 시점 (t)에서 그 이후의 시점 (t+n)까지의 모션을 누적한 것이다. 그리고, f는 세그먼트 ^에 속하는 ^들 중 Dt가 최소인 ^를 의미한다.
도 4에는 세그먼트 별로 프레임을 선정하는 구체적인 방법이 도식적으로 나타나 있다. 다음， 영상 프로세서 (120)는 S250단계에서 선정된 들로 모션 안정화된 Low fps 영상을 생성한다 (S260). S260단계에서의 Low fps 영상 생성은， 아래의 수학식 5를 이용하여 생성한다.
【수학식 5】
Figure imgf000012_0001
여기서， 는 Low fps 영상을 구성하는 프레임으로， 에 를 곱한 후 ^o를 곱하여 생성할 수 있다. 그리고， (Λ ) 는 키-프레임인 Jo 에서 까지의 실제 누적 모션인 의 역행렬이고， 는 동 구간에서의 안정화된 누적 모션이다.
이후， 영상 프로세서 (120)는 S260단계에서 생성된 모션 안정화된 Low fps 영상을 출력한다' (S270).
지금까지， 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는 영상 촬영부 (110)에서 촬영을 통해 획득한 영상을 안정화하는 것을 상정하였는데, 이는 예시적인 것에 불과하다. 저장매체에 저장된 영상 또는 네트워크를 통해 수신되는 영상에 대한 안정화를 수행하는 경우도 본 발명의 기술적 사상이 적용가능하다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만， 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고， 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

【청구의 범위】
【청구항 1]
제 1 프레임 레이트의 제 1 영상을 구성하는 프레임들 중 일부를 선정하는 단계;
상기 선정단계에서 선정된 프레임들을 모션 안정화시키는 단계; 및
상기 안정화 단계에서 안정화된 프레임들로 구성된 제 2 프레임 레이트의 제 2 영상을 출력하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
【청구항 2】
제 1항에 있어서,
상기 제 1 영상올 구성하는 프레임들을 다수의 세그먼트들로 그룹화하는 단계;를 더 포함하고,
상기 선정단계는，
세그먼트 마다 프레임을 선정하는 것을 특징으로 하는 영상 안정화 방법 .
【청구항 3】
제 2항에 있어세
상기 선정단계는'
세그먼트 마다 가장 안정화된 프레임을 하나씩 선정하는 것을 특징으로 하는 영상 안정화 방법 .
【청구항 4】
제 3항에 있어서,
상기 가장 안정화된 프레임은，
세그먼트에 포함된 프레임들 중 실제 누적 모션과 안정화된 누적 모션의 차가 최소인 프레임인 것을 특징으로 하는 영상 안정화 방법.
【청구항 5】
제 2항에 있어서，
상기 제 1 프레임 레이트는,
상기 제 2 프레임 레이트 보다 높은 것을 특징으로 하는 영상 안정화 방법.
【청구항 6】
제 5항에 있어서，
세그먼트들에 포함되는 프레임들의 개수는 n개이고，
n = '제 1 프레임 레이트 I 제 2 프레임 레이트 '인 것을 특징으로 하는 영상 안정화 방법 .
【청구항 7】
제 1항에 있어서， 상기 제 1 영상을 구성하는 프레임들 간 모션들을 추출하는 단계 ; 및 상기 추출단계에서 추출된 모션들로부터 안정화된 모션들을 생성하는 단계 ;를 더 포함하고，
상기 안정화 단계는，
선정된 프레임에 이전의 특정 시점까지의 누적 모션의 역을 곱하고， 이전의 특정 시점에서 프레임의 해당 시점까지의 안정화된 누적 모션을 곱하여， 모션 안정화를 수행하는 것을 특징으로 하는 영상 안정화 방법.
【청구항 8】
제 7항에 있어서，
상기 안정화된 모션 생성단계는，
이전 시점의 모션들과 이후 시점의 모션들을 이용한 가중치 합으로 안정화된 모션을 생성하는 것을 특징으로 하는 영상 안정화 방법 .
[청구항 9】
제 8항에 있어서，
상기 가중치는,
프레임 출력 시점에서 이후 시점들까지 모션들의 기초로 결정되는 것을 특징으로 하는 영상 안정화 방법 . 【청구항 10]
제 1프레임 레이트의 제 1 영상을 획득하는 획득부; 및
상기 획득부에서 획득된 제 1 영상을 구성하는 프레임들 중 일부를 선정하고, 선정된 프레임들을 모션 안정화시켜， 안정화된 프레임들로 구성된 제 2 프레임 레이트의 제 2 영상을 출력하는 영상 프로세서;를 포함하는 것을 특징으로 하는 영상 처리 장치 .
PCT/KR2013/003542 2013-04-24 2013-04-25 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치 Ceased WO2014175484A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0045563 2013-04-24
KR1020130045563A KR101458099B1 (ko) 2013-04-24 2013-04-24 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치

Publications (1)

Publication Number Publication Date
WO2014175484A1 true WO2014175484A1 (ko) 2014-10-30

Family

ID=51792041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/003542 Ceased WO2014175484A1 (ko) 2013-04-24 2013-04-25 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치

Country Status (2)

Country Link
KR (1) KR101458099B1 (ko)
WO (1) WO2014175484A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049395A1 (en) * 2018-11-19 2021-02-18 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101945233B1 (ko) * 2016-01-07 2019-02-07 에스케이 텔레콤주식회사 영상 안정화 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010323A1 (en) * 1998-08-12 2000-02-24 Neal Margulis Apparatus and method for performing image transforms in a digital display system
US20070035630A1 (en) * 2005-08-12 2007-02-15 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
KR20080072086A (ko) * 2005-11-29 2008-08-05 교세라 가부시키가이샤 촬상 장치 및 그 방법
KR20090084311A (ko) * 2008-01-31 2009-08-05 삼성전기주식회사 프레임 레이트 변환 방법
US20120307096A1 (en) * 2011-06-05 2012-12-06 Apple Inc. Metadata-Assisted Image Filters

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100303727B1 (ko) * 1998-04-28 2001-09-24 구자홍 동영상의적응적디스플레이속도자동조절장치와방법
KR100766085B1 (ko) * 2006-02-28 2007-10-11 삼성전자주식회사 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법
KR100898406B1 (ko) * 2007-11-19 2009-05-21 중앙대학교 산학협력단 디지털 영상 안정화 시스템 및 방법
KR100985805B1 (ko) * 2009-03-26 2010-11-09 중앙대학교 산학협력단 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010323A1 (en) * 1998-08-12 2000-02-24 Neal Margulis Apparatus and method for performing image transforms in a digital display system
US20070035630A1 (en) * 2005-08-12 2007-02-15 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
KR20080072086A (ko) * 2005-11-29 2008-08-05 교세라 가부시키가이샤 촬상 장치 및 그 방법
KR20090084311A (ko) * 2008-01-31 2009-08-05 삼성전기주식회사 프레임 레이트 변환 방법
US20120307096A1 (en) * 2011-06-05 2012-12-06 Apple Inc. Metadata-Assisted Image Filters

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210049395A1 (en) * 2018-11-19 2021-02-18 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and storage medium
US11450080B2 (en) * 2018-11-19 2022-09-20 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and storage medium

Also Published As

Publication number Publication date
KR101458099B1 (ko) 2014-11-05
KR20140127049A (ko) 2014-11-03

Similar Documents

Publication Publication Date Title
CN108492287B (zh) 一种视频抖动检测方法、终端设备及存储介质
CN111586409B (zh) 插值帧的生成方法、装置、电子设备和存储介质
US8428390B2 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
JP7078139B2 (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
US8594464B2 (en) Adaptive super resolution for video enhancement
JP5772341B2 (ja) 手ぶれ補正方法及び手ぶれ補正装置
US8810692B2 (en) Rolling shutter distortion correction
US9773192B2 (en) Fast template-based tracking
US9286656B2 (en) Homography estimation apparatus and method
US9838604B2 (en) Method and system for stabilizing video frames
CN109785264B (zh) 图像增强方法、装置及电子设备
Ryu et al. Robust online digital image stabilization based on point-feature trajectory without accumulative global motion estimation
Micheli et al. A linear systems approach to imaging through turbulence
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Chen et al. Pixstabnet: Fast multi-scale deep online video stabilization with pixel-based warping
US10846839B2 (en) Image processing apparatus, image processing method, and storage medium
US20150117539A1 (en) Image processing apparatus, method of calculating information according to motion of frame, and storage medium
Bui et al. Moblurf: Motion deblurring neural radiance fields for blurry monocular video
Kim et al. Dynamic scene deblurring using a locally adaptive linear blur model
JP2000232384A (ja) データ処理装置およびデータ処理方法
WO2014175484A1 (ko) 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치
CN104182931B (zh) 超分辨率方法和装置
CN119272898A (zh) 数据超分模型的训练方法以及数据超分处理方法
Xu et al. Sharp image estimation from a depth-involved motion-blurred image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13883188

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13883188

Country of ref document: EP

Kind code of ref document: A1