WO2015037957A1 - 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법 - Google Patents

영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법 Download PDF

Info

Publication number
WO2015037957A1
WO2015037957A1 PCT/KR2014/008564 KR2014008564W WO2015037957A1 WO 2015037957 A1 WO2015037957 A1 WO 2015037957A1 KR 2014008564 W KR2014008564 W KR 2014008564W WO 2015037957 A1 WO2015037957 A1 WO 2015037957A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
image
motion vector
extracting
blocks
Prior art date
Application number
PCT/KR2014/008564
Other languages
English (en)
French (fr)
Inventor
신승호
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201480048861.5A priority Critical patent/CN105519092B/zh
Publication of WO2015037957A1 publication Critical patent/WO2015037957A1/ko
Priority to US15/069,212 priority patent/US9811887B2/en

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present embodiment relates to an image stabilization apparatus and method by correcting image shake.
  • Image shaking occurs in various environments, and typically is caused by user's hand shaking when using a camera of a mobile terminal such as a user's portable digital camera or a smart phone.
  • Image shake is caused by weather conditions such as rain and wind in CCTV cameras installed outdoors, and black box cameras installed in cars are caused by vehicle vibrations while driving.
  • the image stabilization field uses a camera sensor that detects and corrects a shake in order to correct a shake image generated due to limitations of the image corrector.
  • Camera sensors have the limitation that the cost increases and miniaturization is difficult.
  • the conventional method for meeting the limitation that the cost of the sensor is increased and miniaturization is difficult is that the camera sensor detects the shaking of the image, analyzes the shaking degree of the image, and then changes the direction of the light using the circuit of the camera lens. Correct shake.
  • the camera sensor corrects the shake by correcting the position of an image, which has limitations such as performance difference and cost increase according to the type of camera sensor.
  • the present embodiment divides an image taken from a camera into blocks, extracts feature points, and stabilizes an image using image stabilization, which outputs a stable image by correcting image shake by calculating a motion vector.
  • the main purpose is to provide an apparatus and method.
  • an apparatus for compensating for shaking of a frame in a photographed image of a camera comprising: an image receiving unit receiving an image photographed from the camera; A block dividing unit dividing the frame in block units; An image analyzer for analyzing a characteristic of the block and calculating a weight; An important block extractor configured to extract a block having a weight greater than or equal to a threshold value among the blocks as an important block; A feature point extracting unit extracting a feature point or extracting the feature point from the important block based on a result of comparing at least one difference between the surrounding color and the luminance of the pixel by extracting the pixel of the block; A local motion vector calculator for estimating motion in a previous frame with respect to one or more blocks corresponding to the feature points and calculating local motion vectors, respectively; A global motion vector calculator configured to calculate a global motion vector using at least one local motion vector calculated for the at least one block; And an image corrector configured to correct output data of the frame according to the global motion vector.
  • an apparatus for compensating for shaking of a frame in a photographed image of a camera comprising: an image receiving unit receiving an image photographed from the camera; A block dividing unit dividing the frame in block units; An image analyzer configured to generate an object distribution map based on the density of the edges corresponding to the block unit and a histogram distribution characteristic, and merge the blocks having similar object distributions according to the object distribution in the block divider so that a final block is set; An important block extractor for extracting the last block as an important block; A feature point extracting unit extracting a feature point based on a result of comparing a difference of at least one of the surrounding color and the luminance of the pixel by extracting the pixel of the critical block; A local motion vector calculator for estimating motion in a previous frame with respect to one or more important blocks corresponding to the feature points and calculating local motion vectors respectively; A global motion vector calculator configured to calculate a global motion vector using one or more local motion vectors calculated for the one or more important blocks
  • a method of compensating for shaking of a frame in a photographed image of a camera comprising: an image receiving process of receiving an image photographed from the camera; A block division process of dividing the frame into blocks; An image analysis process of calculating weights by analyzing characteristics of the block; An important block extraction process of extracting a block having a weight greater than or equal to a critical value from among the blocks as an important block; A feature point extraction process of extracting a feature point or extracting the feature point from the important block based on a result of comparing the at least one difference between the surrounding color and the luminance of the pixel by extracting the pixel of the block; Calculating a local motion vector by estimating motion in a previous frame with respect to one or more blocks corresponding to the feature points; A global motion vector calculation process of calculating a global motion vector using one or more local motion vectors calculated for the one or more blocks; And an image correction process of correcting the output data of the frame according to the global motion vector.
  • a method of compensating for shaking of a frame in a photographed image of a camera comprising: an image receiving process of receiving an image photographed from the camera; A block division process of dividing the frame into blocks; An image analysis process of generating an object distribution map according to density and histogram distribution characteristics of edges corresponding to the block unit, and merging blocks having similar object distribution maps according to the object distribution map in the block division unit so that a final block is set; An important block extraction process of extracting the last block as an important block; A feature point extraction process of extracting a feature point based on a result of comparing at least one difference between the surrounding color and the luminance of the pixel by extracting the pixel of the critical block; A local motion vector calculation process of calculating local motion vectors by estimating motion in a previous frame with respect to one or more important blocks corresponding to the feature points; A global motion vector calculation process of calculating a global motion vector using one or more local motion vectors calculated for the one or more important blocks; And an image correction
  • the present embodiment provides an effective image correction method by accurately identifying and correcting a moving image portion of a captured image in an image correction field.
  • the local motion vector is estimated in units of blocks in consideration of the characteristics of the image and the object distribution, thereby improving the efficiency of image correction, such as shortening the time of image correction by not using all the pixel values of the entire image. There is.
  • the captured image of a portion required by a user can be corrected with a minimum of data work.
  • the image stabilization apparatus that can quickly play a stable image can be widely used in the field of image correction and image stabilization in the future It works.
  • FIG. 1 is a block diagram showing an overall configuration including an image stabilization apparatus according to the present embodiment.
  • FIG. 2 is a block diagram showing the configuration of an image stabilization apparatus according to the present embodiment.
  • FIG. 3 is a flowchart illustrating a process of dividing blocks, extracting feature points, and calculating a motion vector in an image stabilization apparatus according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a process of extracting feature points from an important block in an image in the image stabilizing apparatus according to the present embodiment.
  • FIG. 5 is a diagram illustrating a block dividing process in a frame in an image in the image stabilizing apparatus according to the present embodiment.
  • FIG. 1 shows the overall configuration including the image stabilization device 100 according to the present embodiment.
  • the image stabilization apparatus 100 is connected to each other via a camera 300 for capturing an image and a network 500 such as wired or wireless.
  • the image stabilization apparatus 100 is implemented in a server form or the like. Therefore, each component of the image stabilization device 100 is a conceptual classification for distinguishing the logical functions of the server, but is not a physical classification, and the image stabilization device 100 is a camera ( 300) and image data are inputted to and outputted from each other.
  • the image stabilization apparatus 100 receives a captured image from a plurality of cameras 300 and divides a block of an image frame.
  • the image stabilization apparatus 100 extracts a feature point of an object in a block, calculates a motion vector of the entire image by calculating a local motion vector of the block corresponding to the feature point, and corrects the shaken image and outputs it through the screen.
  • the image stabilization device 100 is not limited to the name.
  • the image stabilization apparatus 100 corrects the shaking of the image by mounting an image correction application on the mobile terminal.
  • the mobile terminal drives an image correction application by a user's manipulation or command, and corrects a shaken image through the image correction application.
  • the image correction application may be installed in the mobile terminal in a download manner using the application market when the mobile terminal is a smartphone.
  • the image information application may be run on a virtual machine (VM) downloaded using a communication company server.
  • VM virtual machine
  • the mobile terminal is implemented in a state in which an image correction application is embedded in an embedded form, embedded in an operating system (OS) mounted in the mobile terminal, or installed in an OS in the mobile terminal by a user's manipulation or command. Can be mounted in the form.
  • OS operating system
  • the video correction application mounted on the mobile terminal in the above-described manner may be divided into a basic application (eg, a text sending application, a data transmitting / receiving application, a messenger application, a voice call transmitting / receiving application, a radio application, a DMB application, a navigation application, etc.) mounted on the mobile terminal. It may be implemented to interwork, but is not necessarily limited thereto, and may be operated as an independent function without interworking with a basic application.
  • a basic application eg, a text sending application, a data transmitting / receiving application, a messenger application, a voice call transmitting / receiving application, a radio application, a DMB application, a navigation application, etc.
  • FIG. 2 is a block diagram showing the configuration of the image stabilization apparatus 100 according to the present embodiment.
  • the image stabilization apparatus 100 includes an image receiver 110, a block divider 120, an image analyzer 130, an important block extractor 140, and a feature point extractor 150. ), A local motion vector calculator 160, a global motion vector calculator 170, an image corrector 180, and an image output unit 190.
  • the camera 300 interconnected with the image stabilization apparatus 100 refers to a device capable of capturing an image.
  • the camera 300 may be implemented as a CCTV camera, a surveillance camera, a camera detached from a smartphone, which is a mobile terminal, and the like, capable of capturing an object image for monitoring an object such as movement, intrusion, and departure.
  • the image captured by the camera 300 includes a plurality of frames.
  • the camera 300 interconnected with the image stabilization apparatus 100 according to the present embodiment is illustrated as transmitting and receiving images and data with the image stabilization apparatus 100 via the network 500, but is not necessarily limited thereto. If the camera 300 can transmit and receive images and data, such as a local area network or a communication network according to a communication base station installed by a predetermined company, the camera 300 may be implemented as any network.
  • the image receiving unit 110 of the image stabilizing apparatus 100 is connected to the camera 300 and serves to receive a captured image.
  • the photographed image is an image photographed by a plurality of cameras included in the camera 300, and means a photographed image for each camera, and the photographed image includes a plurality of frames.
  • the block dividing unit 120 divides the frame in the image captured by the camera in units of blocks.
  • the block partition is divided into fixed block units each having an N ⁇ N size, and the final block is merged with blocks having similar object distributions according to the object distribution according to the density and histogram distribution characteristics of edges in the block. Means to set. For example, regions where it is difficult to extract feature points such as sky and desert may be divided into large blocks, and regions including objects such as people and objects may be divided into intermediate blocks and small blocks according to the size of the object.
  • the image analyzer 130 calculates weights by analyzing the characteristics of the blocks divided by the block divider 120.
  • the weight calculation means calculating the weight of the block by calculating the object distribution according to the density of the edges in the block and the histogram distribution. For example, if the density of edges in a block is significantly reduced or if the histogram distribution is biased in any one region of the histogram distribution, the weight value of the corresponding block is determined to be small, and the weight value of the block is small.
  • the important block extractor 140 extracts a block having a weight value equal to or greater than a predetermined threshold value from among the blocks divided by the block splitter 120 according to the weight value received from the image analyzer 130.
  • the important block extractor 140 extracts a block having a weight greater than or equal to a predetermined threshold value according to the density of the edges and the object distribution according to the histogram distribution characteristic as the critical block.
  • the feature point extractor 150 extracts feature points of an object included in the key block extracted by the key block extractor 140.
  • the feature point extractor 150 extracts the pixel of the block and extracts the feature point based on a result of comparing at least one difference between the surrounding color and the luminance of the pixel.
  • the local motion vector calculator 160 calculates local motion vectors by estimating a motion in a previous frame with respect to one or more blocks corresponding to the feature points extracted by the feature point extractor 150.
  • the global motion vector calculator 170 calculates a global motion vector using one or more local motion vectors calculated for one or more blocks.
  • the global motion vector may be calculated by weighting and averaging one or more local motion vectors.
  • the global motion vector calculator 170 determines the local motion vector for the feature point as a normal moving object and performs global motion. Omit the creation of the vector.
  • the global motion vector calculator 170 omits generating the global motion vector for the one or more local motion vectors when at least one of the sizes and directions of the one or more local motion vectors is out of a predetermined threshold range.
  • the image corrector 180 corrects the output data of the frame according to the global motion vector calculated by the global motion vector calculator 170.
  • the image output unit 190 outputs the image data corrected through the image correction unit 180 on the screen.
  • FIG. 3 is a flowchart illustrating a process of dividing blocks, extracting feature points, and calculating a motion vector in an image stabilization apparatus according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating the image stabilization method according to the present embodiment.
  • the image stabilization apparatus 100 receives a captured image from the camera 300 in order to compensate for the shaking of the frame in the image captured by the camera 300 (S210). It is divided into (S220).
  • the image stabilization apparatus 100 performs a process of calculating a weight by analyzing the density of the edges of the block and the histogram distribution characteristic (S230), and extracts the important block according to the weight value of the block (S240).
  • the image stabilization apparatus 100 extracts, as an important block, a block having a weight greater than or equal to a predetermined threshold value according to the density of the edges and the object distribution according to the histogram distribution characteristic.
  • the image stabilization apparatus 100 performs a process of extracting feature points of the critical block (S250) and calculating a local motion vector of the critical block (S260).
  • the image stabilization apparatus 100 performs a process of calculating a global motion vector corresponding to the entire image by using a weighted mean and a weighted mean on the critical block region motion vectors (S270).
  • the image stabilization apparatus 100 performs an image shake correction process (S280) by the image corrector 180 using the global motion vector.
  • FIG. 4 is a flowchart illustrating a process of extracting feature points from an important block in an image in the image stabilizing apparatus according to the present embodiment.
  • the image stabilization apparatus 100 extracts an important block in an image (S310) and extracts a pixel of the important block (S320).
  • the image stabilization apparatus 100 extracts a block having a weight greater than or equal to a predetermined threshold value as a critical block according to the density of the edges and the object distribution according to the histogram distribution characteristic, and extracts the pixel of the critical block.
  • the image stabilization apparatus 100 determines whether the peripheral color or luminance of the pixel is greatly changed (S330). If the peripheral color or luminance of the pixel is greatly changed, the image stabilization apparatus 100 performs a process of extracting the feature point (S340). The image stabilization apparatus 100 moves to the next pixel and performs a pixel extraction process if the peripheral color or luminance of the pixel does not change significantly.
  • the image stabilization apparatus 100 determines whether the number extracted as the feature points is greater than or equal to a predetermined threshold value (S350). If the number of feature points is not greater than or equal to the threshold value, the image stabilization apparatus 100 moves to the next pixel (S360). By extracting the feature points.
  • FIG. 5 is a diagram illustrating a block dividing process in a frame in an image in the image stabilizing apparatus according to the present embodiment.
  • FIG. 5 shows that the image stabilization apparatus 100 divides the final block by dividing a frame in the image into fixed blocks having a horizontal and vertical (eg, N ⁇ N) shape, and merging blocks having similar object distributions using object distribution analysis. It is an embodiment illustrating a process of setting.
  • each component of the image stabilization apparatus 100 should be a logically divided component rather than a physically divided component as briefly mentioned above.
  • Each configuration corresponds to a logical component in order to realize the technical idea of the present embodiment, so even if each component is integrated or separated, if the function performed by the logical configuration of the present embodiment can be realized, it is within the scope of the present embodiment. Should be interpreted.
  • Each configuration should be construed as being within the scope of the present embodiment irrespective of whether the components perform the same or similar functions, regardless of their coincidence in the name.
  • the exemplary embodiments disclosed in the present exemplary embodiments are not intended to limit the technical spirit of the present exemplary embodiment but to describe the exemplary embodiments, and the scope of the technical spirit of the present exemplary embodiment is not limited by the exemplary embodiment.
  • the embodiment has an effect that can be widely used in the field of image correction and image stabilization by implementing a form of obtaining an image correction result based on user convenience and accessibility.
  • image stabilization device 110 image receiving unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

카메라의 촬영영상 내 프레임의 흔들림을 보정하는 방법에 있어서, 카메라로부터 촬영된 영상을 블록으로 분할하여 특징점을 추출하고, 움직임벡터 산출을 통해 영상의 흔들림을 보정하여 안정된 영상을 출력하는 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법을 제공한다.

Description

영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
본 실시예는 영상의 흔들림을 보정하여 영상 안정화 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 카메라 영상 기술의 발전과 더불어 디지털 영상기기의 사용이 급증하면서 영상의 흔들림에 대한 보정 방안이 대두되고 있다. 영상의 흔들림은 다양한 환경에서 발생하는데 대표적으로 사용자의 휴대용 디지털 카메라, 스마트폰과 같은 이동식 단말기의 카메라를 이용하였을 경우 사용자의 손떨림 등에 의해 발생한다. 영상의 흔들림은 야외 설치된 CCTV 카메라는 비, 바람 등의 기상환경에 의해 발생하며, 자동차 내 설치된 블랙박스 카메라는 주행 중 차량 진동에 의해 발생한다.
영상 흔들림을 보정하는 영상 안정화 분야는 촬영영상 중 흔들림이 있는 부분의 영상을 간편하고 정확하게 보정하는 장치나 프로그램이 필요하다. 영상 안정화 분야는 영상보정장치의 한계성으로 인해 발생되는 흔들림 영상을 보정하기 위해 흔들림을 감지하여 보정하는 카메라 센서를 이용한다. 카메라 센서는 비용이 증가되고 소형화가 어렵다는 한계점을 가진다.
센서의 비용이 증가되고 소형화가 어렵다는 한계점을 충족하기 위한 종래의 일반적인 방법은 카메라 센서가 영상의 흔들림을 감지하여, 영상의 흔들림 정도를 분석한 후 카메라 렌즈의 회로를 이용하여 빛의 방향을 변화시켜 흔들림을 보정한다. 종래의 일반적인 방법은 카메라 센서가 영상의 위치를 보정하여 흔들림을 보정하는데 이는 카메라 센서의 종류에 따라 성능 차이가 나고 비용이 증가하는 등의 한계점을 가진다.
전술한 문제점을 해결하기 위해 본 실시예는, 카메라로부터 촬영된 영상을 블록으로 분할하여 특징점을 추출하고, 움직임벡터 산출을 통해 영상의 흔들림을 보정하여 안정된 영상을 출력하는 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법을 제공하는 데에 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 장치에 있어서, 상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부; 상기 프레임을 블록 단위로 분할하는 블록 분할부; 상기 블록의 특성을 분석하여 가중치를 산출하는 영상 분석부; 상기 블록 중에서 상기 가중치가 임계값 이상인 블록을 중요블록으로 추출하는 중요블록 추출부; 상기 블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하거나 상기 중요블록으로부터 상기 특징점을 추출하는 특징점 추출부; 상기 특징점에 대응되는 하나 이상의 블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출부; 상기 하나 이상의 블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출부; 및 상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정부를 포함하는 것을 특징으로 하는 영상 안정화 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 장치에 있어서, 상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부; 상기 프레임을 블록 단위로 분할하는 블록 분할부; 상기 블록 단위에 대응되는 에지의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도를 생성하고, 상기 블록 분할부에서 상기 객체 분포도에 따라 상기 객체 분포도가 비슷한 블록끼리 병합하여 최종 블록이 설정되도록 하는 영상 분석부; 상기 최종 블록을 중요블록으로 추출하는 중요블록 추출부; 상기 중요블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하는 특징점 추출부; 상기 특징점에 대응되는 하나 이상의 중요블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출부; 상기 하나 이상의 중요블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출부; 및 상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정부를 포함하는 것을 특징으로 하는 영상 안정화 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 방법에 있어서, 상기 카메라로부터 촬영된 영상을 수신하는 영상 수신 과정; 상기 프레임을 블록 단위로 분할하는 블록 분할 과정; 상기 블록의 특성을 분석하여 가중치를 산출하는 영상 분석 과정; 상기 블록 중에서 상기 가중치가 임계값 이상인 블록을 중요블록으로 추출하는 중요블록 추출 과정; 상기 블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하거나 상기 중요블록으로부터 상기 특징점을 추출하는 특징점 추출 과정; 상기 특징점에 대응되는 하나 이상의 블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출 과정; 상기 하나 이상의 블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출 과정; 및 상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정 과정을 포함하는 것을 특징으로 하는 영상 안정화 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 방법에 있어서, 상기 카메라로부터 촬영된 영상을 수신하는 영상 수신 과정; 상기 프레임을 블록 단위로 분할하는 블록 분할 과정; 상기 블록 단위에 대응되는 에지의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도를 생성하고, 상기 블록 분할부에서 상기 객체 분포도에 따라 상기 객체 분포도가 비슷한 블록끼리 병합하여 최종 블록이 설정되도록 하는 영상 분석 과정; 상기 최종 블록을 중요블록으로 추출하는 중요블록 추출 과정; 상기 중요블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하는 특징점 추출 과정; 상기 특징점에 대응되는 하나 이상의 중요블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출 과정; 상기 하나 이상의 중요블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출 과정; 및 상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정 과정을 포함하는 것을 특징으로 하는 영상 안정화 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 영상보정 분야에서 촬영영상 중 흔들림이 있는 영상 부분을 정확하게 판별하여 보정함으로써 효과적인 영상 보정 방법을 제공한다.
본 실시예에 의하면, 영상의 특성 및 객체 분포를 고려한 블록 단위로 지역적인 움직임벡터를 추정함으로써 영상 전체의 모든 화소 값을 이용하지 않아 영상 보정의 시간이 단축되는 등 영상 보정의 효율성을 향상시키는 효과가 있다.
본 실시예에 의하면, 영상을 블록 단위로 분할하여 지역 움직임벡터를 추정함으로써 사용자가 필요로 하는 부분의 촬영영상을 최소한의 데이터 작업만으로 보정을 할 수 있는 효과가 있다.
본 실시예에 의하면, 사용자 편의성과 접근성을 기반으로 영상 보정 결과물을 얻는 형태의 과정을 구현함으로써, 안정된 영상을 빠르게 재생할 수 있는 영상안정화 장치는 향후에 영상보정 및 영상안정화 분야 등에서 널리 활용될 수 있는 효과가 있다.
본 실시예에 의하면, 사용자의 접근성과 편의성을 높이고, 효율적인 영상 보정이 가능한 효과를 제공하여 영상보정 분야의 새로운 서비스 모델의 구축을 위한 인프라를 제공할 수 있어 새로운 컨텐츠의 창출 및 새로운 수요의 창출을 통한 경제적 효과를 이룰 수 있다.
도 1은 본 실시예에 따른 영상 안정화장치를 포함하는 전체적인 구성을 도시한 구성도이다.
도 2는 본 실시예에 따른 영상 안정화장치의 구성을 도시한 블록도이다.
도 3은 본 실시예에 따른 영상 안정화장치에서 영상 내 블록의 분할과 특징점 추출 및 움직임벡터 산출 과정을 도시한 흐름도이다.
도 4는 본 실시예에 따른 영상 안정화장치에서 영상 내 중요블록에서 특징점 추출 과정을 도시한 흐름도이다.
도 5는 본 실시예에 따른 영상 안정화장치에서 영상 내 프레임에서 블록 분할 과정을 도시한 실시예이다.
이하, 본 실시예는 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 본 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
우선적으로 본 실시예에 따른 영상 안정화장치(100)를 포함한 전체적인 구성을 도시한 도 1을 참조하여 본 실시예의 구현을 위한 구성관계를 간략히 설명한다.
본 실시예에 의한 영상 안정화장치(100)는 영상을 촬영하는 카메라(300)와 유선 또는 무선 등의 네트워크망(500)을 경유하여 상호 연결된다.
본 실시예에 의한 영상 안정화장치(100)는 서버 형태 등으로 구현된다. 따라서, 영상 안정화장치(100)의 각 구성요소는 서버의 논리적 기능을 구별하기 위한 개념상의 구분일 뿐 물리적 구분이 아님은 자명하며, 영상 안정화장치(100)는 영상의 흔들림을 보정하기 위해 카메라(300)와 영상 데이터를 상호 입출력한다.
본 실시예에 의한 영상 안정화장치(100)는 복수의 카메라(300)로부터 촬영영상을 수신하여 영상 프레임의 블록을 분할한다. 영상 안정화장치(100)는 블록 내 객체의 특징점을 추출하며, 특징점에 대응되는 블록에 대한 지역 움직임벡터 산출을 통해 영상 전역의 움직임벡터를 산출함으로써 흔들린 영상을 보정하여 화면을 통해 출력한다. 여기서, 영상 안정화장치(100)는 지칭되는 명칭에 국한되지 않는다. 영상 안정화장치(100)는 이동 단말기에 영상보정 애플리케이션을 탑재하여 영상의 흔들림을 보정한다. 이동 단말기는 사용자의 조작 또는 명령에 의해 영상보정 애플리케이션을 구동하며, 영상보정 애플리케이션을 통해 흔들린 영상을 보정한다. 영상보정 애플리케이션은 이동 단말기가 스마트폰인 경우 애플리케이션 마켓을 이용하여 다운로드 방식으로 이동 단말기에 인스톨될 수 있다. 이동 단말기가 피쳐 폰(Feature Phone)인 경우 영상정보 애플리케이션은 통신사 서버를 이용하여 다운로드된 VM(Virtual Machine) 상에서 구동될 수 있다. 이동 단말기는 영상보정 애플리케이션을 임베디드(Embeded) 형태로 탑재한 상태로 구현되거나, 이동 단말기 내에 탑재되는 OS(Operating System)에 임베디드 형태로 탑재되거나, 사용자의 조작 또는 명령에 의해 이동 단말기 내의 OS에 인스톨되는 형태로 탑재할 수 있다. 전술한 방식으로 이동 단말기에 탑재된 영상보정 애플리케이션은 이동 단말기에 탑재된 기본 애플리케이션(예컨대, 문자 발송 애플리케이션, 데이터 송수신 애플리케이션, 메신져 애플리케이션, 음성 호 송수신 애플리케이션, 라디오 애플리케이션, DMB 애플리케이션, 네비게이션 애플리케이션 등)과 연동하도록 구현될 수 있으나, 반드시 이에 한정되는 것은 아니며, 기본 애플리케이션과 연동없이 독립적인 기능으로 운용될 수 있다.
도 2는 본 실시예에 따른 영상 안정화장치(100)의 구성을 도시한 블록도이다.
도 2를 보면, 본 실시예에 따른 영상 안정화장치(100)는 영상 수신부(110), 블록 분할부(120), 영상 분석부(130), 중요블록 추출부(140), 특징점 추출부(150), 지역 움직임벡터 산출부(160), 전역 움직임벡터 산출부(170), 영상 보정부(180) 및 영상 출력부(190)를 포함한다.
본 실시예에 따른 영상 안정화장치(100)와 상호 연결이 된 카메라(300)는 영상을 촬영할 수 있는 장치를 의미한다. 카메라(300)는 객체의 이동, 침입, 이탈 등의 감시를 위한 객체 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라, 이동식 단말기인 스마트폰에 탈착된 카메라 등으로 구현될 수 있다. 카메라(300)로 촬영된 영상은 복수 개의 프레임을 포함한다.
본 실시예에 따른 영상 안정화장치(100)와 상호 연결된 카메라(300)는 네트워크망(500)을 경유하여 영상 안정화장치(100)와 영상 및 데이터를 송수신하는 것으로 나타내고 있으나 반드시 이에 한정되는 것은 아니다. 카메라(300)는 근거리 통신망 또는 소정의 기업에서 설치한 통신기지국에 따른 통신망과 같이 영상 및 데이터를 송수신할 수 있다면 명칭에 국한되지 않고 그 어떤 망으로도 구현될 수 있다.
본 실시예에 따른 영상 안정화장치(100)의 영상 수신부(110)는 카메라(300)와 연결되어 촬영영상을 수신하는 역할을 수행한다. 여기서, 촬영영상은 카메라(300)에 포함된 복수 개의 카메라를 통해 촬영된 영상으로서 각각의 카메라에 대한 촬영영상을 의미하며, 촬영영상은 복수 개의 프레임을 포함한다.
블록 분할부(120)는 카메라로부터 촬영된 영상 내 프레임을 블록 단위로 분할하는 역할을 수행한다. 여기서, 블록 분할은 가로 세로가 각각 N×N 크기의 고정블록 단위로 분할하고, 블록 내 에지(Edge)의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도에 따라 객체 분포도가 비슷한 블록끼리 병합하여 최종 블록을 설정하는 것을 의미한다. 예컨대, 하늘, 사막과 같은 특징점 추출이 어려운 영역은 큰 블록으로 분할하고, 사람, 사물 등 객체가 포함된 영역은 객체 크기 정도에 따라 중간블록과 작은 블록으로 분할할 수 있다.
영상 분석부(130)는 블록 분할부(120)에서 분할된 블록의 특성을 분석하여 가중치를 산출하는 역할을 수행한다. 여기서, 가중치 산출은 블록 내 에지의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도를 산출하여 블록의 가중치를 산출하는 것을 의미한다. 예컨대, 가중치 산출은 블록 내 에지의 밀집도가 현저히 떨어지거나 히스토그램 분포상 어느 한쪽 영역에 히스토그램 분포가 편중되어 있을 경우 특징점 추출이 어려운 영역으로 판단하여 해당 블록의 가중치 값을 작게 산출한다.
중요블록 추출부(140)는 블록 분할부(120)에서 분할한 블록 중에서 영상 분석부(130)에서 수신된 가중치 값에 따라 가중치 값이 소정의 임계값 이상인 블록을 중요블록으로 추출한다. 중요블록 추출부(140)는 분할한 블록 중에서 에지의 밀집도와 히스토그램분포 특성에 따른 객체 분포도에 따라 가중치가 소정의 임계값 이상인 블록을 중요블록으로 추출한다.
특징점 추출부(150)는 중요블록 추출부(140)에서 추출된 중요블록에 포함된 객체의 특징점을 추출한다. 특징점 추출부(150)는 블록의 픽셀을 추출하여 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출한다.
지역 움직임벡터 산출부(160)는 특징점 추출부(150)에서 추출한 특징점에 대응되는 하나 이상의 블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출한다.
전역 움직임벡터 산출부(170)는 하나 이상의 블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출한다. 여기서, 전역 움직임벡터는 하나 이상의 지역 움직임벡터에 가중치를 부여하고, 평균화하는 과정을 통해 산출될 수 있다. 전역 움직임벡터 산출부(170)는 복수의 프레임에 대해서 산출된 복수의 지역 움직임벡터를 참조하여 특징점의 움직임이 일정한 움직임으로 판별되는 경우, 특징점에 대한 지역 움직임벡터를 정상적인 이동 물체로 판단하여 전역 움직임벡터의 생성을 생략한다. 전역 움직임벡터 산출부(170)는 하나 이상의 지역 움직임벡터의 크기 및 방향 중에 적어도 하나가 소정의 임계치 범위를 벗어나는 경우 하나 이상의 지역 움직임벡터에 대한 전역 움직임벡터 생성을 생략한다.
영상 보정부(180)는 전역 움직임벡터 산출부(170)에서 산출된 전역 움직임벡터에 따라 프레임의 출력 데이터를 보정한다.
영상 출력부(190)는 영상 보정부(180)를 통해 보정된 영상 데이터를 화면에 출력한다.
도 3은 본 실시예에 따른 영상 안정화장치에서 영상 내 블록의 분할과 특징점 추출 및 움직임벡터 산출 과정을 도시한 흐름도이다. 이하에서는 본 실시예에 따른 영상 안정화 방법을 예시한 흐름도인 도 3에 따라 본 실시예에 의한 영상 안정화 방법의 구체적인 과정을 설명한다.
본 실시예에 따른, 영상 안정화장치(100)는 카메라(300)로 촬영된 영상 내 프레임의 흔들림을 보정하기 위하여 카메라(300)로부터 촬영된 영상이 수신(S210)되면, 영상 내 프레임을 블록 단위로 분할(S220)한다.
영상 안정화장치(100)는 블록의 에지의 밀집도와 히스토그램 분포 특성을 분석하여 가중치를 산출하는 과정(S230)을 수행하고, 블록 중 가중치 값에 따라 중요블록으로 추출하는 과정(S240)을 수행한다. 영상 안정화장치(100)는 분할한 블록 중에서 에지의 밀집도와 히스토그램분포 특성에 따른 객체 분포도에 따라 가중치가 소정의 임계값 이상인 블록을 중요블록으로 추출한다.
영상 안정화장치(100)는 중요블록의 특징점을 추출(S250)하고, 중요블록의 지역 움직임벡터를 산출(S260)하는 과정을 수행한다. 영상 안정화장치(100)는 중요블록 지역 움직임벡터에 가중치 적용과 평균화 방식(weighted mean)을 이용하여 영상 전역에 해당하는 전역 움직임벡터를 산출하는 과정(S270)을 수행한다.
영상 안정화장치(100)는 전역 움직임벡터를 이용하여 영상 보정부(180)에서 영상 흔들림 보정 처리 과정(S280)을 수행한다.
도 4는 본 실시예에 따른 영상 안정화장치에서 영상 내 중요블록에서 특징점 추출 과정을 도시한 흐름도이다.
영상 안정화장치(100)는 영상 내 중요블록을 추출(S310)하고, 중요블록의 픽셀을 추출(S320)하는 과정을 수행한다. 영상 안정화장치(100)는 분할한 블록 중에서 에지의 밀집도와 히스토그램분포 특성에 따른 객체 분포도에 따라 가중치가 소정의 임계값 이상인 블록을 중요블록으로 추출하고, 중요블록의 픽셀을 추출한다.
영상 안정화장치(100)는 픽셀의 주변 색상 또는 휘도가 크게 변화하는지 판별(S330)하고, 픽셀의 주변 색상 또는 휘도가 크게 변화하였으면 특징점으로 추출(S340)하는 과정을 수행한다. 영상 안정화장치(100)는 픽셀의 주변 색상 또는 휘도가 크게 변화하지 않았다면 다음 픽셀로 이동하여 픽셀 추출과정을 수행한다.
영상 안정화장치(100)는 특징점으로 추출된 개수가 소정의 임계값 이상인지 판별(S350)하고, 특징점 개수가 임계값 이상이 아니라면 다음 픽셀로 이동(S360)하고, 특징점 개수가 임계값 이상이라면 종료를 함으로써 특징점을 추출한다.
도 5는 본 실시예에 따른 영상 안정화장치에서 영상 내 프레임에서 블록 분할 과정을 도시한 실시예이다.
도 5는 영상 안정화장치(100)가 영상 내 프레임을 가로 세로(예컨대, N×N)형태의 고정블록으로 분할하고, 객체 분포도 분석을 이용하여 객체 분포도가 유사한 블록끼리는 병합을 시킴으로써 최종 블록을 분할 설정하는 과정을 도시한 실시예이다.
본 실시예를 설명함에 있어, 본 실시예에 따른 영상 안정화장치(100)의 각 구성요소는 앞서 간략히 언급된 바와 같이 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 되어야 한다.
각각의 구성은 본 실시예의 기술사상을 실현하기 위하여 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 수행되더라도 본 실시예의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 실시예의 범위 내에 있다고 해석되어야 한다. 각각의 구성은 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 실시예의 범위 내에 있다고 해석되어야 함은 물론이다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 실시예에 개시된 일 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 일 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다.
본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 사용자 편의성과 접근성을 기반으로 영상 보정 결과물을 얻는 형태의 과정을 구현함으로써, 영상보정 및 영상안정화 분야 등에서 널리 활용될 수 있는 효과가 있다.
100 : 영상 안정화 장치 110 : 영상 수신부
120 : 블록 분할부 130 : 영상 분석부
140 : 중요블록 추출부 150 : 특징점 추출부
160 : 지역 움직임벡터 산출부 170 : 전역 움직임벡터 산출부
180 : 영상 보정부 190 : 영상 출력부
300 : 카메라 310 : 카메라 1
330 : 카메라 2 350 : 카메라 n
500 : 네트워크망
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2013. 09. 16.에 한국에 출원한 특허출원번호 제10-2013-0111366호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (11)

  1. 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 장치에 있어서,
    상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부;
    상기 프레임을 블록 단위로 분할하는 블록 분할부;
    상기 블록의 특성을 분석하여 가중치를 산출하는 영상 분석부;
    상기 블록 중에서 상기 가중치가 임계값 이상인 블록을 중요블록으로 추출하는 중요블록 추출부;
    상기 블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하거나 상기 중요블록으로부터 상기 특징점을 추출하는 특징점 추출부;
    상기 특징점에 대응되는 하나 이상의 블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출부;
    상기 하나 이상의 블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출부; 및
    상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정부
    를 포함하는 것을 특징으로 하는 영상 안정화 장치.
  2. 제 1 항에 있어서,
    상기 전역 움직임벡터 산출부는,
    상기 하나 이상의 지역 움직임벡터에 가중치를 부여하고, 평균화하는 과정을 통해 상기 전역 움직임벡터를 산출하는 것을 특징으로 하는 영상 안정화 장치.
  3. 제 1 항에 있어서,
    상기 블록 분할부는,
    상기 프레임을 블록 단위로 분할하고, 상기 영상 분석부에서 수신된 에지의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도에 따라 상기 객체 분포도가 비슷한 블록끼리 병합하여 최종 블록을 설정하고, 상기 중요블록 추출부는 상기 최종블록을 중요블록으로 추출하는 것을 특징으로 하는 영상 안정화 장치.
  4. 제 1 항에 있어서,
    상기 지역 움직임벡터 산출부는,
    상기 특징점에 대해 복수의 프레임에 대해서 상기 지역 움직임벡터를 산출하는 것을 특징으로 하는 영상 안정화 장치.
  5. 제 4 항에 있어서,
    상기 전역 움직임벡터 산출부는,
    상기 복수의 프레임에 대해서 산출된 복수의 지역 움직임벡터를 참조하여 상기 특징점의 움직임이 일정한 움직임으로 판별되는 경우, 상기 특징점에 대한 상기 지역 움직임벡터를 정상적인 이동 물체로 판단하여 전역 움직임벡터의 생성을 생략하는 것을 특징으로 하는 영상 안정화 장치.
  6. 제 1 항에 있어서,
    상기 전역 움직임벡터 산출부는,
    상기 하나 이상의 지역 움직임벡터의 크기 및 방향 중에 적어도 하나가 소정의 임계치 범위를 벗어나는 경우 상기 하나 이상의 지역 움직임벡터에 대한 전역 움직임벡터 생성을 생략하는 것을 특징으로 하는 영상 안정화 장치.
  7. 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 장치에 있어서,
    상기 카메라로부터 촬영된 영상을 수신하는 영상 수신부;
    상기 프레임을 블록 단위로 분할하는 블록 분할부;
    상기 블록 단위에 대응되는 에지의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도를 생성하고, 상기 블록 분할부에서 상기 객체 분포도에 따라 상기 객체 분포도가 비슷한 블록끼리 병합하여 최종 블록이 설정되도록 하는 영상 분석부;
    상기 최종 블록을 중요블록으로 추출하는 중요블록 추출부;
    상기 중요블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하는 특징점 추출부;
    상기 특징점에 대응되는 하나 이상의 중요블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출부;
    상기 하나 이상의 중요블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출부; 및
    상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정부
    를 포함하는 것을 특징으로 하는 영상 안정화 장치.
  8. 컴퓨터에,
    카메라로부터 촬영된 영상을 수신하는 영상 수신 과정;
    상기 영상 내의 프레임을 블록 단위로 분할하는 블록 분할 과정;
    상기 블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하는 특징점 추출 과정;
    상기 특징점에 대응되는 하나 이상의 블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출 과정;
    상기 하나 이상의 블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출 과정; 및
    상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정 과정
    을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 제 8항에 있어서,
    상기 블록의 특성을 분석하여 가중치를 산출하는 과정; 및
    상기 블록 중에서 상기 가중치가 소정의 임계값 이상인 블록을 중요블록으로 추출하게 하고, 상기 특징점을 추출할 경우에 상기 중요블록으로부터 상기 특징점을 추출하는 과정
    을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 방법에 있어서,
    상기 카메라로부터 촬영된 영상을 수신하는 영상 수신 과정;
    상기 프레임을 블록 단위로 분할하는 블록 분할 과정;
    상기 블록의 특성을 분석하여 가중치를 산출하는 영상 분석 과정;
    상기 블록 중에서 상기 가중치가 임계값 이상인 블록을 중요블록으로 추출하는 중요블록 추출 과정;
    상기 블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하거나 상기 중요블록으로부터 상기 특징점을 추출하는 특징점 추출 과정;
    상기 특징점에 대응되는 하나 이상의 블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출 과정;
    상기 하나 이상의 블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출 과정; 및
    상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정 과정
    을 포함하는 것을 특징으로 하는 영상 안정화 방법.
  11. 카메라의 촬영영상 내 프레임의 흔들림을 보정하는 방법에 있어서,
    상기 카메라로부터 촬영된 영상을 수신하는 영상 수신 과정;
    상기 프레임을 블록 단위로 분할하는 블록 분할 과정;
    상기 블록 단위에 대응되는 에지의 밀집도와 히스토그램 분포 특성에 따른 객체 분포도를 생성하고, 상기 블록 분할부에서 상기 객체 분포도에 따라 상기 객체 분포도가 비슷한 블록끼리 병합하여 최종 블록이 설정되도록 하는 영상 분석 과정;
    상기 최종 블록을 중요블록으로 추출하는 중요블록 추출 과정;
    상기 중요블록의 픽셀을 추출하여 상기 픽셀의 주변 색상과 휘도 중 적어도 하나 이상의 차이를 비교한 결과를 근거로 특징점을 추출하는 특징점 추출 과정;
    상기 특징점에 대응되는 하나 이상의 중요블록에 대하여 이전 프레임에서 움직임을 추정하여 지역 움직임벡터를 각각 산출하는 지역 움직임벡터 산출 과정;
    상기 하나 이상의 중요블록에 대하여 산출된 하나 이상의 지역 움직임벡터를 이용하여 전역 움직임벡터를 산출하는 전역 움직임벡터 산출 과정; 및
    상기 전역 움직임벡터에 따라 상기 프레임의 출력 데이터를 보정하는 영상 보정 과정
    을 포함하는 것을 특징으로 하는 영상 안정화 방법.
PCT/KR2014/008564 2013-09-16 2014-09-15 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법 WO2015037957A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480048861.5A CN105519092B (zh) 2013-09-16 2014-09-15 利用图像模糊校正进行图像稳定的设备和方法
US15/069,212 US9811887B2 (en) 2013-09-16 2016-03-14 Apparatus and method for image stabilization using image blur correction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130111366A KR102072014B1 (ko) 2013-09-16 2013-09-16 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
KR10-2013-0111366 2013-09-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/069,212 Continuation US9811887B2 (en) 2013-09-16 2016-03-14 Apparatus and method for image stabilization using image blur correction

Publications (1)

Publication Number Publication Date
WO2015037957A1 true WO2015037957A1 (ko) 2015-03-19

Family

ID=52665975

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/008564 WO2015037957A1 (ko) 2013-09-16 2014-09-15 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Country Status (4)

Country Link
US (1) US9811887B2 (ko)
KR (1) KR102072014B1 (ko)
CN (1) CN105519092B (ko)
WO (1) WO2015037957A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160113887A (ko) * 2015-03-23 2016-10-04 한화테크윈 주식회사 영상안정화장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3686843A1 (en) * 2016-06-08 2020-07-29 Esaote S.p.A. Method and system for estimating motion between images, particularly in ultrasound spatial compounding
JP6823469B2 (ja) * 2017-01-20 2021-02-03 キヤノン株式会社 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
KR102434397B1 (ko) * 2017-07-10 2022-08-22 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN109658455B (zh) * 2017-10-11 2023-04-18 阿里巴巴集团控股有限公司 图像处理方法和处理设备
KR102521656B1 (ko) 2018-01-03 2023-04-13 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR102429337B1 (ko) 2018-01-16 2022-08-03 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
CN110505435B (zh) * 2018-05-16 2021-01-29 京鹰科技股份有限公司 图像传输方法及其系统与图像传送端装置
CN113497886B (zh) * 2020-04-03 2022-11-04 武汉Tcl集团工业研究院有限公司 视频处理方法、终端设备及计算机可读存储介质
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113625737A (zh) * 2021-08-13 2021-11-09 海创飞龙(福建)科技有限公司 一种用于侦引打评的无人机装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222933A (ja) * 2005-01-13 2006-08-24 Olympus Imaging Corp ブレ補正方法および撮像装置
JP2007151008A (ja) * 2005-11-30 2007-06-14 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2009088628A (ja) * 2007-09-27 2009-04-23 Canon Inc 画像処理装置
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
KR20100133826A (ko) * 2009-06-12 2010-12-22 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4700544B2 (ja) * 2006-04-03 2011-06-15 三星電子株式会社 撮像装置，及び撮像方法
TWI365662B (en) * 2008-12-03 2012-06-01 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4915423B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法
CN102148934B (zh) * 2011-04-02 2013-02-06 北京理工大学 一种多模式实时电子稳像系统
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
KR101657526B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
CN102663718B (zh) * 2012-03-19 2015-06-24 清华大学 一种全局不一致图像去模糊的方法及系统
CN102801972B (zh) * 2012-06-25 2017-08-29 北京大学深圳研究生院 基于特征的运动矢量估计和传递方法
CN103227888B (zh) * 2013-04-21 2016-09-14 中国科学技术大学 一种基于经验模式分解和多种评价准则的视频去抖动方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222933A (ja) * 2005-01-13 2006-08-24 Olympus Imaging Corp ブレ補正方法および撮像装置
JP2007151008A (ja) * 2005-11-30 2007-06-14 Casio Comput Co Ltd 画像処理装置及びプログラム
JP2009088628A (ja) * 2007-09-27 2009-04-23 Canon Inc 画像処理装置
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
KR20100133826A (ko) * 2009-06-12 2010-12-22 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160113887A (ko) * 2015-03-23 2016-10-04 한화테크윈 주식회사 영상안정화장치 및 방법
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법

Also Published As

Publication number Publication date
US20160196639A1 (en) 2016-07-07
KR102072014B1 (ko) 2020-01-31
KR20150031766A (ko) 2015-03-25
US9811887B2 (en) 2017-11-07
CN105519092B (zh) 2019-06-04
CN105519092A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
WO2015037957A1 (ko) 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
WO2018225967A1 (en) Device having cameras with different focal lengths and method of implementing cameras
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
CN112767295A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
WO2017095179A1 (en) Method and apparatus for image enhancement of virtual reality images
CN108965692B (zh) 贴纸设置方法及装置
WO2012153986A2 (en) Analysis method and system of correlation between users using exchangeable image file format
WO2020017825A1 (en) Method of combining content from multiple frames and electronic device therefor
WO2013047954A1 (ko) 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
CN108616687B (zh) 一种拍照方法、装置和移动终端
CN111652933B (zh) 基于单目相机的重定位方法、装置、存储介质与电子设备
KR20210088438A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN115409696A (zh) 图像处理方法、装置、电子设备及存储介质
CN113096022B (zh) 图像虚化处理方法、装置、存储介质与电子设备
CN116055894B (zh) 基于神经网络的图像去频闪方法和装置
CN114881886A (zh) 图像处理方法、装置、电子设备及存储介质
WO2019045245A1 (en) SYNCHRONIZATION OF IMAGE CAPTURES IN MULTIPLE SENSOR TYPE DEVICES
WO2011007970A1 (en) Method and apparatus for processing image
WO2019194572A1 (en) Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content
JP2017200098A (ja) 動き監視装置
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치
WO2014017719A1 (ko) 병렬 영상 필터링 모듈을 구비한 다시점 카메라를 이용한 시각 장애인 가이드 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN105357575A (zh) 一种视频图像处理装置和方法
WO2023240651A1 (zh) 图像处理方法及装置
CN210221843U (zh) 输电线设备的蜂窝缺陷检测系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14843548

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14843548

Country of ref document: EP

Kind code of ref document: A1