WO2020213756A1 - 영상 보정 방법 및 장치 - Google Patents

영상 보정 방법 및 장치 Download PDF

Info

Publication number
WO2020213756A1
WO2020213756A1 PCT/KR2019/004634 KR2019004634W WO2020213756A1 WO 2020213756 A1 WO2020213756 A1 WO 2020213756A1 KR 2019004634 W KR2019004634 W KR 2019004634W WO 2020213756 A1 WO2020213756 A1 WO 2020213756A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
trajectory
stabilization
extracting
average value
Prior art date
Application number
PCT/KR2019/004634
Other languages
English (en)
French (fr)
Inventor
박찬용
이은성
정혜진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/486,809 priority Critical patent/US11070730B2/en
Priority to PCT/KR2019/004634 priority patent/WO2020213756A1/ko
Priority to KR1020197021057A priority patent/KR20210143345A/ko
Publication of WO2020213756A1 publication Critical patent/WO2020213756A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Definitions

  • the present invention relates to an image correction method and apparatus thereof, and more particularly, to an image correction method and apparatus capable of minimizing image shaking caused by user's hand shake by analyzing an image.
  • EIS Electronic Image Stabilization
  • DIS digital image stabilization
  • OIS optical image stabilization
  • Electronic correction and digital correction correct the shaky picture through an algorithm.
  • As a software method it has the advantage of being inexpensive, but there is a disadvantage that deterioration occurs after correction.
  • optical correction detects the shake of the terminal through a sensor installed in the terminal and corrects the shake by moving the lens in the opposite direction.
  • Optical correction has the advantage of being able to correct camera shake without deteriorating image quality, but it requires additional space and has a disadvantage that the price is higher than that of electronic correction/digital correction.
  • an object of the present invention is to provide a method and apparatus for correcting an image so that even if a user moves largely while photographing a video for a certain period of time, it is hardly shaken or appears to move smoothly on the image. .
  • Another object of the present invention is to obtain a smooth image without shaking in an image that reproduces the passage of time and movement of space at high speed after photographing a long time image, such as a timelapse or hyperlapse. It is to provide a method and apparatus.
  • An image correction method includes: extracting a common feature point from image frames according to a correction window size, extracting a trajectory of the feature point from the image frames, and Calculating an average value of a trajectory, extracting a stabilization trajectory from a circular queue buffer using the trajectory and the average value, reselecting the positions of the image frames based on the stabilization trajectory and perspective distortion (perspective) warp) to generate a stabilized image.
  • An image correction method includes the step of cropping the stabilized image, and when a blank occurs in the cropped stabilized image, the image frame in front or behind the image frame in which the blank is generated. It characterized in that it further comprises the step of borrowing the image portion corresponding to the blank.
  • the step of extracting the stabilization trajectory includes inputting the trajectory into the circular queue buffer, and first stabilization by calculating an intermediate value between the trajectory and the average value. Calculating a trajectory and inputting it to the circular cue buffer, calculating a second stabilization trajectory by calculating an intermediate value between the first stabilization trajectory and the average value, and inputting the second stabilization trajectory to the circular cue buffer, the second stabilization Computing an intermediate value between the trajectory and the average value to calculate a third stabilization trajectory and inputting it to the circular queue buffer, calculating a median value between the third stabilization quadrature and the average value to extract the stabilization trajectory. It characterized in that it includes.
  • the circular cue buffer is a fixed area
  • the first to third stabilization trajectories are sequentially input to the circular cue buffer
  • the circular cue buffer is full. Then, the oldest area in the circular queue buffer is overwritten.
  • the perspective distortion is characterized in that distortion correction is performed by calculating a distortion degree based on the stabilization trajectory.
  • the image correction method prior to the step of extracting the feature points, first dropping some image frames and after the step of generating the stabilization image, some image frames are secondarily omitted. It characterized in that it further comprises the step of generating a hyperlapse image.
  • the number of image frames missing in the second dropping step is determined according to a double speed of the hyperlapse image.
  • the image correction method is characterized in that it further comprises the step of cropping an area other than a blank area in the hyperlapse image.
  • a smoothly moving image can be obtained without shaking.
  • a type lap or hyper lapse image that moves smoothly without shaking or interruption may be obtained.
  • 1 is a diagram showing a state of a terminal when a user moves and takes an image.
  • FIG. 2 is a diagram illustrating a shaking phenomenon that occurs when a user moves and photographs an image.
  • 3 is a diagram showing feature points extracted from an image frame.
  • 4 is a diagram showing the trajectory of feature points extracted from image frames.
  • FIG. 5 is a diagram showing a conventional method for preventing hand shake.
  • FIG. 6 is a diagram illustrating a method of preventing hand shake according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a circular queue buffer according to an embodiment of the present invention based on an image frame.
  • FIG. 8 is a diagram illustrating a circular queue buffer according to an embodiment of the present invention as an image frame and a graphic.
  • FIG. 9 is a diagram illustrating a principle of applying perspective distortion according to an embodiment of the present invention.
  • FIG. 10 is a diagram visually illustrating a principle of applying perspective distortion according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an image correction method according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating application of hole filling according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a principle of generating a time lapse or a hyper lapse according to another embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a method of generating a time lapse or a hyper lapse according to another embodiment of the present invention.
  • 15 is a diagram illustrating an image correction apparatus according to an embodiment of the present invention.
  • 1 is a diagram showing a state of a terminal when a user moves and takes an image.
  • the terminal for photographing is naturally shaken.
  • the subject is photographed from the front, but in the image frame 120, the terminal faces above the subject, and in the image frame 130, the terminal faces downward than the subject. Therefore, if the image frames are continuously played back, the entire screen is shaken, resulting in an unstable image.
  • FIG. 2 is a diagram illustrating a shaking phenomenon that occurs when a user moves and photographs an image.
  • the terminal rises above the image frame 210, and the subject is located below the image.
  • the terminal moves downward than in the image frame 220 so that the subject is located above the image.
  • the terminal rises above the image frame 230, and the subject is located below the image.
  • the swing phenomenon makes the image unstable and can cause dizziness for the viewer, so it is desirable to avoid it as much as possible.
  • 3 is a diagram showing feature points extracted from an image frame.
  • the feature point 310 refers to a point that can be a reference in the image frames, and may be one or more. For example, when a building exists in an image frame, vertices of the building may be the feature points 310. It is preferable to select a point that can be clearly distinguished from the surroundings for the feature point 310.
  • machine learning or artificial intelligence may be used. That is, as the data for the image frames is accumulated, the feature points 310 can be more precisely extracted.
  • FIG. 4 is a diagram illustrating a trajectory of a feature point 310 extracted from image frames.
  • a trajectory 410 of the feature points 310 may be extracted based on a change in the position of the feature points 310 between image frames.
  • the trajectory 410 is simply extracted as a two-dimensional graph, but a trajectory for a change in the position of the feature point 310 can be extracted using a three-dimensional graph.
  • the average value 420 of the trajectory 410 may be derived from the trajectory 410.
  • FIG. 5 is a diagram showing a conventional method for preventing hand shake.
  • the correction window size 530 is for stabilizing the trajectory 510 of the feature point 310.
  • the stabilization trajectory 520 may be extracted by obtaining an average value of the trajectory belonging to the correction window size 530 and connecting the average value and the intermediate value of the trajectory.
  • a correction direction 540 is determined by reselecting the position of the image along the stabilization trajectory 520.
  • the image stabilization technology is mainly applied only to photos, so the correction window size 530 is very small.
  • the correction window size 530 is increased, the number of image frames to be stored in the buffer for calculation is increased, and thus a larger memory is required. Therefore, in the related art, it was difficult to enlarge the correction window size 530 due to problems such as cost, and there was no need to enlarge it.
  • the present invention proposes a method of increasing the correction window size 530 and preventing a swing phenomenon with a small memory capacity in correcting a video.
  • FIG. 6 is a diagram illustrating a method of preventing hand shake according to an embodiment of the present invention.
  • the correction window size 630 is set larger than the conventional one, and the average value of the trajectories 610 belonging to the correction window size 630 is calculated.
  • the correction window size 630 may be up to 60 image frames.
  • a stabilization trajectory 620 is extracted by connecting the trajectory 610 and the intermediate value of the average value.
  • the correction direction 640 is determined by reselecting the position of the image according to the stabilization trajectory 620.
  • the trajectory 510 of FIG. 5 and the trajectory 610 of FIG. 6 are the same trajectory, but the stability and the trajectory 520 of FIG. 5 and the stabilization trajectory 620 of FIG. 6 are different as the correction window size is set differently.
  • the correction direction 540 in FIG. 5 and the correction direction 640 in FIG. 6 are also different, and that the correction direction 640 in FIG. 6 has a more gentle slope than the correction direction 540 in FIG. I can.
  • correction direction 640 has a gentler slope means that even if the image is greatly shaken for a long period of time, if the image is corrected according to the stabilization trajectory 620, the swing phenomenon is reduced.
  • FIG. 7 is a diagram illustrating a circular queue buffer according to an embodiment of the present invention based on an image frame.
  • Image frames are arranged in the first layer 720, the second layer 730, and the third layer 740 according to the image frame index 710.
  • a first stabilization operation 725 is sequentially performed on the image frames arranged on the first layer 720.
  • a trajectory corrected by performing the first stabilization operation 725 is referred to as a first stabilization trajectory.
  • the result of excluding image frames having the same trajectory is disposed on the second layer.
  • a second stabilization operation 735 is sequentially performed on the image frames arranged on the second layer 730.
  • a trajectory corrected by performing the second stabilization operation 735 is referred to as a second stabilization trajectory.
  • the second stabilization operation 735 the result of excluding image frames having the same trajectory is disposed on the third layer 730.
  • a third order stabilization operation 745 is sequentially performed on the image frames arranged on the third order layer 740 in the same manner.
  • a trajectory corrected by performing the third stabilization operation 745 is referred to as a third stabilization trajectory.
  • a result obtained by excluding image frames having the same trajectory as the third stabilization operation 735 is performed is referred to as a final stabilization trajectory.
  • the first to third stabilization operations 725, 735, and 745 refer to an operation of calculating an intermediate value between a trajectory of an image frame and an average value of the trajectory.
  • the present invention uses a circular queue buffer.
  • FIG. 8 is a diagram illustrating a circular queue buffer according to an embodiment of the present invention as an image frame and a graphic.
  • Image frames are arranged in the first layer 820, the second layer 830, and the third layer 840 according to the image frame index 810, and the stabilization operation is performed using a circular queue buffer.
  • the circular cue buffer has a capacity of only 18 video frames.
  • a first stabilization operation 825 is sequentially performed. For example, assuming that the trajectory does not change even if the first stabilization operation 825 is performed on the image frames of regions 1 and 2, the corresponding image frames are maintained in the circular queue buffer. Under the assumption that the trajectory has changed from the image frame of the 3rd area, the image frame existing in the 3rd area is overwritten. In addition, image frames having the same trajectory according to the first stabilization operation 825 are removed.
  • the first layer 820 which was present from area 1 to area 14 of the circular queue buffer, is a second layer 830 through the first stabilization operation 825, from area 1 to area 7 Is saved.
  • the second layer 820 stored in the 7th area from the 1st area is stored in the 4th area from the 1st area as the 3rd layer 840 through the 2nd stabilization operation 835.
  • a third stabilization operation 845 is performed on the third layer 840 to extract a final stabilization trajectory.
  • the position of the image frames is reselected based on the extracted final stabilization trajectory, and perspective warp is performed.
  • FIG. 9 is a diagram illustrating a principle of applying perspective distortion according to an embodiment of the present invention.
  • the center point at the time of photographing and the center point of the image after the position reselection are different. If the center point is different, the perspective should be different accordingly. For example, when the same subject is in the center and at the top, the viewing angle is different, and the shape of the subject must be corrected accordingly to obtain a natural image.
  • the correction may be set differently depending on the lens of the terminal. For example, the corrections applied to flat-shaped lenses and circular-shaped lenses are different.
  • the diameter 910 of the existing circular subject becomes the diameter 920 of the circular subject after the movement, and the diameter applied perspective distortion based on the moving distance and the moving angle ( 930).
  • FIG. 10 is a diagram visually illustrating a principle of applying perspective distortion according to an embodiment of the present invention.
  • the center point 1020 is determined according to the final stabilization trajectory, and accordingly, the position of the image frames 1010 is reselected, and the angle and length are corrected by applying perspective distortion, rather than simply moving the image horizontally and vertically. .
  • FIG. 11 is a flowchart illustrating an image correction method according to an embodiment of the present invention.
  • feature points are extracted from image frames equal to the size of the correction window (S1110).
  • the extracted feature points are connected to extract a trajectory of the feature points (S1120).
  • the average value of the extracted trajectory is calculated (S1130).
  • a stabilization trajectory is extracted from the circular queue buffer by using the trajectory and the average value (S1140).
  • the stabilization operation can be repeated 3 times, which uses a circular queue buffer.
  • the circular queue buffer has a fixed memory size, and can process more image frames than the existing memory due to the characteristics of the circular queue buffer.
  • Positions of the image frames are reselected and perspective distortion is performed based on the stabilization trajectory (S1150).
  • a stabilization image is generated by combining the image frames subjected to the stabilization operation, repositioning, and perspective distortion (S1160).
  • FIG. 12 is a diagram illustrating application of hole filling according to an embodiment of the present invention.
  • a hole 1225 may occur in the image frame 1220.
  • the hole 1225 is an area not photographed when the image frame 1220 is photographed, but occurs as the center point is changed according to the repositioning.
  • a region corresponding to the hole 1225 is copied and pasted from the image frames before or after the image frame 1220.
  • the image frame 1230 after hole filling is applied is the sum of the image frame 1220 and the region corresponding to the hole 1235 in another image frame.
  • FIG. 13 is a diagram illustrating a principle of generating a time lapse or a hyper lapse according to another embodiment of the present invention.
  • Time Lapse or Hyper Lapse is one of the video shooting techniques, which makes it look like a video taken for a certain period of time is played back quickly.
  • a stabilization trajectory is extracted from more image frames than a predetermined time interval, and repositioning and perspective distortion are applied. After that, some video frames are deleted according to the desired speed. Therefore, it is possible to extract the stabilization trajectory with less shaking than in the prior art, so that the shaking or swing phenomenon can be minimized even in time-lapse or hyper-lapse images.
  • a buffer is used to generate a time lapse or a hyper lapse according to another embodiment of the present invention.
  • original image frames are input to the input buffer 1320 by the size of the correction window 1335 in the order of the buffer index 1310.
  • the final stabilization trajectory is extracted while some image frames are omitted.
  • repositioning of the image and perspective distortion are applied and input to the playback buffer 1330.
  • Some image frames are additionally omitted according to a desired double speed, and a region in which a hole does not occur in the image frames is cropped and input to the frame buffer 1340.
  • the video frames input to the frame buffer 1340 are combined to generate a time lapse or a hyper lapse.
  • FIG. 14 is a diagram illustrating a method of generating a time lapse or a hyper lapse according to another embodiment of the present invention.
  • a corrected image frame 1420 to which a stabilization operation, repositioning, and perspective distortion are applied to the original image frame 1410 is extracted.
  • a hole 1430 may occur in the process of repositioning and applying perspective distortion. Accordingly, the area 1440 in which the hole 1430 does not occur is cropped to generate a final type lapse or hyper lapse image frame 1450.
  • 15 is a diagram illustrating an image correction apparatus according to an embodiment of the present invention.
  • the present invention may be applied in conjunction with communication technology, and may be supplemented to specify or clarify the technical characteristics of the methods proposed in the present invention.
  • it is not necessary to include all of the components shown in FIG. 15, and may be omitted if necessary. Therefore, it is possible to perform image correction according to an embodiment of the present invention using only the processor and the memory. If the terminal is capable of communication, it is also possible to process image correction in an external server.
  • the wireless communication system includes a first communication device 1510 and/or a second communication device 1520.
  • 'A and/or B' may be interpreted as having the same meaning as'including at least one of A or B'.
  • the first communication device may represent a base station (BS), and the second communication device may represent a terminal (User Equipment; UE) (or the first communication device represents the UE, and the second communication device represents the BS. Can).
  • BS base station
  • UE User Equipment
  • Can User Equipment
  • the first communication device and the second communication device include a processor (processor, 1511, 1521), memory (memory, 1514, 1524), at least one Tx/Rx RF module (radio frequency module, 1515, 1525), and a Tx processor 1512, 1522), Rx processors 1513 and 1523, and antennas 1516 and 1526.
  • the Tx/Rx module is also called a transceiver.
  • the processor implements the previously salpin functions, processes and/or methods. More specifically, in DL (communication from the first communication device to the second communication device), higher layer packets from the core network are provided to the processor 1511.
  • the processor implements the functionality of the Layer 2 (ie, L2) layer.
  • the processor provides multiplexing between logical channels and transport channels and radio resource allocation to the second communication device 1520 and is responsible for signaling to the second communication device.
  • the transmit (TX) processor 1512 implements various signal processing functions for the L1 layer (ie, the physical layer).
  • the signal processing function facilitates forward error correction (FEC) in the second communication device, and includes coding and interleaving.
  • FEC forward error correction
  • a signal that has been encoded and interleaved is modulated into complex valued modulation symbols through scrambling and modulation.
  • BPSK binary phase shift keying
  • QPSK quadrature phase shift keying
  • 16QAM quadrature amplitude modulation
  • 64QAM 64QAM
  • 246QAM 246QAM
  • modulation symbols Complex value modulation symbols (hereinafter, modulation symbols) are divided into parallel streams, each stream is mapped to an OFDM subcarrier, and multiplexed with a reference signal (RS) in the time and/or frequency domain. , Combined together using IFFT (Inverse Fast Fourier Transform) to create a physical channel carrying a time domain OFDM symbol stream.
  • IFFT Inverse Fast Fourier Transform
  • the OFDM symbol stream is spatially precoded to produce multiple spatial streams.
  • Each spatial stream may be provided to a different antenna 1516 via a separate Tx/Rx module (or transceiver, 1515).
  • Each Tx/Rx module can frequency upconvert each spatial stream to an RF carrier for transmission.
  • each Tx/Rx module receives a signal of an RF carrier through each antenna 1526 of each Tx/Rx module.
  • Each of the Tx/Rx modules restores the signal of the RF carrier to a baseband signal and provides it to the reception (RX) processor 1523.
  • the RX processor implements various signal processing functions of L1 (ie, the physical layer).
  • the RX processor may perform spatial processing on the information to recover any spatial stream destined for the second communication device. If multiple spatial streams are directed to the second communication device, they can be combined into a single OFDMA symbol stream by multiple RX processors.
  • the RX processor converts the OFDM symbol stream, which is a time domain signal, into a frequency domain signal using Fast Fourier Transform (FFT).
  • the frequency domain signal includes a separate OFDM symbol stream for each subcarrier of the OFDM signal.
  • the modulation symbols and reference signal on each subcarrier are reconstructed and demodulated by determining the most probable signal constellation points transmitted by the first communication device. These soft decisions can be based on channel estimate values.
  • the soft decisions are decoded and deinterleaved to recover the data and control signal originally transmitted by the first communication device on the physical channel. Corresponding data and control signals are provided to the processor 1521.
  • the UL (communication from the second communication device to the first communication device) is handled at the first communication device 1510 in a manner similar to that described with respect to the receiver function at the second communication device 1520.
  • Each Tx/Rx module 1525 receives a signal through a respective antenna 1526.
  • Each Tx/Rx module provides an RF carrier and information to the RX processor 1523.
  • the processor 1521 may be associated with a memory 1524 that stores program codes and data.
  • the memory may be referred to as a computer-readable medium.
  • the computer-readable medium includes all kinds of recording devices that store data that can be read by a computer system.
  • Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc.
  • the present invention is an image correction method/apparatus that can be applied to various image capturing methods/devices or image correction methods/devices, and has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 보정 방법에 대한 것으로서, 보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하는 단계, 상기 영상 프레임들에서 상기 특징점의 궤적을 추출하는 단계, 상기 영상 프레임들에서 상기 궤적의 평균값을 계산하는 단계, 상기 궤적과 상기 평균값을 이용하여 원형 큐(circular queue) 버퍼에서 안정화 궤적을 추출하는 단계, 상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

영상 보정 방법 및 장치
본 발명은 영상 보정 방법 및 그 장치에 대한 것으로서, 보다 상세하게는 영상을 분석하여 사용자의 손떨림에 의한 영상의 흔들림 현상을 최소화할 수 있는 영상 보정 방법 및 그 장치에 대한 것이다.
카메라와 같이 렌즈를 포함하고 있는 단말기 등으로 영상을 촬영할 때, 사용자가 단말기를 이용하여 촬영하게 되면 사용자의 손떨림으로 인하여 영상에 흔들림 현상이 발생하게 된다.
손떨림으로 인한 흔들림 현상을 방지하기 위하여 전자식 보정 (Electrical Image Stabilization; EIS), 디지털 보정(Digital Image Stabilization; DIS), 또는 광학식 보정 (Optical Image Stabilization; OIS) 방법 등이 이용되고 있다.
전자식 보정과 디지털 보정은 흔들린 사진을 알고리즘을 통해 보정한다. 소프트웨어적인 방식으로서 저렴하다는 장점이 있으나, 보정 후에 열화가 발생한다는 단점이 있다.
반면에 광학식 보정은 단말기에 설치된 센서를 통해 단말기의 흔들림을 감지하여 렌즈를 반대 방향으로 이동시켜 흔들림을 보정한다. 광학식 보정은 화질 저하 없이 손떨림을 보정할 수 있다는 장점이 있으나 추가적인 공간을 필요로 하고 가격이 전자식 보정/디지털 보정에 비해 비싸다는 단점이 있다.
사진과 같이 일시적인 영상을 촬영하는 경우에는 전자식/디지털/광학식 보정을 이용하여 어느 정도 손떨림 현상을 보정하는 것이 가능하다. 그러나 동영상과 같이 일정 시간 동안 영상을 촬영하는 경우에는 위의 보정 방법을 이용하더라도 촬영자가 크게 움직이게 되면 영상이 출렁이는 스윙(swing) 현상이 발생한다.
본 발명은 상술한 종래 기술의 문제를 해결하기 위해, 사용자가 일정 시간 동안 동영상을 촬영하면서 크게 움직이더라도 영상 상에서는 거의 흔들리지 않거나 부드럽게 움직이는 것처럼 보이도록 영상을 보정하는 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적은, 타임 랩스(timelapse) 또는 하이퍼랩스(hyperlapse)와 같이 장시간 영상을 촬영한 후에 시간의 흐름과 공간의 움직임을 고속으로 재생하는 영상에 있어서 흔들림이 없고 부드러운 영상을 획득할 수 있는 방법 및 장치를 제공하는데 있다.
본 발명의 일 실시 예에 의한 영상 보정 방법은, 보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하는 단계, 상기 영상 프레임들에서 상기 특징점의 궤적을 추출하는 단계, 상기 영상 프레임들에서 상기 궤적의 평균값을 계산하는 단계, 상기 궤적과 상기 평균값을 이용하여 원형 큐(circular queue) 버퍼에서 안정화 궤적을 추출하는 단계, 상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법은, 상기 안정화 영상을 크롭(crop)하는 단계, 및 상기 크롭한 안정화 영상에 공백이 발생하면, 상기 공백이 발생한 영상 프레임의 앞 또는 뒤 영상 프레임에서 상기 공백에 해당하는 영상 부분 차용하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 안정화 궤적을 추출하는 단계는, 상기 원형 큐 버퍼에 상기 궤적을 입력하는 단계, 상기 궤적과 상기 평균값의 중간 값을 계산하여 제 1 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계, 상기 제 1 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 2 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계, 상기 제 2 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 3 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계, 상기 제 3 차 안정화 구적과 상기 평균값의 중간 값을 계산하여 상기 안정화 궤적을 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 원형 큐 버퍼는 고정된 영역으로서, 상기 제 1 내지 제 3 안정화 궤적은 순차적으로 상기 원형 큐 버퍼에 입력되며, 상기 원형 큐 버퍼가 가득 차게 되면 상기 원형 큐 버퍼 내에서 가장 오래된 영역부터 덮어씌우는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 원근 비틀기는 상기 안정화 궤적에 기초하여 왜곡 정도를 계산하여 왜곡 보정을 수행하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 특징점을 추출하는 단계 이전에, 일부 영상 프레임들을 1차로 누락시키는 단계 및 상기 안정화 영상을 생성하는 단계 이후에, 일부 영상 프레임들을 2차로 누락시키는 단계를 더 포함시켜 하이퍼랩스 영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 2차로 누락시키는 단계에서 누락되는 영상 프레임들의 개수는 상기 하이퍼랩스 영상의 배속에 따라 결정되는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 하이퍼랩스 영상에서 공백 영역을 제외한 영역을 크롭하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따르면, 사용자가 움직이면서 장시간 영상을 촬영하더라도 흔들림 없이 부드럽게 움직이는 영상을 얻을 수 있다.
본 발명의 다른 일 실시 예에 따르면, 사용자가 움직이면서 타임 랩스 또는 하이퍼랩스 영상을 촬영하더라도 흔들림, 끊김 없이 부드럽게 움직이는 타입 랩스 또는 하이퍼랩스 영상을 얻을 수 있다.
도 1은 사용자가 움직이면서 영상을 촬영할 때 단말기의 상태를 나타내고 있는 도면이다.
도 2는 사용자가 움직이면서 영상을 촬영할 때 발생하는 흔들림 현상을 나타내고 있는 도면이다.
도 3은 영상 프레임에서 추출하는 특징점을 도시하고 있는 도면이다.
도 4는 영상 프레임들에서 추출한 특징점의 궤적을 도시하고 있는 도면이다.
도 5는 종래 적용하던 손떨림 방지 방법을 도시하고 있는 도면이다.
도 6은 본 발명의 일 실시 예에 따라 손떨림 방지 방법을 도시하고 있는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 기준으로 도시하고 있는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 및 그래픽으로 도시하고 있는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 도시하고 있는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 시각적으로 도시하고 있는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 영상 보정 방법에 대한 순서도를 도시하고 있는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 홀 필링(hole filling)을 적용하는 것을 도시하고 있는 도면이다.
도 13은 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 원리를 도시하고 있는 도면이다.
도 14는 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 방법을 도시하고 있는 도면이다.
도 15는 본 발명의 일 실시 예에 따른 영상 보정 장치를 도시하고 있는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 사용자가 움직이면서 영상을 촬영할 때 단말기의 상태를 나타내고 있는 도면이다.
영상을 촬영하는 사용자(100)이 걷거나 뛰면서 촬영을 하게 되면, 촬영을 하기 위한 단말기가 자연스럽게 흔들리게 된다. 예를 들어, 영상 프레임(110)에서는 피사체를 정면에서 찍고 있지만, 영상 프레임(120)에서는 단말기가 피사체 보다 위쪽을 향하고 있고, 영상 프레임(130)에서는 단말기가 피사체 보다 아래쪽을 향하고 있다. 따라서 영상 프레임들을 연속적으로 재생하게 되면 화면 전체가 흔들리므로 안정적이지 못한 영상이 생성된다.
도 2는 사용자가 움직이면서 영상을 촬영할 때 발생하는 흔들림 현상을 나타내고 있는 도면이다.
영상 프레임들에서 중심점(200)을 잡았을 때, 영상 프레임(210)에서 피사체가 중심에 있다고 가정한다. 영상 프레임(220)에서는 단말기가 영상 프레임(210)때 보다 위쪽으로 올라가서 피사체는 영상의 아래쪽에 위치한다. 영상 프레임(230)에서는 단말기가 영상 프레임(220)때 보다 아래쪽으로 내려가서 피사체는 영상의 위쪽에 위치한다. 마지막으로 영상 프레임(240)에서는 단말기가 영상 프레임(230)때보다 위쪽으로 올라가서 피사체는 영상의 아래쪽에 위치한다. 이처럼 사용자가 영상을 움직이면서 촬영함에 따라 단말기도 같이 움직이게 되고, 그 결과 영상이 의도하지 않게 출렁이는 스윙(swing) 현상 발생하게 된다. 스윙 현상는 영상을 불안정하게 만들며, 보는 이로 하여금 어지러움을 유발할 수 있으므로 가능한 발생하기 않게 하는 것이 바람직하다.
도 3은 영상 프레임에서 추출하는 특징점을 도시하고 있는 도면이다.
특징점(310)은 영상 프레임들에서 기준이 될 수 있는 지점을 말하며, 하나 이상이 될 수 있다. 예를 들어, 영상 프레임 안에 건물이 존재하는 경우에는 건물의 꼭지점들이 특징점(310)이 될 수 있다. 특징점(310)은 주변과 확연히 구분될 수 있는 지점을 선택하는 것이 바람직하다.
특징점(310)을 선택하는데 있어서, 머신 러닝 또는 인공 지능을 이용할 수 있다. 즉, 영상 프레임들에 대한 데이터가 축적될 수록 더욱 정교하게 특징점(310)을 추출해 낼 수 있다.
도 4는 영상 프레임들에서 추출한 특징점(310)의 궤적을 도시하고 있는 도면이다.
영상 프레임들에서 추출한 특징점(310)을 기준으로, 영상 프레임들 사이에서 특징점(310)의 위치의 변화에 기초하여 특징점(310)의 궤적(410)을 추출할 수 있다. 도 4에서는 간략하게 2차원 그래프로 궤적(410)을 추출하고 있으나, 3차원 그래프를 이용하여 특징점(310)의 상하좌우 위치 변화에 대한 궤적을 추출할 수 있다.
또한, 궤적(410)으로부터 궤적(410)의 평균값(420)을 도출해 낼 수 있다.
도 5는 종래 적용하던 손떨림 방지 방법을 도시하고 있는 도면이다.
보정 윈도우 크기(530)는 특징점(310)의 궤적(510)을 안정화 시키기 위한 것이다. 보정 윈도우 크기(530)에 속하는 궤적의 평균값을 구하고, 평균값과 궤적의 중간값을 연결 시키면 안정화 궤적(520)을 추출할 수 있다. 안정화 궤적(520)을 따라 영상의 위치를 재선정하여 보정 방향(540)을 결정한다.
종래에는 사진에만 주로 손떨림 방지 기술이 적용되어 보정 윈도우 크기(530)가 매우 작았다. 게다가 보정 윈도우 크기(530)를 크게 할 경우 계산을 위해 버퍼에 저장해야 하는 영상 프레임의 개수도 늘어나게 되므로 더 큰 용량의 메모리를 필요하게 된다. 따라서 종래에는 비용 등의 문제로 인해 보정 윈도우 크기(530)를 크게 하기 어려웠으며 크게 할 필요성도 없었다.
그러나 종래의 손떨림 방지 기술을 동영상에 적용하게 될 경우, 잔진동처럼 미세한 손떨림은 보정이 가능하지만, 사용자가 움직이면서 촬영하는 경우같이 큰 움직임이 있을 때에는 보정이 불가능하였다. 그 결과 영상에 떨림은 없지만 상하좌우로 크게 움직이는 스윙현상이 발생하는 것을 막기 어려웠다. 이에 본 발명은 동영상을 보정하는데 있어서, 보정 윈도우 크기(530)를 크게 하고, 작은 메모리 용량으로 스윙현상을 방지하는 방법을 제안한다.
도 6은 본 발명의 일 실시 예에 따라 손떨림 방지 방법을 도시하고 있는 도면이다.
본 발명에서는 보정 윈도우 크기(630)을 종래보다 크게 설정하고, 보정 윈도우 크기(630)내에 속하는 궤적(610)의 평균값을 구한다. 예를 들어, 보정 윈도우 크기(630)은 영상 프레임 60개까지 될 수 있다. 그 다음 궤적(610)과 평균값의 중간값을 연결시켜 안정화 궤적(620)을 추출한다. 안정화 궤적(620)에 따라 영상의 위치를 재선정하여 보정 방향(640)을 결정한다. 도 5의 궤적(510)과 도 6의 궤적(610)은 동일한 궤적이지만, 보정 윈도우 크기를 다르게 설정함에 따라 도 5의 안정과 궤적(520)과 도6의 안정화 궤적(620)이 달라진다. 그 결과 도 5에서 보정 방향(540)과 도6에서 보정 방향(640)역시 달라지게 되며 도 5에서 보정 방향(540)보다 도6에서 보정 방향(640)이 더 완만한 기울기를 가진다는 것을 확인할 수 있다.
보정 방향(640)이 더 완만한 기울기를 가진다는 것은 영상이 긴 시간 동안 크게 흔들리더라도, 안정화 궤적(620)에 따라 보정하게 되면 스윙 현상이 적어진다는 것을 의미한다.
도 7은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 기준으로 도시하고 있는 도면이다.
영상 프레임 인덱스(710)에 따라 제 1 차 레이어(720), 제 2 차 레이어(730) 및 제 3 차 레이어(740)에 영상 프레임들이 배치되어 있다. 제 1차 레이어(720)에 배치된 영상 프레임들에 대하여 순차적으로 제 1 차 안정화 작업(725)을 수행한다. 제 1 차 안정화 작업(725)을 수행하여 보정된 궤적을 제 1 차 안정화 궤적이라 한다. 또한, 제 1 차 안정화 작업(725)을 수행함에 따라 궤적이 동일해진 영상 프레임들은 제외시킨 결과물을 제 2 차 레이어에 배치한다. 제 2 차 레이어(730)에 배치된 영상 프레임들에 대하여 순차적으로 제 2 차 안정화 작업(735)를 수행한다. 제 2 차 안정화 작업(735)을 수행하여 보정된 궤적을 제 2 차 안정화 궤적이라 한다. 또한, 제 2 차 안정화 작업(735)을 수행함에 따라 궤적이 동일해진 영상 프레임들을 제외시킨 결과물을 제 3 차 레이어(730)에 배치한다. 마지막으로 동일하게 제 3 차 레이어(740)에 배치된 영상 프레임들에 대하여 순차적으로 제 3 차 안정화 작업(745)를 수행한다. 제 3 차 안정화 작업(745)을 수행하여 보정된 궤적을 제 3 차 안정화 궤적이라 한다. 또한, 제 3 차 안정화 작업(735)을 수행함에 따라 궤적이 동일해진 영상 프레임들을 제외시킨 결과물을 최종 안정화 궤적이라 한다.
제 1 차 내지 제 3 차 안정화 작업(725, 735, 745)은, 영상 프레임의 궤적과 궤적의 평균값의 중간값을 계산하는 작업을 의미한다.
따라서 보정 윈도우 크기를 크게 설정하고, 제 1 차 내지 제 3 차 안정화 작업(725, 735, 745)을 수행하기 위해서는 많은 메모리 용량을 필요로 하게 된다. 이러한 문제를 해결하기 위해 본 발명은 원형 큐 버퍼를 이용한다.
도 8은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 및 그래픽으로 도시하고 있는 도면이다.
영상 프레임 인덱스(810)에 따라 제 1 차 레이어(820), 제 2 차 레이어(830) 및 제 3 차 레이어(840)에 영상 프레임들이 배치되어 있으며 안정화 작업은 원형 큐 버퍼를 이용하여 수행된다.
예를 들어, 원형 큐 버퍼는 영상 프레임이 18개만 들어갈 수 있는 용량을 갖는다. 제 1 차 레이어(820)에 배치된 영상 프레임들을 원형 큐 버퍼에 1번 영역부터 입력한 후에, 순차적으로 제 1 차 안정화 작업(825)를 수행한다. 예를 들어, 1번 및 2번 영역의 영상 프레임에는 제 1 차 안정화 작업(825)를 수행해도 궤적에 변화가 없다고 가정하면 해당 영상 프레임들은 원형 큐 버퍼에 그대로 유지한다. 3번 영역의 영상 프레임부터 궤적에 변화가 생겼다는 가정 하에 3번 영역에 존재하던 영상 프레임을 덮어 씌운다. 또한, 제 1 차 안정화 작업(825)에 따라 궤적이 동일해진 영상 프레임은 제거한다. 이를 통해 원형 큐 버퍼의 1번 영역에서 14번 영역까지 존재하던 제 1 차 레이어(820)는 제 1 차 안정화 작업(825)를 통해 제 2 차 레이어(830)로서 1번 영역에서 7번 영역에 저장된다. 동일한 과정으로 1번 영역에서 7번 영역에 저장된 제 2 차 레이어(820)은 제 2 차 안정화 작업(835)를 통해 제 3 차 레이어(840)로서 1번 영역에서 4번 영역에 저장된다. 제 3 차 레이어에(840)에 제 3 차 안정화 작업(845)을 수행하여 최종 안정화 궤적을 추출한다.
이후에는 추출한 최종 안정화 궤적에 기초하여 영상 프레임들의 위치를 재선정하고 원근 뒤틀기(perspective warp)을 수행한다.
도 9는 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 도시하고 있는 도면이다.
최종 안정화 궤적에 기초하여 영상 프레임들의 위치를 재선정하면 촬영 당시의 중심점과 위치 재선정 후 영상의 중심점은 달라지게 된다. 중심점이 달라지게 되면 그에 따라 원근감도 달라져야 한다. 예를 들어 동일한 피사체가 중심에 있을 때와 상부에 있을 때는 보이는 각도가 달라지며, 피사체의 모양도 그에 따라 보정해 주어야 자연스러운 영상을 얻을 수 있게 된다.
보정은 단말기의 렌즈에 따라 다르게 설정될 수 있다. 예를 들어, 평평한 모양의 렌즈와 원형 모양의 렌즈에 적용되는 보정은 서로 다르다.
예를 들어, 원형의 피사체를 거리 d만큼 이동시키게 되면, 기존 원형 피사체의 지름(910)이 이동 후 원형 피사체의 지름(920)이 되고, 이동 거리 및 이동 각도에 기초하여 원근 뒤틀기를 적용한 지름(930)을 추출한다.
도 10은 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 시각적으로 도시하고 있는 도면이다.
최종 안정화 궤적에 따라 중심점(1020)이 결정되고, 그에 따라 영상 프레임들(1010)의 위치를 재선정하면서 단순히 좌우상하로만 영상을 이동시키는 것이 아니라, 원근 뒤틀기를 적용하여 각도와 길이 등을 보정한다.
도 11은 본 발명의 일 실시 예에 따른 영상 보정 방법에 대한 순서도를 도시하고 있는 도면이다.
우선 보정 윈도우 크기만큼의 영상 프레임들에서 특징점을 추출한다(S1110). 추출한 특징점들을 연결하여 특징점의 궤적을 추출한다(S1120). 추출한 궤적의 평균값을 계산한다(S1130). 궤적과 평균값을 이용하여 원형 큐 버퍼에서 안정화 궤적을 추출한다(S1140). 예를 들어, 안정화 궤적을 추출하기 위해, 안정화 작업을 3회정도 반복할 수 있으며, 이는 원형 큐 버퍼를 이용한다. 원형 큐 버퍼는 고정된 메모리 크기를 가지며, 원형 큐 버퍼 특성상 가지고 있는 메모리 보다 더 많은 영상 프레임을 처리할 수 있다. 안정화 궤적에 기초하여 영상 프레임들의 위치를 재선정 및 원근 뒤틀기를 수행한다(S1150). 안정화 작업, 위치 재선정 및 원근 뒤틀기를 수행한 영상 프레임들을 합쳐 안정화 영상을 생성한다(S1160).
도 12는 본 발명의 일 실시 예에 따른 홀 필링(hole filling)을 적용하는 것을 도시하고 있는 도면이다.
원본 영상 프레임(1210)에 최종 안정화 궤적에 따라 위치 재선정 및 원근 뒤틀기를 적용하게 되면 영상 프레임(1220)에 홀(hole; 1225)가 발생할 수 있다. 구체적으로, 홀(1225)은 영상 프레임(1220)의 촬영 시에는 찍지 않은 영역이지만, 위치 재선정에 따라 중심점이 달라지면서 발생한다. 이러한 문제점을 해결하기 위해, 영상 프레임(1220)의 이전 또는 이후 영상 프레임들에서 홀(1225)에 해당하는 영역을 복사하여 붙여 넣는다. 결과적으로 홀 필링을 적용한 후의 영상 프레임(1230)은 영상 프레임(1220)과 다른 영상 프레임에서 홀(1235)에 해당하는 영역을 합친 것이다.
도 13은 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 원리를 도시하고 있는 도면이다.
타임랩스 또는 하이퍼랩스는 영상 촬영 기법 중 하나로, 일정한 시간 동안 촬영한 영상을 빠르게 재생하는 것처럼 보이도록 만드는 촬영 기법이다.
기존에는 타임랩스 또는 하이퍼랩스 영상을 만들기 위해 일정 시간 간격으로 영상 프레임을 추출하고 합쳐서 타입랩스 또는 하이퍼랩스 영상을 만들었다. 그러나 기존의 방법으로 사용자가 움직이면서 타임랩스 또는 하이퍼랩스 영상을 만들게 되면 일정 시간 간격마다 영상 프레임의 중심점이 크게 달라지게 되어 스윙 현상이 더욱 심해진다.
따라서 본 발명의 다른 일 실시 예에서는 기존과 동일한 배속의 타임랩스 또는 하이퍼랩스 영상을 만들더라도, 일정 시간 간격보다 더 많은 영상프레임들로부터 안정화 궤적을 추출하여 위치 재선정 및 원근 뒤틀기를 적용한다. 그 이후에 원하는 배속에 맞추어 일부 영상 프레임들을 삭제한다. 따라서 종래보다 더 흔들림이 적은 안정화 궤적을 추출할 수 있으므로, 타임랩스 또는 하이퍼랩스 영상에서도 흔들림 또는 스윙 현상을 최소화 할 수 있다.
본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하기 위해 버퍼를 이용한다. 우선 버퍼 인덱스(1310) 순서대로 원본 영상 프레임들을 보정 윈도우 크기(1335)만큼 입력 버퍼(1320)에 입력한다. 일부 영상 프레임들을 누락시킨 상태에서 최종 안정화 궤적을 추출한다. 추출한 최종 안정화 궤적에 따라 영상의 위치 재선정 및 원근 뒤틀기를 적용하여 재생 버퍼(1330)에 입력한다. 원하는 배속에 맞추어 일부 영상 프레임들을 추가로 누락시키고 영상 프레임들에서 홀이 발생하지 않는 영역을 크롭(crop)하여 프레임 버퍼(1340)에 입력한다. 프레임 버퍼(1340)에 입력된 영상 프레임들을 합쳐 타임랩스 또는 하이퍼랩스를 생성한다.
도 14는 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 방법을 도시하고 있는 도면이다.
원본 영상 프레임(1410)에 대하여 안정화 작업, 위치 재선정 및 원근 뒤틀기를 적용한 보정 영상 프레임(1420)을 추출한다. 위치 재선정 및 원근 뒤틀기를 적용하는 과정에서 홀(1430)이 발생할 수 있다. 따라서 홀(1430)이 발생하지 않은 영역(1440)을 크롭하여 최종 타입랩스 또는 하이퍼랩스 영상 프레임(1450)을 생성한다.
도 15는 본 발명의 일 실시 예에 따른 영상 보정 장치를 도시하고 있는 도면이다.
본 발명은, 통신 기술에 결합되어 적용될 수 있으며, 본 발명에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다. 또한 도 15에 도시된 구성요소를 모두 포함해야 하는 것은 아니며, 필요에 따라 생략하는 것이 가능하다. 따라서 프로세서와 메모리만으로도 본 발명의 일 실시 예에 따른 영상 보정을 수행하는 것이 가능하다. 단말기가 통신이 가능한 경우에는 영상 보정을 외부 서버에서 처리하는 것 역시 가능하다.
무선 통신 시스템은 제 1 통신 장치(1510) 및/또는 제 2 통신 장치(1520)을 포함한다. 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함한다'와 동일한 의미로 해석될 수 있다. 제 1 통신 장치가 기지국(Base Station; BS)를 나타내고, 제 2 통신 장치가 단말기(User Equipment; UE)를 나타낼 수 있다(또는 제 1 통신 장치가 UE를 나타내고, 제 2 통신 장치가 BS를 나타낼 수 있다).
제 1 통신 장치와 제 2 통신 장치는 프로세서(processor, 1511,1521), 메모리(memory, 1514,1524), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 1515,1525), Tx 프로세서(1512,1522), Rx 프로세서(1513,1523), 안테나(1516,1526)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 보다 구체적으로, DL(제 1 통신 장치에서 제 2 통신 장치로의 통신)에서, 코어 네트워크로부터의 상위 계층 패킷은 프로세서(1511)에 제공된다. 프로세서는 레이어 2(즉, L2) 계층의 기능을 구현한다. DL에서, 프로세서는 논리 채널과 전송 채널 간의 다중화(multiplexing), 무선 자원 할당을 제 2 통신 장치(1520)에 제공하며, 제 2 통신 장치로의 시그널링을 담당한다. 전송(TX) 프로세서(1512)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 상기 신호 처리 기능은 제 2 통신 장치에서 FEC(forward error correction)을 용이하게 하고, 코딩 및 인터리빙(coding and interleaving)을 포함한다. 인코딩 및 인터리밍을 거친 신호는 스크램블링(scrambling) 및 변조(modulation)을 거쳐 복소 값(complex valued) 변조 심볼들로 변조된다. 변조에는 채널에 따라 BPSK(Binary Phase Shift Keying), QPSK(Quadrature Phase Shift Keying), 16QAM(quadrature amplitude modulation), 64QAM, 246QAM 등이 사용될 수 있다. 복소 값 변조 심볼들(이하, 변조 심볼들)은 병렬 스트림으로 분할되고, 각각의 스트림은 OFDM 부반송파에 매핑되고, 시간 및/또는 주파수 도메인에서 참조 신호(Reference Signal, RS)와 다중화(multiplexing)되며, IFFT (Inverse Fast Fourier Transform)를 사용하여 함께 결합되어 시간 도메인 OFDM 심볼 스트림을 운반하는 물리적 채널을 생성한다. OFDM 심볼 스트림은 다중 공간 스트림을 생성하기 위해 공간적으로 프리코딩된다. 각각의 공간 스트림은 개별 Tx/Rx 모듈(또는 트랜시버, 1515)를 통해 상이한 안테나(1516)에 제공될 수 있다. 각각의 Tx/Rx 모듈은 전송을 위해 각각의 공간 스트림을 RF 반송파로 주파수 상향변환(upconvert)할 수 있다. 제 2 통신 장치에서, 각각의 Tx/Rx 모듈(또는 트랜시버, 1525)는 각 Tx/Rx 모듈의 각 안테나(1526)을 통해 RF 반송파의 신호를 수신한다. 각각의 Tx/Rx 모듈은 상기 RF 반송파의 신호를 기저대역(baseband) 신호로 복원하여, 수신(RX) 프로세서(1523)에 제공한다. RX 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다. RX 프로세서는 제 2 통신 장치로 향하는 임의의 공간 스트림을 복구하기 위해 정보에 공간 프로세싱을 수행할 수 있다. 만약 다수의 공간 스트림들이 제 2 통신 장치로 향하는 경우, 다수의 RX 프로세서들에 의해 단일 OFDMA 심볼 스트림으로 결합될 수 있다. RX 프로세서는 고속 푸리에 변환 (FFT)을 사용하여 시간 도메인 신호인 OFDM 심볼 스트림을 주파수 도메인 신호로 변환한다. 주파수 도메인 신호는 OFDM 신호의 각각의 부반송파에 대한 개별적인 OFDM 심볼 스트림을 포함한다. 각각의 부반송파 상의 변조 심볼들 및 참조 신호는 제 1 통신 장치에 의해 전송된 가장 가능성 있는 신호 성상(constellation) 포인트들을 결정함으로써 복원되고 복조된다. 이러한 연 판정(soft decision)들은 채널 추정 값들에 기초할 수 있다. 연판정들은 물리 채널 상에서 제 1 통신 장치에 의해 원래 전송된 데이터 및 제어 신호를 복원하기 위해 디코딩 및 디인터리빙되다. 해당 데이터 및 제어 신호는 프로세서(1521)에 제공된다.
UL(제 2 통신 장치에서 제 1 통신 장치로의 통신)은 제 2 통신 장치(1520)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제 1 통신 장치(1510)에서 처리된다. 각각의 Tx/Rx 모듈(1525)는 각각의 안테나(1526)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(1523)에 제공한다. 프로세서 (1521)는 프로그램 코드 및 데이터를 저장하는 메모리 (1524)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.
컴퓨터 판독 가능 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 다양한 영상 촬영 방법/장치 또는 영상 보정 방법/장치에 적용될 수 있는 영상 보정 방법/장치로서, 산업상 이용 가능성이 있다.

Claims (14)

  1. 영상 보정 방법에 있어서,
    보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하는 단계;
    상기 영상 프레임들에서 상기 특징점의 궤적을 추출하는 단계;
    상기 영상 프레임들에서 상기 궤적의 평균값을 계산하는 단계;
    상기 궤적과 상기 평균값을 이용하여 원형 큐(circular queue) 버퍼에서 안정화 궤적을 추출하는 단계;
    상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하는 단계를 포함하는, 영상 보정 방법.
  2. 제 1 항에 있어서,
    상기 안정화 영상을 크롭(crop)하는 단계; 및
    상기 크롭한 안정화 영상에 공백이 발생하면, 상기 공백이 발생한 영상 프레임의 앞 또는 뒤 영상 프레임에서 상기 공백에 해당하는 영상 부분 차용하는 단계를 더 포함하는, 영상 보정 방법.
  3. 제 1 항에 있어서,
    상기 안정화 궤적을 추출하는 단계는:
    상기 원형 큐 버퍼에 상기 궤적을 입력하는 단계;
    상기 궤적과 상기 평균값의 중간 값을 계산하여 제 1 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계;
    상기 제 1 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 2 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계;
    상기 제 2 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 3 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계;
    상기 제 3 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 상기 안정화 궤적을 추출하는 단계를 포함하는, 영상 보정 방법.
  4. 제 3 항에 있어서,
    상기 원형 큐 버퍼는 고정된 영역으로서, 상기 제 1 내지 제 3 안정화 궤적은 순차적으로 상기 원형 큐 버퍼에 입력되며, 상기 원형 큐 버퍼가 가득 차게 되면 상기 원형 큐 버퍼 내에서 가장 오래된 영역부터 덮어씌우는, 영상 보정 방법.
  5. 제 1 항에 있어서,
    상기 특징점을 추출하는 단계 이전에, 일부 영상 프레임들을 1차로 누락시키는 단계; 및
    상기 안정화 영상을 생성하는 단계 이후에, 일부 영상 프레임들을 2차로 누락시키는 단계를 더 포함시켜 하이퍼랩스 영상을 생성하는, 영상 보정 방법.
  6. 제 5 항에 있어서,
    상기 2차로 누락시키는 단계에서 누락되는 영상 프레임들의 개수는 상기 하이퍼랩스 영상의 배속에 따라 결정되는, 영상 보정 방법.
  7. 제 5 항에 있어서,
    상기 하이퍼랩스 영상에서 공백 영역을 제외한 영역을 크롭하는 단계를 더 포함하는, 영상 보정 방법.
  8. 원형 큐(circular queue) 버퍼를 포함하는 메모리; 및
    상기 메모리와 연결된 프로레서를 포함하는 영상 보정 장치에 있어서,
    상기 프로세서는:
    보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하고,
    상기 영상 프레임들에서 상기 특징점의 궤적을 추출하고,
    상기 영상 프레임들에서 상기 궤적의 평균값을 계산하고,
    상기 궤적과 상기 평균값을 이용하여 상기 원형 큐 버퍼에서 안정화 궤적을 추출하고;
    상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하도록 구성된, 영상 보정 장치.
  9. 제 8 항에 있어서, 상기 프로세서는:
    상기 안정화 영상을 크롭(crop)하고,
    상기 크롭한 안정화 영상에 공백이 발생하면, 상기 공백이 발생한 영상 프레임의 앞 또는 뒤 영상 프레임에서 상기 공백에 해당하는 영상 부분 차용하도록 더 구성된, 영상 보정 장치.
  10. 제 8 항에 있어서, 상기 프로세서에서 상기 안정화 궤적을 추출하는 것은:
    상기 원형 큐 버퍼에 상기 궤적을 입력하고,
    상기 궤적과 상기 평균값의 중간 값을 계산하여 제 1 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하고,
    상기 제 1 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 2 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하고,
    상기 제 2 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 3 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하고,
    상기 제 3 차 안정화 구적과 상기 평균값의 중간 값을 계산하여 상기 안정화 궤적을 추출하는 것을 포함하는, 영상 보정 장치.
  11. 제 10 항에 있어서,
    상기 원형 큐 버퍼는 고정된 영역으로서, 상기 제 1 내지 제 3 안정화 궤적은 순차적으로 상기 원형 큐 버퍼에 입력되며, 상기 원형 큐 버퍼가 가득 차게 되면 상기 원형 큐 버퍼 내에서 가장 오래된 영역부터 덮어씌우는, 영상 보정 장치.
  12. 제 8 항에 있어서, 상기 프로세서는:
    상기 특징점을 추출하기 전에, 일부 영상 프레임들을 1차로 누락시키고,
    상기 안정화 영상을 생성한 후에, 일부 영상 프레임들을 2차로 누락시켜 하이퍼랩스 영상을 생성하도록 더 구성된, 영상 보정 장치.
  13. 제 12 항에 있어서,
    상기 2차로 누락되는 영상 프레임들의 개수는 상기 하이퍼랩스 영상의 배속에 따라 결정되는, 영상 보정 장치.
  14. 제 12 항에 있어서, 상기 프로세서는:
    상기 하이퍼랩스 영상에서 공백 영역을 제외한 영역을 크롭하도록 더 구성된, 영상 보정 장치.
PCT/KR2019/004634 2019-04-17 2019-04-17 영상 보정 방법 및 장치 WO2020213756A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/486,809 US11070730B2 (en) 2019-04-17 2019-04-17 Video correction method and device to generate stabilized video
PCT/KR2019/004634 WO2020213756A1 (ko) 2019-04-17 2019-04-17 영상 보정 방법 및 장치
KR1020197021057A KR20210143345A (ko) 2019-04-17 2019-04-17 영상 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/004634 WO2020213756A1 (ko) 2019-04-17 2019-04-17 영상 보정 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2020213756A1 true WO2020213756A1 (ko) 2020-10-22

Family

ID=68613600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004634 WO2020213756A1 (ko) 2019-04-17 2019-04-17 영상 보정 방법 및 장치

Country Status (3)

Country Link
US (1) US11070730B2 (ko)
KR (1) KR20210143345A (ko)
WO (1) WO2020213756A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470254B1 (en) * 2019-06-21 2022-10-11 Gopro, Inc. Systems and methods for assessing stabilization of videos

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193867B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN114079820A (zh) * 2020-08-19 2022-02-22 安霸国际有限合伙企业 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成
CN113099106B (zh) * 2021-02-24 2023-05-09 影石创新科技股份有限公司 一种视频处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007095079A1 (en) * 2006-02-10 2007-08-23 Nvidia Corporation Processing video data
KR20120135488A (ko) * 2011-06-06 2012-12-14 애플 인크. 이미지 안정화를 이용한 롤링 셔터 보정
KR20140136802A (ko) * 2013-05-21 2014-12-01 엘지전자 주식회사 디지털 영상 녹화 장치 및 이의 동작방법
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531535B2 (en) * 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US9131127B2 (en) * 2013-02-08 2015-09-08 Ati Technologies, Ulc Method and apparatus for reconstructing motion compensated video frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007095079A1 (en) * 2006-02-10 2007-08-23 Nvidia Corporation Processing video data
KR20120135488A (ko) * 2011-06-06 2012-12-14 애플 인크. 이미지 안정화를 이용한 롤링 셔터 보정
KR20140136802A (ko) * 2013-05-21 2014-12-01 엘지전자 주식회사 디지털 영상 녹화 장치 및 이의 동작방법
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470254B1 (en) * 2019-06-21 2022-10-11 Gopro, Inc. Systems and methods for assessing stabilization of videos
US11696029B2 (en) 2019-06-21 2023-07-04 Gopro, Inc. Systems and methods for assessing stabilization of videos

Also Published As

Publication number Publication date
US11070730B2 (en) 2021-07-20
US20190364208A1 (en) 2019-11-28
KR20210143345A (ko) 2021-11-29

Similar Documents

Publication Publication Date Title
WO2020213756A1 (ko) 영상 보정 방법 및 장치
US20090207269A1 (en) Image processing device, camera device, communication system, image processing method, and program
KR102419249B1 (ko) 오디오 및 비디오를 동기시키기 위한 시스템 및 방법
EP3560195A1 (en) System and method for depth map
WO2018169367A1 (en) Method and apparatus for packaging and streaming of virtual reality media content
WO2018174505A1 (en) Methods and apparatus for generating video content
JP2011082920A (ja) 画像処理装置および方法、並びにプログラム
US8842168B2 (en) Multi-view video and still 3D capture system
WO2012161556A2 (ko) 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
CN107592452B (zh) 一种全景音视频采集设备及方法
WO2017095179A1 (en) Method and apparatus for image enhancement of virtual reality images
WO2018048221A1 (en) Three hundred sixty degree video stitching
CN110719516A (zh) 视频同步的方法及装置、终端和存储介质
CN115639976A (zh) 一种虚拟现实内容多模式多角度同步展示方法及系统
WO2011059193A2 (en) Method of recording and replaying video data, and display device using the same
CN113542896B (zh) 一种自由视角的视频直播方法、设备及介质
WO2012148238A2 (ko) 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
US20120127330A1 (en) Image pickup device
US8599240B2 (en) Super-resolution from 3D (3D to 2D conversion) for high quality 2D playback
WO2012057564A2 (ko) 모바일 환경에서 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
JP4158701B2 (ja) 映像伝送システム
KR101521109B1 (ko) Ｃｍｏｓ 이미지 센서를 이용한 프레임 고속화 처리방법 및 프레임 고속화 시스템
JP4902147B2 (ja) Ｔｒｉａｘ送受信インタフェースおよび伝送システム
WO2018155910A1 (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2015034123A1 (ko) 여러 대의 액션캠 영상을 재생하기 위한 버퍼관리 방법 및 그에 따른 재생장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925407

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925407

Country of ref document: EP

Kind code of ref document: A1