KR20210143345A

KR20210143345A - 영상 보정 방법 및 장치

Info

Publication number: KR20210143345A
Application number: KR1020197021057A
Authority: KR
Inventors: 박찬용; 이은성; 정혜진
Original assignee: 엘지전자 주식회사
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2021-11-29
Also published as: US11070730B2; WO2020213756A1; US20190364208A1

Abstract

본 발명은 영상 보정 방법에 대한 것으로서, 보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하는 단계, 상기 영상 프레임들에서 상기 특징점의 궤적을 추출하는 단계, 상기 영상 프레임들에서 상기 궤적의 평균값을 계산하는 단계, 상기 궤적과 상기 평균값을 이용하여 원형 큐(circular queue) 버퍼에서 안정화 궤적을 추출하는 단계, 상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

영상 보정 방법 및 장치

본 발명은 영상 보정 방법 및 그 장치에 대한 것으로서, 보다 상세하게는 영상을 분석하여 사용자의 손떨림에 의한 영상의 흔들림 현상을 최소화할 수 있는 영상 보정 방법 및 그 장치에 대한 것이다.

카메라와 같이 렌즈를 포함하고 있는 단말기 등으로 영상을 촬영할 때, 사용자가 단말기를 이용하여 촬영하게 되면 사용자의 손떨림으로 인하여 영상에 흔들림 현상이 발생하게 된다.

손떨림으로 인한 흔들림 현상을 방지하기 위하여 전자식 보정 (Electrical Image Stabilization; EIS), 디지털 보정(Digital Image Stabilization; DIS), 또는 광학식 보정 (Optical Image Stabilization; OIS) 방법 등이 이용되고 있다.

전자식 보정과 디지털 보정은 흔들린 사진을 알고리즘을 통해 보정한다. 소프트웨어적인 방식으로서 저렴하다는 장점이 있으나, 보정 후에 열화가 발생한다는 단점이 있다.

반면에 광학식 보정은 단말기에 설치된 센서를 통해 단말기의 흔들림을 감지하여 렌즈를 반대 방향으로 이동시켜 흔들림을 보정한다. 광학식 보정은 화질 저하 없이 손떨림을 보정할 수 있다는 장점이 있으나 추가적인 공간을 필요로 하고 가격이 전자식 보정/디지털 보정에 비해 비싸다는 단점이 있다.

사진과 같이 일시적인 영상을 촬영하는 경우에는 전자식/디지털/광학식 보정을 이용하여 어느 정도 손떨림 현상을 보정하는 것이 가능하다. 그러나 동영상과 같이 일정 시간 동안 영상을 촬영하는 경우에는 위의 보정 방법을 이용하더라도 촬영자가 크게 움직이게 되면 영상이 출렁이는 스윙(swing) 현상이 발생한다.

본 발명은 상술한 종래 기술의 문제를 해결하기 위해, 사용자가 일정 시간 동안 동영상을 촬영하면서 크게 움직이더라도 영상 상에서는 거의 흔들리지 않거나 부드럽게 움직이는 것처럼 보이도록 영상을 보정하는 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명의 다른 목적은, 타임 랩스(timelapse) 또는 하이퍼랩스(hyperlapse)와 같이 장시간 영상을 촬영한 후에 시간의 흐름과 공간의 움직임을 고속으로 재생하는 영상에 있어서 흔들림이 없고 부드러운 영상을 획득할 수 있는 방법 및 장치를 제공하는데 있다.

본 발명의 일 실시 예에 의한 영상 보정 방법은, 보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하는 단계, 상기 영상 프레임들에서 상기 특징점의 궤적을 추출하는 단계, 상기 영상 프레임들에서 상기 궤적의 평균값을 계산하는 단계, 상기 궤적과 상기 평균값을 이용하여 원형 큐(circular queue) 버퍼에서 안정화 궤적을 추출하는 단계, 상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법은, 상기 안정화 영상을 크롭(crop)하는 단계, 및 상기 크롭한 안정화 영상에 공백이 발생하면, 상기 공백이 발생한 영상 프레임의 앞 또는 뒤 영상 프레임에서 상기 공백에 해당하는 영상 부분 차용하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 안정화 궤적을 추출하는 단계는, 상기 원형 큐 버퍼에 상기 궤적을 입력하는 단계, 상기 궤적과 상기 평균값의 중간 값을 계산하여 제 1 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계, 상기 제 1 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 2 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계, 상기 제 2 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 3 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계, 상기 제 3 차 안정화 구적과 상기 평균값의 중간 값을 계산하여 상기 안정화 궤적을 추출하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 원형 큐 버퍼는 고정된 영역으로서, 상기 제 1 내지 제 3 안정화 궤적은 순차적으로 상기 원형 큐 버퍼에 입력되며, 상기 원형 큐 버퍼가 가득 차게 되면 상기 원형 큐 버퍼 내에서 가장 오래된 영역부터 덮어씌우는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 원근 비틀기는 상기 안정화 궤적에 기초하여 왜곡 정도를 계산하여 왜곡 보정을 수행하는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 특징점을 추출하는 단계 이전에, 일부 영상 프레임들을 1차로 누락시키는 단계 및 상기 안정화 영상을 생성하는 단계 이후에, 일부 영상 프레임들을 2차로 누락시키는 단계를 더 포함시켜 하이퍼랩스 영상을 생성하는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 2차로 누락시키는 단계에서 누락되는 영상 프레임들의 개수는 상기 하이퍼랩스 영상의 배속에 따라 결정되는 것을 특징으로 한다.

본 발명의 일 실시 예에 의한 영상 보정 방법에 있어서, 상기 하이퍼랩스 영상에서 공백 영역을 제외한 영역을 크롭하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따르면, 사용자가 움직이면서 장시간 영상을 촬영하더라도 흔들림 없이 부드럽게 움직이는 영상을 얻을 수 있다.

본 발명의 다른 일 실시 예에 따르면, 사용자가 움직이면서 타임 랩스 또는 하이퍼랩스 영상을 촬영하더라도 흔들림, 끊김 없이 부드럽게 움직이는 타입 랩스 또는 하이퍼랩스 영상을 얻을 수 있다.

도 1은 사용자가 움직이면서 영상을 촬영할 때 단말기의 상태를 나타내고 있는 도면이다.
도 2는 사용자가 움직이면서 영상을 촬영할 때 발생하는 흔들림 현상을 나타내고 있는 도면이다.
도 3은 영상 프레임에서 추출하는 특징점을 도시하고 있는 도면이다.
도 4는 영상 프레임들에서 추출한 특징점의 궤적을 도시하고 있는 도면이다.
도 5는 종래 적용하던 손떨림 방지 방법을 도시하고 있는 도면이다.
도 6은 본 발명의 일 실시 예에 따라 손떨림 방지 방법을 도시하고 있는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 기준으로 도시하고 있는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 및 그래픽으로 도시하고 있는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 도시하고 있는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 시각적으로 도시하고 있는 도면이다.
도 11은 본 발명의 일 실시 예에 따른 영상 보정 방법에 대한 순서도를 도시하고 있는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 홀 필링(hole filling)을 적용하는 것을 도시하고 있는 도면이다.
도 13은 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 원리를 도시하고 있는 도면이다.
도 14는 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 방법을 도시하고 있는 도면이다.
도 15는 본 발명의 일 실시 예에 따른 영상 보정 장치를 도시하고 있는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 1은 사용자가 움직이면서 영상을 촬영할 때 단말기의 상태를 나타내고 있는 도면이다.

영상을 촬영하는 사용자(100)이 걷거나 뛰면서 촬영을 하게 되면, 촬영을 하기 위한 단말기가 자연스럽게 흔들리게 된다. 예를 들어, 영상 프레임(110)에서는 피사체를 정면에서 찍고 있지만, 영상 프레임(120)에서는 단말기가 피사체 보다 위쪽을 향하고 있고, 영상 프레임(130)에서는 단말기가 피사체 보다 아래쪽을 향하고 있다. 따라서 영상 프레임들을 연속적으로 재생하게 되면 화면 전체가 흔들리므로 안정적이지 못한 영상이 생성된다.

도 2는 사용자가 움직이면서 영상을 촬영할 때 발생하는 흔들림 현상을 나타내고 있는 도면이다.

영상 프레임들에서 중심점(200)을 잡았을 때, 영상 프레임(210)에서 피사체가 중심에 있다고 가정한다. 영상 프레임(220)에서는 단말기가 영상 프레임(210)때 보다 위쪽으로 올라가서 피사체는 영상의 아래쪽에 위치한다. 영상 프레임(230)에서는 단말기가 영상 프레임(220)때 보다 아래쪽으로 내려가서 피사체는 영상의 위쪽에 위치한다. 마지막으로 영상 프레임(240)에서는 단말기가 영상 프레임(230)때보다 위쪽으로 올라가서 피사체는 영상의 아래쪽에 위치한다. 이처럼 사용자가 영상을 움직이면서 촬영함에 따라 단말기도 같이 움직이게 되고, 그 결과 영상이 의도하지 않게 출렁이는 스윙(swing) 현상 발생하게 된다. 스윙 현상는 영상을 불안정하게 만들며, 보는 이로 하여금 어지러움을 유발할 수 있으므로 가능한 발생하기 않게 하는 것이 바람직하다.

도 3은 영상 프레임에서 추출하는 특징점을 도시하고 있는 도면이다.

특징점(310)은 영상 프레임들에서 기준이 될 수 있는 지점을 말하며, 하나 이상이 될 수 있다. 예를 들어, 영상 프레임 안에 건물이 존재하는 경우에는 건물의 꼭지점들이 특징점(310)이 될 수 있다. 특징점(310)은 주변과 확연히 구분될 수 있는 지점을 선택하는 것이 바람직하다.

특징점(310)을 선택하는데 있어서, 머신 러닝 또는 인공 지능을 이용할 수 있다. 즉, 영상 프레임들에 대한 데이터가 축적될 수록 더욱 정교하게 특징점(310)을 추출해 낼 수 있다.

도 4는 영상 프레임들에서 추출한 특징점(310)의 궤적을 도시하고 있는 도면이다.

영상 프레임들에서 추출한 특징점(310)을 기준으로, 영상 프레임들 사이에서 특징점(310)의 위치의 변화에 기초하여 특징점(310)의 궤적(410)을 추출할 수 있다. 도 4에서는 간략하게 2차원 그래프로 궤적(410)을 추출하고 있으나, 3차원 그래프를 이용하여 특징점(310)의 상하좌우 위치 변화에 대한 궤적을 추출할 수 있다.

또한, 궤적(410)으로부터 궤적(410)의 평균값(420)을 도출해 낼 수 있다.

도 5는 종래 적용하던 손떨림 방지 방법을 도시하고 있는 도면이다.

보정 윈도우 크기(530)는 특징점(310)의 궤적(510)을 안정화 시키기 위한 것이다. 보정 윈도우 크기(530)에 속하는 궤적의 평균값을 구하고, 평균값과 궤적의 중간값을 연결 시키면 안정화 궤적(520)을 추출할 수 있다. 안정화 궤적(520)을 따라 영상의 위치를 재선정하여 보정 방향(540)을 결정한다.

종래에는 사진에만 주로 손떨림 방지 기술이 적용되어 보정 윈도우 크기(530)가 매우 작았다. 게다가 보정 윈도우 크기(530)를 크게 할 경우 계산을 위해 버퍼에 저장해야 하는 영상 프레임의 개수도 늘어나게 되므로 더 큰 용량의 메모리를 필요하게 된다. 따라서 종래에는 비용 등의 문제로 인해 보정 윈도우 크기(530)를 크게 하기 어려웠으며 크게 할 필요성도 없었다.

그러나 종래의 손떨림 방지 기술을 동영상에 적용하게 될 경우, 잔진동처럼 미세한 손떨림은 보정이 가능하지만, 사용자가 움직이면서 촬영하는 경우같이 큰 움직임이 있을 때에는 보정이 불가능하였다. 그 결과 영상에 떨림은 없지만 상하좌우로 크게 움직이는 스윙현상이 발생하는 것을 막기 어려웠다. 이에 본 발명은 동영상을 보정하는데 있어서, 보정 윈도우 크기(530)를 크게 하고, 작은 메모리 용량으로 스윙현상을 방지하는 방법을 제안한다.

도 6은 본 발명의 일 실시 예에 따라 손떨림 방지 방법을 도시하고 있는 도면이다.

본 발명에서는 보정 윈도우 크기(630)을 종래보다 크게 설정하고, 보정 윈도우 크기(630)내에 속하는 궤적(610)의 평균값을 구한다. 예를 들어, 보정 윈도우 크기(630)은 영상 프레임 60개까지 될 수 있다. 그 다음 궤적(610)과 평균값의 중간값을 연결시켜 안정화 궤적(620)을 추출한다. 안정화 궤적(620)에 따라 영상의 위치를 재선정하여 보정 방향(640)을 결정한다. 도 5의 궤적(510)과 도 6의 궤적(610)은 동일한 궤적이지만, 보정 윈도우 크기를 다르게 설정함에 따라 도 5의 안정과 궤적(520)과 도6의 안정화 궤적(620)이 달라진다. 그 결과 도 5에서 보정 방향(540)과 도6에서 보정 방향(640)역시 달라지게 되며 도 5에서 보정 방향(540)보다 도6에서 보정 방향(640)이 더 완만한 기울기를 가진다는 것을 확인할 수 있다.

보정 방향(640)이 더 완만한 기울기를 가진다는 것은 영상이 긴 시간 동안 크게 흔들리더라도, 안정화 궤적(620)에 따라 보정하게 되면 스윙 현상이 적어진다는 것을 의미한다.

도 7은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 기준으로 도시하고 있는 도면이다.

영상 프레임 인덱스(710)에 따라 제 1 차 레이어(720), 제 2 차 레이어(730) 및 제 3 차 레이어(740)에 영상 프레임들이 배치되어 있다. 제 1차 레이어(720)에 배치된 영상 프레임들에 대하여 순차적으로 제 1 차 안정화 작업(725)을 수행한다. 제 1 차 안정화 작업(725)을 수행하여 보정된 궤적을 제 1 차 안정화 궤적이라 한다. 또한, 제 1 차 안정화 작업(725)을 수행함에 따라 궤적이 동일해진 영상 프레임들은 제외시킨 결과물을 제 2 차 레이어에 배치한다. 제 2 차 레이어(730)에 배치된 영상 프레임들에 대하여 순차적으로 제 2 차 안정화 작업(735)를 수행한다. 제 2 차 안정화 작업(735)을 수행하여 보정된 궤적을 제 2 차 안정화 궤적이라 한다. 또한, 제 2 차 안정화 작업(735)을 수행함에 따라 궤적이 동일해진 영상 프레임들을 제외시킨 결과물을 제 3 차 레이어(730)에 배치한다. 마지막으로 동일하게 제 3 차 레이어(740)에 배치된 영상 프레임들에 대하여 순차적으로 제 3 차 안정화 작업(745)를 수행한다. 제 3 차 안정화 작업(745)을 수행하여 보정된 궤적을 제 3 차 안정화 궤적이라 한다. 또한, 제 3 차 안정화 작업(735)을 수행함에 따라 궤적이 동일해진 영상 프레임들을 제외시킨 결과물을 최종 안정화 궤적이라 한다.

제 1 차 내지 제 3 차 안정화 작업(725, 735, 745)은, 영상 프레임의 궤적과 궤적의 평균값의 중간값을 계산하는 작업을 의미한다.

따라서 보정 윈도우 크기를 크게 설정하고, 제 1 차 내지 제 3 차 안정화 작업(725, 735, 745)을 수행하기 위해서는 많은 메모리 용량을 필요로 하게 된다. 이러한 문제를 해결하기 위해 본 발명은 원형 큐 버퍼를 이용한다.

도 8은 본 발명의 일 실시 예에 따른 원형 큐 버퍼를 영상 프레임 및 그래픽으로 도시하고 있는 도면이다.

영상 프레임 인덱스(810)에 따라 제 1 차 레이어(820), 제 2 차 레이어(830) 및 제 3 차 레이어(840)에 영상 프레임들이 배치되어 있으며 안정화 작업은 원형 큐 버퍼를 이용하여 수행된다.

예를 들어, 원형 큐 버퍼는 영상 프레임이 18개만 들어갈 수 있는 용량을 갖는다. 제 1 차 레이어(820)에 배치된 영상 프레임들을 원형 큐 버퍼에 1번 영역부터 입력한 후에, 순차적으로 제 1 차 안정화 작업(825)를 수행한다. 예를 들어, 1번 및 2번 영역의 영상 프레임에는 제 1 차 안정화 작업(825)를 수행해도 궤적에 변화가 없다고 가정하면 해당 영상 프레임들은 원형 큐 버퍼에 그대로 유지한다. 3번 영역의 영상 프레임부터 궤적에 변화가 생겼다는 가정 하에 3번 영역에 존재하던 영상 프레임을 덮어 씌운다. 또한, 제 1 차 안정화 작업(825)에 따라 궤적이 동일해진 영상 프레임은 제거한다. 이를 통해 원형 큐 버퍼의 1번 영역에서 14번 영역까지 존재하던 제 1 차 레이어(820)는 제 1 차 안정화 작업(825)를 통해 제 2 차 레이어(830)로서 1번 영역에서 7번 영역에 저장된다. 동일한 과정으로 1번 영역에서 7번 영역에 저장된 제 2 차 레이어(820)은 제 2 차 안정화 작업(835)를 통해 제 3 차 레이어(840)로서 1번 영역에서 4번 영역에 저장된다. 제 3 차 레이어에(840)에 제 3 차 안정화 작업(845)을 수행하여 최종 안정화 궤적을 추출한다.

이후에는 추출한 최종 안정화 궤적에 기초하여 영상 프레임들의 위치를 재선정하고 원근 뒤틀기(perspective warp)을 수행한다.

도 9는 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 도시하고 있는 도면이다.

최종 안정화 궤적에 기초하여 영상 프레임들의 위치를 재선정하면 촬영 당시의 중심점과 위치 재선정 후 영상의 중심점은 달라지게 된다. 중심점이 달라지게 되면 그에 따라 원근감도 달라져야 한다. 예를 들어 동일한 피사체가 중심에 있을 때와 상부에 있을 때는 보이는 각도가 달라지며, 피사체의 모양도 그에 따라 보정해 주어야 자연스러운 영상을 얻을 수 있게 된다.

보정은 단말기의 렌즈에 따라 다르게 설정될 수 있다. 예를 들어, 평평한 모양의 렌즈와 원형 모양의 렌즈에 적용되는 보정은 서로 다르다.

예를 들어, 원형의 피사체를 거리 d만큼 이동시키게 되면, 기존 원형 피사체의 지름(910)이 이동 후 원형 피사체의 지름(920)이 되고, 이동 거리 및 이동 각도에 기초하여 원근 뒤틀기를 적용한 지름(930)을 추출한다.

도 10은 본 발명의 일 실시 예에 따른 원근 뒤틀기를 적용하는 원리를 시각적으로 도시하고 있는 도면이다.

최종 안정화 궤적에 따라 중심점(1020)이 결정되고, 그에 따라 영상 프레임들(1010)의 위치를 재선정하면서 단순히 좌우상하로만 영상을 이동시키는 것이 아니라, 원근 뒤틀기를 적용하여 각도와 길이 등을 보정한다.

도 11은 본 발명의 일 실시 예에 따른 영상 보정 방법에 대한 순서도를 도시하고 있는 도면이다.

우선 보정 윈도우 크기만큼의 영상 프레임들에서 특징점을 추출한다(S1110). 추출한 특징점들을 연결하여 특징점의 궤적을 추출한다(S1120). 추출한 궤적의 평균값을 계산한다(S1130). 궤적과 평균값을 이용하여 원형 큐 버퍼에서 안정화 궤적을 추출한다(S1140). 예를 들어, 안정화 궤적을 추출하기 위해, 안정화 작업을 3회정도 반복할 수 있으며, 이는 원형 큐 버퍼를 이용한다. 원형 큐 버퍼는 고정된 메모리 크기를 가지며, 원형 큐 버퍼 특성상 가지고 있는 메모리 보다 더 많은 영상 프레임을 처리할 수 있다. 안정화 궤적에 기초하여 영상 프레임들의 위치를 재선정 및 원근 뒤틀기를 수행한다(S1150). 안정화 작업, 위치 재선정 및 원근 뒤틀기를 수행한 영상 프레임들을 합쳐 안정화 영상을 생성한다(S1160).

도 12는 본 발명의 일 실시 예에 따른 홀 필링(hole filling)을 적용하는 것을 도시하고 있는 도면이다.

원본 영상 프레임(1210)에 최종 안정화 궤적에 따라 위치 재선정 및 원근 뒤틀기를 적용하게 되면 영상 프레임(1220)에 홀(hole; 1225)가 발생할 수 있다. 구체적으로, 홀(1225)은 영상 프레임(1220)의 촬영 시에는 찍지 않은 영역이지만, 위치 재선정에 따라 중심점이 달라지면서 발생한다. 이러한 문제점을 해결하기 위해, 영상 프레임(1220)의 이전 또는 이후 영상 프레임들에서 홀(1225)에 해당하는 영역을 복사하여 붙여 넣는다. 결과적으로 홀 필링을 적용한 후의 영상 프레임(1230)은 영상 프레임(1220)과 다른 영상 프레임에서 홀(1235)에 해당하는 영역을 합친 것이다.

도 13은 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 원리를 도시하고 있는 도면이다.

타임랩스 또는 하이퍼랩스는 영상 촬영 기법 중 하나로, 일정한 시간 동안 촬영한 영상을 빠르게 재생하는 것처럼 보이도록 만드는 촬영 기법이다.

기존에는 타임랩스 또는 하이퍼랩스 영상을 만들기 위해 일정 시간 간격으로 영상 프레임을 추출하고 합쳐서 타입랩스 또는 하이퍼랩스 영상을 만들었다. 그러나 기존의 방법으로 사용자가 움직이면서 타임랩스 또는 하이퍼랩스 영상을 만들게 되면 일정 시간 간격마다 영상 프레임의 중심점이 크게 달라지게 되어 스윙 현상이 더욱 심해진다.

따라서 본 발명의 다른 일 실시 예에서는 기존과 동일한 배속의 타임랩스 또는 하이퍼랩스 영상을 만들더라도, 일정 시간 간격보다 더 많은 영상프레임들로부터 안정화 궤적을 추출하여 위치 재선정 및 원근 뒤틀기를 적용한다. 그 이후에 원하는 배속에 맞추어 일부 영상 프레임들을 삭제한다. 따라서 종래보다 더 흔들림이 적은 안정화 궤적을 추출할 수 있으므로, 타임랩스 또는 하이퍼랩스 영상에서도 흔들림 또는 스윙 현상을 최소화 할 수 있다.

본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하기 위해 버퍼를 이용한다. 우선 버퍼 인덱스(1310) 순서대로 원본 영상 프레임들을 보정 윈도우 크기(1335)만큼 입력 버퍼(1320)에 입력한다. 일부 영상 프레임들을 누락시킨 상태에서 최종 안정화 궤적을 추출한다. 추출한 최종 안정화 궤적에 따라 영상의 위치 재선정 및 원근 뒤틀기를 적용하여 재생 버퍼(1330)에 입력한다. 원하는 배속에 맞추어 일부 영상 프레임들을 추가로 누락시키고 영상 프레임들에서 홀이 발생하지 않는 영역을 크롭(crop)하여 프레임 버퍼(1340)에 입력한다. 프레임 버퍼(1340)에 입력된 영상 프레임들을 합쳐 타임랩스 또는 하이퍼랩스를 생성한다.

도 14는 본 발명의 다른 일 실시 예에 따른 타임랩스 또는 하이퍼랩스를 생성하는 방법을 도시하고 있는 도면이다.

원본 영상 프레임(1410)에 대하여 안정화 작업, 위치 재선정 및 원근 뒤틀기를 적용한 보정 영상 프레임(1420)을 추출한다. 위치 재선정 및 원근 뒤틀기를 적용하는 과정에서 홀(1430)이 발생할 수 있다. 따라서 홀(1430)이 발생하지 않은 영역(1440)을 크롭하여 최종 타입랩스 또는 하이퍼랩스 영상 프레임(1450)을 생성한다.

도 15는 본 발명의 일 실시 예에 따른 영상 보정 장치를 도시하고 있는 도면이다.

본 발명은, 통신 기술에 결합되어 적용될 수 있으며, 본 발명에서 제안하는 방법들의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다. 또한 도 15에 도시된 구성요소를 모두 포함해야 하는 것은 아니며, 필요에 따라 생략하는 것이 가능하다. 따라서 프로세서와 메모리만으로도 본 발명의 일 실시 예에 따른 영상 보정을 수행하는 것이 가능하다. 단말기가 통신이 가능한 경우에는 영상 보정을 외부 서버에서 처리하는 것 역시 가능하다.

무선 통신 시스템은 제 1 통신 장치(1510) 및/또는 제 2 통신 장치(1520)을 포함한다. 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함한다'와 동일한 의미로 해석될 수 있다. 제 1 통신 장치가 기지국(Base Station; BS)를 나타내고, 제 2 통신 장치가 단말기(User Equipment; UE)를 나타낼 수 있다(또는 제 1 통신 장치가 UE를 나타내고, 제 2 통신 장치가 BS를 나타낼 수 있다).

제 1 통신 장치와 제 2 통신 장치는 프로세서(processor, 1511,1521), 메모리(memory, 1514,1524), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 1515,1525), Tx 프로세서(1512,1522), Rx 프로세서(1513,1523), 안테나(1516,1526)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 보다 구체적으로, DL(제 1 통신 장치에서 제 2 통신 장치로의 통신)에서, 코어 네트워크로부터의 상위 계층 패킷은 프로세서(1511)에 제공된다. 프로세서는 레이어 2(즉, L2) 계층의 기능을 구현한다. DL에서, 프로세서는 논리 채널과 전송 채널 간의 다중화(multiplexing), 무선 자원 할당을 제 2 통신 장치(1520)에 제공하며, 제 2 통신 장치로의 시그널링을 담당한다. 전송(TX) 프로세서(1512)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 상기 신호 처리 기능은 제 2 통신 장치에서 FEC(forward error correction)을 용이하게 하고, 코딩 및 인터리빙(coding and interleaving)을 포함한다. 인코딩 및 인터리밍을 거친 신호는 스크램블링(scrambling) 및 변조(modulation)을 거쳐 복소 값(complex valued) 변조 심볼들로 변조된다. 변조에는 채널에 따라 BPSK(Binary Phase Shift Keying), QPSK(Quadrature Phase Shift Keying), 16QAM(quadrature amplitude modulation), 64QAM, 246QAM 등이 사용될 수 있다. 복소 값 변조 심볼들(이하, 변조 심볼들)은 병렬 스트림으로 분할되고, 각각의 스트림은 OFDM 부반송파에 매핑되고, 시간 및/또는 주파수 도메인에서 참조 신호(Reference Signal, RS)와 다중화(multiplexing)되며, IFFT (Inverse Fast Fourier Transform)를 사용하여 함께 결합되어 시간 도메인 OFDM 심볼 스트림을 운반하는 물리적 채널을 생성한다. OFDM 심볼 스트림은 다중 공간 스트림을 생성하기 위해 공간적으로 프리코딩된다. 각각의 공간 스트림은 개별 Tx/Rx 모듈(또는 트랜시버, 1515)를 통해 상이한 안테나(1516)에 제공될 수 있다. 각각의 Tx/Rx 모듈은 전송을 위해 각각의 공간 스트림을 RF 반송파로 주파수 상향변환(upconvert)할 수 있다. 제 2 통신 장치에서, 각각의 Tx/Rx 모듈(또는 트랜시버, 1525)는 각 Tx/Rx 모듈의 각 안테나(1526)을 통해 RF 반송파의 신호를 수신한다. 각각의 Tx/Rx 모듈은 상기 RF 반송파의 신호를 기저대역(baseband) 신호로 복원하여, 수신(RX) 프로세서(1523)에 제공한다. RX 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다. RX 프로세서는 제 2 통신 장치로 향하는 임의의 공간 스트림을 복구하기 위해 정보에 공간 프로세싱을 수행할 수 있다. 만약 다수의 공간 스트림들이 제 2 통신 장치로 향하는 경우, 다수의 RX 프로세서들에 의해 단일 OFDMA 심볼 스트림으로 결합될 수 있다. RX 프로세서는 고속 푸리에 변환 (FFT)을 사용하여 시간 도메인 신호인 OFDM 심볼 스트림을 주파수 도메인 신호로 변환한다. 주파수 도메인 신호는 OFDM 신호의 각각의 부반송파에 대한 개별적인 OFDM 심볼 스트림을 포함한다. 각각의 부반송파 상의 변조 심볼들 및 참조 신호는 제 1 통신 장치에 의해 전송된 가장 가능성 있는 신호 성상(constellation) 포인트들을 결정함으로써 복원되고 복조된다. 이러한 연 판정(soft decision)들은 채널 추정 값들에 기초할 수 있다. 연판정들은 물리 채널 상에서 제 1 통신 장치에 의해 원래 전송된 데이터 및 제어 신호를 복원하기 위해 디코딩 및 디인터리빙되다. 해당 데이터 및 제어 신호는 프로세서(1521)에 제공된다.

UL(제 2 통신 장치에서 제 1 통신 장치로의 통신)은 제 2 통신 장치(1520)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제 1 통신 장치(1510)에서 처리된다. 각각의 Tx/Rx 모듈(1525)는 각각의 안테나(1526)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(1523)에 제공한다. 프로세서 (1521)는 프로그램 코드 및 데이터를 저장하는 메모리 (1524)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.

컴퓨터 판독 가능 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

본 발명은 다양한 영상 촬영 방법/장치 또는 영상 보정 방법/장치에 적용될 수 있는 영상 보정 방법/장치로서, 산업상 이용 가능성이 있다.

Claims

영상 보정 방법에 있어서,
보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하는 단계;
상기 영상 프레임들에서 상기 특징점의 궤적을 추출하는 단계;
상기 영상 프레임들에서 상기 궤적의 평균값을 계산하는 단계;
상기 궤적과 상기 평균값을 이용하여 원형 큐(circular queue) 버퍼에서 안정화 궤적을 추출하는 단계;
상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하는 단계를 포함하는, 영상 보정 방법.
제 1 항에 있어서,
상기 안정화 영상을 크롭(crop)하는 단계; 및
상기 크롭한 안정화 영상에 공백이 발생하면, 상기 공백이 발생한 영상 프레임의 앞 또는 뒤 영상 프레임에서 상기 공백에 해당하는 영상 부분 차용하는 단계를 더 포함하는, 영상 보정 방법.
제 1 항에 있어서,
상기 안정화 궤적을 추출하는 단계는:
상기 원형 큐 버퍼에 상기 궤적을 입력하는 단계;
상기 궤적과 상기 평균값의 중간 값을 계산하여 제 1 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계;
상기 제 1 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 2 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계;
상기 제 2 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 3 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하는 단계;
상기 제 3 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 상기 안정화 궤적을 추출하는 단계를 포함하는, 영상 보정 방법.
제 3 항에 있어서,
상기 원형 큐 버퍼는 고정된 영역으로서, 상기 제 1 내지 제 3 안정화 궤적은 순차적으로 상기 원형 큐 버퍼에 입력되며, 상기 원형 큐 버퍼가 가득 차게 되면 상기 원형 큐 버퍼 내에서 가장 오래된 영역부터 덮어씌우는, 영상 보정 방법.
제 1 항에 있어서,
상기 특징점을 추출하는 단계 이전에, 일부 영상 프레임들을 1차로 누락시키는 단계; 및
상기 안정화 영상을 생성하는 단계 이후에, 일부 영상 프레임들을 2차로 누락시키는 단계를 더 포함시켜 하이퍼랩스 영상을 생성하는, 영상 보정 방법.
제 5 항에 있어서,
상기 2차로 누락시키는 단계에서 누락되는 영상 프레임들의 개수는 상기 하이퍼랩스 영상의 배속에 따라 결정되는, 영상 보정 방법.
제 5 항에 있어서,
상기 하이퍼랩스 영상에서 공백 영역을 제외한 영역을 크롭하는 단계를 더 포함하는, 영상 보정 방법.
원형 큐(circular queue) 버퍼를 포함하는 메모리; 및
상기 메모리와 연결된 프로레서를 포함하는 영상 보정 장치에 있어서,
상기 프로세서는:
보정 윈도우 크기에 따른 영상 프레임들에서 공통되는 특징점을 추출하고,
상기 영상 프레임들에서 상기 특징점의 궤적을 추출하고,
상기 영상 프레임들에서 상기 궤적의 평균값을 계산하고,
상기 궤적과 상기 평균값을 이용하여 상기 원형 큐 버퍼에서 안정화 궤적을 추출하고;
상기 안정화 궤적에 기초하여 상기 영상 프레임들의 위치를 재선정 및 원근 뒤틀기(perspective warp)를 수행하여 안정화 영상을 생성하도록 구성된, 영상 보정 장치.
제 8 항에 있어서, 상기 프로세서는:
상기 안정화 영상을 크롭(crop)하고,
상기 크롭한 안정화 영상에 공백이 발생하면, 상기 공백이 발생한 영상 프레임의 앞 또는 뒤 영상 프레임에서 상기 공백에 해당하는 영상 부분 차용하도록 더 구성된, 영상 보정 장치.
제 8 항에 있어서, 상기 프로세서에서 상기 안정화 궤적을 추출하는 것은:
상기 원형 큐 버퍼에 상기 궤적을 입력하고,
상기 궤적과 상기 평균값의 중간 값을 계산하여 제 1 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하고,
상기 제 1 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 2 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하고,
상기 제 2 차 안정화 궤적과 상기 평균값의 중간 값을 계산하여 제 3 차 안정화 궤적을 계산하여 상기 원형 큐 버퍼에 입력하고,
상기 제 3 차 안정화 구적과 상기 평균값의 중간 값을 계산하여 상기 안정화 궤적을 추출하는 것을 포함하는, 영상 보정 장치.
제 10 항에 있어서,
상기 원형 큐 버퍼는 고정된 영역으로서, 상기 제 1 내지 제 3 안정화 궤적은 순차적으로 상기 원형 큐 버퍼에 입력되며, 상기 원형 큐 버퍼가 가득 차게 되면 상기 원형 큐 버퍼 내에서 가장 오래된 영역부터 덮어씌우는, 영상 보정 장치.
제 8 항에 있어서, 상기 프로세서는:
상기 특징점을 추출하기 전에, 일부 영상 프레임들을 1차로 누락시키고,
상기 안정화 영상을 생성한 후에, 일부 영상 프레임들을 2차로 누락시켜 하이퍼랩스 영상을 생성하도록 더 구성된, 영상 보정 장치.
제 12 항에 있어서,
상기 2차로 누락되는 영상 프레임들의 개수는 상기 하이퍼랩스 영상의 배속에 따라 결정되는, 영상 보정 장치.
제 12 항에 있어서, 상기 프로세서는:
상기 하이퍼랩스 영상에서 공백 영역을 제외한 영역을 크롭하도록 더 구성된, 영상 보정 장치.