KR101741150B1 - 영상에디팅을 수행하는 영상촬영장치 및 방법 - Google Patents

Abstract

본 발명의 바람직한 일 실시예로서, 영상에디팅방법은 입력동영상 내에서 타겟을 선정하고, 선정된 타겟의 위치를 파악하는 단계; 상기 입력동영상을 에디팅(editing)한 보정동영상 내에서 상기 타겟의 보정위치를 결정하는 단계; 및 상기 입력동영상을 촬영한 영상촬영장치를 병진이동 또는 회전이동하여 상기 입력동영상을 촬영한 영상촬영장치의 위치 또는 오리엔테이션(orientation)을 재설정함으로써 상기 입력동영상 내의 타겟의 위치를 상기 보정동영상 내의 상기 타겟의 보정위치로 보정하는 단계;를 포함하는 것을 특징으로 한다.

Description

영상에디팅을 수행하는 영상촬영장치 및 방법{An imaging photographing device and an imaging photographing method using an video editing }

본 발명은 영상에디팅을 수행하는 영상촬영장치 및 영상촬영방법에 관한 것이다.

기존 비디오 에디팅 기술은 2차원 분석에 기반하는 기법과 3차원 분석에 기반하는 기법으로 분류된다.

2차원 분석에 기반하는 기법은, 움직임을 추정하는 단계, 추정된 움직임을 통하여 카메라 경로를 설정하는 단계, 및 카메라 이동 경로에 따라 영상을 생성하는 단계로 구성된다. 움직임 추정 단계에서는, 촬영된 영상을 2차원 움직임 모델로 해석하여 움직임이 측정된다. 실제 카메라에서는 3차원 공간이 2차원 영상으로 투영된 영상이 획득되지만, 2차원 움직임 모델로는 실제 3차원 움직임을 정확하게 모델링할 수 없다.

3차원 분석에 기반하는 비디오 에디팅 기법은, 일반적으로 움직임 구조 분석 기술을 이용하여, 2차원 영상으로부터 3차원 공간 정보와 카메라 위치 정보를 재구성한다. 재구성된 정보를 이용하여 새로운 카메라 위치가 정의되고, 새로운 위치에서의 영상 정보가 합성된다.

KR 0474352

본 발명은 3차원 입력동영상을 사용자가 원하는 형태로 보정이 가능한 영상에디팅 방법을 개시한다.

또한 본 발명은 정확하고 빠른 속도로 카메라 움직임 및 흔들림을 보정하면서 인간의 시각이 인지하는 실제 움직임과 유사한 화면을 제공하기 위한 영상에디팅 방법을 개시한다.

본 발명의 바람직한 일 실시예로서, 영상에디팅방법은 입력동영상 내에서 타겟을 선정하고, 선정된 타겟의 위치를 파악하는 단계; 상기 입력동영상을 에디팅(editing)한 보정동영상 내에서 상기 타겟의 보정위치를 결정하는 단계; 및

상기 입력동영상을 촬영한 영상촬영장치의 위치 또는 오리엔테이션(orientation)을 병진이동 또는 회전이동이 이루어진 것으로 재설정함으로써 상기 입력동영상 내의 타겟의 위치를 상기 보정동영상 내의 상기 타겟의 보정위치로 보정하는 단계;를 포함하는 것을 특징으로 하는 영상에디팅방법.

바람직하게, 상기 타겟의 보정위치는 상기 보정동영상 내의 임의의 고정 좌표로 결정되는 것을 특징으로 한다. 이 경우, 상기 고정된 좌표는 상기 보정동영상을 표시하는 디스플레이의 중앙 좌표인 것을 특징으로 한다.

본 발명의 또 다른 바람직한 일 실시예로서, 상기 타겟의 보정위치는 기설정된 궤적을 따라 이동하는 것으로 결정되는 것을 특징으로 한다.

본 발명의 또 다른 바람직한 일 실시예로서, 상기 타겟의 보정위치는 사용자가 설정한 위치로 결정되는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예로서, 본 발명의 영상에디팅 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 개시한다.

본 발명의 영상에디팅 방법은 정확하고 빠른 속도로 카메라 움직임 및 흔들림을 보정하면서 인간의 시각이 인지하는 실제 움직임과 유사한 화면을 제공하는 효과가 있다.

도 1 은 본 발명의 바람직한 일 실시예로서, 영상에디팅을 수행하는 영상촬영장치의 내부 구성도를 도시한다.
도 2 내지 3 은 타겟위치조정부에서 타겟의 보정위치를 결정한 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 영상촬영장치에서 영상을 에디팅하는 방법의 흐름도를 도시한다.
도 5는 본 발명의 바람직한 일 실시예로서, 영상촬영장치의 타겟위치조정부에서 타겟의 보정위치를 결정한 또 다른 예를 도시한다.

도 1 은 본 발명의 바람직한 일 실시예로서, 영상에디팅을 수행하는 영상촬영장치의 내부 구성도를 도시한다.

영상촬영장치(100)는 타겟위치추적부(110), 타겟위치조정부(120) 및 에디팅부(130)를 포함한다. 에디팅부(130)는 병진이동부(132) 및 회전이동부(134)를 포함한다.

본 발명의 바람직한 일 실시예로서, 영상촬영장치(100)는 컴퓨터, 휴대폰, 스마트폰, 테블릿PC, 노트북, 캠코더, 네트워크카메라, 핸드헬드장치, 영상촬영기능이 부착된 시계, 영상촬영기능이 설치된 기기를 모두 포함한다.

본 발명의 바람직한 일 실시예로서, 영상에디팅을 수행하는 영상촬영장치(100)는 타겟위치추적부(110)를 통해 입력동영상의 특정 프레임 내에서 타겟을 선정하고, 선정한 타겟의 위치를 파악한다. 예를 들어, n 번째 프레임에서 선정한 타겟의 위치 Pa(n)을 파악한다.

타겟위치조정부(120)는 입력동영상을 에디팅(editing)한 보정동영상 내에서 상기 타겟이 입력동영상의 특정 프레임에 대응하는 보정동영상의 특정프레임 내에 위치할 보정위치를 결정한다. 본 발명의 바람직한 일 실시예로서, 입력동영상 내의 특정프레임에 대응하는 보정동영상 내의 특정프레임은 프레임 시퀀스를 이용하여 선정할 수 있다. 이 경우, 보정위치를 Pb(n)으로 표시할 수 있다. 도 2 내지 3 은 타겟위치조정부(120)에서 타겟의 보정위치를 결정한 예를 도시한다.

본 발명의 바람직한 일 실시예로서, 보정위치는 보정동영상 내의 임의의 고정 좌표일 수 있다. 도 2 를 참고하면, 타겟위치추적부(도 1, 110)는 입력동영상의 특정프레임(210) 내에서 선정된 특정 타겟(S210)의 위치 Pa(n)(212)을 파악한다. 그리고, 타겟위치조정부(120)는 입력동영상의 특정 프레임 내의 특정 타겟(S210)에 대응하는 보정동영상내의 특정 프레임(220) 내에서 특정 타겟(S220)의 보정위치 Pb(n)(222)를 결정한다. 이 경우, 보정위치 Pb(n)(222)는 보정동영상 내의 임의의 고정위치일 수 있다. 일 예로, 보정동영상의 중심위치일 수 있다.

이 후, 에디팅부(130)는 입력동영상을 촬영한 영상촬영장치의 위치를 가상으로 병진이동 또는 회전이동하여 상기 입력동영상을 촬영한 영상촬영장치의 위치 또는 오리엔테이션(orientation)을 재설정한다. 이러한 에디팅부(130)의 기능은 영상촬영장치의 DSP(Digital Signal Processing)부 또는 제어부에서 구현이 가능하며, 또한 어플리케이션을 다운로드하거나 또는 소프트웨어를 설치함으로써 구현할 수 있다. 또한 원격의 서버 또는 단말기로부터 어플리케이션을 다운로드하거나 소프트웨어를 설치할 수 있다.

바람직한 일 실시예로, 입력동영상을 촬영한 영상촬영장치의 t1시간의 위치가 (x1, y1, z1)(도 5, 510)인 경우, 에디팅부(130)는 마치 영상촬영장치가 보정동영상의 t1시간의 위치 (x2, y2, z2)(도 5, 520)만큼 병진이동 또는 회전이동이 이루어진 것과 같은 효과를 부여하기 위해, 영상장치의 입력동영상을 촬영한 영상촬영장치의 t1시간의 위치 (x1, y1, z1)(도 5, 510)를 가상의 보정위치인 (x2, y2, z2)(도 5, 520)로 재설정한다. 이 경우, 실제로 영상촬영장치의 물리적 위치는 변경되지 않을 수 있다. 이로써, 영상촬영장치(100)는 입력동영상을 에딩팅하여 보정동영상(도 5, 530)을 생성할 수 있다.

본 발명의 바람직한 일 실시예로서, 에디팅부(도 1, 130)는 예를 들어, 카메라의 움직임 정보로서 입력동영상 내의 특정프레임과 이에 대응하는 보정동영상 내의 프레임들의 카메라 오리엔테이션(orientation) 방향들 간의 상대적인 움직임만을 이용하여 카메라 움직임을 보상함으로써 에디팅된 보정동영상을 출력할 수 있다.

본 발명의 바람직한 일 실시예로서, 에디팅부(도 1, 130)는 예를 들어, 카메라의 움직임 정보로서 입력동영상 내의 특정프레임과 이에 대응하는 보정동영상 내의 프레임들의 카메라 위치의 상대적인 움직임만을 이용하여 카메라 움직임을 보상함으로써 에디팅된 보정동영상을 출력할 수 있다.

본 발명의 바람직한 일 실시예로서, 에디팅부(도 1, 130)는 예를 들어, 카메라의 움직임 정보로서 입력동영상 내의 특정프레임과 이에 대응하는 보정동영상 내의 프레임들의 카메라 오리엔테이션(orientation) 방향들 간의 상대적인 움직임과 카메라 위치의 상대적인 움직임을 모두 이용하여 카메라 움직임을 보상함으로써 에디팅된 보정동영상을 출력할 수 있다.

도 3 은 본 발명의 바람직한 일 실시예로서, 보정동영상 내에서 특정 타겟의 경로를 결정한 일 실시예를 도시한다.

타겟위치추적부(도 1, 110)는 입력동영상 내의 특정프레임에서 특정 타겟을 선정하고, 그 이후의 프레임 내에서 선정된 특정 타겟의 이동 경로를 추적할 수 있다. 특정 타겟의 이동 경로를 추적하는 방법은 본 발명이 속하는 기술분야의 통상의 지식을 가진자가 용이하게 이용할 수 있는 추적 알고리듬을 채용할 수 있다.

도 3 을 참고하면, 타겟위치추적부(도 1, 110)는 특정 타겟(S310)의 이동경로(S311)를 추적할 수 있다.

타겟위치조정부(도 1, 120)는 입력동영상을 에디팅(editing)한 보정동영상 내에서 특정 타겟의 이동 경로를 결정할 수 있다. 도 3 을 참고하면, 타겟위치조정부(도 1, 120)는 입력동영상 내에서 이동경로 Pb(n)(S321)를 결정할 수 있다.

이 경우, 보정동영상 내에서 이동경로 Pb(n)(S321)는 사용자가 임의로 결정하거나, 다른 동영상에서 추출한 위치 및 이동경로를 이용하거나, 여러 가지 형태의 궤적 혹은 함수의 형태를 이용하는 등 다양하게 설정이 가능하다. 도 3(a)는 입력동영상 내의 특정 타겟(S310)의 이동경로(S311)를 도시하고, 도 3(b)는 보정동영상 내에서 변경된 이동경로 Pb(n)(S321)를 도시한다. 도 3(b)는 보정동영상을 도시하는 것으로, 서면의 제약으로 인해 시간에 따른 배경의 변화가 제대로 도시되기 어려우나, 이동경로 Pb(n)(S321)에 따라 배경이 대응되도록 변경될 수 있음을 유념하여야 한다.

바람직한 일 실시예로서, 기존에 촬영된 영화로부터 물체의 움직이는 궤적을 추출하여, 보정동영상 내의 특정 타겟이 이동할 이동경로(S321)로 결정할 수 있다.

또 다른 바람직한 일 실시예로서, 시계추의 움직임을 모델링하고자 하는 경우, 시계추의 움직임을 물리식으로 표현한 뒤, 시계추의 궤적을 이동경로 Pb(n)(S321)로 결정할 수 있다.

또 다른 바람직한 일 실시예로서, 천천히 x축 방향으로 움직이는 목표물을 표현하기 위하여, Pb(n) = (n, 0)으로 궤적을 표현할 수 있다. 이 경우, n은 프레임 인덱스를 나타낸다.

또 다른 바람직한 일 실시예로서, 좌우로 흔들리는 목표물을 표현하기 위하여 Pb(n) = (k sin(f *n), 0)의 식으로 표현할 수도 있다. 여기서 n은 프레임 인덱스, k는 진폭, 그리고 f는 주기를 나타낸다.

이상의 방식을 이용하여, 입력동영상 내의 특정 타겟의 위치 내지 이동경로가 추출되고, 보정동영상 내의 특정 타겟의 위치 내지 이동경로가 결정되면, 에디팅부(도 1, 130)에서 입력동영상을 촬영한 영상촬영장치의 위치 또는 오리엔테이션을 변경하여, 보정동영상을 출력한다. 즉, 입력동영상을 촬영하는 영상촬영장치의 위치 및/또는 오리엔테이션을 보정동영상 내의 특정위치를 촬영할 때 요구되는 위치 및/또는 오리엔테이션으로 보정하여 보정동영상을 출력한다.

본 발명의 바람직한 일 실시예에서는 입력 동영상의 특정 프레임 이후의 프레임에 대해 각 프레임을 촬영하는 영상촬영장치의 위치 및/또는 오리엔테이션을 각각의 프레임에 대응하는 보정동영상 내의 프레임 내의 특정 타겟의 특정위치를 촬영할 때 요구되는 위치 및/또는 오리엔테이션으로 보정한다. 이로써 동영상 내에서 특정 타겟을 트래킹하며, 트래킹한 특정 타겟의 이동 경로를 보정할 수 있다.

본 발명의 바람직한 일 실시예로서, 영상 에디팅 방법은 화면의 합성 기술 (Graphics)에서도 활용이 가능하다. 3차원 모델이 주어졌을 경우, 원하는 위치에서 영상을 합성할 수 있다. 이 때, 카메라의 위치를 결정할 때, 위의 기술을 사용하는 것이 가능하다.

본 발명의 바람직한 일 실시예로서, 영상 에디팅 방법은 또한 비디오 안정화 기술에서도 활용이 가능하다. 입력동영상에서 흔들림이 발생한 경우, 특정 타겟의 이동 경로를 흔들림이 제거된 보정동영상을 에디팅 할 수 있다. 이 경우, 보정동영상 내에서 흔들림이 제거된 특정 타겟의 이동경로를 결정함으로써 흔들림을 안정화하는 것이 가능하다.

도 4 는 본 발명의 바람직한 일 실시예로서, 영상촬영장치에서 영상을 에디팅하는 방법의 흐름도를 도시한다.

영상촬영장치는 촬영한 입력동영상 내에서 타겟을 선정하고, 선정된 타겟의 위치를 파악한다(S410). 상기 입력동영상을 에디팅(editing)한 보정동영상 내에서 상기 타겟의 보정위치를 결정한다(S420). 본 발명의 바람직한 일 실시예에서는 S410 단계와 S420 단계의 순서가 변경될 수도 있고, 두 단계를 동시에 진행하는 것도 가능하다.

그 후, 입력동영상을 촬영한 영상촬영장치를 병진이동 또는 회전이동하여 상기 입력동영상을 촬영한 영상촬영장치의 위치 또는 오리엔테이션을 재설정한다(S430). 재설정된 영상촬영장치의 위치 또는 오리엔테이션 정보를 이용하여 입력동영상 내의 타겟의 위치를 보정동영상 내의 타겟의 보정위치로 보정한다(S440).

본 발명의 바람직한 일 실시예로서, 영상에디팅 방법은 또한 2차원 영상분석 기법 및 3차원 영상분석 기법을 모두 채용할 수 있다. 2차원 분석 기법 기반에서 영상들 간의 시선 벡터 방향의 차이를 예측하고, 카메라 위치의 단순 평행이동이 아닌, 카메라 이동 경로에 따라 프레임마다 카메라의 오리엔테이션 방향을 조절하여 3차원 기법을 구현하기 때문에 인간 시각에 대해 왜곡이 거의 없는 비디오를 출력할 수 있다.

상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (9)

1. 입력동영상 내에서 타겟을 선정하고, 선정된 타겟의 위치를 파악하는 단계;
   상기 입력동영상을 에디팅(editing)한 3차원 좌표값으로 표현될 수 있는 보정동영상 내에서 상기 타겟의 보정위치를 결정하는 단계; 및
   상기 입력동영상을 촬영한 영상촬영장치의 위치 또는 오리엔테이션(orientation)을 병진이동 또는 회전이동이 이루어진 것으로 재설정함으로써 상기 입력동영상 내의 타겟의 위치를 상기 보정동영상 내의 상기 타겟의 보정위치로 보정하는 단계;를 포함하고, 상기 보정동영상은 카메라 이동 경로에 따라 프레임마다 카메라의 오리엔테이션 방향을 조절하여 생성되는 것을 특징으로 하는 영상에디팅방법.
2. 제 1 항에 있어서, 상기 타겟의 보정위치는
   상기 보정동영상 내의 임의의 고정 좌표로 결정되는 것을 특징으로 하는 영상에디팅방법.
3. 제 2 항에 있어서, 상기 고정된 좌표는
   상기 보정동영상을 표시하는 디스플레이의 중앙 좌표인 것을 특징으로 하는 영상에디팅방법.
4. 제 1 항에 있어서, 상기 타겟의 보정위치는
   기설정된 궤적을 따라 이동하는 것으로 결정되는 것을 특징으로 하는 영상에디팅방법.
5. 제 1 항에 있어서, 상기 타겟의 보정위치는
   사용자가 설정한 위치로 결정되는 것을 특징으로 하는 영상에디팅방법.
6. 삭제
7. 삭제
8. 제 1 항에 있어서, 상기 보정하는 단계는
   상기 입력동영상 내에서 선정된 타겟의 위치를 추적하고, 상기 입력동영상 내에서 추적된 타겟의 위치를 상기 보정동영상 내의 상기 타겟의 보정위치로 보정하는 것을 특징으로 하는 영상에디팅방법.
9. 제 1 항에 있어서, 상기 입력동영상을 에디팅한 것은 상기 입력동영상의 흔들림을 보정한 것을 특징으로 하는 영상에디팅방법.

Images