KR102586637B1 - 광학 흐름을 이용한 합성 동영상 생성 방법 - Google Patents

광학 흐름을 이용한 합성 동영상 생성 방법 Download PDF

Info

Publication number
KR102586637B1
KR102586637B1 KR1020210189365A KR20210189365A KR102586637B1 KR 102586637 B1 KR102586637 B1 KR 102586637B1 KR 1020210189365 A KR1020210189365 A KR 1020210189365A KR 20210189365 A KR20210189365 A KR 20210189365A KR 102586637 B1 KR102586637 B1 KR 102586637B1
Authority
KR
South Korea
Prior art keywords
coordinate
frame
optical flow
composited
size
Prior art date
Application number
KR1020210189365A
Other languages
English (en)
Other versions
KR20230099921A (ko
Inventor
김은태
이수현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210189365A priority Critical patent/KR102586637B1/ko
Publication of KR20230099921A publication Critical patent/KR20230099921A/ko
Application granted granted Critical
Publication of KR102586637B1 publication Critical patent/KR102586637B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

본 실시예들은 배경 이미지 시퀀스와 동영상에 합성될 물체가 주어졌을 때 배경 이미지 시퀀스 사이의 광학 흐름을 계산하고, 계산된 광학 흐름을 이용하여 시간의 흐름에 따라 물체를 배경 이미지 시퀀스에 자연스럽게 합성하여 실제와 유사한 합성 동영상을 생성하는 동영상 생성 방법 및 장치를 제공한다.

Description

광학 흐름을 이용한 합성 동영상 생성 방법 {METHOD FOR GENERATING SYNTHETIC VIDEO USING OPTICAL FLOW}
본 발명이 속하는 기술 분야는 합성 동영상 생성 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
객체 검출 및 추적(Object Detection and Tracking)이나 의미론적 분할(Semantic Segmentation)과 같이 자율 주행에 있어서 필수적인 과업을 해결하기 위해, 깊은 신경망(Deep Neural Network)은 많은 양의 학습 데이터를 기반으로 발전해왔다. 하지만, 깊은 신경망은 흔치 않은 상황을 맞이하게 되면, 학습 되지 않은 상황을 인지하지 못한다. 예를 들어, 학습 데이터에 존재하지 않았던 표지판이 실제 상황에서 등장하면 표지판의 검출을 실패한다. 이러한 문제를 해결하기 위해서는 흔치 않은 상황들에 대한 많은 동영상 데이터가 필요하다. 하지만 다양한 상황들에 대해 깊은 신경망을 충분히 학습할 만큼 많은 양의 동영상 데이터를 직접 취득하는 것은 거의 불가능하다.
한국공개특허공보 제10-2021-0040882호 (2021.04.14)
Ilg, Eddy, et al. "Flownet 2.0: Evolution of optical flow estimation with deep networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
본 발명의 실시예들은 배경 이미지 시퀀스와 동영상에 합성될 물체가 주어졌을 때 배경 이미지 시퀀스 사이의 광학 흐름을 계산하고, 계산된 광학 흐름을 이용하여 시간의 흐름에 따라 물체를 배경 이미지 시퀀스에 자연스럽게 합성하여 실제와 유사한 합성 동영상을 생성하는데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면 동영상 생성 장치에 의한 동영상 생성 방법에 있어서, 복수의 프레임 중에서 하나의 프레임에 합성할 물체의 위치와 크기를 지정하는 단계; 상기 광학 흐름을 기반으로 다른 프레임에 상기 합성할 물체의 위치를 산출하는 단계를 포함하는 동영상 생성 방법을 제공한다.
상기 동영상 생성 방법은 상기 합성할 물체의 위치를 산출하는 단계 이후에 상기 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 크기를 산출하는 단계를 포함할 수 있다.
상기 합성할 물체의 위치와 크기를 지정하는 단계는, UV좌표계를 기반으로 상기 합성할 물체의 위치에 해당하는 U좌표 기반의 중심 좌표 및 V좌표 기반의 하단 좌표를 설정하고, 상기 합성할 물체의 크기에 해당하는 높이 및 너비를 설정할 수 있다.
상기 합성할 물체의 위치를 산출하는 단계는, 상기 하나의 프레임 및 상기 다른 프레임 간의 광학 흐름을 픽셀 단위로 변환하는 변환 모델을 통해 픽셀 데이터로 변환할 수 있다.
상기 변환 모델은 영상 내 물체의 움직임 패턴에 따라 대응하는 픽셀이 이동한 방향 및 거리를 산출할 수 있다.
상기 합성할 물체의 위치를 산출하는 단계는, 상기 광학 흐름에 대응하는 U좌표 기반의 중심 좌표의 변화 및 V좌표 기반의 하단 좌표의 변화를 이용하여 산출할 수 있다.
상기 합성할 물체의 크기를 산출하는 단계는, 상기 광학 흐름에 대응하는 U좌표 기반의 측면 좌표의 변화 및 U좌표 기반의 중심 좌표의 변화를 이용하여 너비 변화를 산출할 수 있다.
상기 합성할 물체의 크기를 산출하는 단계는, 상기 너비 변화의 비율을 이용하여 높이 변화를 산출할 수 있다.
본 실시예의 다른 측면에 의하면 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함하는 동영상 생성 장치에 있어서, 상기 프로세서는, 복수의 프레임 중에서 하나의 프레임에 합성할 물체의 위치와 크기를 지정하고, 상기 광학 흐름을 기반으로 다른 프레임에 상기 합성할 물체의 위치를 산출하고, 상기 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 크기를 산출하는 것을 특징으로 하는 동영상 생성 장치를 제공한다.
상기 프로세서는, UV좌표계를 기반으로 상기 합성할 물체의 위치에 해당하는 U좌표 기반의 중심 좌표 및 V좌표 기반의 하단 좌표를 설정하고, 상기 합성할 물체의 크기에 해당하는 높이 및 너비를 설정할 수 있다.
상기 프로세서는, 상기 하나의 프레임 및 상기 다른 프레임 간의 광학 흐름을 픽셀 단위로 변환하는 변환 모델을 통해 픽셀 데이터로 변환하여, 상기 광학 흐름에 대응하는 U좌표 기반의 중심 좌표의 변화 및 V좌표 기반의 하단 좌표의 변화를 이용하여 상기 합성할 물체의 위치를 산출할 수 있다.
상기 프로세서는, 상기 너비 변화의 비율을 이용하여 높이 변화를 산출하는 방식을 통해 상기 합성할 물체의 크기를 산출할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 배경 이미지 시퀀스와 동영상에 합성될 물체가 주어졌을 때 배경 이미지 시퀀스 사이의 광학 흐름을 계산하고, 계산된 광학 흐름을 이용하여 시간의 흐름에 따라 물체를 배경 이미지 시퀀스에 자연스럽게 합성하여 실제와 유사한 합성 동영상을 생성할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 동영상 생성 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 생성 장치가 처리하는 배경 이미지 시퀀스를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 동영상 생성 장치가 처리하는 합성할 물체를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 동영상 생성 장치가 처리하는 합성 이미지를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동영상 생성 장치가 처리하는 두 프레임 간의 광학 흐름을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 동영상 생성 장치가 처리하는 합성 이미지 시퀀스를 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 동영상 생성 방법을 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
합성 이미지 데이터 생성은 실제 이미지 취득의 어려움을 해결할 수 있는 방법 중 하나이다. 배경 이미지와 합성할 물체가 주어졌을 때, 물체를 배경 이미지에 합성하여 새로운 합성 이미지 데이터를 생성할 수 있다. 합성 동영상 데이터를 생성하기 위해서 물체를 합성하기 원하는 위치와 합성될 물체의 적절한 크기를 모든 배경 이미지 시퀀스에 대해 직접 표시하는 방식이 활용되고 있다. 이러한 작업 방식으로는 깊은 신경망을 충분히 학습할 만큼 많은 양의 동영상 데이터를 생성하는 것은 실질적으로 불가능하다.
본 실시예는 배경 이미지 시퀀스 데이터의 첫 프레임에만 물체를 합성하기 원하는 위치와 크기를 지정해주면, 이미지 시퀀스 데이터 사이의 광학 흐름을 통해 모든 배경 이미지 시퀀스에 대해 물체를 합성할 적절한 위치와 크기를 자동으로 계산하여 합성 동영상 데이터를 생성한다. 여기서 광학 흐름이란 영상 내 물체의 움직임의 패턴으로, 현재 프레임과 다음 프레임 사이에서 각각의 픽셀이 이동한 방향과 거리를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 동영상 생성 장치를 예시한 블록도이다.
동영상 생성 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다.
프로세서(120)는 동영상 생성 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 동영상 생성 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보는 입출력 인터페이스(150)나 통신 인터페이스(160)를 통해서도 주어질 수 있다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능한 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 동영상 생성 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 동영상 생성 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.
동영상 생성 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(150)를 통해 동영상 생성 장치(110)의 다른 컴포넌트들에 연결될 수 있다.
동영상 생성 장치(110)는 배경 이미지 시퀀스와 물체가 주어졌을 때 배경 이미지 시퀀스의 첫 프레임에서 물체를 합성할 위치를 지정해주면, 배경 이미지 시퀀스 사이의 광학 흐름을 이용하여 자동으로 모든 배경 이미지 시퀀스에 대해 물체를 적절한 위치에 적절한 크기로 합성하여 동영상 데이터를 생성한다.
동영상 생성 장치(110)는 실제 환경에서 취득하기 쉬운 배경 동영상 데이터와 물체 데이터를 사용하여 실제 환경에서 취득하기 어려운 동영상 데이터를 대신할 수 있는 합성 동영상을 손쉽게 생성할 수 있다.
도 2는 배경 이미지 시퀀스를 예시한 도면이고, 도 3은 합성할 물체를 예시한 도면이고, 도 4는 합성 이미지를 예시한 도면이고, 도 5는 두 프레임 간의 광학 흐름을 예시한 도면이고, 도 6은 합성 이미지 시퀀스를 예시한 도면이다.
프로세서는 복수의 프레임 중에서 하나의 프레임에 합성할 물체의 위치와 크기를 지정하고, 광학 흐름을 기반으로 다른 프레임에 합성할 물체의 위치를 산출하고, 광학 흐름을 기반으로 다른 프레임에 합성할 물체의 크기를 산출한다.
프로세서는 UV좌표계를 기반으로 합성할 물체의 위치에 해당하는 U좌표 기반의 중심 좌표 및 V좌표 기반의 하단 좌표를 설정하고, 합성할 물체의 크기에 해당하는 높이 및 너비를 설정할 수 있다.
프로세서는 하나의 프레임 및 다른 프레임 간의 광학 흐름을 픽셀 단위로 변환하는 변환 모델을 통해 픽셀 데이터로 변환하여, 광학 흐름에 대응하는 U좌표 기반의 중심 좌표의 변화 및 V좌표 기반의 하단 좌표의 변화를 이용하여 합성할 물체의 위치를 산출할 수 있다.
프로세서는 너비 변화의 비율을 이용하여 높이 변화를 산출하는 방식을 통해 합성할 물체의 크기를 산출할 수 있다.
도 2와 같이 시간의 흐름에 따른 연속된 배경 이미지와 도 3과 같은 물체가 주어졌을 때, 배경 이미지 사이의 광학 흐름을 계산하여 물체가 배경 이미지에 합성된 동영상 데이터를 생성한다.
먼저 첫번째 프레임의 이미지 에 대해 물체를 합성할 위치와 크기를 수학식 1과 같이 지정한다.
여기에서 uc는 물체의 중앙에 해당하는 u좌표, vd는 물체의 가장 아랫부분에 해당하는 v좌표이고, h와 w는 물체의 높이와 너비이다. Pos0에 의해 물체는 첫 프레임의 이미지 I0에 도 4와 같이 합성된다.
이제 첫 프레임에서의 물체의 위치와 연속된 프레임에서 계산한 광학 흐름을 기반으로 합성 동영상을 자동으로 생성한다. 우선 첫번째 프레임의 이미지 I-0와 두번째 프레임의 이미지 I1 사이의 광학 흐름을 변환 모델을 이용하여 픽셀 단위로 계산한 결과 를 시각화하면 도 5와 같다. 변환 모델로는 비특허문헌 1 등을 참조하여 활용할 수 있다.
F01의 각 픽셀의 값은 I0의 각 픽셀이 I1로 u, v 좌표계에서 몇 픽셀만큼 이동하였는지를 나타낸다. Pos0과 F01를 이용하여 I1에서 물체를 합성할 위치 Pos1이 수학식 2와 같이 계산된다.
ul은 이미지에서 물체의 왼쪽에 해당하는 u좌표이다. 첫번째 프레임 이미지 I0의 ul0와 uc0가 두번째 프레임 이미지 I1의 어느 좌표로 옮겨갔는지(ul1 와 uc1)를 광학 흐름 F01을 통해 계산하여 두번째 프레임에 붙여넣을 물체의 크기도 수학식 2에서 함께 구한다.
두번째 프레임의 이미지 I1에 수학식 2에 의해 물체가 합성되며 이 과정은 마지막 배경 이미지 시퀀스까지 반복된다. 두번째 프레임의 이미지 I1과 세번째 프레임의 이미지 I2 사이의 광학 흐름 F12를 구하고 수학식 2를 적용한다. 이러한 과정이 마지막 프레임까지 반복되면 우리가 합성하길 원하는 도 3의 물체가 도면 2의 모든 배경 이미지에 합성되고, 합성된 물체는 실제로 그 자리에 존재하는 물체처럼 카메라의 움직임에 따라 자연스럽게 합성된다.
따라서 도 6과 같이 시간의 흐름에 따라 물체가 배경에 자연스럽게 합성된 동영상을 제작할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 동영상 생성 방법을 예시한 흐름도이다.
동영상 생성 방법은 동영상 생성 장치에 의해 수행될 수 있다.
단계 S10에서는 복수의 프레임 중에서 하나의 프레임에 합성할 물체의 위치와 크기를 지정하는 단계를 수행한다.
단계 S20에서는 광학 흐름을 기반으로 다른 프레임에 합성할 물체의 위치를 산출하는 단계를 수행한다.
단계 S30에서는 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 크기를 산출하는 단계를 수행한다.
합성할 물체의 위치와 크기를 지정하는 단계(S10)는, UV좌표계를 기반으로 합성할 물체의 위치에 해당하는 U좌표 기반의 중심 좌표 및 V좌표 기반의 하단 좌표를 설정하고, 합성할 물체의 크기에 해당하는 높이 및 너비를 설정할 수 있다.
합성할 물체의 위치를 산출하는 단계(S20)는, 하나의 프레임 및 다른 프레임 간의 광학 흐름을 픽셀 단위로 변환하는 변환 모델을 통해 픽셀 데이터로 변환할 수 있다. 변환 모델은 영상 내 물체의 움직임 패턴에 따라 대응하는 픽셀이 이동한 방향 및 거리를 산출할 수 있다.
합성할 물체의 위치를 산출하는 단계(S20)는, 광학 흐름에 대응하는 U좌표 기반의 중심 좌표의 변화 및 V좌표 기반의 하단 좌표의 변화를 이용하여 산출할 수 있다.
합성할 물체의 크기를 산출하는 단계(S30)는, 광학 흐름에 대응하는 U좌표 기반의 측면 좌표의 변화 및 U좌표 기반의 중심 좌표의 변화를 이용하여 너비 변화를 산출할 수 있다. 합성할 물체의 크기를 산출하는 단계(S30)는, 너비 변화의 비율을 이용하여 높이 변화를 산출할 수 있다.
동영상 생성 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
동영상 생성 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 7에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 동영상 생성 장치에 의한 동영상 생성 방법에 있어서,
    복수의 프레임 중에서 하나의 프레임에 합성할 물체의 위치와 크기를 지정하는 단계;
    상기 하나의 프레임 및 다른 프레임 간의 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 위치를 산출하는 단계; 및
    상기 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 크기를 산출하는 단계를 포함하고,
    상기 합성할 물체의 위치와 크기를 지정하는 단계는, UV좌표계를 기반으로 상기 합성할 물체의 위치에 해당하는 U좌표 기반의 중심 좌표 및 V좌표 기반의 하단 좌표를 설정하고, 상기 합성할 물체의 크기에 해당하는 높이 및 너비를 설정하고,
    상기 합성할 물체의 위치를 산출하는 단계는, 상기 광학 흐름을 픽셀 단위로 변환하는 변환 모델을 통해 픽셀 데이터로 변환하고,
    상기 변환 모델은 영상 내 물체의 움직임 패턴에 따라 대응하는 픽셀이 이동한 방향 및 거리를 산출하고,
    상기 합성할 물체의 위치를 산출하는 단계는, 상기 광학 흐름에 대응하는 U좌표 기반의 중심 좌표의 변화 및 V좌표 기반의 하단 좌표의 변화를 이용하여 산출하고,
    상기 합성할 물체의 크기를 산출하는 단계는, 상기 광학 흐름에 대응하는 U좌표 기반의 측면 좌표의 변화 및 U좌표 기반의 중심 좌표의 변화를 이용하여 너비 변화를 산출하고, 상기 너비 변화의 비율을 이용하여 높이 변화를 산출하고,
    상기 하나의 프레임 에 지정된 상기 합성할 물체의 위치와 크기는 수학식 로 표현되고, 여기서 uc0, vd0, h0, 및 w0는 각각 상기 합성할 물체의 중앙에 해당하는 u좌표, 가장 아랫부분에 해당하는 v좌표, 높이, 및 너비를 나타내며,
    상기 다른 프레임에 상기 합성할 물체의 위치와 크기는 다음 수학식에 의해 계산되고,

    여기서, 은 상기 광학 흐름이 상기 변환 모델을 통해 픽셀 단위로 변환된 결과이고, uc1, vd1, h1, 및 w1은 각각 상기 다른 프레임에서의 상기 합성할 물체의 중앙에 해당하는 u좌표, 가장 아랫부분에 해당하는 v좌표, 높이, 및 너비를 나타내고, ul0 및 ul1은 각각 상기 하나의 프레임 및 상기 다른 프레임에서의 상기 합성할 물체의 왼쪽에 해당하는 u좌표를 나타내는 것을 특징으로 하는 동영상 생성 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함하는 동영상 생성 장치에 있어서,
    상기 프로세서는,
    복수의 프레임 중에서 하나의 프레임에 합성할 물체의 위치와 크기를 지정하고,
    상기 하나의 프레임 및 다른 프레임 간의 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 위치를 산출하고,
    상기 광학 흐름을 기반으로 상기 다른 프레임에 상기 합성할 물체의 크기를 산출하고,
    상기 합성할 물체의 위치와 크기를 지정하는 것은, UV좌표계를 기반으로 상기 합성할 물체의 위치에 해당하는 U좌표 기반의 중심 좌표 및 V좌표 기반의 하단 좌표를 설정하고, 상기 합성할 물체의 크기에 해당하는 높이 및 너비를 설정하고,
    상기 합성할 물체의 위치를 산출하는 것은, 상기 광학 흐름을 픽셀 단위로 변환하는 변환 모델을 통해 픽셀 데이터로 변환하고,
    상기 변환 모델은 영상 내 물체의 움직임 패턴에 따라 대응하는 픽셀이 이동한 방향 및 거리를 산출하고,
    상기 합성할 물체의 위치를 산출하는 것은, 상기 광학 흐름에 대응하는 U좌표 기반의 중심 좌표의 변화 및 V좌표 기반의 하단 좌표의 변화를 이용하여 산출하고,
    상기 합성할 물체의 크기를 산출하는 것은, 상기 광학 흐름에 대응하는 U좌표 기반의 측면 좌표의 변화 및 U좌표 기반의 중심 좌표의 변화를 이용하여 너비 변화를 산출하고, 상기 너비 변화의 비율을 이용하여 높이 변화를 산출하고,
    상기 하나의 프레임 에 지정된 상기 합성할 물체의 위치와 크기는 수학식 로 표현되고, 여기서 uc0, vd0, h0, 및 w0는 각각 상기 합성할 물체의 중앙에 해당하는 u좌표, 가장 아랫부분에 해당하는 v좌표, 높이, 및 너비를 나타내며,
    상기 다른 프레임에 상기 합성할 물체의 위치와 크기는 다음 수학식에 의해 계산되고,

    여기서, 은 상기 광학 흐름이 상기 변환 모델을 통해 픽셀 단위로 변환된 결과이고, uc1, vd1, h1, 및 w1은 각각 상기 다른 프레임에서의 상기 합성할 물체의 중앙에 해당하는 u좌표, 가장 아랫부분에 해당하는 v좌표, 높이, 및 너비를 나타내고, ul0 및 ul1은 각각 상기 하나의 프레임 및 상기 다른 프레임에서의 상기 합성할 물체의 왼쪽에 해당하는 u좌표를 나타내는 것을 특징으로 하는 동영상 생성 장치.
  10. 삭제
  11. 삭제
  12. 삭제
KR1020210189365A 2021-12-28 2021-12-28 광학 흐름을 이용한 합성 동영상 생성 방법 KR102586637B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210189365A KR102586637B1 (ko) 2021-12-28 2021-12-28 광학 흐름을 이용한 합성 동영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210189365A KR102586637B1 (ko) 2021-12-28 2021-12-28 광학 흐름을 이용한 합성 동영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20230099921A KR20230099921A (ko) 2023-07-05
KR102586637B1 true KR102586637B1 (ko) 2023-10-06

Family

ID=87159242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210189365A KR102586637B1 (ko) 2021-12-28 2021-12-28 광학 흐름을 이용한 합성 동영상 생성 방법

Country Status (1)

Country Link
KR (1) KR102586637B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239464A (ja) * 2009-03-31 2010-10-21 Casio Computer Co Ltd 画像合成装置、画像再生装置及びプログラム
KR101321974B1 (ko) 2012-05-09 2013-11-08 (주)비주얼 스포츠 옵티컬 플로우를 이용한 이동물체 영상합성 방법
JP2014135039A (ja) * 2012-12-13 2014-07-24 Denso Corp 移動体検出装置
JP2015191480A (ja) * 2014-03-28 2015-11-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、オブジェクトの操作方法、及びオブジェクトの操作プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3339980B2 (ja) * 1994-02-18 2002-10-28 松下電器産業株式会社 画像合成装置
CN111476871B (zh) 2020-04-02 2023-10-03 百度在线网络技术（北京）有限公司 用于生成视频的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239464A (ja) * 2009-03-31 2010-10-21 Casio Computer Co Ltd 画像合成装置、画像再生装置及びプログラム
KR101321974B1 (ko) 2012-05-09 2013-11-08 (주)비주얼 스포츠 옵티컬 플로우를 이용한 이동물체 영상합성 방법
JP2014135039A (ja) * 2012-12-13 2014-07-24 Denso Corp 移動体検出装置
JP2015191480A (ja) * 2014-03-28 2015-11-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、オブジェクトの操作方法、及びオブジェクトの操作プログラム

Also Published As

Publication number Publication date
KR20230099921A (ko) 2023-07-05

Similar Documents

Publication Publication Date Title
Huang et al. An lstm approach to temporal 3d object detection in lidar point clouds
Yang et al. Lego: Learning edge with geometry all at once by watching videos
Yang et al. Projecting your view attentively: Monocular road scene layout estimation via cross-view transformation
US10803364B2 (en) Control method, non-transitory computer-readable storage medium for storing control program, and control apparatus
CN110062934B (zh) 使用神经网络确定图像中的结构和运动
Fish Tung et al. Adversarial inverse graphics networks: Learning 2d-to-3d lifting and image-to-image translation from unpaired supervision
CN107506707B (zh) 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
US20210183083A1 (en) Self-supervised depth estimation method and system
US11687773B2 (en) Learning method and recording medium
JP7181402B2 (ja) 場面理解および高度な運転者支援システムのためのアプリケーションを有するマルチタスク感知ネットワーク
CN108491763B (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
Bruls et al. The right (angled) perspective: Improving the understanding of road scenes using boosted inverse perspective mapping
US10867390B2 (en) Computer vision processing
US11836884B2 (en) Real-time generation of functional road maps
JP2014137815A (ja) 歪みのあるカメラ画像を補正するシステム及び方法
US11669977B2 (en) Processing images to localize novel objects
KR20170110089A (ko) 이미지에 대한 초기 수퍼픽셀 라벨 맵을 생성하기 위한 방법 및 장치
KR20230070253A (ko) 포인트 클라우드들로부터의 효율적인 3차원 객체 검출
KR102646152B1 (ko) 깊이 및 모션 추정을 위한 자기 지도 어텐션 학습 시스템, 이를 포함하는 차량 및 자기 지도 어텐션 학습 방법
JP2021510823A (ja) 車両位置特定
Suleymanov et al. Online inference and detection of curbs in partially occluded scenes with sparse lidar
He et al. Learning scene dynamics from point cloud sequences
CN112116714A (zh) 基于二维图像生成房间结构模型的方法及装置
CN112734931B (zh) 一种辅助点云目标检测的方法及系统
KR102586637B1 (ko) 광학 흐름을 이용한 합성 동영상 생성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant