KR102129085B1 - 영상 데이터를 합성하는 장치 및 방법 - Google Patents

영상 데이터를 합성하는 장치 및 방법 Download PDF

Info

Publication number
KR102129085B1
KR102129085B1 KR1020180160395A KR20180160395A KR102129085B1 KR 102129085 B1 KR102129085 B1 KR 102129085B1 KR 1020180160395 A KR1020180160395 A KR 1020180160395A KR 20180160395 A KR20180160395 A KR 20180160395A KR 102129085 B1 KR102129085 B1 KR 102129085B1
Authority
KR
South Korea
Prior art keywords
image data
camera
image
depth
synthesizing
Prior art date
Application number
KR1020180160395A
Other languages
English (en)
Other versions
KR20200072338A (ko
Inventor
박구만
양지희
송민기
황동호
정주헌
전지혜
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020180160395A priority Critical patent/KR102129085B1/ko
Publication of KR20200072338A publication Critical patent/KR20200072338A/ko
Application granted granted Critical
Publication of KR102129085B1 publication Critical patent/KR102129085B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23229—
    • H04N5/23296—
    • H04N5/247—

Abstract

영상 데이터를 합성하는 장치는 복수의 카메라로부터 복수의 영상 데이터를 수신하는 영상 데이터 수신부, 상기 복수의 카메라에 대응하는 카메라 파라미터를 도출하는 파라미터 추정부, 상기 도출된 카메라 파라미터에 기초하여 상기 복수의 영상 데이터 중 기준 영상 데이터에 대한 깊이 영상을 생성하는 깊이 영상 생성부, 상기 생성된 깊이 영상에 기초하여 상기 복수의 영상 데이터를 합성하여 가상 시점에 대한 합성 영상을 생성하는 영상 데이터 합성부를 포함하되, 상기 복수의 카메라는 적어도 하나의 기준 카메라 및 적어도 하나의 참조 카메라를 포함하고, 상기 복수의 영상 데이터는 제 1 시점에서 상기 기준 카메라에 의해 촬영된 적어도 하나의 상기 기준 영상 데이터 및 제 2 시점 영상에서 상기 참조 카메라에 의해 촬영된 적어도 하나의 참조 영상 데이터를 포함한다.

Description

영상 데이터를 합성하는 장치 및 방법{APPARATUS AND METHOD FOR COMPOSING VIDEO DATA}
본 발명은 영상 데이터를 합성하는 장치 및 방법에 관한 것이다.
고속 촬영이란 고속 카메라를 이용하여 1초 동안 약 50~100 장면 이상을 촬영하는 것을 의미한다. 고속 촬영은 일반 카메라로는 촬영하기 힘든 스포츠 분야의 세부 동작 해석, 자동차 분야의 충돌테스트, 방송 분야의 영상 효과 등에서 이용되고 있다. 고속 촬영에 이용되는 고속 카메라는 요구되는 속도에 따라 간헐촬영방식 카메라, 회전프리즘식 카메라, 회전드럼식 카메라, 회전반사경식 다렌즈 카메라 등이 이용된다.
이러한 고속 촬영 기술과 관련하여, 선행기술인 한국공개특허 제 2013-0121224호는 고속 영상 촬영 장치 및 그 방법을 개시하고 있다.
고속 카메라를 이용하여 고속 촬영을 하는 경우, 고속 카메라의 구입, 유지보수 등에 비용이 많이 소모된다는 단점을 가지고 있다. 이를 개선하고자, 일반 카메라를 이용하여 고속 촬영을 하는 경우, 일반 카메라로는 정상 속도의 약 3배 정도의 고속 촬영은 가능하나, 그 이상을 촬영하고자 하는 경우 추가 장비(고속 모터) 또는 전용 고속 카메라가 필요하게 되어 한계가 존재한다는 단점을 가지고 있다.
일반 카메라를 이용하여 초고속 카메라를 통해 촬영한 것과 같은 초고속 촬영 기법 효과를 제공할 수 있도록 하는 영상 데이터를 합성하는 장치 및 방법을 제공하고자 한다.
일반 카메라를 이용하여 초고속 촬영 기법을 통해 촬영된 영상을 제공함에 있어 영상 품질 손실 및 카메라 비용을 최소화할 수 있도록 하는 영상 데이터를 합성하는 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 카메라로부터 복수의 영상 데이터를 수신하는 영상 데이터 수신부, 상기 복수의 카메라에 대응하는 카메라 파라미터를 도출하는 파라미터 추정부, 상기 도출된 카메라 파라미터에 기초하여 상기 복수의 영상 데이터 중 기준 영상 데이터에 대한 깊이 영상을 생성하는 깊이 영상 생성부, 상기 생성된 깊이 영상에 기초하여 상기 복수의 영상 데이터를 합성하여 가상 시점에 대한 합성 영상을 생성하는 영상 데이터 합성부를 포함하되, 상기 복수의 카메라는 적어도 하나의 기준 카메라 및 적어도 하나의 참조 카메라를 포함하고, 상기 복수의 영상 데이터는 제 1 시점에서 상기 기준 카메라에 의해 촬영된 적어도 하나의 상기 기준 영상 데이터 및 제 2 시점 영상에서 상기 참조 카메라에 의해 촬영된 적어도 하나의 참조 영상 데이터를 포함하는 것인 영상 데이터 합성 장치를 제공할 수 있다.
일 실시예에 따르면, 상기 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함하고, 상기 카메라 내부 파라미터는 상기 복수의 카메라의 각 카메라 렌즈의 초점거리, 주점, 비대칭 계수, 왜곡 계수 중 적어도 하나를 포함하고, 상기 카메라 외부 파라미터는 카메라 좌표계와 공간 좌표계 간의 회전 변환 행렬 및 이동 변환 행렬 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 깊이 영상 생성부는 상기 기준 영상 데이터로부터 제 1 특징점을 탐색하고, 상기 탐색한 제 1 특징점과 동일한 제 2 특징점을 상기 참조 영상 데이터로부터 탐색하고, 상기 탐색된 제 1 특징점 및 상기 탐색된 제 2 특징점에 기초하여 상기 기준 영상 데이터 및 상기 참조 영상 데이터에 대해 상기 깊이 영상을 생성할 수 있다.
일 실시예에 따르면, 상기 생성된 깊이 영상에 대해 깊이값을 측정하는 깊이값 측정부를 더 포함하되, 상기 영상 데이터 합성부는 상기 측정된 깊이값 및 상기 생성된 깊이 영상에 기초하여 상기 합성 영상을 생성할 수 있다.
일 실시예에 따르면, 상기 영상 데이터 합성부는 상기 기준 영상 데이터 및 상기 참조 영상 데이터 합성하여 상기 기준 영상 데이터에 대한 이전 프레임 또는 이후 프레임을 생성할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 일반 카메라를 이용하여 초고속 카메라를 통해 촬영한 것과 같은 초고속 촬영 기법 효과를 제공할 수 있도록 하는 영상 데이터를 합성하는 장치 및 방법을 제공할 수 있다.
일반 카메라를 이용하여 초고속 촬영 기법을 통해 촬영된 영상을 제공함에 있어 영상 품질 손실 및 카메라 비용을 최소화할 수 있도록 하는 영상 데이터를 합성하는 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터 합성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 데이터 합성 장치의 구성도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 카메라 파라미터를 도시한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 기준 영상 데이터에 대한 깊이 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 데이터 합성 장치에서 영상 데이터를 합성하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 데이터 합성 시스템의 구성도이다. 도 1을 참조하면, 영상 데이터 합성 시스템(1)은 복수의 카메라(110) 및 영상 데이터 합성 장치(120)를 포함할 수 있다. 복수의 카메라(110) 및 영상 데이터 합성 장치(120)는 영상 데이터 합성 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 영상 데이터 합성 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 영상 데이터 합성 장치(120)는 복수의 카메라(110)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
복수의 카메라(110)는 적어도 하나의 기준 카메라(111) 및 적어도 하나의 참조 카메라(112 내지 115)를 포함할 수 있다. 여기서, 기준 카메라(111) 및 적어도 하나의 참조 카메라(112 내지 115)는 소정의 간격 비율에 기초하여 배치될 수 있다.
예를 들어, 기준 카메라(111)는 중앙에 배치되며, 기준 카메라(111)를 기준으로 제 1 참조 카메라(112)는 d간격으로 기준 카메라(111)의 좌측에 위치하고, 제 2 참조 카메라(113)는 d간격으로 기준 카메라(111)의 우측에 위치하고, 제 3 참조 카메라(114)는 2d간격으로 제 1 참조 카메라(112)의 좌측에 위치하고, 제 4 참조 카메라(115)는 2d간격으로 제 2 참조 카메라(113)의 우측에 위치할 수 있다.
복수의 카메라(110)는 촬영된 영상 데이터를 영상 데이터 합성 장치(120)로 전송할 수 있다.
영상 데이터 합성 장치(120)는 복수의 카메라(110)로부터 복수의 영상 데이터를 수신할 수 있다. 여기서, 복수의 영상 데이터는 제 1 시점(t2)에서 기준 카메라(111)에 의해 촬영된 적어도 하나의 기준 영상 데이터 및 제 2 시점(t1) 영상에서 참조 카메라(112 내지 115)에 의해 촬영된 적어도 하나의 참조 영상 데이터를 포함할 수 있다.
영상 데이터 합성 장치(120)는 복수의 카메라(110)에 대응하는 카메라 파라미터를 도출할 수 있다. 여기서, 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함할 수 있다. 카메라 내부 파라미터는 복수의 카메라(110)의 각 카메라 렌즈의 초점거리, 주점, 비대칭 계수, 왜곡 계수 등을 포함할 수 있다. 카메라 외부 파라미터는 카메라 좌표계와 공간 좌표계 간의 회전 변환 행렬 및 이동 변환 행렬 등을 포함할 수 있다.
영상 데이터 합성 장치(120)는 도출된 카메라 파라미터에 기초하여 복수의 영상 데이터 중 기준 영상 데이터에 대한 깊이 영상을 생성할 수 있다.
예를 들어, 영상 데이터 합성 장치(120)는 기준 영상 데이터로부터 제 1 특징점을 탐색하고, 탐색한 제 1 특징점과 동일한 제 2 특징점을 참조 영상 데이터로부터 탐색하고, 탐색된 제 1 특징점 및 탐색된 제 2 특징점에 기초하여 기준 영상 데이터 및 참조 영상 데이터에 대해 깊이 영상을 생성할 수 있다.
영상 데이터 합성 장치(120)는 생성된 깊이 영상에 대해 깊이값을 측정할 수 있다.
영상 데이터 합성 장치(120)는 생성된 깊이 영상에 기초하여 복수의 영상 데이터를 합성하여 가상 시점에 대한 합성 영상을 생성할 수 있다.
영상 데이터 합성 장치(120)는 측정된 깊이값 및 생성된 깊이 영상에 기초하여 합성 영상을 생성할 수 있다.
영상 데이터 합성 장치(120)는 기준 영상 데이터 및 참조 영상 데이터 합성하여 기준 영상 데이터에 대한 이전 프레임 또는 이후 프레임을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 데이터 합성 장치의 구성도이다. 도 1 및 도 2를 참조하면, 영상 데이터 합성 장치(120)는 영상 데이터 수신부(210), 파라미터 추정부(220), 깊이 영상 생성부(230), 깊이값 측정부(240) 및 영상 데이터 합성부(250)를 포함할 수 있다.
영상 데이터 수신부(210)는 복수의 카메라(110)로부터 복수의 영상 데이터를 수신할 수 있다. 여기서, 복수의 카메라(110)는 적어도 하나의 기준 카메라(111) 및 적어도 하나의 참조 카메라(112 내지 115)를 포함하고, 복수의 영상 데이터는 색상 영상 데이터로, 제 1 시점(t2)에서 기준 카메라(111)에 의해 촬영된 적어도 하나의 기준 영상 데이터 및 제 2 시점(t1) 영상에서 참조 카메라(112 내지 115)에 의해 촬영된 적어도 하나의 참조 영상 데이터를 포함할 수 있다.
여기서, t1 ≠ t2 이므로, 기준 영상 데이터와 참조 영상 데이터는 서로 다른 시간대의 프레임을 가지게 된다.
영상 데이터 수신부(210)는 소정의 주기에 기초하여 복수의 카메라(110)로부터 복수의 영상 데이터를 수신할 수 있다. 예를 들어, 영상 데이터 수신부(210)는 t2+T 주기에 기준 카메라(111)에 의해 촬영된 적어도 하나의 기준 영상 데이터를 수신하고, t1+T 주기에 적어도 하나의 참조 카메라(112 내지 115)로부터 복수의 영상 데이터를 수신할 수 있다.
파라미터 추정부(220)는 복수의 카메라(110)에 대응하는 카메라 파라미터를 도출할 수 있다. 카메라 파라미터를 도출하는 과정에 대해서는 도 3a 및 도 3b를 통해 상세히 설명하도록 한다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 카메라 파라미터를 도시한 예시적인 도면이다.
도 3a는 본 발명의 일 실시예에 따른 깊이 영상 생성에 입력되는 카메라 파라미터를 도시한 예시적인 도면이다. 도 3a를 참조하면, 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함할 수 있다.
깊이 영상 생성에 입력되는 카메라 파라미터는 카메라의 내부적 및 외부적 상태를 나타낸 값일 수 있다. 이 때, 공간 좌표계에서 지정한 점(X, Y, Z)와 이 점이 이미지로 투영되었을 때의 이미지 좌표(x, y)의 관계가 내부 파라미터와 외부 파라미터를 이용하여 도출될 수 있다.
카메라 내부 파라미터는 복수의 카메라(110)의 각 카메라 렌즈의 초점거리, 주점, 비대칭 계수, 왜곡 계수 등을 포함할 수 있다. 각 카메라 렌즈의 초점거리는 각 카메라 렌즈의 중심과 이미지 센서와의 거리를 나타내는 것일 수 있다. 각 카메라 렌즈위 주점은 각 카메라 렌즈의 중심으로, 핀홀에서 이미지 센서에 내린 수선의 발을 나타내는 것일 수 있다. 각 카메라 렌즈의 비대칭 계수는 이미지 센서의 셀 어레이(cell array)의 축이 기울어진 정도를 나타내는 것일 수 있다. 각 카메라 렌즈의 왜곡 계수는 각 카메라 렌즈의 왜곡된 정도를 나타내는 것일 수 있다.
도 3b는 본 발명의 일 실시예에 따른 카메라 외부 파라미터를 도시한 예시적인 도면이다. 도 3b를 참조하면, 카메라 외부 파라미터는 카메라 좌표계와 공간 좌표계 간의 회전 변환 행렬 및 이동 변환 행렬 등을 포함할 수 있다. 여기서, 회전 변환 행렬(R, rotation matrix)은 카메라 좌표계와 공간 좌표계 간의 회전 변환 관계를 나타낸 행렬을 의미하며, 이동 변환 행렬(T, translation matrix)은 카메라 좌표계와 공간 좌표계 간의 이동 변환 관계를 나타내는 행렬을 의미할 수 있다.
다시 도 2로 돌아와서, 깊이 영상 생성부(230)는 도출된 카메라 파라미터에 기초하여 복수의 영상 데이터 중 기준 영상 데이터에 대한 깊이 영상을 생성할 수 있다. 이 때, 깊이 영상 생성부(230)는 기준 영상 데이터로부터 제 1 특징점을 탐색하고, 탐색한 제 1 특징점과 동일한 제 2 특징점을 영상 데이터의 회전을 통해 참조 영상 데이터로부터 탐색하고, 탐색된 제 1 특징점 및 탐색된 제 2 특징점에 기초하여 기준 영상 데이터 및 참조 영상 데이터에 대해 깊이 영상을 생성할 수 있다. 기준 영상 데이터 및 참조 영상 데이터를 이용하여 깊이 영상을 생성하는 과정에 대해서는 도 4를 통해 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 기준 영상 데이터에 대한 깊이 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 깊이 영상 생성부(230)는 제 1 참조 카메라(112)에서 촬영된 제 1 참조 영상 데이터(402), 제 2 참조 카메라(113)에서 촬영된 제 2 참조 영상 데이터(403), 제 3 참조 카메라(114)에서 촬영된 제 3 참조 영상 데이터(401)를 이용하여 기준 데이터에 대한 깊이 영상(410)을 생성할 수 있다.
깊이 영상 생성부(230)는 제 1 내지 제 3 참조 영상 데이터(401 내지 403)에 대해 전처리 과정을 거친 후, 객체별로 이미지를 분할할 수 있다.
깊이 영상 생성부(230)는 임의의 블록을 통해 기준 영상 데이터로부터 특징점을 탐색하고, 탐색한 특징점과 동일한 특징점을 제 1 내지 제 3 참조 영상 데이터(401 내지 403)로부터 탐색할 수 있다. 이후, 깊이 영상 생성부(230)는 각 영상 데이터에 그래프 컷을 적용하여 최종적으로 기준 영상에 대한 깊이 영상을 생성할 수 있다.
이러한 과정을 거쳐, 깊이 영상 생성부(230)는 기준 카메라(111)로부터 좌측 시점에 대한 깊이 영상을 생성할 수 있다.
또한, 이와 같은 과정을 통해 제 1 참조 카메라(112), 제 2 참조 카메라(113), 제 4 참조 카메라(115)를 이용하여 기준 카메라(111)로부터 우측 시점에 대한 깊이 영상을 생성할 수 있다.
깊이값 측정부(240)는 생성된 깊이 영상에 대해 깊이값을 측정할 수 있다. 여기서, 깊이 영상에 대한 깊이값은 'z'값일 수 있다.
영상 데이터 합성부(250)는 생성된 깊이 영상에 기초하여 복수의 영상 데이터를 합성하여 가상 시점에 대한 합성 영상을 생성할 수 있다. 이 때, 영상 데이터 합성부(250)는 측정된 깊이값 및 생성된 깊이 영상에 기초하여 합성 영상을 생성할 수 있다. 예를 들어, 영상 데이터 합성부(250)는 좌측 시점에 대한 깊이 영상 및 우측 시점에 대한 깊이 영상을 이용하여 가상 시점에 대한 합성 영상을 생성할 수 있다.
영상 데이터 합성부(250)는 기준 영상 데이터 및 참조 영상 데이터를 합성하여 기준 영상 데이터에 대한 이전 프레임 또는 이후 프레임을 생성할 수 있다.
이후, 영상 데이터 합성부(250)는 기준 영상 데이터 및 참조 영상 데이터의 합성으로 인해 생긴 홀을 채우고, 노이즈 제거 등의 과정을 거쳐 기준 카메라(111)의 영상 데이터에 존재하지 않는 프레임을 생성할 수 있게 된다.
도 5는 본 발명의 일 실시예에 따른 영상 데이터 합성 장치에서 영상 데이터를 합성하는 방법의 순서도이다. 도 5에 도시된 영상 데이터 합성 장치(120)에서 영상 데이터를 합성하는 방법은 도 1 내지 도 4에 도시된 실시예에 의해 영상 데이터 합성 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 실시예에 따른 영상 데이터 합성 장치(120)에서 영상 데이터를 합성하는 방법에도 적용된다.
단계 S510에서 영상 데이터 합성 장치(120)는 복수의 카메라(110)로부터 복수의 영상 데이터를 수신할 수 있다.
단계 S520에서 영상 데이터 합성 장치(120)는 복수의 카메라(110)에 대응하는 카메라 파라미터를 도출할 수 있다.
단계 S530에서 영상 데이터 합성 장치(120)는 도출된 카메라 파라미터에 기초하여 복수의 영상 데이터 중 기준 영상 데이터에 대한 깊이 영상을 생성할 수 있다.
단계 S540에서 영상 데이터 합성 장치(120)는 생성된 깊이 영상에 기초하여 복수의 영상 데이터를 합성하여 가상 시점에 대한 합성 영상을 생성할 수 있다.
상술한 설명에서, 단계 S510 내지 S540은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 5를 통해 설명된 영상 데이터 합성 장치에서 영상 데이터를 합성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 5를 통해 설명된 영상 데이터 합성 장치에서 영상 데이터를 합성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 복수의 카메라
120: 영상 데이터 합성 장치
210: 영상 데이터 수신부
220: 파라미터 추정부
230: 깊이 영상 생성부
240: 깊이값 측정부
250: 영상 데이터 합성부

Claims (5)

  1. 영상 데이터를 합성하는 장치에 있어서,
    복수의 카메라로부터 복수의 영상 데이터를 수신하는 영상 데이터 수신부;
    상기 복수의 카메라에 대응하는 카메라 파라미터를 도출하는 파라미터 추정부;
    상기 도출된 카메라 파라미터에 기초하여 상기 복수의 영상 데이터 중 기준 영상 데이터에 대한 깊이 영상을 생성하는 깊이 영상 생성부;
    상기 생성된 깊이 영상에 기초하여 상기 복수의 영상 데이터를 합성하여 가상 시점에 대한 합성 영상을 생성하는 영상 데이터 합성부를 포함하되,
    상기 복수의 카메라는 적어도 하나의 기준 카메라 및 적어도 하나의 참조 카메라를 포함하고,
    상기 복수의 영상 데이터는 제 1 시점(timestamp)에서 상기 기준 카메라에 의해 촬영된 적어도 하나의 상기 기준 영상 데이터 및 제 2 시점(timestamp)에서 상기 참조 카메라에 의해 촬영된 적어도 하나의 참조 영상 데이터를 포함하고,
    상기 영상 데이터 합성부는 서로 다른 시간대의 프레임을 갖는 상기 기준 영상 데이터 및 상기 참조 영상 데이터를 합성하여 상기 가상 시점에 대한 합성 영상을 생성하는 것인, 영상 데이터 합성 장치.
  2. 제 1 항에 있어서,
    상기 카메라 파라미터는 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함하고,
    상기 카메라 내부 파라미터는 상기 복수의 카메라의 각 카메라 렌즈의 초점거리, 주점, 비대칭 계수, 왜곡 계수 중 적어도 하나를 포함하고,
    상기 카메라 외부 파라미터는 카메라 좌표계와 공간 좌표계 간의 회전 변환 행렬 및 이동 변환 행렬 중 적어도 하나를 포함하는 것인, 영상 데이터 합성 장치.
  3. 제 1 항에 있어서,
    상기 깊이 영상 생성부는 상기 기준 영상 데이터로부터 제 1 특징점을 탐색하고,
    상기 탐색한 제 1 특징점과 동일한 제 2 특징점을 상기 참조 영상 데이터로부터 탐색하고,
    상기 탐색된 제 1 특징점 및 상기 탐색된 제 2 특징점에 기초하여 상기 기준 영상 데이터 및 상기 참조 영상 데이터에 대해 상기 깊이 영상을 생성하는 것인, 영상 데이터 합성 장치.
  4. 제 1 항에 있어서,
    상기 생성된 깊이 영상에 대해 깊이값을 측정하는 깊이값 측정부를 더 포함하되,
    상기 영상 데이터 합성부는 상기 측정된 깊이값 및 상기 생성된 깊이 영상에 기초하여 상기 합성 영상을 생성하는 것인, 영상 데이터 합성 장치.
  5. 제 1 항에 있어서,
    상기 영상 데이터 합성부는 상기 기준 영상 데이터 및 상기 참조 영상 데이터을 합성하여 상기 기준 영상 데이터에 대한 이전 프레임 또는 이후 프레임을 생성하는 것인, 영상 데이터 합성 장치.
KR1020180160395A 2018-12-12 2018-12-12 영상 데이터를 합성하는 장치 및 방법 KR102129085B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160395A KR102129085B1 (ko) 2018-12-12 2018-12-12 영상 데이터를 합성하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160395A KR102129085B1 (ko) 2018-12-12 2018-12-12 영상 데이터를 합성하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200072338A KR20200072338A (ko) 2020-06-22
KR102129085B1 true KR102129085B1 (ko) 2020-07-01

Family

ID=71142231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160395A KR102129085B1 (ko) 2018-12-12 2018-12-12 영상 데이터를 합성하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102129085B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021188619A (ja) 2020-06-02 2021-12-13 エルジー エレクトロニクス インコーポレイティドLg Electronics Inc. 送風機
KR102368771B1 (ko) * 2021-06-16 2022-03-02 주식회사 웨스트월드 시퀀스 이미지 메타 정보를 이용한 이미지 합성 장치 및 방법
KR102636238B1 (ko) * 2021-07-30 2024-02-14 주식회사 아모센스 음성 처리 장치를 포함하는 다중 그룹 수업 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215311A (ja) * 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2009186369A (ja) 2008-02-07 2009-08-20 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2011210202A (ja) 2010-03-30 2011-10-20 Nagoya Univ 自由視点画像生成装置
KR101377325B1 (ko) * 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054790A (ko) * 2010-11-22 2012-05-31 광운대학교 산학협력단 중간영상을 생성하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215311A (ja) * 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2009186369A (ja) 2008-02-07 2009-08-20 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
KR101377325B1 (ko) * 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
JP2011210202A (ja) 2010-03-30 2011-10-20 Nagoya Univ 自由視点画像生成装置

Also Published As

Publication number Publication date
KR20200072338A (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
EP3216216B1 (en) Methods and systems for multi-view high-speed motion capture
KR102129085B1 (ko) 영상 데이터를 합성하는 장치 및 방법
US20210051309A1 (en) Three-dimensional model distribution method and three-dimensional model distribution device
US9286680B1 (en) Computational multi-camera adjustment for smooth view switching and zooming
US20200250798A1 (en) Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method
EP2389007B1 (en) Method and apparatus for temporally interpolating three-dimensional depth image
US20210366133A1 (en) Image frame prediction method, image frame prediction apparatus and head display apparatus
KR101066550B1 (ko) 가상시점 영상 생성방법 및 그 장치
US20020106120A1 (en) Method of analyzing in real time the correspondence of image characteristics in corresponding video images
US20080158340A1 (en) Video chat apparatus and method
US9313473B2 (en) Depth video filtering method and apparatus
JP2020031421A (ja) 複数のカメラからのビューを組み合わせる方法及びカメラシステム
JP6300346B2 (ja) Ｉｐ立体映像推定装置及びそのプログラム
JP7479729B2 (ja) 三次元表現方法及び表現装置
WO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
JP2017229067A (ja) 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法及び装置
TW201607296A (zh) 快速產生影像景深圖的方法及影像處理裝置
JP2004229093A (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
JP6758265B2 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
CN112437253B (zh) 一种视频拼接方法、装置、系统、计算机设备和存储介质
KR20210114668A (ko) 대상 물체에 대한 입체 영상을 생성하는 장치, 방법 및 컴퓨터 프로그램
KR101342783B1 (ko) 가상시점 영상 생성 방법 및 그 장치
RU2716896C1 (ru) Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения
EP3624050B1 (en) Method and module for refocusing at least one plenoptic video
KR20210055260A (ko) 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant