KR101768163B1 - 3d 비디오 생성 장치 - Google Patents

3d 비디오 생성 장치 Download PDF

Info

Publication number
KR101768163B1
KR101768163B1 KR1020160090583A KR20160090583A KR101768163B1 KR 101768163 B1 KR101768163 B1 KR 101768163B1 KR 1020160090583 A KR1020160090583 A KR 1020160090583A KR 20160090583 A KR20160090583 A KR 20160090583A KR 101768163 B1 KR101768163 B1 KR 101768163B1
Authority
KR
South Korea
Prior art keywords
mesh
model
key frame
image
frame
Prior art date
Application number
KR1020160090583A
Other languages
English (en)
Inventor
손우람
김민욱
김혁준
김준수
노정석
서병욱
오순석
조영대
조현태
Original Assignee
리얼리티리플렉션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리얼리티리플렉션 주식회사 filed Critical 리얼리티리플렉션 주식회사
Priority to KR1020160090583A priority Critical patent/KR101768163B1/ko
Application granted granted Critical
Publication of KR101768163B1 publication Critical patent/KR101768163B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H04N13/0242—
    • H04N13/0275—
    • H04N13/0296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3D 비디오 생성장치에 관한 것으로, 다수의 카메라의 입력영상으로 3D 비디오를 생성시 용량을 줄일 수 있는 3D 비디오 생성장치에 관한 것이다.
본 발명은 복수 개의 영상을 촬영하는 영상취득부, 영상의 프레임을 추출하는 추출부, 추출하는 매 프레임으로 3D 모델을 생성하는 3D 모델 생성부, 키프레임의 영상 메쉬를 참조 메쉬로하여 메쉬의 변화량으로 다음 메쉬를 예측하는 메쉬 추적부, 메쉬의 변화량을 압축하는 메쉬 압축부를 포함할 수 있다.
상술한 바에 의하면, 3D 비디오의 용량을 효과적으로 줄이고, 일반적인 카메라로 3D 비디오를 생성하는데 특징이 있다.

Description

3D 비디오 생성 장치{Apparatus of making 3D video and method therefor}
본 발명은 3D 비디오 생성장치에 관한 것으로, 더욱 상세하게는 다수의 카메라의 입력영상으로 3D 비디오를 생성시 용량을 줄일 수 있는 3D 비디오 생성장치에 관한 것이다.
3차원 비디오 처리기술은 차세대 정보통신서비스로서 방송, 의료, 교육, 군사, 게임, 애니메이션 등 그 응용분야가 다양하다. 또한 3차원 비디오 처리기술은 여러 분야에 공통적으로 요구되는 차세대 실감 3차원 입체 멀티미디어 정보통신의 핵심 기반 기술로서 이에 대한 연구가 활발히 진행되고 있다.
종래, 공개특허 10-2011-0060763호에 의하면, 입력된 3차원 기초 영상을 미리 결정된 3차원 영상의 중요도에 따라 미리 결정된 크기로 픽셀을 축소하여 기준 영상 프레임과 동일한 크기의 프레임으로 3차원 부가영상을 생성하는 3차원 부가영상 전처리부와, 입력된 기준영상과 3차원 부가영상을 인코딩하는 인코더와, 인코딩된 기준영상과 3차원 부가영상을 전송망을 통해서 전송하는 다중화 및 전송부를 포함한다.
이러한 3차원 비디오 처리기술에 있어 다수의 카메라의 입력 영상으로 일반적인 3D 비디오를 생성하면 용량이 굉장히 커지는 문제점이 있었다.
따라서 3D 비디오의 용량을 효과적으로 줄이고, 일반적인 카메라로 3차원 비디오를 생성할 수 있는 장치를 개발할 필요가 있다.
본 발명의 목적은 전술한 점들을 감안하여 안출된 것으로, 3D 비디오의 용량을 효과적으로 줄이고, 일반적인 카메라로 3D 비디오를 생성하는 3D 비디오 생성 장치를 제공함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 복수 개의 영상을 촬영하는 영상취득부(100), 상기 영상의 프레임을 추출하는 추출부(200), 상기 추출부를 통해 추출하는 매 프레임으로 3D 모델을 생성하는 3D 모델 생성부(300), 키프레임의 영상 메쉬를 참조 메쉬로하여 메쉬의 변화량으로 다음 메쉬를 예측하는 메쉬 추적부(400), 상기 메쉬의 변화량을 압축하는 메쉬 압축부(500)를 포함할 수 있다.
바람직하게 영상취득부(100)는 비동기 영상으로 촬영하는 카메라(110)를 적어도 하나 이상 포함한다.
또한 영상취득부(100)는 오디오 신호를 이용하여 상기 복수개의 영상을 동기화하는 동기화 모듈(120)을 더 포함할 수 있다.
또한 영상취득부(100)는 특정 주파수 대역의 오디오 신호를 촬영 중에 발생시키는 오디오 신호 발생모듈(121) 및 상기 오디오 신호로 상기 복수개의 영상을 동기화하는 영상 동기화모듈(122)을 포함한다.
또한 추출부(200)는 복수개의 영상을 특정 주파수 대역의 오디오 신호로 영상동기화 후, 각 카메라에서 순서대로 프레임을 추출하는 것을 특징으로 한다.
또한 메쉬 추적부(400)는 다수 프레임 중 키 프레임을 선택하는 키프레임 선택모듈(410), 키프레임 선택모듈의 키 프레임과 다음 메쉬 3D 모델을 입력받아 그 중 입력 3D 모델을 감싸는 그래프를 생성하는 그래프 생성모듈(420), 그래프 상의 노드와 가장 가까운 대응점을 선별하는 선별모듈(430), 대응점을 최소제곱법으로 그래프의 각 노드의 Rotation|Translation 행렬을 출력하는 행렬출력모듈(440) 및 상기 행렬로 다음 3D모델을 변형시켜 종료조건이 만족될 때까지 입력모델을 변형시키는 모델변형모듈(450)을 포함한다.
더욱 바람직하게 키프레임 선택모듈(410)은 메쉬 추적결과로 생성된 After'와, 원래 After 사이의 변화차이가 임계치 이상일때의 프레임을 키프레임으로 선택하는 것을 특징으로 한다.
또한 키프레임 선택모듈(410)은 현재 프레임과 키프레임과의 시간차이가 임계치 이상일때의 프레임을 키프레임으로 선택하는 것을 특징으로 한다.
또한 메쉬 압축부(500)는 메쉬추적시 메쉬의 점 개수가 동일해지고, t시점의 메쉬와 t+1시점의 메쉬의 점 위치 차이를 가변 비트로 표현하여 압축하는 것을 특징으로 한다.
한편, 3D 비디오 생성장치를 이용한 3D 비디오 생성방법은 (a) 3D 비디오 생성장치의 제어부가 영상취득부로 복수 개의 영상을 촬영하되, 다수의 카메라로 비동기 비디오 영상을 촬영하고, 오디오 신호를 이용하여 영상을 동기화하도록 하는 단계; (b) 상기 제어부가 영상 동기화 이후, 영상의 프레임을 추출하되, 각 카메라에서 순서대로 프레임을 추출하도록 하는 단계; (c) 상기 제어부가 추출하는 매 프레임으로 3D 모델을 생성하도록 하는 단계; (d) 상기 제어부가 영상 메쉬를 참조 메쉬로 하여 메쉬의 변화량으로 다음 메쉬를 예측하도록 하는 단계; 및 (e) 상기 제어부가 상기 메쉬의 변화량을 압축하도록 하는 단계;를 포함한다.
상술한 바에 의하면, 3D 비디오의 용량을 효과적으로 줄이고, 일반적인 카메라로 3D 비디오를 생성할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 3D 비디오 생성장치의 구성을 나타낸 예시도이다.
도 2는 본 발명의 일실시예에 따른 3D 비디오 생성장치의 절차를 나타낸 예시도이다.
도 3은 본 발명의 일실시예에 따른 3D 비디오 생성방법의 전체적인 흐름을 나타낸 예시도이다.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
본 발명의 일실시예에 따른 3D 비디오 생성장치는 3D 비디오의 용량을 효과적으로 줄이고, 일반적인 카메라로 3D 비디오를 생성하는데 특징이 있다. 이러한 특징을 설명하면 다음과 같다.
이하, 첨부 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 3D 비디오 생성장치의 구성을 나타낸 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 3D 비디오 생성장치는 제어부(미도시)에 의해 제어되는 구성으로 영상 취득부(100), 추출부(200), 3D 모델 생성부(300), 메쉬 추적부(400), 메쉬 압축부(500)를 포함할 수 있다.
영상 취득부(100)는 복수 개의 영상을 촬영하는 구성이다.
이러한 영상 취득부(100)는 카메라(110), 동기화 모듈(120)을 포함할 수 있다.
영상 취득부(100)는 비동기 영상으로 촬영하는 카메라(110)를 적어도 하나 이상 포함하는 것을 특징으로 한다.
동기화 모듈(120)은 복수 개의 카메라 비동기영상을 입력받아 오디오 신호를 이용하여 복수 개의 영상을 동기화하는 구성이다. 이러한 동기화 모듈(120)은 오디오 신호 발생모듈(121), 영상 동기화모듈(122)을 포함한다.
오디오 신호 발생모듈(121)은 특정 주파수 대역의 오디오 신호를 촬영 중에 발생시키는 구성이다.
영상 동기화모듈(122)은 오디오 신호로 복수 개의 영상을 동기화하는 구성이다.
추출부(200)는 영상 취득부(100)의 복수 개 카메라 영상의 프레임을 추출하는 구성이다. 이러한 추출부(200)는 복수 개의 영상을 특정 주파수 대역의 오디오 신호로 영상동기화 결과에서, 각 카메라에서 순서대로 프레임을 추출하는 것을 특징으로 한다.
3D 모델 생성부(300)는 추출부를 통해 추출하는 매 프레임으로 3D 모델을 생성하는 구성이다.
메쉬 추적부(400)는 키프레임의 영상 메쉬를 참조 메쉬로하여 메쉬의 변화량으로 다음 메쉬를 예측하는 구성이다. 본 실시예에 따른 메쉬 추적부(400)는 키프레임 선택모듈(410), 그래프 생성모듈(420), 선별모듈(430), 행렬출력모듈(440), 모델변형모듈(450)을 포함한다.
키프레임 선택모듈(410)은 다수 프레임 중 키 프레임을 선택하는 구성이다.
이러한 키프레임 선택모듈(410)은 메쉬 추적결과로 생성된 After'와, 원래 After 사이의 변화차이가 임계치 이상일때의 프레임을 키프레임으로 선택하는 것을 특징으로 한다.
또한 키프레임 선택모듈(410)은 현재 프레임과 키프레임과의 시간차이가 임계치 이상일때의 프레임을 키프레임으로 선택하는 것을 특징으로 한다.
그래프 생성모듈(420)은 키프레임 선택모듈의 키 프레임과 다음 메쉬 3D 모델을 입력받아 그 중 입력 3D 모델을 감싸는 그래프를 생성한다.
선별모듈(430)은 그래프 상의 노드와 가장 가까운 대응점을 선별하는 구성이다.
행렬 출력모듈(440)은 대응점을 최소제곱법으로 그래프의 각 노드의 Rotation|Translation 행렬을 출력한다.
최소제곱법은 다음 식의 총 에너지 (Etotal)를 최소화하는 미지수 R | T를 찾는다.
[수학식 1]
Figure 112016069153623-pat00001
w 는 변형 정도를 표현하는 가중치이며, Edeform 은 어떤 그래프 노드의 R|T 가 주위 그래프 노드와 얼마나 차이가 나는지 나타내는 에너지 량이며, Ecorres 은 대응점끼리의 차이를 나타내는 에너지 량이다.
[수학식 2]
Figure 112016069153623-pat00002
n은 그래프 노드의 개수, k는 어떤 그래프 노드의 이웃 노드의 개수이며, x는 그래프 노드의 좌표이다.
[수학식 3]
Figure 112016069153623-pat00003
m은 총 대응점 개수이며,
Figure 112016069153623-pat00004
는 주위 그래프 노드를 통해 변형된 그래프 노드 위치,
Figure 112016069153623-pat00005
는
Figure 112016069153623-pat00006
의 대응점 좌표이다.
Rotation 행렬은 3*3 행렬로 되어 있으며, skew-symmetric 행렬로 x,y,z축의 회전을 표현하여 3개의 미지수로 Rotation 행렬을 표현한다. Translation 행렬은 x,y,z축으로 평행 이동하는 값이며, 3개의 미지수로 표현한다.
모델변형모듈(450)은 행렬로 다음 3D 모델을 변형시켜 종료조건이 만족될 때까지 입력모델을 변경시키는 구성이다. 여기서, 종료조건은 다음 중 하나가 만족할 때 종료하도록 한다.
-미리 정의된 총 반복 횟수를 초과했을 때,
-변형 정도를 표현하는 가중치 w가 10번 이상 재조정된 경우,
여기서, 가중치 w를 재조정하는 기준은, R|T 행렬의 변화량이 임계치 이하인 경우이다.
메쉬 압축부(500)는 메쉬의 변화량을 압축하는 구성이다.
이러한 메쉬 압축부(500)는 메쉬추적시 메쉬의 점 개수가 동일해지고, t시점의 메쉬와 t+1시점의 메쉬의 점 위치 차이를 가변 비트로 표현하여 압축하는 것을 특징으로 한다. 여기서 가변 비트로 표현하여 압축하는 이유는 적은 비트 수로 표현가능하고, 이런 가변 비트로 표현되는 변화량은 differential coding 등 entropy 압축기법으로 압축할 수 있다.
이하, 본 실시예를 구체적으로 설명하면 다음과 같다.
먼저, 다수의 카메라로 비동기 비디오 촬영을 하고, 특정 주파수 대역의 오디오 신호를 촬영 중에 발생시켜 이를 나중에 영상 동기화에 사용한다. 영상 동기화가 되면 이를 바탕으로 각 카메라에서 순서대로 프레임을 추출한 후, 매 프레임으로 3D 모델을 생성한다.
생성된 3D 모델은 메쉬의 구조가 제각각이기 때문에 압축하기 어렵다. 따라서, 키프레임의 메쉬를 참조메쉬로 해서, 다음 메쉬를 예측하는 메쉬추적을 수행한다.
메쉬추적은 2개의 Before(키프레임의메쉬)/After(다음메쉬) 3D 모델을 입력받고, 그 중 입력 3D 모델을 감싸는 그래프를 생성하는 것으로 시작한다.
이 그래프상의 노드와 가장 가까운 대응점을 After 3D 모델에서 찾는데, 이 과정에서 점의 위치 {x, y, z}와 점의 색{r, g, b}, 그리고 수동으로 주어지는 대응점의 좌표를 이용한다.
이렇게 대응점이 구해지면, 이를 최소제곱법으로 그래프의 각 노드의 Rotation | Translation 행렬을 구한다. 이렇게 구한 R|T 행렬로 Before 3D 모델을 변형시키고, 종료조건이 만족될 때까지 입력모델을 변형시킨다.
메쉬추적에서 키프레임을 선택하는 기준은 다음 2가지 중에서 하나가 만족할 때 현재프레임이 키프레임으로 선택된다.
1. 메쉬 추적결과로 생성된 After'와 원래 After 사이의 변화차이 (Hausdorff Distance)가 임계치 θdistance이상 일때
2. 현재 프레임과 키프레임과의 시간 차이가 임계치 θtime 이상 일때
맨 처음 프레임은 키프레임이 된다.
메쉬추적을 하면 메쉬의 점의 변화량으로 다음 메쉬를 표현할 수 있기 때문에, 이를 이용해서 메쉬압축을 한다.
메쉬추적을 하면 메쉬의 점 개수가 동일해지고, t 시점의 메쉬와 t+1 시점의메쉬는 점의 위치 차이만 생긴다. 따라서 t+1시점의 메쉬는 t 시점의 메쉬의 점에delta 값만 적용시키면 t+1 메쉬를 재현할수있다. 이 delta 값의 dynamic range 는매우 짧은시간 동안 변하는 변화량을 담고있기 때문에, 적은 비트 수로 표현가능하고, 이런 변화량은 differential coding 등 entropy 압축 기법으로 압축이 가능하다.
도 2는 본 발명의 일실시예에 따른 3D 비디오 생성장치의 절차를 나타낸 예시도이다.
도 2에 도시된 바와 같이, 다수의 카메라로 비동기 비디오영상을 촬영한다. 다음으로 오디오 신호를 이용하여 다수 영상을 동기화하고, 동기화 영상의 프레임을 추출한다. 추출한 프레임으로 3D 모델을 생성하고, 3D 모델 영상의 메쉬를 추적하여 메쉬의 변화량으로 메쉬 압축을 한다.
도 3은 본 발명의 일실시예에 따른 3D 비디오 생성방법의 전체적인 흐름을 나타낸 예시도이다.
이하, 각 단계의 수행 과정은 3D 비디오 생성장치의 각 구성을 제어하는 제어부 구성에 의해 이루어진다. (a) 3D 비디오 생성장치의 제어부는 복수 개의 영상을 촬영하도록 하는 단계, (b) 영상의 프레임을 추출하도록 하는 단계, (c) 다음으로 추출하는 매 프레임으로 3D 모델을 생성하도록 하는 단계, (d) 영상 메쉬를 참조 메쉬로 하여 메쉬의 변화량으로 다음 메쉬를 예측하는 단계, (e) 메쉬의 변화량을 압축하는 단계를 포함한다.
여기서, (a) 단계에서 복수 개의 영상을 촬영하되, 다수의 카메라로 비동기 비디오 영상을 촬영하고, 오디오 신호를 이용하여 영상을 동기화한다.
(b) 단계에서는 영상 동기화 이후, 영상의 프레임을 추출하되, 각 카메라에서 순서대로 프레임을 추출할 수 있다.
(d) 단계에서는 다수 프레임 중 키 프레임을 선택하고, 키프레임과 다음 메쉬 3D 모델을 입력받아 그 중 입력 3D 모델을 감싸는 그래프를 생성하고, 그래프 상의 노드와 가장 가까운 대응점을 선별한다. 선별한 대응점을 최소 제곱법으로 RT행렬을 출력하고, 다음 3D 모델을 변형시켜 종료조건이 만족될 때까지 입력모델을 변형시킨다.
그리고 (e) 단계에서, 메쉬추적시 메쉬의 점 개수가 동일해지고, t시점의 메쉬와 t+1시점의 메쉬의 점 위치 차이를 가변 비트로 표현하여 압축하는 것을 특징으로 한다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100 : 영상 취득부 110 : 카메라
120 : 동기화 모듈 121 : 오디오 신호 발생모듈
122 : 영상 동기화 모듈 200 : 추출부
300 : 3D 모델 생성부 400 : 메쉬 추적부
410 : 키프레임 선택모듈 420 : 그래프 생성모듈
430 : 선별모듈 440 : 행렬출력모듈
450 : 모델변형모듈 500 : 메쉬 압축부

Claims (10)

  1. 복수 개의 영상을 촬영하는 영상취득부;
    상기 영상의 프레임을 추출하는 추출부;
    상기 추출부를 통해 추출하는 매 프레임으로 3D 모델을 생성하는 3D 모델 생성부;
    키프레임의 영상 메쉬를 참조 메쉬로 하여 메쉬의 변화량으로 다음 메쉬를 예측하는 메쉬 추적부; 및
    상기 메쉬의 변화량을 압축하는 메쉬 압축부;를 포함하며,
    상기 메쉬 추적부는 다수 프레임 중 키 프레임을 선택하는 키프레임 선택모듈; 상기 키프레임 선택모듈의 키 프레임과 다음 메쉬 3D 모델을 입력받아 그 중 입력 3D 모델을 감싸는 그래프를 생성하는 그래프 생성모듈; 상기 그래프 상의 노드와 가장 가까운 대응점을 선별하는 선별모듈; 상기 대응점을 최소제곱법으로 그래프의 각 노드의 Rotation|Translation 행렬을 출력하는 행렬출력모듈; 및 상기 행렬로 다음 3D모델을 변형시켜 종료조건이 만족될 때까지 입력모델을 변형시키는 모델변형모듈; 을 포함하는 것을 특징으로 하는 3D 비디오 생성 장치.
  2. 제 1 항에 있어서,
    상기 영상취득부는,
    비동기 영상으로 촬영하는 카메라를 적어도 하나 이상 포함하는 것을 특징으로 하는 3D 비디오 생성장치.
  3. 제 1 항에 있어서,
    상기 영상취득부는,

    오디오 신호를 이용하여 상기 복수개의 영상을 동기화하는 동기화 모듈;을 더 포함하는 것을 특징으로 하는 3D 비디오 생성 장치.
  4. 제 1 항에 있어서,
    상기 영상취득부는,
    특정 주파수 대역의 오디오 신호를 촬영 중에 발생시키는 오디오 신호 발생모듈; 및
    상기 오디오 신호로 상기 복수개의 영상을 동기화하는 영상 동기화모듈;을 포함하는 것을 특징으로 하는 3D 비디오 생성장치.
  5. 제 1 항에 있어서,
    상기 추출부는,
    상기 복수개의 영상을 특정 주파수 대역의 오디오 신호로 영상동기화 후, 각 카메라에서 순서대로 프레임을 추출하는 것을 특징으로 하는 3D 비디오 생성장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 키프레임 선택모듈은,
    메쉬 추적결과로 생성된 다음메쉬와, 원래 다음메쉬 사이의 변화차이가 임계치 이상일때의 프레임을 키프레임으로 선택하는 것을 특징으로 하는 3D 비디오 생성 장치.
  8. 제 1 항에 있어서,
    상기 키프레임 선택모듈은,
    현재 프레임과 키프레임과의 시간차이가 임계치 이상일때의 프레임을 키프레임으로 선택하는 것을 특징으로 하는 3D 비디오 생성 장치.
  9. 제 1 항에 있어서,
    상기 메쉬 압축부는,
    메쉬추적시 메쉬의 점 개수가 동일해지고, t시점의 메쉬와 t+1시점의 메쉬의 점 위치 차이를 가변 비트로 표현하여 압축하는 것을 특징으로 하는 3D 비디오 생성장치.
  10. 3D 비디오 생성장치를 이용한 3D 비디오 생성방법에 있어서,
    (a) 3D 비디오 생성장치의 제어부가 영상취득부로 복수 개의 영상을 촬영하되, 다수의 카메라로 비동기 비디오 영상을 촬영하고, 오디오 신호를 이용하여 영상을 동기화하도록 하는 단계;
    (b) 상기 제어부가 영상 동기화 이후, 영상의 프레임을 추출하되, 각 카메라에서 순서대로 프레임을 추출하도록 하는 단계;
    (c) 상기 제어부가 추출하는 매 프레임으로 3D 모델을 생성하도록 하는 단계;
    (d) 상기 제어부가 영상 메쉬를 참조 메쉬로 하여 메쉬의 변화량으로 다음 메쉬를 예측하도록 하는 단계; 및
    (e) 상기 제어부가 상기 메쉬의 변화량을 압축하도록 하는 단계;를 포함하며,
    상기 제 (d) 단계는 다수 프레임 중 키 프레임을 선택하고, 키프레임과 다음 메쉬 3D 모델을 입력받아 그 중 입력 3D 모델을 감싸는 그래프를 생성하며, 그래프 상의 노드와 가장 가까운 대응점을 선별하고, 선별한 대응점을 최소 제곱법으로 RT행렬을 출력하며, 다음 3D모델을 변형시켜 종료조건이 만족될 때까지 입력모델을 변형시키는 단계인 것을 특징으로 하는 3D 비디오 생성방법.
KR1020160090583A 2016-07-18 2016-07-18 3d 비디오 생성 장치 KR101768163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160090583A KR101768163B1 (ko) 2016-07-18 2016-07-18 3d 비디오 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160090583A KR101768163B1 (ko) 2016-07-18 2016-07-18 3d 비디오 생성 장치

Publications (1)

Publication Number Publication Date
KR101768163B1 true KR101768163B1 (ko) 2017-08-16

Family

ID=59752490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160090583A KR101768163B1 (ko) 2016-07-18 2016-07-18 3d 비디오 생성 장치

Country Status (1)

Country Link
KR (1) KR101768163B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200022798A (ko) * 2018-08-23 2020-03-04 전자부품연구원 3d 모델 압축 및 압축해제 시스템 및 방법
KR102474037B1 (ko) 2021-06-04 2022-12-05 ㈜에스지유 3차원 영상을 위한 다중 카메라 영상 동기화 시스템 및 방법
KR20220164218A (ko) 2021-06-04 2022-12-13 (주)에스지유 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068881A (ja) * 2010-09-22 2012-04-05 Univ Of Tokyo ３次元動画像の圧縮に用いる基本単位及び当該基本単位の生成方法、当該基本単位を用いた３次元動画像の圧縮方法
JP2015504629A (ja) * 2011-11-14 2015-02-12 アップル インコーポレイテッド マルチメディアクリップの生成

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068881A (ja) * 2010-09-22 2012-04-05 Univ Of Tokyo ３次元動画像の圧縮に用いる基本単位及び当該基本単位の生成方法、当該基本単位を用いた３次元動画像の圧縮方法
JP2015504629A (ja) * 2011-11-14 2015-02-12 アップル インコーポレイテッド マルチメディアクリップの生成

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
고화질 입체 비디오 전송 시스템을 위한 동기화 기법, 한국통신학회 종합 학술 발표회 하계 논문집(2006)*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200022798A (ko) * 2018-08-23 2020-03-04 전자부품연구원 3d 모델 압축 및 압축해제 시스템 및 방법
KR102238091B1 (ko) 2018-08-23 2021-04-08 한국전자기술연구원 3d 모델 압축 및 압축해제 시스템 및 방법
KR102474037B1 (ko) 2021-06-04 2022-12-05 ㈜에스지유 3차원 영상을 위한 다중 카메라 영상 동기화 시스템 및 방법
KR20220164218A (ko) 2021-06-04 2022-12-13 (주)에스지유 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법

Similar Documents

Publication Publication Date Title
JP7143905B2 (ja) 画像処理装置および方法
CN112738010B (zh) 数据交互方法及系统、交互终端、可读存储介质
US11729465B2 (en) System and method providing object-oriented zoom in multimedia messaging
JP6911765B2 (ja) 画像処理装置および画像処理方法
CN112738534B (zh) 数据处理方法及系统、服务器和存储介质
CN110663257B (zh) 使用场景的2d捕获图像提供虚拟现实内容的方法和系统
CN108243629B (zh) 图像处理设备和图像处理方法
JP2016527791A (ja) 画像処理方法及び装置
KR101768163B1 (ko) 3d 비디오 생성 장치
CN107592452B (zh) 一种全景音视频采集设备及方法
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
CN114845004B (zh) 一种音视频同步实现方法及声学成像方法
JP2019050451A (ja) 画像処理装置及びその制御方法及びプログラム及び画像処理システム
US11568893B2 (en) Image acquisition system and method
KR101763921B1 (ko) 컨텐츠 스트리밍 시스템 및 방법
JP2012010255A (ja) 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
CN105744207A (zh) 视频图像的撷取装置
JP2019020845A (ja) 画像処理装置及び方法、及び、画像処理システム
CN112738009B (zh) 数据同步方法、设备、同步系统、介质和服务器
GB2567623A (en) Compression of 360 degree content
CN112738646B (zh) 数据处理方法、设备、系统、可读存储介质及服务器
CN113596497A (zh) 一种基于隐水印的多路直播视频同步方法和系统
KR102404894B1 (ko) 다시점 영상 정보원으로부터 출력 시점 생성을 위한 입력 시점 선택 시스템
CN112734821B (zh) 深度图生成方法、计算节点及计算节点集群、存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant