KR20150108149A - 초다시점 콘텐츠 생성 시스템 - Google Patents

초다시점 콘텐츠 생성 시스템 Download PDF

Info

Publication number
KR20150108149A
KR20150108149A KR1020140030972A KR20140030972A KR20150108149A KR 20150108149 A KR20150108149 A KR 20150108149A KR 1020140030972 A KR1020140030972 A KR 1020140030972A KR 20140030972 A KR20140030972 A KR 20140030972A KR 20150108149 A KR20150108149 A KR 20150108149A
Authority
KR
South Korea
Prior art keywords
image
depth
images
motion
camera
Prior art date
Application number
KR1020140030972A
Other languages
English (en)
Other versions
KR101803475B1 (ko
Inventor
박정철
이범렬
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140030972A priority Critical patent/KR101803475B1/ko
Publication of KR20150108149A publication Critical patent/KR20150108149A/ko
Application granted granted Critical
Publication of KR101803475B1 publication Critical patent/KR101803475B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

초다시점 콘텐츠 생성을 위한 하드웨어 플랫폼과 이에 구현되는 소프트웨어가 개시된다. 본 발명의 일 면에 따른 초다시점 콘텐츠 생성 시스템은 2차원 영상을 획득하는 다중의 카메라와, 깊이 영상을 획득하는 다중의 깊이 카메라와, 객체의 움직임을 추적하는 다중의 움직임 감지 센서를 포함하는 영상촬영 장치 프레임워크; 상기 영상촬영 장치 프레임워크에서 획득된 다중의 2차원 영상, 다중의 깊이 영상, 다중의 움직임 추적 결과를 수집하고, 영상처리 서버로 전송하는 다중 워크 스테이션 노드; 및 전송된 2차원 영상, 깊이 영상, 움직임 추적 결과를 이용하여 초다시점 콘텐츠를 생성하는 영상처리 서버를 포함한다.

Description

초다시점 콘텐츠 생성 시스템{Super view contents generation system}
본 발명은 초다시점 콘텐츠 생성 시스템에 관한 것으로서, 보다 상세하게는 초다시점 콘텐츠 생성을 위한 하드웨어 플랫폼과 이에 구현되는 소프트웨어에 관한 것이다.
3차원 입체 비디오는 서비스는 차세대 정보통신서비스의 핵심으로 사회 선진화와 더불어 수요 및 기술개발 경쟁이 치열한 고도의 최첨단 기술이며, 그 최종목표는 완전한 입체홀로그램 서비스이다. 이 기술은 정보통신, 방송, 의료, 교육훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업기술 등 응용분야가 매우 다양하며, 이에 대한 중요성과 필요성 때문에 관련 연구가 국외에서는 이미 활발하게 진행되고 있다.
인간의 착시현상을 이용해 허공에 입체영상을 띄우는 홀로그램 원리는 이미 19세기 후반에 등장했다. 1870년대 영국에서는 거울과 투명한 막을 교묘하게 설치하면 빛이 반사되면서 허공에 무엇인가 떠있는 듯 보인다는 사실을 발견했다. 이 기술은 극장에서 귀신놀이를 하는 데 활용돼 화제를 모았고, '페퍼스 고스트(Pepper's Ghost)라고 불렸다. 현대적인 홀로그램은 두 개의 레이저 광이 만나 일으키는 빛의 간섭효과를 이용한 3차원 이미지를 기록하는 것이다.
2010년은 TV도 영화도 입체영상을 보여주는 3D가 대세다. 그렇다면 원근감이 느껴지는 3D TV의 입체영상과 홀로그램의 차이는 무엇인가? 홀로그램은 시청하는 위치에 따라 입체적인 모습이 달라진다는 것이다. 즉 어떤 위치에서는 사물의 왼쪽이 보이고 장소를 옮기면 정면과 오른쪽 모습이 보인다. 현재 출시되는 3D TV는 편광안경을 써야만 원근감을 느낄 수 있는 영상을 시청할 수 있다. 3D TV에 비친 영상은 위치를 옮겨도 다른 모습이 등장하지는 않는다. 하지만 홀로그램은 원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이다. 이처럼 압도적인 현실감을 구현하는 홀로그램의 가장 큰 단점은 실제 크기의 입체영상을 구현하려면 대형 광학설비가 필요하며 기존 영상매체보다 훨씬 많은 데이터를 요구한다는 것이다.
하지만 최근 광통신 데이터 전송량은 기하급수적으로 늘어나고 홀로그램 전용스크린과 같은 광학설비 가격도 크게 저렴해지고 있어 홀로그램의 대중화는 그리 멀지 않다.
한편, 초다시점 영상을 갖는 홀로그래픽 콘텐츠(이하, 초다시점 콘텐츠라 정의 함)를 제작하기 위해서는 다수의 카메라를 통하여 여러 시점의 영상을 생성하고, 생성된 고용량의 고화질 영상을 손실 없이 실시간 저장하고, 외부 장치로 실시간 전송할 수 있는 네트워크 기술의 개발이 필요하다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 고용량의 고해상도 영상을 손실 없이 실시간 처리할 수 있는 초다시점 콘텐츠 생성 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 초다시점 콘텐츠 생성 시스템은 2차원 영상을 획득하는 다중의 카메라와, 깊이 영상을 획득하는 다중의 깊이 카메라와, 객체의 움직임을 추적하는 다중의 움직임 감지 센서를 포함하는 영상촬영 장치 프레임워크; 상기 영상촬영 장치 프레임워크에서 획득된 다중의 2차원 영상, 다중의 깊이 영상, 다중의 움직임 추적 결과를 수집하고, 영상처리 서버로 전송하는 다중 워크 스테이션 노드; 및 전송된 2차원 영상, 깊이 영상, 움직임 추적 결과를 이용하여 초다시점 콘텐츠를 생성하는 영상처리 서버를 포함한다.
상기 영상촬영 장치 프레임워크는 제1 라인에 등 간격으로 배치되는 다중의 카메라 열과, 상기 제1 라인과 다른 높이에 위치하는 제2 라인에 등 간격으로 배치되는 다중의 깊이 카메라 및 움직임 감지 센서 열을 포함하는 것을 특징으로 한다.
또한, 상기 영상촬영 장치 프레임워크는 카메라, 깊이 카메라, 움직임 감지 센서 중 적어도 하나의 pitch, roll을 조절하는 각도 조절 스테이지와, yaw를 조절하는 회전 스테이지를 더 포함하는 것을 특징으로 한다.
여기서, 다중의 상기 깊이 카메라와 다중의 상기 움직임 감지 센서는 상기 제2 라인에서 교번하여 배치되는 것을 특징으로 한다.
또한, 상기 영상촬영 장치 프레임워크는 상기 제1 라인과 상기 제2 라인의 상하 위치를 변경하는 위치변경 수단을 더 포함할 수 있다.
또한, 상기 영상촬영 장치 프레임워크는 상기 다중의 카메라와, 상기 다중의 깊이 카메라와, 상기 다중의 움직임 감지 센서에 대한 동기화를 수행하는 동기화 장치를 더 포함할 수 있다.
상기 다중 워크 스테이션 노드는 상기 다중의 2차원 영상, 상기 다중의 깊이 영상, 상기 다중의 움직임 추적 결과를 분산 처리하는 것을 특징으로 한다.
또한, 상기 다중 워크 스테이션 노드는 상기 다중의 2차원 영상, 상기 다중의 깊이 영상, 상기 다중의 움직임 추적 결과를 일정한 속도로 전송하기 위한 버퍼를 포함할 수 있다.
상기 영상처리 서버는, 상기 영상촬영 장치 프레임워크를 구성하는 모든 카메라, 깊이 카메라, 및 움직임 감지 센서에 대한 개별 동작명령을 생성하여 상기 다중 워크 스테이션 노드로 전송하고, 상기 개별 동작명령에 따라 상기 2차원 영상, 상기 깊이 영상, 상기 움직임 추적 결과의 시간 오차가 기 설정된 범위 내인지 여부를 판단하고, 상기 시간 오차가 상기 기 설정된 범위 밖인 경우 상기 개별 동작명령을 재생성하는 것을 특징으로 한다.
여기서, 상기 다중 워크 스테이션 노드는 상기 개별 동작명령을 분산 처리하여 해당 카메라, 깊이 카메라, 혹은 움직임 감지 센서로 상기 개별 동작명령을 전송하는 것을 특징으로 한다.
이상 상술한 바와 같은 본 발명에 따르면, 초다시점 콘텐츠 제작을 위해 대용량의 고화질 데이터를 획득하고 처리할 수 있는 서비스 프레임워크를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템을 위한 영상 획득 장치 프레임워크의 구성을 도시한 도면.
도 3a 및 도 3b는 도 2에 도시된 영상획득 장치 프레임워크에서 각 영상획득 장치에 구비되는 각도 조절 스테이지 및 회전 스테이지의 일 예를 도시한 도면.
도 4는 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템에서 초다시점 콘텐츠 생성을 위한 일련의 과정을 설명하기 위한 흐름도.
도 5는 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템이 적용되는 일 예를 도시한 예시도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템은 영상촬영 장치 프레임워크(10), 다중 워크 스테이션 노드(20), 영상처리 서버(30), 및 디스플레이 단말(40)을 포함한다.
영상촬영 장치 프레임워크(10)는 다중의 카메라(11-1,11-2,...,11-n)와 다중의 깊이 카메라(12-1,12-2,12-3)와, 다중의 움직임 감지 센서(13-1,13-2,13-3)로 구성된다.
다중의 카메라(11-1,11-2,...,11-n)는 2차원의 RGB 영상을 생성하는 카메라일 수 있으며, 촬영 대상에 대한 실시간 다 시점 영상을 획득한다. 예컨대, 다중의 카메라는 20 대의 방송용 카메라로 구성될 수 있으며, 이들 각각은 720p의 해상도를 가진 영상을 60 fps 속도로 생성한다. 720p는 프로그래시브 방식으로 단일 프레임이 모든 정보를 가지고 있기 때문에 1280x720x3(RGB)의 해상도를 가지게 되고, 하나의 프레임 당 약 3 Byte의 크기를 가진다.
다중의 깊이 카메라(12-1,12-2,12-3)는 촬영 대상에 대한 깊이 정보를 생성한다. 깊이 카메라는 장면 내의 객체와의 거리 정보를 생성한다. 일 예로, Time-of-Flight(TOF) 기술을 이용하는 카메라가 대표적이다. 깊이 카메라는 적외선 혹은 광 신호를 장면에 방사하고, 그 신호가 물체에 반사되어 돌아오는 위상차를 이용하여 거리를 측정하고, 이를 깊이 영상으로 출력한다.
다중의 움직임 감지 센서(13-1,13-2,13-3)는 전방의 대상 객체의 움직임을 감지하고, 추적한다.
한편, 상기 영상촬영 장치 프레임워크(10)에서 획득된 다중의 2차원 영상, 다중의 깊이 영상, 다중의 움직임 추적 결과는 실시간으로 다중 워크 스테이션 노드(20)를 거쳐 영상처리 서버(30)로 전송된다. 여기서, 다중의 카메라(11-1,11-2,...,11-n)에서 획득된 다 시점 영상들과 다중의 깊이 카메라(12-1,12-2,12-3)에서 획득된 다중의 깊이 영상은 프레임 단위로 동기화되어야 한다. 이를 위해, 본 발명의 실시예에 따른 영상촬영 장치 프레임워크(10)는 동기화 장치(15)를 더 포함할 수 있다.
예컨대, 일반적인 2차원 RGB 영상을 생성하는 카메라와, 깊이 카메라는 내부적으로 동기화 모듈을 가지므로 동기화 장치(15)를 통해 프레임 단위로 동기화될 수 있다. 하지만, 움직임 감지 센서(13-1,13-2,13-3)는 동기화 모듈을 가지고 있지 않으므로, 타임스탬프(Time stamp)를 이용한 동기화 방법을 이용한다.
다중 워크 스테이션 노드(20)는 적어도 둘 이상의 워크 스테이션 장치(20-1,20-2,...,20-m)으로 구성된다. 초다시점 콘텐츠를 제작하기 위한 입력 영상은 상기 영상촬영 장치 프레임워크(10)의 다중의 카메라, 다중의 깊이 카메라, 다중의 움직임 감지 센서에서 획득되기 때문에 상대적으로 대용량의 데이터가 생성된다. 따라서, 대용량의 데이터를 하나의 노드(워크 스테이션)에서 처리하기에는 무리가 있고, 그렇기 때문에 다중의 워크 스테이션에서 대용량의 데이터를 분산 처리한다.
예컨대, 제1 카메라 ~ 제3 카메라, 제 1 깊이 카메라 ~ 제2 깊이 카메라, 제1 움직임 감지 센서에서 획득된 영상들은 제1 워크 스테이션에서 처리하고, 제4 카메라 ~ 제 6 카메라, 제3 깊이 카메라, 제2 움직임 감지 센서에서 획득된 영상들은 제2 워크 스테이션에서 처리하는 등, 기 설정된 규칙에 따라 상기 영상촬영 장치 프레임워크(10)에서 획득된 영상들을 다중 워크 스테이션 노드(20)는 분산하여 처리할 수 있다.
다른 한편으로, 상기 다중 워크 스테이션 노드(20)는 각 노드에 걸리는 부하(load)를 실시간으로 평가하고, 그 부하의 정도에 따라 동적으로 획득된 영상들을 분산하여 처리할 수도 있다.
또한, 다중 워크 스테이션 노드(20)는 상기 영상촬영 장치 프레임워크(10)로부터 수집한 영상들을 영상처리 서버(30)로 전송한다. 다중 워크 스테이션 노드(20)가 수집한 영상들을 영상처리 서버(30)로 전송할 때에는 일정한 전송 속도를 보장해야 한다. 영상처리 서버(30)의 연산 처리능력은 하드웨어 혹은 소프트웨어 문제로 한계가 있으며, 만약 연산 처리능력을 넘어서 데이터가 입력된다면 오류가 발생할 수 있다. 이를 방지하기 위해, 다중 워크 스테이션 노드(20)는 버퍼(buffer)를 포함할 수 있으며 이 버퍼를 통해서 예컨대 30fps의 전송 속도를 유지할 수 있다.
영상처리 서버(30)는 전송 받은 영상들, 즉 다시점의 2차원 영상, 깊이 영상, 움직임 추적 결과 등을 이용하여 초다시점 콘텐츠를 생성하고, 이를 디스플레이 단말(40)에 렌더링한다.
초다시점 콘텐츠를 제작하기 위해서는 카메라의 배치가 매우 중요하다. 그렇기 때문에 카메라를 위한 효과적인 프레임워크 구성이 필요하다. 도 2에는 본 발명의 실시예에 따라 초다시점 콘텐츠 제작을 위한 영상 획득 장치 프레임워크의 일 구성이 도시된다.
도 2를 참조하면, 2차원의 다시점 영상을 촬영하기 위한 카메라(11-1,11-2,...,11-n)는 일자 라인(이하, 제1 라인이라 함)에서 등 간격으로 배치된다. 예컨대, 각각의 카메라들은 65mm의 간격으로 정확하게 배치되어야 하고, 카메라의 위치를 정밀하게 배치할 수 있도록 일자 라인 형태의 프레임에는 1 mm 단위의 눈금이 그려져 있어야 한다.
등 간격으로 카메라가 배치가 되었다면 카메라의 각도를 조절해 주는 장치를 통해서 각각의 카메라들이 일정한 곳을 바라보게 해야 한다. 이를 위해서 도 3a 및 도 3b에 각각 도시된 바와 같은 각도 조절 스테이지와 회전 스테이지를 이용한다. 각도 조절 스테이지는 roll, pitch의 세밀한 회전을 가능하게 하고, 회전 스테이지는 yaw의 세밀한 회전을 가능하게 한다. 각도 조절 스테이지와 회전 스테이지는 1도의 정밀도를 가지고 있다.
한편, 깊이 카메라(12-1,12-2)와 움직임 감지 센서(13-1)는 카메라(11-1,11-2,...,11-n)가 배치된 프레임의 제1 라인에서 아래에 라인 형태(이하, 제2 라인이라 함)로 배치된다. 깊이 카메라(12-1,12-2)와 움직임 감지 센서(13-1)는 등 간격으로 배치되며, 서로 간섭을 주기 때문에 일정한 간격을 두며 설치된다. 따라서, 깊이 카메라, 움직임 감지 센서 순으로, 혹은 움직임 감지 센서, 깊이 카메라 순으로 교번하여 배치하며, 정확한 위치에 배치하기 위해 아래 라인에도 눈금이 표시된다.
또한, 최종적으로 카메라, 깊이 카메라, 및 움직임 감지 센서들이 배치된 제1 라인 및 제2 라인의 위치를 상하 방향으로 변경할 수 있는 위치조절 수단을 더 포함할 수 있다.
이하에서는, 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템에서 초다시점 콘텐츠를 제작하는 과정을 설명한다.
도 4는 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템에서 초다시점 콘텐츠 생성을 위한 일련의 과정을 설명하기 위한 흐름도이다.
먼저, 영상처리 서버(30)는 상기 영상촬영 장치 프레임워크(10)를 구성하는 모든 카메라, 깊이 카메라, 및 움직임 감지 센서에 대한 개별 동작명령을 생성하여 상기 다중 워크 스테이션 노드(20)로 전송한다(S10). 상기 다중 워크 스테이션 노드(20)는 개별 동작명령을 분산 처리하여 해당하는 장치들(예컨대, 카메라, 깊이 카메라, 움직임 감지 센서)에 개별 동작명령(실행, 저장, 멈춤 등)을 전송한다. 이때, 각각의 개별 동작명령은 모든 장치들에 동시에 전달될 수 있도록 하는 것이 바람직하다.
개별 동작명령에 따라 상기 영상촬영 장치 프레임워크(10)를 구성하는 장치들은 2차원 영상, 깊이 영상, 움직임 추적 결과 등을 획득한다(S20). 상기 2차원 영상, 깊이 영상, 움직임 추적 결과는 상기 다중 워크 스테이션 노드(20)를 통해 영상처리 서버(30)로 전송된다(S30). 여기서, 상기 다중 워크 스테이션 노드(20)를 구성하는 각각의 워크 스테이션은 상기 영상촬영 장치 프레임워크(10)로부터 수집한 데이터(2차원 영상, 깊이 영상, 움직임 추적 결과 등)를 실시간 저장할 수 있고, 또는 수집된 데이터는 상기 다중 워크 스테이션 노드(20)를 바이패스(bypass)하여 영상처리 서버(30)에만 저장될 수도 있다. 이때, 획득 영상 간에는 동기화가 보장되어야 한다. 이를 위해, 동기화 장치(15) 또는 타임스탬프를 이용한 동기화 방법이 활용될 수 있음은 앞서 설명한 바와 같다.
이후, 영상처리 서버(30)는 전송 받은 2차원 영상, 깊이 영상, 움직임 추적 결과를 이용하여 초다시점 콘텐츠를 생성한다(S40). 이때, 상기 영상촬영 장치 프레임워크(10)가 획득한 모든 영상이 일정한 시간 범위 내에 전송되어야 한다. 예컨대, 모든 영상은 15ms 이내 전송되어야 하며, 이 시간 범위는 사용자에 의해 설정 가능하다. 영상처리 서버(30)는 모든 영상이 기 설정된 시간 범위 내에 전송되는지 여부를 판단하여 표시하고, 만약 어느 하나의 영상이라도 기 설정된 시간 범위 내에 전송되지 않는다면 모든 카메라, 깊이 카메라, 및 움직임 감지 센서에 대한 개별 동작명령을 재생성하여 상기 다중 워크 스테이션 노드(20)로 전송한다. 이후, 상기 다중 워크 스테이션 노드(20) 및 상기 영상촬영 장치 프레임워크(10)에서 처리되는 프로세스는 앞에 설명한 바와 같다.
영상처리 서버(30)는 생성된 초다시점 콘텐츠를 디스플레이 단말(40)에 렌더링한다. 도 5에는 본 발명의 실시예에 따른 초다시점 콘텐츠 생성 시스템이 적용되는 일 예가 도시된다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 2차원 영상을 획득하는 다중의 카메라와, 깊이 영상을 획득하는 다중의 깊이 카메라와, 객체의 움직임을 추적하는 다중의 움직임 감지 센서를 포함하는 영상촬영 장치 프레임워크;
    상기 영상촬영 장치 프레임워크에서 획득된 다중의 2차원 영상, 다중의 깊이 영상, 다중의 움직임 추적 결과를 수집하고, 영상처리 서버로 전송하는 다중 워크 스테이션 노드; 및
    전송된 2차원 영상, 깊이 영상, 움직임 추적 결과를 이용하여 초다시점 콘텐츠를 생성하는 영상처리 서버
    를 포함하는 초다시점 콘텐츠 생성 시스템.
  2. 제1항에 있어서, 상기 영상촬영 장치 프레임워크는,
    제1 라인에 등 간격으로 배치되는 다중의 카메라 열과, 상기 제1 라인과 다른 높이에 위치하는 제2 라인에 등 간격으로 배치되는 다중의 깊이 카메라 및 움직임 감지 센서 열을 포함하는 것
    인 초다시점 콘텐츠 생성 시스템.

  3. 제1항에 있어서, 상기 영상촬영 장치 프레임워크는,
    카메라, 깊이 카메라, 움직임 감지 센서 중 적어도 하나의 pitch, roll을 조절하는 각도 조절 스테이지와, yaw를 조절하는 회전 스테이지를 더 포함하는 것
    인 초다시점 콘텐츠 생성 시스템.
  4. 제2항에 있어서,
    다중의 상기 깊이 카메라와 다중의 상기 움직임 감지 센서는 상기 제2 라인에서 교번하여 배치되는 것
    인 초다시점 콘텐츠 생성 시스템.
  5. 제2항에 있어서, 상기 영상촬영 장치 프레임워크는,
    상기 제1 라인과 상기 제2 라인의 상하 위치를 변경하는 위치변경 수단을 더 포함하는 것
    인 초다시점 콘텐츠 생성 시스템.
  6. 제1항에 있어서, 상기 영상촬영 장치 프레임워크는,
    상기 다중의 카메라와, 상기 다중의 깊이 카메라와, 상기 다중의 움직임 감지 센서에 대한 동기화를 수행하는 동기화 장치를 더 포함하는 것
    인 초다시점 콘텐츠 생성 시스템.
  7. 제1항에 있어서, 상기 다중 워크 스테이션 노드는,
    상기 다중의 2차원 영상, 상기 다중의 깊이 영상, 상기 다중의 움직임 추적 결과를 분산 처리하는 것
    인 초다시점 콘텐츠 생성 시스템.
  8. 제1항에 있어서, 상기 다중 워크 스테이션 노드는,
    상기 다중의 2차원 영상, 상기 다중의 깊이 영상, 상기 다중의 움직임 추적 결과를 일정한 속도로 전송하기 위한 버퍼를 포함하는 것
    인 초다시점 콘텐츠 생성 시스템.
  9. 제1항에 있어서, 상기 영상처리 서버는,
    상기 영상촬영 장치 프레임워크를 구성하는 모든 카메라, 깊이 카메라, 및 움직임 감지 센서에 대한 개별 동작명령을 생성하여 상기 다중 워크 스테이션 노드로 전송하고, 상기 개별 동작명령에 따라 상기 2차원 영상, 상기 깊이 영상, 상기 움직임 추적 결과의 도달 시간이 기 설정된 범위 내인지 여부를 판단하고, 상기 시간 오차가 상기 기 설정된 범위 밖인 경우 상기 개별 동작명령을 재생성하는 것
    인 초다시점 콘텐츠 생성 시스템.
  10. 제9항에 있어서, 상기 다중 워크 스테이션 노드는,
    상기 개별 동작명령을 분산 처리하여 해당 카메라, 깊이 카메라, 혹은 움직임 감지 센서로 상기 개별 동작명령을 전송하는 것
    인 초다시점 콘텐츠 생성 시스템.
KR1020140030972A 2014-03-17 2014-03-17 초다시점 콘텐츠 생성 시스템 KR101803475B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140030972A KR101803475B1 (ko) 2014-03-17 2014-03-17 초다시점 콘텐츠 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030972A KR101803475B1 (ko) 2014-03-17 2014-03-17 초다시점 콘텐츠 생성 시스템

Publications (2)

Publication Number Publication Date
KR20150108149A true KR20150108149A (ko) 2015-09-25
KR101803475B1 KR101803475B1 (ko) 2017-11-30

Family

ID=54246266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030972A KR101803475B1 (ko) 2014-03-17 2014-03-17 초다시점 콘텐츠 생성 시스템

Country Status (1)

Country Link
KR (1) KR101803475B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616566B2 (en) 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
US10891424B2 (en) 2016-07-22 2021-01-12 Korea Institute Of Science And Technology System and method for generating 3D image content which enables user interaction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507584B1 (ko) * 2013-10-11 2015-03-31 주식회사 세가온 가상 3차원 영상 콘텐츠 제어 구축 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616566B2 (en) 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
US10891424B2 (en) 2016-07-22 2021-01-12 Korea Institute Of Science And Technology System and method for generating 3D image content which enables user interaction

Also Published As

Publication number Publication date
KR101803475B1 (ko) 2017-11-30

Similar Documents

Publication Publication Date Title
US6583808B2 (en) Method and system for stereo videoconferencing
CN101771830B (zh) 立体全景视频流生成方法、设备及视频会议方法和设备
KR20220155970A (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
US20120002014A1 (en) 3D Graphic Insertion For Live Action Stereoscopic Video
Tanimoto Free-viewpoint television
CN107277494A (zh) 立体显示系统及方法
CN102520787A (zh) 实时空间三维呈现系统及方法
US9933626B2 (en) Stereoscopic image
CN103348682A (zh) 在多视图系统中提供单一视觉的方法和装置
CN111406412A (zh) 分层的增强型娱乐体验
CN103888757A (zh) 众视点裸视三维数字立体投影显示系统
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
CN115639976B (zh) 一种虚拟现实内容多模式多角度同步展示方法及系统
KR20210072086A (ko) 정보 처리 시스템, 정보 처리 방법, 및 저장 매체
KR101803475B1 (ko) 초다시점 콘텐츠 생성 시스템
JPH01107247A (ja) ３次元映像表示装置
CN103248910A (zh) 三维成像系统及其图像再现方法
WO2017130472A1 (ja) ２次元映像の立体映像化表示装置
KR20160034948A (ko) 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
CN103260041A (zh) 场景多视点自动分光立体显示装置
CN103051866A (zh) 网络3d 视频监控系统、方法和视频处理平台
CN113891063B (zh) 一种全息展示方法及装置
CN114040184A (zh) 图像显示方法、系统、存储介质及计算机程序产品
RU2490819C1 (ru) Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
Tanimoto Ftv (free-viewpoint television) for ray and sound reproducing in 3d space

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant