KR20110108551A - 다시점 입체 동영상 송/수신 장치 및 방법 - Google Patents

다시점 입체 동영상 송/수신 장치 및 방법 Download PDF

Info

Publication number
KR20110108551A
KR20110108551A KR1020100027803A KR20100027803A KR20110108551A KR 20110108551 A KR20110108551 A KR 20110108551A KR 1020100027803 A KR1020100027803 A KR 1020100027803A KR 20100027803 A KR20100027803 A KR 20100027803A KR 20110108551 A KR20110108551 A KR 20110108551A
Authority
KR
South Korea
Prior art keywords
stereoscopic
stereoscopic video
video
frames
multiview
Prior art date
Application number
KR1020100027803A
Other languages
English (en)
Other versions
KR101329057B1 (ko
Inventor
황본우
김갑기
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100027803A priority Critical patent/KR101329057B1/ko
Priority to US12/909,518 priority patent/US20110234763A1/en
Publication of KR20110108551A publication Critical patent/KR20110108551A/ko
Application granted granted Critical
Publication of KR101329057B1 publication Critical patent/KR101329057B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Abstract

본 발명은 다시점 입체 동영상 송/수신 장치 및 방법에 관한 것으로, 보다 구체적으로, 다양한 시점에서 촬영된 입체 영상 집합을 이용하여 다시점 입체 동영상을 생성하여 송/수신하는 다시점 입체 동영상 송/수신 장치 및 방법에 관한 것이다.
본 발명의 실시 예에 따른 다시점 입체 동영상 송신 방법은, 복수의 입체 영상 촬영기기로부터 촬영된 입체 영상 집합을 수신하고, 상기 수신한 입체 영상 집합의 입체 프레임들 중 미리 결정된 방법에 따라 입체 프레임들을 선택하며, 상기 선택된 입체 프레임들을 순차적으로 배열하여 다시점 입체 동영상을 생성하고, 상기 생성된 다시점 입체 동영상을 부호화하여 전송망을 통하여 송신한다. 본 발명의 실시 예에 따른 다시점 입체 동영상 수신 방법은, 전송망을 통하여 다시점 입체 동영상을 수신하고, 상기 수신된 다시점 입체 동영상을 복호화하고, 상기 복호화된 다시점 입체 동영상을 디스플레이한다.

Description

다시점 입체 동영상 송/수신 장치 및 방법{AN APPARATUS AND METHOD FOR TRANSMITTING/RECEIVING MULTI-VIEW STEREOSCOPIC VIDEO}
본 발명은 다시점 입체 동영상 송/수신 장치 및 방법에 관한 것으로, 보다 구체적으로, 다양한 시점에서 촬영된 입체 영상 집합을 이용하여 다시점 입체 동영상을 생성하여 송/수신하는 다시점 입체 동영상 송/수신 장치 및 방법에 관한 것이다.
"본 발명은 문화체육관광부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 2008-F-030-02, 과제명 : 방통융합형 Full 3D 복원 기술 개발]."
사람의 눈은 가로 방향으로 약 65mm 떨어져서 존재하며, 이로 인해 나타나게 되는 양안시차(binocular disparity)는 입체감의 가장 중요한 요인이라 할 수 있다. 즉, 좌안과 우안은 각각 다른 2차원 영상, 예를 들어 좌측 영상과 우측 영상을 보게 되고, 상기 좌측 영상과 우측 영상은 망막을 통해 뇌로 전달된다. 그리고 뇌는 좌측 영상과 우측 영상을 서로 융합하기 때문에 사용자는 영상의 입체감을 느낄 수 있다.
상기 양안시차에 의한 입체감을 느끼게 하는 방법과는 별도로 사용자에게 입체감을 느끼게 하는 방법 중 하나인 다시점 방법은 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 방법이다.
상기 다시점 방법은 고화질의 개념을 뛰어넘는 사실감 넘치는 영상을 제공하며, 이를 통해 사용자들은 미디어에 몰입감을 더욱 느끼게 되고 광고, 교육, 의료, 국방, 오락 등의 분야에서 영상 정보 전달 효과를 크게 높일 수 있다.
이러한 특징으로 인하여 다시점 방법은 사용자에게 전방향의 영상을 제공할 수 있는 옴니 비디오, N개의 카메라로부터 입력된 영상을 선택할 수 있는 시점 스위칭, 기존 2차원 동영상과 비교해 사용자 주위의 장면에 대한 보다 넓은 시야(Field Of View: FOV)를 제공하는 파노라마 등 다양한 형태로 나타나고 있다.
그러나 다시점 방법은 영상 획득 시 필수적으로 존재하는 카메라 간의 동기, 데이터양, 고가의 장비가 요구되는 문제점으로 인하여 다양한 서비스 개발이 제한되고 있으며 영상 획득 방법이나 그 후의 영상 처리에 있어서 복잡한 구조를 가지고 있다.
따라서, 본 발명의 목적은, 다시점 입체 동영상 송/수신 장치 및 방법을 제공함에 있다.
그리고, 본 발명의 또 다른 목적은, 복수의 입체 영상 촬영기기에 의해 촬영된 다양한 시점의 입체 영상 집합을 이용하여 다시점 입체 동영상을 생성하여 송/수신하는 다시점 입체 동영상 송/수신 장치 및 방법을 제공함에 있다.
상기한 목적들을 해결하기 위해 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치는, 복수의 입체 영상 촬영기기로부터 촬영된 입체 영상 집합을 수신하는 제어부; 상기 수신한 입체 영상 집합의 입체 프레임들 중 미리 결정된 방법에 따라 입체 프레임들을 선택하고, 상기 선택된 입체 프레임들을 순차적으로 배열하여 다시점 입체 동영상을 생성하는 생성부; 및 상기 생성된 다시점 입체 동영상을 부호화하는 부호화부; 상기 부호화된 다시점 입체 동영상을 전송망을 통하여 송신하는 송신부를 포함한다.
상기 다시점 입체 동영상 송신 장치는, 상기 복수의 입체 영상 촬영기기의 시점과 다른 중간 시점을 갖는 입체 영상 집합을 생성하는 중간 시점 생성부를 더 포함한다.
본 발명의 실시 예에 따른 다시점 입체 동영상 수신 장치는, 전송망을 통하여 다시점 입체 동영상을 수신하는 수신부; 상기 수신된 다시점 입체 동영상을 복호화하는 복호화부; 및 상기 복호화된 다시점 입체 동영상을 디스플레이하는 디스플레이부를 포함한다.
본 발명의 실시 예에 따른 다시점 입체 동영상 송신 방법은, 복수의 입체 영상 촬영기기로부터 촬영된 입체 영상 집합을 수신하는 단계; 상기 수신한 입체 영상 집합의 입체 프레임들 중 미리 결정된 방법에 따라 입체 프레임들을 선택하고, 상기 선택된 입체 프레임들을 순차적으로 배열하여 다시점 입체 동영상을 생성하는 단계; 상기 생성된 다시점 입체 동영상을 부호화하는 단계; 상기 부호화된 다시점 입체 동영상을 전송망을 통하여 송신하는 단계를 포함한다.
상기 다시점 입체 동영상 송신 방법은, 상기 복수의 입체 영상 촬영기기의 시점과 다른 중간 시점을 갖는 입체 영상 집합을 생성하는 단계를 더 포함한다.
본 발명의 실시 예에 따른 다시점 입체 동영상 수신 방법은, 전송망을 통하여 다시점 입체 동영상을 수신하는 단계; 상기 수신된 다시점 입체 동영상을 복호화하는 단계; 및 상기 복호화된 다시점 입체 동영상을 디스플레이하는 단계를 포함한다.
본 발명은, 복수의 입체 영상 촬영기기에 의해 촬영된 다양한 시점의 입체 영상 집합을 이용하여 다시점 입체 동영상을 생성하고, 생성된 다시점 입체 동영상을 실시간으로 송/수신할 수 있다.
도 1은 동영상 송/수신 장치의 내부구조를 도시한 도면,
도 2는 동영상 송/수신 장치의 내부구조를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 내부구조를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 다시점 입체 카메라들의 구성 예시도,
도 5는 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 동영상 생성부(303)가 입체 영상 집합을 이용하여 다시점 입체 동영상을 생성하는 과정을 도시한 도면,
도 6은 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 감시유닛(311)에 의해서 제공되는 모니터 및 다시점 입체 동영상 송신 장치의 입력유닛(312)의 구성 예시도,
도 7은 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 동영상 생성부(303)에 의해 생성된 다시점 입체 동영상의 구성 예시도,
도 8은 본 발명의 실시 예에 따른 다시점 입체 동영상 수신 장치의 내부 구조를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 다시점 입체 동영상의 송신 과정을 도시한 도면,
도 10은 본 발명의 실시 예에 따른 다시점 입체 동영상의 수신 과정을 도시한 도면이다.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
그러면 여기서, 도 1 및 도 2를 참조하여 동영상 송/수신 장치의 예를 설명하기로 한다.
도 1은 동영상 송/수신 장치의 내부구조를 도시한 도면이다.
도 1을 참조하면, 상기 동영상 송/수신 장치는, 제어부(100), 동영상 생성부(101), 부호화부(102), 송신부(103), 전송망(104), 수신부(105), 복호화부(106), 디스플레이부(107)를 포함한다.
상기 제어부(100)는 다양한 형태의 복수의 영상 촬영기기, 예컨대 2차원 카메라들의 팬, 틸트, 줌을 제어하고, 상기 2차원 카메라들에 의해 촬영된 2차원 영상 집합을 수신한다. 동영상 생성부(101)는 상기 2차원 영상 집합의 프레임에서 적절한 시간과 시점에서 촬영된 프레임을 선택하여 2차원 동영상을 생성한다.
상기 부호화부(102)는 상기 생성된 2차원 동영상을 압축 및 부호화하고, 송신부(103)는 상기 부호화된 2차원 동영상을 상기 전송망(104)을 통해 수신부(105)로 전송한다. 여기서, 상기 전송망(104)은 방송망, 유/무선 네트워크 등을 포함하며, 이에 한정되는 것은 아니다. 상기 수신부(105)는 2차원 동영상을 수신하고, 상기 복호화부(106)는 상기 수신된 2차원 동영상을 복호화하고, 디스플레이부(107)는 상기 2차원 동영상을 디스플레이한다.
상기 동영상 송/수신 장치는, 사용자에게 공간 축과 시간 축 상에서 임의의 시점 및 시각의 프레임으로 구성된 특수한 형태의 2차원 동영상을 제공할 수 있어 CF 촬영, 영화의 특수 효과, 스포츠 중계 등에 사용되고 있으나, 3DTV 등과 같은 입체 동영상 디스플레이부를 통해 입체로는 표현이 불가능하다.
도 2는 동영상 송/수신 장치의 내부구조를 도시한 도면이다.
도 2를 참조하면, 상기 동영상 송/수신 장치는, 제어부(200), 객체 생성부(201), 부호화부(202), 송신부(203), 전송망(204), 수신부(205), 복호화부(206), 2차원 동영상 생성부(207), 입체 동영상 생성부(208), 2차원 동영상 디스플레이부(209) 및 입체 동영상 디스플레이부(210)를 포함한다.
제어부(200)는 다양한 형태의 복수의 영상 촬영기기, 예컨대 2차원 카메라들 또는 입체 카메라들의 팬, 틸트, 줌을 제어하고, 상기 2차원 카메라들 또는 입체 카메라들에 의해 촬영된 2차원 영상 집합 또는 입체 영상 집합을 수신한다. 객체 생성부(201)는 상기 2차원 영상 집합 또는 입체 영상 집합으로부터 3차원 그래픽 객체들을 연속적으로 생성한다.
상기 부호화부(202)는 상기 3차원 그래픽 객체들을 압축 및 부호화한다. 상기 송신부(203)는 상기 전송망(204)을 통해 상기 부호화한 3차원 그래픽 객체들을 수신부(205)로 전송한다. 여기서, 상기 전송망(204)은 방송망, 유/무선 네트워크 등을 포함하며, 이에 한정되는 것은 아니다.
상기 수신부(205)는 상기 3차원 그래픽 객체들을 수신하고, 복호화부(206)는 상기 수신된 3차원 그래픽 객체들을 복호화한다. 2차원 동영상 생성부(207)는 상기 3차원 그래픽 객체로부터 그래픽 렌더링 기술을 이용하여 2차원 동영상을 생성하고, 입체 동영상 생성부(208)는 3차원 그래픽 객체로부터 그래픽 렌더링 기술을 이용하여 입체 동영상을 생성한다.
2차원 영상 디스플레이부(209)는 상기 2차원 동영상 생성부(207)에서 생성된 2차원 동영상을 디스플레이하고, 입체 영상 디스플레이부(210)는 입체 동영상 생성부(208)에서 생성된 입체 동영상을 디스플레이 한다.
3차원 그래픽 객체로부터 다양한 조명 추가 및 입체 객체의 추가 및 삭제, 다양한 2차원 또는 입체 배경의 합성, 임의의 시점 선택 등 입체 그래픽 효과를 부여한 2차원 동영상 또는 입체 동영상을 생성할 수 있는 장점이 있다.
하지만, 객체 생성부(201)에서 2차원 영상 집합으로부터 3차원 그래픽 객체를 생성하는 과정은 매우 복잡하고 많은 계산이 필요하다. 또한, 3차원 그래픽 객체 객체의 수가 제한되고, 객체의 불투명 정도와 객체 구성 요소간의 겹침 등에 의해 생성이 가능한 객체의 종류가 한정되며, 3차원 그래픽 객체 생성에 많은 시간이 소요되어 촬영에서부터 입체 영상 디스플레이까지의 실시간성이 보장되지 못하는 문제점이 있다.
또한 3차원 그래픽 객체를 2차원 영상 디스플레이부(209)나 입체 동영상 디스플레이부(210)를 통해 실사 수순의 고품질의 영상으로 표현하기 위해 2차원 동영상 생성부(207) 또는 입체 동영상 생성부(208)에서 영상을 렌더링 과정에서 매우 복잡한 계산 과정과 많은 시간이 소요되며, 실세계 영상을 촬영한 것과 같은 실사의 고품질의 영상을 얻기가 매우 어렵다. 그러면 여기서, 도 3을 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 내부구조를 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 내부구조를 도시한 도면이다.
도 3을 참조하면, 상기 다시점 입체 동영상 송신 장치는 제어부(301), 중간 시점 생성부(302), 동영상 생성부(303), 부호화부(304) 및 송신부(305)를 포함한다. 상기 동영상 생성부(303)는 감시유닛(311), 입력유닛(312) 및 구성유닛(313)을 포함하고, 도 3에는 도시하지 않았으나 상기 제어부(301)는 저장유닛을 포함한다.
상기 제어부(301)는 다양한 형태의 복수의 입체 영상 촬영기기, 예컨대 다시점 입체 카메라들로부터 입체 영상 집합을 수신한다. 상기 제어부(301)는 입체 영상 집합을 수신하고, 상기 입체 영상 집합의 입체 영상이 아날로그 입체 영상일 경우에는 상기 아날로그 입체 영상을 디지털 입체 영상으로 변환하여 제어부(301)의 저장유닛에 저장한다. 이때, 상기 제어부(301)의 저장유닛은 램, 하드디스크 등이 될 수 있다.
또한, 상기 다시점 입체 카메라들은 팬, 틸트, 줌 등의 기능을 수행하는 장착부(미도시)를 포함할 수 있다. 상기 장착부의 팬, 틸츠, 줌은 제어부(301)에 의하여 제어된다. 도 4는 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 다시점 입체 카메라들의 구성 예시도이다. 상기 다시점 입체 카메라들은 촬영하는 객체와 배경을 잘 표현할 수 있는 시점에 배열되고, 제어부(301)를 통해 팬, 틸트가 제어될 수 있는 카메라 장착부에 설치된다.
중간 시점 생성부(302)는 상기 다시점 입체 카메라들로부터 촬영된 입체 영상 집합을 상기 제어부(301)의 저장유닛으로부터 수신한다. 그리고 중간 시점 생성부(302)는 입체 영상 집합의 영상들이 촬영된 다시점 입체 카메라의 시점이 아닌 가상의 시점을 갖는 입체 영상 집합을 생성한다.
일반적으로 현실감과 입체감을 제공하는 양안식 다시점 영상은 다시점 입체 카메라 수와 카메라 간격의 제한으로 인해 시점의 이동시 불연속성이 발생할 수 있다. 상기와 같은 문제가 발생할 시 상기 중간 시점 생성부(302)가 선택적으로 사용될 수 있다.
동영상 생성부(303)는 상기 다시점 입체 카메라들로부터 촬영된 입체 영상 집합을 상기 제어부(301)의 저장유닛 또는 상기 중간 시점 생성부(302)로부터 수신하고, 사용자의 요구에 따라 상기 입체 영상 집합에 포함된 영상들을 재구성하여 다시점 입체 동영상을 생성한다. 상기 입체 영상 집합은 도 5와 같이 입체 프레임들로 구성된다.
상기 각각의 입체 프레임들은 추후 설명될 디스플레이부(803)를 통해 입체로 영상을 표현할 수 있는 좌측 영상 및 우측 영상 등의 입체 영상 정보를 포함하고 있다. 그러면 여기서, 도 5를 참조하여 본 발명의 실시 예에 따른 다시점 영상 시스템에서 다시점 입체 동영상 송신 장치가 다시점 입체 카메라들로부터 수신한 입체 영상 집합의 구조를 보다 구체적으로 설명하기로 한다.
도 5는 본 발명의 실시 예에 따른 다시점 영상 시스템에서 다시점 입체 동영상 송신 장치가 다시점 입체 카메라들로부터 수신한 입체 영상 집합의 구조를 도시한 도면이다.
도 5를 참조하면, 상기 제어부(301)의 저장유닛 또는 상기 중간 시점 생성부(302)로부터 수신한 입체 영상 집합은 입체 프레임들로 구성된다. 상기 입체 프레임들은 공간 축(X축)과 시간 축(Y축)상에 나타난다. 입체 프레임들 중 입체 프레임(k, i)(500)에서 k는 영상 인덱스이고, i는 프레임 인덱스이다.
k는 다시점 입체 카메라로 촬영된 영상 또는 상기 중간 시점 생성부(302)에 의해 생성된 영상을 식별하는데 사용된다. i는 각 시점에서 동기화되어 촬영되거나 중간 시점 생성부(302)에 의해 생성된 프레임들 중에서 i번째 입체 프레임을 나타낸다.
입체 프레임들 중 입체 프레임(N, M)(501)에서 N은 영상의 수를 나타내고, M은 영상 프레임의 수를 나타낸다. 이때, 실시간 중계일 경우에는 전체 영상의 프레임 수, 즉 M은 사전에 결정되지 않는다.
입력유닛(312)은 사용자로부터 생성될 영상의 생성 정보를 입력 받는다. 여기서, 생성 정보는 입체 영상에 사용될 입체 프레임들과 입체 프레임들이 배열될 순서 등을 포함한다.
상기 입력유닛(312)은 사용자에 의해 선택된 입체 프레임들, 예컨대 입체 프레임(1, 1), 입체 프레임(2, 2), 입체 프레임(2, 3), 입체 프레임(k, 3), 입체 프레임(k, 4), 입체 프레임(k, i), 입체 프레임(N, i), 입체 프레임(N, M)을 수신한다.
이때, 상기 사용자는 감시유닛(311)에서 제공되는 모니터를 이용하여 상기 제어부(301)의 저장유닛 또는 상기 중간 시점 생성부(302)로부터 수신한 입체 영상 집합에 포함된 전체 입체 영상의 입체 프레임들을 모니터할 수 있다. 그러면 여기서, 도 6을 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 감시유닛(311)에 의해서 제공되는 모니터 및 입력유닛(312)의 구성 예를 보다 구체적으로 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 감시유닛(311) 에 의해서 제공되는 모니터 및 입력유닛(312)의 구성 예시도이다.
도 6을 참조하면, 감시유닛(311)은 사용자가 입체 영상 집합을 구성하는 입체 프레임들을 모니터링 할 수 있도록 도 6과 같은 모니터를 사용자에게 제공한다. 20개의 입체 영상 집합을 3DTV 등의 입체 동영상 디스플레이 장치 또는 2차원 모니터 등의 2차원 영상 디스플레이 장치의 화면 분할을 통해 동시에 디스플레이할 수 있는 디스플레이(601)를 구성한다.
또한, 사용자에 의해 선택된 입체 프레임을 자세히 확인하기 위해서 확대하여 디스플레이할 수 있는 디스플레이(602)를 구성한다. 여기서, 상기 디스플레이의 구성은 사용자가 선택한 입체 프레임들의 수 또는 사용자의 필요에 따라 다르게 구성될 수 있다.
사용자는 입력유닛(312)을 이용하여 하나의 화면에 디스플레이 되는 입체 프레임들의 수, 각 화면에 디스플레이 되는 소정의 시점을 가지는 입체 영상 집합을 결정하는 등 2차원 또는 입체 동영상 디스플레이 장치의 화면 구성 형태를 선택한다.
또한, 사용자는 입력유닛(312)을 이용하여 시간 축과 공간 축 상에서의 존재하는 입체 프레임들 중에서 관심 있는 입체 프레임을 찾아 감시유닛(311)의 모니터를 통해 디스플레이할 수 있도록 시간 축과 공간 축 상에 입체 프레임들로 구성된 공간을 입체 프레임 단위로 자유롭게 이동할 수 있다.
그리고, 사용자는 입력유닛(312)을 이용하여 객체와 배경을 잘 표현할 수 있는 입체 프레임을 프레임별로 사용자가 원하는 순서에 따라 배열되도록 선택할 수 있다. 또한, 사용자는 입력유닛(312)을 이용하여 선택된 입체 프레임을 이용하여 다시점 입체 동영상을 구성하도록 구성유닛(313)에게 명령할 수 있다.
상기 구성유닛(313)은 사용자에 의해 선택된 입체 프레임들을 수신하고, 상기 입체 프레임들을 사용자에 의해 선택된 입체 프레임들이 배열될 순서(503)에 따라서 순차적으로 배열함으로써 다시점 입체 동영상을 생성한다.
이때, 생성된 다시점 입체 동영상을 구성하는 입체 프레임들의 순서는 실제 다시점 입체 카메라로부터 촬영된 입체 영상 집합 또는 중간 시점 생성부(302)에 의해 생성된 영상 집합과 촬영된 시간적 순서와는 다를 수 있다.
예를 들어, 사용자의 선택에 따라 시간축 상의 같은 시간대이며 공간축 상에서 다른 시점을 갖는 입체 프레임들이 연속적으로 배열되거나 시간축 상에서 음의 방향으로 실제 시간 순서의 역방향 순서로 입체 프레임을 배열하여 입체 동영상을 구성할 수 있다. 그러면 여기서, 도 7을 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 동영상 생성부(303)에 의해 생성된 입체 영상 집합의 구성 예를 보다 구체적으로 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 다시점 입체 동영상 송신 장치의 동영상 생성부(303)에 의해 생성된 입체 영상 집합의 구성 예시도이다.
도 7을 참조하면, 동영상 생성부(303)에 의해 생성된 다시점 입체 동영상은 입체 프레임(2, 3)에서 입체 프레임(k, 3)까지와 입체 프레임(k, i)에서 입체 프레임(N, i)까지의 배열은 사용자가 선택에 의해 시간축 상의 같은 시간대에서 다른 시점을 갖는 입체 프레임들이다.
입체 프레임(2, 2)에서 입체 프레임(2, 3)까지와 입체 프레임(k, 3)에서 입체 프레임(k, i)까지 그리고 입체 프레임(N, i)에서 입체 프레임(N, M)까지의 배열은 시간축 상에서 다른 시간을 갖고, 같은 시점을 갖는 프레임들의 배열로 구성된다.
상기 부호화부(304)는 상기 동영상 생성부(303)로부터 생성된 다시점 입체 동영상을 수신하고, 상기 다시점 입체 동영상을 부호화한다. 상기 송신부(305)는 전송망(미도시)을 통하여 상기 부호화된 다시점 입체 동영상을 다시점 입체 동영상 수신 장치로 송신한다. 그러면 여기서, 도 8을 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상 수신 장치의 내부 구조를 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 실시 예에 따른 다시점 입체 동영상 수신 장치의 내부 구조를 도시한 도면이다.
도 8을 참조하면, 상기 다시점 입체 동영상 수신 장치는, 수신부(801), 복호화부(802) 및 디스플레이부(803)를 포함한다. 상기 수신부(801)는 전송망을 통해 다시점 입체 동영상을 상기 다시점 입체 동영상 송신 장치로부터 수신하고, 복호화부(802)는 다시점 입체 동영상을 복호화한다. 그리고 상기 디스플레이부(803)는 다시점 입체 동영상을 디스플레이한다.
그러면 여기서, 도 9를 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상의 송신 과정을 보다 구체적으로 설명하기로 한다.
도 9는 본 발명의 실시 예에 따른 다시점 입체 동영상의 송신 과정을 도시한 도면이다.
도 9를 참조하면, 상기 제어부(301)는 901단계에서 입체 영상 촬영기기, 예컨대 다시점 입체 카메라들의 팬, 틸트, 줌을 제어한다. 다음으로, 상기 제어부(301)는 902단계에서 상기 다시점 입체 카메라들에 의해 촬영된 입체 영상 집합을 수신하고, 상기 입체 영상 집합의 입체 영상이 아날로그 영상일 경우에는 상기 아날로그 영상을 디지털 영상으로 변환하여 제어부(301)의 저장유닛에 저장한다. 이때, 상기 저장유닛은 램, 하드디스크 등이 될 수 있다.
상기 입체 영상 집합에 포함된 입체 영상들은, 예컨대 좌측 입체 영상 및 우측 입체 영상은 다양한 형태의 다시점 입체 카메라들에 의해서 촬영될 수 있다. 다시점 입체 카메라들은 촬영하는 객체와 배경을 잘 표현할 수 있는 시점에 배열되고, 제어부(301)를 통해 팬, 틸트가 제어될 수 있는 카메라 장착부에 설치된다.
그런 다음, 중간 시점 생성부(302)는 903단계에서 상기 다시점 입체 카메라들로부터 촬영된 입체 영상 집합을 상기 저장유닛으로부터 수신하여 입체 영상 집합이 촬영된 다시점 입체 카메라의 시점이 아닌 소정의 시점을 갖는 입체 영상 집합을 생성한다.
그리고 사용자는 904단계에서 감시유닛(311)으로부터 제공되는 모니터를 이용하여 프레임을 모니터하고, 사용자는 905단계에서 입력유닛(312)을 이용하여 시간축과 공간축 상에서의 존재하는 입체 프레임들 중에서 관심 있는 입체 프레임을 결정하기 위해 감시유닛(311)의 모니터를 사용하여 시간축과 공간축 상에 입체 프레임들로 구성된 공간을 입체 프레임 단위로 자유롭게 이동한다.
그리고, 사용자는 입력유닛(312)을 이용하여 객체와 배경을 잘 표현할 수 있는 입체 프레임을 프레임별로 사용자가 원하는 순서에 따라 배열되도록 선택한다. 또한, 사용자는 입력유닛(312)을 이용하여 선택된 입체 프레임에 대해 다시점 입체 동영상을 구성하도록 구성유닛(313)에게 명령한다.
상기 구성유닛(313)은 906단계에서 사용자에 의해 선택된 입체 프레임들을 수신하고, 상기 입체 프레임들을 사용자에 의해 선택된 입체 프레임들이 배열될 순서(503)에 따라서 순차적으로 배열함으로써 다시점 입체 동영상을 생성한다. 이때, 생성된 다시점 입체 동영상을 구성하는 입체 프레임들의 순서는 실제 다시점 입체 카메라로부터 촬영된 입체 영상 집합 또는 시점 생성부(302)에 의해 생성된 입체 영상 집합의 촬영된 시간적 순서와는 다를 수 있다.
예를 들어, 사용자의 선택에 따라 시간축 상의 같은 시간대이며 공간축 상에서 다른 시점을 갖는 입체 프레임들이 연속적으로 배열되거나 시간축 상에서 음의 방향으로 실제 시간 순서의 역방향 순서로 입체 프레임을 배열하여 다시점 입체 동영상을 구성할 수 있다.
그 후, 부호화부(304)는 907단계에서 다시점 입체 동영상을 압축 및 부호화하고, 908단계에서 전송망을 통하여 다시점 입체 동영상 수신 장치로 송신한다. 그러면 여기서, 도 10을 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상의 수신 과정을 보다 구체적으로 설명하기로 한다.
도 10을 참조하여 본 발명의 실시 예에 따른 다시점 입체 동영상의 수신 과정을 도시한 도면이다.
도 10을 참조하면, 상기 수신부(801)는 1001단계에서 전송망을 통해 다시점 입체 동영상을 상기 다시점 입체 동영상 송신 장치로부터 수신하고, 복호화부(802)는 1002단계에서 상기 다시점 입체 동영상을 복호화한다. 그리고 상기 디스플레이부(803)는 1003단계에서 상기 수신한 다시점 입체 동영상을 디스플레이한다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
101, 201, 301 : 제어부 102 : 동영상 생성부
103, 203, 304 : 부호화부 104, 204 : 전송망
105, 205, 801 : 수신부 106, 206, 802 : 복호화부
107 : 디스플레이부 202 : 객체 생성부
207 : 2차원 동영상 생성부 208 : 입체 동영상 생성부
209 : 2차원 동영상 디스플레이부 210 : 입체 동영상 디스플레이부
302 : 중간 시점 생성부 303 : 동영상 생성부 304 : 부호화부 311 : 감시유닛
312 : 입력 유닛 313 : 구성유닛
803 : 디스플레이부

Claims (18)

  1. 다시점 입체 동영상 송신 장치에 있어서,
    복수의 입체 영상 촬영기기로부터 촬영된 입체 영상 집합을 수신하는 제어부;
    상기 수신한 입체 영상 집합의 입체 프레임들에서 하나 이상의 입체 프레임들을 선택하고, 상기 선택된 입체 프레임들을 순차적으로 배열하여 다시점 입체 동영상을 생성하는 생성부;
    상기 생성된 다시점 입체 동영상을 부호화하는 부호화부; 및
    상기 부호화된 다시점 입체 동영상을 전송망을 통하여 송신하는 송신부를 포함함을 특징으로 하는 동영상 송신 장치.
  2. 제 1 항에 있어서,
    상기 복수의 입체 영상 촬영기기의 시점과 다른 중간 시점을 갖는 입체 영상 집합을 생성하는 중간 시점 생성부를 더 포함함을 특징으로 하는 동영상 송신 장치.
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 복수의 입체 영상 촬영기기의 팬, 틸트, 줌을 제어함을 특징으로 하는 동영상 송신 장치.
  4. 제 1 항에 있어서, 상기 생성부는,
    상기 수신한 입체 영상 집합의 입체 프레임들을 모니터링하는 감시유닛을 더 포함함을 특징으로 하는 동영상 송신 장치.
  5. 제 1 항에 있어서, 상기 생성부는,
    시간 축과 공간 축 상에 입체 프레임들로 구성된 공간을 입체 프레임 단위로 이동하는 입력유닛을 포함함을 특징으로 하는 동영상 송신 장치.
  6. 제 5 항에 있어서, 상기 입력유닛은,
    다시점 입체 동영상의 생성에 사용되는 프레임들의 배열 순서를 선택함을 특징으로 하는 동영상 송신 장치.
  7. 제 1 항에 있어서, 상기 생성부는,
    상기 입력유닛으로부터 선택된 입체 프레임들의 순서에 따라 상기 입체 프레임들을 순차적으로 배열하는 구성유닛을 더 포함함을 특징으로 하는 동영상 송신 장치.
  8. 제 1 항에 있어서, 상기 다시점 입체 동영상은,
    상기 입체 영상 집합의 촬영된 시간적 순서와 다른 순서를 가지는 입체 동영상임을 특징으로 하는 동영상 송신 장치.
  9. 다시점 입체 동영상 수신 장치에 있어서,
    전송망을 통하여 다시점 입체 동영상을 수신하는 수신부;
    상기 수신된 다시점 입체 동영상을 복호화하는 복호화부; 및
    상기 복호화된 다시점 입체 동영상을 디스플레이하는 디스플레이부를 포함함을 특징으로 하는 동영상 수신 장치.
  10. 다시점 입체 동영상 송신 방법에 있어서,
    복수의 입체 영상 촬영기기로부터 촬영된 입체 영상 집합을 수신하는 단계;
    상기 수신한 입체 영상 집합의 입체 프레임들에서 하나 이상의 입체 프레임들을 선택하고, 상기 선택된 입체 프레임들을 순차적으로 배열하여 다시점 입체 동영상을 생성하는 단계;
    상기 생성된 다시점 입체 동영상을 부호화하는 단계; 및
    상기 부호화된 다시점 입체 동영상을 전송망을 통하여 송신하는 단계를 포함함을 특징으로 하는 다시점 입체 동영상 송신 방법.
  11. 제 10 항에 있어서,
    상기 복수의 입체 영상 촬영기기의 시점과 다른 중간 시점을 갖는 입체 영상 집합을 생성하는 단계를 더 포함함을 특징으로 하는 동영상 송신 방법.
  12. 제 10 항에 있어서,
    상기 복수의 입체 영상 촬영기기의 팬, 틸트, 줌을 제어하는 단계를 더 포함함을 특징으로 하는 동영상 송신 방법.
  13. 제 10 항에 있어서, 상기 다시점 입체 동영상을 생성하는 단계는,
    상기 수신한 입체 영상 집합의 입체 프레임들을 모니터링하는 단계를 포함함을 특징으로 하는 동영상 송신 방법.
  14. 제 10 항에 있어서, 상기 다시점 입체 동영상을 생성하는 단계는,
    시간 축과 공간 축 상에 입체 프레임들로 구성된 공간을 입체 프레임 단위로 이동하는 단계를 포함함을 특징으로 하는 동영상 송신 방법.
  15. 제 10 항에 있어서, 상기 다시점 입체 동영상을 생성하는 단계는,
    다시점 입체 동영상의 생성에 사용되는 프레임들의 배열 순서를 선택하는 단계를 포함함을 특징으로 하는 동영상 송신 방법.
  16. 제 10 항에 있어서, 상기 다시점 입체 동영상을 생성하는 단계는,
    상기 입력유닛으로부터 선택된 입체 프레임들의 순서에 따라 상기 입체 프레임들을 순차적으로 배열하는 단계를 포함함을 특징으로 하는 동영상 송신 방법.
  17. 제 10 항에 있어서, 상기 다시점 입체 동영상은,
    상기 입체 영상 집합의 촬영된 시간적 순서와 다른 순서를 가지는 입체 동영상임을 특징으로 하는 동영상 송신 방법.
  18. 다시점 입체 동영상 수신 방법에 있어서,
    전송망을 통하여 다시점 입체 동영상을 수신하는 단계;
    상기 수신된 다시점 입체 동영상을 복호화하는 단계; 및
    상기 복호화된 다시점 입체 동영상을 디스플레이하는 단계를 포함함을 특징으로 하는 동영상 수신 방법.
KR1020100027803A 2010-03-29 2010-03-29 다시점 입체 동영상 송신 장치 및 방법 KR101329057B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100027803A KR101329057B1 (ko) 2010-03-29 2010-03-29 다시점 입체 동영상 송신 장치 및 방법
US12/909,518 US20110234763A1 (en) 2010-03-29 2010-10-21 Apparatus and method for transmitting/receiving multi-view stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100027803A KR101329057B1 (ko) 2010-03-29 2010-03-29 다시점 입체 동영상 송신 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110108551A true KR20110108551A (ko) 2011-10-06
KR101329057B1 KR101329057B1 (ko) 2013-11-14

Family

ID=44655969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100027803A KR101329057B1 (ko) 2010-03-29 2010-03-29 다시점 입체 동영상 송신 장치 및 방법

Country Status (2)

Country Link
US (1) US20110234763A1 (ko)
KR (1) KR101329057B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068059A (ko) * 2017-12-08 2019-06-18 홍광표 입체 사각지대를 극소화한 무안경방식 입체영상의 제작 방법
KR20190082129A (ko) * 2017-12-29 2019-07-09 주식회사 이오이스 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
JPWO2019054360A1 (ja) * 2017-09-12 2020-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像表示方法、画像配信方法、画像表示装置及び画像配信装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404577A (zh) * 2011-12-01 2012-04-04 无锡太行电子技术有限公司 3d立体视频编码存储方法
TWI524735B (zh) * 2012-03-30 2016-03-01 華晶科技股份有限公司 三維影像產生方法及裝置
KR102094848B1 (ko) * 2017-10-23 2020-03-30 한국전자통신연구원 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
ES2960694T3 (es) 2019-12-03 2024-03-06 Discovery Communications Llc Vista 360 no intrusiva sin cámara en el punto de vista

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
KR100480007B1 (ko) 2000-12-29 2005-03-30 이항규 입체영상 제작 및 재생 시스템 및 방법
KR100424401B1 (ko) * 2001-11-02 2004-03-24 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
EP1519582A4 (en) * 2002-06-28 2007-01-31 Sharp Kk Image data delivery system, image data sending device therefor and image data receiving device therefor
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
AU2006338248B2 (en) * 2005-03-25 2011-01-20 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
AU2006272401B2 (en) * 2005-07-22 2011-03-31 Fanvision Entertainment Llc System and methods for enhancing the experience of spectators attending a live sporting event
EP1801711A1 (en) * 2005-12-21 2007-06-27 Transmedia Communications Sàrl Method for remotely organizing audio-visual items stored in a central database
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019054360A1 (ja) * 2017-09-12 2020-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
KR20190068059A (ko) * 2017-12-08 2019-06-18 홍광표 입체 사각지대를 극소화한 무안경방식 입체영상의 제작 방법
KR20190082129A (ko) * 2017-12-29 2019-07-09 주식회사 이오이스 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법

Also Published As

Publication number Publication date
KR101329057B1 (ko) 2013-11-14
US20110234763A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
CN106165415B (zh) 立体观看
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
KR102279143B1 (ko) 계층화된 증강 엔터테인먼트 경험
JP6207640B2 (ja) ２次元映像の立体映像化表示装置
CN114040184A (zh) 图像显示方法、系统、存储介质及计算机程序产品
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
CN107547889A (zh) 一种基于即时通信进行立体视频的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 7