KR101426579B1 - 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법 - Google Patents

이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법 Download PDF

Info

Publication number
KR101426579B1
KR101426579B1 KR1020100110423A KR20100110423A KR101426579B1 KR 101426579 B1 KR101426579 B1 KR 101426579B1 KR 1020100110423 A KR1020100110423 A KR 1020100110423A KR 20100110423 A KR20100110423 A KR 20100110423A KR 101426579 B1 KR101426579 B1 KR 101426579B1
Authority
KR
South Korea
Prior art keywords
dimensional image
image data
dimensional
stream
transmission stream
Prior art date
Application number
KR1020100110423A
Other languages
English (en)
Other versions
KR20120049442A (ko
Inventor
김영일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100110423A priority Critical patent/KR101426579B1/ko
Priority to US13/289,285 priority patent/US9148648B2/en
Publication of KR20120049442A publication Critical patent/KR20120049442A/ko
Application granted granted Critical
Publication of KR101426579B1 publication Critical patent/KR101426579B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

삼차원 영상을 디스플레이 하기 위한 이동 통신 시스템이 제공된다. 본 발명의 일 실시예에 따른 이동 통신 시스템은, 삼차원 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성하는 영상 제공 장치, 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 개별적으로 전송하도록 MBS(Multicast Broadcast Service) 영역 내에 포함된 적어도 두 개의 기지국을 제어하는 MBS 서버 및 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 수신하여 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터로 분리하고, 분리된 제1 이차원 영상 데이터 및 분리된 제2 차원 영상 데이터의 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이하는 휴대용 디스플레이 장치를 포함한다.

Description

이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법 {APPARATUS AND METHOD FOR PROVIDING IMAGES IN WIRELESS COMMUNICATION SYSTEM AND PORTABLE DISPLAY APPARATUS AND METHOD FOR DISPLAYING IMAGES}
본 발명의 실시예들은 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법에 관한 것이다.
최근 삼차원 영상에 대한 관심이 증가됨에 따라, 무선 통신망을 이용하여 삼차원 영상을 휴대용 디스플레이 장치에 제공하는 IPTV 시스템과 같은 이동 통신 시스템이 개발되었다. 휴대용 디스플레이 장치는 무선 통신망을 통해 연결된 영상 제공 장치로부터 삼차원 영상을 수신하여 표시한다. 휴대용 디스플레이 장치에 표시되는 삼차원 영상의 품질은 무선 통신망의 환경에 따라 변화될 수 있다. 따라서, 휴대용 디스플레이 장치에 좋은 품질의 삼차원 영상을 제공하기 위하여 무선 통신망의 환경을 삼차원 영상의 송/수신이 용이한 상태로 유지시키는 것이 필수적이다.
3GPP/LTE 및 IEEE 802.16m 기반의 이동 통신 시스템은 무선 통신망의 환경을 개선하기 위한 방안으로, MBS(Multicast Broadcast Service) 기술을 이용한다.
MBS 기술은 MBS 영역 내에 포함된 다수의 기지국이 방송 서비스를 요구하는 모든 사용자에게 동일한 콘텐츠를 동시에 전송하는 방식을 말한다. 삼차원 영상 제공 장치가 MBS 영역 내에 포함된 다수의 기지국에 삼차원 영상을 전송하면, 다수의 기지국은 삼차원 영상을 휴대용 디스플레이 장치로 전송하게 되므로 높은 전송률을 갖게 되어 무선 통신 자원을 효율적으로 이용할 수 없게 된다. 즉, 높은 전송률로 인해 무선 통신망이 불안정해져 삼차원 영상이 손상되거나 전송이 정상적으로 이루어지지 않는다. 따라서, 휴대용 디스플레이 장치의 사용자는 저품질의 삼차원 영상을 시청하게 되어, 이차원 영상을 시청하는 것보다 만족도가 저하된다. 이 같은 문제는 MBS 기술을 이용하여 콘텐츠를 전송하는 이동 통신 시스템 외에, 일반적인 무선 통신 기술을 이용하여 콘텐츠를 전송하는 이동 통신 시스템에서도 발생한다.
본 발명의 실시예들은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 실시예들은 서로 다른 방향에서 촬영한 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 MBS(Multicast Broadcast Service) 영역 내에 포함된 적어도 두 개의 기지국을 통해 휴대용 디스플레이 장치로 개별 전송함으로써, 무선 통신 자원을 효율적으로 이용하여 삼차원(3D) 영상을 제공할 수 있는 이동 통신 시스템, 영상 제공 장치 및 그 방법을 제공하기 위한 것이다.
본 발명의 실시예들은 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림의 영상 품질을 분석하고, 영상 품질의 분석 결과에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이함으로써, 삼차원 영상에 대한 QoE를 향상시킬 수 있는 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 이동 통신 시스템은 삼차원 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성하는 영상 제공 장치, 상기 영상 제공 장치에서 생성된 상기 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 개별적으로 전송하도록 MBS(Multicast Broadcast Service) 영역 내에 포함된 적어도 두 개의 기지국을 제어하는 MBS 서버 및 상기 적어도 두 개의 기지국으로부터 상기 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 수신하여 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터로 분리하고, 상기 분리된 제1 이차원 영상 데이터 및 상기 분리된 제2 차원 영상 데이터의 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이하는 휴대용 디스플레이 장치를 포함한다.
본 발명의 다른 실시예에 따른 이동 통신 시스템은 삼차원(3D) 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성하는 영상 제공 장치, 상기 영상 제공 장치에서 생성된 상기 제1 이차원 영상 전송 스트림을 제1 무선 통신망 내에 포함된 제1 기지국을 통해 전송하고, 상기 제2 이차원 영상 전송 스트림을 제2 무선 통신망 내에 포함된 제2 기지국을 통해 전송하는 콘텐츠 서버, 상기 제1 무선 통신망에 접속하여 상기 제1 기지국으로부터 상기 제1 이차원 영상 전송 스트림을 수신하고, 상기 제2 무선 통신망에 접속하여 상기 제2 기지국으로부터 상기 제2 이차원 영상 전송 스트림을 수신하여 상기 수신된 제1 이차원 영상 스트림 및 상기 수신된 제2 이차원 영상 스트림을 복원하는 멀티엑세스(Multi-Access) 단말 장치 및 상기 멀티엑세스 단말 장치로부터 상기 복원된 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림을 수신하여 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터로 분리하고, 상기 분리된 제1 이차원 영상 데이터 및 상기 분리된 제2 차원 영상 데이터의 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이하는 휴대용 디스플레이 장치를 포함한다.
본 발명의 일 실시예에 따른 영상 제공 장치는, 삼차원(3D) 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하여 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 생성하는 이차원 영상 생성부, 상기 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림을 패킷화하는 패킷화 처리부, 상기 패킷화된 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림 각각을 전송 스트림으로 생성하는 전송 스트림 생성부, 상기 전송 스트림 생성부에서 생성된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 멀티플렉싱하는 멀티플렉서 및 상기 멀티플렉싱된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 무선 통신망을 통해 연결된 적어도 두 개의 기지국을 이용하여 휴대용 디스플레이 장치에 개별 전송하는 전송 스트림 전송부를 포함한다.
본 발명의 일 실시예에 따른 휴대용 디스플레이 장치는, 삼차원(3D) 영상 생성을 위한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 수신하는 무선 통신부, 상기 수신된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 디멀티플렉싱하여 영상 정보와 제어 정보를 분리하는 디멀티플렉서, 상기 분리된 영상 정보로부터 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 분리하는 영상 분리부, 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질을 분석하는 영상 품질 분석부 및 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 상기 분석된 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이 하는 디스플레이부를 포함한다.
본 발명의 일 실시예에 따른 영상 제공 방법은, 삼차원(3D) 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하여 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 생성하는 단계, 상기 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림을 패킷화하는 단계, 상기 패킷화된 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림 각각을 전송 스트림으로 생성하는 단계, 상기 생성된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 멀티플렉싱하는 단계 및 상기 멀티플렉싱된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 무선 통신망을 통해 연결된 적어도 두 개의 기지국을 이용하여 휴대용 디스플레이 장치에 개별 전송하는 단계를 포함한다.
본 발명의 일 실시예에 따른 영상 디스플레이 방법은, 삼차원(3D) 영상 생성을 위한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 수신하는 단계, 상기 수신된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 디멀티플렉싱하여 영상 정보와 제어 정보를 분리하는 단계, 상기 분리된 영상 정보로부터 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 분리하는 단계, 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질을 분석하는 단계 및 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 상기 분석된 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이 하는 단계를 포함한다.
본 발명의 일 실시예에 따른 이동 통신 시스템에서의 영상 제공 장치 및 방법은, 서로 다른 방향에서 촬영한 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 MBS(Multicast Broadcast Service) 영역 내에 포함된 적어도 두 개의 기지국을 통해 휴대용 디스플레이 장치로 개별 전송함으로써, 무선 통신 자원을 효율적으로 이용하여 삼차원(3D) 영상을 제공할 수 있다.
본 발명의 일 실시예에 따른 휴대용 디스플레이 장치 및 영상 디스플레이 방법은 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림의 영상 품질을 분석하고, 영상 품질의 분석 결과에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이함으로써, 삼차원 영상에 대한 QoE를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 통신 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 휴대용 디스플레이 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상 디스플레이 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 이동 통신 시스템을 설명하기 위한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 구성을 나타낸다.
도 1은 본 발명의 일 실시예에 따른 이동 통신 시스템을 나타내는 도면이다. 도 1에 도시된 이동 통신 시스템은 무선 통신망을 이용하는 IPTV(Internet Protocol Television) 시스템으로, 삼차원(3D) 영상을 휴대용 디스플레이 장치에 제공하여 삼차원 영상을 디스플레이 할 수 있다.
이동 통신 시스템은 영상 제공 장치(100), MBS(Multicast Broadcast Service) 서버(200), 제1 기지국(211), 제2 기지국(212) 및 휴대용 디스플레이 장치(300)를 포함한다.
영상 제공 장치(100)는 삼차원 영상을 생성하기 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성한다. 구체적으로, 영상 제공 장치(100)와 연결 또는 구비된 두 개의 스테레오 카메라(미도시)를 이용하여 동일 대상물을 제1 방향(예를 들어, 왼쪽 방향)에서 촬영하여 제1 이차원 영상 기초 스트림을 생성하고, 제1 방향과 다른 제2 방향(예를 들어, 오른쪽 방향)에서 촬영하여 제1 이차원 영상 기초 스트림을 생성한다.
제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림은 삼차원 영상을 생성하기 위한 것으로, 영상 제공 장치(100)에서 생성된 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 합성하는 것에 의해 삼차원 영상을 생성할 수 있다.
영상 제공 장치(100)는 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 패킷화한 후, 전송 스트림을 생성한다. 즉, 영상 제공 장치(100)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성한다.
영상 제공 장치(100)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 멀티플렉싱하고, 멀티플렉싱된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)에 전송한다.
영상 제공 장치(100)는 무선 통신망(400)을 통해 연결된 제1 기지국(211) 및 제2 기지국(212) 각각을 이용하여 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)에 전송한다.
구체적으로, 영상 제공 장치(100)는 무선 통신망(400)을 통해 연결된 MBS 서버(200)로 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 전송한다.
MBS 서버(200)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림이 수신되면, MBS 영역(210)을 설정하고 MBS 영역(210) 내에 포함된 제1 기지국(211) 및 제2 기지국(212)에 무선 통신 자원을 할당한다.
MBS 서버(200)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 ASN(Access Service Network) 게이트 웨이(500)를 경유하여 제1 기지국(211) 및 제2 기지국(212)으로 전송한다. 그리고, MBS 서버(200)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)로 전송하도록 제1 기지국(211) 및 제2 기지국(212)을 제어한다.
따라서, 제1 기지국(211)은 제1 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)로 전송하고, 제2 기지국(212)은 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)로 전송한다. 이때, 제1 기지국(211) 및 제2 기지국(212)은 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 동일한 속도로 전송하며, 서로 대응하는 영상 프레임 단위로 전송할 수 있다.
휴대용 디스플레이 장치(300)는 제1 기지국(211) 및 제2 기지국(212)으로부터 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림이 수신되면, 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림 각각을 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터로 분리하여 영상 품질을 분석한다. 구체적으로, 휴대용 디스플레이 장치(300)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 하나의 전송 스트림으로 복원하고, 이로부터 영상 정보 및 제어 정보를 분리한다. 영상 정보는 영상 데이터 및 영상 데이터의 CRC 값을 포함하고, 제어 정보는 영상 데이터와 관련된 디스플레이 정보 및 메타데이터를 포함한다.
휴대용 디스플레이 장치(300)는 영상 정보로부터 제1 이차원 영상 전송 스트림에 대응하는 제1 이차원 영상 데이터 및 제2 이차원 영상 전송 스트림에 대응하는 제2 이차원 영상 데이터를 분리한다. 그리고, 분리된 제1 이차원 영상 전송 데이터 및 제2 이차원 영상 전송 데이터 각각에 대한 영상 품질을 분석한다. 영상 품질은 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에 대하여 순환 중복 검사(CRC;Cyclic Redundancy Checking)를 수행하는 방식으로 분석할 수 있다.
휴대용 디스플레이 장치(300)는 분석된 영상 품질에 따라 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 중 적어도 하나를 이차원 영상 또는 삼차원 영상으로 디스플레이한다.
영상 품질의 분석 결과, 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우, 휴대용 디스플레이 장치(300)는 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 합성하여 삼차원 영상으로 디스플레이 한다.
반면, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 불량이고, 다른 하나의 영상 품질이 양호한 경우, 휴대용 디스플레이 장치(300)는 양호한 이차원 영상 데이터를 디스플레이한다.
즉, 무선 통신망이 불안정해져 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림 중 어느 하나가 손상되거나, 정상적으로 전송되지 않는 경우, 휴대용 디스플레이 장치(300)는 저품질의 삼차원 영상을 디스플레이하는 것이 아니라, 양호한 영상 품질의 이차원 영상 데이터를 디스플레이한다.
도 1에 도시된 이동 통신 시스템은 삼차원 영상 생성을 위한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림의 안정적인 전송이 가능하고, 제1 이차원 영상 전송 스트림에 대응하는 제1 이차원 영상 데이터 및 제2 이차원 영상 전송 스트림에 대응하는 제2 이차원 영상 데이터의 영상 품질에 따라 이차원 영상 또는 삼차원 영상을 제공함으로써, 삼차원 영상에 대한 QoE를 향상시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성을 나타내는 블록도이다. 도 2를 참조하면, 영상 제공 장치(100)는 이차원(2D) 영상 생성부(110), 패킷화 처리부(120), 전송 스트림 생성부(130), 멀티플렉서(140) 및 전송 스트림 전송부(150)를 포함한다.
이차원 영상 생성부(110)는 영상 제공 장치(100)에 연결 또는 구비된 두 개의 스테레오 카메라가 될 수 있다. 이차원 영상 생성부(110)는 동일 대상물을 제1 방향에서 촬영하여 제1 이차원 영상 기초 스트림을 생성하고, 제1 방향의 반대 방향인 제2 방향에서 촬영하여 제2 이차원 영상 기초 스트림을 생성한다. 제1 방향 및 제2 방향 중 어느 하나는 동일 대상물의 왼쪽 방향이 될 수 있으며, 다른 하나는 오른쪽 방향이 될 수 있다.
패킷화 처리부(120)는 이차원 영상 생성부(110)에서 생성된 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림을 패킷화하고, 패킷화된 제1 이차원 영상 기초 스트림(PES:Packetized Elementary Stream) 및 패킷화된 제2 이차원 영상 기초 스트림(PES)를 생성한다.
전송 스트림 생성부(130)는 패킷화된 제1 이차원 영상 기초 스트림(PES) 및 패킷화된 제2 이차원 영상 기초 스트림(PES)을 전송 스트림으로 생성한다. 즉, 전송 스트림 생성부(130)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성한다.
멀티플렉서(140)는 전송 스트림 생성부(130)에서 생성된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 멀티플렉싱한다.
전송 스트림 전송부(150)는 멀티플렉싱된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 무선 통신망(400)을 통해 연결된 적어도 두 개의 기지국을 통해 개별적으로 휴대용 디스플레이 장치(300)에 전송한다.
구체적으로, 전송 스트림 전송부(150)는 무선 통신망(400)을 통해 MBS 서버(200)에 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림에 대한 전송 정보 및 전송 제어 정보를 전달한다. 이에 따라, MBS 서버(200)는 MBS 영역(210)을 설정하고, MBS 영역(210) 내에 포함된 제1 기지국(211) 및 제2 기지국(212)에 무선 통신 자원을 할당한다. 그리고, MBS 서버(200)는 제1 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)에 전송하도록 제1 기지국(211)을 제어하고, 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)에 전송하도록 제2 기지국(212)을 제어한다. 이 경우, 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림은 동일한 속도로 전송하고, 서로 대응하는 영상 프레임 단위로 휴대용 디스플레이 장치(300)에 전송할 수 있다.
이 같이, 전송 스트림 전송부(150)는 제1 기지국(211) 및 제2 기지국(212)을 통해 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 개별 전송함으로써, 무선 통신 자원을 효율적으로 이용할 수 있다. 따라서, 삼차원 영상 전송 스트림을 전송하는 것에 비해 안정적으로 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 휴대용 디스플레이 장치의 구성을 나타내는 블록도이다. 휴대용 디스플레이 장치(300)는 무선 통신이 가능한 휴대 기기로, 휴대폰, PMP, 전자사전, DMB 및 네비게이션 등의 디지털 기기가 될 수 있다.
도 3을 참조하면, 휴대용 디스플레이 장치(300)는 무선 통신부(310), 디멀티플렉서(320), 메타데이터 처리부(330), 영상 분리부(340), 영상품질 분석부(350) 및 디스플레이부(360)를 포함한다.
무선 통신부(310)는 무선 통신망(400)을 통해 연결된 적어도 두 개의 기지국으로부터 삼차원 영상 생성을 위한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 수신한다.
별도로 도시하지는 않았으나, 휴대용 디스플레이 장치(300)는 무선 통신부(310)에 수신된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림에 대한 물리 계층 처리를 위한 물리 계층 구성(PHY:Physical Layer) 및 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림으로부터 기저대역 신호를 추출하는 기저대역 추출 구성을 포함할 수 있다. 또한, 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 하나의 전송 스트림으로 복원하는 MAC(Medium Access Control) 계층 구성을 더 포함할 수 있다.
디멀티플렉서(320)는 하나의 전송 스트림으로 복원된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 디멀티플렉싱하여 영상 정보와 제어 정보를 분리한다. 영상 정보는 제1 이차원 영상 전송 스트림에 대응하는 제1 이차원 영상 데이터 및 제2 이차원 영상 전송 스트림에 대응하는 제2 이차원 영상 데이터와, 각 이차원 영상 데이터에 대한 CRC(Cyclic Redundancy Checking) 값을 포함한다. 그리고, 제어 정보는 각 이차원 영상 데이터와 관련된 디스플레이 정보 및 메타데이터를 포함한다.
디멀티플렉서(320)는 영상 정보와 제어 정보가 분리되면, 영상 정보를 영상 분리부(340)로 제공하고, 제어 정보를 메타데이터 처리부(330)로 전송한다.
영상 분리부(340)는 영상 정보로부터 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 분리한다.
영상 품질 분석부(350)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질을 분석한다. 구체적으로, 영상 품질 분석부(350)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에 대하여 순환 중복 검사(CRC;Cyclic Redundancy Checking)를 수행하고, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에서의 오류 검출 여부에 따라 영상 품질을 분석할 수 있다.
도 2에 도시된 영상 제공 장치(100)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)로 전송하기 전에 각 전송 스트림을 이용하여 CRC 값을 산출하고, 산출된 CRC 값을 각 전송 스트림의 영상 정보에 포함하여 휴대용 디스플레이 장치(300)로 전송하게 된다.
따라서, 영상 품질 분석부(350)는 영상 제공 장치(100)에서 산출된 제1 이차원 영상 데이터에 대한 CRC 값과, 제2 이차원 영상 데이터 대한 CRC 값을 추출한다. 그리고, 휴대용 디스플레이 장치(300)에 수신된 제1 이차원 영상 전송 스트림에 대응하는 제1 이차원 영상 데이터에 대한 CRC 값과 제2 이차원 영상 전송 스트림에 대응하는 제2 이차원 영상 데이터에 대한 CRC 값을 산출한다.
영상 품질 분석부(350)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에 대하여 추출된 CRC 값과 산출된 CRC 값을 비교하고, 두 CRC 값이 동일한 경우 오류 미검출로 판단하고, 두 CRC 값이 다르면 오류 검출로 판단한다. 예를 들어, 제1 이차원 영상 데이터에 대하여 추출된 CRC 값과 산출된 CRC 값이 동일한 경우 오류 미검출로 판단한다. 반면, 제2 이차원 영상 데이터에 대하여 추출된 CRC 값과 산출된 CRC 값이 다르면 오류 검출로 판단한다.
영상 품질 분석부(350)는 CRC 수행 결과, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터에서 오류가 미검출된 경우, 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 양호한 것으로 분석한다. 반면, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 적어도 어느 하나에서 오류가 검출된 경우 오류가 검출된 이차원 영상 데이터의 영상 품질이 불량인 것으로 분석한다.
디스플레이부(360)는 디스플레이부(360)는 삼차원 영상을 디스플레이하기 위한 삼차원(3D) 영상 디스플레이부(361)와 이차원 영상을 디스플레이하기 위한 이차원(2D) 영상 디스플레이부(362)를 포함한다.
디스플레이부(360)는 분석된 영상 품질에 따라 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 적어도 하나를 이차원 영상 또는 삼차원 영상으로 디스플레이한다.
구체적으로, 디스플레이부(360)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 합성하여 삼차원 영상 디스플레이부(361)를 통해 삼차원 영상으로 디스플레이 한다.
또한, 디스플레이부(360)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 양호하고 다른 하나의 영상 품질이 불량인 경우, 양호한 영상 품질의 이차원 영상 데이터를 이차원 영상 디스플레이부(362)를 통해 디스플레이 한다.
만약, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질이 모두 불량인 경우, 디스플레이부(360)는 영상 디스플레이 동작을 종료하거나, 이전 영상 데이터의 디스플레이 방식과 동일한 방식으로 디스플레이한다. 영상 디스플레이 동작을 종료하는 경우, 디스플레이부(360)는 동작 종료에 대한 메시지를 디스플레이하여, 사용자에게 동작 종료를 안내할 수 있다.
한편, 도 3에서는 디스플레이부(360)가 하나의 이차원 영상 디스플레이부(362)를 포함하는 것으로 설명 및 도시하였으나, 이차원 영상 디스플레이부(362)는 제1 방향에서 촬영한 제1 이차원 영상 데이터를 디스플레이하는 제1 이차원 영상 디스플레이부와 제2 방향에서 촬영한 제2 이차원 영상 데이터를 디스플레이하는 제2 이차원 영상 디스플레이부를 포함할 수 있다. 따라서, 어느 하나의 이차원 영상 데이터의 영상 품질이 불량인 경우, 양호한 영상 품질의 이차원 영상 데이터를 대응하는 방향의 이차원 영상 디스플레이부를 통해 디스플레이할 수 있다.
도 3에 도시된 휴대용 디스플레이 장치(300)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에 대한 영상 품질을 분석하여 두 이차원 영상 데이터가 모두 양호한 경우에만 삼차원 영상을 디스플레이하고, 두 이차원 영상 데이터 중 어느 하나만 양호한 경우에는 양호한 영상 품질의 이차원 영상 데이터만을 디스플레이하여 이차원 영상을 제공한다. 따라서, 이차원 영상 데이터가 손상된 경우에 저품질의 삼차원 영상을 디스플레이하지 않고 양호한 영상 품질의 이차원 영상을 디스플레이 함으로써, QoE를 향상시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 삼차원 영상 제공 방법은 도 2에 도시된 영상 제공 장치(100)에 의해 수행될 수 있다.
도 4를 참조하면 영상 제공 장치(100)는 동일 대상물을 서로 다른 방향에서 촬영하여 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 생성한다(410 단계). 구체적으로, 서로 다른 제1 방향(예를 들어, 왼쪽 방향) 및 제2 방향(예를 들어, 오른쪽 방향)에 위치한 두 개의 스테레오 카메라를 이용하여 동일 대상물을 촬영하여 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 생성할 수 있다.
이후, 영상 제공 장치(100)는 제1 이차원 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 패킷화한다(420 단계). 그리고, 영상 제공 장치(100)는 패킷화된 제1 이차원 영상 전송 스트림 및 패킷화된 제2 이차원 영상 전송 스트림을 전송 스트림으로 생성한다(430 단계). 즉, 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성한다.
영상 제공 장치(100)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 멀티플렉싱하고(440 단계), 멀티플렉싱된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 휴대용 디스플레이 장치(300)에 전송한다(450 단계).
영상 제공 장치(100)는 삼차원 영상 생성을 위한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림 각각을 생성하여 서로 다른 기지국을 통해 휴대용 디스플레이 장치(300)에 전송되도록 한다. 예를 들어, 제1 이차원 영상 전송 스트림은 제1 기지국(211)을 통해 전송되고, 제2 이차원 영상 전송 스트림은 제2 기지국(212)을 통해 전송되도록 한다.
이 같이 영상 제공 장치는 삼차원 영상 생성을 위한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 각각 생성하고, 이를 서로 다른 기지국을 통해 개별적으로 휴대용 디스플레이 장치(300)에 전송되도록 함으로써, 무선 통신 자원을 효율적으로 사용하여 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림의 안정적인 전송이 가능하다.
도 5는 본 발명의 일 실시예에 따른 삼차원 영상 디스플레이 방법을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 삼차원 영상 디스플레이 방법은 도 3에 도시된 휴대용 디스플레이 장치(300)에 의해 수행될 수 있다.
도 5를 참조하면, 휴대용 디스플레이 장치(300)는 동일 대상물을 서로 다른 방향에서 촬영한 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 수신한다(510 단계). 이 경우, 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림 중 어느 하나는 왼쪽 방향에서 동일 대상물을 촬영한 것이고, 다른 하나는 오른쪽 방향에서 동일 대상물을 촬영한 것이다.
휴대용 디스플레이 장치(300)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림 각각을 디멀티플렉싱하여 영상 정보와 제어 정보로 분리한다(520 단계).
휴대용 디스플레이 장치(300)는 영상 정보로부터 제1 제1 이차원 영상 전송 스트림에 대응하는 제1 이차원 영상 데이터 및 제2 이차원 영상 전송 스트림에 대응하는 제2 이차원 영상 데이터를 분리한다(530 단계).
이후, 휴대용 디스플레이 장치(300)는 분리된 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질을 분석한다(540 단계). 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에 대하여 순환 중복 검사(CRC;Cyclic Redundancy Checking)를 수행함으로써, 오류 검출 여부를 확인하고 오류 검출 여부에 따라 영상 품질의 양호 또는 불량을 분석한다.
휴대용 디스플레이 장치(300)는 영상 품질의 분석 결과, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우(550 단계), 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터을 합성하여 삼차원 영상을 생성하고(560 단계), 삼차원 영상으로 디스플레이한다(570 단계).
반면, 휴대용 디스플레이 장치(300)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질이 모두 양호하지 않으면(550 단계), 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 양호한지 확인한다(580 단계).
제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 양호하고, 다른 하나의 영상 품질이 불량인 경우 휴대용 디스플레이 장치(300)는 양호한 영상 품질의 이차원 영상 데이터를 디스플레이한다(590 단계).
휴대용 디스플레이 장치(300)는 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터가 모두 양호한 경우에만 삼차원 영상을 디스플레이하고, 어느 하나만 양호한 경우에는 양호한 영상 품질의 이차원 영상 데이터만을 디스플레이하여 이차원 영상을 제공하여 사용자 QoE를 향상시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따른 이동 통신 시스템을 설명하기 위한 흐름도이다. 도 6에 도시된 이동 통신 시스템은 무선 통신망을 이용하는 IPTV(Internet Protocol Television) 시스템으로, 삼차원(3D) 영상을 휴대용 디스플레이 장치에 제공하여 삼차원 영상을 디스플레이 할 수 있다. 도 6에 도시된 이동 통신 시스템은 도 1에 도시된 이동 통신 시스템과 같이 MSB 영역 내에 포함된 기지국들을 통해 영상을 제공하는 것이 아니라, 이동 통신망 및 와이파이(WiFi) 통신망을 통해 영상을 제공할 수도 있다.
이동 통신 시스템은 영상 제공 장치(100), 제1 기지국(610), 제2 기지국(710), 콘텐츠 서버(800), 멀티엑세스(Multi-Access) 단말 장치(900) 및 휴대용 디스플레이 장치(300')를 포함한다.
영상 제공 장치(100)는 도 1에서 설명한 것과 동일한 구성 및 동작을 하는 것으로 구체적인 설명을 생략한다.
영상 제공 장치(100)는 삼차원 영상을 생성하기 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성한다.
영상 제공 장치(100)는 제1 이차원 영상 전송 스트림을 제1 무선 통신망(600)을 통해 콘텐츠 서버(800)에 전송하고, 제2 이차원 영상 전송 스트림을 제2 무선 통신망(700)을 통해 콘텐츠 서버(800)에 전송한다. 실시예에 따르면, 제1 무선 통신망(600)은 이동 통신망이고, 제2 무선 통신망(700)은 와이파이(WiFi) 통신망이 될 수 있다.
이동 통신망은 휴대용 디스플레이 장치(300)가 가입된 통신사에서 구축한 무선 통신망일 수 있으며, 와이파이 통신망은 휴대용 디스플레이 장치(300)로부터 일정 거리 안에 설치된 무선 접속 장치(AP:Access Point)에 의해 지원되는 근거리 무선 통신망일 수 있다.
콘텐츠 서버(800)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림이 수신되면, 제1 이차원 영상 전송 스트림을 멀티엑세스 단말 장치(800)에 전송하도록 제1 무선 통신망(600) 내에 포함된 제1 기지국(610)을 제어하고, 제2 이차원 영상 전송 스트림을 멀티엑세스 단말 장치(800)에 전송하도록 제2 무선 통신망(700) 내에 포함된 제2 기지국(710)을 제어한다.
따라서, 제1 기지국(610)은 제1 이차원 영상 전송 스트림을 멀티엑세스 단말 장치(800)로 개별적으로 전송하고, 제2 기지국(710)은 제2 이차원 영상 전송 스트림을 멀티엑세스 단말 장치(800)로 개별적으로 전송한다. 이때, 제1 기지국(610) 및 제2 기지국(710)은 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 동일한 속도로 전송하며, 서로 대응하는 영상 프레임 단위로 전송할 수 있다.
콘텐츠 서버(800)는 휴대용 디스플레이 장치(300)가 가입된 통신사와 연계 또는 제휴하여 콘텐츠를 생성 또는 제공하는 서버가 될 수 있다.
멀티엑세스 단말 장치(800)는 제1 무선 통신망(600)에 접속하여 제1 기지국(610)으로부터 제1 이차원 영상 전송 스트림을 수신하고, 제2 무선 통신망(710)에 접속하여 제2 기지국(710)으로부터 제2 이차원 영상 전송 스트림을 수신한다. 또한, 멀티엑세스 단말 장치(800)는 수신된 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림을 복원한다. 즉, 멀티엑세스 단말 장치(800)는 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 하나의 전송 스트림으로 복원할 수 있다.
멀티엑세스 단말 장치(800)는 다양한 무선 통신망에 동시 접속이 가능한 것으로, 제1 무선 통신망(600)과 제2 무선 통신망(700)에 동시 접속하여 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림을 수신할 수 있다.
또한, 하나의 전송 스트림으로 복원된 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림을 제1 기지국(610) 및 제2 기지국(710) 중 어느 하나를 통해 휴대용 디스플레이 장치(300')에 전송할 수 있다.
멀티엑세스 단말 장치(800)는 휴대용 디스플레이 장치(300)가 가입된 통신사 서버가 될 수 있으며, 상기 통신사와 연계 또는 제휴하여 콘텐츠와 관련된 다양한 서비스를 제공하는 별도의 장치가 될 수도 있다.
휴대용 디스플레이 장치(300')는 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림에 대한 복원 동작을 수행하지 않을 뿐, 그 외의 동작은 도 1에 도시된 휴대용 디스플레이 장치(300)와 동일하게 수행할 수 있다.
휴대용 디스플레이 장치(300')는 멀티엑세스 단말 장치(800)로부터 복원된 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림이 수신되면, 이로부터 영상 정보 및 제어 정보를 분리한다. 영상 정보는 영상 데이터 및 영상 데이터의 CRC 값을 포함하고, 제어 정보는 영상 데이터와 관련된 디스플레이 정보 및 메타데이터를 포함한다.
휴대용 디스플레이 장치(300')는 영상 정보로부터 제1 이차원 영상 전송 스트림에 대응하는 제1 이차원 영상 데이터 및 제2 이차원 영상 전송 스트림에 대응하는 제2 이차원 영상 데이터를 분리한다. 그리고, 분리된 제1 이차원 영상 전송 데이터 및 제2 이차원 영상 전송 데이터 각각에 대한 영상 품질을 분석한다. 영상 품질은 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 각각에 대하여 순환 중복 검사(CRC;Cyclic Redundancy Checking)를 수행하는 방식으로 분석할 수 있다.
휴대용 디스플레이 장치(300')는 분석된 영상 품질에 따라 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 중 적어도 하나를 이차원 영상 또는 삼차원 영상으로 디스플레이한다.
영상 품질의 분석 결과, 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우, 휴대용 디스플레이 장치(300)는 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 합성하여 삼차원 영상으로 디스플레이 할 수 있다.
반면, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 불량이고, 다른 하나의 영상 품질이 양호한 경우, 휴대용 디스플레이 장치(300)는 양호한 이차원 영상 데이터를 디스플레이 할 수 있다.
도 6에 도시된 이동 통신 시스템은 서로 상이한 무선 통신망을 통해 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 개별적으로 전송함으로써, 안정적인 전송이 가능하다. 또한, 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터의 영상 품질에 따라 이차원 영상 또는 삼차원 영상을 제공함으로써, 삼차원 영상에 대한 QoE를 향상시킬 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 영상 제공 장치 200 : MBS 서버
300 : 휴대용 디스플레이 장치
110 : 이차원 영상 생성부 120 : 패킷화 처리부
130 : 전송 스트림 생성부 140 : 멀티플렉서
150 : 전송 스트림 전송부 310 : 무선 통신부
320 : 디멀티플렉서 330 : 메타데이터 처리부
340 : 영상 품질 분석부 350 : 디스플레이부

Claims (16)

  1. 삼차원(3D) 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성하는 영상 제공 장치;
    상기 영상 제공 장치에서 생성된 상기 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 개별적으로 전송하도록 MBS(Multicast Broadcast Service) 영역 내에 포함된 적어도 두 개의 기지국을 제어하는 MBS 서버; 및
    상기 적어도 두 개의 기지국으로부터 상기 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 수신하여 상기 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림으로부터 영상 정보 및 제어 정보를 분리하고, 상기 분리된 영상 정보로부터 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 분리하며, 상기 분리된 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질을 분석하고, 상기 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이하는 휴대용 디스플레이 장치
    를 포함하는 이동 통신 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 휴대용 디스플레이 장치는,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우, 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 합성하여 삼차원 영상으로 디스플레이하는
    이동 통신 시스템.
  4. 제1항에 있어서,
    상기 휴대용 디스플레이 장치는,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 양호한 경우, 상기 양호한 영상 품질의 이차원 영상 데이터를 디스플레이하는
    이동 통신 시스템.
  5. 삼차원(3D) 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하고 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 생성하는 영상 제공 장치;
    상기 영상 제공 장치에서 생성된 상기 제1 이차원 영상 전송 스트림을 이동 통신망 내에 포함된 제1 기지국을 통해 전송하고, 상기 제2 이차원 영상 전송 스트림을 와이파이(Wi-Fi) 통신망 내에 포함된 제2 기지국을 통해 전송하는 콘텐츠 서버;
    상기 이동 통신망에 접속하여 상기 제1 기지국으로부터 상기 제1 이차원 영상 전송 스트림을 수신하고, 상기 와이파이 통신망에 접속하여 상기 제2 기지국으로부터 상기 제2 이차원 영상 전송 스트림을 수신하여 상기 수신된 제1 이차원 영상 스트림 및 상기 수신된 제2 이차원 영상 스트림을 복원하는 멀티엑세스(Multi-Access) 단말 장치; 및
    상기 멀티엑세스 단말 장치로부터 상기 복원된 제1 이차원 영상 스트림 및 제2 이차원 영상 스트림을 수신하여 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터로 분리하고, 상기 분리된 제1 이차원 영상 데이터 및 상기 분리된 제2 차원 영상 데이터의 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이하는 휴대용 디스플레이 장치
    를 포함하는 이동 통신 시스템.
  6. 삭제
  7. 제1항 또는 제5항에 있어서,
    상기 영상 제공 장치는,
    삼차원(3D) 영상 생성을 위하여 동일 대상물을 서로 다른 방향에서 촬영하여 제1 이차원(2D) 영상 기초 스트림 및 제2 이차원 영상 기초 스트림을 생성하는 이차원 영상 생성부;
    상기 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림을 패킷화하는 패킷화 처리부;
    상기 패킷화된 제1 이차원 영상 기초 스트림 및 상기 제2 이차원 영상 기초 스트림 각각을 전송 스트림으로 생성하는 전송 스트림 생성부;
    상기 전송 스트림 생성부에서 생성된 제1 이차원 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 멀티플렉싱하는 멀티플렉서; 및
    상기 멀티플렉싱된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 무선 통신망을 통해 연결된 적어도 두 개의 기지국을 이용하여 상기 휴대용 디스플레이 장치에 개별 전송하는 전송 스트림 전송부
    를 포함하는 이동 통신 시스템.
  8. 제1항 또는 제5항에 있어서,
    상기 휴대용 디스플레이 장치는,
    상기 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 수신하는 무선 통신부;
    상기 수신된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 디멀티플렉싱하여 영상 정보와 제어 정보를 분리하는 디멀티플렉서;
    상기 분리된 영상 정보로부터 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 분리하는 영상 분리부;
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질을 분석하는 영상 품질 분석부; 및
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 상기 분석된 영상 품질에 따라 이차원 영상 또는 삼차원 영상으로 디스플레이 하는 디스플레이부
    를 포함하는 이동 통신 시스템.
  9. 제8항에 있어서,
    상기 디스플레이부는,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우, 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 합성하여 삼차원 영상으로 디스플레이하는
    이동 통신 시스템.
  10. 제8항에 있어서,
    상기 디스플레이부는,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 양호한 경우, 상기 양호한 영상 품질의 이차원 영상 데이터를 디스플레이하는
    이동 통신 시스템.
  11. 제8항에 있어서,
    상기 영상 품질 분석부는,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 각각에 대하여 순환 중복 검사(CRC;Cyclic Redundancy Checking)를 수행하고, 오류가 미검출된 경우 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 양호한 것으로 분석하고, 오류가 검출된 경우 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 불량인 것으로 분석하는
    이동 통신 시스템.
  12. 삭제
  13. 삼차원(3D) 영상 생성을 위한 제1 이차원(2D) 영상 전송 스트림 및 제2 이차원 영상 전송 스트림을 수신하는 단계;
    상기 수신된 제1 이차원 영상 전송 스트림 및 상기 제2 이차원 영상 전송 스트림을 디멀티플렉싱하여 영상 정보와 제어 정보를 분리하는 단계;
    상기 분리된 영상 정보로부터 제1 이차원 영상 데이터 및 제2 이차원 영상 데이터를 분리하는 단계;
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질을 분석하는 단계; 및
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 모두 양호한 경우, 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터를 합성하여 삼차원 영상으로 디스플레이하는 단계
    를 포함하는 영상 디스플레이 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 중 어느 하나의 영상 품질이 양호한 경우, 상기 양호한 영상 품질의 이차원 영상 데이터를 디스플레이하는 단계
    를 더 포함하는 영상 디스플레이 방법.
  16. 제13항에 있어서,
    상기 영상 품질을 분석하는 단계는,
    상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터 각각에 대하여 순환 중복 검사(CRC;Cyclic Redundancy Checking)를 수행하는 단계; 및
    상기 순환 중복 검사를 수행한 결과, 오류가 미검출된 경우 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 양호한 것으로 분석하고, 오류가 검출된 경우 상기 제1 이차원 영상 데이터 및 상기 제2 이차원 영상 데이터의 영상 품질이 불량인 것으로 분석하는 단계
    를 포함하는 영상 디스플레이 방법.
KR1020100110423A 2010-11-08 2010-11-08 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법 KR101426579B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100110423A KR101426579B1 (ko) 2010-11-08 2010-11-08 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법
US13/289,285 US9148648B2 (en) 2010-11-08 2011-11-04 Apparatus and method for providing images in wireless communication system and portable display apparatus and method for displaying images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100110423A KR101426579B1 (ko) 2010-11-08 2010-11-08 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20120049442A KR20120049442A (ko) 2012-05-17
KR101426579B1 true KR101426579B1 (ko) 2014-08-05

Family

ID=46064004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100110423A KR101426579B1 (ko) 2010-11-08 2010-11-08 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법

Country Status (2)

Country Link
US (1) US9148648B2 (ko)
KR (1) KR101426579B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012182785A (ja) * 2011-02-07 2012-09-20 Panasonic Corp 映像再生装置および映像再生方法
US10334223B2 (en) 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
US9858707B2 (en) 2015-12-30 2018-01-02 Daqri, Llc 3D video reconstruction system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061227A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
KR20090065022A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법
KR20090066191A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 영상정보의 분리 전송을 이용한 3차원 입체방송 송수신장치 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269414B2 (en) * 2002-05-28 2007-09-11 Motorola, Inc. Dynamic mobile station configuration in wireless communications systems and methods therefor
US7826848B2 (en) 2007-10-31 2010-11-02 Mitisubishi Electric Research Laboratories, Inc. Cooperative communication in wireless cellular networks
US9276761B2 (en) * 2009-03-04 2016-03-01 At&T Intellectual Property I, L.P. Method and apparatus for group media consumption
WO2011111106A1 (ja) * 2010-03-11 2011-09-15 株式会社 東芝 制御局及び無線システム
US8994716B2 (en) * 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061227A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
KR20090065022A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법
KR20090066191A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 영상정보의 분리 전송을 이용한 3차원 입체방송 송수신장치 및 그 방법

Also Published As

Publication number Publication date
US9148648B2 (en) 2015-09-29
KR20120049442A (ko) 2012-05-17
US20120127274A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
US10856029B2 (en) Providing low and high quality streams
US11729465B2 (en) System and method providing object-oriented zoom in multimedia messaging
US10694249B2 (en) Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US9635252B2 (en) Live panoramic image capture and distribution
CN106162235A (zh) 用于切换视频流的方法和装置
US20200296181A1 (en) Data transmission method, apparatus and system
KR20160139020A (ko) Mmt 및 dash를 이용한 브로드캐스트 및 브로드밴드 하이브리드 서비스
WO2010025646A1 (zh) 一种字幕匹配处理的方法、系统和装置
CN103986960A (zh) 一种单视频画面分割多路由远传精确同步拼接显示的方法
CN111147362B (zh) 多人即时通讯方法、系统、装置及电子设备
JP2011087268A (ja) テレビ会議システムのための端末、中継ノードおよびストリーム処理方法
KR101426579B1 (ko) 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법
US8719860B2 (en) Augmented broadcasting stream transmission device and method, and augmented broadcasting service providing device and method
CN103686056A (zh) 会议终端及该会议终端的视频处理方法
EP2355529A2 (en) Method and apparatus for 3-dimensional image processing in communication device
US9245528B2 (en) Communication system, method, and apparatus
WO2011134373A1 (zh) 多路视频同步传输方法、装置及系统
US20180227065A1 (en) Reception apparatus, transmission apparatus, and data processing method
KR20150057149A (ko) 재전송망에 기초한 3d 방송 서비스 제공 시스템 및 방법
US20150271530A1 (en) Video quality enhancement method and apparatus
US20180192085A1 (en) Method and apparatus for distributed video transmission
WO2015196651A1 (zh) 一种数据共享的方法、设备和系统、存储介质
KR20170077907A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
US7983251B2 (en) Broadcasting service transmission/reception method and apparatus for providing fast access to broadcasting service
KR20240122473A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 6