KR100580841B1

KR100580841B1 - 이동단말과 헤드 마운티드 디스플레이 장치간의 정합 장치및 방법

Info

Publication number: KR100580841B1
Application number: KR1020030082152A
Authority: KR
Inventors: 김명돈; 서봉수; 최송인; 김대식
Original assignee: 한국전자통신연구원
Priority date: 2003-11-19
Filing date: 2003-11-19
Publication date: 2006-05-16
Also published as: KR20050048263A

Abstract

본 발명은 이동단말과 헤드 마운티드 디스플레이 장치간의 정합 장치 및 방법에 관한 것이다.

본 발명에 의하면 이동단말을 통해 2차원 또는 3차원 영상 및 오디오 컨텐츠를 실시간으로 다운로드 받고, 다운로드 받은 패킷 데이터를 변환하여 HMD로 제공함으로써, 장소에 구애받지 않고 실감나는 2차원 또는 3차원 영상과 오디오 컨텐츠를 감상할 수 있도록 한다.

이동단말, 3차원 입체영상, 헤드 마운티드 디스플레이, HMD

Description

이동단말과 헤드 마운티드 디스플레이 장치간의 정합 장치 및 방법 {Apparatus and method of interface between mobile terminal and HMD}

도 1은 본 발명의 실시 예에 따른 이동단말과 HMD 장치간의 정합장치의 구조를 나타낸 블록도이다.

도 2는 본 발명의 실시 예에 따른 상기 도 1의 정합장치의 내부 구조를 나타낸 블록도이다.

도 3은 본 발명의 실시 예에 상기 도 1의 이동단말로부터 정합장치로 전송되는 패킷 데이터의 형식을 나타낸 블록도이다.

도 4는 본 발명의 실시 예에 따른 이동단말과 HMD 장치간의 정합 방법의 동작 순서도이다.

본 발명은 이동단말을 이용한 다양한 멀티미디어 서비스 제공을 위한 장치 및 방법에 대한 것으로, 특히 헤드 마운티드 디스플레이 장치와 이동단말간의 데이터 정합이 가능하도록 하는 이동단말과 헤드 마운티드 디스플레이 장치간의 정합장치 및 방법에 관한 것이다.

다양한 멀티미디어 및 데이터 서비스를 이동단말을 통해 제공받을 수 있도록 하기 위하여 제 2 세대 이동 전화 시스템이 발전되어, 제 3세대의 이동통신 방식인 IMT(International Mobile Telecommunications)-2000이 제안되었으며, 전 세계적으로 각 부분의 주요 요소 기술 개발, 시스템 개발 및 상용화가 활발히 진행되고 있다.

특히 IMT-2000 시스템의 경우 기존의 ISDN(Integrated Services Digital Network), PSTN(Public Switched Telephone Network)과 같은 회선 교환 방식 뿐 아니라, 인터넷과 같은 패킷 교환 방식의 여러 종류의 유선망과의 연동을 고려한 통합망의 구현을 그 목표로 하고 있다.

이러한 연동을 통해 무선 가입자들이 음성, 음향 및 영상과 같은 매우 다양한 멀티미디어 서비스를 제공받을 수 있을 것으로 예상되며, 그 서비스의 예로서는 음성전화, 영상전화, 멀티미디어 메시지 서비스(Multimedia Message Service), 휴대용 영상 TV, AOD(Audio On Demand) 및 VOD(Video On Demand)등으로 매우 다양하다.

그러나, 상기와 같은 기술 개발 발전에 만족하지 않고, 제 4세대 이동통신 시스템의 개발을 위한 노력이 진행 중에 있다.

제 4세대 이동통신 시스템은 IMT-2000 의 경우 단일 무선 가입자에게 제공될 수 있는 데이터 수신율이 최대 384kbps 에서 2Mbps 정도인 것과 비교할 때, 최소 10Mbps 이상의 데이터 전송률을 단일 무선 가입자에게 보장할 수 있는 시스템으로 발전시킬 예정이다.

이와 같은 추세에서 이동통신 가입자에게 제공될 수 있는 멀티미디어 서비스는 더욱 다양해 질 것이며, 그 예로서 영상의 경우 기존의 2차원 비디오 뿐 아니라 3차원 입체 비디오 영상 관련 서비스, 홀로그램 등 사용자가 보다 실감할 수 있는 멀티미디어 콘텐츠도 제공될 수 있을 것으로 예상된다.

종래의 3차원 입체 비디오를 시청하기 위해서는 3차원 입체전용 TV를 사용하거나 2대의 프로젝터를 이용한 스크린 동시 주사 방식으로 3차원 입체 효과를 감상할 수 있었다.

상기의 방식은 여러 사람들이 3차원 전용 입체 안경(Shuttered Glasses), 적청안경(Anaglyph Glasses), 혹은 광학 편광 안경(Polarized Glasses) 등을 착용한 상태에서 동시에 3차원 입체 비디오를 실감할 수 있는 장점이 있는 반면에 3차원 입체 촬영 방송 장비, 디스플레이 장비 등의 3차원 입체 영상 시설을 갖추기 위해서는 막대한 비용이 요구된다.

또한, 개인 휴대용 3차원 입체 영상 기기로서는 헤드 마운티드 디스플레이 장치(Head Mounted Displayer; 이하 HMD라 함)가 있으며, HMD 장치는 3차원 입체 영상을 디스플레이하기 위해 그 종류에 따라 좌측 NTSC(National Television Standards Committee) 비디오 입력단자, 우측 NTSC 비디오 입력단자, 오디오 스테레오 입력단자 및 VGA(Video Graphics Array) 입력 단자 등을 장착하고 있다.

HMD 장치는 휴대가 가능하고, 3차원 비디오 콘텐츠가 담긴 DVD(Digital Versatile Disk) 플레이어나 3차원 입체 영상 전용 비디오 플레이어로서 일반 가정에서도 3차원 입체 영상을 감상할 수 있도록 하는 장점이 있다. 그러나 고가의 3차 원 입체 영상 플레이어 등 별도의 3차원 입체 영상 콘텐츠를 제공하는 방법이 있어야 하는 단점이 있다.

또한, 이동단말을 이용하여 입체 효과를 간단히 나타내어 일반적인 상태의 눈으로 보아 3차원 입체 영상을 볼 수 있도록 하는 연구기술이 활발히 진행 중이다. 그러나, 이러한 방식은 현재 기술상에서 이동단말의 디스플레이 크기가 약 2.5 인치, 혹은 3인치 정도로 국한되어 고품질의 음향 및 영화를 3차원 입체로 감상하기에는 실감 정도가 떨어지는 문제가 있다.

상기한 문제를 해결하기 위해서, 본 발명은 이동통신 단말기와 3차원 입체 비디오를 감상할 수 있는 HMD 장치를 정합할 수 있도록 하는 이동단말과 HMD장치간의 정합장치 및 방법을 제공함에 그 목적이 있다.

본 발명의 하나의 특징에 따른 이동단말과 HMD장치간의 정합장치는,
이동단말을 통해 수신되는 2차원 또는 3차원 비디오 컨텐츠와 오디오 컨텐츠를 헤드 마운티드 디스플레이 장치를 통해 제공하기 위한 정합 장치에 있어서, 상기 이동단말로부터 패킷 데이터를 수신하는 이동단말 정합부; 상기 이동단말 정합부가 수신한 패킷 데이터를 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷 및 오디오 패킷으로 분류하여 저장하는 버퍼; 상기 버퍼에 저장된 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷을 소정의 비디오 압축 스트림으로 복원하는 비디오 디코더부; 상기 비디오 압축 스트림을 헤드 마운티드 디스플레이 장치로 제공하기 위한 아날로그 신호로 인코딩하는 인코더부;상기 버퍼에 저장된 오디오 패킷을 소정의 오디오 압축 스트림으로 복원하는오디오 디코더부; 상기 오디오 압축 스트림을 헤드 마운티드 디스플레이 장치로 제공하기 위한 아날로그 스테레오 신호로 변환하는 D/A 변환기; 및 상기 이동단말 정합부를 통해 수신된 패킷 데이터를 상기 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷 및 오디오 패킷으로 분류하여 상기 버퍼에 저장하고, 상기 비디오 디코더부 또는 상기 오디오 디코더부를 통하여 상기 버퍼에 저장된 패킷을 재생하는 일련의 동작을 제어하는 마이크로프로세서를 포함한다.

삭제

또한, 상기 정합장치의 동작개시, 동작 중지 등에 관련된 사용자 명령을 입력하는 사용자 인터페이스; 상기 마이크로프로세서의 제어에 의해 버퍼에 저장된 각각의 비디오 패킷 및 오디오 패킷의 디코딩을 위한 동기신호 및 상기 정합장치의 동작을 위한 클럭을 제공하는 클럭 & 동기신호 제공 장치; 상기 이동단말 정합부가 수신한 패킷 데이터를 임시 저장하는 저장부; 및 상기 저장부에 저장된 패킷 데이터의 성격에 따라 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷 및 오디오 패킷으로 분류하여 저장하는 버퍼를 포함한다.

본 발명의 하나의 특징에 따른 이동단말과 HMD 장치간의 정합방법은,

이동단말을 통해 수신되는 2차원 또는 3차원 비디오 컨텐츠와 오디오 컨텐츠를 헤드 마운티드 디스플레이 장치를 통해 제공하기 위한 정합 방법에 있어서, (a) 상기 이동단말을 통해 수신되는 패킷 데이터를 임시저장하고, 상기 패킷 데이터의 각각의 성격에 따라 2차원 비디오, 3차원 좌안 및 우안 비디오, 및 비디오 패킷으 로 분류하여 저장하는 단계; (b) 상기 저장된 각각의 패킷을 분석하여 동기신호를 추출하고, 상기 추출된 동기신호에 의해 상기 저장된 각각의 패킷의 성격에 따라 소정의 압축 스트림으로 디코딩하는 단계; 및 (c) 상기 디코딩된 스트림 신호를 상기 헤드 마운티드 디스플레이 장치로 제공하여 사용자에게 제공하는 단계를 포함한다.

아래에서는 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 첨부된 도면은 본 발명을 명확하게 설명하기 위해 본 발명의 설명과 관계없는 부분은 생략하였으며, 동일 또는 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

도 1을 참조하면, 본 발명의 실시 예에 따라 정합 장치(200)는 이동단말 (100)과, HMD(300) 사이에 연결되며, 이동단말(100)과 정합 장치(200)는 데이터 통신 케이블(a)을 통해 연결되며, 정합장치(200)와 HMD(300)는 아날로그 AV 케이블 (b)로 연결된다.

이동단말(100)과 정합장치(200)는 데이터 통신 케이블(a)을 통해 2차원 또는 3차원 비디오 및 오디오 패킷 데이터를 각각 송수신 한다.

그리고, 정합장치(200)는 이동단말(100)로부터 수신한 비디오 및 오디오 데 이터를 복원하여 아날로그 AV 케이블(b)을 통해 HMD(300)로 전송한다.

상기 정합장치(200)에 대해 자세히 설명하면 다음과 같다.

도 2를 참조하면, 정합장치(200)는 이동단말 정합부(201), 마이크로프로세서 (202), 버퍼(203), 비디오 MPEG(Moving Picture Experts Group) 디코더부(204), 오디오 디코더(205), NTSC 인코더부(206), D/A(Digital to Analog) 변환기(207), 사용자인터페이스(208), 클럭 & 동기신호 제공 장치(209) 및 저장부(210)를 포함한다.

이동단말 정합부(201)는 이동단말(100)과 데이터 통신 케이블(a)을 통해 이동단말(100)로부터 2차원 또는 3차원 비디오 및 오디오 패킷을 입력 받는다.

마이크로프로세서(202)는 정합장치(200)의 각 블록을 제어하여 정상적인 동작 및 원활한 데이터 흐름을 제어하며, 이동단말(100)로부터 수신되는 패킷 데이터의 타임스탬프를 참조하여 재생시간을 결정하며, 이를 기반으로 클럭 & 동기신호 제공 장치(209)를 제어함으로써 비디오 및 오디오의 재생 중 끊김이 발생하지 않고 출력될 수 있도록 한다.

버퍼(203)는 마이크로프로세서(202)가 분류하는 방식에 따라 패킷 데이터를 저장하는 공간으로, 좌안 비디오 패킷 데이터 저장공간, 우안 비디오 패킷 데이터 저장공간 및 오디오 패킷 데이터 저장공간을 별도로 분류하여 저장한다.

그리고 비디오 MPEG 디코더부(204)는 비디오 신호를 디코딩하는 곳으로, 왼 쪽 눈을 위한 좌안 비디오 MPEG 디코더(204a)와, 오른쪽 눈을 위한 우안 비디오 MPEG 디코더(204b)를 포함한다. 또한, 상기 구조에서 비디오 MPEG 디코더부(204)는 2차원 비디오의 경우 별도의 2차원 영상을 위한 비디오 MPEG 디코더를 추가할 필요 없이, 2차원 비디오 패킷을 복사하여 좌안 비디오 MPEG 디코더(204a)와 우안 비디오 MPEG 디코더(204b)에 동일하게 입력함으로써 재생할 수 있다.

비디오 MPEG 디코더부(204)는 마이크로프로세서(202)의 제어를 받아 버퍼(203)에 저장되는 좌안과 우안에 대한 각각의 비디오 패킷을 소정의 MPEG 압축 부호화 규격에 따라 복호화를 실행하는 비디오 디코더부이다. 이때, MPEG 비디오 압축 기술은 ISO/IEC(International Organization for Standardization/ International Electrotechnical Commission) MPEG-1, MPEG-2 또는 MPEG-4 등이 될 수 있다.

또한, 비디오 MPEG 디코더부(204)가 복호화한 신호는 YUV의 픽셀 데이터 형태이다. 여기서, 상기 YUV는 휘도 신호(Y), 휘도 신호와 적색 성분의 차(U), 휘도 신호와 청색 성분의 차(V)의 3가지 정보로 색을 나타내는 형식을 지칭하는 약어를 의미한다.

NTSC 인코더부(206)는 두개의 NTSC 인코더(206a, 206b)를 포함하며, 비디오 압축 스트림 신호를 소정 형식에 따른 아날로그 신호로 출력하는 인코더로, NTSC 인코더(206a)는 비디오 MPEG 디코더부(204)의 좌안 비디오 MPEG 디코더(204a)가 복호화환 YUV 픽셀 데이터 형태의 신호를 전달받아 NTSC 아날로그 신호로 변환하고, NTSC 인코더(206b)는 우안 비디오 MPEG 디코더(204b)가 복호화한 YUV 픽셀 데이터 형태의 신호를 전달받아 NTSC 아날로그 신호로 변환한다.

오디오 디코더(205)는 마이크로프로세서(202)의 제어를 받아 버퍼(203)에 저 장되는 오디오 패킷을 소정의 오디오 압축 부호화 규격에 따라 오디오 신호로 복호화를 수행한다. 이때, 상기 소정의 오디오 압축 규격은 ITU-T(International Telecommunications Union-Telecommunication) G.72x 계열, ISO/IEC MPEG-1 Level 1, 2 혹은 MPEG-2 AAC(Advanced Audio Coding) 규격 등을 지원하는 임의의 오디오 압축 규격이 될 수 있다.

D/A 변환기(207)는 오디오 디코더(205)가 복호화하여 변환한 디지털 데이터 형태인 PCM(Pulse Code Modulation) 데이터를 아날로그로 변환하여 출력한다. 이때, 최종 출력은 좌측(Left)과 우측(Right) 스피커로 출력될 수 있도록 한다.

또한, 사용자 인터페이스(208)는 정합장치(200)의 전원, 동작개시. 동작중단, 출력 모드 설정 등과 같은 동작에 필요한 명령을 사용자가 줄 수 있도록 하는 인터페이스를 제공하고, 클럭 & 동기신호 제공 장치(209)는 정합장치(200)의 동작에 필요한 클럭을 제공하고 마이크로프로세서(202)의 제어에 따라 비디오 및 오디오의 동기를 위한 신호를 발생시킨다.

그리고, 저장부(210)는 플래쉬롬(210a)과, 에스디램(210b)을 포함하는데, 플래쉬롬(210a)은 마이크로프로세서가 동작하기 위한 내부 실행 프로그램을 저장하기 위한 내부 실행 프로그램 저장부이며, 에스디램(210b)은 마이크로프로세서(202)의 프로그램 실행 중 고속 처리를 위한 임시 데이터 및 입력되는 패킷 데이터를 임시 저장하는 데이터 저장부이다.

상기 NTSC 인코더(206a, 206b)는 아날로그 AV 케이블(b)을 통하여 HMD(300)에 연결되어 좌측과 우측의 NTSC 아날로그 신호를 각각 HMD(300)의 좌측과 우측 렌 즈 입력신호로 제공하며(b-1, b-2), D/A 변환기(207)도 아날로그 AV 케이블(b)을 통하여 HMD(300)에 연결되어 좌측과 우측의 각각의 아날로그 스테레오(Stereo)신호를 HMD(300)의 좌측과 우측 스피커로 제공한다(b-3).

또한, 상기에서 서술한 바와 같이, 2차원 영상을 위한 별도의 비디오 MPEG 디코더가 필요 없으며, 좌안 비디오 MPEG 디코더(204a)와 우안 비디오 MPEG 디코더(204b)에서 각각 동일한 2차원 영상 신호를 복원하여 HMD(300)의 좌안과 우안에 각각 제공함으로써 2차원 영상을 제공할 수 있다.

상기와 같이 구성되는 정합장치(300)가 이동단말(100)로부터 수신하는 비디오 및 오디오 패킷의 형태는 다음과 같이 구성된다.

도 3을 참조하면, 정합장치(200)가 이동단말(100)로부터 수신한 패킷(301)은 A/V 플래그, 좌표 플래그, 타임스탬프(Timestamp), MPEG 비디오 압축 스트림을 포함한다.

상기한 패킷(301)의 형식은 이동단말(100)이 HMD(300)과 같은 외부 장치들과 결합하여 2차원 또는 3차원 입체 비디오 및 오디오를 지원해 주기 위해 사전에 정의되어야 하는 헤더 파라미터 및 압축 데이터 형식이다.

A/V 플래그는 수신 패킷 데이터가 비디오 데이터이면 플래그 값을 'V'로 하며, 오디오 데이터이면 플래그 값을 'A'로 표시하는 것으로 '1'비트의 값을 할당할 수 있다.

좌표 플래그는 A/V 플래그가 비디오 플래그인 경우, 존재하는 플래그로서 압축된 비디오 스트림이 2차원 비디오면 '2D' 값을 가지며, 3차원 좌안용 비디오이면 '3D(좌)' 값을 가지고, 3차원 우안용 비디오이면 '3D(우)'값을 플래그 값으로 가지며 '2' 비트를 할당할 수 있다.

타임스탬프는 비디오 및 오디오 압축 스트림의 동기신호 제공을 위한 것으로 3차원 입체 비디오의 경우 좌안용 비디오와 우안용 비디오의 동기 신호를 발생하기 위한 기본 참조 시간에 사용된다. 또한, 오디오의 경우 2차원 혹은 3차원 입체 비디오와의 립싱크(Lip-Synchronization)를 위한 기본 참조 시간으로 사용된다.

상기한 각각의 필드에 따라 수신되는 패킷의 예를 나타낸 것이 패킷(302, 303, 304, 305)이다.

패킷(302)은 수신 패킷 데이터가 2차원 비디오일 경우의 패킷이며, 패킷(303)은 수신 패킷 데이터가 3차원 좌안용 비디오인 경우이며, 패킷(304)은 수신 패킷 데이터가 3차원 우안용 비디오인 경우이고, 패킷(305)은 수신 패킷 데이터가 오디오 패킷인 경우를 나타낸다.

상기한 본 발명의 실시 예에 따른 정합장치(200)를 이용한 정합 방법은 다음과 같다.

도 4를 참조하면, 사용자가 이동단말(100)로부터 입력되는 2차원 또는 3차원 비디오 및 오디오 신호를 HMD(300)를 통해 제공받기 위해서는 이동단말(100)과 정 합장치(200)를 데이터 통신 케이블(a)을 이용하여 연결하고, 정합장치(200)와 HMD(300)를 아날로그 AV 케이블(b)로 연결한다.

그리고, 사용자는 정합장치(200)의 사용자 인터페이스(208)를 통해 개시명령을 선택한다(S401).

정합장치(200)의 이동단말 정합부(201)는 이동단말(100)로부터 패킷 데이터를 수신하고(S402), 마이크로프로세서(202)의 제어에 의해 우선 수신되는 패킷 데이터를 에스디램(210b)에 임시 저장한다(S403). 이때 저장되는 패킷 데이터의 양은 이동단말(100)이 무선망으로부터 수신하는 멀티미디어 데이터 수신율과 정합장치(200)가 처리할 수 있는 일반적인 데이터 패킷의 양에 의해 결정된다.

일정량의 패킷 데이터가 저장되면, 마이크로프로세서(202)는 저장된 패킷 데이터의 헤더에서 A/V 플래그를 검사하여 비디오 패킷인지, 오디오 패킷인지를 판단하고(S404), 비디오 패킷인 경우 좌표 플래그를 확인하여 2차원 비디오패킷, 좌안 비디오 패킷 및 우안 비디오 패킷으로 분류하여 버퍼(203)에 저장한다(S406, S407, S408).

또한, 상기 단계 S404의 판단결과 A/V 플래그가 오디오 패킷임을 나타내면, 오디오 패킷으로 분류하여 버퍼(203)에 저장한다(S409).

상기 단계 S406 내지 S409에 의해 버퍼(203)에 분류되어 저장된 비디오 및 오디오 패킷은 각각의 패킷의 타임스탬프를 비교하여 재생시간을 획득한다(S410). 이때 적용되는 타임스탬프는 좌안 비디오와 우안 비디오가 각각 동일한 타임스탬프를 가져야 하며, 오디오 타임스탬프를 기준으로 가장 가까운 값을 가지는 비디오 타임스탬프를 적용한다. 이는 비디오와 오디오가 각각 재생되는 시간 간격이 다르기 때문이다.

마이크로프로세서(202)는 단계 S410에서 획득된 재생시간을 이용하여 클럭 & 동기신호 제공 장치(208)를 제어하여 동기신호가 발생되도록 한다(S411).

그리고, 버퍼(203)에 저장된 각각의 좌안 비디오, 우안 비디오, 오디오 패킷은 각각 디코딩과정을 시작하여(S412, S413, S414) 복호화하고, 복호화된 신호들은 HMD(300)로 제공되어 사용자에게 제공된다.

즉, 좌안 비디오 패킷은 좌안 비디오 MPEG 디코더(204a)에 의해 디코딩된 후, NTSC 인코더(206a)를 거쳐 아날로그 NTSC 신호로 인코딩되어 HMD(300)로 제공되고(b-1), 우안 비디오 패킷은 우안 비디오 MPEG 디코더(204b)에 의해 디코딩된 후, NTSC 인코더(206b)를 거쳐 아날로그 NTSC 신호로 인코딩되어 HMD(300)로 제공되며(b-2), 오디오 패킷은 오디오 디코더(205)에 의해 디코딩된 후, D/A 변환기(207)를 거쳐 아날로그 스테레오 신호로 변환되어 HMD(300)로 제공된다(b-3).

상기한 과정을 거쳐 사용자 인터페이스(208)를 통해 사용자의 종료 명령 수신 여부에 따라(S415), 계속하여 정합을 수행하거나(S402~S414), 동작을 중지한다.

이상에서 본 발명의 바람직한 실시 예에 대하여 상세하게 설명하였지만 본 발명은 이에 한정되는 것은 아니며, 그 외에 다양한 변경이나 변형이 가능하다.

이상에서 설명한 바와 같이, 본 발명에 따른 이동단말과 HMD 장치간의 정합 장치 및 방법은 이동단말을 통해 2차원 또는 3차원 영상 및 오디오 컨텐츠를 실시간으로 다운로드 받고, 다운로드 받은 패킷 데이터를 변환하여 HMD로 제공함으로써, 장소에 구애받지 않고 실감나는 2차원 또는 3차원 영상과 오디오 컨텐츠를 감상할 수 있도록 하는 효과가 있다.

Claims

이동단말을 통해 수신되는 2차원 또는 3차원 비디오 컨텐츠와 오디오 컨텐츠를 헤드 마운티드 디스플레이 장치를 통해 제공하기 위한 정합 장치에 있어서,

상기 이동단말로부터 패킷 데이터를 수신하는 이동단말 정합부;

상기 이동단말 정합부가 수신한 패킷 데이터를 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷 및 오디오 패킷으로 분류하여 저장하는 버퍼;

상기 버퍼에 저장된 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷을 소정의 비디오 압축 스트림으로 복원하는 비디오 디코더부;

상기 비디오 압축 스트림을 헤드 마운티드 디스플레이 장치로 제공하기 위한 아날로그 신호로 인코딩하는 인코더부;

상기 버퍼에 저장된 오디오 패킷을 소정의 오디오 압축 스트림으로 복원하는오디오 디코더부;

상기 오디오 압축 스트림을 헤드 마운티드 디스플레이 장치로 제공하기 위한 아날로그 스테레오 신호로 변환하는 D/A 변환기; 및

상기 이동단말 정합부를 통해 수신된 패킷 데이터를 상기 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷 및 오디오 패킷으로 분류하여 상기 버퍼에 저장하고, 상기 비디오 디코더부 또는 상기 오디오 디코더부를 통하여 상기 버퍼에 저장된 패킷을 재생하는 일련의 동작을 제어하는 마이크로프로세서

를 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치
제 1항에 있어서,

상기 정합장치의 동작개시, 동작 중지 등에 관련된 사용자 명령을 입력하는 사용자 인터페이스;

상기 마이크로프로세서의 제어에 의해 버퍼에 저장된 각각의 비디오 패킷 및 오디오 패킷의 디코딩을 위한 동기신호 및 상기 정합장치의 동작을 위한 클럭을 제공하는 클럭 & 동기신호 제공 장치;

상기 이동단말 정합부가 수신한 패킷 데이터를 임시 저장하는 저장부; 및

상기 저장부에 저장된 패킷 데이터의 성격에 따라 2차원 비디오 패킷, 3차원 좌측 비디오 패킷, 3차원 우측 비디오 패킷 및 오디오 패킷으로 분류하여 저장하는 버퍼

를 더 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
제 1항에 있어서,

상기 비디오 디코더부는,

3차원의 좌측 영상을 위한 비디오 신호를 디코딩하기 위한 좌안 비디오 디코더; 및

3차원의 우측 영상을 위한 비디오 신호를 디코딩하기 위한 우안 비디오 디코더

를 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
제 1항에 있어서,

상기 인코더부는,

상기 디코더부가 디코딩하는 각각 다른 성격의 비디오 신호를 위해 각각 구성되는 것을 특징으로 하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
제 3항에 있어서,

상기 비디오 디코더부에 입력되는 비디오 패킷이 2차원 비디오 패킷인 경우,

상기 좌안 비디오 디코더 및 우안 비디오 디코더에 상기 2차원 비디오 패킷이 동일하게 입력되도록 하여 2차원 영상을 제공하는 것을 특징으로 하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
제 2항에 있어서,

상기 저장부는,

상기 마이크로프로세서의 동작을 위한 프로그램을 저장하는 내부 실행 프로그램 저장부; 및

상기 마이크로프로세서의 동작에 따른 임시 데이터 및 상기 이동단말 정합부를 통해 수신되는 패킷을 임시 저장하기 위한 데이터 저장부

를 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
제 1항 내지 제 6항 중에 한 항에 있어서,

상기 수신 패킷은,

상기 수신 패킷이 비디오 패킷 또는 오디오 패킷인지를 나타내는 A/V(Audio and Video) 플래그;

상기 A/V 플래그에 의해 상기 수신 패킷이 비디오 패킷인 경우, 상기 패킷이 2차원용 비디오 패킷, 3차원 좌안 비디오 패킷 또는 3차원 우안 비디오 패킷인지를 나타내는 좌표 플래그;

상기 A/V 플래그 및 좌표 플래그에 의해 결정되는 상기 패킷의 성격에 맞는 비디오 데이터 또는 오디오 데이터의 재생을 위한 동기신호를 발생하기 위한 참조시간 정보를 나타내는 타임스탬프; 및

상기 A/V 플래그 및 좌표 플래그에 의해 결정되는 상기 패킷의 성격에 맞는 비디오 데이터 또는 오디오 데이터가 저장되는 데이터 스트림

을 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
제 1항 내지 제 6항 중에 한 항에 있어서,

상기 정합장치는,

상기 이동단말과 데이터 통신 케이블을 통해 연결되고,

상기 헤드 마운티드 디스플레이 장치와 아날로그 AV 케이블을 통해 연결되는 것을 특징으로 하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합장치.
이동단말을 통해 수신되는 2차원 또는 3차원 비디오 컨텐츠와 오디오 컨텐츠를 헤드 마운티드 디스플레이 장치를 통해 제공하기 위한 정합 방법에 있어서,

(a) 상기 이동단말을 통해 수신되는 패킷 데이터를 임시저장하고, 상기 패킷 데이터의 각각의 성격에 따라 2차원 비디오, 3차원 좌안 및 우안 비디오, 및 비디오 패킷으로 분류하여 저장하는 단계;

(b) 상기 저장된 각각의 패킷을 분석하여 동기신호를 추출하고, 상기 추출된 동기신호에 의해 상기 저장된 각각의 패킷의 성격에 따라 소정의 압축 스트림으로 디코딩하는 단계; 및

(c) 상기 디코딩된 스트림 신호를 상기 헤드 마운티드 디스플레이 장치로 제공하여 사용자에게 제공하는 단계

를 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합방법.
제 9항에 있어서,

상기 (a) 단계에서 상기 패킷을 분류하여 저장하는 것은,

상기 패킷이 비디오 데이터 패킷 또는 오디오 데이터 패킷인지 판단하는 단계;

상기 판단결과, 상기 패킷이 비디오 데이터 패킷인 경우, 2차원 비디오 패킷, 3차원 좌안 비디오 패킷 또는 3차원 우안 비디오 패킷인지 판단하는 단계; 및

상기 판단결과에 따라 각각의 패킷을 분류하여 저장하는 단계

를 포함하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합방법.
제 9항에 있어서,

상기 (b) 단계의 동기신호는,

상기 3차원 좌안 및 우안 비디오 패킷이 동일한 동기신호를 가지며,

상기 오디오 패킷의 동기신호를 기준으로 하여 가장 가까운 값을 가지는 비디오 패킷의 동기신호를 적용하는 것을 특징으로 하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합방법.
제 9항에 있어서,

상기 (b) 단계의 소정의 압축 스트림으로 디코딩하는데 있어서,

상기 패킷이 비디오 패킷인 경우, MPEG(Moving Picture Experts Group) 디코딩을 하여 아날로그 NTSC(National Television Standards Committee) 신호로 변환한 후 헤드 마운티드 디스플레이 장치로 제공하는 것을 특징으로 하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합방법.
제 9항에 있어서,

상기 (b)단계의 소정의 압축 스트림으로 디코딩하는데 있어서,

상기 패킷이 오디오 패킷인 경우, 디지털 PCM(Pulse Code Modulation)신호로 디코딩하여 아날로그 스테레오 오디오 신호로 변환한 후, 헤드 마운티드 디스플레이 장치로 제공하는 것을 특징으로 하는 이동통신 단말기와 헤드 마운티드 디스플레이 장치간의 정합방법.