KR101647064B1

KR101647064B1 - 휴대 단말기의 입체 영상 출력 방법 및 장치

Info

Publication number: KR101647064B1
Application number: KR1020100026350A
Authority: KR
Inventors: 손광섭
Original assignee: 삼성전자 주식회사
Priority date: 2010-03-24
Filing date: 2010-03-24
Publication date: 2016-08-23
Also published as: US20110236000A1; KR20110107150A; US8913877B2

Abstract

본 발명은 휴대 단말기의 입체 영상 출력 방법 및 장치에 관한 것이다. 본 발명의 실시예에 따른 입체 영상 출력 방법은 입체 동영상 재생 제어 명령이 입력되는 입력 단계; 재생할 위치에 해당하는 I-프레임(key frame)을 탐색하는 탐색 단계; 상기 탐색된 I-프레임을 디코드(decode)하는 디코드하고, 상기 디코드 된 I-프레임이 L-프레임(Left-frame)인지 R-프레임(Right-frame)인지 판단하는 판단 단계;상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, L-R 시퀀스(sequence)를 조정하는 조정 단계; 상기 조정된 L-R 시퀀스로 입체 영상을 출력하는 출력 단계를 포함하는 것을 특징으로 한다. 본 발명을 통해 휴대 단말기는 입체 영상 제작자가 의도한대로 입체감이 반영된 영상을 출력할 수 있다.

Description

휴대 단말기의 입체 영상 출력 방법 및 장치 {METHOD AND APPARATUS FOR OUTPUTTING STEREOSCOPIC IMAGE IN MOBILE TERMINAL}

본 발명은 휴대 단말기의 입체 영상 출력 방법 및 장치에 관한 것으로서, 특히 좌측 프레임(L-frame)과 우측 프레임(R-frame)이 순차적으로 반복되는 형태로 구성된 입체 영상을 출력하는 방법과 이를 이용하는 장치에 관한 것이다.

최근 휴대 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활필수품으로 자리매김하게 되었다. 이와 같은 휴대 단말기는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가서비스도 제공할 수 있게 되어 기능상 멀티미디어 통신기기로 변모하게 되었다. 최근 3D 입체 영상(3D stereoscopic image) 기술이 발전하면서 3D 입체 영상을 출력하는 휴대 단말기의 개발에도 관심이 기울여지고 있다.

일반적으로 3D 입체 영상은 좌측 프레임(Left frame, 이하 'L-프레임'이라고 한다)과 우측 프레임(Right frame, 이하 'R-프레임'이라고 한다)이 순차적으로 반복되는 형태로 구성되며, 각각의 좌측 프레임과 우측 프레임은 키 프레임(Key frame, 이하 'I-프레임'이라고 한다)과 델타 프레임(Delta frame, 이하 'P-프레임'이라고 한다) 중 어느 하나로 구성된다.

휴대 단말기는 입체 영상 재생 시, L-R 시퀀스로 이루어지는 프레임들을 출력한다. 이 때, 사용자가 입체 영상의 재생 위치를 변경하는 경우, 상기 휴대 단말기는 변경된 재생 위치에 해당하는 I-프레임부터 디코드한다. I-프레임이 L-프레임에 해당하는 경우, 휴대 단말기는 컨텐츠 제작자가 의도한 입체감이 나타나도록 영상을 출력하지만, I-프레임이 R-프레임에 해당하는 경우, 휴대 단말기는 컨텐츠 제작자가 의도한 입체감이 역전된 영상을 출력하게 된다.

도 1은 컨텐츠 제작자가 의도한 입체감이 반영된 영상과 입체감이 역전된 영상의 예시도에 해당한다. 도 1에서 [a]는 컨텐츠 제작자가 의도한 입체감이 반영된 영상에 해당하며, [b]는 입체감이 역전된 영상에 해당한다. 프레임들이 L-R 시퀀스로 이루어지는 경우, 휴대 단말기는 컨텐츠 제작자가 의도한 대로 도 1의 [a]와 같이 하트 이미지(10, 11)가 오목하고 십자 이미지(12)가 볼록한 형태의 영상을 출력한다. 반면, 입체 영상이 R-L 시퀀스로 이루어지는 경우, 휴대 단말기는 컨텐츠 제작자가 의도한 바와 다르게 도 1의 [b]와 같이 하트 이미지(10, 11)가 볼록하고 십자 이미지(12)가 오목한 형태의 영상을 출력한다. 이러한 경우, 컨텐츠 고유의 입체 효과가 휴대 단말기 사용자에게 정확히 전달되지 않는 문제점이 발생하게 된다.

본 발명의 목적은 입체 영상 컨텐츠 제작자가 의도한 입체감이 반영될 수 있는 입체 영상 출력 방법과 이를 지원하는 장치를 제공하는데 있다.

본 발명의 실시예에 따른 입체 영상 출력 방법은 입체 동영상 재생 제어 명령이 입력되는 입력 단계; 재생할 위치에 해당하는 I-프레임(key frame)을 탐색하는 탐색 단계; 상기 탐색된 I-프레임을 디코드(decode)하는 디코드하고, 상기 디코드 된 I-프레임이 L-프레임(Left-frame)인지 R-프레임(Right-frame)인지 판단하는 판단 단계; 상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, L-R 시퀀스(sequence)를 조정하는 조정 단계; 상기 조정된 L-R 시퀀스로 입체 영상을 출력하는 출력 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 입체 영상을 구성하는 복수의 프레임들을 L-프레임(Left-frame)과 R-프레임(Right-frame)으로 구분하는 방법은 상기 복수의 프레임들 중 어느 하나의 프레임으로부터 프레임 정보를 추출하는 단계; 상기 추출된 프레임 정보가 프레임 순서에 해당하는 프레임 번호(frame number)인 경우, 상기 프레임 번호가 홀수(odd number)인지 짝수(even number)인지 판단하는 단계; 및 상기 판단 결과, 상기 프레임 번호가 홀수인 경우 상기 어느 하나의 프레임을 L-프레임으로 판단하고, 상기 프레임 번호가 짝수인 경우 상기 어느 하나의 프레임을 R-프레임으로 판단하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 입체 영상을 구성하는 복수의 프레임들을 L-프레임(Left-frame)과 R-프레임(Right-frame)으로 구분하는 방법은 상기 추출된 프레임 정보가 각 프레임에 설정된 시간 정보에 해당하는 경우, 1초당 프레임의 개수 정보와 상기 시간 정보를 이용하여 상기 어느 하나의 프레임이 최초 프레임부터 몇 번째 프레임인지에 관한 값을 산출하는 단계; 상기 산출된 값이 홀수(odd number)인지 짝수(even number)인지 판단하는 단계; 및 상기 판단 결과, 상기 프레임 번호가 홀수인 경우 상기 어느 하나의 프레임을 L-프레임으로 판단하고, 상기 프레임 번호가 짝수인 경우 상기 어느 하나의 프레임을 R-프레임으로 판단하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 입체 영상을 출력하는 휴대 단말기는 입체 영상을 출력하는 표시부; 사용자로부터 입체 동영상 재생 제어 명령을 입력받는 입력부; 상기 변경된 재생 위치에 해당하는 I-프레임(key frame)을 탐색하고, 상기 탐색된 I-프레임을 디코드(decode)하는 영상 디코더; 상기 디코드 된 I-프레임이 L-프레임(Left-frame)인지 R-프레임(Right-frame)인지 판단하는 L-R 프레임 판단부; 상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, L-R 시퀀스를 조정하고, 상기 표시부를 제어하여 상기 조정된 L-R 시퀀스로 입체 영상을 표시하는 영상 출력 제어부를 포함하는 것을 특징으로 한다.

본 발명을 통해 휴대 단말기는 입체 영상 컨텐츠 제작자가 의도한대로 입체감이 반영된 영상을 출력할 수 있다.

도 1은 컨텐츠 제작자가 의도한 입체감이 반영된 영상과 입체감이 역전된 영상의 예시도에 해당한다.
도 2는 본 발명의 실시예에 따른 입체 영상을 출력하는 휴대 단말기(100)의 내부 구성도에 해당한다.
도 3은 본 발명의 실시예에 따른 휴대 단말기(100)의 입체 영상 출력 과정을 설명하는 순서도이다.
도 4는 도 3의 304단계의 과정을 구체적으로 도시한 순서도에 해당한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.

본 발명은 휴대 단말기를 예로 들어 설명하지만, 이에 한정되는 것은 아니며 입체 영상 출력이 가능한 모든 장치에 적용될 수 있다. 또한 본 발명의 실시예에 따른 휴대 단말기는 이동통신 단말기, 휴대용 멀티미디어 재생 장치(Portable Multimedia Player-PMP), 개인 정보 단말기(Personal Digital Assistant-PDA), 스마트 폰(Smart Phone), MP3 플레이어 등에 해당할 수 있다. 휴대 단말기가 이동통신 단말기에 해당하는 경우, IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA(Wideband Code Division Multiple Access) 단말기, GSM/GPRS(Global System For Mobile Communication/General Packet Radio Service) 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등이 될 수 있다.

본 발명에서 'I-프레임'은 키 프레임(key frame)으로서, 동영상 데이터를 구성하는 복수의 프레임들 중 기준이 되는 프레임에 해당한다. 영상 디코더는 프레임 디코드 시, I-프레임부터 디코드하게 된다. 본 발명에서 'P-프레임'은 델타 프레임(delta frame)으로서, 영상의 변화된 정보만을 기록하는 프레임에 해당한다. 영상 디코더는 프레임 디코드 시, I-프레임을 디코드한 후에 P-프레임을 디코드하게 된다.

도 2는 본 발명의 실시예에 따른 입체 영상을 출력하는 휴대 단말기(100)의 내부 구성도에 해당한다. 휴대 단말기(100)는 무선통신부(110), 오디오 처리부(120), 저장부(130), 입력부(140), 표시부(150), 입체 영상부(160) 및 제어부(170)를 포함한다.

무선통신부(110)는 휴대 단말기(100)의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선통신부(110)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 무선통신부(110)는 무선 채널을 통해 데이터를 수신하여 제어부(170)로 출력하고, 제어부(170)로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다. 본 발명의 실시예에 따른 무선통신부(110)는 외부 서버 또는 외부 단말기로부터 입체 영상 데이터를 수신할 수 있다.

오디오 처리부(120)는 코덱(CODEC)을 포함할 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱으로 구성될 수 있다. 오디오 처리부(120)는 디지털 오디오 신호를 오디오 코덱을 통해 아날로그 오디오 신호로 변환하여 리시버(RCV) 또는 스피커(SPK)를 통해 출력하고, 마이크(MIC)로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오 신호로 변환한다.

저장부(130)는 휴대 단말기(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 저장부(130)는 휘발성(volatile) 저장 매체 또는 비휘발성(nonvolatile) 저장 매체로 구성될 수 있으며, 양 저장 매체의 조합(combination)으로 구성될 수도 있다. 휘발성 저장 매체로는 RAM, DRAM, SRAM과 같은 반도체 메모리(semiconductor memory)가 포함되며, 비휘발성 저장 매체로는 하드 디스크(hard disk)가 포함될 수 있다. 본 발명의 실시예에 따른 저장부(130)는 입체 영상 데이터를 저장한다. 본 발명의 실시예에 따라 저장부(130)는 소정의 포맷(format)으로 코드화(code) 된 입체 영상 데이터를 저장할 수 있으며, 디코드 된 입체 영상 데이터를 저장할 수도 있다.

입력부(140)는 휴대 단말기(100)를 제어하기 위한 사용자의 키 조작 신호를 입력받아 제어부(170)로 전달한다. 입력부(140)는 3*4 자판, Qwerty 자판 등 숫자 키, 문자 키, 방향키를 포함하는 키패드로 구성될 수 있으며, 터치 패널(touch panel)로 구성될 수 있다. 휴대 단말기(100)는 상기 키패드 또는 터치 패널 이외에 버튼 키(button key), 조그 키(jog key), 휠 키(wheel key)를 더 포함할 수 있다. 입력부(140)는 사용자 입력에 따라 휴대 단말기(100)의 기능들(통화 기능, 동영상 또는 음악 재생 기능, 이미지 디스플레이 기능, 카메라 촬영 기능 등)을 실행하는 입력 신호를 생성하여 제어부(170)에 전달한다. 본 발명의 실시예에 따라 사용자는 입력부(140)를 통해 입체 동영상을 재생(play)하는 명령을 입력하며, 앞으로 감기(fast-forward) 후 재생 명령, 뒤로 감기(rewind) 후 재생 명령, 재생 위치 선택 명령을 입력할 수 있다.

표시부(150)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 휴대 단말기(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(150)는 휴대 단말기(100)의 부팅 화면, 대기 화면, 메뉴 화면, 통화 화면, 기타 어플리케이션 화면을 출력한다. 본 발명의 실시예에 따른 표시부(150)는 제어부(170) 내의 영상 디코더(171)에 의해 디코드된 영상을 영상 출력 제어부(173)의 제어를 받아 출력한다.

입체 영상부(160)는 표시부(150)와 적층하여 위치하고, 관측자의 좌우 양안에 각기 다른 영상 정보가 인식되도록 하는 구성 요소에 해당한다. 본 발명의 실시예에 따른 입체 영상부(160)는 렌티큘러 렌즈(Lenticular Lens) 또는 패럴렉스 배리어(Parallax Barrier)가 될 수 있다. 렌티큘러 렌즈는 반원통형의 모양을 하는 렌즈의 초점면에 줄무늬 형태로 좌우 영상을 배치하고, 렌즈를 통해 렌즈 판의 방향성에 따라 좌우 영상이 분리되어 사용자가 안경 없이 입체영상을 볼 수 있도록 구성된다. 렌즈 한 개의 폭은 표시기의 화소 폭에 의해 결정되는데, 좌우 영상에 해당하는 두 개의 화소가 들어가도록 설정될 수 있다. 이러한 렌즈 효과는 렌즈의 좌측에 있는 화소가 오른쪽 눈에만 보이고, 우측에 있는 화소가 왼쪽 눈에만 보이게 하여 좌우 영상의 분리가 가능하도록 한다.

패럴렉스 배리어는 빛을 투과 또는 차단시키는 가느다란 줄무늬 모양의 수직 슬릿을 일정한 간격으로 배열시킨 다음 그 앞 또는 뒤에 적당한 간격을 두고 좌우 영상을 교대로 배치하도록 구성된다. 특정 시점에서 슬릿을 통해 볼 때, 기하 광학적으로 좌우 영상이 정확하게 분리될 수 있으며, 사용자가 입체감을 느낄 수 있도록 한다.

제어부(170)는 휴대 단말기(100)의 전반적인 동작 및 휴대 단말기(100)의 내부 블록들 간 신호 흐름을 제어한다. 본 발명의 실시예에 따른 제어부(170)는 영상 디코더(decoder)(171), L-R 프레임 판단부(172), 영상 출력 제어부(173) 및 프레임 정보 저장부(174)를 포함한다.

본 발명의 실시예에 따른 영상 디코더(171)는 저장부(130)로부터 입체 영상 데이터를 추출하고, 입체 영상 데이터를 구성하는 각각의 프레임에 대해 디코드 과정을 수행한다. 본 발명의 실시예에 따른 영상 디코더(171)는 저장부(130)로부터 추출한 입체 영상 데이터에 포함되는 프레임 정보를 저장하는 프레임 정보 저장부(174)를 포함할 수 있다. 프레임 정보는 프레임들을 식별하는 정보로서 프레임 번호(frame number), 시간 스탬프(time stamp)가 될 수 있다. 프레임 정보는 각 프레임의 헤더(header) 정보로서 기록될 수 있다.

영상 디코더(171)는 각각의 프레임에 대해 디코드를 수행한 후, L-R 프레임 판단부(172) 또는 영상 출력 제어부(173)로 전송한다. 영상 디코더(171)는 사용자의 재생 위치 변경 명령이 입력되는 경우, 변경된 재생 위치에 해당하는 I-프레임부터 디코드하며, 최초로 디코드 한 I-프레임을 L-R 프레임 판단부(172)로 전송하며, 이 후 디코드 하는 프레임들을 영상 출력 제어부(173)로 전송한다.

L-R 프레임 판단부(172)는 사용자의 재생 위치 변경 명령이 입력되는 경우, 영상 디코더(171)로부터 출력되는 최초 I-프레임이 L-프레임인지 R-프레임인지 판단하는 역할을 수행한다. L-R 프레임 판단부(172)는 영상 디코더(171)로부터 I-프레임을 수신하면, 수신한 I-프레임에 대응하는 프레임 정보를 프레임 정보 저장부(174)로부터 추출한다. L-R 프레임 판단부(172)는 영상 디코더(171)로부터 추출한 프레임 정보를 이용하여 수신한 I-프레임이 L-프레임인지 R-프레임인지 판단한 후, 수신한 I-프레임과 함께 상기 I-프레임이 L-프레임인지 R-프레임인지에 관한 정보를 영상 출력 제어부(173)로 전달한다.

영상 출력 제어부(173)는 영상 디코더(171) 또는 L-R 프레임 판단부(172)로부터 수신한 프레임을 표시부(150)를 제어하여 출력하는 역할을 수행한다. 본 발명의 실시예에 따른 영상 출력 제어부(173)는 L-R 프레임 판단부(172)로부터 I-프레임과 상기 I-프레임이 L-프레임인지 R-프레임인지에 관한 정보를 수신하여, 수신한 I-프레임이 L-프레임에 해당하는 것으로 판단하는 경우, 표시부(150)를 제어하여 수신한 I-프레임부터 출력한다. 이 때, 영상 출력 제어부(173)는 표시부(150)를 제어하여 상기 수신한 I-프레임과 다음 순서의 R-프레임을 합성하여 하나의 프레임으로 결합하여 출력하게 된다. 이 때, 다음 순서의 R-프레임은 I-프레임 또는 P-프레임에 해당할 수 있으며, 이는 키 프레임 인터벌(key frame interval)에 의해 결정된다. 수신한 프레임이 R-프레임에 해당하는 것으로 판단하는 경우, 영상 출력 제어부(173)는 L-R 시퀀스 과정을 수행한다. 영상 출력 제어부(173)는 I-프레임을 출력하지 않고, 다음 순서의 L-프레임을 영상 디코더(171)로부터 수신할 때까지 대기한다. 다음 순서의 L-프레임을 영상 디코더(171)로부터 수신하면, 영상 출력 제어부(173)는 표시부(150)를 제어하여 수신한 L-프레임부터 출력한다. 이 때, 영상 출력 제어부(173)는 표시부(150)를 제어하여 상기 수신한 L-프레임과 다음 순서의 R-프레임을 합성하여 하나의 프레임으로 결합하여 출력하게 된다. L-프레임은 I-프레임 또는 P-프레임에 해당할 수 있으며, 이는 키 프레임 인터벌(key frame interval)에 의해 결정된다.

본 발명의 실시예에 따라 휴대 단말기(100)는 DMB(Digital Multimedia Broadcasting) 수신기(미도시)를 더 포함할 수 있다. 제어부(170)는 DMB 수신기를 제어하여 입체 영상을 포함하는 DMB 신호를 수신하고, 영상 디코더(171)는 소정의 포맷으로 코드(code) 된 입체 영상을 디코드(decode)하여 영상 출력 제어부(173)로 전달하고, 영상 출력 제어부(173)는 표시부(150)를 제어하여 디코드 된 입체 영상 을 출력할 수 있다.

이상으로 본 발명의 실시예에 따른 입체 영상을 출력하는 휴대 단말기(100)의 구성 요소에 대해 살펴보았으며, 이하에서는 입체 영상을 출력하는 방법에 대해 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 휴대 단말기(100)의 입체 영상 출력 과정을 설명하는 순서도이다.

301단계에서 제어부(170)는 표시부(150)를 제어하여 입체 동영상을 재생한다. 입체 동영상 데이터가 저장부(130)에 코드(code) 된 상태로 저장된 경우, 제어부(170) 내의 영상 디코더(171)는 저장부(130)에 저장된 입체 동영상 데이터를 추출하고, 입체 동영상 데이터를 구성하는 각각의 프레임(frame)에 대해 디코드(decode) 과정을 수행한다. 영상 디코더(171)는 디코드 된 프레임을 영상 출력 제어부(173)로 전달하며, 영상 출력 제어부(173)는 표시부(150)를 제어하여 디코드된 프레임들로 구성되는 입체 동영상을 출력한다.

입체 동영상 데이터가 무선 신호에 포함되어 무선통신부(110)를 통해 휴대 단말기(100)로 수신되거나, DMB 신호에 포함되어 DMB 수신기(미도시)를 통해 휴대 단말기(100)로 수신될 수 있다. 제어부(170)는 무선통신부(110) 또는 DMB 수신기(미도시)를 제어하여 입체 동영상 데이터를 수신하고, 이를 영상 디코더(171)로 전송한다. 영상 디코더(171)는 입체 동영상을 구성하는 각각의 프레임에 대해 디코드 과정을 수행한다. 영상 디코더(171)는 디코드 된 프레임들을 영상 출력 제어부(173)로 전달하고, 영상 출력 제어부(173)는 표시부(150)를 제어하여 디코드된 프레임들로 구성되는 입체 동영상을 출력한다.

302단계에서 제어부(170)는 입력부(140)를 제어하여 사용자에 의해 재생 위치 변경 명령이 입력되는지 여부를 판단한다. 입력부(140)에 앞으로 감기(fast-forward) 키와 뒤로 감기(rewind) 키가 구비된 경우, 제어부(170)는 입력부(140)를 통해 상기 키가 입력되고 다시 재생(play) 키가 입력되는지 여부를 판단함으로써, 재생 위치 변경 명령이 입력되는지 여부를 판단할 수 있다. 또한 휴대 단말기(100)가 터치스크린 기반으로 이루어지는 경우, 제어부(170)는 표시부(150)를 제어하여 현재 재생 정도를 나타내는 프로그레스 바(progress bar)를 표시하며, 입력부(140)(예를 들어, 터치 센서)를 제어하여 프로그레스 바 중 특정 위치가 터치되는지 여부를 판단함으로써, 재생 위치 변경 명령이 입력되는지 여부를 판단할 수 있다.

사용자에 의해 재생 위치 변경 명령이 입력된 것으로 판단하면, 303단계에서 제어부(170) 내의 영상 디코더(171)는 변경된 재생 위치에 해당하는 I-프레임 부터 디코드 과정을 개시한다. 변경된 재생 위치에 I-프레임이 위치하는 경우, 영상 디코더(171)는 I-프레임부터 디코드를 시작한다. 반면, 변경된 재생 위치에 P-프레임이 위치하는 경우, 영상 디코더(171)는 상기 P-프레임에 가장 인접한 I-프레임부터 디코드를 개시한다. 영상 디코더(171)는 P-프레임부터 디코드할 수 없기 때문에 P-프레임과 가장 인접한 I-프레임을 검색하고, 검색된 I-프레임부터 디코드하는 것이다.

영상 디코더(171)는 I-프레임을 디코드 한 후, 디코드 된 I-프레임을 L-R 프레임 판단부(172)에 전송한다. L-R 프레임 판단부(172)는 304단계에서 프레임 정보 저장부(174) 내에 저장된 프레임 정보를 통해 영상 디코더(171)로부터 수신한 I-프레임이 L-프레임인지, R-프레임인지를 판단한다. 304단계의 세부 과정은 도 4에 구체적으로 개시되어 있다.

304단계에서 L-R 프레임 판단부(172)가 수신한 I-프레임이 L-프레임인 것으로 판단하면, 수신한 I-프레임과, I-프레임이 L-프레임에 해당한다는 정보를 영상 출력 제어부(173)로 전송한다. 영상 출력 제어부(173)는 수신한 I-프레임이 L-프레임에 해당함을 확인한 후, 305단계에서 표시부(150)를 제어하여 입체 영상을 출력한다. 영상 출력 제어부(173)는 L-프레임과 다음 순서의 R-프레임을 합성하여 하나의 프레임으로 결합하고, 표시부(150)를 제어하여 결합된 프레임을 출력하게 된다.

304단계에서 L-R 프레임 판단부(172)가 수신한 I-프레임이 R-프레임인 것으로 판단하면, 수신한 I-프레임과, I-프레임이 R-프레임에 해당한다는 정보를 영상 출력 제어부(173)로 전송한다. 영상 출력 제어부(173)는 수신한 I-프레임이 R-프레임에 해당함을 확인한 후, 306단계에서 L-R 시퀀스 조정 과정을 수행한다.

구체적으로 영상 출력 제어부(173)는 상기 수신한 I-프레임을 출력하지 않고, 다음 순서의 L-프레임이 수신될 때까지 대기한다. 영상 출력 제어부(173)는 영상 디코더(171)로부터 다음 순서의 L-프레임을 수신하면, 상기 수신한 L-프레임을 출력할 최초 프레임으로 설정한다.

이후, 영상 출력 제어부(173)는 305단계에서 표시부(150)를 제어하여 입체 영상을 출력한다. 영상 출력 제어부(173)는 L-프레임과 다음 순서의 R-프레임을 합성하여 하나의 프레임으로 결합하고, 표시부(150)를 제어하여 상기 결합된 프레임을 출력하게 된다.

본 발명의 실시예에 따라 사용자에 의해 최초로 입체 동영상 재생 명령이 입력되면, 제어부(170) 내의 영상 디코더(171)는 재생할 위치에 해당하는 I-프레임을 탐색하고, 탐색된 I-프레임을 디코드할 수 있다. 영상 디코더(171)는 I-프레임을 디코드한 후, 디코드 된 I-프레임을 L-R 프레임 판단부(172)에 전송하며, L-R 프레임 판단부(172)는 이후 304단계 내지 308단계를 수행할 수 있다.

상기 과정을 통하면, 사용자가 재생 위치를 변경하는 명령을 입력했을 때, 변경된 재생 위치에 해당하는 I-프레임이 R-프레임에 해당하더라도 L-R 시퀀스를 유지할 수 있으며, 입체감 역전 현상 발생을 억제할 수 있다.

도 4는 도 3의 304단계의 과정을 구체적으로 도시한 순서도에 해당한다. 도4에 도시된 각각의 단계는 본 발명의 L-R 프레임 판단부(172)에 의해 실행된다.

L-R 프레임 판단부(172)는 영상 디코더(171)로부터 출력되는 I-프레임을 수신하면, 401단계에서 상기 수신한 I-프레임의 정보를 프레임 정보 저장부(174)로부터 추출한다. 프레임 정보 저장부(174)에 저장되는 프레임 정보는 프레임 번호(frame number) 또는 시간 스탬프(time stamp)가 될 수 있다. 본 발명에서 프레임 번호는 재생 순서에 따라 각각의 프레임들에 매긴 번호에 해당한다. 예를 들어, 동영상이 n개의 프레임들로 구성된 경우, 프레임 번호는 1번부터 n번까지 설정될 수 있다. 또한 본 발명에서 시간 스탬프는 각각의 프레임들에 매겨진 재생 시간 정보에 해당한다.

포맷이 'avi'인 입체 동영상 데이터의 경우에는 입체 동영상을 구성하는 각각의 프레임들에 프레임 번호가 설정될 수 있다. 이 때, 프레임 정보 저장부(174)는 각각의 프레임에 대해 프레임 번호를 저장하게 된다. 포맷이 'mp4'인 입체 동영상 데이터의 경우에는 입체 동영상을 구성하는 각각의 프레임들에 시간 스탬프가 설정되어 있으며, 프레임 정보 저장부(174)는 각각의 프레임 대해 시간 스탬프를 저장한다.

401단계에서 프레임 정보를 추출하면, L-R 프레임 판단부(172)는 402단계에서 추출한 프레임 정보가 프레임 번호에 해당하는지 판단한다. 판단 결과, 프레임 정보가 프레임 번호에 해당하는 경우, 403단계에서 L-R 프레임 판단부(172)는 프레임 번호가 홀수(odd number)에 해당하는지 판단한다. 판단 결과, 프레임 번호가 홀수인 경우, L-R 프레임 판단부(172)는 404단계에서 I-프레임을 L-프레임으로 판단하게 된다. 동영상은 L-R 시퀀스로 나열되어 있기 때문에, 홀수 번째 프레임을 L-프레임으로 판단하게 되는 것이다.

403단계에서 L-R 프레임 판단부(172)가 프레임 번호가 짝수(even number)에 해당하는 것으로 판단하는 경우, L-R 프레임 판단부(172)는 405단계에서 I-프레임을 R-프레임으로 판단하게 된다. 동영상은 L-R 시퀀스로 나열되어 있기 때문에, 짝수 번째 프레임을 R-프레임으로 판단하게 되는 것이다. L-R 프레임 판단부(172)는 I-프레임이 L-프레임인지 R-프레임인지 판단한 후, 상기 판단된 정보와 영상 디코더(171)로부터 수신한 I-프레임을 영상 출력 제어부(173)로 전송한다.

402단계에서 추출한 프레임 정보가 프레임 번호에 해당하는 것으로 판단하지 않으면, 406단계에서 L-R 프레임 판단부(172)는 추출한 프레임 정보가 시간 스탬프에 해당하는지 판단한다. 판단 결과, 추출한 프레임 정보가 시간 스탬프인 경우, 407단계에서 L-R 프레임 판단부(172)는 1초당 프레임 개수 정보(frame per second, FPS)와 시간 스탬프를 이용하여 I-프레임이 최초 프레임으로부터 몇 번째 프레임에 해당하는지에 관한 값을 산출한다. 1초당 프레임 개수 정보에 역수를 취하면, 프레임들 간의 시간 간격이 도출된다(1/FPS = 프레임들 간 시간 간격). 그리고 상기 도출된 프레임들 간의 시간 간격에 추출된 시간 스탬프를 곱하면 해당 프레임이 최초 프레임부터 몇 번째 프레임인지 알 수 있게 된다. 이러한 연산 과정은 L-R 프레임 판단부(172)에 의해 수행된다.

L-R 프레임 판단부(172)는 407단계에서 I-프레임이 최초 프레임부터 몇 번째 프레임에 해당하는지에 관한 값을 산출한 후, 408단계에서 산출된 값이 홀수인지 판단한다. 판단 결과, 프레임 번호가 홀수인 경우, L-R 프레임 판단부(172)는 409단계에서 I-프레임을 L-프레임으로 판단하게 된다. 408단계에서 프레임 번호가 짝수(even number)에 해당하는 것으로 판단하는 경우, L-R 프레임 판단부(172)는 410단계에서 I-프레임을 R-프레임으로 판단하게 된다. L-R 프레임 판단부(172)는 I-프레임이 L-프레임인지 R-프레임인지 판단한 후, 판단된 정보와 영상 디코더(171)로부터 수신한 I-프레임을 영상 출력 제어부(173)로 전송한다.

본 발명은 'avi' 포맷, 'mp4' 포맷을 예시로 설명하였으나, 이에 한정되는 것은 아니며, 프레임 번호 또는 시간 스탬프가 설정된 프레임들로 코드 되는 포맷 전체에 대해 적용 가능하다.

본 발명을 통하면, 사용자가 동영상을 재생시킨 후, 재생 위치를 변경하는 명령을 입력하였을 때, 최초 디코드 되는 I-프레임이 R-프레임에 해당하는 경우에도 L-프레임부터 출력하게 함으로써, L-R 시퀀스가 계속적으로 유지될 수 있다. 이로써, 입체감이 역전되는 현상을 방지할 수 있다.

본 발명의 실시예에 따라 L-프레임과 R-프레임 코딩 시, L-프레임과 R-프레임이 하나의 페어(pair)로 코딩하는 경우, 휴대 단말기(100)가 입체 영상 출력 시, L-R 시퀀스가 유지될 수 있다.

한편, 상술한 바와 같은 본 발명의 입체 영상 출력 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이 때, 상기 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

상기 컴퓨터로 판독 가능한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media), CD-ROM, DVD와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.

한편, 본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 휴대 단말기 170 : 제어부
110 : 무선통신부 171 : 영상 디코더(decoder)
120 : 오디오 처리부 172 : L-R 프레임 판단부
130 : 저장부 173 : 영상 출력 제어부
140 : 입력부 174 : 프레임 정보 저장부
150 : 표시부
160 : 입체 영상부

Claims

휴대 단말기의 입체 영상 출력 방법에 있어서,
입체 동영상 재생 제어 명령이 입력되는 입력 단계;
재생할 위치에 해당하는 I-프레임(key frame)을 탐색하는 탐색 단계;
상기 탐색된 I-프레임을 디코드(decode)하는 디코드하고, 상기 디코드 된 I-프레임이 L-프레임(Left-frame)인지 R-프레임(Right-frame)인지 판단하는 판단 단계;
상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, L-R 시퀀스(sequence)를 조정하는 조정 단계;
상기 조정된 L-R 시퀀스로 입체 영상을 출력하는 출력 단계를 포함하는 것을 특징으로 하는 입체 영상 출력 방법.
제1항에 있어서,
상기 입력 단계는
재생(play) 명령, 앞으로 감기(fast forward) 후 재생 명령, 뒤로 감기(rewind) 후 재생 명령, 재생 위치 임의 선택 명령 중 어느 하나가 입력되는 것을 특징으로 하는 입체 영상 출력 방법.
제1항에 있어서,
상기 탐색 단계는
상기 재생할 위치에 대응하는 프레임이 I-프레임인지 P-프레임(delta frame)인지 판단하는 단계; 및
P-프레임으로 판단한 경우, 상기 P-프레임에 가장 인접한 I-프레임을 탐색하는 단계를 포함하는 것을 특징으로 하는 입체 영상 출력 방법.
제1항에 있어서,
상기 판단 단계는
상기 디코드 된 I-프레임으로부터 프레임 정보를 추출하는 단계;
상기 추출된 프레임 정보가 프레임 번호에 해당하는 경우, 상기 프레임 번호가 홀수(odd number)인지 짝수(even number)인지 판단하는 단계; 및
상기 판단 결과, 상기 프레임 번호가 홀수인 경우 상기 디코드 된 I-프레임을 L-프레임으로 판단하고, 상기 프레임 번호가 짝수인 경우 상기 디코드 된 I-프레임을 R-프레임으로 판단하는 단계를 포함하는 것을 특징으로 하는 입체 영상 출력 방법.
제1항에 있어서,
상기 판단 단계는
상기 탐색된 I-프레임을 디코드하는 디코드하는 단계;
상기 디코드 된 I-프레임으로부터 프레임 정보를 추출하는 단계;
상기 추출된 프레임 정보가 각 프레임에 설정된 재생 시간에 관한 정보에 해당하는 경우, 1초당 프레임의 개수 정보와 상기 재생 시간에 관한 정보를 이용하여 상기 디코드 된 I-프레임이 최초 프레임부터 몇 번째 프레임인지에 관한 값을 산출하는 단계;
상기 산출된 값이 홀수(odd number)인지 짝수(even number)인지 판단하는 단계; 및
상기 판단 결과, 상기 프레임 정보가 홀수인 경우 상기 디코드 된 I-프레임을 L-프레임으로 판단하고, 상기 프레임 정보가 짝수인 경우 상기 디코드 된 I-프레임을 R-프레임으로 판단하는 단계를 포함하는 것을 특징으로 하는 입체 영상 출력 방법.
제1항에 있어서,
상기 조정 단계는
상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, 상기 I-프레임을 출력하지 않고, 다음 순서의 L-프레임을 수신할 때까지 대기하는 단계; 및
상기 다음 순서의 L-프레임을 수신하면, 상기 수신한 L-프레임을 출력할 최초 프레임으로 설정하는 단계를 포함하는 것을 특징으로 하는 입체 영상 출력 방법.
제6항에 있어서,
상기 출력 단계는
상기 수신한 L-프레임 다음 순서의 R-프레임 수신할 때까지 대기하는 단계; 및
상기 다음 순서의 R-프레임을 수신하면, 상기 수신한 L-프레임과 R-프레임을 합성하여 하나의 프레임으로 출력하는 단계를 포함하는 것을 특징으로 하는 입체 영상 출력 방법.
입체 영상을 구성하는 복수의 프레임들을 L-프레임(Left-frame)과 R-프레임(Right-frame)으로 구분하는 방법에 있어서,
상기 복수의 프레임들 중 어느 하나의 프레임으로부터 프레임 정보를 추출하는 단계;
상기 추출된 프레임 정보가 프레임 순서에 해당하는 프레임 번호(frame number)인 경우, 상기 프레임 번호가 홀수(odd number)인지 짝수(even number)인지 판단하는 단계; 및
상기 판단 결과, 상기 프레임 번호가 홀수인 경우 상기 어느 하나의 프레임을 L-프레임으로 판단하고, 상기 프레임 번호가 짝수인 경우 상기 어느 하나의 프레임을 R-프레임으로 판단하는 단계를 포함하는 것을 특징으로 하는 프레임 구분 방법.
제8항에 있어서,
상기 추출된 프레임 정보가 각 프레임에 설정된 재생 시간에 관한 정보에 해당하는 경우, 1초당 프레임의 개수 정보와 상기 재생 시간에 관한 정보를 이용하여 상기 어느 하나의 프레임이 최초 프레임부터 몇 번째 프레임인지에 관한 값을 산출하는 단계;
상기 산출된 값이 홀수(odd number)인지 짝수(even number)인지 판단하는 단계; 및
상기 판단 결과, 상기 프레임 정보가 홀수인 경우 상기 어느 하나의 프레임을 L-프레임으로 판단하고, 상기 프레임 정보가 짝수인 경우 상기 어느 하나의 프레임을 R-프레임으로 판단하는 단계를 더 포함하는 것을 특징으로 하는 프레임 구분 방법.
입체 영상을 출력하는 휴대 단말기에 있어서,
입체 영상을 출력하는 표시부;
사용자로부터 입체 동영상 재생 제어 명령을 입력받는 입력부;
재생할 위치에 해당하는 I-프레임(key frame)을 탐색하고, 상기 탐색된 I-프레임을 디코드(decode)하는 영상 디코더;
상기 디코드 된 I-프레임이 L-프레임(Left-frame)인지 R-프레임(Right-frame)인지 판단하는 L-R 프레임 판단부;
상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, L-R 시퀀스를 조정하고, 상기 표시부를 제어하여 상기 조정된 L-R 시퀀스로 입체 영상을 표시하는 영상 출력 제어부를 포함하는 것을 특징으로 하는 휴대 단말기.
제10항에 있어서,
상기 영상 디코더는
상기 재생 위치에 대응하는 프레임이 I-프레임인지 P-프레임(delta frame)인지 판단하고, P-프레임으로 판단한 경우, 상기 P-프레임에 가장 인접한 I-프레임을 탐색하는 것을 특징으로 하는 휴대 단말기.
제10항에 있어서,
상기 L-R 프레임 판단부는
상기 디코드 된 I-프레임으로부터 프레임 정보를 추출하고, 상기 추출된 프레임 정보가 프레임 번호에 해당하는 경우, 상기 프레임 번호가 홀수(odd number)인지 짝수(even number)인지 판단하고, 상기 판단 결과, 상기 프레임 번호가 홀수인 경우 상기 디코드 된 I-프레임을 L-프레임으로 판단하고, 상기 프레임 번호가 짝수인 경우 상기 디코드 된 I-프레임을 R-프레임으로 판단하는 것을 특징으로 하는 휴대 단말기
제10항에 있어서,
상기 L-R 프레임 판단부는
상기 디코드 된 I-프레임으로부터 프레임 정보를 추출하고, 상기 추출된 프레임 정보가 각 프레임에 설정된 재생 시간에 관한 정보에 해당하는 경우, 1초당 프레임의 개수 정보와 상기 재생 시간에 관한 시간 정보를 이용하여 상기 디코드 된 I-프레임이 최초 프레임부터 몇 번째 프레임인지에 관한 값을 산출하고, 상기 산출된 값이 홀수(odd number)인지 짝수(even number)인지 판단하고, 상기 판단 결과, 상기 프레임 정보가 홀수인 경우 상기 디코드 된 I-프레임을 L-프레임으로 판단하고, 상기 프레임 정보가 짝수인 경우 상기 디코드 된 I-프레임을 R-프레임으로 판단하는 것을 특징으로 하는 휴대 단말기.
제10항에 있어서,
상기 영상 출력 제어부는
상기 디코드 된 I-프레임이 R-프레임에 해당하는 경우, 상기 I-프레임을 출력하지 않고, 다음 순서의 L-프레임을 수신할 때까지 대기하고, 상기 다음 순서의 L-프레임을 수신하면, 상기 수신한 L-프레임을 출력할 최초 프레임으로 설정하고, 상기 수신한 L-프레임 다음 순서의 R-프레임 수신할 때까지 대기하고, 상기 다음 순서의 R-프레임을 수신하면, 상기 수신한 L-프레임과 R-프레임을 합성하여 하나의 프레임으로 출력하는 것을 특징으로 하는 휴대 단말기.