KR20110107151A - 휴대 단말기의 입체 영상 처리 방법 및 장치 - Google Patents

휴대 단말기의 입체 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20110107151A
KR20110107151A KR1020100026351A KR20100026351A KR20110107151A KR 20110107151 A KR20110107151 A KR 20110107151A KR 1020100026351 A KR1020100026351 A KR 1020100026351A KR 20100026351 A KR20100026351 A KR 20100026351A KR 20110107151 A KR20110107151 A KR 20110107151A
Authority
KR
South Korea
Prior art keywords
image
line
frame
stereoscopic image
generated
Prior art date
Application number
KR1020100026351A
Other languages
English (en)
Inventor
권성근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100026351A priority Critical patent/KR20110107151A/ko
Priority to US13/069,686 priority patent/US20110234585A1/en
Publication of KR20110107151A publication Critical patent/KR20110107151A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 사이드 바이 사이드(Side by side) 형식의 입체 영상을 휴대 단말기에서 복원하여 처리하는 방법과 이를 지원하는 장치에 관한 것이다. 본 발명의 실시예에 따른 휴대 단말기의 입체 영상 처리 방법은 사이드 바이 사이드(Side by Side) 입체 영상을 수신하는 수신 단계; 상기 좌측 영역을 구성하는 버티컬(vertical) 라인들을 좌측 영상이 생성되는 프레임의 짝수 번째(even number) 라인에 배치하고, 상기 우측 영역을 구성하는 버티컬 라인들을 우측 영상이 생성되는 프레임의 홀수 번째(odd number) 라인에 배치하는 라인 배치 단계; 상기 프레임들에 배치된 버티컬 라인들을 보간(interpolation)하여 좌측 영상(Left Image) 및 우측 영상(Right Image)을 생성하는 좌우 영상 생성 단계; 및 상기 생성된 좌측 영상 및 우측 영상을 합성하여 하나의 프레임 형태의 입체 영상을 생성하여 표시하는 입체 영상 생성 표시 단계를 포함하는 것을 특징으로 한다. 본 발명을 통해 휴대 단말기는 종래보다 화질이 개선된 입체 영상을 사용자에게 제공할 수 있다.

Description

휴대 단말기의 입체 영상 처리 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING 3D IMAGE IN MOBILE TERMINAL}
본 발명은 휴대 단말기의 입체 영상 처리 방법 및 장치에 관한 것으로서, 특히 사이드 바이 사이드(Side by Side) 방식의 입체 영상을 휴대 단말기에서 복원하여 처리하는 방법과 이를 지원하는 장치에 관한 것이다.
최근 휴대 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활필수품으로 자리매김하게 되었다. 이와 같은 휴대 단말기는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가서비스도 제공할 수 있게 되어 기능상 멀티미디어 통신기기로 변모하게 되었다.
최근 3차원 입체 영상에 대한 수요가 급증하고 있으며, 디지털 방송이 상용화된 이후 3D(Dimensional) TV 및 3D 정보 단말기 등의 분야에서 입체 영상에 대한 연구가 활발히 이루어지고 있다.
일반적으로 3차원을 표현하는 입체 영상(3D Image)은 두 눈을 통한 스테레오(stereo) 시각의 원리에 의하여 이루어진다. 두 눈이 약 65mm 정도 떨어져서 있음으로 인해 나타나는 양안 시차는 입체감의 중요한 요인으로 작용한다. 좌우의 눈은 서로 다른 2차원 화상을 보게 되고, 두 화상이 망막을 통해 뇌로 전달되면 뇌는 이를 융합하여 3차원 영상의 깊이감과 입체감을 재생하게 된다.
이러한 입체 영상에 사용되는 컨텐츠 구성 형식으로는 좌, 우 영상을 라인(line) 단위로 번갈아 가면서 입체 프레임(frame)을 형성하는 인터레이스(Interlaced) 방식, 좌, 우 영상을 좌우로 붙여서 하나의 프레임을 형성하는 사이드 바이 사이드(Side by Side) 방식, 좌, 우 영상을 위, 아래로 붙여서 하나의 프레임을 형성하는 탑 앤 바텀(Top and Bottom) 방식이 사용된다.
이 중, 사이드 바이 사이드 방식은 3D 입체 방송 서비스에 사용되는 대표적인 컨텐츠 구성 형식에 해당한다. 그러나 사이드 바이 사이드 방식에서는 좌, 우 영상을 하나의 프레임으로 형성하기 때문에 영상 손실이 발생하고 화질이 저하되는 문제점이 나타나게 된다. 따라서 사이드 바이 사이드 방식을 이용하여 3D 입체 방송 서비스를 제공할 때, 입체 영상의 화질을 개선하는 방법이 요구된다고 할 수 있다.
본 발명의 목적은 입체 영상의 화질을 개선할 수 있는 휴대 단말기의 입체 영상 처리 방법과 이를 지원하는 장치를 제공하는데 있다.
본 발명의 실시예에 따른 휴대 단말기의 입체 영상 처리 방법은 사이드 바이 사이드(Side by Side) 입체 영상을 수신하는 수신 단계; 상기 좌측 영역을 구성하는 버티컬(vertical) 라인들을 좌측 영상이 생성되는 프레임의 짝수 번째(even number) 라인에 배치하고, 상기 우측 영역을 구성하는 버티컬 라인들을 우측 영상이 생성되는 프레임의 홀수 번째(odd number) 라인에 배치하는 라인 배치 단계; 상기 프레임들에 배치된 버티컬 라인들을 보간(interpolation)하여 좌측 영상(Left Image) 및 우측 영상(Right Image)을 생성하는 좌우 영상 생성 단계; 및 상기 생성된 좌측 영상 및 우측 영상을 합성하여 하나의 프레임 형태의 입체 영상을 생성하여 표시하는 입체 영상 생성 표시 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 입체 영상을 처리하는 휴대 단말기는 입체 영상을 표시하는 표시부; 사이드 바이 사이드(Side by Side) 입체 영상에 대해 상기 좌측 영역을 구성하는 버티컬(vertical) 라인들을 좌측 영상이 생성되는 프레임의 짝수 번째(even number) 라인에 배치하고, 상기 우측 영역을 구성하는 버티컬 라인들을 우측 영상이 생성되는 프레임의 홀수 번째(odd number) 라인에 배치하는 라인 배치부; 상기 프레임들에 배치된 버티컬 라인들을 보간(interpolation)하여 좌측 영상(Left Image) 및 우측 영상(Right Image)을 생성하는 라인 보간부; 및 상기 생성된 좌측 영상 및 우측 영상을 합성하여 하나의 프레임 형태의 입체 영상을 생성하는 좌우 영상 합성부; 및 상기 표시부를 제어하여 상기 생성된 입체 영상을 표시하는 영상 출력 제어부를 포함하는 것을 특징으로 한다.
본 발명을 통해 휴대 단말기는 종래보다 화질이 개선된 입체 영상을 사용자에게 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 입체 영상을 처리하는 휴대 단말기의 내부 구성도에 해당한다.
도 2는 본 발명의 실시예에 따른 휴대 단말기의 입체 영상 처리 과정을 설명하는 순서도이다.
도 3은 도 2의 203단계의 과정을 구체적으로 설명하는 순서도에 해당한다.
도 4a 및 도 4b는 본 발명의 실시예에 따라 사이드 바이 사이드 입체 영상으로부터 좌측 영상과 우측 영상을 생성하는 형태를 도시하는 도면이다.
도 4c는 본 발명의 실시예에 따른 재구성 입체 영상을 도시하는 도면에 해당한다.
도 5a 및 도 5b는 원본 영상, 종래 기술에 따라 복원된 영상, 본 발명에 따라 복원된 영상을 비교하는 도면에 해당한다.
도 6은 사이드 바이 사이드(Side by Side) 방식의 입체 영상이 생성되는 형태를 도시하는 도면이다.
도 7a는 종래 기술에 따라 생성된 좌측 영상과 우측 영상을 도시하는 도면이다.
도 7b는 도 7a의 좌측 영상과 우측 영상이 합성된 재구성 입체 영상을 도시하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
본 발명은 휴대 단말기를 예로 들어 설명하지만, 이에 한정되는 것은 아니며 입체 영상을 출력할 수 있는 모든 장치에 적용될 수 있다. 또한 본 발명의 실시예에 따른 휴대 단말기는 이동통신 단말기, 휴대용 멀티미디어 재생 장치(Portable Multimedia Player-PMP), 개인 정보 단말기(Personal Digital Assistant-PDA), 스마트 폰(Smart Phone), MP3 플레이어 등에 해당할 수 있다. 휴대 단말기가 이동통신 단말기에 해당하는 경우, IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA (Wideband Code Division Multiple Access) 단말기, GSM/GPRS(Global System For Mobile Communication/General Packet Radio Service) 및 UMTS (Universal Mobile Telecommunication Service) 단말기 등이 될 수 있다.
본 발명에서는 DMB 방송으로 수신되는 입체 영상 컨텐츠를 기준으로 입체 영상 처리 방법에 대해 설명하기로 한다. 그러나 이에 한정되는 것은 아니며, 휴대 단말기 내의 저장소에 저장되는 입체 영상 컨텐츠에 대해서도 본 발명은 적용될 수 있다.
또한 본 발명에서는 사이드 바이 사이드(Side by Side) 방식의 입체 영상을 기준으로 입체 영상 처리 방법에 대해 설명하기로 한다. 그러나 이에 한정되는 것은 아니며, 탑 앤 바텀(Top and Bottom) 방식의 입체 영상에 대해서도 본 발명은 적용될 수 있다.
본 발명은 사이드 바이 사이드(Side by Side) 방식의 입체 영상이 휴대 단말기로 수신되는 경우, 휴대 단말기에서 입체 영상을 복원하여 처리하는 방법에 관한 것으로서, 사이드 바이 사이드 방식의 입체 영상이 형성되는 과정부터 설명하기로 한다.
좌측 스테레오 카메라(left stereo camera)와 우측 스테레오 카메라(right stereo camera)는 일정한 거리로 이격 된 상태에서 동일한 피사체를 촬영한다. 좌측 스테레오 카메라로부터 좌 시점 영상이 생성되며, 우측 스테레오 카메라로부터 우 시점 영상이 생성되며, 입체 영상 제작 장치는 상기 생성된 좌 시점 영상과 우 시점 영상으로부터 사이드 바이 사이드 방식의 입체 영상을 생성한다.
도 6은 사이드 바이 사이드(Side by Side) 방식의 입체 영상이 생성되는 형태를 도시하는 도면이다.
도 6은 좌 시점 영상(601), 우 시점 영상(602) 및 상기 좌 시점 영상(601)과 우 시점 영상(602)으로부터 생성되는 사이드 바이 사이드 방식의 입체 영상(603)을 도시하고 있다. 도 6은 각각 25개의 버티컬(vertical) 라인을 포함하는 좌 시점 영상(601)과 우 시점 영상(602)을 도시하고 있다. 좌 시점 영상(601)의 짝수 번째 라인들(0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24)은 사이드 바이 사이드 입체 영상(Side by Side 3D Image)(603)의 좌측 영역으로 구성되며, 우 시점 영상(602)의 홀수 번째 라인들(1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23)은 사이드 바이 사이드 입체 영상(603)의 우측 영역으로 구성된다.
좌 시점 영상(601)의 짝수 번째 라인들과 우 시점 영상(602)의 홀수 번째 라인들이 사이드 바이 사이드 입체 영상(603)을 구성하는 것은 입체 방송 서비스의 규약에 따라 정해지는 것이며, 규약에 따라 좌 시점 영상(601)의 홀수 번째 라인들과 우 시점 영상(602)의 짝수 번째 라인들이 사이드 바이 사이드 입체 영상(603)을 구성할 수 있다.
상기 방법으로 생성된 사이드 바이 사이드 입체 영상은 소정의 방식(예를 들어, H.264 등)의 인코드(encode) 과정을 거쳐 코드화된다. 코드화 된 입체 영상은 DMB 방송 또는 무선 네트워크를 통해 휴대 단말기로 전송된다. 이하에서는 휴대 단말기에 코드화 된 사이드 바이 사이드 입체 영상이 전송될 때, 휴대 단말기가 코드화 된 사이드 바이 사이드 입체 영상을 처리하는 방법에 대해 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 입체 영상을 처리하는 휴대 단말기(100)의 내부 구성도에 해당한다. 휴대 단말기(100)는 무선통신부(110), 오디오 처리부(120), DMB(Digital Multimedia Broadcasting) 모듈부(130), 저장부(140), 입력부(150), 입체 영상 표시부(160) 및 제어부(170)를 포함한다.
무선통신부(110)는 휴대 단말기(100)의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선통신부(110)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 무선통신부(110)는 무선 채널을 통해 데이터를 수신하여 제어부(170)로 출력하고, 제어부(170)로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다. 본 발명의 실시예에 따른 무선통신부(110)는 외부 서버 또는 외부 단말기로부터 입체 영상을 수신할 수 있다.
오디오 처리부(120)는 코덱(CODEC)을 포함할 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱으로 구성될 수 있다. 오디오 처리부(120)는 디지털 오디오 신호를 오디오 코덱을 통해 아날로그 오디오 신호로 변환하여 리시버(RCV) 또는 스피커(SPK)를 통해 출력하고, 마이크(MIC)로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오 신호로 변환한다.
DMB(Digital Multimedia Broadcasting) 모듈부(130)는 방송 스테이션(station)으로부터 송출되는 DMB 방송 신호를 수신하는 역할을 수행한다. 본 발명에서 DMB 모듈부(130)는 위성 DMB용 방송 수신기로 구성됨이 바람직하다. 그러나 이에 한정되는 것은 아니며 DMB 모듈부(130)는 지상파 DMB용 방송 수신기로 구성될 수도 있다. 방송 스테이션은 입체 영상 컨텐츠를 주파수가 12 - 18GHz 영역의 Ku 밴드 주파수를 통해서 CDM(Code Division Multiplexing)와 TDM(Time Division Multiplexing) 신호로 송출한다. 정지 궤도 위성은 상기 송출된 신호를 수신하고 1550 - 5200MHz 영역의 S 밴드와 Ku 밴드 주파수를 통해 다시 송출한다. Ku 밴드 주파수는 음영 지역의 원활한 전파 수신을 위한 갭 필러(Gap-filler)에 의해 S 밴드 주파수로 변환된다. DMB 모듈부(130)는 정기 궤도 위성 및 갭 필러로부터 S 밴드 주파수를 수신하게 된다.
저장부(140)는 휴대 단말기(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 저장부(140)는 휘발성(volatile) 저장 매체 또는 비휘발성(nonvolatile) 저장 매체로 구성될 수 있으며, 양 저장 매체의 조합(combination)으로 구성될 수도 있다. 휘발성 저장 매체로는 RAM, DRAM, SRAM과 같은 반도체 메모리(semiconductor memory)가 포함되며, 비휘발성 저장 매체로는 하드 디스크(hard disk)가 포함될 수 있다. 본 발명의 실시예에 따른 저장부(140)는 입체 영상을 저장할 수 있다. 이 때, 저장부(140)는 소정의 포맷으로 코드화(code) 된 입체 영상을 저장할 수 있다.
입력부(150)는 휴대 단말기(100)를 제어하기 위한 사용자의 키 조작 신호를 입력받아 제어부(170)로 전달한다. 입력부(150)는 3*4 패드, Qwerty 패드 등 숫자 키, 문자 키, 방향키를 포함하는 키패드로 구성될 수 있으며, 터치 패널(touch panel)로 구성될 수 있다. 휴대 단말기(100)는 상기 키패드 또는 터치 패널 이외에 버튼 키(button key), 조그 키(jog key), 휠 키(wheel key)를 더 포함할 수 있다. 입력부(150)는 사용자 입력에 따라 휴대 단말기(100)의 기능들(통화 기능, 음악 재생 기능, 동영상 재생 기능, 이미지 디스플레이 기능, 카메라 촬영 기능, DMB 방송 출력 기능 등)을 실행하는 입력 신호를 생성하여 제어부(170)에 전달한다.
입체 영상 표시부(160)는 입체 영상부와 표시부로 구성된다. 표시부는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있으며, 휴대 단말기(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부는 휴대 단말기(100)의 부팅 화면, 대기 화면, 메뉴 화면, 통화 화면, 기타 어플리케이션 화면을 출력한다. 본 발명의 실시예에 따른 표시부는 영상 출력 제어부(175)의 제어에 의해 무선통신부(110) 또는 DMB 모듈부(130)로부터 수신하는 입체 영상을 출력할 수 있으며, 저장부(140)에 저장된 입체 영상을 출력할 수 있다.
입체 영상부는 표시부와 적층된 형태로 형성되는 구성 요소로서, 관측자의 좌우 양안에 각기 다른 영상 정보가 인식되도록 하게 한다. 본 발명의 실시예에 따른 입체 영상부는 렌티큘러 렌즈(Lenticular Lens) 또는 패럴렉스 배리어(Parallax Barrier)가 될 수 있다. 렌티큘러 렌즈는 반원통형의 모양을 하는 렌즈의 초점면에 줄무늬 형태로 좌우 영상을 배치하고, 렌즈를 통해 렌즈 판의 방향성에 따라 좌우 영상이 분리되어 사용자가 안경 없이 입체영상을 볼 수 있도록 구성된다. 렌즈 한 개의 폭은 표시기의 화소 폭에 의해 결정되는데, 좌우 영상에 해당하는 두 개의 화소가 들어가도록 설정될 수 있다. 이러한 렌즈 효과는 렌즈의 좌측에 있는 화소가 오른쪽 눈에만 보이고, 우측에 있는 화소가 왼쪽 눈에만 보이게 하여 좌우 영상의 분리가 가능하도록 한다.
패럴렉스 배리어는 빛을 투과 또는 차단시키는 가느다란 줄무늬 모양의 수직 슬릿을 일정한 간격으로 배열시킨 다음 그 앞 또는 뒤에 적당한 간격을 두고 좌우 영상을 교대로 배치하도록 구성된다. 특정 시점에서 슬릿을 통해 볼 때, 기하 광학적으로 좌우 영상이 정확하게 분리될 수 있으며, 사용자가 입체감을 느낄 수 있도록 한다.
제어부(170)는 휴대 단말기(100)의 전반적인 동작 및 휴대 단말기(100)의 내부 블록들 간 신호 흐름을 제어한다. 본 발명의 실시예에 따른 제어부(170)는 영상 디코더(decoder)(171), 라인 배치부(172), 라인 보간부(173), 좌우 영상 합성부(174) 및 영상 출력 제어부(175)를 포함한다.
본 발명의 실시예에 따른 영상 디코더(171)는 무선통신부(110) 또는 DMB 모듈부(130)로부터 코드화 된 사이드 바이 사이드 입체 영상을 수신하여 디코드 과정을 수행한다. 본 발명의 실시예에 따라 영상 디코더(171)는 저장부(140)로부터 코드화 된 사이드 바이 사이드 입체 영상을 추출하여 디코드 과정을 수행할 수 있다. 디코드 과정을 통해 사이드 바이 사이드 입체 영상은 좌측 영역과 우측 영역으로 구분되는 프레임 형태로 복귀된다. 도 6을 참조할 때, 사이드 바이 사이드 입체 영상은 디코드 과정을 통해 603의 형태로 복귀된다. 사이드 바이 사이드 입체 영상 중 좌측 영역은 좌 시점 영상(601)의 라인들로 구성되며, 우측 영역은 우 시점 영상(602)의 라인들로 구성된다. 영상 디코더(171)는 디코드 된 사이드 바이 사이드 입체 영상을 라인 배치부(172)로 전송한다.
라인 배치부(172)는 사이드 바이 사이드 입체 영상 중 좌측 영역을 구성하는 라인들을 좌측 영상이 생성되는 프레임(이하 '좌측 프레임'이라고 한다)에 배치하며, 우측 영역을 구성하는 라인들을 우측 영상이 생성되는 프레임(이하 '우측 프레임'이라고 한다)에 배치한다. 본 발명의 실시예에 따른 라인 배치부(172)는 사이드 바이 사이드 입체 영상 중 좌측 영역을 구성하는 라인들을 좌측 프레임의 짝수 번째 라인에 배치하고, 우측 영역을 구성하는 라인들을 우측 프레임의 홀수 번째 라인에 배치한다. 라인 배치부(172)는 사이드 바이 사이드 입체 영상 생성 시 좌 시점 영상으로부터 추출되는 라인 번호 및 우 시점 영상으로부터 추출되는 라인 번호에 따라, 사이드 바이 사이드 입체 영상을 구성하는 라인들을 좌측 프레임과 우측 프레임에 배치하게 된다. 라인 배치부(172)는 좌측 프레임과 우측 프레임에 라인들을 배치한 후, 라인들이 배치된 좌측 프레임과 우측 프레임을 라인 보간부(173)로 전송한다.
라인 보간부(173)는 좌측 프레임과 우측 프레임에 배치된 라인들을 보간(interpolation)하여 좌측 영상(Left Image)과 우측 영상(Right Image)을 생성하는 역할을 수행한다. 라인 보간부(173)는 좌측 프레임에 대해서는 짝수 번째 라인들을 보간하여 홀수 번째 라인들을 생성하며, 짝수 번째 라인들과 홀수 번째 라인들로 구성되는 좌측 영상을 생성한다. 또한 라인 보간부(173)는 우측 프레임에 대해서는 홀수 번째 라인들을 보간하여 짝수 번째 라인들을 생성하며, 홀수 번째 라인들과 짝수 번째 라인들로 구성되는 우측 영상을 생성한다. 라인 보간부(173)는 좌측 영상과 우측 영상을 생성하여 좌우 영상 합성부(174)로 전송한다.
좌우 영상 합성부(174)는 생성된 좌측 영상과 우측 영상을 합성하여 재구성 입체 영상(Reconstructed 3D Image)을 생성하는 역할을 수행한다. 좌측 영상과 우측 영상은 사이즈(size)가 동일하며 좌측 영상의 0번 라인과 우측 영상의 0번 라인의 위치가 일치하고, 좌측 영상의 n번 라인과 우측 영상의 n번 라인의 위치가 일치하도록 좌측 영상과 우측 영상을 합성시켜 재구성 입체 영상을 생성한다. 좌우 영상 합성부(174)는 생성된 재구성 입체 영상을 영상 출력 제어부(175)로 전송한다.
영상 출력 제어부(175)는 입체 영상 표시부(160)를 제어하는 역할을 수행한다. 영상 출력 제어부(175)는 저장부(140)에 저장된 영상, 무선통신부(110) 또는 DMB 모듈부(130)로부터 수신되는 영상을 입체 영상 표시부(160)를 제어하여 출력한다. 본 발명에서 영상 출력 제어부(175)는 좌우 영상 합성부(174)로부터 재구성 입체 영상을 수신하면, 입체 영상 표시부(160)를 제어하여 상기 수신한 재구성 입체 영상을 출력한다.
이상으로 본 발명의 실시예에 따른 입체 영상을 처리하는 휴대 단말기(100)의 구성 요소에 대해 살펴보았으며, 이하에서는 상기 휴대 단말기(100)를 이용한 입체 영상을 처리하는 방법에 대해 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 휴대 단말기(100)의 입체 영상 처리 과정을 설명하는 순서도이다.
201단계에서 제어부(170)는 DMB 모듈부(130)를 제어하여 코드화 된 사이드 바이 사이드 입체 영상(Side by Side 3D Image)을 수신한다. 입체 영상은 H.264, DviX 등의 인코더(encoder)에 의해 코드화되어 있다. DMB 모듈부(130)는 수신한 코드화 된 사이드 바이 사이드 입체 영상을 영상 디코더(171)로 전송한다.
202단계에서 영상 디코더(171)는 코드화 된 사이드 바이 사이드 입체 영상 에 대해 디코드(decode) 과정을 수행한다. 영상 디코더(171)는 디코드 과정을 통해 코드화 된 사이드 바이 사이드 입체 영상을 좌측 영역과 우측 영역으로 구분되는 프레임 형태의 사이드 바이 사이드 입체 영상으로 복귀시킨다. 영상 디코더(171)는 디코드 과정을 수행한 후, 사이드 바이 사이드 입체 영상을 라인 배치부(172)로 전송한다.
203단계에서 라인 배치부(172) 및 라인 보간부(173)는 사이드 바이 사이드 입체 영상을 구성하는 라인들을 이용하여 좌측 영상(Left Image)과 우측 영상(Right Image)을 생성한다. 203단계의 구체적인 과정은 도 3을 참조하여 설명하기로 한다. 라인 보간부(173)는 좌측 영상과 우측 영상을 생성하여 좌우 영상 합성부(174)로 전송한다.
204단계에서 좌우 영상 합성부(174)는 수신한 좌측 영상과 우측 영상을 합성하여 재구성 입체 영상(Reconstructed 3D Image)을 생성한다. 좌측 영상과 우측 영상은 사이즈(size)가 동일하며 좌우 영상 합성부(174)는 좌측 영상의 0번 라인과 우측 영상의 0번 라인의 위치가 일치하고, 좌측 영상의 n번 라인과 우측 영상의 n번 라인의 위치가 일치하도록 좌측 영상과 우측 영상을 합성시켜 재구성 입체 영상을 생성한다. 좌우 영상 합성부(174)는 생성된 재구성 입체 영상을 영상 출력 제어부(175)로 전송한다. 205단계에서 영상 출력 제어부(175)는 입체 영상 표시부(160)를 제어하여 상기 생성된 재구성 입체 영상을 출력한다.
본 발명은 도 2에서 사이드 바이 사이드 입체 영상을 구성하는 라인들을 이용하여 좌측 영상과 우측 영상을 생성하는 203단계에 특징이 있으며, 상기 단계는 도 3을 참조하여 구체적으로 설명하기로 한다.
도 3은 도 2의 203단계의 과정을 구체적으로 설명하는 순서도에 해당한다. 도 3에 도시된 과정들은 라인 배치부(172) 또는 라인 보간부(173)에 의해 수행된다.
301단계에서 라인 배치부(172)는 사이드 바이 사이드 입체 영상 중 좌측 영역을 구성하는 라인들을 좌측 프레임의 짝수 번째 라인(0, 2, 4, ...)에 배치한다. 라인 배치부(172)는 좌측 프레임의 홀수 번째 라인에는 '0'값을 입력하고, 짝수 번째 라인에는 사이드 바이 사이드 입체 영상의 좌측 영역을 구성하는 라인의 픽셀 값들을 입력한다.
이후, 302단계에서 라인 배치부(172)는 사이드 바이 사이드 입체 영상 중 우측 영역을 구성하는 라인들을 우측 프레임의 홀수 번째 라인(1, 3, 5, ...)에 배치한다. 라인 배치부(172)는 좌측 프레임의 짝수 번째 라인에는 '0'값을 입력하고, 홀수 번째 라인에는 사이드 바이 사이드 입체 영상의 우측 영역을 구성하는 라인의 픽셀 값들을 입력한다. 라인 배치부(172)는 라인들이 배치된 좌측 프레임과 우측 프레임을 라인 보간부(173)로 전송한다.
본 발명의 실시예에 따라 라인 배치부(172)는 301단계에서 사이드 바이 사이드 입체 영상 중 좌측 영역을 구성하는 라인들을 좌측 프레임의 홀수 번째 라인(1, 3, 5, ...)에 배치하고, 302단계에서 사이드 바이 사이드 입체 영상 중 우측 영역을 구성하는 라인들을 우측 프레임의 짝수 번째 라인(0, 2, 4, ...)에 배치할 수 있다. 라인 배치부(172)는 사이드 바이 사이드 입체 영상 중 좌측 영역을 구성하는 라인들과 우측 영역을 구성하는 라인들을 각각 좌측 프레임과 우측 프레임에서 라인 번호 '1'이 차이가 나도록 배치시킬 수 있다.
이후, 303단계에서 라인 보간부(173)는 라인들이 배치된 좌측 프레임과 우측 프레임에 대해 보간(interpolation) 과정을 수행하여 좌측 영상과 우측 영상을 생성한다. 구체적으로 라인 보간부(173)는 좌측 프레임에 대해서는 짝수 번으로 배치된 라인들을 이용하여 홀수 번 라인들을 생성하며, 짝수 번으로 배치된 라인들과 홀수 번으로 배치된 라인들로 구성된 좌측 영상을 생성한다. 또한 라인 보간부(173)는 우측 프레임에 대해서는 홀수 번으로 배치된 라인들을 이용하여 짝수 번 라인들을 생성하며, 홀수 번으로 배치된 라인들과 짝수 번으로 배치되는 라인들로 구성된 우측 영상을 생성한다.
라인 보간부(173)는 생성한 좌측 영상과 우측 영상을 좌우 영상 합성부(174)로 전송한다. 좌우 영상 합성부(174)는 204단계에서 생성된 좌측 영상과 우측 영상을 합성하여 재구성 입체 영상(Reconstructed 3D Image)을 생성한다.
도 4a 및 도 4b는 사이드 바이 사이드 입체 영상으로부터 좌측 영상과 우측 영상을 생성하는 형태를 도시하는 도면이다. 도 4a에서 사이드 바이 사이드 입체 영상(400)은 버티컬(vertical) 라인이 25개로 구성되며, 0번부터 12번까지의 라인은 좌측 영역, 13번부터 24번까지의 라인은 우측 영역에 해당한다. 라인 배치부(172)는 사이드 바이 사이드 입체 영상(400) 중 좌측 영역에 해당하는 0번부터 12번까지의 라인을 좌측 프레임(401)의 짝수 번째 라인(0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24)에 배치시킨다. 또한 라인 배치부(172)는 사이드 바이 사이드 입체 영상(400) 중 우측 영역에 해당하는 13번부터 24번까지의 라인을 우측 프레임(402)의 홀수 번째 라인(1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23)에 배치시킨다.
라인 보간부(173)는 좌측 프레임(401)에 대해서는 짝수 번으로 배치된 라인들(0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24)을 보간하여 홀수 번 라인들(1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23)을 생성한다. 예를 들어, 라인 보간부(173)는 0번 라인과 2번 라인을 평균화시켜 1번 라인을 생성할 수 있다. 또한 라인 보간부(173)는 우측 프레임(402)에 대해서는 홀수 번으로 배치된 라인들(1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23)을 보간하여 짝수 번 라인들(0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24)을 생성한다. 예를 들어, 라인 보간부(173)는 1번 라인과 3번 라인을 평균화시켜 2번 라인을 생성할 수 있다. 라인 보간부(173)는 상기 보간 과정을 통해 좌측 영상(403)과 우측 영상(404)을 생성한다.
라인 보간부(173)는 생성한 좌측 영상과 우측 영상을 좌우 영상 합성부(174)로 전송하며, 좌우 영상 합성부(174)는 생성된 좌측 영상과 우측 영상을 합성하여 재구성 입체 영상(Reconstructed 3D Image)을 생성한다. 도 4c는 본 발명의 실시예에 따른 재구성 입체 영상을 도시하는 도면에 해당한다. 도 4c에서 재구성 입체 영상(405)의 홀수 번째 라인은 좌측 영상을 구성하는 라인들로 구성되며, 짝수 번째 라인은 우측 영상을 구성하는 라인들로 구성된다.
도 3, 도 4a, 도 4b 및 도 4c에서는 도 2의 203단계를 라인 배치부(172)가 좌측 프레임과 우측 프레임에 라인들을 배치한 후, 라인 보간부(173)가 배치된 라인들을 보간하는 순서로 설명하고 있으나, 이에 한정되는 것은 아니며, 203단계는 라인 배치부(172)가 좌측 프레임에 라인들을 배치한 후, 라인 보간부(173)가 좌측 프레임에 배치된 라인들을 보간하고, 라인 배치부(172)가 우측 프레임에 라인들을 배치한 후, 라인 보간부(173)가 우측 프레임에 배치된 라인들을 보간하는 순서로 이루어질 수 있다.
종래에는 입체 영상 처리 시, 사이드 바이 사이드 입체 영상을 구성하는 라인들을 좌측 프레임과 우측 프레임에 배치할 때, 사이드 바이 사이드 입체 영상의 좌측 영역의 라인들을 좌측 프레임의 짝수 번째 라인 위치에 배치시키고, 우측 영역의 라인들을 우측 프레임의 짝수 번째 라인 위치에 배치시켰다. 그리고 좌측 프레임에 배치된 짝수 번 라인들을 보간하여 홀수 번 라인들을 생성하고, 우측 프레임에 배치된 짝수 번 라인들을 보간하여 홀수 번 라인들을 생성하여, 좌측 영상과 우측 영상을 생성하였다. 이러한 경우, 좌측 영상과 우측 영상의 짝수 번 라인들은 사이드 바이 사이드 입체 영상으로부터 추출된 라인들로 구성되며, 홀수 번 라인들은 휴대 단말기(100)에 의해 보간 된 라인들로 구성된다.
상기와 같이 구성된 좌측 영상과 우측 영상을 합성하는 경우, 재구성 입체 영상(Reconstructed 3D Image)에서 짝수 번 라인들은 사이드 바이 사이드 입체 영상으로부터 추출된 라인들로 구성되고, 홀수 번 라인들은 보간 된 라인들로 구성된다. 보간 된 라인들은 휴대 단말기(100)에 의해 생성된 라인에 해당하기 때문에 사이드 바이 사이드 입체 영상으로부터 추출된 라인과 비교하여 왜곡될 수 있다. 따라서 재구성 입체 영상의 짝수 번 라인들이 보간 된 라인들로만 구성되면 화질이 저하되는 문제가 발생할 수 있다.
도 7a는 종래 기술에 따라 생성된 좌측 영상과 우측 영상을 도시하는 도면이다.
도 7a에서 좌측 영상(701)의 경우, 짝수 번 라인들은 사이드 바이 사이드 입체 영상으로부터 추출된 라인들로 구성되며, 홀수 번 라인들은 휴대 단말기(100)에 의해 보간 된 라인들로 구성된다. 우측 영상(702)의 경우에도, 짝수 번 라인들은 사이드 바이 사이드 입체 영상으로부터 추출된 라인들로 구성되며, 홀수 번 라인들은 보간 된 라인들로 구성된다. 상기 좌측 영상(701)과 우측 영상(702)을 합성한 재구성 입체 영상은 도 7b에 도시되어 있다.
도 7b는 도 7a의 좌측 영상(701)과 우측 영상(702)이 합성된 재구성 입체 영상(703)을 도시하는 도면이다. 도 7b에서 재구성 입체 영상(703)의 짝수 번 라인들은 사이드 바이 사이드 입체 영상으로부터 추출된 라인들로 구성되고, 홀수 번 라인들은 보간 된 라인들로 구성된다. 이러한 경우, 짝수 번 라인들에서는 영상 왜곡 현상이 발생하지 않지만, 홀수 번째 라인들에서는 영상 왜곡 현상이 발생하는 바, 입체 영상은 전체적으로 화질이 저하되는 문제가 발생하게 된다.
본원 발명은 사이드 바이 사이드 입체 영상을 생성 시 우 시점 영상으로부터 추출하는 라인들의 번호를 반영하여, 사이드 바이 사이드 입체 영상으로부터 추출되는 라인들을 우측 프레임에 배치한다. 이러한 경우, 사이드 바이 사이드 입체 영상의 우측 영역에서 추출되는 라인들이 우측 프레임에 배치될 때, 좌측 프레임과 비교하여 1라인 간격이 발생하게 된다. 이로써 재구성 입체 영상을 구성하는 각각의 라인들에는 모두 사이드 바이 사이드 입체 영상에서 추출되는 라인들로 구성되게 된다. 즉, 재구성 입체 영상에는 보간 된 라인들로 합성되는 라인을 생성되지 않기 때문에 화질 저하를 방지할 수 있게 된다.
화질 개선 효과를 확인하기 위해 원본 영상, 종래 기술에 따라 복원된 영상, 본 발명에 따라 복원된 영상에 대해 영상의 화질을 나타내는 척도인 PSNR (Peak to Peak Signal to Noise Ratio)을 측정하였다. PSNR을 측정하는 식은 다음과 같다.
Figure pat00001
여기서,
Figure pat00002
는 원본 영상의 픽셀 값이며,
Figure pat00003
는 복원된 영상의 픽셀 값에 해당하며, H는 영상의 가로 크기이며, V는 영상의 세로 크기에 해당한다.
도 5a 및 도 5b는 원본 영상, 종래 기술에 따라 복원된 영상, 본 발명에 따라 복원된 영상을 비교하는 도면에 해당한다.
도 5a의 [a]는 원본 영상에 해당하며, 도 5a의 [b]는 종래 기술에 따라 복원된 영상에 해당하며, 도 5a의 [c]는 본 발명에 따라 복원된 영상에 해당한다. [a]의 501 영역을 참조하여 [b]의 502 영역과 [c]의 503 영역을 비교하면, [b]의 502 영역보다 [c]의 503 영역에서 바지의 줄무늬 부분의 화질이 더욱 선명함을 알 수 있다. 도 5a의 [b]에서 PSNR 값은 '24.02'로 도출되었으며, 도 5a의 [c]에서는 PSNR 값이 '25. 17'로 도출되었다. 상기 실험을 통해, 도 5a의 [b]에 비해 도 5a의 [c]에서 화질이 개선됨을 확인할 수 있다.
도 5b의 [a]는 원본 영상에 해당하며, 도 5b의 [b]는 종래 기술에 따라 복원된 영상에 해당하며, 도 5b의 [c]는 본 발명에 따라 복원된 영상에 해당한다. [a]의 504 영역을 참조하여 [b]의 505 영역과 [c]의 506 영역을 비교하면, [b]의 505 영역보다 [c]의 506 영역에서 목과 셔츠 사이의 라인, 자켓과 셔츠 사이의 라인 부분의 화질이 더욱 선명함을 알 수 있다. 도 5b의 [b]에서는 PSNR 값이 '32.73'으로 도출되었으며, [c]에서는 PSNR 값이 '33.16'으로 도출되었다. 상기 실험을 통해, 도 5b의 [b]에 비해 도 5b의 [c]에서 화질이 개선됨을 확인할 수 있다.
한편, 상술한 바와 같은 본 발명의 입체 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이 때, 상기 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
상기 컴퓨터로 판독 가능한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media), CD-ROM, DVD와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
한편, 본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 휴대 단말기 170 : 제어부
110 : 무선통신부 171 : 영상 디코더(decoder)
120 : 오디오 처리부 172 : 라인 배치부
130 : DMB 모듈부 173 : 라인 보간부
140 : 저장부 174 : 좌우 영상 합성부
150 : 입력부 175 : 영상 출력 제어부
160 : 입체 영상 표시부

Claims (6)

  1. 휴대 단말기의 입체 영상 처리 방법에 있어서,
    사이드 바이 사이드(Side by Side) 입체 영상을 수신하는 수신 단계;
    상기 좌측 영역을 구성하는 버티컬(vertical) 라인들을 좌측 영상이 생성되는 프레임의 짝수 번째(even number) 라인에 배치하고, 상기 우측 영역을 구성하는 버티컬 라인들을 우측 영상이 생성되는 프레임의 홀수 번째(odd number) 라인에 배치하는 라인 배치 단계;
    상기 프레임들에 배치된 버티컬 라인들을 보간(interpolation)하여 좌측 영상(Left Image) 및 우측 영상(Right Image)을 생성하는 좌우 영상 생성 단계; 및
    상기 생성된 좌측 영상 및 우측 영상을 합성하여 하나의 프레임 형태의 입체 영상을 생성하여 표시하는 입체 영상 생성 표시 단계를 포함하는 것을 특징으로 하는 입체 영상 처리 방법.
  2. 제1항에 있어서,
    상기 라인 배치 단계는
    상기 좌측 영상이 생성되는 프레임의 홀수 번째 라인에는 '0' 값을 입력하고, 짝수 번째 라인에는 상기 사이드 바이 사이드 입체 영상의 좌측 영역을 구성하는 라인의 픽셀 값들을 입력하고, 상기 우측 영상이 생성되는 프레임의 짝수 번째 라인에는 '0' 값을 입력하고, 홀수 번째 라인에는 상기 사이드 바이 사이드 입체 영상의 우측 영역을 구성하는 라인의 픽셀 값들을 입력하는 단계인 것을 특징으로 하는 입체 영상 처리 방법.
  3. 제1항에 있어서,
    상기 좌우 영상 생성 단계는
    상기 좌측 영상이 생성되는 프레임에서 짝수 번째로 배치된 라인들을 이용하여 홀수 번째 라인들을 생성하고, 상기 우측 영상이 생성되는 프레임에서 홀수 번째로 배치된 라인들을 이용하여 짝수 번째 라인들을 생성하는 것을 특징으로 하는 입체 영상 처리 방법.
  4. 입체 영상을 처리하는 휴대 단말기에 있어서,
    입체 영상을 표시하는 표시부;
    사이드 바이 사이드(Side by Side) 입체 영상에 대해 상기 좌측 영역을 구성하는 버티컬 라인들을 좌측 영상이 생성되는 프레임의 짝수 번째(even number) 라인에 배치하고, 상기 우측 영역을 구성하는 버티컬 라인들을 우측 영상이 생성되는 프레임의 홀수 번째(odd number) 라인에 배치하는 라인 배치부;
    상기 프레임들에 배치된 버티컬 라인들을 보간(interpolation)하여 좌측 영상(Left Image) 및 우측 영상(Right Image)을 생성하는 라인 보간부;
    상기 생성된 좌측 영상 및 우측 영상을 합성하여 하나의 프레임 형태의 입체 영상을 생성하는 좌우 영상 합성부; 및
    상기 표시부를 제어하여 상기 생성된 입체 영상을 표시하는 영상 출력 제어부를 포함하는 것을 특징으로 하는 휴대 단말기.
  5. 제4항에 있어서,
    상기 라인 배치부는
    상기 좌측 영상이 생성되는 프레임의 홀수 번째 라인에는 '0' 값을 입력하고, 짝수 번째 라인에는 상기 사이드 바이 사이드 입체 영상의 좌측 영역을 구성하는 라인의 픽셀 값들을 입력하고, 상기 우측 영상이 생성되는 프레임의 짝수 번째 라인에는 '0' 값을 입력하고, 홀수 번째 라인에는 상기 사이드 바이 사이드 입체 영상의 우측 영역을 구성하는 라인의 픽셀 값들을 입력하는 것을 특징으로 하는 휴대 단말기.
  6. 제4항에 있어서,
    상기 라인 보간부는
    상기 좌측 영상이 생성되는 프레임에서 짝수 번째로 배치된 라인들을 이용하여 홀수 번째 라인들을 생성하고, 상기 우측 영상이 생성되는 프레임에서 홀수 번째로 배치된 라인들을 이용하여 짝수 번째 라인들을 생성하는 것을 특징으로 하는 휴대 단말기.
KR1020100026351A 2010-03-24 2010-03-24 휴대 단말기의 입체 영상 처리 방법 및 장치 KR20110107151A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100026351A KR20110107151A (ko) 2010-03-24 2010-03-24 휴대 단말기의 입체 영상 처리 방법 및 장치
US13/069,686 US20110234585A1 (en) 2010-03-24 2011-03-23 Method and apparatus for processing 3d images in mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100026351A KR20110107151A (ko) 2010-03-24 2010-03-24 휴대 단말기의 입체 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20110107151A true KR20110107151A (ko) 2011-09-30

Family

ID=44655849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026351A KR20110107151A (ko) 2010-03-24 2010-03-24 휴대 단말기의 입체 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US20110234585A1 (ko)
KR (1) KR20110107151A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081767A (zh) * 2012-09-27 2014-10-01 索尼公司 发送装置、发送方法、接收装置和接收方法
KR20150105002A (ko) * 2014-03-07 2015-09-16 엘지전자 주식회사 3차원 입체 영상 디스플레이 및 그 제어방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297653B2 (ja) * 2002-07-04 2009-07-15 シャープ株式会社 立体画像の表示機能を備える情報機器
EP1403759A3 (en) * 2002-09-17 2007-04-04 Sharp Kabushiki Kaisha Electronic equipment with two and three dimensional display functions
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
JP5127633B2 (ja) * 2008-08-25 2013-01-23 三菱電機株式会社 コンテンツ再生装置および方法
WO2010064448A1 (ja) * 2008-12-05 2010-06-10 パナソニック株式会社 立体映像再生装置、立体映像再生システム、立体映像再生方法、および立体映像再生用半導体装置
JP4525831B1 (ja) * 2009-03-31 2010-08-18 株式会社カシオ日立モバイルコミュニケーションズ 画像受信装置、および、プログラム
EP2439934A4 (en) * 2009-06-05 2014-07-02 Lg Electronics Inc IMAGE DISPLAY DEVICE AND METHOD OF OPERATING IT
WO2011079376A1 (en) * 2010-01-03 2011-07-07 Sensio Technologies Inc. Method and system for detecting compressed stereoscopic frames in a digital video signal

Also Published As

Publication number Publication date
US20110234585A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5566385B2 (ja) 洗練された奥行きマップ
KR101653724B1 (ko) 가상 레퍼런스 뷰
EP2201784B1 (en) Method and device for processing a depth-map
US8446958B2 (en) Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
JP5337218B2 (ja) 立体画像変換装置、立体画像出力装置および立体画像変換方法
US20110157229A1 (en) View synthesis with heuristic view blending
KR101647408B1 (ko) 영상 처리 장치 및 방법
CN102804756B (zh) 视频图像处理设备和视频图像处理设备的控制方法
WO2011036844A1 (ja) 三次元画像処理装置およびその制御方法
KR100938283B1 (ko) 영상정보의 분리 전송을 이용한 3차원 입체방송 송수신장치 및 그 방법
US20130229409A1 (en) Image processing method and image display device according to the method
KR20180009725A (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR20130095275A (ko) 인코더, 디코더, 비트-스트림, 다중-뷰 신호의 두 개의 뷰들에 대응하는 이미지 쌍을 인코딩하는 방법, 및 디코딩하는 방법
US9749608B2 (en) Apparatus and method for generating a three-dimension image data in portable terminal
KR20110107151A (ko) 휴대 단말기의 입체 영상 처리 방법 및 장치
EP2373046A2 (en) Super resolution based n-view + n-depth multiview video coding
JP2012199897A (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR101289269B1 (ko) 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011077598A (ja) 画像信号処理装置、画像信号処理方法、プログラム、および画像信号処理システム
JP2014022947A (ja) 立体視映像伝送装置、立体視映像伝送方法及び立体視映像処理装置
KR101385606B1 (ko) 3차원 스트리밍 방송 수신 방법 및 그 방법을 실행하는 멀티 모드 단말기
KR20120026013A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
KR101647064B1 (ko) 휴대 단말기의 입체 영상 출력 방법 및 장치
JP4133356B2 (ja) 画像の合成装置、合成方法、およびその方法を実現するプログラム
JP2012133555A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid