KR101659576B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR101659576B1
KR101659576B1 KR1020100013514A KR20100013514A KR101659576B1 KR 101659576 B1 KR101659576 B1 KR 101659576B1 KR 1020100013514 A KR1020100013514 A KR 1020100013514A KR 20100013514 A KR20100013514 A KR 20100013514A KR 101659576 B1 KR101659576 B1 KR 101659576B1
Authority
KR
South Korea
Prior art keywords
image
video
graphic
eye
screen
Prior art date
Application number
KR1020100013514A
Other languages
English (en)
Other versions
KR20100094375A (ko
Inventor
정길수
이대종
전혜영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to BRPI1008574A priority Critical patent/BRPI1008574A2/pt
Priority to JP2011550058A priority patent/JP5593333B2/ja
Priority to EP13161004.0A priority patent/EP2615835A3/en
Priority to CN201080008651.5A priority patent/CN102318353B/zh
Priority to PCT/KR2010/000905 priority patent/WO2010095835A2/ko
Priority to MYPI2011003816A priority patent/MY157101A/en
Priority to EP10743910A priority patent/EP2400766A4/en
Publication of KR20100094375A publication Critical patent/KR20100094375A/ko
Priority to US13/204,362 priority patent/US9445034B2/en
Application granted granted Critical
Publication of KR101659576B1 publication Critical patent/KR101659576B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하고 3차원 비디오 영상을 재생하는 중, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받으면 활성화 요구에 상응하여 비디오 스트림으로부터 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성하여 2차원 비디오 영상을 재생하는 영상 처리 방법이 개시된다.

Description

영상 처리 방법 및 장치{Method and apparatus for processing video image}
영상 처리 방법 및 장치{Method and apparatus for processing video image} 본 발명은 영상 처리 방법 및 장치에 대한 것으로, 보다 구체적으로 3차원 비디오 영상 재생 중에, 비디오 영상과 팝업 메뉴를 함께 재생해야 하는 경우, 비디오 영상을 2차원으로 재생하는 영상 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 3차원 영상 기술이 널리 보급되고 있다. 3차원 영상 기술은 2차원 영상에 깊이에 대한 정보를 부여하여 보다 사실적인 영상을 표현하는 기술로서 현장에서 실물을 보는 듯한 사실감, 현실감을 제공하여 통신, 게임, 의료, 방송 등 다양한 분야에서 응용되고 있다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다른데 이를 양안시차라고 한다. 뇌는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다. 양안시차를 이용하여 3차원 영상을 구현하는 방법에는 안경을 착용하는 방법과, 안경을 착용하지 않고 렌티큘라 렌즈(lenticular lens), barallax barrier, barallax illumination 등이 구비된 장치를 이용하는 방법이 있다.
본 발명은 3차원 비디오 영상 재생 중에, 비디오 영상과 팝업 메뉴를 함께 재생해야 하는 경우, 비디오 영상을 2차원으로 재생하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 3차원 비디오 영상 재생 중에, 비디오 영상과 팝업 메뉴를 함께 재생해야 하는 경우, 팝업 메뉴보다 비디오 영상이 더 깊게 위치한 듯한 입체감을 갖는 3차원으로 재생하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
상기 과제를 달성하기 위해 본 발명의 일 측면에 따르면, 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 단계; 상기 3차원 비디오 영상을 재생하는 중, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받는 단계; 및 상기 활성화 요구에 상응하여 비디오 스트림으로부터 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성하여 2차원 비디오 영상을 재생하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 방법은 팝업 인터랙티브 그래픽 스트림 활성화 종료 요구를 받는 단계; 및 상기 활성화 종료 요구에 상응하여 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 단계를 더 포함할 수 있다. 또한, 상기 2차원 비디오 영상을 재생하는 단계는 상기 좌안용 영상과 상기 우안용 영상 중 상기 생성된 하나의 영상을 연속하여 두 번 출력하여 2차원 비디오 영상을 재생하는 단계를 포함할 수 있다.
또한, 상기 방법은 인터랙티브 그래픽 스트림이 사용자의 요구에 의해 활성화되는 팝업 인터랙티브 그래픽 스트림인지를 판단하는 단계를 더 포함하고,상기 2차원 비디오 영상을 재생하는 단계는 상기 인터랙티브 그래픽 스트림이 상기 팝업 인터랙티브 그래픽 스트림이라고 판단되는 경우 상기 2차원 비디오 영상을 재생하는 단계를 포함할 수 있다.
또한, 상기 방법은 상기 활성화 요구에 상응하여 인터랙티브 그래픽 스트림으로부터 좌안용 그래픽 화면과 우안용 그래픽 화면을 생성하여 3차원 그래픽 화면을 재생하는 단계를 더 포함할 수 있다. 또한, 상기 인터랙티브 그래픽 스트림은 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 포함하는 스테레오스코픽 인터랙티브 그래픽 스트림이고, 상기 3차원 그래픽 화면을 재생하는 단계는 상기 좌안용 인터랙티브 그래픽 스트림으로부터 상기 좌안용 그래픽 화면을 생성하고, 상기 우안용 인터랙티브 그래픽 스트림으로부터 상기 우안용 그래픽 화면을 생성하는 단계를 포함할 수 있다.
또한, 상기 3차원 그래픽 화면을 재생하는 단계는 상기 인터랙티브 그래픽 스트림을 디코딩하여 하나의 그래픽 화면을 생성하는 단계; 및 상기 생성된 하나의 그래픽 화면을 좌측 및 우측 중 하나의 방향으로 그래픽 플레인 옵셋 값만큼 각각 이동시켜 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 단계를 포함할 수 있다. 또한, 상기 3차원 그래픽 화면을 재생하는 단계는 복수의 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 단계를 포함할 수 있다. 또한, 상기 3차원 그래픽 화면을 재생하는 단계는 상기 3차원 그래픽 화면 전체가 동일한 뎁쓰 값을 갖도록 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하고, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받으면 비디오 스트림으로부터 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성하여 2차원 비디오 영상을 재생하는 비디오 처리부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 단계; 상기 3차원 비디오 영상을 재생하는 중, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받는 단계; 및 상기 활성화 요구에 상응하여 비디오 스트림으로부터 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성하여 2차원 비디오 영상을 재생하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명에 따르면 3차원 비디오 영상 재생 중에, 비디오 영상과 팝업 메뉴를 함께 재생해야 하는 경우, 비디오 영상을 2차원으로 재생할 수 있다.
또한, 본 발명에 따르면 3차원 비디오 영상 재생 중에, 비디오 영상과 팝업 메뉴를 함께 재생해야 하는 경우, 팝업 메뉴보다 비디오 영상이 더 깊게 위치한 듯한 입체감을 갖도록 하여 3차원으로 재생할 수 있다.
도 1은 비디오 영상과 그래픽 화면을 함께 출력하는 블렌딩 모델을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따라, 비디오 영상과 그래픽 화면을 함께 재생할 때 비디오 영상과 그래픽 화면이 자연스럽게 재생되도록 하기 위해 비디오 영상과 그래픽 화면의 뎁쓰 값을 조절하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치(300)의 내부 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 영상 처리 장치(400)의 내부 블록도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 영상 처리 장치(500)의 내부 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 그래픽 디코딩 장치의 내부 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 그래픽 스트림에 대한 메타데이터를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 1은 비디오 영상과 그래픽 화면을 함께 출력하는 블렌딩 모델을 도시한 도면이다. 비디오 스트림으로부터 생성되는 비디오 영상은 그래픽 스트림으로부터 생성되는 그래픽 화면과 함께 재생될 수 있다. 그래픽 스트림은 자막을 표시하기 위한 프리젠테이션 그래픽 스트림(presentation graphic stream) 또는 텍스트 서브타이틀 스트림(text subtitle stream), 사용자와의 상호작용을 위한 버튼 등으로 이루어진 메뉴를 제공하기 위한 인터랙티브 그래픽 스트림(interactive graphic stream), 및 자바(Java)와 같은 프로그램 요소에 의해 표시되는 그래픽컬 오버레이(graphical overlay) 중 하나 이상을 포함할 수 있다.
도 1에서, 비디오 스트림으로부터 생성되는 비디오 영상은 비디오 플레인(video plane)에 표시된다. 프리젠테이션 그래픽 스트림 또는 텍스트 서브타이틀 스트림으로부터 생성되는 그래픽 화면은 프리젠테이션 그래픽 플레인(Presentation Graphics Plan)에 표시되고, 인터랙티브 그래픽 스트림으로부터 생성되는 그래픽 화면은 인터랙티브 그래픽 플레인(Interactive Graphics Plane)에 표시된다. 프리젠테이션 그래픽 스트림 또는 텍스트 서브타이틀 스트림, 인터랙티브 그래픽 스트림으로부터 생성되는 그래픽 화면에는 메뉴나 버튼, 또는 자막 등을 나타내는 그래픽 오브젝트가 포함되어 있다.
비디오 영상을 3차원으로 재생하면서 비디오 영상과 그래픽 화면을 함께 재생하기 위해서는 비디오 영상이 그래픽 화면보다 더 깊은 위치에 있는 것과 같은 깊이감을 갖도록 해야 한다. 그래픽 화면에 포함된 그래픽 오브젝트가 비디오 영상보다 더 깊은 위치에 있는 것과 같은 깊이감을 갖는 경우 비디오 영상은 그래픽 오브젝트보다 튀어나오게 되고 그래픽 오브젝트는 비디오 영상 안쪽으로 들어가게 되어 그래픽 화면과 비디오 영상이 부자연스럽게 표시되기 때문이다. 따라서 비디오 영상과 함께 표시해야 할 그래픽 화면은 비디오 영상의 깊이 값을 방해하지 않아야 한다.
또한, 자막을 표시하는 그래픽 화면과 메뉴를 표시하는 그래픽 화면을 함께 재생하는 경우, 메뉴를 표시하는 그래픽 화면이 자막을 표시하는 그래픽 화면보다 더 위에 표시되어야 한다.
이를 구현하기 위해, 도 1의 블렌딩 모델은 인터랙티브 그래픽 플레인에서 비디오 플레인으로 갈수록 더 큰 깊이감을 갖도록 비디오 영상과 그래픽 화면들을 오버레이한다. 도 1에서, 뒤로 갈수록(back) 뎁쓰 값이 0에 가까워지고, 앞으로 갈수록(front) 뎁쓰 값이 커진다고 가정한다. 뎁쓰 값은 영상의 깊이 정도를 뜻한다. 뎁쓰 값이 작아져 0에 가까워질수록 영상의 깊이감이 깊어져 영상이 시청자에게 멀리 떨어져 있는 듯한 입체감을 준다. 뎁쓰 값이 커질수록 영상이 시청자에게 가까워지게 되어 영상이 앞으로 튀어 나와있는 듯한 입체감을 준다. 영상이 화면 평면에 맺힌 경우 영상은 2차원으로 재생되어 사용자는 입체감을 느끼지 못하게 된다.
도 1에서 블렌딩 모델은 비디오 플레인에서 인터랙티브 그래픽 플레인으로 갈수록 큰 뎁쓰 값을 갖도록 하여 비디오 영상과 그래픽 화면을 오버레이한다. 즉, 도 1에서 블렌딩 모델은 프리젠테이션 그래픽 스트림 또는 텍스트 서브타이틀 스트림에 의해 표시되는 그래픽 화면을 항상 비디오 영상에 오버레이하여 표시하고, 인터랙티브 그래픽 스트림에 의해 표시되는 그래픽 화면을 비디오 영상 및 자막 영상에 오버레이하여 표시한다.
도 1에서 a1, a2는 투명도 정보로써, a1, a2는 0 또는 1의 값을 갖는다. 투명도 정보의 값이 0인 것은 불투명하다는 것을 의미하고, 값이 1인 것은 완전히 투명한 것을 의미한다.
이와 같이 비디오 영상과 그래픽 화면이 함께 재생되어야 하는 경우, 비디오 영상보다 그래픽 화면이 더 큰 뎁쓰 값을 가져야만, 즉, 비디오 영상이 그래픽 화면보다 더 안쪽에 위치한 것과 같은 깊이감을 가져야만 비디오 영상과 그래픽 화면의 재생이 자연스럽게 된다.
도 2는 본 발명의 실시 예에 따라, 비디오 영상과 그래픽 화면을 함께 재생할 때 비디오 영상과 그래픽 화면이 자연스럽게 재생되도록 하기 위해 비디오 영상과 그래픽 화면의 뎁쓰 값을 조절하는 것을 설명하기 위한 도면이다.
전술한 바와 같이, 비디오 영상과 그래픽 화면을 함께 재생하는 경우 그래픽 화면은 비디오 영상보다 큰 뎁쓰 값을 가져야 한다.
자막을 표시하기 위한 프리젠테이션 그래픽 스트림 또는 텍스트 서브타이틀 스트림의 경우, 그래픽 화면이 표시되어야 할 시점이 미리 정해져 있으므로 author가 프리젠테이션 그래픽 스트림 또는 텍스트 서브타이틀 스트림을 authoring 하는 단계에서 함께 재생되어야 할 비디오 영상의 뎁쓰 값을 참조하여 그래픽 화면이 비디오 영상의 깊이감을 방해하지 않도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
메뉴를 표시하기 위한 인터랙티브 그래픽 스트림의 경우, 메뉴의 형태에 따라 두 가지로 나눌 수 있다. 하나는 정해진 시간에 표시되고 사라지는 얼웨이즈 온(Always-on) 메뉴를 표시하기 위한 얼웨이즈 온 인터랙티브 그래픽 스트림이고, 나머지 하나는 메뉴가 출력될 수 있는 유효한 시간만 정해져 있고 실제 화면에 표시되고 사라지는 것은 사용자의 입력에 의해서만 결정되는, 팝업(Pop-up) 메뉴를 표시하기 위한, 팝업 인터랙티브 그래픽 스트림이다. 얼웨이즈 온 메뉴와 같이 정해진 시간에 표시되고 사라지는 메뉴의 경우, 메뉴와 함께 표시되어야 하는 비디오 영상의 뎁쓰 값을 author가 미리 알고 있으므로 authoring 단계에서 author가 비디오 영상의 깊이감을 방해하지 않도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그러나, 메뉴의 형태가 팝업 메뉴인 경우, 메뉴가 실제 화면에 표시되고 사라지는 것은 비디오 영상을 시청하는 사용자 입력에 의해서만 결정되므로 팝업 메뉴가 표시될 때 함께 재생되는 비디오 영상이 어떤 뎁쓰 값을 갖는지를 author가 미리 알 수가 없다. 따라서 그래픽 화면의 뎁쓰 값이 비디오 영상의 뎁쓰 값보다 작아지는 경우가 생길 수 있게 된다.
따라서, 본 발명의 실시 예에서는, 비디오 영상과 팝업 메뉴를 함께 재생할 때 그래픽 화면의 뎁쓰 값이 비디오 영상의 뎁쓰 값보다 작아지는 일이 생기지 않도록 하기 위해, 도 2에 도시된 것과 같이 비디오 영상의 깊이감을 조절한다.
도 2의 위쪽 그림은 비디오 영상이 3차원으로 재생되는 중에, 사용자의 명령에 의해 팝업 메뉴가 출력되는 경우, 비디오 영상을 2차원으로 재생하는 것을 도시한 도면이다. 도 2의 위쪽 그림에서 좌측 그림은 비디오 영상이 3차원으로 재생되는 것을 도시한다. 비디오 영상이 3차원으로 재생되는 중에, 사용자가 팝업 메뉴 활성화를 요구하여 팝업 메뉴와 비디오 영상을 함께 재생해야 하는 경우, 본 발명의 실시 예에서는 팝업 메뉴와 함께 재생되는 비디오 영상의 뎁쓰 값이 화면의 뎁쓰 값, 즉, 스크린 포지션(screen position)의 뎁쓰 값과 같아지도록 비디오 영상의 뎁쓰 값을 조절한다. 비디오 영상의 뎁쓰 값이 스크린 포지션의 뎁쓰 값과 같아진다는 것은 비디오 영상이 스크린에 맺히는 것을 의미하고 이는 비디오 영상이 2차원으로 재생되는 것을 의미한다. 일반적으로 팝업 메뉴의 뎁쓰 값은 스크린 포지션의 뎁쓰 값과 같거나 그보다 큰 뎁쓰 값을 가지므로, 비디오 영상이 2차원으로 재생되는 경우 팝업 메뉴가 비디오 영상보다 큰 뎁쓰 값을 갖게 되어 비디오 영상과 그래픽 화면이 자연스럽게 재생되게 된다.
도 2의 아래쪽 그림은 비디오 영상이 3차원으로 재생되는 중에, 사용자가 팝업 메뉴 출력을 요구하면, 비디오 영상을 화면보다 더 안쪽에 맺히도록 하여 비디오 영상과 팝업 메뉴를 함께 재생하는 것을 도시한 도면이다. 일반적으로 팝업 메뉴는 스크린의 뎁쓰 값과 같거나 그보다 큰 뎁쓰 값을 가지므로, 비디오 영상의 뎁쓰 값이 스크린 포지션의 뎁쓰 값보다 작아지는 경우, 팝업 메뉴가 비디오 영상보다 큰 뎁쓰 값을 갖게 되어 비디오 영상과 그래픽 화면이 자연스럽게 재생되게 된다.
비디오 영상과 팝업 메뉴를 함께 재생할 때 비디오 영상이 도 2에 도시된 바와 같은 깊이감을 갖도록 하는 영상 처리 장치의 실시 예로 도 3 내지 도 5와 같은 영상 처리 장치를 구현할 수 있다.
도 3 및 도 4는 본 발명의 실시 예에 따라, 팝업 메뉴와 비디오 영상을 함께 재생할 때 비디오 영상이 도 2의 위쪽에 도시된 바와 같이 2차원 비디오 영상으로 재생되도록 하기 위한 영상 처리 장치를 도시한다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치(300)는 비디오 처리부(310), 제1 그래픽 디코더(320), 제2 그래픽 디코더(330), 제1 그래픽 플레인(340) 및 제2 그래픽 플레인(350)을 포함한다.
비디오 처리부(310)는 제1 비디오 디코더(311), 제2 비디오 디코더(312), 제1 비디오 플레인(313), 제2 비디오 플레인(314), 스위칭부(315) 및 출력부(316)를 포함한다.
제1 비디오 디코더(311)는 좌안용 비디오 스트림과 우안용 비디오 스트림 중 하나를 입력받고, 제2 비디오 디코더(312)는 좌안용 비디오 스트림과 우안용 비디오 스트림 중 제1 비디오 디코더(311)로 입력되는 비디오 스트림을 제외한 나머지 비디오 스트림을 입력받는다. 이하, 편의상 제1 비디오 디코더(311)에는 좌안용 비디오 스트림이 입력되고 제2 비디오 디코더(312)에는 우안용 비디오 스트림이 입력된다고 가정한다.
제1 비디오 디코더(311)는 좌안용 비디오 스트림을 디코딩하고, 디코딩된 좌안용 비디오 스트림을 이용하여 제1 비디오 플레인(313)에 좌안용 영상을 그린다. 제2 비디오 디코더(312)는 우안용 비디오 스트림을 디코딩하고, 디코딩된 우안용 비디오 스트림을 이용하여 제2 비디오 플레인(314)에 우안용 영상을 그린다.
제1 비디오 플레인(313)과 제2 비디오 플레인(314)은 제1 비디오 디코더(311) 및 제2 비디오 디코더(312)에 의해 그려진 좌안용 영상 및 우안용 영상을 각각 일시적으로 저장한다. 출력부(316)는 제1 비디오 플레인(313)과 제2 비디오 플레인(314)에 그려진 영상들을 교대로 출력한다.
제1 그래픽 디코더(320)와 제2 그래픽 디코더(330)는 그래픽 스트림을 디코딩한다. 도 3에서는 인터랙티브 그래픽 스트림이 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 포함하는 스테레오스코픽(stereoscopic) 인터랙티브 그래픽 스트림인 경우를 가정한다. 제1 그래픽 디코더(320)는 좌안용 인터랙티브 그래픽 스트림을 디코딩하여 제1 그래픽 플레인(340)에 좌안용 그래픽 화면을 그리고, 제2 그래픽 디코더(330)는 우안용 인터랙티브 그래픽 스트림을 디코딩하여 제2 그래픽 플레인(350)에 우안용 그래픽 화면을 그린다.
제1 그래픽 플레인(340)과 제2 그래픽 플레인(350)은 제1 그래픽 디코더(320) 및 제2 그래픽 디코더(330)에 의해 각각 그려진 좌안용 그래픽 화면 및 우안용 그래픽 화면을 일시적으로 저장한다. 출력부(316)는 제1 비디오 플레인(313)과 제2 비디오 플레인(314)에 그려진 영상들을 교대로 출력한다.
인터랙티브 그래픽 스트림이 스테레오스코픽 인터랙티브 그래픽 스트림인 경우, 좌안용 그래픽 스트림과 우안용 그래픽 스트림은 그 스트림 자체가 그래픽 화면에 포함된 각 그래픽 오브젝트들 별로 별개의 뎁쓰 값을 갖도록 생성될 수 있다.
그래픽 화면에 포함된 각 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하기 위해 각 그래픽 오브젝트가 좌 및 우로 이동해야 할 거리 값을 그래픽 오브젝트에 대한 옵셋 값이라고 하면, 제1 그래픽 플레인(340)과 제2 그래픽 플레인(350)에 그려지는 좌안용 그래픽 화면과 우안용 그래픽 화면에는 각 그래픽 오브젝트가 그래픽 오브젝트에 대한 옵셋 값만큼 좌 또는 우로 이동된 위치에 있게 된다.
이 경우, 제1 그래픽 디코더(320)와 제2 그래픽 디코더(330)에 의해 생성되는 좌안용 그래픽 화면과 우안용 그래픽 화면은 각 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖게되고, 출력부(316)에 의해 출력되는 3차원 그래픽 화면은 각 그래픽 오브젝트 별로 별개의 입체감을 갖게 된다.
영상 처리 장치(300)는 유저인터페이스(미도시)를 통해 사용자의 입력(User Operation: UOP)을 전달받을 수 있다. 사용자는 3차원으로 비디오 영상을 시청하다가, 유저 인터페이스를 통하여 영상 처리 장치(300)에 팝업 메뉴를 출력하라는 명령 및/또는 팝업 메뉴 출력을 종료하라는 명령을 할 수 있다. 이하, UOP 중, 팝업 메뉴를 출력하라는 명령을 팝업 인터랙티브 그래픽 스트림 활성화 명령(PopUp On UOP)이라 하고, 팝업 메뉴 출력을 종료하라는 명령을 팝업 인터랙티브 그래픽 스트림 활성화 종료 명령(PopUp Off UOP)이라 부르기로 한다.
PopUp On/Off UOP는 유저인터페이스를 통하여 제1 그래픽 디코더(320)와 제2 그래픽 디코더(330) 중 하나 이상으로 전달된다. 이하, 편의상, 제1 그래픽 디코더(320)에 PopUp On/Off UOP가 전달된다고 가정한다.
PopUp On/Off UOP을 받은 제1 그래픽 디코더(320)는 PopUp On/Off UOP를 제2 그래픽 디코더(330)에 알린다. 제1 그래픽 디코더(320)는 또한 PopUp On/Off UOP를 스위칭부(315)에 전송한다. 스위칭부(315)는 제1 그래픽 디코더(320)로부터 PopUp On/Off UOP를 받으면 제2 비디오 플레인(314)에 제2 비디오 디코더(312)가 우안용 영상을 그리도록 하거나 또는 제1 비디오 디코더(311)가 좌안용 영상을 그리도록 비디오 처리부(310)를 제어한다.
비디오 처리부(310)가 제1 비디오 플레인(313)과 제2 비디오 플레인(314)에 각각 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 중에, 제1 그래픽 디코더(320)가 사용자로부터 PopUp On UOP를 받으면, 제1 그래픽 디코더(320)는 PopUp On UOP를 제2 그래픽 디코더(330)에 알린다. 제1 그래픽 디코더(320)와 제2 그래픽 디코더(330)는 사용자로부터의 PopUp On UOP에 상응하여 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 각각 디코딩하여 제1 그래픽 플레인(340)과 제2 그래픽 플레인(350)에 좌안용 그래픽 화면과 우안용 그래픽 화면을 그린다. 출력부(316)는 제1 그래픽 플레인(340)과 제2 그래픽 플레인(350)에 그려진 좌안용 그래픽 화면 및 우안용 그래픽 화면을 교대로 출력하여 3차원 그래픽 화면을 재생한다.
또한 제1 그래픽 디코더(320)는 사용자로부터의 PopUp On UOP를 스위칭부(315)에 전송한다. 스위칭부(315)는 비디오 처리부(310)가 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성하여 2차원 비디오 영상을 재생하도록 비디오 처리부(310)를 제어한다. 스위칭부(315)는 제2 비디오 플레인(314)에 제2 비디오 디코더(312)가 아닌 제1 비디오 디코더(311)가 좌안용 영상을 그리도록 제어한다. 제1 비디오 디코더(311)는 좌안용 비디오 스트림으로부터 좌안용 영상을 생성하므로, 제1 비디오 디코더(311)에 의해 제2 비디오 플레인(314)에는 좌안용 영상이 그려지게 된다.
도 3에서는 스위칭부(315)가 제2 비디오 플레인(314)에 제1 비디오 디코더(311)가 영상을 그리도록 할 것인지 또는 제2 비디오 디코더(312)가 영상을 그리도록 할 것인지를 제어하는 것으로 도시하였으나, 본 발명이 이에 한정되는 것은 아니며, 스위칭부(315)는 제2 비디오 플레인(314)에 우안용 영상이 그려지는 것은 그대로 두고 대신 제1 비디오 플레인(313)에 제1 비디오 디코더(311)가 영상을 그리도록 할 것인지 또는 제2 비디오 디코더(312)가 영상을 그리도록 할 것인지를 제어할 수도 있다.
출력부(316)는 제1 비디오 플레인(313)과 제2 비디오 플레인(314)에 그려진 영상들을 교대로 출력한다. 제1 비디오 플레인(313)과 제2 비디오 플레인(314)에 모두 좌안용 영상이 그려져 있으므로 출력부(316)는 좌안용 영상을 연속하여 두 번 재생하여 2차원 비디오 영상을 재생하게 된다. 출력부(316)는 2차원 비디오 영상 위에 3차원 그래픽 화면을 오버레이하여 재생한다.
일반적으로 팝업 메뉴의 뎁쓰 값은 스크린의 뎁쓰 값과 같거나 그보다 큰 뎁쓰 값을 가지므로, 비디오 영상이 2차원으로 재생되는 경우 3차원 그래픽 화면으로 재생되는 팝업 메뉴는 비디오 영상보다 큰 뎁쓰 값을 갖게 되어 비디오 영상과 그래픽 화면이 자연스럽게 재생되게 된다.
비디오 처리부(310)가 2차원 비디오 영상을 재생하는 중에, 사용자가 유저 인터페이스를 통하여 PopUp Off UOP를 전송하면 제1 그래픽 디코더(320)와 제2 그래픽 디코더(330)는 팝업 인터랙티브 그래픽 스트림을 이용하여 제1 그래픽 플레인(340)과 제2 그래픽 플레인(350)에 좌안용 그래픽 화면과 우안용 그래픽 화면을 그리는 것을 종료한다.
제1 그래픽 디코더(320)는 PopUp Off UOP를 또한 스위칭부(315)에 전달한다. 스위칭부(315)는 제1 그래픽 디코더(320)로부터 PopUp Off UOP를 받아 제1 비디오 디코더(311)가 아닌 제2 비디오 디코더(312)가 제2 비디오 플레인(314)에 영상을 그리도록 제어한다. 제2 비디오 디코더(312)는 스위칭부(315)에 제어에 의해 우안용 영상을 제2 비디오 플레인(314)에 그린다.
출력부(316)는 제1 비디오 플레인(313)에 그려진 좌안용 영상과 제2 비디오 플레인(314)에 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생한다.
제1 그래픽 디코더(320)는 사용자로부터 발생하는 PopUp On/Off UOP를 스위칭부(315)로 전송하기 전에, 처리하려는 인터랙티브 그래픽 스트림이 팝업 메뉴를 표시하기 위한 팝업 인터랙티브 그래픽 스트림인지를 먼저 확인하고, 인터랙티브 그래픽 스트림이 팝업 인터랙티브 그래픽 스트림인 경우에 한하여 사용자로부터의 PopUp On/Off UOP를 스위칭부(315)로 전송할 수 있다. 제1 그래픽 디코더(320)는 인터랙티브 그래픽 스트림이 팝업 인터랙티브 그래픽 스트림인지를 확인하기 위해 인터랙티브 그래픽 스트림의 ICS(Interactive Composition Segment)에 포함된 User Interface Model field를 해석하여 출력할 인터랙티브 그래픽 스트림의 유형이 팝업 인터랙티브 그래픽 스트림인지를 판단할 수 있다. 제1 그래픽 디코더(320)는 인터랙티브 그래픽 스트림이 팝업 인터랙티브 그래픽 스트림인 경우 사용자로부터 발생하는 PopUp On/Off UOP를 스위칭부(315)로 전송한다.
이와 같이, 본 발명의 실시 예에 따른 영상 처리 장치는 3차원 비디오 영상을 재생하는 중에, 사용자로부터 팝업 인터랙티브 그래픽 스트림 활성화 명령을 받으면, 좌안용 영상과 우안용 영상 중 하나의 영상이 제1 비디오 플레인과 제2 비디오 플레인 모두에 그려지도록 하여 2차원 비디오 영상을 재생할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 영상 처리 장치(400)의 내부 블록도이다. 도 4를 참조하면, 본 발명의 다른 실시 예에 따른 영상 처리 장치(400)는 비디오 처리부(410), 제1 그래픽 디코더(420), 제2 그래픽 디코더(430), 제1 그래픽 플레인(440) 및 제2 그래픽 플레인(450)을 포함한다.
비디오 처리부(410)는 제1 비디오 디코더(411), 제2 비디오 디코더(412), 제1 비디오 플레인(413), 제2 비디오 플레인(414), 스위칭부(415) 및 출력부(416)를 포함한다.
도 4의 영상 처리 장치(400)의 구성 요소들은 스위칭부(415)를 제외하고는 도 3의 영상 처리 장치(300)와 수행하는 바가 동일하므로 다른 구성 요소들에 대한 설명은 생략하기로 한다.
영상 처리 장치(400)의 스위칭부(415)는 제2 비디오 디코더(412)가 제2 비디오 플레인(414)에 영상을 그리도록 하거나 또는 영상을 그리지 못하도록 제어한다는 점에서 도 3의 영상 처리 장치(300)의 스위칭부(315)와 구별된다.
비디오 처리부(410)가 제1 비디오 플레인(413)과 제2 비디오 플레인(414)에 각각 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 중에, 제1 그래픽 디코더(420)가 사용자로부터 PopUp On UOP를 받으면, 제1 그래픽 디코더(420)는 PopUp On UOP를 제2 그래픽 디코더(430)에 알린다. 제1 그래픽 디코더(420)와 제2 그래픽 디코더(430)는 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 각각 디코딩하여 제1 그래픽 플레인(440)과 제2 그래픽 플레인(450)에 좌안용 그래픽 화면과 우안용 그래픽 화면을 그린다. 출력부(416)는 제1 그래픽 플레인(440)과 제2 그래픽 플레인(450)에 그려진 좌안용 그래픽 화면 및 우안용 그래픽 화면을 교대로 출력하여 3차원 그래픽 화면을 재생한다.
또한 제1 그래픽 디코더(420)는 사용자로부터 PopUp On UOP를 받으면, 이를 스위칭부(415)에 전송한다. 스위칭부(415)는 PopUp On UOP를 받으면 제2 비디오 디코더(412)가 제2 비디오 플레인(414)에 영상을 그리지 못하도록 제어한다. 도 4에서는 스위칭부(415)가 제2 비디오 플레인(414)에 제2 비디오 디코더(412)가 영상을 그리도록 할 것인지 또는 그리지 못하도록 할 것인지를 제어하는 것으로 도시하였으나, 본 발명이 이에 한정되는 것은 아니며, 스위칭부(415)는 제2 비디오 플레인(414)에 우안용 영상이 그려지는 것은 그대로 두고 대신 제1 비디오 플레인(413)에 제1 비디오 디코더(411)가 영상을 그리도록 할 것인지 또는 제 그리지 못하도록 할 것인지를 제어할 수도 있다.
출력부(416)는 제1 비디오 플레인(413)과 제2 비디오 플레인(414)에 그려진 영상들을 교대로 출력한다. 스위칭부(415)의 제어에 의해 제2 비디오 플레인(414)에는 영상이 그려지지 않게 되므로 출력부(416)는 제1 비디오 플레인(413)에 그려진 좌안용 영상을 재생한 후 제2 비디오 플레인(414)의 빈 영상, 예컨대 전체가 까맣거나 전체가 하얀 영상을 재생하게 된다. 이 경우, 출력부(416)에 의해 재생되는 비디오 영상은 2차원 영상이 된다.
비디오 처리부(410)가 2차원 비디오 영상을 재생하는 중에, 사용자가 유저 인터페이스를 통하여 PopUp Off UOP를 전송하면 제1 그래픽 디코더(420)와 제2 그래픽 디코더(430)는 팝업 인터랙티브 그래픽 스트림을 이용하여 제1 그래픽 플레인(440)과 제2 그래픽 플레인(450)에 좌안용 그래픽 화면과 우안용 그래픽 화면을 그리는 것을 종료한다.
제1 그래픽 디코더(420)는 PopUp Off UOP를 또한 스위칭부(415)에 전달한다. 스위칭부(415)는 제1 그래픽 디코더(420)로부터 PopUp Off UOP를 받으면 제2 비디오 디코더(412)가 제2 비디오 플레인(414)에 다시 영상을 그리도록 제어한다. 제2 비디오 디코더(412)는 우안용 비디오 스트림을 디코딩하고, 스위칭부(415)의 제어에 의해 우안용 영상을 제2 비디오 플레인(414)에 그린다. 출력부(416)는 제1 비디오 플레인(413)에 그려진 좌안용 영상과 제2 비디오 플레인(414)에 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생한다.
이와 같이, 본 발명의 다른 실시 예에 따른 영상 처리 장치는 3차원 비디오 영상을 재생하는 중에, 사용자로부터 팝업 인터랙티브 그래픽 스트림 활성화 명령을 받으면, 좌안용 영상과 우안용 영상 중 하나의 영상이 제1 비디오 플레인과 제2 비디오 플레인 중 하나의 플레인에 그려지지 못하도록 제어하여 2차원 비디오 영상을 재생할 수 있다.
도 5는 본 발명의 또 다른 실시 예에 따른 영상 처리 장치(500)의 내부 블록도이다. 도 5는 팝업 메뉴와 비디오 영상을 함께 재생할 때 도 2의 아래쪽에 도시된 바와 같이 비디오 영상이 팝업 메뉴보다 안쪽에 위치한 듯한 입체감을 갖도록 비디오 영상을 재생하기 위한 영상 처리 장치이다.
도 5를 참조하면, 본 발명의 또 다른 실시 예에 따른 영상 처리 장치(500)는 비디오 처리부(510), 그래픽 디코더(520), 제1 그래픽 플레인(530) 및 제2 그래픽 플레인(540)을 포함한다.
비디오 처리부(510)는 제1 비디오 디코더(511), 제2 비디오 디코더(512), 제1 비디오 플레인(513), 제2 비디오 플레인(514), 스위칭부(515), 좌우 이동부(shifter)(516) 및 출력부(517)를 포함한다.
도 5의 영상 처리 장치(500)를 구현하기 위해서는 팝업 메뉴가 표시될 때 비디오 플레인이 가져야 하는 특정 뎁쓰 값이 정의되어 있어야 한다. 영상 처리 장치(500) 내부의 메모리(미도시)나 비디오 스트림 내부, 그래픽 스트림 내부 또는 비디오 스트림에 대한 메타데이터 등에는 팝업 메뉴가 표시될 때 비디오 플레인이 특정 뎁쓰 값을 갖도록 하기 위한 정보가 포함될 수 있다. 이하, 비디오 플레인이 특정 뎁쓰 값을 갖도록 하기 위한 정보로, 좌안용 비디오 영상 또는 우안용 비디오 영상이 각각 좌 또는 우로 이동해야 할 거리를 표시하는 정보를 비디오 플레인 옵셋 값(video plane offset value)이라 부르기로 한다.
비디오 처리부(510)가 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 중에, 그래픽 디코더(520)가 사용자로부터 PopUp On UOP를 받으면, 그래픽 디코더(520)는 처리하려는 인터랙티브 그래픽 스트림이 팝업 인터랙티브 그래픽 스트림인지를 판단하고, 인터랙티브 그래픽 스트림이 팝업 인터랙티브 그래픽 스트림인 경우, PopUp On UOP를 스위칭부(515)에 전송한다.
스위칭부(515)는 PopUp On UOP를 받으면 제2 비디오 디코더(512)가 아닌 제1 비디오 디코더(511)가 제2 비디오 플레인(414)에 영상을 그리도록 제어한다. 이 경우 제1 비디오 플레인(513)과 제2 비디오 플레인(514)에는 모두 좌안용 영상이 그려지게 된다.
또한, 도 5의 영상 처리 장치(500)의 그래픽 디코더(520)는 PopUp On UOP를 받으면 영상 처리 장치(500) 내부의 메모리로부터 또는 비디오 스트림이나 그래픽 스트림, 또는 비디오 스트림에 대한 메타데이터로부터 비디오 플레인 옵셋 값을 추출한다. 그래픽 디코더(520)는 추출한 비디오 플레인 옵셋 값을 좌우 이동부(516)로 전송한다.
좌우 이동부(516)는 제1 비디오 플레인(513)과 제2 비디오 플레인(514)에 그려져 있는 영상을 좌 및 우로 각각 비디오 플레인 옵셋 값만큼 이동시킨다. 비디오 플레인 옵셋 값이 양수인 경우, 좌우 이동부(516)는 제1 비디오 플레인(513)에 그려져 있는 좌안용 영상을 좌측으로 비디오 플레인 옵셋 값만큼 이동시키고 제2 비디오 플레인(514)에 그려져 있는 좌안용 영상을 우측으로 비디오 플레인 옵셋 값만큼 이동시켜 새로운 두 영상을 생성한다.
출력부(516)는 좌우 이동부(516)에 의해 생성된 두 영상을 교대로 출력한다. 이 경우 출력부(516)에 의해 재생되는 영상은 영상 전체가 동일한 뎁쓰 값을 갖는 3차원 비디오 영상이 된다. 좌우 이동부(516)가 좌안용 영상을 좌측과 우측으로 이동시키는 거리가 클수록, 즉, 비디오 플레인 옵셋 값이 클수록 좌우 이동부(516)에 의해 생성된 두 영상으로부터 생성되는 3차원 비디오 영상의 뎁쓰 값이 작아지게 되어 3차원 비디오 영상이 화면 속에 더 깊이 들어가 있는 듯한 입체감을 준다.
그래픽 디코더(520)는 사용자로부터 PopUp On UOP를 받으면 인터랙티브 그래픽 스트림을 디코딩하여 그래픽 화면을 생성한다. 도 5에서는 그래픽 스트림이 스테레오스코픽 그래픽 스트림이 아닌 경우를 가정한다.
영상 처리 장치(500) 내부의 메모리나 그래픽 스트림의 내부, 또는 그래픽 스트림에 대한 메타데이터 등에는 그래픽 스트림을 3차원으로 재생하기 위한 정보가 포함될 수 있다. 영상 처리 장치(500)는 메모리나 그래픽 스트림의 내부, 또는 그래픽 스트림에 대한 메타데이터로부터 그래픽 스트림을 3차원으로 재생하기 위한 정보를 추출하고 이를 이용하여 하나의 그래픽 스트림으로부터 3차원 그래픽 화면을 재생할 수 있다. 그래픽 스트림을 3차원으로 재생하기 위한 정보는 그래픽 오브젝트 옵셋 정보나 그래픽 플레인 옵셋 정보 중 하나 이상을 포함할 수 있다. 그래픽 플레인 옵셋 정보는 복수개의 그래픽 오브젝트가 포함된 그래픽 화면 전체에 동일한 뎁쓰 값을 부여하기 위한 정보이고 이와 구별되게, 그래픽 오브젝트 옵셋 정보는 그래픽 화면에 포함된 복수개의 그래픽 오브젝트 각각에 대해 별개의 뎁쓰 값을 부여하기 위한 정보이다.
그래픽 플레인 옵셋 정보는 그래픽 플레인에 대한 옵셋 값(offset value)을 포함한다. 그래픽 플레인에 대한 옵셋 값은, 하나의 그래픽 스트림으로부터 디코딩되어 생성된 하나의 그래픽 화면을 이용하여 그래픽 화면 전체가 동일한 소정의 뎁쓰 값을 갖는 3차원 그래픽 화면을 생성하기 위해 상기 하나의 그래픽 화면 전체가 좌 및 우로 이동해야 할 거리를 표시하는 값이다.
그래픽 오브젝트 옵셋 정보는 그래픽 화면에 포함된 복수개의 그래픽 오브젝트 각각을 식별하기 위한 오브젝트 식별자, 식별된 오브젝트에 적용할, 그래픽 오브젝트에 대한 옵셋 값(offset value)을 포함한다. 그래픽 오브젝트에 대한 옵셋 값은 각 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하기 위해 각 그래픽 오브젝트가 좌 및 우로 이동해야 할 거리를 표시하는 값이다.
그래픽 디코더(520)는 영상 처리 장치(500) 내부의 메모리나 그래픽 스트림의 내부, 또는 그래픽 스트림에 대한 메타데이터 등으로부터 그래픽 스트림을 3차원으로 재생하기 위한 정보를 추출하고 그래픽 스트림을 3차원으로 재생하기 위한 정보에서 그래픽 오브젝트 옵셋 정보나 그래픽 플레인 옵셋 정보 중 하나를 추출하여, 그래픽 화면 전체가 동일한 뎁쓰 값을 갖도록 하거나, 그래픽 화면에 포함된 그래픽 오브젝트 별로, 즉, 각 메뉴나 버튼 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다.
그래픽 디코더(520)가 그래픽 스트림을 3차원으로 재생하기 위한 정보에서 그래픽 플레인 옵셋 정보를 추출한 경우, 그래픽 디코더(520)는 그래픽 플레인 옵셋 정보에 포함된 그래픽 플레인에 대한 옵셋 값만큼 그래픽 화면 전체를 좌 및 우로 이동시켜 제1 그래픽 플레인(530)과 제2 그래픽 플레인(540)에 각각 좌안용 그래픽 화면과 우안용 그래픽 화면을 그린다.
출력부(517)는 제1 그래픽 플레인(530)과 제2 그래픽 플레인(540)에 그려진 좌안용 그래픽 화면과 우안용 그래픽 화면을 교대로 출력하여 3차원 그래픽 화면을 재생할 수 있다. 이 때 3차원 그래픽 화면은 화면 전체가 동일한 뎁쓰 값을 갖게 된다.
그래픽 디코더(520)가 그래픽 스트림을 3차원으로 재생하기 위한 정보에서 그래픽 오브젝트 옵셋 정보를 추출한 경우, 그래픽 디코더(520)는 그래픽 오브젝트 옵셋 정보에서 그래픽 오브젝트 식별자를 추출하고 식별된 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 한다. 이를 위해 그래픽 디코더(520)는 각 그래픽 오브젝트가 좌 및 우로 이동해야 할 거리를 표시하는 그래픽 오브젝트에 대한 옵셋 값을 이용하여 각 그래픽 오브젝트가 그래픽 오브젝트에 대한 옵셋 값만큼 좌 또는 우로 이동된 위치에 있도록 제1 그래픽 플레인(340)과 제2 그래픽 플레인(350)에 좌안용 그래픽 화면과 우안용 그래픽 화면을 그린다.
이 경우, 출력부(517)에 의해 출력되는 3차원 그래픽 화면 내의 각각의 그래픽 오브젝트들은 별개의 입체감을 갖게 된다.
사용자가 유저 인터페이스를 통하여 PopUp Off UOP를 전송하면 그래픽 디코더(520)는 팝업 인터랙티브 그래픽 스트림을 이용하여 그래픽 화면을 그리는 것을 종료한다.
그래픽 디코더(520)는 PopUp Off UOP를 또한 스위칭부(515)에 전달한다. 그래픽 디코더(520)로부터 PopUp Off UOP를 받은 스위칭부(515)는 제2 비디오 디코더(512)가 제2 비디오 플레인(514)에 영상을 그리도록 제어한다.
또한 그래픽 디코더(520)는 PopUp Off UOP를 받으면 좌우 이동부(516)에 이를 알려 좌우 이동부(516)가 제1 비디오 플레인(413)과 제2 비디오 플레인(414)에 그려진 영상을 좌 또는 우로 이동시켜 새로운 그래픽 화면을 생성하지 못하도록 제어한다.
출력부(416)는 제1 비디오 플레인(413)에 그려진 좌안용 영상과 제2 비디오 플레인(414)에 그려진 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생한다.
도 6은 본 발명의 일 실시 예에 따른 그래픽 디코딩 장치의 내부 블록도이다. 도 6을 참조하면, 그래픽 디코딩 장치(600)는 좌안용 그래픽 디코더(610), 우안용 그래픽 디코더(620), 좌안용 그래픽 플레인(630), 우안용 그래픽 플레인(640), 옵셋 값 적용부(이하 offset이라 약칭함, 650, 660) 및 색상 참조 테이블(Color Lookup Table: CLUT)을 포함한다.
좌안용 그래픽 디코더(610)는 코디드 데이터 버퍼(611), 스트림 그래픽 처리부(613), 구성 버퍼(615), 디코디드 오브젝트 버퍼(617) 및 그래픽 콘트롤러(619)를 포함한다.
우안용 그래픽 디코더(620)는 코디드 데이터 버퍼(621), 스트림 그래픽 처리부(623), 구성 버퍼(625) 및 디코디드 오브젝트 버퍼(627)를 포함한다.
그래픽 스트림이 스테레오스코픽 그래픽 스트림인 경우, 좌안용 그래픽 디코더(610)는 좌안용 그래픽 스트림을 디코딩하고 우안용 그래픽 디코더(620)는 우안용 그래픽 스트림을 각각 디코딩한다. 이를 보다 구체적으로 살펴보면, 코디드 데이터 버퍼(611, 621)는 각각 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 일시적으로 저장하다가 스트림 그래픽 처리부(613, 623)로 전송한다. 스트림 그래픽 처리부(613, 623)는 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 각각 디코딩하여 버튼 이미지용 오브젝트 데이터는 디코디드 오브젝트 버퍼(617, 627)로 보내고 버튼의 구성 정보는 구성 버퍼(615, 625)로 보낸다.
그래픽 콘트롤러(619)는 디코디드 오브젝트 버퍼(617, 627)로 전송된 각 오브젝트 데이터에 대하여 구성 버퍼(615, 625)로부터 해당 구성 정보를 참조하여 출력될 이미지를 구성하고, 구성된 이미지를 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 각각 전송한다.
그래픽 콘트롤러(619)는 해당 구성 정보에 포함된 색상 정보에 따라 색상 참조 테이블(670, 680)을 참조하여 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 전송된 이미지의 색상을 채운다. 출력부(미도시)는 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 그려진 이미지를 교대로 재생하여 3차원 그래픽 화면으로 출력한다. 이 때 출력되는 3차원 그래픽 화면의 각 그래픽 오브젝트들은 즉 메뉴나 버튼들은 각각 별개의 뎁쓰 값을 가질 수 있다.
그래픽 스트림이 스테레오스코픽 그래픽 스트림인 경우에는 옵셋 값 적용부(650, 660)는 별도의 기능을 수행하지 않는다.
그래픽 스트림이 스테레오스코픽 그래픽 스트림이 아닌 경우, 그래픽 디코딩 장치(600)는 좌안용 그래픽 디코더(610)와 우안용 그래픽 디코더(620)를 모두 사용할 필요가 없으므로 하나의 그래픽 디코더, 예컨대 좌안용 그래픽 디코더(610)만을 이용하여 그래픽 스트림을 디코딩한다. 좌안용 그래픽 디코더(610)는 그래픽 스트림을 디코딩하여 출력할 이미지를 구성하고 구성된 이미지를 오브젝트 버퍼(617)로부터 찾아 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 각각 전송한다.
그래픽 콘트롤러(619)는 영상 처리 장치 내부의 메모리(미도시)나 그래픽 스트림 내부 또는 그래픽 스트림에 대한 메타데이터로부터 그래픽 스트림을 3차원으로 재생하기 위한 정보를 추출한다. 그래픽 스트림을 3차원으로 재생하기 위한 정보는 그래픽 오브젝트 옵셋 정보와 그래픽 플레인 옵셋 정보 중 하나 이상을 포함할 수 있다. 그래픽 콘트롤러(619)는 그래픽 화면 전체에 동일한 뎁쓰 값을 부여하기 위해 그래픽 플레인 옵셋 정보를 추출하고, 그래픽 플레인 옵셋 정보로부터 그래픽 플레인에 대한 옵셋 값을 추출하고 이를 옵셋 값 적용부(650, 660)에 전송할 수 있다. 이 경우 옵셋 값 적용부(650, 660)는 그래픽 콘트롤러(619)로부터 그래픽 플레인에 대한 옵셋 값을 받고 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 전송된 이미지를 그래픽 플레인에 대한 옵셋 값만큼 각각 좌측 방향과 우측 방향 또는 우측 방향과 좌측 방향으로 이동시킨다. 그래픽 콘트롤러(619)는 해당 구성 정보에 포함된 색상 정보에 따라 색상 참조 테이블(670, 680)을 참조하여 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 전송된 이미지의 색상을 채운다. 출력부는 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 그려진 이미지를 교대로 출력하여 3차원 그래픽 화면을 재생한다. 이 때 출력되는 3차원 그래픽 화면은 그래픽 화면 전체가 동일한 뎁쓰 값을 갖게 된다.
그래픽 콘트롤러(619)가 그래픽 화면에 포함된 그래픽 오브젝트 별로 별개의 뎁쓰 값을 부여하기 위해서는 그래픽 콘트롤러(619)는 그래픽 스트림을 3차원으로 재생하기 위한 정보로부터 그래픽 오브젝트 옵셋 정보를 추출하고, 그래픽 오브젝트 옵셋 정보로부터 오브젝트 식별자 및 그래픽 오브젝트에 대한 옵셋 값을 추출하고 이를 옵셋 값 적용부(650, 660)에 전송한다. 옵셋 값 적용부(650, 660)는 그래픽 콘트롤러(619)로부터 오브젝트 식별자와 그래픽 오브젝트에 대한 옵셋 값을 받고 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 전송된 이미지에 포함된 각 그래픽 오브젝트 별로 그래픽 오브젝트에 대한 옵셋 값만큼 각각 좌측 방향과 우측 방향 또는 우측 방향과 좌측 방향으로 이동시킨다. 그래픽 콘트롤러(619)는 해당 구성 정보에 포함된 색상 정보에 따라 색상 참조 테이블(670, 680)을 참조하여 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 전송된 이미지의 색상을 채운다. 출력부는 좌안용 그래픽 플레인(630)과 우안용 그래픽 플레인(640)에 그려진 이미지를 교대로 출력하여 3차원 그래픽 화면을 재생한다. 이 때 출력되는 3차원 그래픽 화면은 그래픽 화면에 포함된 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖게 된다.
그래픽 콘트롤러(619)는 유저인터페이스를 통해 사용자로부터 UOP를 받는다. 그래픽 콘트롤러(619)는 사용자로부터의 UOP에 따라 따라 그래픽 디코딩 장치(600)를 제어한다. 그래픽 콘트롤러(619)가 유저인터페이스를 통해 PopUp On/Off UOP를 받은 경우, 그래픽 콘트롤러(619)는 인터랙티브 그래픽 스트림 중 ICS 내 User Interface Model field를 해석하여 디코딩된 인터랙티브 그래픽 스트림의 유형이 팝업 인터랙티브 그래픽 스트림인지를 판단한다. 그래픽 콘트롤러(619)는 디코딩된 인터랙티브 그래픽 스트림이 팝업 인터랙티브 그래픽 스트림이라고 판단하면 PopUp On/Off UOP를 비디오 처리부(미도시)로 전송한다.
비디오 처리부는 그래픽 콘트롤러(619)로부터 PopUp On 를 받으면 좌안용 영상과 우안용 영상 중 하나의 영상만이 생성되도록 하여 2차원 비디오 영상이 재생되도록 하거나 좌안용 영상과 우안용 영상 중 생성된 하나의 영상을 비디오 플레인 옵셋 값만큼 좌, 우로 각각 이동시켜 새로운 두 영상을 생성하여 팝업 메뉴보다 깊이 값이 작은 3차원 비디오 영상이 재생되도록 할 수 있다.
비디오 처리부가 2차원 비디오 영상을 재생하는 중에 그래픽 콘트롤러(619)로부터 PopUp Off UOP를 받으면 비디오 처리부는 좌안용 영상과 우안용 영상을 모두 생성하여 3차원 비디오 영상이 재생되도록 할 수 있다. 전술한 바와 같이 비디오 플레인 옵셋 값은 영상 처리 장치 내부의 메모리(미도시)나 비디오 스트림 내부, 그래픽 스트림 내부 또는 비디오 스트림에 대한 메타데이터 등에 포함될 수 있다.
이와 같이 본 발명의 실시 예에 따르면, 그래픽 디코딩 장치는 그래픽 스트림을 이용하여 그래픽 화면 전체가 동일한 뎁쓰 값을 갖는 3차원 그래픽 화면을 생성하거나, 그래픽 화면에 포함된 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖는 3차원 그래픽 화면을 생성할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 그래픽 스트림에 대한 메타데이터를 도시한 도면이다. 본 발명의 일 실시 예에 따른 메타데이터에는 그래픽 스트림을 3차원으로 재생하기 위한 정보가 포함되어 있다. 그러나 본 발명이 이에 한정되는 것은 아니며, 그래픽 스트림을 3차원으로 재생하기 위한 정보는 그래픽 스트림에 대한 메타데이터 외에 영상 처리 장치 내부의 메모리나 그래픽 스트림 내부 등에 포함될 수도 있다.
그래픽 스트림에 대한 메타데이터에는 그래픽 스트림에 포함된 그래픽 오브젝트들이 출력되어야 할 시간을 나타내는 오브젝트 출력 시간 정보 및 그래픽 오브젝트 옵셋 정보가 포함될 수 있다. 그래픽 오브젝트는 그래픽 스트림에 의해 표시되는 그래픽 화면에 포함되는 버튼이나 자막 하나 하나를 나타낸다. 그래픽 오브젝트 출력 시간 정보는 메뉴나 자막, 즉, 그래픽 오브젝트가 출력되어야 할 시각을 나타내며, ICS, PCS, DPS 등의 프리젠테이션 타임 스탬프(PTS) 값으로 표시될 수 있다.
그래픽 스트림에 의해 표시되는 그래픽 화면에는 메뉴나 버튼, 또는 자막 등을 나타내는 그래픽 오브젝트가 하나 이상 포함되어 있다. 그래픽 스트림에 대한 메타데이터에는, 그래픽 스트림에 의해 표시되는 그래픽 화면에 포함된 복수개의 그래픽 오브젝트 각각에 대해 별개의 뎁쓰 값이 부여되도록 하기 위한 그래픽 오브젝트 옵셋 정보와, 그래픽 오브젝트가 포함된 그래픽 화면 전체에 동일한 하나의 뎁쓰 값이 부여되도록 하기 위한 그래픽 플레인 옵셋 정보 중 하나 이상이 포함될 수도 있다.
그래픽 오브젝트 옵셋 정보는 그래픽 오브젝트를 식별하기 위한 오브젝트 식별자, 그래픽 오브젝트에 대한 옵셋 값, 그리고 홀 보상 정보를 포함할 수 있다. 오브젝트 식별자는 그래픽 스트림이 디코딩되어 생성된 그래픽 오브젝트들 중 특정 그래픽 오브젝트를 식별하기 위한 정보이다.
그래픽 오브젝트에 대한 옵셋 값은 오브젝트 식별자에 의해 식별된 오브젝트의 위치가 좌안용 그래픽 화면과 우안용 그래픽 화면에서 각각 좌 또는 우로 이동되어야 할 거리를 나타낸다.
홀 보상 정보는 그래픽 오브젝트의 위치를 그래픽 오브젝트에 대한 옵셋 값만큼 변경할 경우 원래의 오브젝트 위치에 생기는 홀(hole)을 보상하기 위한 정보로, 홀의 영역을 식별하기 위한 홀 영역 식별 정보 및 식별된 영역을 채울 색상의 종류를 나타내는 색상 참조 정보를 포함할 수 있다. 홀 보상 정보는 색상 참조 정보 대신 홀 영역에 삽입될 그림 등에 대한 정보가 포함될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다. 도 8을 참조하면, 영상 처리 장치는 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생한다(단계 810).
영상 처리 장치는 3차원 비디오 영상을 재생하는 중에 사용자로부터 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받으면(단계 820), 디코딩한 인터랙티브 그래픽 스트림이 사용자의 활성화 명령에 의해 활성화되는 팝업 인터랙티브 그래픽 스트림인지를 판단한다.
영상 처리 장치는 디코딩한 인터랙티브 그래픽 스트림이 사용자의 활성화 명령에 의해 활성화되는 팝업 인터랙티브 그래픽 스트림인 경우, 활성화 요구에 상응하여 비디오 스트림으로부터 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성하여 2차원 비디오 영상을 재생한다(단계 830).
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
300, 400, 500...영상 처리 장치
310, 410, 510...비디오 처리부
320, 420...제1 그래픽 디코더
330, 430...제2 그래픽 디코더
520...그래픽 디코더
340, 440, 530...제1 그래픽 플레인
350, 450, 540...제2 그래픽 플레인
311, 411, 511...제1 비디오 디코더
312, 412, 512...제2 비디오 디코더
313, 413, 513...제1 비디오 플레인
314, 414, 514..제2 비디오 플레인
315, 415, 515...스위칭부
316, 416, 517...출력부

Claims (21)

  1. 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 상기 좌안용 영상과 우안용 영상을 번갈아 출력함으로써 3차원 비디오 영상을 재생하는 단계;
    상기 3차원 비디오 영상을 재생하는 중, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받는 단계;
    상기 활성화 요구에 상응하여, 상기 팝업 인터랙티브 그래픽 스트림을 3차원으로 재생하는 단계; 및
    상기 팝업 인터랙티브 그래픽 스트림의 재생 동안, 상기 좌안용 영상과 상기 우안용 영상 중 하나의 영상만을 출력함으로써, 2차원 비디오 영상을 재생하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제1 항에 있어서, 팝업 인터랙티브 그래픽 스트림 활성화 종료 요구를 받는 단계; 및
    상기 활성화 종료 요구에 상응하여 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제1 항에 있어서, 상기 2차원 비디오 영상을 재생하는 단계는 상기 좌안용 영상과 상기 우안용 영상 중 상기 생성된 하나의 영상을 연속하여 두 번 출력하여 2차원 비디오 영상을 재생하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1 항에 있어서, 인터랙티브 그래픽 스트림이 사용자의 요구에 의해 활성화되는 팝업 인터랙티브 그래픽 스트림인지를 판단하는 단계를 더 포함하고,
    상기 2차원 비디오 영상을 재생하는 단계는 상기 인터랙티브 그래픽 스트림이 상기 팝업 인터랙티브 그래픽 스트림이라고 판단되는 경우 상기 2차원 비디오 영상을 재생하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제1 항에 있어서, 상기 활성화 요구에 상응하여 인터랙티브 그래픽 스트림으로부터 좌안용 그래픽 화면과 우안용 그래픽 화면을 생성하여 3차원 그래픽 화면을 재생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제5 항에 있어서, 상기 인터랙티브 그래픽 스트림은 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 포함하는 스테레오스코픽 인터랙티브 그래픽 스트림이고,
    상기 3차원 그래픽 화면을 재생하는 단계는 상기 좌안용 인터랙티브 그래픽 스트림으로부터 상기 좌안용 그래픽 화면을 생성하고, 상기 우안용 인터랙티브 그래픽 스트림으로부터 상기 우안용 그래픽 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제5 항에 있어서, 상기 3차원 그래픽 화면을 재생하는 단계는
    상기 인터랙티브 그래픽 스트림을 디코딩하여 하나의 그래픽 화면을 생성하는 단계; 및
    상기 생성된 하나의 그래픽 화면을 좌측 및 우측 중 하나의 방향으로 그래픽 플레인 옵셋 값만큼 각각 이동시켜 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 제5 항에 있어서, 상기 3차원 그래픽 화면을 재생하는 단계는 복수의 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제5 항에 있어서, 상기 3차원 그래픽 화면을 재생하는 단계는 상기 3차원 그래픽 화면 전체가 동일한 뎁쓰 값을 갖도록 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 상기 좌안용 영상과 상기 우안용 영상을 번갈아 출력함으로써 3차원 비디오 영상을 재생하고, 상기 3차원 비디오 영상의 재생 중 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받으면 상기 팝업 인터랙티브 그래픽 스트림을 3차원으로 재생하고, 상기 팝업 인터랙티브 그래픽 스트림이 재생되는 동안 상기 좌안용 영상과 상기 우안용 영상 중 하나의 영상만을 출력함으로써 2차원 비디오 영상을 재생하는 비디오 처리부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10 항에 있어서, 상기 비디오 처리부는 팝업 인터랙티브 그래픽 스트림 활성화 종료 요구를 받으면 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 3차원 비디오 영상을 재생하는 것을 특징으로 하는 영상 처리 장치.
  12. 제10 항에 있어서, 상기 비디오 처리부는 비디오 스트림으로부터 좌안용 영상과 우안용 영상 중 하나 이상의 영상을 생성하는 비디오 디코더;
    상기 비디오 디코더에 의해 생성된 영상을 재생하는 출력부; 및
    상기 비디오 디코더가 좌안용 영상 및 우안용 영상을 모두 생성하도록 하거나, 두 영상 중 하나의 영상만을 생성하도록 제어하는 스위칭부를 포함하고,
    상기 스위칭부는 상기 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받으면 상기 비디오 디코더가 좌안용 영상 및 우안용 영상 중 하나의 영상만을 생성하도록 상기 비디오 디코더를 제어하는 것을 특징으로 하는 영상 처리 장치.
  13. 제12 항에 있어서, 상기 비디오 디코더가 좌안용 영상과 우안용 영상을 모두 생성한 경우 상기 출력부는 상기 좌안용 영상 및 상기 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생하고,
    상기 비디오 디코더가 좌안용 영상과 우안용 영상 중 하나의 영상만을 생성한 경우 상기 출력부는 상기 생성된 하나의 영상을 연속하여 두 번 출력하여 2차원 비디오 영상을 재생하는 것을 특징으로 하는 영상 처리 장치.
  14. 제13 항에 있어서, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받아 이를 상기 스위칭부에 알려주는 그래픽 디코더를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  15. 제14 항에 있어서, 상기 그래픽 디코더는 인터랙티브 그래픽 스트림을 디코딩하고, 상기 인터랙티브 그래픽 스트림이 사용자의 요구에 의해 활성화되는 팝업 인터랙티브 그래픽 스트림인지를 판단하고, 상기 인터랙티브 그래픽 스트림이 상기 팝업 인터랙티브 그래픽 스트림이라고 판단되면, 상기 팝업 인터랙티브 그래픽 스트림 활성화 요구를 상기 스위칭부에 알려주는 것을 특징으로 하는 영상 처리 장치.
  16. 제15 항에 있어서, 상기 그래픽 디코더는 상기 활성화 요구에 상응하여 상기 인터랙티브 그래픽 스트림으로부터 좌안용 그래픽 화면과 우안용 그래픽 화면을 생성하고,
    상기 출력부는 상기 좌안용 그래픽 화면과 상기 우안용 그래픽 화면을 교대로 출력하여 3차원 그래픽 화면을 재생하는 것을 특징으로 하는 영상 처리 장치.
  17. 제16 항에 있어서, 상기 인터랙티브 그래픽 스트림은 좌안용 인터랙티브 그래픽 스트림과 우안용 인터랙티브 그래픽 스트림을 포함하는 스테레오스코픽 인터랙티브 그래픽 스트림이고,
    상기 그래픽 디코더는 상기 좌안용 인터랙티브 그래픽 스트림으로부터 상기 좌안용 그래픽 화면을 생성하고, 상기 우안용 인터랙티브 그래픽 스트림으로부터 상기 우안용 그래픽 화면을 생성하는 것을 특징으로 하는 영상 처리 장치.
  18. 제16 항에 있어서, 상기 그래픽 디코더는 상기 인터랙티브 그래픽 스트림을 디코딩하여 하나의 그래픽 화면을 생성하고, 상기 생성된 하나의 그래픽 화면을 좌측 및 우측 중 하나의 방향으로 그래픽 플레인 옵셋 값만큼 각각 이동시켜 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 것을 특징으로 하는 영상 처리 장치.
  19. 제16 항에 있어서, 상기 그래픽 디코더는 복수의 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 것을 특징으로 하는 영상 처리 장치.
  20. 제16 항에 있어서, 상기 그래픽 디코더는 상기 3차원 그래픽 화면 전체가 동일한 뎁쓰 값을 갖도록 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 생성하는 것을 특징으로 하는 영상 처리 장치.
  21. 비디오 스트림으로부터 좌안용 영상과 우안용 영상을 생성하여 상기 좌안용 영상과 우안용 영상을 번갈아 출력함으로써 3차원 비디오 영상을 재생하는 단계;
    상기 3차원 비디오 영상을 재생하는 중, 팝업 인터랙티브 그래픽 스트림 활성화 요구를 받는 단계;
    상기 활성화 요구에 상응하여, 상기 팝업 인터랙티브 그래픽 스트림을 3차원으로 재생하는 단계; 및
    상기 팝업 인터랙티브 그래픽 스트림을 재생하는 동안 상기 좌안용 영상과 우안용 영상 중 하나의 영상만을 출력함으로써 2차원 비디오 영상을 재생하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
KR1020100013514A 2009-02-17 2010-02-12 영상 처리 방법 및 장치 KR101659576B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
BRPI1008574A BRPI1008574A2 (pt) 2009-02-17 2010-02-16 método de processar imagens de vídeo, aparelho de processamento de imagem de vídeo, e meio de gravação legível por computador
JP2011550058A JP5593333B2 (ja) 2009-02-17 2010-02-16 映像処理方法及びその装置
EP13161004.0A EP2615835A3 (en) 2009-02-17 2010-02-16 Method and apparatus for processing video image
CN201080008651.5A CN102318353B (zh) 2009-02-17 2010-02-16 用于处理视频图像的方法和设备
PCT/KR2010/000905 WO2010095835A2 (ko) 2009-02-17 2010-02-16 영상 처리 방법 및 장치
MYPI2011003816A MY157101A (en) 2009-02-17 2010-02-16 Method and apparatus for processing video image
EP10743910A EP2400766A4 (en) 2009-02-17 2010-02-16 METHOD AND APPARATUS FOR PROCESSING A VIDEO IMAGE
US13/204,362 US9445034B2 (en) 2009-02-17 2011-08-05 Method and apparatus for processing video image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020090013152 2009-02-17
KR20090013152 2009-02-17
US16038209P 2009-03-16 2009-03-16
US61/160,382 2009-03-16

Publications (2)

Publication Number Publication Date
KR20100094375A KR20100094375A (ko) 2010-08-26
KR101659576B1 true KR101659576B1 (ko) 2016-09-30

Family

ID=42758511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100013514A KR101659576B1 (ko) 2009-02-17 2010-02-12 영상 처리 방법 및 장치

Country Status (8)

Country Link
US (1) US9445034B2 (ko)
EP (2) EP2615835A3 (ko)
JP (1) JP5593333B2 (ko)
KR (1) KR101659576B1 (ko)
CN (1) CN102318353B (ko)
BR (1) BRPI1008574A2 (ko)
MY (1) MY157101A (ko)
WO (1) WO2010095835A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255003A1 (en) * 2010-04-16 2011-10-20 The Directv Group, Inc. Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
JP5668385B2 (ja) * 2010-09-17 2015-02-12 ソニー株式会社 情報処理装置、プログラムおよび情報処理方法
KR20120037858A (ko) * 2010-10-12 2012-04-20 삼성전자주식회사 입체영상표시장치 및 그 ｕｉ 제공 방법
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5789960B2 (ja) * 2010-11-18 2015-10-07 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
EP2506263A1 (en) * 2011-03-31 2012-10-03 Thomson Licensing Stereoscopic scene graph for defining 3D- and 2D-compatible graphical objects
JP5815326B2 (ja) * 2011-08-12 2015-11-17 ルネサスエレクトロニクス株式会社 動画像復号装置及び画像表示装置
WO2013099290A1 (ja) * 2011-12-28 2013-07-04 パナソニック株式会社 映像再生装置、映像再生方法、映像再生プログラム、映像送信装置、映像送信方法及び映像送信プログラム
EP2627093A3 (en) * 2012-02-13 2013-10-02 Thomson Licensing Method and device for inserting a 3D graphics animation in a 3D stereo content
CN103517051B (zh) * 2012-06-28 2016-07-06 联想(北京)有限公司 控制方法和电子设备
US11237695B2 (en) * 2012-10-12 2022-02-01 Sling Media L.L.C. EPG menu with a projected 3D image
US9948913B2 (en) 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009185A (ja) * 2001-06-25 2003-01-10 Olympus Optical Co Ltd 立体観察システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
JPH09139957A (ja) * 1995-11-14 1997-05-27 Mitsubishi Electric Corp グラフィック表示装置
JP3709000B2 (ja) 1995-12-12 2005-10-19 ペンタックス株式会社 超広角ズームレンズカメラ
US5971589A (en) * 1996-05-06 1999-10-26 Amadasoft America, Inc. Apparatus and method for managing and distributing design and manufacturing information throughout a sheet metal production facility
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
EP1044432A4 (en) 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty IMPROVED IMAGE TRANSFORMATION AND CODING TECHNIQUES
US6717578B1 (en) 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
AU2003252388A1 (en) 2002-08-27 2004-03-19 Sharp Kabushiki Kaisha Content reproduction device capable of reproducing a content in optimal reproduction mode
KR100436904B1 (ko) 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법
JP4072674B2 (ja) 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1437898A1 (en) 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
JP2005229384A (ja) 2004-02-13 2005-08-25 Nippon Hoso Kyokai <Nhk> マルチメディア情報配受信システム、マルチメディア情報配信装置およびマルチメディア情報受信装置
US7697750B2 (en) 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
JP2006191357A (ja) 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP4638784B2 (ja) 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム
DE102006030990A1 (de) * 2005-11-14 2007-05-16 Univ Muenster Wilhelms Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
EP2074832A2 (en) * 2006-09-28 2009-07-01 Koninklijke Philips Electronics N.V. 3 menu display
KR101377736B1 (ko) * 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
JP4382837B2 (ja) 2007-06-07 2009-12-16 シャープ株式会社 表示システムおよび画像処理装置
EP3007440A1 (en) * 2007-12-20 2016-04-13 Koninklijke Philips N.V. Image encoding method for stereoscopic rendering
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
BRPI1008575A2 (pt) 2009-02-17 2016-03-08 Samsung Electronics Co Ltd método de processamento de um fluxo gráfico, aparelho para processamento de um fluxo gráfico, e meio de armazenamento legível por computador

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009185A (ja) * 2001-06-25 2003-01-10 Olympus Optical Co Ltd 立体観察システム

Also Published As

Publication number Publication date
CN102318353B (zh) 2014-07-09
EP2615835A3 (en) 2013-12-25
MY157101A (en) 2016-04-29
EP2400766A4 (en) 2012-09-05
KR20100094375A (ko) 2010-08-26
EP2400766A2 (en) 2011-12-28
US20110292176A1 (en) 2011-12-01
EP2615835A2 (en) 2013-07-17
JP2012518322A (ja) 2012-08-09
BRPI1008574A2 (pt) 2016-03-08
WO2010095835A3 (ko) 2010-11-18
CN102318353A (zh) 2012-01-11
WO2010095835A2 (ko) 2010-08-26
JP5593333B2 (ja) 2014-09-24
US9445034B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
KR101659576B1 (ko) 영상 처리 방법 및 장치
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
JP5789518B2 (ja) グラフィック画面処理方法及び装置
KR101629865B1 (ko) 3ｄ ｇｕｉ에서 2ｄ 그래픽 확장
JP5933916B2 (ja) Ｇｕｉ提供方法及びこれを用いたディスプレイ装置と３ｄ映像提供システム
BRPI0911014B1 (pt) Método de criação de um sinal de imagem tridimensional para renderização em um display, dispositivo para criação de um sinal de imagem tridimensional para renderização em um display, método de processamento de um sinal de imagem tridimensional e dispositivo para processamento de um sinal de imagem tridimensional
JP2015111833A (ja) ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
JP2008103820A (ja) 立体画像処理装置
JP5573682B2 (ja) 立体映像鑑賞システム、表示システム、光シャッタおよび立体映像鑑賞方法
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 ３ｄ 비디오 및 ３ｄ 오버레이들을 합성하기 위한 방법 및 시스템
KR101314601B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및 콘텐츠 표출 방법
KR20100128233A (ko) 영상 처리 방법 및 장치
KR20110056773A (ko) Ｇｕｉ 제공방법 및 이를 이용한 디스플레이 장치와 3ｄ 영상 제공 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 4