KR100800275B1 - 그래픽 요소들을 포함하는 비디오 장면 합성을 위한 방법및 장치 - Google Patents
그래픽 요소들을 포함하는 비디오 장면 합성을 위한 방법및 장치 Download PDFInfo
- Publication number
- KR100800275B1 KR100800275B1 KR1020027008457A KR20027008457A KR100800275B1 KR 100800275 B1 KR100800275 B1 KR 100800275B1 KR 1020027008457 A KR1020027008457 A KR 1020027008457A KR 20027008457 A KR20027008457 A KR 20027008457A KR 100800275 B1 KR100800275 B1 KR 100800275B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- frames
- graphic elements
- rendered
- format
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000015572 biosynthetic process Effects 0.000 title description 2
- 238000003786 synthesis reaction Methods 0.000 title description 2
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 230000015556 catabolic process Effects 0.000 abstract description 5
- 238000006731 degradation reaction Methods 0.000 abstract description 5
- 239000002131 composite material Substances 0.000 abstract 1
- 238000007796 conventional method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Systems (AREA)
Abstract
본 발명은, 2D 그래픽 요소들의 열화가 발생하지 않도록 보장하면서 보다 작은 포맷의 주 비디오 오브젝트들로부터 2D 그래픽 요소들을 포함하는 업스케일링된 비디오 프레임들을 얻기 위한 방법 및 장치에 관한 것이다. 이 목적을 위하여, 비디오 프레임들 및 2D 그래픽 요소들 상에 병렬의 독립된 프로세스가 수행된다. 제 1 프로세스는 상기 주 비디오 오브젝트들로부터 렌더링된 프레임들을 발생시키는 단계로 구성되며, 여기서 상기 렌더링된 프레임들은 이후에 원하는 출력 비디오 포맷으로 업스케일링된다. 제 2 프로세스는 2D 그래픽 요소들의 열화가 발생하지 않도록 보장하는 드로잉 알고리즘을 이용하여 상기 출력 포맷으로 2D 그래픽 요소들을 직접 렌더링하는 단계로 구성된다. 마지막 단계에서, 렌더링된 2D 그래픽 요소들은 업스케일링된 비디오 프레임들 상에 매핑된다. 2D 그래픽 요소들을 포함하는 비디오 프레임들 상에 업스케일링(upscaling)을 수행하면, 열화된 2D 그래픽 요소들을 포함하는 업스케일링된 비디오 프레임들이 초래되는데 반해, 본 발명의 방법에 따르면 양호한 해상도의 2D 그래픽 요소들을 포함하는 업스케일링된 비디오 프레임들을 달성할 수 있다.
비디오 오브젝트, 그래픽 요소, 셋톱 박스, 비디오 장면 합성, 프레임
Description
본 발명은 한 세트의 그래픽 요소들(graphic elements) 및 주 비디오 오브젝트들(primary video objects)로부터 비디오 장면(video scene)을 합성하는 방법에 관한 것이다.
본 발명은 그래픽 요소들의 시각적 판독 편의를 개선시키기 위한 임의의 비디오 코딩 시스템(video coding system)에 사용될 수 있다.
대화형 텔레비전이나 전자 프로그램 안내(EPG: Electronic Program Guide)와 같은 멀티미디어 애플리케이션들의 출현으로, 화질이 중요한 요소가 되고 있다. 사실상, 최종 사용자(end user)들은 최대의 시각적 편의를 도모하면서 이와 같은 애플리케이션들과 상호작용 및 통신할 수 있도록 비디오 및 그래픽 요소들이 양호한 해상도와 대규모 디스플레이 화상 포맷을 동시에 가지도록 요구하고 있다. 더욱 더, 이와 같은 멀티미디어 애플리케이션들의 콘텐트는, 추가 정보를 삽입한 주 비디오 콘텐트로 구성된다. 이와 같은 추가 정보는, 최종 사용자의 요청들에 대한 응답에 대응할 수도 있고 상기 주 비디오 콘텐트의 비디오 프레임들 내에서 텍스트나 기하학적 패턴과 같은 2차원 (2D) 그래픽 요소들의 매핑(mapping)으로 귀결되는 최종 사용자 그래픽 퍼스널라이제이션(personalization)에 대응할 수도 있다.
미국특허 제5,877,771호는 디스플레이된 프레임 내에 풍부한 표면 디테일(surface detail)을 제공하기 위한 2D 텍스처 매핑용 방법 및 장치를 기술하고 있다. 이러한 목적을 위해, 주 비디오의 프레임들 내에 있는 목적지 화소들에 대한 다중-해상도 텍스처 데이터(texture data)가, 텍스처에서의 국부적 변화율에 기초하여 수평 및 수직 스크린 공간 샘플링률로 수퍼샘플링된다. 그래픽 요소들이 텍스처로서 간주되면, 이와 같은 방법은 2D 그래픽 요소들을 비디오 프레임들 상에 매핑하는데 이용될 수 있다.
본 발명의 목적은, 2D 그래픽 요소들 및 비디오 오브젝트들로부터 비디오 장면을 합성하는 방법으로서 비디오 장면 내의 2D 그래픽 요소들에 관해 양호한 품질을 얻을 수 있도록 해주며 개선되고 비용 절감적인 방법을 제공하는 것이다.
사실상, 종래 기술은 많은 제약사항들이 있다. 첫 번째로, 종래의 방법은, 최종 출력 비디오 프레임들을 위해 보다 큰 포맷이 요구될 경우 주 비디오 프레임들 상에 2D 그래픽 요소를 매핑하는 것은 주 비디오 프레임들의 업스케일링과 결합되어야 한다는 사실을 고려하지 않고 있다. 따라서, 이러한 상황에서 2D 그래픽 요소의 품질은 에일리어싱(aliasing)으로 인해 열화(degrade)될 수 있다. 에일리어싱은 관찰자가 판독하기 어려운 조악하고 들쭉날쭉한 심벌을 초래한다. 두 번째로, 종래의 방법은 매핑 동작을 위해 상당한 양의 처리 능력을 요구하기 때문에 값비싸다는 것이다.
본 발명에 따른 방법은 종래 방법의 한계로 인한 문제점들에 대해 해결책을 제공해준다. 이 방법은, 2D 그래픽 요소들의 열화가 발생하지 않도록 보장하면서 보다 작은 포맷의 비디오 오브젝트들로부터 2D 그래픽 요소들을 포함하는 업스케일링된 비디오 프레임들을 얻을 수 있도록 해준다. 이러한 목적을 위해, 본 발명에 따른 상기 방법은 하기와 같은 단계들을 포함하는 것을 특징으로 한다:
- 제 1 포맷의 렌더링된 비디오 프레임들(rendered video frames)을 제공하기 위해 주 비디오 오브젝트들을 렌더링하는 단계,
- 제 2 포맷의 업스케일링된 비디오 프레임들(upscaled video frames)을 제공하기 위해 상기 렌더링된 비디오 프레임들을 업스케일링하는 단계,
- 상기 제 2 포맷의 렌더링된 그래픽 요소들을 제공하기 위해 그래픽 요소들을 렌더링하는 단계,
- 비디오 장면을 규정하는 프레임들을 합성하기 위해 상기 렌더링된 그래픽 요소들을 상기 업스케일링된 비디오 프레임들 상에 매핑하는 단계.
이 방법은 비디오 오브젝트들 및 2D 그래픽 요소들에 관련된 2개 세트의 별개의 데이터로 구성된다. 그리하여, 비디오 오브젝트들 및 2D 그래픽 요소들 상에 병렬의 독립된 프로세스가 수행된다. 제 1 프로세스는 비디오 오브젝트 프레임들로부터 프레임들을 합성하는 단계로 구성되는데, 여기서 상기 프레임들은 이후에 원하는 출력 비디오 포맷으로 업스케일링된다. 제 2 프로세스는 2D 그래픽 요소들의 열화가 발생하지 않도록 보장하는 드로잉 알고리즘(drawing algorithm)을 이용하여 2D 그래픽 요소들을 상기 출력 포맷으로 직접 렌더링하는 단계로 구성된다. 마지막 단계에서, 렌더링된 2D 그래픽 요소들은 업스케일링된 비디오 프레임들 상에 매핑된다. 2D 그래픽 요소들을 포함하는 비디오 프레임들 상에 업스케일링(upscaling)을 수행하면 열화된 2D 그래픽 요소들을 포함하는 업스케일링된 비디오 프레임들이 초래되는데 반해, 이 방법은 양호한 해상도를 갖는 2D 그래픽 요소들을 포함하는 업스케일링된 비디오 프레임들을 생성하게 된다.
본 발명이, 첨부된 도면과 연계하여 이하에서 기술되고 고려되는 실시예들을 참조하여 보다 상세히 설명될 것이다. 도면에서 동일한 부분 또는 하부-단계는 동일한 참조 번호를 가진다.
도 1은 본 발명에 따른 상기 단계들의 시퀀스를 도시한 도면.
도 2는 본 발명의 하드웨어 구현을 도시한 도면.
도 3은 본 발명의 한 실시예를 도시한 도면.
본 발명은 한 세트의 비디오 데이터 및 2D 그래픽 요소들로부터의 개선된 비디오 합성 방법에 관한 것이다.
본 발명은 MPEG-4 비디오 표준에 따라 코딩된 비디오 데이터 및 2D 그래픽 요소들로부터 합성되는 비디오 장면(video scene)에 관해 기술된다. 그러나, 당업자는 본 발명의 영역이 이러한 특정 경우만으로 제한되지 않으며 MPEG-2 또는 H.263과 같은 다른 오브젝트-지향형 비디오 표준이나 인코딩되지 않은 비디오 데이터에 따라 코딩된 비디오 데이터에도 역시 적용 가능하다는 것을 이해할 것이다.
도 1은, 2개의 비디오 및 2D 그래픽 요소들로부터 비디오 장면을 합성하는 상황에서 본 발명에 따른 방법의 단계들의 시퀀스를 도시하고 있다. 이 방법은 하기의 단계들을 포함한다:
- MPEG-4 비디오 표준에 따라 코딩된 입력 비디오 오브젝트들(102)을 디코딩하여 디코딩된 비디오 오브젝트들(103)을 제공하기 위한 디코딩 단계(101). 제 1 비디오 오브젝트는, 예를 들어 CIF(Common Intermediate Format) 포맷과 같은 제 1 포맷을 갖는 백그라운드 비디오(background video)에 대응한다. 제 2 비디오 오브젝트는, 예를 들어 SQCIF(Sub Quarter Common Intermediate Format)과 같은 보다 작은 포맷을 갖는 비디오에 대응한다. 이들 입력 비디오 오브젝트들은 별개의 MPEG-4 디코더들에 의해 디코딩된다.
- 디코딩된 비디오(103)로부터 렌더링된 비디오 프레임들(105)을 얻기 위한 비디오 렌더링 단계(104). 이 단계는 어셈블링 파라미터들(assembling parameters)에 관하여 상기 비디오(103)를 어셈블링하는 것으로 구성된다. 예를 들어, 이 단계의 결과로서, SQCIF 비디오 프레임들이 CIF 비디오 프레임들 내에 오버레이될 수 있다. 이와 같은 파라미터들은, 예를 들어, 장면 내에서의 각각의 비디오 오브젝트의 공간적 위치나, SQCIF와 CIF 비디오 프레임들간의 투명도 계수(transparency coefficient)를 기술한다. 이들은 각각의 비디오 오브젝트로부터 직접 추출되거나 BIFS(Binary Format For Scene) 구문에 따라 인코딩된 스트림(106)으로부터 추출되며, 장면 합성을 기술하는데 전용된다. 이 단계는, 예를 들어 마우스나 키보드 신호(107)를 통해, 또는 렌더링되는 장면 내에서의 선택된 비디오 오브젝트의 공간적 위치의 변경과 같은 BIFS 스트림(106) 내부의 BIFS 갱신을 이용한 사용자 상호작용에 응답하여, 어셈블링 파라미터들을 수정하기 위해 MPEG-4 계층의 능력을 고려할 수도 있다.
- 수평 및/또는 수직 축을 따라 업스케일링되어 렌더링된 프레임들(109)을 제공하기 위한 업스케일링 단계(108). 이 목적을 위해, 프레임들(105)의 루미넌스(luminance)와 크로미넌스(chrominance) 화소들이 업스케일링 계수에 따라 수평 및/또는 수직으로 복제된다. 물론, 화소 보간법(pixel interpolation)에 기반한 기법들과 같은 다른 업스케일링 방법이 이용될 수도 있다. 예를 들어, 업스케일링 계수가 2로 설정되면, CIF 포맷으로 된 프레임들(105)의 업스케일링은 CCIR 포맷을 갖는 프레임들(109)이 될 것이다.
- 2D 그래픽 요소들(111)로부터 2D 렌더링된 그래픽 요소들(112)을 얻기 위한 그래픽 렌더링 단계(110). 이 목적을 위해, 업스케일링하지 않고 프레임들(109) 상으로의 직접적인 매핑을 허용하는 포맷으로 상기 그래픽 요소들(111)을 렌더링하는 드로잉 알고리즘이 이용된다. 이러한 방식으로, 2D 그래픽 요소들의 열화가 발생하지 않는다. 2D 그래픽 요소들은 텍스트 및/또는 그래픽 패턴들로 구성될 수 있다. 각각의 요소(111)는 그래픽 렌더링 단계(110)에서 독립된 단위로서 렌더링된다.
- 렌더링된 2D 그래픽 요소들(112)을 렌더링된 프레임들(109) 상에 매핑(113)하여 프레임들(115)을 만드는 단계. 이 단계는, 프레임들(119) 내의 각각의 그래픽 요소(112)의 위치를 고려한다. 이 위치는, 신호(114) 또는 BIFS 스트 림(106) 내부의 장면 기술(scene description)에 의해 규정되며 프레임들(109) 내에 규정된 카테시안 기준 시스템(cartesian reference system)에서 수평 및 수직 좌표에 대응한다. 신호(114)는 프리셋(preset)되거나 마우스 또는 키보드로부터 발생하여, 사용자가 상기 기준 시스템에서 2D 그래픽 요소들의 공간적 위치를 선정함에 있어서 2D 그래픽 요소들과 상호 작용할 수 있도록 허용한다. 일단, 주어진 그래픽 요소의 위치가 규정되고 나면, 매핑 동작(113)은 프레임들(109)의 화소들을 상기 그래픽 요소들을 규정하는 화소들로 대체한다. 개선된 실시예에서, 그래픽 요소들과 프레임들(109)간의 투명도는 프레임들(109)의 화소들과 상기 그래픽 요소들을 규정하는 화소들간의 평균(average)으로 얻어질 수 있다.
도 2는 본 발명에 따른 다양한 단계들을 구현하기 위한 하드웨어적 아키텍처(200)를 도시한다. 이 아키텍처는 다양한 처리 하드웨어 유닛들간의 데이터 교환을 보장하기 위해 데이터 버스(201) 주변에 구축된다. 우선, 대용량 저장 장치(203) 내에 저장되는 입력 비디오 오브젝트들과 2D 그래픽 요소들 모두를 수신하기 위한 입력 주변장치(202)를 포함한다. 이 비디오 오브젝트들은 빠른 액세스 메모리(205) 내에 저장된 디코딩 알고리즘에 속하는 명령들을 실행하는 (도면에서는 CPU라 언급됨) 신호 처리기(204)에 의해 디코딩된다. 일단 디코딩되고 나면, 비디오 오브젝트들은 제 1 비디오 버퍼(206)에 저장된다. 비디오 렌더링 단계는 역시 신호 처리기(204)에 의해 수행된다. 신호 처리기(204)는, 메모리(205)에 저장된 렌더링 알고리즘에 속하는 명령들을 실행하는 한편 구축하고자하는 비디오 장면 내에 각각의 비디오 오브젝트를 위치시키기 위해 마우스(207)의 동작, 키보드(208), 대용량 저장 장치(203)에 저장된 BIFS 파일, 또는 입력 주변장치(202)로부터의 BIFS 스트림으로부터 나오는 데이터도 역시 고려한다. 그 다음, 디코딩된 한 세트의 비디오 오브젝트들로부터 렌더링된 각각의 프레임은 상기 제 1 버퍼(206)에 저장되며 신호 보조-처리기(209, 도면에서는 ICP라 언급됨)에 의해 업스케일링된다. 이와 같은 작업을 위해 신호 보조-처리기를 이용하면 빠른 처리 및 CPU 점유율의 최소화가 가능한데 이는 이와 같은 장치 내에 업스케일링 하드웨어 기능(upscaling hardware function)이 포함될 수 있기 때문이다. 최종의 업스케일링된 프레임은 상기 버퍼(206)에 저장된다. 이와 나란하게, 2D 그래픽 요소들은 신호 처리기(204)에 의해 렌더링되는데, 신호 처리기(204)는 메모리(205)에 저장된 드로잉 알고리즘에 속하는 명령들을 실행한다. 이 때, 각각의 그래픽 요소는 연속적으로 렌더링되고 버퍼(206)에 포함된 렌더링된 프레임에 연속적으로 매핑된다. 렌더링된 프레임들과 2D 그래픽 요소들간에 투명도가 요구된다면, 버퍼(206)에 저장된 렌더링된 프레임에 속하는 화소들과 상기 렌더링된 2D 그래픽 요소들에 속하는 화소들간의 평균화 동작(averaging operation)이 수행될 수 있도록 렌더링된 그래픽 요소들은 임시 버퍼(210)에 저장되며, 그 결과의 프레임은 버퍼(206)에 저장된다. 2D 그래픽 요소들을 포함하는 최종의 렌더링된 프레임이 이용 가능하면, 버퍼(206)의 콘텐트는 제 2 버퍼(211)로 전송되고, 최종의 렌더링된 프레임이 출력 비디오 주변 장치(212)에 제공되어 디스플레이(213)상에 디스플레이된다. 이 스위칭 메커니즘은, 버퍼(206) 내의 다음 프레임이 시작되는 동안 버퍼(211) 내의 현재 프레임이 디스플레이될 수 있도록 해준다. 이러한 프로세스는 2D 그래픽 요소들을 포함하는 각각의 프레임의 렌더링에 대해 반복된다.
도 3은 본 발명에 따른 실시예를 도시한다. 이 실시예는, 비디오 미리보기(preview)나 텍스트 데이터와 같은 TV 채널 프로그램에 관한 다양한 정보를 사용자가 수신할 수 있도록 해주는 전자 프로그램 안내(EPG) 애플리케이션에 대응한다. 이 목적을 위해, 도 1 및 2를 참조하여 기술되는 본 발명에 따른 연속된 단계들이 셋톱 박스 유닛(301)으로 구현된다. 이 유닛은, 예를 들어, 브로드캐스터와 같은 외부(302)로부터 링크(303)를 경유해 주 데이터를 수신한다. 이 주 데이터는 본 발명의 다른 단계들에 따라 처리되어, 2D 그래픽 요소들을 포함하는 비디오 프레임으로서 주 비디오 오브젝트보다 큰 포맷을 갖는 비디오 프레임이 되어, 디스플레이(304) 상에 디스플레이된다. 이 애플리케이션은, 사용자가 스크린을 내비게이트(navigate)하고 채널 공간(306) 및 시간 공간(307)에서 관련된 막대 타깃(310)을 갖는 브라우징 윈도우(308)의 위치에 따라 미리보기를 할 수 있도록 해준다. 브라우징 윈도우(308)는 풀스크린 TV 프로그램(309)의 상부에 놓여 혼합(blend)된다. 그리하여, 사용자는 백그라운드에서 현재의 TV 프로그램을 갖는 동시에 시간(307) 및 채널(306)을 브라우징할 수 있다. 다기능 원격 제어기와 같은 마우스-유형의 포인터 장치(305)에 의해 상호작용 기능이 제공된다. 이 애플리케이션에서, 본 발명은 디스플레이된 프레임들 내에서 텍스트 및 그래픽 요소들(306, 307, 308)의 양호한 가독성을 보장한다.
물론, 본 발명의 영역을 벗어나지 않고도 영화 배우들의 소개, 프로그램들의 상세 정보와 같은 더 많은 안내 특징을 위하여 다른 그래픽 디자인들이 제안될 수 있다.
Claims (10)
- 한 세트의 그래픽 요소들과 주 비디오 오브젝트들(primary video objects)로부터 비디오 장면(video scene)을 합성하는 방법에 있어서,- 제 1 포맷의 렌더링된 비디오 프레임들을 제공하기 위해 상기 주 비디오 오브젝트들을 렌더링하는 단계,- 제 2 포맷의 업스케일링된 비디오 프레임들을 제공하기 위해 상기 렌더링된 비디오 프레임들을 업스케일링하는 단계,- 상기 제 2 포맷의 렌더링된 그래픽 요소들을 제공하기 위해 그래픽 요소들을 렌더링하는 단계, 및- 상기 비디오 장면을 규정하는 프레임들을 합성하기 위해 상기 렌더링된 그래픽 요소들을 상기 업스케일링된 비디오 프레임들 상에 매핑하는 단계를 포함하는 것을 특징으로 하는, 비디오 장면 합성 방법.
- 제 1 항에 있어서,상기 주 비디오 오브젝트들은 디코딩된 MPEG-4 비디오 오브젝트들인 것을 특징으로 하는, 비디오 장면 합성 방법.
- 제 1 항에 있어서,상기 그래픽 요소들은 문자들 및 기하학적 패턴들인 것을 특징으로 하는, 비 디오 장면 합성 방법.
- 제 1 항에 있어서,상기 그래픽 요소들을 렌더링하는 단계는 드로잉 알고리즘(drawing algorithm)을 이용하여 수행되는 것을 특징으로 하는, 비디오 장면 합성 방법.
- 제 1 항에 있어서,상기 업스케일링 단계는 상기 제 1 포맷을 갖는 렌더링된 프레임들을 규정하는 화소들의 복제를 관련시키는 것을 특징으로 하는, 비디오 장면 합성 방법.
- 한 세트의 그래픽 요소들 및 주 비디오 오브젝트들로부터 비디오 장면을 합성하기 위한 셋톱 박스 제품에 있어서,- 제 1 포맷의 렌더링된 비디오 프레임들을 제공하기 위해 상기 주 비디오 오브젝트들에 인가되는 렌더링 수단,- 제 2 포맷의 업스케일링된 비디오 프레임들을 제공하기 위해 상기 렌더링된 비디오 프레임들에 인가되는 업스케일링 수단,- 상기 제 2 포맷의 렌더링된 그래픽 요소들을 제공하기 위해 상기 그래픽 요소들에 인가되는 렌더링 수단,- 상기 렌더링된 그래픽 요소들을 상기 업스케일링된 비디오 프레임들 상에 매핑하여 상기 비디오 장면을 규정하는 프레임들을 결과로서 가져오는 매핑 수단을 포함하는, 셋톱 박스 제품.
- 제 6 항에 있어서,상기 렌더링 및 매핑 수단은 신호 처리기에 의한 전용 프로그램 명령들의 실행을 관련시키고, 상기 프로그램 명령들은 상기 신호 처리기 또는 메모리에 로딩되며, 업스케일링 수단은 신호 보조-처리기의 하드웨어 기능들의 실행을 관련시키는 것을 특징으로 하는, 셋톱 박스 제품.
- 제 6 항에 있어서,렌더링 동안에 상기 주 비디오 오브젝트들의 상대적인 공간 위치들을 수정하기 위한 사용자-상호작용 수단을 포함하는 것을 특징으로 하는, 셋톱 박스 제품.
- 제 6 항에 있어서,입력 MPEG-4 스트림을 디코딩하여 상기 주 비디오 오브젝트들을 규정하는 MPEG-4 비디오 오브젝트들을 결과로서 가져오는 디코딩 수단을 포함하는 것을 특징으로 하는, 셋톱 박스 제품.
- 제 6 항에 있어서,상기 업스케일링된 비디오 프레임들 상에 매핑되는 상기 그래픽 요소들은 문자들 및 기하학적 패턴들인 것을 특징으로 하는, 셋톱 박스 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP00403027 | 2000-10-31 | ||
| EP00403027.6 | 2000-10-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020086878A KR20020086878A (ko) | 2002-11-20 |
| KR100800275B1 true KR100800275B1 (ko) | 2008-02-05 |
Family
ID=8173928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020027008457A KR100800275B1 (ko) | 2000-10-31 | 2001-10-19 | 그래픽 요소들을 포함하는 비디오 장면 합성을 위한 방법및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6828979B2 (ko) |
| EP (1) | EP1334620A2 (ko) |
| JP (1) | JP2004513578A (ko) |
| KR (1) | KR100800275B1 (ko) |
| CN (1) | CN1253004C (ko) |
| WO (1) | WO2002037857A2 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4464599B2 (ja) * | 2002-05-13 | 2010-05-19 | 株式会社マイクロネット | ３次元コンピュータ画像放送用テロップ装置およびその方法 |
| FR2840494A1 (fr) * | 2002-05-28 | 2003-12-05 | Koninkl Philips Electronics Nv | Systeme de controle a distance d'une scene multimedia |
| FR2851716A1 (fr) * | 2003-02-21 | 2004-08-27 | France Telecom | Procede pour la gestion de descriptions d'animations graphiques destinees a etre affichees, recepteur et systeme mettant en oeuvre ce procede. |
| US20070139450A1 (en) * | 2003-10-29 | 2007-06-21 | Koninkijkle Phillips Electronics N.V. | Method and apparatus for rendering smooth teletext graphics |
| KR101445074B1 (ko) * | 2007-10-24 | 2014-09-29 | 삼성전자주식회사 | 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치 |
| KR100980449B1 (ko) * | 2007-12-17 | 2010-09-07 | 한국전자통신연구원 | 병렬 전역조명 렌더링 방법 및 시스템 |
| CN101599168B (zh) * | 2008-06-04 | 2011-09-28 | 鸿富锦精密工业（深圳）有限公司 | 聚合实体图层转换系统及方法 |
| KR102194635B1 (ko) | 2014-01-29 | 2020-12-23 | 삼성전자주식회사 | 디스플레이 컨트롤러 및 이를 포함하는 디스플레이 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0407614A1 (en) * | 1989-02-02 | 1991-01-16 | Dai Nippon Insatsu Kabushiki Kaisha | Image processing apparatus |
| US5659793A (en) | 1994-12-22 | 1997-08-19 | Bell Atlantic Video Services, Inc. | Authoring tools for multimedia application development and network delivery |
| WO1998006098A1 (en) * | 1996-08-06 | 1998-02-12 | Applied Magic, Inc. | Non-linear editing system for home entertainment environments |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2136603T3 (es) * | 1991-07-19 | 1999-12-01 | Princeton Video Image Inc | Presentaciones televisivas con signos insertados, seleccionados. |
| US6208350B1 (en) * | 1997-11-04 | 2001-03-27 | Philips Electronics North America Corporation | Methods and apparatus for processing DVD video |
| US6275239B1 (en) * | 1998-08-20 | 2001-08-14 | Silicon Graphics, Inc. | Media coprocessor with graphics video and audio tasks partitioned by time division multiplexing |
| ATE267439T1 (de) * | 1998-11-09 | 2004-06-15 | Broadcom Corp | Anzeigesystem zur mischung von graphischen daten und videodaten |
| US20010017671A1 (en) * | 1998-12-18 | 2001-08-30 | Pierre Pleven | "Midlink" virtual insertion system and methods |
| US6526583B1 (en) * | 1999-03-05 | 2003-02-25 | Teralogic, Inc. | Interactive set-top box having a unified memory architecture |
| WO2000079799A2 (en) * | 1999-06-23 | 2000-12-28 | Sarnoff Corporation | Method and apparatus for composing image sequences |
| US6525746B1 (en) * | 1999-08-16 | 2003-02-25 | University Of Washington | Interactive video object processing environment having zoom window |
-
2001
- 2001-10-19 WO PCT/EP2001/012286 patent/WO2002037857A2/en active Application Filing
- 2001-10-19 CN CNB018033792A patent/CN1253004C/zh not_active Expired - Fee Related
- 2001-10-19 JP JP2002540463A patent/JP2004513578A/ja active Pending
- 2001-10-19 KR KR1020027008457A patent/KR100800275B1/ko not_active IP Right Cessation
- 2001-10-19 EP EP01993126A patent/EP1334620A2/en not_active Withdrawn
- 2001-10-25 US US10/144,821 patent/US6828979B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0407614A1 (en) * | 1989-02-02 | 1991-01-16 | Dai Nippon Insatsu Kabushiki Kaisha | Image processing apparatus |
| US5659793A (en) | 1994-12-22 | 1997-08-19 | Bell Atlantic Video Services, Inc. | Authoring tools for multimedia application development and network delivery |
| WO1998006098A1 (en) * | 1996-08-06 | 1998-02-12 | Applied Magic, Inc. | Non-linear editing system for home entertainment environments |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1334620A2 (en) | 2003-08-13 |
| WO2002037857A2 (en) | 2002-05-10 |
| CN1398487A (zh) | 2003-02-19 |
| KR20020086878A (ko) | 2002-11-20 |
| US20020163501A1 (en) | 2002-11-07 |
| US6828979B2 (en) | 2004-12-07 |
| CN1253004C (zh) | 2006-04-19 |
| WO2002037857A3 (en) | 2002-07-18 |
| JP2004513578A (ja) | 2004-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8698840B2 (en) | Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes | |
| US6493036B1 (en) | System and method for scaling real time video | |
| US7836193B2 (en) | Method and apparatus for providing graphical overlays in a multimedia system | |
| US20020069411A1 (en) | Enhanced display of world wide web pages on television | |
| EP1357745A2 (en) | Method and apparatus for processing of interlaced video images for progressive video displays | |
| US20090249393A1 (en) | Advanced Digital TV System | |
| US8111932B2 (en) | Digital image decoder with integrated concurrent image prescaler | |
| US7623140B1 (en) | Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics | |
| EP1199888B1 (en) | Image data output device and receiving device | |
| US7006153B2 (en) | Image composition method, and image composition apparatus | |
| KR100800275B1 (ko) | 그래픽 요소들을 포함하는 비디오 장면 합성을 위한 방법및 장치 | |
| US6480238B1 (en) | Apparatus and method for generating on-screen-display messages using field doubling | |
| US9053752B1 (en) | Architecture for multiple graphics planes | |
| JP2003219372A (ja) | データ放送受信再生装置、その制御方法、データ放送システム、データ放送装置、データ放送ショッピングにおける商品表示方法、及び制御プログラム | |
| US7630018B2 (en) | On-screen display apparatus and on-screen display generation method | |
| US20080260290A1 (en) | Changing the Aspect Ratio of Images to be Displayed on a Screen | |
| EP1848203B2 (en) | Method and system for video image aspect ratio conversion | |
| EP0932977B1 (en) | Apparatus and method for generating on-screen-display messages using field doubling | |
| EP1338149B1 (en) | Method and device for video scene composition from varied data | |
| JP2005524320A (ja) | 複数の表示フォーマット用の共通オンスクリーンディスプレイサイズ | |
| AU719563C (en) | Apparatus and method for generating on-screen-display messages using field doubling | |
| MXPA99003537A (es) | Aparato y metodo para generar mensajes de despliegue en pantalla usando doblaje de linea |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20020628 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20061018 Comment text: Request for Examination of Application |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20071030 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20080128 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20080129 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |