KR20060135736A - 스크린상에 디스플레이될 영상들의 종횡비의 변경 - Google Patents

스크린상에 디스플레이될 영상들의 종횡비의 변경 Download PDF

Info

Publication number
KR20060135736A
KR20060135736A KR1020067015739A KR20067015739A KR20060135736A KR 20060135736 A KR20060135736 A KR 20060135736A KR 1020067015739 A KR1020067015739 A KR 1020067015739A KR 20067015739 A KR20067015739 A KR 20067015739A KR 20060135736 A KR20060135736 A KR 20060135736A
Authority
KR
South Korea
Prior art keywords
image
view
field
image data
data stream
Prior art date
Application number
KR1020067015739A
Other languages
English (en)
Inventor
레오 제이. 벨트호벤
미쉘 에이. 클롬펜호워
마크 제이. 더블유. 머텐스
프레드릭 제이. 드 브루이즌
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060135736A publication Critical patent/KR20060135736A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 발명은 영상 데이터 포맷으로 제공된 영상 데이터 스트림(X)의 프리젠테이션의 크기를 변경하기 위한 방법, 영상 처리 장치, 영상 처리 장치를 포함하는 영상 디스플레이 장치, 및 컴퓨터 프로그램 제품에 관한 것이다. 영상 처리 장치(12)는 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림(XO, XS)의 적어도 일부분을 선택하는 적어도 하나의 영상 디코딩 유닛(22)을 포함한다. 영상 처리 장치는 획득된 데이터 및 값들에 기초하여 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 시계를 변경한다. 그 다음에, 제 1 시계에 프리젠테이션되도록 한 영상 데이터는 제 2 시계에 디스플레이될 수 있다.
영상 데이터 포맷, 프리젠테이션, 영상 처리 장치, 종횡비

Description

스크린상에 디스플레이될 영상들의 종횡비의 변경{Changing the aspect ratio of images to be displayed on a screen}
본 발명은 일반적으로 코딩된 데이터 영상들과 관련하여 종횡비들을 변경하는 분야에 관한 것으로서, 특히 영상 데이터 포맷으로 제공된 영상 데이터 스트림의 프리젠테이션의 크기를 변경하기 위한 방법, 영상 처리 장치, 영상 디스플레이 장치 및 컴퓨터 프로그램 제품에 관한 것이다.
예컨대 방송된 영상 데이터의 프리젠테이션과 같은 시각 정보의 프리젠테이션 분야에서는 임의의 포맷으로 디스플레이될 데이터를 방송하는 것이 통상적이다. 여기서, 4:3의 임의의 종횡비, 즉 디스플레이된 영상의 폭 및 높이간의 관계는 어느 정도 표준화되었다.
그러나, 오늘날에는 보다 넓은 화상을 제공하는 예컨대 16:9와 같은 여러 종횡비들을 가진 텔레비전 스크린들이 존재하고 있다. 훨씬 더 넓은 양상의 영화자료들이 존재하며, 이러한 영화 자료는 예컨대 프로젝터들을 사용하는 미래 텔레비젼들을 통해 디스플레이할 수 있게 되었다.
한 종횡비에 따른 영상 데이터 방송이 다른 종횡비를 가진 디스플레이상에 제공될때 전체 스크린상으로 정보를 보여주기 위하여, 블랙 바들을 제공하거나, 또 는 정보를 절단하거나, 또는 새로운 종횡비를 얻기 위하여 다른 데이터 탬퍼링 방식들을 사용하는 것이 일반적이다. 이러한 변경은 수평 및 수직으로의 영상의 스트레칭(이는 정보를 손실할 수 있음)을 통해 수행될 수 있으며, 단지 수평으로의 영상의 스트레칭(이는 영상의 왜곡을 유발할 수 있음)을 통해 수행될 수 있으며, 또한 소위 파노라마식 스트레치, 즉 불균등 줌 인자를 사용하여 수평으로 스트레칭함으로써(이는 영상의 측면에 배치된 객체들이 영상의 중심에 배치된 객체들보다 더 많이 왜곡될 수 있게 함) 수행될 수 있다.
한 종횡비를 다른 종횡비로 변환하기 위하여 데이터를 탬퍼링하는 한 방식은 WO 03/017649에 개시되어 있다. 이러한 문헌은 이전 화상으로부터 현재의 화상으로 영상 정보를 삽입하는 기술을 개시하고 있다. 이러한 방식에서는 새로운 종횡비가 영상을 스트레칭하지 않고 제공된다.
게다가, 비디오 데이터를 전송할때 포맷이 사용될 수 있는 다른 타입들의 비디오 데이터 디지털 코딩쪽으로 변화가 이루어지고 있다. 이러한 포맷들은 다른 MPEG2 또는 MPEG4이다.
이러한 경우에, 디스플레이의 전체를 동시에 사용하면서 보여지는 영상을 왜곡시키지 않고 또는 중요한 정보를 손실하지 않고 종횡비가 변환될 수 있도록 종횡비를 변화시키기 위하여, 상기 디지털 코딩에 존재하는 배경 데이터를 포함하는 스트림이 존재하는 경우에 배경 데이터를 사용하는 것이 유리하다.
따라서, 본 발명의 목적은 디스플레이의 전체를 동시에 사용하면서 보여지는 영상을 왜곡시키지 않고 또는 중요한 정보를 손실하지 않고 시계(field of view) 변환이 이루어질 수 있도록, 디스플레이를 위하여 코딩된 영상 스트림에 대한 시계를 변경하는데 있다.
본 발명의 제 1양상에 따르면, 상기 목적은 영상 데이터 포맷으로 제공된 영상 데이터 스트림의 프리젠테이션의 크기를 변경하는 방법에 있어서,
a) 포맷으로 코딩되고 프리젠테이션될 제 1 원 시계(original field of view)를 가진 영상 데이터 스트림을 획득하는 단계;
b) 상기 영상 데이터 스트림의 적어도 일부분을 선택하는 단계;
c) 상기 원 시계보다 큰 영역으로부터의 화소 영역들의 값들을 상기 선택된 영상 데이터로부터 획득하는 단계; 및
d) 영상 데이터가 제 2 시계를 실질적으로 커버링하는 화소값들을 포함하도록, 상기 획득된 데이터 및 값들에 기초하여 상기 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 상기 시계를 변경시키는 단계를 포함하는, 프리젠테이션 크기 변경방법에 의하여 달성된다.
본 발명의 제 2양상에 따르면, 상기 목적은 영상 데이터 포맷으로 제공된 영상 데이터 스트림의 프리젠테이션의 크기를 변경하기 위한 영상 처리 장치에 있어서,
적어도 하나의 영상 디코딩 유닛을 포함하며
상기 적어도 하나의 영상 디코딩 유닛은,
- 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림(XO, XS)의 적어도 일부분을 선택하고,
- 상기 선택된 영상 데이터(XS)로부터 상기 원 시계보다 큰 영역(28)으로부터의 화소 영역들의 값들을 획득하도록 구성되며;
상기 영상 처리 장치는 상기 영상 데이터(X')가 제 2 시계를 실질적으로 커버링하는 화소값들을 포함하도록, 상기 획득된 데이터 및 값들에 기초하여 상기 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 상기 시계를 변경시키도록 구성되는, 영상 처리 장치에 의하여 달성된다.
본 발명의 제 3양상에 따르면, 상기 목적은, 영상 데이터 포맷으로 제공된 영상 데이터 스트림의 프리젠테이션의 크기를 변경하기 위한 영상 디스플레이 장치에 있어서,
- 디스플레이 유닛; 및
- 영상 처리 장치를 포함하며,
상기 영상 처리 장치는,
- 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림의 적어도 일부분을 선택하고, 및
- 상기 디코딩된 영상 데이터로부터, 상기 원 시계보다 큰 영역(28)으로부터의 화소 영역들의 값들을 획득하도록,
구성되며;
상기 영상 처리 장치는 상기 제 1시계에 프리젠테이션되도록 한 상기 영상 데이터가 제 2 시계에 디스플레이될 수 있도록, 상기 획득된 데이터 및 값들에 기초하여 시계를 변경시키도록 구성되는, 영상 디스플레이 장치에 의하여 달성된다.
본 발명의 제 4양상에 따르면, 상기 목적은, 영상 데이터 포맷으로 제공된 영상 데이터 스트림(X)의 프리젠테이션의 크기를 변경시키기 위하여 컴퓨터상에서 사용되고 상기 컴퓨터가 실행하도록 하는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 있어서,
상기 코드는 상기 컴퓨터에 로드될 때,
- 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림을 획득하고,
- 상기 영상 데이터 스트림의 적어도 일부분을 선택하며,
- 상기 원 시계보다 큰 영역으로부터의 화소 영역들의 값들을 상기 선택된 영상 데이터로부터 획득하며; 및
- 상기 제 1시계에 프리젠테이션되도록 한 영상 데이터가 상기 제 2 시계에 디스플레이될 수 있도록, 상기 획득된 데이터 및 값들에 기초하여 상기 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 상기 시계를 변경시키는, 컴퓨터 프로그램 제품에 의하여 달성된다.
청구항 제 2항 및 제 15항은 다른 계층들의 화소들로서 영상 데이터 스트림의 객체들을 제공하는 단계로서 제 1시계 밖의 화소 영역들이 적어도 하나의 계층에 제공되는 제공단계 및 영상 데이터의 프리젠테이션을 허용하는 출력 데이터 스트림을 제공하기 위하여 상기 하나의 계층을 포함하는 상기 디코딩된 데이터 스트림의 계층들중 적어도 일부 계층의 객체들을 결합하는 단계에 관한 것이다. 이러한 방식에서, 상기 계층들에만 디스플레이되도록 영상의 조작을 제한하는 것이 가능하며, 이는 시계의 변경에 의하여 영향을 받는다.
청구항 제 3항은 상기 제 2 시계를 가진 디스플레이상에 상기 스트림의 영상 데이터중 적어도 일부를 디스플레이하는 단계에 관한 것이다.
청구항 제 4항 및 제 16항에 따르면, 상기 코딩된 스트림은 MPEG-4 영상 데이터 스트림이며, 적어도 부분적으로 상기 원 시계 밖에 있는 화소 영역들의 적어도 일부는 스프라이트로서 코딩된다. 이는 스프라이트가 시계를 변경시키기 위하여 사용될 수 있는 대량의 정보량을 포함하기 때문에 단순한 방식으로 시계를 변경할 수 있도록 한다.
청구항 제 5항 및 제 17항에 따르면, 상기 선택된 영상 데이터 정보는 제 2 시계에서 화소들의 덜 만족스러운 위치들의 매핑에 관련하여 처리된다. 이러한 단계는 제 2시계를 획득하기 위하여 사용될 제 1 시계 밖의 화소 영역들에 충분한 화소들이 존재하지 않은 경우, 또는 다른 계층들의 객체들간의 관계가 시계의 변경시 고려될 필요가 있는 경우, 예컨대 기하학적 관계가 조절될 필요가 있는 경우, 예컨대 객체가 연속 영상들내로 이동하고 또한 연속 영상들 밖으로 이동하는 경우에 시계의 변경이 더 효율적으로 이루어지도록 한다. 이는 예컨대 사람의 일부분이 외부로부터 영상에 주기적으로 입력되는 경우에 뷰어의 주의를 간섭하고 방해할 수 있으며, 이 경우에 시계의 내부 및 외부에 사람의 객체를 항상 위치시키는 것이 바람직할 수 있다. 다른 예는 4:3 영상의 에지상에 배치된 사람이 확대된, 예컨대 16:9 영상의 에지에 재배치되는 것이다.
청구항 제 6항, 제 7항, 제 8항, 제 9항, 제 10항, 제 18항, 제 19항, 제 20항, 제 21항 및 제 22항은 제 2시계를 획득하기 위하여 사용될 제 1시계 밖의 화소 영역들에 충분한 화소가 존재하지 않는 경우에 제 1시계 밖에 제공된 선택된 영상 데이터를 처리하는 여러 방법에 관한 것이다.
청구항 제 11항 및 제 23항은 다른 계층들의 객체들간의 관계가 시계의 변경에서 고려될 필요가 있을때 선택된 영상 데이터를 처리하는 것에 관한 것이다.
청구항 제 12항 및 제 24항에 따르면, 상기 제 1 시계는 4:3의 종횡비에 대응하며, 상기 제 2 시계는 16:9의 종횡비에 대응한다.
청구항 제 13항 및 제 25항에 따르면, 상기 제 1시계 밖의 화소 영역들의 값들은 상기 결합된 객체들을 포함하는 스트림과 다른 적어도 하나의 출력 데이터 스트림에 제공된다. 이러한 방식에서, 여러 스트림들은 디스플레이상에서 보여지는 비디오를 확대하기 위하여 결합될 수 있다. 이는 또한 다른 타입의 종횡비들을 가진 다른 타입들의 스크린을 위하여 사용될 수 있는 비디오 데이터가 보여지도록 할 수 있다.
본 발명은 디스플레이의 전체를 동시에 사용하면서 보여지는 영상을 왜곡시키지 않고 또는 중요한 정보를 손실하지 않고 시계(field of view) 변환이 이루어질 수 있도록, 디스플레이를 위하여 코딩된 영상 스트림에 대한 시계, 예컨대 종횡비를 변경시킬 수 있는 장점을 가진다. 더욱이, 이러한 시계의 변화는 영상 데이터 스트림에서 이미 이용가능한 정보를 사용하여 가능하다. 따라서, 이러한 변경은 부가적인 복잡한 영상 처리없이 수행될 수 있다. 게다가, 본 발명은 표준화된 코딩 포맷과 연관된 디코더의 약간의 변경만으로 단순하게 구현할 수 있다.
따라서, 본 발명에 관한 일반적인 사상은 영상 데이터 스트림의 원 시계보다 큰 영역으로부터의 화소 영역들의 값들을 선택된 영상 데이터 스트림으로부터 획득하고, 획득된 데이터 및 값들에 기초하여 제 2시계에 따라 디스플레이될 영상을 계산하여 시계를 변경하는 것이다. 이러한 방식에서, 제 1종횡비로 제공되도록 한 영상 데이터는 콘텐츠를 왜곡시키지 않고 제 2 종횡비로 디스플레이될 수 있다.
본 발명의 이들 및 다른 양상들은 이하에 기술된 실시예들로부터 더욱더 명백해 질 것이다.
본 발명은 첨부된 도면들과 관련하여 더 상세히 기술될 것이다.
도 1은 본 발명에 따른 영상 디스플레이 장치의 블록도.
도 2는 도 1의 영상 디스플레이 장치에 포함되는 본 발명의 제 1 실시예에 따른 영상 처리 장치의 블록도.
도 3은 본 발명에 따라 종횡비들을 변경하는 방법에 대한 흐름도.
도 4는 객체가 스트림의 프레임과 함께 스프라이트의 형태로 배경 장면에 투영되는 제 1 영상을 도시한 도면.
도 5는 디스플레이 장치의 종횡비를 가진 디스플레이에 대한 객체와 관련한 스프라이트로부터 큰 영역이 절단된 제 2 영상을 도시한 도면.
도 6은 본 발명의 제 2 실시예에 따른 영상 처리 장치의 개략적인 블록도.
도 7는 본 발명에 따른 방법을 수행하기 위한 프로그램 코드를 가진 CD ROM 디스크를 도시한 개략도.
본 발명은 텔레비전 스크린과 같은 스크린상에 정보를 디스플레이하는 분야에 관한 것이다. 텔레비전 장치일 수 있는 영상 디스플레이 장치(10)의 개략적인 블록도를 도시한 도 1이 지금 참조될 것이다. 영상 디스플레이 장치(10)는 디스플레이(16)에 접속된 디스플레이 구동 유닛(14)에 접속된 영상 처리 장치(12)를 포함한다. 바람직한 실시예에서, 영상 처리 장치(12)는 텔레비전 방송자로부터 방송되며 MPEG-4 코딩 표준에 따라 바람직하게 코딩되는 비디오 스트림 X를 수신한다. 그러나, 스트림은 로컬 또는 외부 저장매체로부터 용이하게 검색될 수 있다는 것이 인식되어야 한다. 또한, MPEG-4가 적절하게 코딩된 스트림의 예이고 프리젠테이션될 시계 밖으로 연장되는 정보를 가지는 한 다른 표준들이 사용될 수 있다는 것이 인식되어야 한다. 영상 처리 장치(12)는 디스플레이 장치에 제출하기에 적합한 비디오 포맷 X'를 제공하기 위하여 수신된 스트림을 처리한다. 그 다음에, 처리된 스트림 X'는 디스플레이를 위하여 구동 유닛(14)에 제공되며, 구동 유닛(14)은 디스플레이(16)의 개별 화소들을 구동시키기에 적합한 데이터로 정보를 변환한다.
스트림은 프레임들로 분할되며, 여기서 프레임은 스트림이 임의의 시점에서 디스플레이되는 포맷을 한정한다. 프레임 포맷 또는 제 1 원 시계는 보통 4:3의 종횡비에 대응하게 제공된다. 그러나, 디스플레이(16)는 16:9의 다른 종횡비를 가 지며, 이는 디스플레이의 전체가 사용될때 디스플레이될 영상들이 디스플레이(16)상에 보여지도록 조작되어야 한다는 것을 의미한다. 예컨대 스트레칭과 같이 다른 종횡비를 가진 스크린에 제공하기 위한 임의의 종횡비를 가진 영상을 조작하고 영상의 측면들상에 블랙 바들을 제공하는 다수의 방법들이 존재한다. 그러나, 이러한 공지된 방법으로는 스트림의 디스플레이된 콘텐츠에 부정적인 방식으로 영향을 미치지 않고 스크린의 전체를 사용하기가 곤란하다. 양 방향으로의 영상의 스트레칭은 정보의 손실을 유발하며, 한 방향으로의 영상의 스트레칭, 예컨대 수평방향으로의 영상의 스트레칭은 영상에서 객체들의 왜곡을 유발하며, 파노라마식 스트레치는 객체들의 불균등 왜곡을 유발한다. 이들 모든 영향들은 스트림의 뷰어를 간섭하거나 또는 방해하는 것으로 발견될 수 있다.
본 발명을 이러한 문제점들을 해결하는데 있다.
본 발명을 상세히 설명하기전에, MPEG-4의 양상들의 일부에 대한 요약이 지금 제공될 것이다. 스트림으로 디스플레이될 객체들은 다른 계층들로 코딩된다. 여기에서 계층의 객체들의 코딩은 MPEG-2에서 사용된 코딩에 근접한다. 따라서, 객체들은 초기에 또는 이후에 전송된 객체들에 기초하여 움직임 벡터들을 사용하여 코딩될 수 있다. 보통, 계층은 각각의 객체를 위하여 제공되며, 하나의 계층은 배경을 위하여 제공된다. 스트림을 프레임들에 따라 분할되며, 여기서 각각의 코딩된 계층은 특정 프레임과 관련된 객체에 대한 일부 정보를 가진다. 프레임은 다른 시점들에서 다른 계층으로부터 디스플레이되는 것을 결정하며, 프레임들에 대하여 종횡비가 세팅되며, 이는 시계로서 보여질 수 있다. 그 다음에, 모든 프레임들은 동일한 종횡비를 가져야 한다. 계층들중 한 계층은 프레임 외부로부터 멀리 확장되고 스프라이트 계층인 정보를 가진다. 그 다음에, 스프라이트는 다수의 프레임들 전반에 걸쳐 일정한 정적 정보 또는 예컨대 프레임마다 스프라이트의 움직임을 고려하는 동적 정보일 수 있다. 스프라이트는 다수의 프레임들로 디스플레이될 장면의 배경 엘리먼트들에 대한 정보를 포함한다. 표준은 계층들이 거의 모두를 디스플레이하기 위하여 선택될 수 있는 높은 자유도를 허용한다. 스프라이트의 목적은 비디오 스트림의 코딩의 효율성을 증가시키는 것이다. 본 발명의 일반적인 사상은 전체 디스플레이 영역이 콘텐츠를 왜곡시키지 않고 비디오 스트림의 모든 정보를 보여주기 위하여 사용될 수 있도록 디스플레이들을 위한 종횡비를 변경하기 위하여 스프라이트에서 정보의 장점을 취하는 것이다. MPEG-4에 대한 더 많은 정보는 여기에 참조문헌으로서 통합되는 ISO/IEC 표준 14496-2:2001에 개시되어 있다.
본 발명은 도 2 및 도 3을 참조로하여 지금 더 상세히 설명될 것이며, 여기서 도 2는 본 발명의 제 1실시예에 따른 영상 처리 장치(12)의 개략적인 블록도를 도시하며, 도 3은 종횡비들을 변경시키는 방법에 대한 흐름도를 기술한다.
초기에 언급된 바와같이, 영상 처리 장치(12)는 디멀티플렉싱 유닛(18)에 제공되며 MPEG-4 표준에 따른 포맷을 가진 코딩된 영상 데이터 스트림 X를 수신한다(단계 36). 디멀티플렉싱 유닛(18)은 다른 객체 계층들 및 프레임들에 따라 스트림을 디멀티플렉싱하며, 개별적으로 코딩된 계층 정보 XO 및 XS를 대응하는 계층 디 코더들(20, 22)에 전송한다(단계 38). 도 2에서는 단지 두개의 계층 디코더가 도시되며, 여기서 제 1 디코더(20)는 객체 계층을 위하여 제공되며 제 2 디코더(22)는 스프라이트 또는 배경 계층을 위하여 제공된다. 그러나, 정상적인 실시중에 여러개의 더 많은 디코더들이 사용될 수 있다는 것이 인식되어야 한다. 객체 계층내의 영상 데이터는 주어진 프레임에 대하여 I-, P- 및 B-프레임들에 따라 인코딩될 수 있으며, 프레임에 대한 스프라이트 계층의 정보는 이전 객체 평면들의 전역 움직임 보상에 기초한 예측을 사용하여 코딩되는 비디오 객체 평면 또는 정적 스프라이트의 전체 또는 일부분의 와핑(warping)에 기초한다. 디코딩시에, 절반 D1과 같은 압축된 시계 포맷으로부터 표준 시계 포맷으로의 압축해제가 이루어질 수 있다. 그 다음에, 각각의 계층 디코딩 유닛(20, 22)은 투영될 객체들 및 배경 엘리먼트들을 제공하기 위하여 계층에 대한 계층 정보를 선택하여 디코딩한다. 따라서, 각각의 프레임에서, 제 1디코더(20)는 객체 X'O를 디코딩 또는 생성하며(단계 40), 제 2 디코더(22)는 배경 스프라이트 X'S를 생성 또는 디코딩하며(단계 42), 이는 제 1시계보다 큰 영역으로부터의 화소 영역들의 값들을 획득하는 것으로 보여질 수 있다. 여기서 화소 영역들은 전경 객체들의 일부, 배경 객체 화소 블록들 또는 단일 화소들 등일 수 있다. 화소 영역들의 값들은 적어도 그레이 스케일 값들, 색 및 텍스처 모델 파라미터들을 포함한다. 스프라이트에 대하여, 화소 영역들의 일부는 적어도 부분적으로 원 시계 또는 종횡비 밖에 있다. 배경 스프라이트 및 객체는 디스플레이될 비디오 시퀀스의 각각의 프레임에 대하여 결합 유닛(26)에 프레임 포맷 으로 제공된다. 제어유닛(24)은 사용될 새로운 종횡비인 제 2시계를 결정하며(단계 44), 16:9의 적정 종횡비로 디스플레이될 수 있는 데이터에 따라 프레임의 크기가 결정된 것보다 더 큰 스프라이트 영역을 절단하도록, 즉 스프라이트로부터의 적정 출력 종횡비에 대응하는 부가 영역 및 프레임에 대응하는 영역을 절단하도록 제 2 디코더(22)를 제어한다(단계 46). 절단된 부가영역은 X'S와 다른 객체 X'O를 결합하는 결합 유닛(26)에 스프라이트의 프레임 영역과 함께 제공된다. 스프라이트의 절단된 영역들은 다른 계층들의 디코딩 정보를 통해 획득된 객체들과 결합된다(단계 48). 따라서, 결합 유닛은 스프라이트의 절단된 영역 및 디스플레이될 다른 계층들에 기초하여 제 2 종횡비에 따라 디스플레이될 영상을 계산한다. 그 다음에, 결합 유닛(26)은 이들 결합된 영상들 X'를 디스플레이 구동기를 통해 디스플레이에 전송하며(단계 50), 디스플레이 구동기는 이들을 디스플레이한다(단계 52).
만일 디스플레이될 영상이 화소들의 덜 만족스러운 위치들을 가지면, 디코딩된 영상 데이터는 이들 위치들의 매핑과 관련하여 처리된다. 만일 예컨대 스프라이트가 절단된 영역들에 충분한 정보를 가지지 않으면, 일부 화소들이 손실되기 때문에, 스프라이트 계층은 결합 유닛(26)에 접속된 영상 확대 유닛(27)(예컨대, ASIC 또는 전용 또는 범용 프로세서상에서 실행되는 소프트웨어)에 의하여 처리된다. 그 다음에, 이러한 처리는 스트레칭과 같은 초기에 언급된 표준 절차들, 객체 이동의 추정 등을 포함할 수 있다. 사용될 수 있는 이러한 한 절차는 여기에 참조문헌으로서 통합되는 WO 03/017649에 개시된 바와같이 이전에 보여진 영상들의 절 단 영역을 이후 영상들에 사용하는 것이다. 비교적 작은 영역만이 손실되는 경우에, 이러한 처리는 스프라이트 부족 화소 정보의 영역 또는 스프라이트의 기하학적 영상 변환과 같은 더 진보한 텍스처 갭 필링(filling) 방법들을 포함한다. 그 다음에, 영상 변환은 인접 화소들의 외삽법, 가장자리 화소들의 복사 등을 포함할 수 있다.
더욱이, 제 1 시계의 프레임이 에지 또한 새로운 시계의 에지에 배치된 객체를 제공하기 위하여 스프라이트 계층과 관련하여 예컨대 객체 계층의 일부 화소들을 시프트하는 것이 가능하다. 이러한 방식에서, 영상은 특정 스크린 시계에 최적으로 대응하도록 형성될 수 있다. 이는 객체가 연속 영상들 내부 또는 외부로 이동하는 경우(이 경우는 제 2 종횡비로 디스플레이될때 영상을 방해한다)에 도움이 된다. 따라서, 이는 객체 계층이 원 기하학적 위치의 수학적 함수인 기하학적 위치에서 재생되도록 한다. 더욱이, 이러한 시프팅은 시계의 에지에 제공된 객체들에 제한되지 않으나 임의의 객체 또는 임의의 계층에 대하여 적용될 수 있다.
제어 유닛(24)은 예컨대 사용자에 의하여 수행된 선택들에 무관하게 제어할 수 있으며, 디코더들은 결합 유닛(26)에 객체들을 전송하며, 이 결합 유닛(26)에서는 객체들이 결합된다는 것이 인식되어야 한다. 또한, 제어 유닛에서 다른 종횡비들을 선택하고 각각의 적정 종횡비에 따라 스프라이트를 절단하는 것이 가능하다. 제어 유닛은 디스플레이의 종횡비의 사전 지식을 가질 수 있으며 이에 기초하여 초과 영역의 절단을 자동적으로 제어한다. 또한, 선택을 수행할때 프레임 밖으로 이동하며 초과 영역들을 절단하는 객체들을 고려하는 것이 가능하며, 이 경우에 제어 유닛은 스프라이트 디코더(22)외에 제 1 디코더(20)로부터의 정보를 가져야 한다는 것이 인식되어야 한다.
본 발명을 더 기술하기 위하여 도 4 및 도 5를 참조하며, 여기서 도 4는 객체(30)가 연관된 비디오 스트림의 종횡비로 디스플레이되는 프레임(32)과 함께 스프라이트(28)의 형태로 배경 장면상에 투영되는 제 1 영상을 도시하며, 제 5는 큰 영역(34)이 디스플레이 장치의 종횡비를 가진 디스플레이를 위하여 객체(30)와 관련된 스프라이트로부터 절단된 제 2 영상을 도시한다. 도 4는 대시선 박스로서 변경된 종횡비 때문에 제공된 초과 절단된 영역(34)을 도시한다. 스프라이트(28)는 이전에 언급된 바와같이 프레임보다 크며, 다수의 빌딩들 및 지상의 분수와 하늘을 배경으로 단순화하기 위하여 의도된 직사각형 및 타원의 형태로 제공된 다수의 엘리먼트를 포함한다. 객체(30)는 단순화를 위하여 직사각형으로 여기에 도시된다. 객체 뿐만아니라 배경이 훨씬 더 복잡한 형태를 가질 수 있으며 객체가 프레임마다 외형을 변화시킬 수 있다. 본 예에서 16:9인 새로운 종횡비를 고려하기 위하여, 프레임(32)이 스프라이트에 배치되는 부분의 측면상의 영역들은 절단되며, 여기서 원 프레임을 위하여 의도된 스프라이트의 영역을 포함하는 전체 절단 영역은 도면부호 34로 설계된다. 그 다음에, 이는 디스플레이상에 보여질 수 있는 프레임에 대한 넓은 영상이 제공되는 결합 유닛에서 객체(30)와 결합된다. 스프라이트는 디스플레이된 전체 영상을 적정 종횡비로 확대하기 위하여 적용하는 이하의 각각의 프레임을 위하여 연속적으로 사용된다.
만일 다음으로 보여지는 장면이 시프트되면, 앞서 기술된 방법은 디스플레이 되는 영역을 확대하기 위하여 근접한 경우에 상기 장면과 관련된 다른 스프라이트로 계속된다. 만일 이러한 스프라이트가 근접하기 않으면, 영상 확대 유닛은 시계를 계속해서 증가시키기 위하여 앞서 언급된 처리를 사용하도록 구성된다.
본 발명에 따른 영상 처리 장치의 제 2 실시예는 도 6의 개략적인 블록도로 도시된다. 이러한 장치는 도 2와 도시된 것과 거의 동일하나 약간의 차이가 있다. 첫째, 제어 유닛은 본 발명을 보다 용이하게 이해하기 위하여 생략되었으며, 둘째 영상 확대 유닛이 생략되었으며, 셋째 제 2 디코딩 유닛(22)은 디코딩된 스프라이트 데이터의 4개의 다른 스트림들, X'S1, X'S2, X'S3, X'S4 를 제공한다. 디코딩된 스프라이트 데이터의 제 1 스트림 X'S1은 프레임내의 스프라이트 데이터를 포함하며, 객체 데이터 X'O와 결합하기 위하여 결합기(26)에 전송된다. 다른 스트림들은 도 1의 디스플레이 구동 유닛에 공급하기 위하여 프레임 외부의 스프라이트의 절단된 영역들을 나타낸다. 여기서, 디코딩된 스프라이트 데이터 X'S2의 제 2 스트림은 프레임의 좌측의 절단 영역을 나타내며, 디코딩된 스프라이트 데이터 X'S3의 제 3스트림은 프레임 우측의 절단 영역을 나타내며, 디코딩된 스프라이트 영역 X'S4의 제 4 스트림은 프레임 상부 또는 하부의 절단영역을 나타낸다. 이러한 방식으로, 디스플레이상에 보여지는 비디오를 확대하기 위하여 결합될 수 있는 여러 스트림들이 제공된다. 또한, 이는 다른 타입들의 종횡비를 가진 다른 타입들의 스크린을 위하여 사용될 수 있는 비디오 데이터가 제공될 수 있도록 한다. 그 다음에, 부가 스 트림들이 사용된 스크린의 크기를 적합하게 하기 위하여 결합된 스트림과 함께 디스플레이되도록 선택된다.
본 발명에 따른 영상 처리 장치는 본 발명에 따른 방법을 수행하는 프레임 코드를 포함하는 대응 프로그램 메모리를 가진 하나 이상의 프로세서들의 형태로 제공될 수 있다. 또한, 하드웨어 유닛, 예컨대 적절하게 프로그래밍된 ASIC 회로로서 상기 기능을 제공하는 것이 가능하다. 더욱이, 프로세서 액세스 소프트웨어 코드로서 임의의 유닛들을 제공하고 하드웨어 유닛들로서 다른 유닛들을 제공하는 것이 가능하다.
따라서, 본 발명은 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 범용 프로세서 및 특수목적 프로세서가 프로세서에 명령들을 입력하는 일련의 로딩단계들후에 본 발명의 특징 기능들중 일부를 실행하는 명령 세트들을 물리적으로 구현하도록 하는 것으로 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예컨대 디스크 또는 테이프와 같은 캐리어상의 데이터, 메모리에 존재하는 데이터, 유선 또는 무선 네트워크 접속을 통해 이동하는 데이터 또는 종이상의 프로그램 코드로서 구현될 수 있다. 프로그램 코드를 제외하고, 프로그램에 필요한 특징 데이터는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 본 발명에 따른 컴퓨터 프로그램 제품의 일례는 도 7에 도시되며, 도 7은 컴퓨터로 로딩될때 본 발명에 따른 방법을 실행하는 프로그램 코드를 가진 CD ROM 디스크(54)를 도시한다.
본 발명은 여러 장점들을 가진다. 디스플레이의 전체는 디스플레이되는 객체들의 일부를 왜곡시키지 않고 사용된다. 종횡비의 변경은 코딩된 영상 데이터 스트림에서 이용가능한 정보를 사용하여 이루어질 수 있다. 따라서, 이러한 변경은 영상 처리 장치에서 장면 변경들의 추가적인 복잡한 추정없이 수행될 수 있다. 게다가, 본 발명은 표준화된 코딩 포맷 MPEG4와 연관된 디코더의 단지 약간의 변경만으로 단순하게 구현된다.
본 발명에 대한 여러 변형들이 이루어질 수 있다. 본 발명은 스프라이트 계층에 제한되지 않으나 시계 이상으로 확장하는 화소 영역들을 가진 임의의 계층에 대하여 적용될 수 있다. 예컨대, 기술된 종횡비들과 다른 종횡비들이 또한 사용될 수 있다. 반대 종횡비 변경, 즉 16:9로부터 4:3으로의 변경이 가능하다. 더욱이, 본 발명은 종횡비의 변경에 제한되지 않으나 시계의 임의의 변경에 적용될 수 있다. 게다가, 더 많은 객체들 및 대응 계층들을 가지는 것이 가능하다. 또한, 개별 디코더들을 가지는 것이 필요치 않으나, 디코딩은 여러 경우에 하나 및 동일한 디코더에서 수행될 수 있다. 또한, 본 발명은 MPEG4에 제한되지 않으나 객체 기반 압축 애플리케이션들이 프레임 외부에서 스트레칭하는 화소 영역들을 가지는한 다른 객체 기반 압축 애플리케이션들에 적용될 수 있다. 영상 확대 유닛은 결합기에 접속될 필요가 없으나 관련 계층 디코더들에 용이하게 접속될 수 있다. 사실상, 이는 스프라이트가 시계를 변경시키기 위하여 사용될 수 있는 충분한 정보를 포함하는 경우에 필요치 않을 수 있다. 또한, 본 발명은 텔레비전 세트들에 제한되지 않으나 비디오, DVD, 또는 임의의 다른 타입의 영상 조절 장치에서 구현될 수 있다. 또한, 본 발명은 예컨대 홈 네트워크의 환경에서 하나 이상의 스크린들에 접속하기 위하여 제공될 수 있다.

Claims (27)

  1. 영상 데이터 포맷으로 제공된 영상 데이터 스트림의 프리젠테이션의 크기를 변경하는 방법에 있어서,
    a) 포맷으로 코딩되고 프리젠테이션될 제 1 원 시계(original field of view)를 가진 영상 데이터 스트림(X)을 획득하는 단계(단계 36);
    b) 상기 영상 데이터 스트림의 적어도 일부분들(XO, XS)을 선택하는 단계(단계 40, 42);
    c) 상기 원 시계보다 큰 영역(28)으로부터의 화소 영역들의 값들을 상기 선택된 영상 데이터(XS)로부터 획득하는 단계(단계 46); 및
    d) 영상 데이터(X')가 제 2 시계를 실질적으로 커버링(covering)하는 화소값들을 포함하도록, 상기 획득된 데이터 및 값들에 기초하여 상기 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 상기 시계를 변경시키는 단계(단계 48)를 포함하는, 프리젠테이션 크기 변경 방법.
  2. 제 1항에 있어서,
    상기 영상 데이터 스트림의 객체들은 다른 계층들의 화소들로서 제공되고, 상기 제 1시계 밖의 화소 영역들은 적어도 하나의 계층에 제공되며;
    상기 시계 변경 단계는 영상 데이터의 프리젠테이션을 허용하는 출력 데이터 스트림을 제공하기 위하여 상기 하나의 계층을 포함하는 상기 디코딩된 데이터 스트림의 계층들중 적어도 일부 계층의 객체들을 결합하는 단계(단계 48)를 포함하는, 프리젠테이션 크기 변경 방법.
  3. 제 1항에 있어서,
    e) 상기 제 2 시계를 가진 디스플레이상에 상기 스트림의 영상 데이터중 적어도 일부를 디스플레이하는 단계(단계 52)를 더 포함하는, 프리젠테이션 크기 변경 방법.
  4. 제 1항에 있어서,
    상기 코딩된 스트림은 MPEG-4 영상 데이터 스트림이며, 적어도 부분적으로 상기 원 시계 밖에 있는 화소 영역들의 적어도 일부는 스프라이트(sprite; XS)로서 코딩되는, 프리젠테이션 크기 변경 방법.
  5. 제 1항에 있어서,
    f) 상기 제 2 시계에서 화소들의 덜 만족스러운 위치들의 매핑과 관련하여 상기 선택된 영상 데이터를 처리하는 단계를 더 포함하는, 프리젠테이션 크기 변경 방법.
  6. 제 5항에 있어서,
    상기 처리단계는 한 방향으로 상기 영상을 스트레칭하는 단계, 불균등 줌 인자를 사용하여 한 방향으로 상기 영상을 스트레칭하는 단계, 양 방향으로 상기 영상을 스트레칭하는 단계, 또는 상기 영상의 측면들에 블랙 바들을 제공하는 단계중 일부를 포함하는, 프리젠테이션 크기 변경 방법.
  7. 제 5항에 있어서,
    상기 처리 단계는 만일 상기 원 시계 밖의 화소 영역들이 상기 제 2 시계 근처에 제공되지 않거나 또는 상기 원 시계 밖의 불충분한 화소 영역들이 상기 제 2 시계 근처에 제공되면 이전 화상 자료를 절단하여 나중 화상 자료에 붙이는 단계를 포함하는, 프리젠테이션 크기 변경 방법.
  8. 제 5항에 있어서,
    상기 처리단계는 상기 제 2 시계에서 손실한 화소들이 존재하는 상기 원 시계 밖의 적어도 영상 영역에 대하여 기하학적 영상 변환을 적용하는 단계를 포함하는, 프리젠테이션 크기 변경 방법.
  9. 제 8항에 있어서,
    상기 기하학적 영상 변환은 기존 화소들의 외삽법을 사용하여 상기 손실 화소들을 필링(filling)하는 단계를 포함하는, 프리젠테이션 크기 변경 방법.
  10. 제 8항에 있어서,
    상기 기하학적 영상 변환은 상기 손실 화소들을 필링하기 위하여 가장자리 화소들을 복사하는 단계를 포함하는, 프리젠테이션 크기 변경 방법.
  11. 제 5항에 있어서,
    상기 처리 단계는 상기 한 계층의 객체들이 상기 다른 계층의 객체들과 관련하여 조절되도록 하기 위하여 적어도 한 계층의 화소들의 역역을 적어도 하나의 다른 계층의 화소들에 대하여 시프트하는 단계를 포함하는, 프리젠테이션 크기 변경 방법.
  12. 제 1항에 있어서,
    상기 제 1 시계는 4:3의 종횡비에 대응하며, 상기 제 2 시계는 16:9의 종횡비에 대응하는, 프리젠테이션 크기 변경 방법.
  13. 제 2항에 있어서,
    상기 제 1시계 밖의 화소 영역들의 값들은 상기 결합된 객체들을 포함하는 스트림(X')과 다른 적어도 하나의 출력 데이터 스트림(X'S2, X'S3, X'S4)에 제공되는, 프리젠테이션 크기 변경 방법.
  14. 영상 데이터 포맷으로 제공된 영상 데이터 스트림(X)의 프리젠테이션의 크기를 변경하기 위한 영상 처리 장치(12)에 있어서,
    적어도 하나의 영상 디코딩 유닛(22)을 포함하며,
    상기 적어도 하나의 영상 디코딩 유닛(22)은,
    - 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림의 적어도 일부분(XO, XS)을 선택하고,
    - 상기 선택된 영상 데이터(XS)로부터 상기 원 시계보다 큰 영역(28)으로부터의 화소 영역들의 값들을 획득하도록 구성되며;
    상기 영상 처리 장치는 영상 데이터(X')가 제 2 시계를 실질적으로 커버링하는 화소값들을 포함하도록, 상기 획득된 데이터 및 값들에 기초하여 상기 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 상기 시계를 변경시키도록 구성되는, 영상 처리 장치.
  15. 제 14항에 있어서,
    상기 영상 데이터 스트림의 객체들은 다른 계층들의 화소들로서 제공되고, 상기 제 1시계 밖의 화소 영역(28)들은 적어도 하나의 계층에 제공되며;
    영상 제공 유닛(26)은 영상 데이터의 프리젠테이션을 허용하는 출력 데이터 스트림을 제공하기 위하여 상기 하나의 계층을 포함하는 상기 디코딩된 영상 데이 터 스트림의 계층들중 적어도 일부 계층의 객체들을 결합하도록 구성되는, 영상 처리 장치.
  16. 제 14항에 있어서,
    상기 코딩된 스트림은 MPEG-4 영상 데이터 스트림이며, 적어도 부분적으로 상기 원 시계 밖에 있는 화소 영역들의 적어도 일부는 스프라이트(XS)로서 코딩되는, 영상 처리 장치.
  17. 제 14항에 있어서,
    상기 제 2 시계에서 화소들의 덜 만족스러운 위치들의 매핑과 관련하여 상기 선택된 영상 데이터를 처리하도록 구성된 영상 확대 유닛(27)을 더 포함하는, 영상 처리 장치.
  18. 제 17항에 있어서,
    상기 처리 단계는 한 방향으로 상기 영상을 스트레칭하는 단계, 불균등 줌 인자를 사용하여 한 방향으로 상기 영상을 스트레칭하는 단계, 양 방향으로 상기 영상을 스트레칭하는 단계, 또는 영상의 측면들에 블랙 바들을 제공하는 단계 중 일부를 포함하는, 영상 처리 장치.
  19. 제 17항에 있어서,
    상기 처리 단계는, 만일 상기 원 시계 밖의 화소 영역들이 상기 제 2 시계 근처에 제공되지 않거나 또는 상기 원 시계 밖의 불충분한 화소 영역들이 상기 제 2 시계 근처에 제공되면, 이전 화상 자료를 절단하여 나중 화상 자료에 붙이는 단계를 포함하는, 영상 처리 장치.
  20. 제 17항에 있어서,
    상기 처리단계는 상기 제 2 시계에서 손실한 화소들이 존재하는 상기 원 시계 밖의 적어도 영상 영역에 대하여 기하학적 영상 변환을 적용하는 단계를 포함하는, 영상 처리 장치.
  21. 제 20항에 있어서,
    상기 기하학적 영상 변환은 기존 화소들의 외삽법을 사용하여 상기 손실 화소들을 필링하는 단계를 포함하는, 영상 처리 장치.
  22. 제 20항에 있어서,
    상기 기하학적 영상 변환은 상기 손실 화소들을 필링하기 위하여 가장자리 화소들을 복사하는 단계를 포함하는, 영상 처리 장치.
  23. 제 17항에 있어서,
    상기 처리 단계는 상기 한 계층의 객체들이 상기 다른 계층의 객체들과 관련하여 조절되도록 하기 위하여 적어도 한 계층의 화소들의 영역을 적어도 하나의 다른 계층의 화소들에 대하여 시프트하는 단계를 포함하는, 영상 처리 장치.
  24. 제 14항에 있어서,
    상기 제 1 시계는 4:3의 종횡비에 대응하며, 상기 제 2 시계는 16:9의 종횡비에 대응하는, 영상 처리 장치.
  25. 제 14항에 있어서,
    상기 제 1시계 밖의 화소 영역들의 값들은 상기 결합된 객체들을 포함하는 스트림(X')과 다른 적어도 하나의 출력 데이터 스트림(X'S2, X'S3, X'S4)에 제공되는, 영상 처리 장치.
  26. 영상 데이터 포맷으로 제공된 영상 데이터 스트림(X)의 프리젠테이션의 크기를 변경하기 위한 영상 디스플레이 장치(10)에 있어서,
    - 디스플레이 유닛(16); 및
    - 적어도 하나의 영상 디코딩 유닛(22)을 가지는 영상 처리 장치(12)를 포함하며,
    상기 적어도 하나의 영상 디코딩 유닛(22)은,
    - 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림(XO, XS)의 적어도 일부분을 선택하고,
    - 상기 디코딩된 영상 데이터(XS)로부터, 상기 원 시계보다 큰 영역(28)으로부터의 화소 영역들의 값들을 획득하도록 구성되며;
    상기 영상 처리 장치는 상기 제 1시계에 프리젠테이션되도록 한 상기 영상 데이터가 제 2 시계에 디스플레이될 수 있도록, 상기 획득된 데이터 및 값들에 기초하여 상기 시계를 변경시키도록 구성되는, 영상 디스플레이 장치.
  27. 영상 데이터 포맷으로 제공된 영상 데이터 스트림(X)의 프리젠테이션의 크기를 변경시키기 위하여 컴퓨터상에서 사용되고 상기 컴퓨터가 실행하도록 하는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램 제품(54)에 있어서,
    상기 코드가 상기 컴퓨터에 로드될 때,
    - 프리젠테이션될 제 1 원 시계를 가진 영상 데이터 스트림(X)을 획득하고,
    - 상기 영상 데이터 스트림의 적어도 일부분(XO, XS)을 선택하며,
    - 상기 원 시계보다 큰 영역(28)으로부터의 화소 영역들의 값들을 상기 선택된 영상 데이터(XS)로부터 획득하며; 및
    - 상기 제 1시계에 프리젠테이션되도록 한 영상 데이터(X')가 상기 제 2 시계에 디스플레이될 수 있도록, 상기 획득된 데이터 및 값들에 기초하여 상기 제 2 시계에 따라 디스플레이될 영상을 계산함으로써 상기 시계를 변경시키는, 컴퓨터 프로그램 제품.
KR1020067015739A 2004-02-03 2005-01-27 스크린상에 디스플레이될 영상들의 종횡비의 변경 KR20060135736A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04100376.5 2004-02-03
EP04100376 2004-02-03

Publications (1)

Publication Number Publication Date
KR20060135736A true KR20060135736A (ko) 2006-12-29

Family

ID=34833718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067015739A KR20060135736A (ko) 2004-02-03 2005-01-27 스크린상에 디스플레이될 영상들의 종횡비의 변경

Country Status (6)

Country Link
US (1) US20080260290A1 (ko)
EP (1) EP1714477A1 (ko)
JP (1) JP2007522732A (ko)
KR (1) KR20060135736A (ko)
CN (1) CN1914902A (ko)
WO (1) WO2005076599A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2030440B1 (en) 2006-06-06 2011-05-04 Koninklijke Philips Electronics N.V. Scaling an image based on a motion vector
JP2009105724A (ja) * 2007-10-24 2009-05-14 Funai Electric Co Ltd 画像データサーバ
US8619071B2 (en) * 2008-09-16 2013-12-31 Microsoft Corporation Image view synthesis using a three-dimensional reference model
WO2010052548A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating interactive panoramic walk-through applications
CN102867180A (zh) * 2011-07-08 2013-01-09 富士通株式会社 灰度字符图像归一化装置和灰度字符图像归一化方法
US8917329B1 (en) 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
CN111081156B (zh) * 2019-12-11 2022-07-12 中国电子科技集团公司第三十八研究所 一种智慧城市综合数据看板平台

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9102220D0 (en) * 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
JPH06350863A (ja) * 1993-06-08 1994-12-22 Pioneer Electron Corp テレビジョン受像機の表示装置
US5673401A (en) * 1995-07-31 1997-09-30 Microsoft Corporation Systems and methods for a customizable sprite-based graphical user interface
US5990904A (en) * 1995-08-04 1999-11-23 Microsoft Corporation Method and system for merging pixel fragments in a graphics rendering system
US6130676A (en) * 1998-04-02 2000-10-10 Avid Technology, Inc. Image composition system and process using layers
US7116323B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
US6215496B1 (en) * 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
US6115072A (en) * 1999-01-27 2000-09-05 Motorola, Inc. 16:9 aspect ratio conversion by letterbox method for an MPEG image
JP4352105B2 (ja) * 2000-04-07 2009-10-28 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション アドバンスドテレビジョンの強化された時相及び解像度の階層化
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US20030052899A1 (en) * 2000-08-16 2003-03-20 Diana Walczak Dynamic spatial warp
US20020052235A1 (en) * 2000-10-27 2002-05-02 Hirsch Jeffrey R. Gaming device having animation including multiple sprites
JP2002342775A (ja) * 2001-05-15 2002-11-29 Sony Corp 表示状態変更装置、表示状態変更方法、表示状態変更プログラム、表示状態変更プログラム格納媒体、画像提供装置、画像提供方法、画像提供プログラム、画像提供プログラム格納媒体及び画像提供システム
WO2003017649A1 (en) * 2001-08-20 2003-02-27 Koninklijke Philips Electronics N.V. Image size extension
WO2003062960A2 (en) * 2002-01-22 2003-07-31 Digimarc Corporation Digital watermarking and fingerprinting including symchronization, layering, version control, and compressed embedding
WO2003103178A1 (en) * 2002-05-29 2003-12-11 Pixonics, Inc. Video interpolation coding
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers

Also Published As

Publication number Publication date
US20080260290A1 (en) 2008-10-23
WO2005076599A1 (en) 2005-08-18
EP1714477A1 (en) 2006-10-25
JP2007522732A (ja) 2007-08-09
CN1914902A (zh) 2007-02-14

Similar Documents

Publication Publication Date Title
US10567733B2 (en) Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US20180098090A1 (en) Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
US8155202B2 (en) System and method for encoding scrolling raster images
US8698840B2 (en) Method and apparatus for processing video and graphics data to create a composite output image having independent and separate layers of video and graphics display planes
KR101187550B1 (ko) 입체적 3ｄ-비디오 이미지 디지털 코딩 시스템 및 방법
CN109640167B (zh) 视频处理方法、装置、电子设备及存储介质
JP2009512896A (ja) 表示装置、表示制御装置及び表示方法
KR20060135736A (ko) 스크린상에 디스플레이될 영상들의 종횡비의 변경
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US7006153B2 (en) Image composition method, and image composition apparatus
KR20030029442A (ko) 특수 효과 데이터 부호화 방법, 특수 효과 표시 방법, 및특수 효과 데이터 편집 방법
CN112672131A (zh) 一种全景视频图像显示方法及显示设备
JP3927713B2 (ja) 放送受信装置およびその方法
US6828979B2 (en) Method and device for video scene composition including mapping graphic elements on upscaled video frames
JP4306850B2 (ja) 放送受信装置およびその方法
US20070133950A1 (en) Reproduction apparatus, reproduction method, recording method, image display apparatus and recording medium
TWI508530B (zh) 影像壓縮方法、媒體資料檔案與解壓縮方法
US20060232708A1 (en) On-screen display apparatus and on-screen display generation method
CN115567756A (zh) 基于视角的vr视频系统和处理方法
US5990959A (en) Method, system and product for direct rendering of video images to a video data stream
JP4401463B2 (ja) 放送受信装置及びその方法
JP4534975B2 (ja) 再生装置、再生方法、記録方法、映像表示装置及び記録媒体
JPWO2005101819A1 (ja) 表示装置
JP4672561B2 (ja) 画像処理装置、受信装置、放送システム、画像処理方法、画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid