KR20070089146A - 주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩및 디코딩하기 위한 방법 및 장치 - Google Patents

주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩및 디코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20070089146A
KR20070089146A KR1020077012540A KR20077012540A KR20070089146A KR 20070089146 A KR20070089146 A KR 20070089146A KR 1020077012540 A KR1020077012540 A KR 1020077012540A KR 20077012540 A KR20077012540 A KR 20077012540A KR 20070089146 A KR20070089146 A KR 20070089146A
Authority
KR
South Korea
Prior art keywords
video signal
main
video
video signals
auxiliary
Prior art date
Application number
KR1020077012540A
Other languages
English (en)
Inventor
카스텐 허펠
디르크 간돌프
욥스트 호렌트럽
랄프 오스테르만
우베 얀센
하트무트 피터
안드레즈 세브조
마르코 빈터
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20070089146A publication Critical patent/KR20070089146A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

통상적으로, 디지털 PIP 비디오 신호는 주 비디오 신호로 직접 편집되고, 그 후에 단일의 코딩된 비디오 스트림으로 함께 인코딩된다. 그러나, 사용자가 인코딩된 비디오 신호의 PIP 표현을 전적으로 제어할 수 있도록 하기 위하여, 각각의 PIP 신호는 별도의 인코딩을 요구하며, 수신기에서는 디스플레이되는 각각의 비디오 스트림에 대하여 하나의 비디오 디코더가 요구된다. 본 발명에 따르면, 타임라인 관련(timeline-related) 보조 비디오 신호의 PIP 유사 표현이 가능해지는데, 이것이 단지 하나의 코딩된 비디오 스트림으로, 따라서 단일의 비디오 디코더로 획득된다. 인코딩시에, 비디오 평면은 주 비디오 영역과 하나 이상의 PIP 윈도우를 수반하는 사이드 패널 영역(side panel area)으로 논리적으로 분할된다. 디코딩 후에, 주 비디오 영역은 중앙에 디스플레이되거나, 전체 디스플레이 크기로 확장된다. 사이드 패널의 콘텐츠는 직접 디스플레이되지는 않지만, 사이드 정보에 따라, 그러한 사이드 패널의 몇몇 부분은 주 비디오 윈도우에 중첩된다. PIP 비디오 신호가 더 이상 주비디오 윈도우로 하드 코딩(hard-coding)되지 않기 때문에, 사용자는 PIP 비디오 신호 각각을 나타내거나 감추는 것을 제어할 수 있다.
PIP 비디오 신호, 주 비디오 신호, 보조 비디오 신호

Description

주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩 및 디코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND FOR DECODING A MAIN VIDEO SIGNAL AND ONE OR MORE AUXILIARY VIDEO SIGNALS}
본 발명은 주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩하고, 디코딩하며, 표현하는 방법 및 장치에 관한 것이다.
통상적으로, 디스플레이 상에의 디지털 방식으로 인코딩된 비디오 신호의 PIP(picture-in-picture) 표현은 각각의 디스플레이되는 비디오 스트림마다 하나의 비디오 디코더를 요구한다. TV 방송 애플리케이션에서는, 상이한 비디오 신호들은 통상적으로 관련되어 있지 않기 때문에 이를 피할 수 없다. 그러나, 광 디스크와 같은 저장 매체의 상황에서는 저작(authoring) 시에 모든 콘텐츠가 이미 알려진다. 주비디오 스트림과 보조 PIP 비디오 스트림이 공동 타임라인(joint timeline)을 가지는 경우에는, 현재의 기술 상태에서는 보조 PIP 비디오 신호를 주 비디오로 직접 편집하고, 그 후에 이들을 단일의 코딩된 비디오 스트림으로 함께 인코딩한다. 그 후에, 스크린 상의 사전 결정된 위치에 표현되는 보조 비디오 신호는 '비디오 메뉴 버튼'으로 이용되어, 현재의 주 비디오를 비디오 메뉴 버튼에서 미리 본(pre-viewed) 다른 비디오 스트림 중 하나로 스위칭한다. 전형적인 애플리케이션은, US-A-2004/0126085에 기재된 것처럼, 멀티 앵글(multi-angle) 저장 매체에서의 상이한 카메라 앵글 간의 스위칭일 것이다.
3D 그래픽 디자인으로부터, 한 장면(scene) 내의 다양한 상이한 객체들에 대한 정지 영상 텍스쳐(texture)는 단일의 영상, 예컨대 JPEG 영상 내에 함께 전송될 수 있음이 알려져 있다.
전술한 솔루션(solution)의 주된 단점은 주 비디오 신호와 하나 이상의 보조 PIP 타입 비디오 신호의 세트의 임의의 조합은 사전 저작(pre-authored)되어야 한다는 점이다. PIP 비디오 신호를 포함하지 않는 주 비디오의 추가적인 버전이 디스크 상에 추가적으로 저장되어, 그러한 주 비디오에 대하여 요구되는 저장 용량을 효과적으로 2배로 하지 않는다면 PIP 유사 비디오 신호를 스위치 오프하는 것은 가능하지 않다.
본 발명이 해결하고자 하는 과제는 단일의 비디오 디코더만을 이용하는 PIP 비디오 디스플레이를 가능하게 하고, 관련 비디오 신호를 이에 부합하도록 인코딩하는 것이다. 이러한 문제점은 청구의 범위 제1항 및 제3항에 개시된 방법에 의해서 해결된다. 대응하는 방법을 이용하는 장치는 청구의 범위 제2항 및 제4항에 개시된다.
본 발명에 따르면,
- 타임라인 관련(timeline-related) 보조 비디오 신호의 PIP 유사 표현이 가능하며,
- 이로부터 사용자가 PIP 유사 신호의 표현을 제어할 수 있도록 하되,
- 단지 하나의 코딩된 비디오 스트림으로 이를 달성한다.
특히, 고해상도 비디오의 경우에는 선택적인 PIP 비디오 신호를 위하여 다소의 주 비디오 해상도를 희생하는 것이 가능해진다. 도 1에 도시된 바와 같이, 예컨대, 1920*1080 픽셀을 가지는 비디오 평면은, 예컨대 1680*1080 픽셀의 주 비디오 윈도우(MNVID)와 하나 이상의 PIP 윈도우(PIP1 내지 PIP5)를 수반하는 240*1080 픽셀의 사이드 패널(side panel)로 논리적으로 분할된다.
디코딩 후에, 주 비디오 윈도우(MNVID)는, 예컨대 도 2에 도시된 바와 같이 중앙에 디스플레이되거나, 전체 1920*1080 디스플레이 크기로 확장 또는 스케이링(scaling)된다. 선택된 디스플레이 옵션에 따라, (스케일링 전에) 디코딩된 픽셀들의 종횡비는 (중앙에 배치된 디스플레이에서) 정사각형일 수도 있으며, 아닐 수도 있다.
사이드 패널의 비디오 콘텐츠는 직접 디스플레이되지 않지만, 사이드 정보에 따라, 그 사이드 패널의 몇몇 부분은 주 비디오 윈도우(MNVID) 상에 중첩된다. 이러한 사이드 정보는, 예컨대 240*160 픽셀 크기의 1개 내지 6개의 보조 비디오 신호와 같은 사이드 패널 비디오의 논리적 콘텐츠와, 도 2에 도시된 것과 같은 주 비디오 위의 이러한 보조 비디오 신호 각각의 원하는 스케일링 및 배치에 관한 정보를 포함한다.
PIP 유사 비디오 신호는 더 이상 주 비디오 윈도우로 '하드 코딩(hard-coded)'되지 않는다는 사실에 기인하여, 사용자는 이들 부가적인 비디오 신호 각각을 나타내거나 숨기는 것을 제어한다. 부가적으로, 도 3에 예시된 바와 같이, 사용자는 디스플레이의 임의의 위치에의 PIP 윈도우의 배치 또는 스케일링을 제어할 수 있을 것이다. 이러한 동작은 종래 기술의 경우에서처럼 별도의 비디오 스트림이 디코딩되고 표현되는 것을 요구하지 않는다. 따라서, 나타내고, 숨기고, 스케일링하거나 재배치하는 동작은 시간 지연되어 발생하지도(즉, 비디오 재생의 중지), 부가적인 저장 공간을 요구하지도 않는다.
인코더측에서는 주 비디오 신호 및 보조(PIP) 비디오 신호의 위치 및 크기를 제한하여, 그들의 경계가 코덱(codec)에 의해서 인코딩되는 엔티티(entity), 전형적으로는 16*16 픽셀 크기의 블록 또는 매크로블록의 경계와 일치하는 것이 바람직하다. 또한, 현재까지의 대부분의 코덱에 적용되는 시간적 예측은 소정의 블록 또는 매크로블록에 대하여 동일한 논리적 신호로부터의 예측 데이터만이 이용되도록 제한될 수 있다. 즉, 주 비디오 영역에 속하는 매크로블록은 주 비디오 영역에 속하는 픽셀들로부터만 예측된다. 이것은 각각의 PIP 신호에 대해서도 마찬가지로 적용된다.
원칙적으로, 본 발명의 방법은 주 비디오 신호 및 하나 이상의 보조 비디오 신호의 인코딩을 위한 것으로, 다음 단계를 포함한다. 즉,
- 상기 주 비디오 신호가 사전 결정된 영상 영역의 주 부분에만 관련되도록 상기 주 비디오 신호를 배열하는 단계와,
- 상기 하나 이상의 보조 비디오 신호가 상기 사전 결정된 영상 영역의 잔여 부분과 관련되도록 상기 하나 이상의 보조 비디오 신호를 배열하는 단계와,
- 상기 주 비디오 신호와 상기 하나 이상의 보조 비디오 신호를 함께 인코딩하여 단일의 인코딩된 비디오 신호를 제공하는 단계와,
- 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보를 생성하는 단계와,
- 상기 단일의 인코딩된 비디오 신호에 대한 데이터와 상기 인코딩된 위치 및 스케일 정보에 대한 데이터를 결합하여 저장 매체에 대하여 마스터(master)될 수 있는 결합된 데이터 스트림을 제공하는 단계.
원칙적으로, 본 발명의 장치는 주 비디오 신호 및 하나 이상의 보조 비디오 신호의 인코딩을 위한 것으로, 상기 장치는,
- 상기 주 비디오 신호가 사전 결정된 영상 영역의 주 부분에만 관련되도록 상기 주 비디오 신호를 배열하고, 상기 하나 이상의 보조 비디오 신호가 상기 사전 결정된 영상 영역의 잔여 부분에 관련되도록 상기 하나 이상의 보조 비디오 신호를 배열하도록 되어 있는 수단과,
- 상기 주 비디오 신호와 상기 하나 이상의 보조 비디오 신호를 함께 인코딩하여 단일의 인코딩된 비디오 신호를 제공하도록 되어 있는 수단과,
- 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보를 생성하도록 되어 있는 수단과,
- 상기 단일의 인코딩된 비디오 신호에 대한 데이터와 상기 인코딩된 위치 및 스케일 정보에 대한 데이터를 결합하여 저장 매체에 대하여 마스터될 수 있는 결합된 데이터 스트림을 제공하도록 되어 있는 수단을 포함한다.
원칙적으로, 본 발명의 방법은 주 비디오 신호 및 하나 이상의 보조 비디오 신호를 디코딩하고, 상기 주 비디오 신호 및 0 이상의 상기 보조 비디오 신호를 표현하기 위한 것으로, 상기 주 비디오 신호는 사전 결정된 영상 영역의 주 부분에만 관련되도록 처음에 배열되며, 상기 하나 이상의 보조 비디오 신호는 상기 사전 결정된 영상 영역의 잔여 부분에 관련되도록 배열되며, 상기 방법은 다음 단계들을 포함한다. 즉,
- 저장 매체로부터 결합된 데이터 스트림을 수신하는 단계- 상기 결합된 데이터 스트림은 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호에 대한 데이터를 포함함 -와,
- 단일의 디코더를 가지고서 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호를 디코딩하여 디코딩된 주 비디오 신호 및 하나 이상의 디코딩된 보조 비디오 신호를 제공하는 단계와,
- 상기 결합된 데이터 스트림으로부터 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보 데이터를 캡쳐(capture)하는 단계와,
- 상기 위치 및 스케일 정보 데이터를 이용하여 상기 디코딩된 주 비디오 신호와 0 이상의 상기 디코딩된 보조 비디오 신호를 구성하는 단계를 포함한다.
원칙적으로, 본 발명의 장치는 주 비디오 신호 및 하나 이상의 보조 비디오 신호의 디코딩과, 상기 주 비디오 신호 및 0 이상의 상기 보조 비디오 신호의 표현을 위한 것으로, 처음에 상기 주 비디오 신호는 사전 결정된 영상 영역의 주 부분에만 관련되고, 상기 하나 이상의 보조 비디오 신호는 상기 사전 결정된 영상 영역의 잔여 부분에 관련되도록 배열되며, 상기 장치는,
- 저장 매체로부터 결합된 데이터 스트림- 상기 결합된 데이터 스트림은 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호에 대한 데이터를 포함함 -을 수신하도록 되어 있고, 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호를 디코딩하여 디코딩된 주 비디오 신호 및 하나 이상의 디코딩된 보조 비디오 신호를 제공하는 단일의 디코더를 포함하는 수단과,
- 상기 결합된 데이터 스트림으로부터 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보를 캡쳐하도록 되어 있는 수단과,
- 상기 위치 및 스케일 정보 데이터를 이용하여 상기 디코딩된 주 비디오 신호 및 0 이상의 상기 디코딩된 보조 비디오 신호를 구성하도록 되어 있는 수단을 포함한다.
본 발명의 바람직한 부가적인 실시예들이 각각의 종속 청구항에서 개시된다.
본 발명의 예시적인 실시예들은 첨부된 도면을 참조하여 기술된다.
도 1은 매체 상에 저장되는 주 비디오 화상과 PIP 화상의 논리적인 데이터 구조를 도시하는 도면.
도 2는 재생되는 PIP 화상을 나타내는 제1 예를 도시하는 도면.
도 3은 재생되는 PIP 화상을 나타내는 제2 예를 도시하는 도면.
도 4는 에뮬레이션된(emulated) PIP 화상을 가지는 다수의 비디오 스트림의 생성을 도시하는 도면.
도 5는 PIP 화상과 함께 주 영상을 디코딩하고, 합성하고 디스플레이하는 것을 도시하는 도면.
도 6은 주 영상의 디스플레이 시에 PIP 화상을 숨기는 것을 도시하는 도면.
도 7은 합성기(compositor)의 블록도.
도 4에서, 예컨대 3개의 비디오 영상 또는 비디오 영상 시퀀스 소스 스테이지(VID1, VID2, VID3)는 3개의 상이한 소스의 주 비디오 화상을 생성한다. 이들 스테이지 각각은 그 출력 신호를 대응하는 합성기(CMB1, CMB2, CMB3)에 각각 공급하고, 대응하는 다운 컨버터(DWNC1, DWNC2, DWNC3)에 각각 공급하여 대응하는 PIP 화상을 형성한다. 합성기는 주 비디오 화상을 다른 비디오 영상 또는 비디오 영상 시퀀스 소스로부터 발생된 하나 이상의 PIP 화상과 결합하여, 예컨대 본 도면의 상부 및 하부에 도시된 바와 같이, PIP 데이터가 대응하는 주 영상 데이터에 인접하여 배열되도록 할 수 있다. 합성기(CMB1, CMB2, CMB3)의 출력 신호는 각각의 비디오 인코더(ENC1, ENC2, ENC3)를 통과하고, 그 후에 디스크 마스터링 단계(DMST)에서 이용되어 이들 인코딩된 비디오 데이터를 관련 PIP 위치 및 스케일 정보 데이터 항목과 결합시키고, 최종적으로 저장 매체(STM)를 마스터링하기 위하여 버튼 커맨드 데이터(button command data)와 결합시킨다. 버튼 커맨드 데이터는 대응하는 저장 매체 재생기에서 이용되어 PIP 화상(VIDn)을 나타내는 버튼이 사용자에 의해서 활성화되는 경우에 디스플레이되는 주 화상으로서 소스 화상(VIDn)- 본 예에서는 n = 1 내지3 -으로 점핑(jumping)할 수 있다. 비디오 인코더는, 예컨대 MPEG-1, MPEG-2, MPEG-4, MPEG-4/AVC 또는 VC-1 인코딩을 이용한다.
도 5에서, 주 영상을 PIP 화상과 함께 디코딩하고, 합성하고, 디스플레이하는 블록도가 도시된다. 픽업(pick-up) 및 채널 디코더(도시되지 않음)를 이용하여, 인코딩된 주 화상 데이터 및 PIP 화상 데이터를 포함하는 데이터가 저장 매체(STM)로부터 판독된다. 단일의 비디오 디코더(DEC)는 도 4 및 5의 상부에 도시된 것과 같이 배열된 주 화상 데이터 및 PIP 화상 데이터를 포함하는 인코딩된 화상 데이터를 디코딩한다. 비디오 디코더(DEC)는 대응하는 타입의 디코딩, 즉 MPEG-1, MPEG-2, MPEG-4, MPEG-4/AVC 또는 VC-1 디코딩을 이용한다. 관련 PIP 위치 및 스케일 정보 데이터 항목은 위치 및 스케일 디코더(DECPSC)에서 디코딩된다. 그러한 디코더, 그리고 최종적으로는 버튼 커맨드 데이터 디코더(도시되지 않음)는 합성기(CPSTR)에 대응하는 정보 항목을 제공한다. 합성기(CPSTR)는 디코딩된 프레임을 저장하는 버퍼를 포함하며, 이들 정보 항목을 디코딩된 비디오 데이터에 적용하여 사용자가 원하는 방식으로 배열되는 주 화상 및 PIP 화상 데이터(MPDPIPD)를 출력한다. PIP 유사 비디오 신호를 중첩시키는 프로세싱은 프레임 버퍼 내에서의 고속 블록 이동 동작에 의해서, 또는 다수의 이용가능한 비디오 층(layer)을 가지는 디스플레이 프로세스의 경우에는 디스플레이를 위하여 PIP 비디오 데이터를 다른 층으로 이동시킴으로써 수행될 수 있다.
도 5의 상부 반은 V1이 주 화상이고, V2 및 V3이 2개의 PIP 화상인 경우의 재생 프로세싱을 나타내고, 도 5의 하부 반은 V2가 주 화상이고 V1 및 V3이 2개의 PIP 화상인 경우에 V2 PIP 버튼이 사용자에 의해서 눌러진 후의 재생 프로세싱을 위한 동일한 스테이지(DEC, DECPSC, CPSTR)를 도시한다.
위치 및 스케일 정보 데이터는 상기 저장 매체로부터 얻어지거나, 사용자에 의해서 생성, 제어 또는 변형된다.
도 6에서는 주 영상과 PIP 화상을 함께, 또는 주 화상만을(즉, 주 화상을 디스플레이하는 때에 PIP 화상이 숨겨질 수 있다) 디코딩, 합성 및 디스플레이를 위한 블록도가 도시된다. 픽업 및 채널 디코더(도시되지 않음)를 이용하여, 인코딩된 주 화상 데이터 및 PIP 화상 데이터를 포함하는 데이터가 저장 매체(STM)로부터 판독된다. 단일의 비디오 디코더(DEC)는 도 6의 상부에 도시된 것과 같이 배열된 주 화상 데이터 및 PIP 화상 데이터를 포함하는 인코딩된 화상 데이터를 디코딩한다. 비디오 디코더(DEC)는 대응하는 타입의 디코딩, 즉 MPGE-1, MPEG-2, MPEG-4, MPEG-4/AVC 또는 VC-1 디코딩을 이용한다. 관련 PIP 위치 및 스케일 정보 데이터 항목은 위치 및 스케일 디코더(DECPSC)에서 디코딩된다. 그러한 디코더, 그리고 최종적으로는 버튼 커맨드 데이터 디코더(도시되지 않음)는 합성기(CPSTR)에 대응하는 정보 항목을 제공한다. 합성기(CPSTR)는 디코딩된 프레임을 저장하는 버퍼를 포함하고, 이들 정보 항목을 디코딩된 비디오 데이터에 적용하고, 사용자가 원하는 방식으로 배열되는 주 화상 및 PIP 화상 데이터(MPDPIPD)를 출력한다. PIP 유사 비디오 신호를 중첩시키는 프로세싱은 프레임 버퍼 내에서의 고속 블록 이동 동작에 의해서 수행되거나, 이용가능한 다수의 비디오 층을 가지는 디스플레이 프로세스의 경우에는 디스플레이를 위하여 PIP 비디오 데이터를 다른 층으로 이동시킴으 로써 수행될 수 있다. 합성기는 하나 이상의 PIP 화상의 디스플레이 상태와 관련된 추가적인 표시(show) PIP 입력 신호를 수신하고 평가한다. 그러한 신호의 '참(true)' 상태(SPIPTR)는 도 6의 상부 반에서의 하나 이상의 PIP 화상의 디스플레이를 야기한다.
도 6의 하부 반은 사용자에 의해서 'PIP 숨김(hide PIP)' 버튼이 눌러진 후의 재생 프로세싱을 위한 동일한 스테이지(DEC, DECPSC, CPSTR)를 도시하며, 합성기는 상태가 '거짓(false)'인 표시 PIP 입력 신호(SPIPF)를 수신하는데, V1은 여전히 주 화상이나, V2 및 V3 PIP 화상은 디스플레이될 비디오 데이터에 더 이상 포함되지 않는다.
보조 비디오 신호 각각에 대하여, 주 비디오 신호와 함께 표시될지 여부가 SPIPTR및 SPIPF 데이터를 이용하여 제어된다.
PIP 비디오 신호의 코딩된 픽셀 종횡비는 비디오 스케일러(scaler)가 존재하는 경우에는 디스플레이 프로세스에 있어서 그 위치에 따라 달라진다. PIP 비디오 신호가, 디스플레이 버퍼가 스케일링되기 전에 중첩되는 경우에는 주 비디오 및 PIP 비디오 모두 적절한 정사각형이 아닌 픽셀을 가질 것이 요구된다. PIP 비디오가 스케일링을 거치지 않은 별도의 비디오층에 존재하거나, 주 디스플레이 버퍼가 스케일링되지 않은 경우에는 PIP 비디오는 정사각형의 픽셀 종횡비를 가져야 한다. 이것은 1920*1080 픽셀을 가지는 본 디스플레이 표준의 경우에서처럼 디스플레이 장치가 정사각형 픽셀을 가지는 것을 가정한다.
도 7의 합성기(CPSTR)의 보다 상세한 블록도에서, 도 5 및 6의 DEC로부터 디 코딩된 비디오 출력 신호는 프레임 버퍼(FRBUF)에 저장된다. 주 비디오 신호로 구성되는 프레임 버퍼 출력은 제1 스케일러(SCLR1)만을 통과하여, 화상이 수평 및/또는 수직으로 연장하여 전체 디스플레이 포맷, 예컨대 16:9 또는 4:3 포맷을 차지한다. 디코딩된 PIP 화상 데이터는 프레임 버퍼(FRBUF)로부터 PIP 버퍼(PIPBUF)로 전송되며, 그 출력은 제2 스케일러(SCLR2)를 통과하고, PIP 화상들 또는 PIP 화상이 제1 스케일러(SCLR1)에서 수행된 스케일링에 매칭(matching)하는 정도까지 수평 및/또는 수직으로 연장한다. 이와 달리, 스케일러(SCLR1 및/또는 SCLR2)는 PIP 화상의 스케일링을 개인의 희망에 맞추도록 사용자에 의해서 제어된다. 중첩기(superimposer, SIMPR)는 스케일링된 PIP 화상 데이터를 스케일링된 주 화상 데이터와 결합하여 대응하는 결합된 화상 데이터(MPDPIPD)를 출력한다. 제2 스케일러(SCLR2) 및 중첩기(SIMPR)는 도 5 및 6의 위치 및 스케일 디코더(DECPSC)로부터 디코딩된 PIP 위치 및 스케일 정보 데이터 항목을 수신한다. 중첩기(SIMPR)는 도 6과 관련하여 기술한 바와 같이 표시 또는 숨김 PIP 입력 신호(SPIPTR 또는 SPIPF)를 수신하고 평가할 수도 있을 것이다.
본 발명은 제2 비디오 디코더 또는 저장 공간의 복제(duplication)를 요구하지 않고서 선택적인 PIP 비디오의 디스플레이를 바람직하게 용이하게 한다. 단지 주 비디오의 수평 해상도의 작은 감소만이 있을 뿐이다. 본 발명은 광 기록 또는 하드 디스크 시스템(예컨대, DVD, HD-DVD, BD)에서 이용될 수 있으며, 단순한 디코딩 및 단일 비디오 스트림의 디스플레이에 부가하여, 디스플레이 전에 재생기 또는 수신기에서 단지 몇몇 부가적인 비디오 데이터 전송을 요구할 뿐이다.

Claims (10)

  1. 주 비디오 신호(MNVID) 및 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)를 인코딩하는 방법으로서,
    - 상기 주 비디오 신호(MNVID)가 사전 결정된 영상 영역의 주 부분에만 관련되도록 상기 주 비디오 신호(MNVID)를 배열하는 단계(CMB1, CMB2, CMB3)와,
    - 상기 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)가 상기 사전 결정된 영상 영역의 잔여 부분에 관련되도록 상기 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)를 배열하는 단계(CMB1, CMB2, CMB3)와,
    - 상기 주 비디오 신호와 상기 하나 이상의 보조 비디오 신호를 함께 인코딩하여 단일의 인코딩된 비디오 신호를 제공하는 단계(ENC1, ENC2, ENC3)와,
    - 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보(PSCI)를 생성하는 단계와,
    - 상기 단일의 인코딩된 비디오 신호에 대한 데이터와 상기 인코딩된 위치 및 스케일 정보에 대한 데이터를 결합하여 저장 매체(STM)에 대하여 마스터(master)될 수 있는 결합된 데이터 스트림을 제공하는 단계(DMST)
    를 포함하는 방법.
  2. 주 비디오 신호(MNVID) 및 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)를 인코딩하는 장치로서,
    - 상기 주 비디오 신호(MNVID)가 사전 결정된 영상 영역의 주 부분에만 관련되도록 상기 주 비디오 신호(MNVID)를 배열하고, 상기 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)가 상기 사전 결정된 영상 영역의 잔여 부분에 관련되도록 상기 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)를 배열하도록 되어 있는 수단(CMB1, CMB2, CMB3)과,
    - 상기 주 비디오 신호와 상기 하나 이상의 보조 비디오 신호를 함께 인코딩하여 단일의 인코딩된 비디오 신호를 제공하도록 되어 있는 수단(ENC1, ENC2, ENC3)과,
    - 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보를 생성하도록 되어 있는 수단(PSCI)과,
    - 상기 단일의 인코딩된 비디오 신호에 대한 데이터를 상기 인코딩된 위치 및 스케일 정보에 대한 데이터와 결합하여 저장 매체(STM)에 대하여 마스터될 수 있는 결합된 데이터 스트림을 제공하도록 되어 있는 수단(DMST)
    을 포함하는 장치.
  3. 주 비디오 신호(MNVID) 및 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)를 디코딩하고, 상기 주 비디오 신호와 0 이상의 상기 보조 비디오 신호를 표현하는 방법으로서,
    상기 주 비디오 신호는 처음에 사전 결정된 영상 영역의 주 부분에만 관련되도록 배열되고, 상기 보조 비디오 신호는 상기 사전 결정된 영상 영역의 잔여 부분 에 관련되도록 배열되며,
    상기 방법은,
    - 저장 매체(STM)로부터 결합된 데이터 스트림을 수신하는 단계- 상기 결합된 데이터 스트림은 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호에 대한 데이터를 포함함 -와,
    - 단일의 디코더를 가지고서 상기 주 비디오 신호 및 상기 하나 이상의 보조비디오 신호를 디코딩하여 디코딩된 주 비디오 신호 및 하나 이상의 디코딩된 보조 비디오 신호를 제공하는 단계(DEC)와,
    - 상기 결합된 데이터 스트림으로부터 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보 데이터를 캡쳐하는 단계(DECPSC)와,
    - 상기 위치 및 스케일 정보 데이터를 이용하여 상기 디코딩된 주 비디오 신호 및 0 이상의 상기 디코딩된 보조 비디오 신호를 구성하는 단계(CPSTR)
    를 포함하는 방법.
  4. 주 비디오 신호(MNVID) 및 하나 이상의 보조 비디오 신호(PIP1, PIP2, PIP3)를 디코딩하고, 상기 주 비디오 신호 및 0 이상의 상기 보조 비디오 신호를 표현하는 장치로서,
    상기 주 비디오 신호는 사전 결정된 영상 영역의 주 부분에만 관련되도록 처음에 배열되고, 상기 하나 이상의 보조 비디오 신호는 상기 사전 결정된 영상 영역의 잔여 부분에 관련되도록 배열되고,
    상기 장치는,
    - 저장 매체(STM)로부터 결합된 데이터 스트림을 수신하도록 되어 있고- 상기 결합된 데이터 스트림은 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호에 대한 데이터를 포함함 -, 상기 주 비디오 신호 및 상기 하나 이상의 보조 비디오 신호를 디코딩하는 단일의 디코더를 포함하여 디코딩된 주 비디오 신호 및 하나 이상의 디코딩된 보조 비디오 신호를 제공하는 수단(DEC)과,
    - 상기 결합된 데이터 스트림으로부터 상기 하나 이상의 보조 비디오 신호에 관한 위치 및 스케일 정보 데이터를 캡쳐하도록 되어 있는 수단(DECPSC)과,
    - 상기 위치 및 스케일 정보 데이터를 이용하여 상기 디코딩된 주 비디오 신호 및 0 이상의 상기 디코딩된 보조 비디오 신호를 구성하도록 되어 있는 수단(CPSTR)
    을 포함하는 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 주 비디오 신호는 상기 표현을 위하여 스케일링되고(SCLR1), 상기 스케일링은 상기 위치 및 스케일 정보 데이터에 의해서 제어되는 방법 또는 장치.
  6. 제5항에 있어서,
    상기 하나 이상의 보조 비디오 신호는 상기 표현을 위하여 스케일링되고(SCLR2), 상기 스케일링은 상기 위치 및 스케일 정보 데이터에 의해서 제어되는 방법 또는 장치.
  7. 제3항, 제5항 또는 제6항 중 어느 한 항, 또는 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 하나 이상의 보조 비디오 신호 각각에 대하여, 상기 주 비디오 신호와 함께 표현될 것인지가 제어되는(SPIPTR, SPIPF) 방법 또는 장치.
  8. 제3항 또는 제5항 내지 제7항 중 어느 한 항, 또는 제4항 내지 제7항 중 어느 한 항에 있어서,
    표현 보조 신호가 상기 저장 매체로부터 캡쳐하고, 상기 표현 보조 신호에 대응하는 상이한 주 신호(V2)를 디코딩하고 표현하며, 현재 주 신호(V1) 대신에 상기 상이한 주 신호를 표현하기 위한 사용자 버튼으로 이용되는 방법 또는 장치.
  9. 제3항 또는 제5항 내지 제8항 중 어느 한 항, 또는 제4항 내지 제8항 중 어느 한 항에 있어서,
    상기 위치 및 스케일 정보 데이터가 상기 저장 매체로부터 얻어지거나, 사용자에 의해서 생성되거나, 제어되거나, 변경되는 방법 또는 장치.
  10. 제1항, 제3항 또는 제5항 내지 제9항 중 어느 한 항, 또는 제2항 또는 제4항 내지 제9항 중 어느 한 항에 있어서,
    상기 저장 매체는 DVD, HD-DVD 또는 BD 디스크인 방법 또는 장치.
KR1020077012540A 2004-12-02 2005-11-14 주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩및 디코딩하기 위한 방법 및 장치 KR20070089146A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04090477A EP1667448A1 (en) 2004-12-02 2004-12-02 Method and apparatus for encoding and for decoding a main video signal and one or more auxiliary video signals
EP04090477.3 2004-12-02

Publications (1)

Publication Number Publication Date
KR20070089146A true KR20070089146A (ko) 2007-08-30

Family

ID=34928846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077012540A KR20070089146A (ko) 2004-12-02 2005-11-14 주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩및 디코딩하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20080043140A1 (ko)
EP (2) EP1667448A1 (ko)
JP (1) JP2008522519A (ko)
KR (1) KR20070089146A (ko)
CN (1) CN100542247C (ko)
WO (1) WO2006058838A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014026111A1 (en) * 2012-08-09 2014-02-13 Voss Allan Systems and methods for enhancing multimedia experience

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060075449A1 (en) * 2004-09-24 2006-04-06 Cisco Technology, Inc. Distributed architecture for digital program insertion in video streams delivered over packet networks
EP1703513A1 (en) * 2005-03-15 2006-09-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal
US7680047B2 (en) * 2005-11-22 2010-03-16 Cisco Technology, Inc. Maximum transmission unit tuning mechanism for a real-time transport protocol stream
JP4625781B2 (ja) * 2006-03-22 2011-02-02 株式会社東芝 再生装置
US8326927B2 (en) * 2006-05-23 2012-12-04 Cisco Technology, Inc. Method and apparatus for inviting non-rich media endpoints to join a conference sidebar session
US8358763B2 (en) * 2006-08-21 2013-01-22 Cisco Technology, Inc. Camping on a conference or telephony port
US8121277B2 (en) * 2006-12-12 2012-02-21 Cisco Technology, Inc. Catch-up playback in a conferencing system
DK2512136T3 (en) 2007-04-12 2016-08-22 Thomson Licensing Tiling in video coding and decoding
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
US8457214B2 (en) * 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
US8472779B2 (en) * 2008-06-17 2013-06-25 Microsoft Corporation Concurrently displaying multiple trick streams for video
BRPI1007163A2 (pt) 2009-01-26 2018-09-25 Thomson Licensing compactação de quadro para codificação de vídeo
EP2529557A1 (en) 2010-01-29 2012-12-05 Thomson Licensing Block-based interleaving
CN101860711B (zh) * 2010-06-13 2012-01-11 深圳市茁壮网络股份有限公司 一种数字电视上显示小视频的方法及装置
EP2424251A3 (en) * 2010-08-23 2012-12-26 Lg Electronics Inc. Method for providing 3d video data in a 3dtv
US10097785B2 (en) * 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
US10204433B2 (en) 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
CN104765696A (zh) * 2015-04-07 2015-07-08 天脉聚源（北京）教育科技有限公司 一种数据处理方法及装置
CN106341622B (zh) * 2015-07-06 2020-01-24 阿里巴巴集团控股有限公司 一种多路视频流的编码方法及装置
US10567703B2 (en) 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation
CN107948710B (zh) * 2017-12-11 2019-09-20 深圳市东微智能科技股份有限公司 媒体源组合显示方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01208752A (ja) * 1988-02-15 1989-08-22 Sanyo Electric Co Ltd 予約装置付の複数チャンネル同時録画装置
JPH0219079A (ja) * 1988-07-06 1990-01-23 Pioneer Electron Corp 映像信号処理装置
JPH04267689A (ja) * 1991-02-21 1992-09-24 Canon Inc 画像処理方法
JPH11346370A (ja) * 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
JP2001333348A (ja) * 2000-05-24 2001-11-30 Minolta Co Ltd 送信装置、受信装置、放送システムおよび放送方法
JP2003009052A (ja) * 2001-06-21 2003-01-10 Nippon Computer:Kk 同時録画再生方法及び同時録画再生装置
KR100539929B1 (ko) * 2001-12-15 2005-12-28 삼성전자주식회사 디지털 주파수 변조기
JP2003198979A (ja) * 2001-12-28 2003-07-11 Sharp Corp 動画像視聴装置
GB2392037B (en) * 2002-08-14 2004-10-06 Tcv Ltd Multiple mode television processor
JP2004104477A (ja) * 2002-09-10 2004-04-02 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
AU2003271118A1 (en) * 2002-10-11 2004-05-04 Sony Corporation Network control confirmation system, control communication terminal, server, and network control confirmation method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014026111A1 (en) * 2012-08-09 2014-02-13 Voss Allan Systems and methods for enhancing multimedia experience
US9131023B2 (en) 2012-08-09 2015-09-08 Allan VOSS Systems and methods for enhancing multimedia experience

Also Published As

Publication number Publication date
JP2008522519A (ja) 2008-06-26
CN100542247C (zh) 2009-09-16
EP1817906A1 (en) 2007-08-15
WO2006058838A1 (en) 2006-06-08
EP1667448A1 (en) 2006-06-07
CN101065962A (zh) 2007-10-31
US20080043140A1 (en) 2008-02-21

Similar Documents

Publication Publication Date Title
KR20070089146A (ko) 주 비디오 신호 및 하나 이상의 보조 비디오 신호를 인코딩및 디코딩하기 위한 방법 및 장치
US6311013B1 (en) Signal reproducing apparatus and signal reproducing method
KR100915367B1 (ko) 서브-프레임 메타데이터를 생성하는 영상 처리 시스템
KR100967503B1 (ko) 영상 데이터 재생 장치, 영상 데이터 생성 장치 및 기록 매체
US7266288B2 (en) Video/audio playback apparatus and video/audio playback method
US20090162036A1 (en) Playback apparatus and playback method
MXPA06003719A (es) Aparato y reproduccion, metodo de reproduccion, programa de reproduccion, y medio de registro.
KR20080002897A (ko) 다수의 비디오 영상을 제공하는 방법 및 장치
JP2009296604A (ja) 映像データ再生装置、映像データ生成装置及び記録媒体
US20070133950A1 (en) Reproduction apparatus, reproduction method, recording method, image display apparatus and recording medium
KR100718385B1 (ko) 복수의 동영상 파일을 재생할 수 있는 휴대용 재생 장치 및그 방법
JP2007110467A (ja) 画像記録再生装置、画像データの表示方法、及びサムネイル画像データ表示方法
JP4534975B2 (ja) 再生装置、再生方法、記録方法、映像表示装置及び記録媒体
JP2001036865A (ja) 映像再生装置及びその方法
JP3089575U (ja) デジタルビデオディスク再生装置
US20100178039A1 (en) Video and audio playback apparatus and video and audio playback method
JP4534974B2 (ja) 再生装置、再生方法、記録方法、映像表示装置及び記録媒体
KR100258589B1 (ko) 오에스디 데이터 처리장치
JP2005033618A (ja) 画像再生装置、画像再生用プログラムおよび画像再生方法
KR20080038497A (ko) 광디스크 장치에서의 고속 탐색장치 및 방법.
JP2002077814A (ja) 画像情報の記録方法及び再生方法
JP2000228758A (ja) 映像再生装置および記録媒体
JPWO2003039146A1 (ja) デジタルデータ記録装置
JPH11177910A (ja) 再生方法及び再生装置
WO2006018786A1 (en) Method of storing and transferring image signals

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application