KR20070086704A - 부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록매체, 및, 데이터 구조 - Google Patents

부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록매체, 및, 데이터 구조 Download PDF

Info

Publication number
KR20070086704A
KR20070086704A KR1020077014638A KR20077014638A KR20070086704A KR 20070086704 A KR20070086704 A KR 20070086704A KR 1020077014638 A KR1020077014638 A KR 1020077014638A KR 20077014638 A KR20077014638 A KR 20077014638A KR 20070086704 A KR20070086704 A KR 20070086704A
Authority
KR
South Korea
Prior art keywords
sub
aspect ratio
picture
main
video
Prior art date
Application number
KR1020077014638A
Other languages
English (en)
Inventor
구니아끼 다까하시
도시야 하마다
야스시 후지나미
Original Assignee
소니 가부시끼 가이샤
가부시키가이샤 소니 컴퓨터 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤, 가부시키가이샤 소니 컴퓨터 엔터테인먼트 filed Critical 소니 가부시끼 가이샤
Publication of KR20070086704A publication Critical patent/KR20070086704A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

주영상의 어스펙트비와는 독립된 어스펙트비로, 자막을 표시할 수 있다. 자막의 어스펙트비가 16 : 9인 것을 나타내는 플래그가 설정되어 있는 경우, 자막의 영상의 화상 틀 사이즈(720×480)가, 16 : 9의 어스펙트비에 맞도록 변환되고, 그 결과 얻어진 자막의 영상이, 주영상에 중첩되어 표시된다. 즉 주영상의 어스펙트비가 4 : 3인 경우에는, 도 19에 도시한 바와 같이, 가로 방향으로 축소되어 좌우에 검은 색감이 부가된 주영상이 표시되지만, 자막의 영상은, 16 : 9의 어스펙트비로 표시된다.
주영상, 부영상, 어스펙트비, 화상 틀 사이즈, 자막, 부호화부, 플래그

Description

부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록 매체, 및, 데이터 구조{ENCODING DEVICE AND METHOD, DECODING DEVICE AND METHOD, PROGRAM, RECORDING MEDIUM, AND DATA STRUCTURE}
본 발명은, 부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록 매체,및, 데이터 구조에 관한 것으로, 주영상의 어스펙트비와는 독립된 어스펙트비로, 부영상을 표시할 수 있도록 한 부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록 매체, 및, 데이터 구조에 관한 것이다.
콘텐츠의 영상(이하, 적절하게, 주영상이라고 함)에, 자막 등의 주영상을 보충하거나 하는 이유로 표시되는 영상(이하, 적절하게, 부영상이라고 함)을 서로 겹치게 하여 표시되는 경우가 있다.
통상적으로, 부영상의 어스펙트비는, 주영상의 어스펙트비에 관련지어져 있어, 주영상의 어스펙트비가, a : b이면, 부영상도 a : b의 어스펙트비로, 또한 주영상의 어스펙트비가, c : d이면, 부영상도 c : d의 어스펙트비로, 주영상에 서로 겹쳐지도록 이루어져 있다.
구체적인 예로서는, 표시 장치의 어스펙트비가 16 : 9인 경우로서, 주영상의 어스펙트비가 4 : 3일 때, 도 1에 도시한 바와 같이, 주영상의 화상 틀 사이즈를 변경하여 좌우에 흑색을 표시시키는 데이터가 부가되어 표시되지만, 그 때 자막은, 반드시 4 : 3의 어스펙트비로 표시된다(특허 문헌1 「일본 특개평 10-308924호 공보」참조).
그러나, PDA(Personal Digital Assistant) 등의 휴대성을 중시한 소형의 전자 기기에는, 통상 화면이 작은 표시 장치가 설치되어 있으므로, 그 표시 화면의 어스펙트비가 16 : 9인 경우로서, 주영상의 어스펙트비가 4 : 3일 때, 자막이, 사이드 패널 부분이 있음에도 불구하고, 도 1에 도시한 바와 같이 4 : 3의 어스펙트비로 표시되면, 보이기 어렵게 되는 경우가 있었다.
<발명의 개시>
본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 주영상의 어스펙트비와는 독립된 어스펙트비로, 부영상을 표시할 수 있도록 하는 것이다.
본 발명의 부호화 장치는, 주영상을 부호화함과 함께 주영상의 어스펙트비를 편성하도록 구성된 제1 부호화부와, 부영상을 부호화함과 함께 부영상의 어스펙트비를 편성하도록 구성된 제2 부호화부를 구비하는 것을 특징으로 한다.
제2 부호화부는, 부영상의 어스펙트비를 나타내는 플래그를 설정하여 부영상의 어스펙트비의 편성을 행할 수 있다.
본 발명의 부호화 방법은, 주영상을 부호화함과 함께 상기 주영상의 어스펙트비를 편성하는 제1 부호화 스텝과, 부영상을 부호화함과 함께 상기 부영상의 어스펙트비를 편성하는 제2 부호화 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제1 프로그램은, 주영상을 부호화함과 함께 주영상의 어스펙트비 를 편성하는 제1 부호화 스텝과, 부영상을 부호화함과 함께 부영상의 어스펙트비를 편성하는 제2 부호화 스텝을 포함하는 것을 특징으로 한다.
본 발명의 부호화 장치 및 방법, 및 제1 프로그램에서는, 주영상이 부호화 됨과 함께 주영상의 어스펙트비가 편성되고, 부영상이 부호화됨과 함께 부영상의 어스펙트비가 편성된다.
본 발명의 복호 장치는, 주영상의 부호화 데이터에 편성되어 있는 주영상의 어스펙트비를 취득하도록 구성된 제1 취득부와, 주영상의 화상 틀을, 제1 취득부에 의해 취득된 주영상의 어스펙트비에 따라서 변환하도록 구성된 제1 변환부와, 부영상의 부호화 데이터에 편성되어 있는 부영상의 어스펙트비를 취득하도록 구성된 제2 취득부와, 부영상의 화상 틀을, 제2 취득부에 의해 취득된 부영상의 어스펙트비에 따라서 변환하도록 구성된 제2 변환부를 구비하는 것을 특징으로 한다.
본 발명의 복호 방법은, 주영상의 부호화 데이터에 편성되어 있는 주영상의 어스펙트비를 취득하는 제1 취득 스텝과, 주영상의 화상 틀을, 제1 취득 스텝의 처리에서 취득된 주영상의 어스펙트비에 따라서 변환하는 제1 변환 스텝과, 부영상의 부호화 데이터에 편성되어 있는 부영상의 어스펙트비를 취득하는 제2 취득 스텝과, 부영상의 화상 틀을, 제2 취득 스텝의 처리에서 취득된 부영상의 어스펙트비에 따라서 변환하는 제2 변환 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제2 프로그램은, 주영상의 부호화 데이터에 편성되어 있는 주영상의 어스펙트비를 취득하는 제1 취득 스텝과, 주영상의 화상 틀을, 제1 취득 스텝의 처리에서 취득된 주영상의 어스펙트비에 따라서 변환하는 제1 변환 스텝과, 부영상 의 부호화 데이터에 편성되어 있는 부영상의 어스펙트비를 취득하는 제2 취득 스텝과, 부영상의 화상 틀을, 제2 취득 스텝의 처리에서 취득된 부영상의 어스펙트비에 따라서 변환하는 제2 변환 스텝을 포함하는 것을 특징으로 한다.
본 발명의 복호 장치 및 방법, 및 제2 프로그램에서는, 주영상의 부호화 데이터에 편성되어 있는 주영상의 어스펙트비가 취득되고, 주영상의 화상 틀이, 취득된 주영상의 어스펙트비에 따라서 변환되며, 부영상의 부호화 데이터에 편성되어 있는 부영상의 어스펙트비가 취득되고, 부영상의 화상 틀이, 취득된 부영상의 어스펙트비에 따라서 변환된다.
본 발명의 기록 매체는, 주영상 데이터를 부호화한 주영상 부호화 데이터와, 주영상 데이터에 서로 겹치게 하여 표시되는 부영상 데이터를 부호화한 부영상 부호화 데이터가 다중화되어 기록되고, 주영상 부호화 데이터는, 주영상 데이터의 어스펙트비를 나타내는 제1 어스펙트비 플래그를 갖고, 부영상 부호화 데이터는, 제1 어스펙트비 플래그와는 독립된, 부영상 데이터의 어스펙트비를 나타내는 제2 어스펙트비 플래그를 갖는 것을 특징으로 한다.
본 발명의 데이터 구조는, 주영상 데이터를 부호화한 주영상 부호화 데이터와, 주영상 데이터에 서로 겹치게 하여 표시되는 부영상 데이터를 부호화한 부영상 부호화 데이터가 다중화되고, 주영상 부호화 데이터는, 주영상 데이터의 어스펙트비를 나타내는 제1 어스펙트비 플래그를 갖고, 부영상 부호화 데이터는, 제1 어스펙트비 플래그와는 독립된, 부영상 데이터의 어스펙트비를 나타내는 제2 어스펙트비 플래그를 갖는 것을 특징으로 한다.
본 발명의 기록 매체 및 데이터 구조에서는, 주영상 데이터를 부호화한 주영상 부호화 데이터와, 주영상 데이터에 서로 겹치게 하여 표시되는 부영상 데이터를 부호화한 부영상 부호화 데이터가 다중화되어 기록되고, 주영상 부호화 데이터는, 주영상 데이터의 어스펙트비를 나타내는 제1 어스펙트비 플래그를 갖고, 부영상 부호화 데이터는, 제1 어스펙트비 플래그와는 독립된, 부영상 데이터의 어스펙트비를 나타내는 제2 어스펙트비 플래그를 갖기 때문에, 이 기록 매체에 기록된 데이터 또는 이 데이터 구조를 갖는 데이터로부터, 주영상의 부호화 데이터에 편성되어 있는 주영상의 어스펙트비와, 부영상의 부호화 데이터에 편성되어 있는 부영상의 어스펙트비가 취득되고, 주영상의 화상 틀을, 취득된 주영상의 어스펙트비에 따라서 변환할 수 있고, 부영상의 화상 틀을, 취득된 부영상의 어스펙트비에 따라서 변환할 수 있다.
본 발명에 따르면, 주영상의 어스펙트비와는 독립된 어스펙트비로, 부영상을 표시할 수 있다.
도 1은 종래의 자막의 표시예를 도시하는 도면.
도 2는 본 발명을 적용한 부호화 장치의 구성예를 도시하는 블록도.
도 3은 도 2의 비디오 인코더(26)의 구성예를 도시하는 블록도.
도 4는 비디오 인코더에서의 일례의 처리를 개략적으로 도시하는 플로우차트.
도 5는 자막의 좌표를 설명하는 도면.
도 6은 본 발명을 적용한 복호 장치의 구성예를 도시하는 블록도.
도 7은 도 6의 비디오 디코더(66)의 구성예를 도시하는 블록도.
도 8은 비디오 디코더에서의 일례의 처리를 개략적으로 설명하는 플로우차트.
도 9는 도 7의 부영상 화상 틀 사이즈 변환부(75)의 동작을 설명하는 플로우차트.
도 10은 본 발명에서의 자막의 표시예를 도시하는 도면.
도 11은 본 발명에서의 자막의 표시예를 도시하는 다른 도면.
도 12A 및 도 12B는 표시 장치의 어스펙트비가 4 : 3이면 주영상의 어스펙트비가 16 : 9이어도 자막의 영상을 어스펙트비 4 : 3으로 되도록 투사하는 것을 설명하기 위한 도면.
도 13은 자막 좌표에 대한 주영상의 표시 영역을 도시하는 도면.
도 14는 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 15는 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 16은 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 17은 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 18은 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 19는 본 발명에서의 자막의 표시예를 도시하는 다른 도면.
도 20은 본 발명에서의 자막의 표시예를 도시하는 다른 도면.
도 21은 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 22는 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 23은 자막 좌표에 대한 주영상의 표시 영역을 도시하는 다른 도면.
도 24는 본 발명에서의 자막의 표시예를 도시하는 다른 도면.
도 25는 본 발명에서의 자막의 표시예를 도시하는 다른 도면.
<부호의 설명>
11 : 부호화 장치
26 : 비디오 인코더
31 : 주영상 부호화부
32 : 부영상 부호화부
33 : 다중화부
51 : 복호 장치
66 : 비디오 디코더
71 : 다중화 분리부
72 : 주영상 복호부
73 : 부영상 복호부
74 : 주영상 화상 틀 사이즈 변환부
75 : 부영상 화상 틀 사이즈 변환부
76 : 가산기
77 : 출력 버퍼
S1 : 주영상에 대한 부호화 처리 및 어스펙트비 등 편성 처리
S2 : 부영상에 대한 부호화 처리 및 어스펙트비 등 편성 처리
S3 : 어스펙트비 등이 편성된 주영상의 부호화 데이터와 부영상의 부호화 데이터를 다중화
S10 : 주영상 표시 처리
S11 : 부영상 표시 처리
S12 : 표시 장치의 어스펙트비에 맞춰 정해진 주영상에 부영상을 서로 겹치게 하여 표시
S21 : 자막 어스펙트비의 플래그를 취득한다
S22 : 표시 장치의 어스펙트비는 16 : 9 또는 4 : 3?
S23 : 자막을 어스펙트비가 4 : 3으로 되도록 투사한다
S24 : 양방의 어스펙트비를 나타내는 플래그 또는 한쪽의 어스펙트비를 나타내는 플래그?
S25 : 자막 어스펙트비는 16 : 9 또는 4 : 3?
S26 : 자막을 어스펙트비가 16 : 9로 되도록 투사한다
S27 : 자막을 어스펙트비가 4 : 3으로 되도록 투사한다
S28 : 자막을 어스펙트비가 16 : 9로 되도록 투사한다
<발명을 실시하기 위한 최량의 형태>
이하에 본 발명의 실시 형태를 설명하지만, 본 명세서에 기재된 발명과, 발명의 실시 형태와의 대응 관계를 예시하면, 다음과 같다. 이 기재는, 본 명세서에 기재되어 있는 발명을 서포트하는 실시 형태가 본 명세서에 기재되어 있는 것을 확 인하기 위한 것이다. 따라서, 발명의 실시 형태 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시 형태가 있었다고 해도, 그것은, 그 실시 형태가, 그 발명에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 반대로, 실시 형태가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은, 그 실시 형태가, 그 발명 이외의 발명에는 대응하지 않는 것을 의미하는 것도 아니다.
또한, 이 기재는, 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 다시 말하면, 이 기재는, 본 명세서에 기재되어 있는 발명으로서, 이 출원에서는 청구되어 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나, 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것은 아니다.
청구 범위1에 기재된 부호화 장치는, 주영상에 부영상을 서로 겹치게 하여 표시되는 영상의 부호화 데이터를 생성하는 부호화 장치로서, 상기 주영상을 부호화함과 함께 주영상의 어스펙트비를 편성하도록 구성된 제1 부호화부(예를 들면, 도 3의 주영상 부호화부(31))와, 상기 부영상을 부호화함과 함께 부영상의 어스펙트비를 편성하도록 구성된 제2 부호화 수단(예를 들면, 도 3의 부영상 부호화부(32))을 구비하는 것을 특징으로 한다.
상기 제2 편성 수단은, 상기 부영상의 어스펙트비를 나타내는 플래그(예를 들면, 16 : 9인 것을 나타내는 플래그, 4 : 3인 것을 나타내는 플래그, 16 : 9 및 4 : 3 중 어느 것이어도 되는 것을 나타내는 플래그)를 설정하여 부영상의 어스펙트비의 편성을 행하는 것을 특징으로 한다.
청구 범위3에 기재된 부호화 방법 및 청구 범위4에 기재된 프로그램은, 주영상에 부영상을 서로 겹치게 하여 표시되는 영상의 부호화 데이터를 생성하는 부호화 방법으로서, 상기 주영상을 부호화함과 함께 주영상의 어스펙트비를 편성하는 제1 부호화 스텝(예를 들면, 도 3의 주영상 부호화부(31)의 처리)과, 상기 부영상을 부호화함과 함께 부영상의 어스펙트비를 편성하는 제2 부호화 스텝(예를 들면, 도 3의 부영상 부호화부(32)의 처리)을 포함하는 것을 특징으로 한다.
청구 범위5의 복호 장치는, 주영상의 부호화 데이터, 및 상기 주영상에 서로 겹치게 하여 표시되는 부영상의 부호화 데이터를 복호하는 복호 장치로서, 상기 주영상의 부호화 데이터에 편성되어 있는 상기 주영상의 어스펙트비를 취득하도록 구성된 제1 취득부(예를 들면, 도 7의 주영상 복호부(72))와, 상기 주영상의 화상 틀을, 상기 제1 취득부에 의해 취득된 상기 주영상의 어스펙트비에 따라서 변환하도록 구성된 제1 변환부(예를 들면, 도 7의 주영상 화상 틀 사이즈 변환부(74))와, 상기 부영상의 부호화 데이터에 편성되어 있는 상기 부영상의 어스펙트비를 취득하도록 구성된 제2 취득부(예를 들면, 도 7의 부영상 복호부(73))와, 상기 부영상의 화상 틀을, 상기 제2 취득부에 의해 취득된 상기 부영상의 어스펙트비에 따라서 변환하도록 구성된 제2 변환부(예를 들면, 도 7의 부영상 화상 틀 사이즈 변환부(75))를 구비하는 것을 특징으로 한다.
청구 범위6에 기재된 복호 방법 및 청구 범위7에 기재된 프로그램은, 상기 주영상의 부호화 데이터에 편성되어 있는 상기 주영상의 어스펙트비를 취득하는 제1 취득 스텝(예를 들면, 도 7의 주영상 복호부(72)의 처리)과, 상기 주영상의 화상 틀을, 상기 제1 취득 스텝의 처리에서 취득된 상기 주영상의 어스펙트비에 따라서 변환하는 제1 변환 스텝(예를 들면, 도 7의 주영상 화상 틀 사이즈 변환부(74)의 처리)과, 상기 부영상의 부호화 데이터에 편성되어 있는 상기 부영상의 어스펙트비를 취득하는 제2 취득 스텝(예를 들면, 도 7의 부영상 복호부(73)의 처리)과, 상기 부영상의 화상 틀을, 상기 제2 취득 스텝의 처리에서 취득된 상기 부영상의 어스펙트비에 따라서 변환하는 제2 변환 스텝(예를 들면, 도 7의 부영상 화상 틀 사이즈 변환부(75)의 도 9에 도시하는 처리)을 포함하는 것을 특징으로 한다.
도 2는 본 발명을 적용한 부호화 장치(11)의 구성예를 도시하고 있다.
버스(21)에는, CPU(Central Processing Unit)(22), 메모리(23), 비디오 신호입력 인터페이스(24), 제어 신호 입력 인터페이스(25), 비디오 인코더(26), 및 비디오 데이터 출력 인터페이스(27) 등이 접속되어 있다.
CPU(22) 및 메모리(23)는, 컴퓨터 시스템을 형성하고 있다. 즉, CPU(22)는, 메모리(23)에 기억된 프로그램을 실행하고, 장치 전체를 제어함과 함께, 후술하는 처리를 행한다. 메모리(23)는 CPU(22)가 실행하는 프로그램을 기억하고 있다. 또한, 메모리(23)는, CPU(22)의 동작상 필요한 데이터를 일시 기억한다. 또한, 메모리(23)는, 불휘발성 메모리만, 또는 휘발성 메모리와 불휘발성 메모리의 조합으로 구성하는 것이 가능하다. 또한, 도 2의 장치에, 하드디스크를 설치하고, 그 하드디스크에, CPU(22)가 실행하는 프로그램을 저장해 두는 경우에는, 메모리(23)는, 휘발성 메모리만으로 구성하는 것이 가능하다.
여기서, CPU(22)가 실행하는 프로그램은, 장치에 내장되어 있는 기록 매체로 서의 메모리(23)에 미리 저장해 둘 수 있다.
혹은 또한, 프로그램은, 디스크, 또한, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, 자기 디스크, 메모리 카드 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 저장해 둘 수 있다. 이와 같은 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 메모리(23)에 미리 기억시켜 두는 것, 혹은, 전술한 바와 같은 리무버블 기록 매체로부터 장치에 인스톨할 수 있다. 또한, 프로그램은, 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통하여, 장치에 무선으로 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통하여, 장치에 유선으로 전송하고, 장치에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하여, 내장하는 메모리(23)에 인스톨할 수 있다.
또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산 처리되는 것이어도 된다.
비디오 신호 입력 인터페이스(24)는, CPU(22)의 제어 하, 비디오 카메라 등으로부터 공급된 주영상의 비디오 신호나 부영상의 비디오 신호를 입력받고, 버스(21)를 통하여, CPU(22)나, 메모리(23), 비디오 인코더(26) 등에 공급한다.
제어 신호 입력 인터페이스(25)는, 도시하지 않은 키(버튼)나, 리모콘(리모트 컨트롤 커맨더)이 유저에 의해 조작됨으로써 공급되는 제어 신호를 입력받고, 버스(21)를 통해서, CPU(22)에 공급한다. 또한, 제어 신호 입력 인터페이스(25)는, 그 밖에, 예를 들면, 모뎀(ADSL(Asymmetric Digital Subscriber Line) 모뎀을 포함함)이나, NIC(Network Interface Card) 등의 통신 인터페이스로서도 기능한다.
비디오 인코더(26)는, 비디오 신호 입력 인터페이스(24)를 통해서 입력된 비디오 신호를 부호화하고, 그 결과 얻어진 비디오 데이터를, 버스(21)를 통하여, CPU(22)에 공급한다.
비디오 데이터 출력 인터페이스(27)는, CPU(22)에 의해 비디오 데이터가 패킷화되어 얻어진 비디오 트랜스포트 스트림을 출력한다.
도 3은 도 2의 비디오 인코더(26)의 구성예를 도시하고 있다. 또한, 도 4의 플로우차트는, 비디오 인코더(26)에서의 일례의 처리를 개략적으로 설명한다.
우선, 도 4의 플로우차트를 이용하여 비디오 인코더(26)에서의 일례의 처리를 개략적으로 설명한다. 스텝 S1에서, 주영상 부호화부(31)에서, 주영상의 비디오 신호의 부호화 처리가 이루어짐과 함께, 주영상의 어스펙트비 등이 부호화 데이터에 편성된다. 다음으로, 스텝 S2에서, 부영상 부호화부(32)에서, 부영상의 비디오 신호의 부호화 처리가 이루어짐과 함께, 부영상의 어스펙트비 등이 부호화 데이터에 편성된다. 그리고, 스텝 S3에서, 주영상의 어스펙트비 등이 편성된 주영상의 부호화 데이터와, 부영상의 어스펙트비 등이 편성된 부영상의 부호화 데이터가 다중화된다.
또한, 스텝 S1 및 스텝 S2의 순서는, 이 도 4의 순서에 한정되지 않는다. 예를 들면, 스텝 S2에서 부영상에 관한 처리를 행하고 나서, 스텝 S1의 주영상에 관한 처리를 행하여도 되고, 스텝 S1의 처리와 스텝 S2의 처리를 병렬적으로 행할 수도 있다.
비디오 인코더(26)에서의 처리를, 보다 상세하게 설명한다. 주영상 부호화부(31)는, 비디오 신호 입력 인터페이스(24)를 통해서 입력된 주영상의 비디오 신호를 부호화함과 함께，CPU(22)로부터 통지된 주영상의 어스펙트비 등을, 그 부호화 데이터에 편성하여, 다중화부(33)에 공급한다.
주영상의 어스펙트비 등의 데이터는, 주영상의 비디오 신호가 부호화된 부호화 데이터에 대하여 편성된다. 이에 한하지 않고, 부호화되기 전의 주영상의 비디오 신호에 주영상의 어스펙트비 등의 데이터를 편성하고, 주영상의 비디오 신호와 어스펙트비 등의 데이터를 함께 부호화하여도 된다.
부영상 부호화부(32)는, 비디오 신호 입력 인터페이스(24)를 통해서 입력된, 예를 들면 자막이나 그래픽 등의 부영상의 데이터를 부호화함과 함께，CPU(22)로부터 통지된 부영상의 크기 및 위치 정보, 및 어스펙트비 등을, 그 부호화 데이터에 편성하여, 다중화부(33)에 공급한다. 이하, 부영상으로서 자막을 예로 들어 설명한다.
부영상의 어스펙트비 등의 데이터는, 부영상의 비디오 신호가 부호화된 부호화 데이터에 대하여 편성된다. 이에 한하지 않고, 부호화되기 전의 부영상의 비디오 신호에 부영상의 어스펙트비 등의 데이터를 편성하고, 부영상의 비디오 신호와 어스펙트비 등의 데이터를 함께 부호화하여도 된다.
또한 부영상의 어스펙트비에 대해서는, 어스펙트비가 4 : 3인 것을 나타내는 플래그, 어스펙트비가 16 : 9인 것을 나타내는 플래그, 또는 어스펙트비가 4 : 3 및 16 : 9 중 어느 것이어도 되는 것을 나타내는 플래그가 설정된다.
또한, 도 5에 도시한 바와 같이 부영상을 표시 가능한 화상 틀이 720×480의 1종류만으로 규정되어 있는 경우, 자막의 크기는, 자막의 높이 ph(Y축 방향의 크기)와, 폭 pw(X축 방향의 크기)에 의해 표시되며, 그 위치는, 자막의 도면 상 좌상각의 좌표 (bx, by)로 표시되어 있고, (bx+pw, by+ph)<=(719, 479)를 만족시키도록 이루어져 있다. 즉 자막은, 720×480 내에 위치하도록 이루어져 있고, 후술하는 바와 같이, 표시 장치의 어스펙트비와 자막의 어스펙트비에 따라서 표시 장치의 화면 상에 투사되는 크기나 위치를 적절한 값으로 변환하여, 주영상과 서로 겹치게 하여 출력된다.
도 3으로 되돌아가서 다중화부(33)는, 주영상 부호화부(31)로부터 공급된, 주영상의 어스펙트비 등이 편성된 주영상의 부호화 데이터와, 부영상 부호화부(32)로부터 공급된, 부영상의 크기 및 위치, 및 어스펙트비 등이 편성된 부영상의 부호화 데이터를 다중화하여, 비디오 데이터 출력 인터페이스(27)에 출력한다.
도 6은 본 발명을 적용한 복호 장치(51)의 구성예를 도시하고 있다.
버스(61)에는, CPU(62), 메모리(63), 비디오 데이터 입력 인터페이스(64), 제어 신호 입력 인터페이스(65), 비디오 디코더(66), 및 비디오 출력 인터페이스(67)가 접속되어 있다.
CPU(62) 및 메모리(63)는, 컴퓨터 시스템을 형성하고 있다. 즉, CPU(62)는, 메모리(63)에 기억된 프로그램을 실행하고, 장치 전체를 제어함과 함께, 후술하는 처리를 행한다. 메모리(63)는, CPU(62)가 실행하는 프로그램을 기억하고 있다. 또한, 메모리(63)는, CPU(62)의 동작상 필요한 데이터를 일시적으로 기억한다. 또 한, 메모리(63)는, 불휘발성 메모리만, 또는 휘발성 메모리와 불휘발성 메모리의 조합으로 구성하는 것이 가능하다. 또한, 장치에, 하드디스크를 설치하고, 그 하드디스크에, CPU(62)가 실행하는 프로그램을 기록(인스톨)해 두는 경우에는, 메모리(63)는, 휘발성 메모리만으로 구성하는 것이 가능하다.
여기서, CPU(62)가 실행하는 프로그램은, 장치에 내장되어 있는 기록 매체로서의 메모리(63)에 미리 저장해 둘 수 있다.
혹은 또한, 프로그램은, 디스크, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, 자기 디스크, 메모리 카드 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 저장해 둘 수 있다. 이와 같은 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 메모리(63)에 미리 기억시켜 두는 것, 혹은, 전술한 바와 같은 리무버블 기록 매체로부터 장치에 인스톨할 수 있다. 또한, 프로그램은, 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통하여, 장치에 무선으로 전송하거나, LAN(Local Area Network), 인터넷 등의 네트워크를 통하여, 장치에 유선으로 전송하고, 장치에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하여, 내장하는 메모리(63)에 인스톨할 수 있다.
또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산 처리되는 것이어도 된다.
비디오 데이터 입력 인터페이스(64)는, CPU(62)의 제어 하, 복호 장치(51)에 공급된, 부호화 장치(11)에 의해 부호화된 부호화 데이터를 입력받고, CPU(62)나, 메모리(63), 비디오 디코더(66) 등에 공급한다.
제어 신호 입력 인터페이스(65)는, 도시하지 않은 키(버튼)나, 리모콘(리모트 컨트롤 커맨더)이 유저에 의해 조작됨으로써 공급되는 신호를 수신하고, 버스(61)를 통하여, CPU(62)에 공급한다. 또한, 제어 신호 입력 인터페이스(65)는,그 밖에, 예를 들면, 모뎀(ADSL(Asymmetric Digital Subscriber Line) 모뎀을 포함함)이나, NIC(Network Interface Card) 등의 통신 인터페이스로서도 기능한다.
비디오 디코더(66)는, 비디오 데이터 입력 인터페이스(64) 및 버스(61)를 통해서 공급되는, 비디오 데이터의 부호화 데이터를 디코드하고, 그 결과 얻어지는 비디오 데이터를, 버스(61)를 통하여, CPU(62)나 비디오 출력 인터페이스(67)에 공급한다.
비디오 출력 인터페이스(67)는, 버스(61)를 통해서 공급되는 비디오 데이터에 필요한 처리를 실시하고, 비디오 출력 단자(68)로부터 출력한다.
비디오 출력 단자(68)는, 도시하지 않은 CRT(Cathode Ray Tube)나, 액정 패널 등의 표시 장치에 접속되어 있고, 따라서, 비디오 출력 단자(68)로부터 출력되는 비디오 데이터는, 그 표시 장치에 공급되어 표시된다.
또한, 복호 장치(51)로부터, 표시 장치에의 비디오 데이터의 공급은, 유선 또는 무선 중 어느 것에 의해서 행하는 것도 가능하다.
도 7은 도 6의 비디오 디코더(66)의 구성예를 도시하고 있다. 또한, 도 8의 플로우차트는, 비디오 디코더(66)의 일례의 처리를 개략적으로 설명한다.
우선, 도 8의 플로우차트를 이용하여 비디오 디코더(66)에서의 일례의 표시 처리를 개략적으로 설명한다. 스텝 S10에서, 다중화 분리부(71)에서 분리된 주영상의 부호화 데이터가 주영상 복호부(72)에서 복호화됨과 함께, 부호화 시에 편성된 주영상의 어스펙트비 등의 데이터가 추출되고, 주영상 화상 틀 사이즈 변환부(74)에서 주영상 및 표시 장치의 어스펙트비에 기초하여 화상 틀 사이즈가 변환된다. 스텝 S11에서, 다중화 분리부(71)에서 분리된 부영상의 부호화 데이터가 부영상 복호부(73)에서 복호화됨과 함께, 부호화 시에 편성된 부영상의 어스펙트비 등의 데이터가 추출되고, 부영상 화상 틀 사이즈 변환부(75)에서 부영상 및 표시 장치의 어스펙트비에 기초하여 화상 틀 사이즈가 변환된다. 그리고, 다음 스텝 S12에서, 가산기(76)에 의해, 표시 장치의 어스펙트비에 맞춰 정해진 주영상에 부영상이 서로 겹쳐지고, 이 주영상에 부영상이 서로 겹쳐진 영상이 표시된다.
또한, 스텝 S10 및 스텝 S11의 순서는, 이 도 8의 순서에 한정되지 않는다. 예를 들면, 스텝 S11에서 부영상에 관한 처리를 행하고 나서, 스텝 S10의 주영상에 관한 처리를 행하여도 되고, 스텝 S10의 처리와 스텝 S11의 처리를 병렬적으로 행할 수도 있다.
비디오 디코더(66)에서의 처리를, 보다 상세하게 설명한다. 다중화 분리부(71)는, 비디오 데이터 입력 인터페이스(64)로부터 공급된 부호화 데이터로부터, 주영상의 부호화 데이터와 부영상의 부호화 데이터를 분리함과 함께, 주영상의 부호화 데이터를 주영상 복호부(72)에 공급하고, 부영상의 부호화 데이터를 부영상 복호부(73)에 공급한다.
주영상 복호부(72)는, 주영상의 부호화 데이터를 복호하고, 그 결과 얻어진 비디오 데이터를 주영상 화상 틀 사이즈 변환부(74)에 공급한다. 주영상 복호부(72)는 또한, 그 때, 주영상의 부호화 데이터에 편성되어 있던 주영상의 어스펙트비 등의 정보를 추출하여, 주영상 화상 틀 사이즈 변환부(74)에 공급한다.
부영상 복호부(73)는, 부영상의 부호화 데이터를 복호하고, 그 결과 얻어진 자막 데이터를 부영상 화상 틀 사이즈 변환부(75)에 공급한다. 부영상 복호부(73)는 또한, 그 때, 부영상의 부호화 데이터에 편성되어 있는 부영상의 크기 및 위치, 및 어스펙트비 등에 관한 정보를 추출하여, 부영상 화상 틀 사이즈 변환부(75)에 공급한다.
주영상 화상 틀 사이즈 변환부(74)는, 비디오 출력 단자(68)에 접속되어 있는 표시 장치의 어스펙트비와, 주영상 복호부(72)로부터 공급된 주영상의 어스펙트비에 기초하여, 출력하는 주영상의 화상 틀 사이즈를 변환하고, 가산기(76)에 공급한다.
예를 들면, 표시 장치의 어스펙트비가 16 : 9인 경우에서, 주영상의 어스펙트비가 4 : 3일 때에는, 주영상 화상 틀 사이즈 변환부(74)는, 주영상을, 가로 방향(수평 방향)으로 축소함과 함께, 좌우에 흑색을 표시시키는 데이터를 부가하여 출력한다.
또한 표시 장치의 어스펙트비가 4 : 3인 경우에서, 주영상의 어스펙트비가 16 : 9일 때에는, 주영상 화상 틀 사이즈 변환부(74)는, 주영상을, 세로 방향으로 축소함과 함께, 상하에 흑색을 표시시키는 데이터를 부가하여 출력한다.
표시 장치의 어스펙트비와 주영상의 어스펙트비가 모두, 4 : 3이나 16 : 9로 동일한 경우, 주영상 화상 틀 사이즈 변환부(74)는, 주영상을 축소하지 않고, 그대로 출력한다.
부영상 화상 틀 사이즈 변환부(75)는, 원칙적으로, 부영상 복호부(73)로부터 공급된 부영상의 어스펙트비에 기초하여, 부영상의 화상 틀 사이즈를 변환하고, 가산기(76)에 공급한다.
가산기(76)는, 주영상 화상 틀 사이즈 변환부(74)로부터 공급된 주영상에, 부영상 화상 틀 사이즈 변환부(75)로부터 공급된 부영상을 서로 겹치게 하여, 출력 버퍼(77)에 공급한다.
출력 버퍼(77)는, 가산기(76)로부터 공급된 데이터를 일시적으로 기억하고, 소정의 타이밍에서 비디오 출력 인터페이스(67)에 출력한다.
다음으로, 도 9의 플로우차트를 참조하여, 비디오 디코더(66)의 부영상 화상 틀 사이즈 변환부(75)의 동작을 설명한다.
스텝 S21에서, 부영상 화상 틀 사이즈 변환부(75)는, 부영상 복호부(73)로부터, 지금 부영상 화상 틀 사이즈 변환부(75)에 공급되어 있는 부영상의 어스펙트비를 나타내는 플래그를 취득한다.
스텝 S22에서, 부영상 화상 틀 사이즈 변환부(75)는, 표시 장치의 어스펙트비가 4 : 3(예를 들면, 360×270)인지 16 : 9(예를 들면, 480×270)인지를 판정하고, 4 : 3인 것으로 판정한 경우, 스텝 S23으로 진행하여, 부영상을 표시 가능한 720×480의 화상 틀 사이즈를, 4 : 3의 어스펙트비에 맞도록 변환하고(픽셀 어스펙트비=10 : 11), 그 결과 얻어진 자막 데이터를, 가산기(76)에 출력한다.
즉 부영상은, 주영상의 어스펙트비에 관계없이, 4 : 3의 어스펙트비로 투사된다.
주영상의 어스펙트비가 16 : 9인 경우에는, 도 10에 도시하는 바와 같이, 화상 틀 사이즈가 변경되어 상하에 흑색을 표시시키는 데이터가 부가된 주영상에, 4 : 3의 어스펙트비의 자막의 영상이 서로 겹쳐져 표시된다. 주영상의 어스펙트비도 4 : 3인 경우에는, 도 11에 도시한 바와 같이, 그대로의 주영상에, 4 : 3의 어스펙트비의 자막의 영상이 서로 겹쳐져 표시된다.
또한 표시 장치의 어스펙트비가 4 : 3인 경우, 주영상의 어스펙트비가 16 : 9이어도, 어스펙트비가 4 : 3인 자막의 영상으로 투사되도록 한(도 9의 스텝 S23) 것은, 16 : 9의 어스펙트비로 투사하면, 도 12A에 일례가 도시된 바와 같이, 자막의 양단이 표시되지 않게 될 가능성이 있기 때문이다. 표시 장치의 어스펙트비가 4 : 3이고 주영상의 어스펙트비가 4 : 3인 경우도 마찬가지이다(도 12B 참조). 그 때문에, 자막의 어스펙트비를 16 : 9로서의 투사가 금지되어 있거나, 표시 장치의 어스펙트비가 4 : 3일 때, 처음부터 자막의 어스펙트비가 4 : 3으로 되어 있거나 한다.
부영상의 어스펙트비가 4 : 3이고 주영상의 어스펙트비가 16 : 9인 경우(도 10)의, 부영상의 좌표계에 대한 주영상의 표시 영역은, 도 13 내지 도 15에 도시되는 그림자가 부가되어 있는 영역으로 된다. 도 13은 주영상의 화상 틀이 720×480인 경우, 도 14는 352×480인 경우, 도 15는 352×240인 경우의 영역을 도시하고 있다.
또한 부영상의 어스펙트비가 4 : 3이고 주영상의 어스펙트비도 4 : 3인 경우(도 11)의 부영상의 좌표계에 대한 주영상의 표시 영역은, 도 16 내지 도 18에 도시되는 그림자가 부가되어 있는 영역으로 된다. 도 16은 주영상의 화상 틀이 720×480인 경우, 도 17은 352×480인 경우, 도 18은 352×240인 경우의 영역을 도시하고 있다.
도 9로 되돌아가서 스텝 S22에서, 표시 장치의 어스펙트비가 16 : 9인 것으로 판정된 경우, 스텝 S24로 진행하여, 부영상 화상 틀 사이즈 변환부(75)는, 스텝 S21에서 취득한 플래그가, 부영상의 어스펙트비가 16 : 9 및 4 : 3 중 어느 것이어도 되는 것을 나타내는 플래그인지, 또한 16 : 9 또는 4 : 3 중 어느 하나의 어스펙트비를 나타내는 플래그인지를 판정하고, 어느 하나의 어스펙트비를 나타내는 플래그인 것으로 판정한 경우, 스텝 S25로 진행한다.
스텝 S25에서, 부영상 화상 틀 사이즈 변환부(75)는, 스텝 S21에서 취득한 플래그가, 부영상의 어스펙트비가 16 : 9인 것을 나타내는 플래그인지 또는 4 : 3인 것을 나타내는 플래그인지를 판정하고, 16 : 9인 것을 나타내는 플래그인 것으로 판정한 경우, 스텝 S26으로 진행한다.
스텝 S26에서, 부영상 화상 틀 사이즈 변환부(75)는, 자막의 영상의 720×480의 화상 틀 사이즈를, 16 : 9의 어스펙트비에 맞도록 변환하고(픽셀 어스펙트비=40 : 33), 그 결과 얻어진 자막 데이터를, 가산기(76)에 출력한다.
즉 부영상은, 주영상의 어스펙트비에 관계없이, 16 : 9의 어스펙트비로 표시된다.
주영상의 어스펙트비가 4 : 3인 경우에는, 도 19에 도시한 바와 같이, 가로방향으로 축소되어 좌우에 흑색을 표시시키는 데이터가 부가된 주영상에, 16 : 9의 어스펙트비의 자막의 영상이 서로 겹쳐져 표시된다. 즉, 이와 같이 표시 장치의 표시 화면을 풀로 이용하여, 자막을 표시할 수 있으므로, 표시 장치가 소형의 장치이어서 표시 화면이 작을 때라도, 자막을 크게 표시할 수 있다.
주영상의 어스펙트비도 16 : 9인 경우에는, 도 20에 도시한 바와 같이, 그대로의 주영상에, 16 : 9의 자막의 영상이 서로 겹쳐져 표시된다.
또한 부영상의 어스펙트비가 16 : 9이고 주영상의 어스펙트비가 16 : 9인 경우(도 20)의, 부영상의 좌표계에 대한 주영상의 표시 영역은, 도 16 내지 도 18에 도시하는 그림자가 부가되어 있는 영역으로 된다.
또한 부영상의 어스펙트비가 16 : 9이고 주영상의 어스펙트비가 4 : 3인 경우(도 19)의 부영상의 좌표계에 대한 주영상의 표시 영역은, 도 21 내지 도 23에 도시하는 그림자가 부가되어 있는 영역으로 된다. 도 21은 주영상의 화상 틀이 720×480인 경우, 도 22는 352×480인 경우, 도 23은 352×240인 경우의 영역을 도시하고 있다.
도 9로 되돌아가서 스텝 S25에서, 부영상의 어스펙트비가 4 : 3인 것으로 판정된 경우, 스텝 S27로 진행하여, 부영상 화상 틀 사이즈 변환부(75)는, 자막의 720×480의 화상 틀 사이즈를, 4 : 3의 어스펙트비에 맞도록 변환하고, 그 결과 얻어진 자막 데이터를, 가산기(76)에 출력한다.
즉 이 경우, 부영상은, 주영상의 어스펙트비에 관계없이, 4 : 3의 어스펙트 비로 표시(투사)된다.
주영상의 어스펙트비가 4 : 3인 경우에는, 도 24에 도시한 바와 같이, 가로 방향으로 축소되어 좌우에 흑색을 표시시키는 데이터가 부가된 주영상에, 4 : 3의 어스펙트비의 자막의 영상이 서로 겹쳐져 표시된다. 주영상의 어스펙트비가 16 : 9인 경우에는, 도 25에 도시한 바와 같이, 그대로의 주영상에, 4 : 3의 자막의 영상이 서로 겹쳐져 표시된다.
또한 부영상의 어스펙트비가 4 : 3이고 주영상의 어스펙트비도 4 : 3인 경우(도 24)의 부영상의 좌표계에 대한 주영상의 표시 영역은, 도 16 내지 도 18에 도시되는 영역으로 된다.
또한 부영상의 어스펙트비가 4 : 3이고 주영상의 어스펙트비가 16 : 9인 경우(도 25)의 부영상의 좌표계에 대한 주영상의 표시 영역은, 도 13 내지 도 15에 도시한 바와 같은 영역으로 된다.
스텝 S24에서, 16 : 9 및 4 : 3 중 어느 어스펙트비이어도 되는 것을 나타내는 플래그인 것으로 판정된 경우, 스텝 S28로 진행하여, 여기서는 표시 장치의 어스펙트비가 16 : 9이므로, 스텝 S26에서의 경우와 마찬가지로, 자막의 720×480의 화상 틀 사이즈를, 16 : 9의 어스펙트비에 맞도록 변환하고, 그 결과 얻어진 자막 데이터를, 가산기(76)에 출력한다.
스텝 S23, 스텝 S26, 또는 스텝 S28의 처리에서 자막이 표시되면, 처리는 종료된다.
이상과 같이 하여, 주영상의 어스펙트비와 독립하여 설정된 부영상의 어스펙 트비와 표시 장치의 어스펙트비에 기초하여, 부영상을 표시할 수 있다.
전술한 일련의 처리는, 하드웨어에 의해 실현시킬 수도 있지만, 소프트웨어에 의해 실현시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실현하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨되고, 그 프로그램이 컴퓨터에서 실행됨으로써, 전술한 부호화 장치(11) 및 복호 장치(51)가 기능적으로 실현된다.
또한, 본 명세서에서, 기록 매체에 의해 제공되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

Claims (9)

  1. 주영상에 부영상을 서로 겹치게 하여 표시되는 영상의 부호화 데이터를 생성하는 부호화 장치에 있어서,
    상기 주영상을 부호화함과 함께 상기 주영상의 어스펙트비를 편성하도록 구성된 제1 부호화부와,
    상기 부영상을 부호화함과 함께 상기 부영상의 어스펙트비를 편성하도록 구성된 제2 부호화부
    를 구비하는 부호화 장치.
  2. 제1항에 있어서,
    상기 제2 부호화부는, 상기 부영상의 어스펙트비를 나타내는 플래그를 설정하여 상기 부영상의 어스펙트비의 편성을 행하는 부호화 장치.
  3. 주영상에 부영상을 서로 겹치게 하여 표시되는 영상의 부호화 데이터를 생성하는 부호화 방법에 있어서,
    상기 주영상을 부호화함과 함께 상기 주영상의 어스펙트비를 편성하는 제1 부호화 스텝과,
    상기 부영상을 부호화함과 함께 상기 부영상의 어스펙트비를 편성하는 제2 부호화 스텝
    을 포함하는 부호화 방법.
  4. 주영상에 부영상을 서로 겹치게 하여 표시되는 영상의 부호화 데이터를 생성하는 부호화 장치를 제어하는 프로세서에 실행시키는 프로그램에 있어서,
    상기 주영상을 부호화함과 함께 상기 주영상의 어스펙트비를 편성하는 제1 부호화 스텝과,
    상기 부영상을 부호화함과 함께 상기 부영상의 어스펙트비를 편성하는 제2 부호화 스텝
    을 포함하는 프로그램.
  5. 주영상의 부호화 데이터, 및 상기 주영상에 서로 겹치게 하여 표시되는 부영상의 부호화 데이터를 복호하는 복호 장치에 있어서,
    상기 주영상의 부호화 데이터에 편성되어 있는 상기 주영상의 어스펙트비를 취득하도록 구성된 제1 취득부와,
    상기 주영상의 화상 틀을, 상기 제1 취득부에 의해 취득된 상기 주영상의 어스펙트비에 따라서 변환하도록 구성된 제1 변환부와,
    상기 부영상의 부호화 데이터에 편성되어 있는 상기 부영상의 어스펙트비를 취득하도록 구성된 제2 취득부와,
    상기 부영상의 화상 틀을, 상기 제2 취득부에 의해 취득된 상기 부영상의 어스펙트비에 따라서 변환하도록 구성된 제2 변환부
    를 구비하는 복호 장치.
  6. 주영상의 부호화 데이터, 및 상기 주영상에 서로 겹치게 하여 표시되는 부영상의 부호화 데이터를 복호하는 복호 방법에 있어서,
    상기 주영상의 부호화 데이터에 편성되어 있는 상기 주영상의 어스펙트비를 취득하는 제1 취득 스텝과,
    상기 주영상의 화상 틀을, 상기 제1 취득 스텝의 처리에서 취득된 상기 주영상의 어스펙트비에 따라서 변환하는 제1 변환 스텝과,
    상기 부영상의 부호화 데이터에 편성되어 있는 상기 부영상의 어스펙트비를 취득하는 제2 취득 스텝과,
    상기 부영상의 화상 틀을, 상기 제2 취득 스텝의 처리에서 취득된 상기 부영상의 어스펙트비에 따라서 변환하는 제2 변환 스텝
    을 포함하는 복호 방법.
  7. 주영상의 부호화 데이터, 및 상기 주영상에 서로 겹치게 하여 표시되는 부영상의 부호화 데이터를 복호하는 복호 장치를 제어하는 프로세서에 실행시키는 프로그램에 있어서,
    상기 주영상의 부호화 데이터에 편성되어 있는 상기 주영상의 어스펙트비를 취득하는 제1 취득 스텝과,
    상기 주영상의 화상 틀을, 상기 제1 취득 스텝의 처리에서 취득된 상기 주영 상의 어스펙트비에 따라서 변환하는 제1 변환 스텝과,
    상기 부영상의 부호화 데이터에 편성되어 있는 상기 부영상의 어스펙트비를 취득하는 제2 취득 스텝과,
    상기 부영상의 화상 틀을, 상기 제2 취득 스텝의 처리에서 취득된 상기 부영상의 어스펙트비에 따라서 변환하는 제2 변환 스텝
    을 포함하는 프로그램.
  8. 주영상 데이터를 부호화한 주영상 부호화 데이터와, 상기 주영상 데이터에 서로 겹치게 하여 표시되는 부영상 데이터를 부호화한 부영상 부호화 데이터가 다중화되어 기록된 기록 매체에 있어서,
    상기 주영상 부호화 데이터는, 상기 주영상 데이터의 어스펙트비를 나타내는 제1 어스펙트비 플래그를 갖고，
    상기 부영상 부호화 데이터는, 상기 제1 어스펙트비 플래그와는 독립된, 상기 부영상 데이터의 어스펙트비를 나타내는 제2 어스펙트비 플래그를 갖는 기록 매체.
  9. 주영상 데이터를 부호화한 주영상 부호화 데이터와, 상기 주영상 데이터에 서로 겹치게 하여 표시되는 부영상 데이터를 부호화한 부영상 부호화 데이터가 다중화된 데이터 구조에 있어서,
    상기 주영상 부호화 데이터는, 상기 주영상 데이터의 어스펙트비를 나타내는 제1 어스펙트비 플래그를 갖고,
    상기 부영상 부호화 데이터는, 상기 제1 어스펙트비 플래그와는 독립된, 상기 부영상 데이터의 어스펙트비를 나타내는 제2 어스펙트비 플래그를 갖는 데이터 구조.
KR1020077014638A 2004-12-02 2005-11-30 부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록매체, 및, 데이터 구조 KR20070086704A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004349816 2004-12-02
JPJP-P-2004-00349816 2004-12-02

Publications (1)

Publication Number Publication Date
KR20070086704A true KR20070086704A (ko) 2007-08-27

Family

ID=36565201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077014638A KR20070086704A (ko) 2004-12-02 2005-11-30 부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록매체, 및, 데이터 구조

Country Status (8)

Country Link
US (1) US8279938B2 (ko)
EP (1) EP1819165A4 (ko)
JP (1) JP4813370B2 (ko)
KR (1) KR20070086704A (ko)
CN (1) CN101112096A (ko)
CA (1) CA2589370A1 (ko)
TW (1) TW200633506A (ko)
WO (1) WO2006059779A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI262725B (en) * 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
CN101188712B (zh) * 2007-12-21 2012-07-18 康佳集团股份有限公司 一种页面自适应显示处理的方法
JP4518194B2 (ja) * 2008-06-10 2010-08-04 ソニー株式会社 生成装置、生成方法、及び、プログラム
US20110285726A1 (en) * 2009-02-18 2011-11-24 William Gibbens Redmann Method and apparatus for preparing subtitles for display
CN102065241B (zh) * 2009-11-18 2015-06-17 新奥特（北京）视频技术有限公司 一种自动制作字幕的字幕机
US20140002460A1 (en) * 2012-06-27 2014-01-02 Viacom International, Inc. Multi-Resolution Graphics
WO2016163603A1 (ko) * 2015-04-05 2016-10-13 엘지전자 주식회사 Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
JP6868776B2 (ja) * 2015-10-28 2021-05-12 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
WO2017130804A1 (ja) * 2016-01-26 2017-08-03 ソニー株式会社 受信装置、受信方法および送信装置
CN110020285B (zh) * 2017-09-28 2021-04-27 北京国双科技有限公司 柱状图的处理方法及装置
CN112770183B (zh) * 2020-11-10 2023-03-24 北京达佳互联信息技术有限公司 视频的播放控制方法、控制装置、电子设备和存储介质
CN113452935B (zh) * 2021-08-31 2021-11-09 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成系统及方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369444A (en) * 1990-06-01 1994-11-29 Thomson Consumer Electronics Field type matching system
JP3290677B2 (ja) * 1991-09-02 2002-06-10 株式会社東芝 多画面テレビジョン受像機
JPH05183833A (ja) * 1992-01-07 1993-07-23 Sony Corp 表示装置
JP3435172B2 (ja) * 1992-06-02 2003-08-11 株式会社東芝 テレビジョン信号処理回路
JPH05304641A (ja) * 1992-04-24 1993-11-16 Victor Co Of Japan Ltd テレビジョン受像機
JPH06314092A (ja) * 1993-04-28 1994-11-08 Toshiba Corp 文字画像用記録再生装置
US5930450A (en) * 1995-02-28 1999-07-27 Kabushiki Kaisha Toshiba Recording medium, apparatus and method of recording data on the same, and apparatus and method of reproducing data from the recording medium
JPH08256297A (ja) * 1995-03-17 1996-10-01 Toshiba Corp ２画面テレビ受像機
JPH08322046A (ja) * 1995-03-20 1996-12-03 Sony Corp データ符号化／復号化方法および装置、および符号化データ記録媒体
CN1114212C (zh) * 1995-04-14 2003-07-09 株式会社东芝 记录媒体的数据记录装置和方法以及数据再生装置和方法
MX9709190A (es) * 1996-05-09 1998-03-31 Matsushita Electric Ind Co Ltd Un disco optico de multimedia para el cual se puede sobreponer favorablemente una sub-imagen en una imagen principal y un aparato de reproduccion de discos y un metodo de reproduccion de discos para el disco.
JPH10145722A (ja) * 1996-11-07 1998-05-29 Sony Corp 再生制御データ生成装置およびその方法
JP3742167B2 (ja) * 1996-12-18 2006-02-01 株式会社東芝 画像表示制御装置
JPH10308924A (ja) 1997-05-02 1998-11-17 Sony Corp 符号化装置及び方法
US6678006B1 (en) * 1998-01-07 2004-01-13 Ati Technologies, Inc. Method and apparatus for video processing that includes sub-picture scaling
JP2000184375A (ja) * 1998-12-15 2000-06-30 Victor Co Of Japan Ltd 画像変換装置
JP4356202B2 (ja) * 2000-06-29 2009-11-04 パナソニック株式会社 映像信号処理装置
JP2002109831A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 記録再生装置
US7023492B2 (en) * 2000-10-19 2006-04-04 Microsoft Corporation Method and apparatus for encoding video content
JP3607627B2 (ja) * 2001-02-26 2005-01-05 株式会社東芝 アスペクト比情報の整合処理機能付き情報録再装置および方法
US7577333B2 (en) * 2001-08-04 2009-08-18 Samsung Electronics Co., Ltd. Method and apparatus for recording and reproducing video data, and information storage medium in which video data is recorded by the same
TW535413B (en) * 2001-12-13 2003-06-01 Mediatek Inc Device and method for processing digital video data
JP2004215045A (ja) * 2003-01-06 2004-07-29 Toshiba Corp 情報記録媒体、情報再生装置、情報再生方法
JP3702275B2 (ja) * 2003-01-06 2005-10-05 株式会社東芝 情報再生装置、情報再生方法、情報記録媒体
JP2004215081A (ja) * 2003-01-07 2004-07-29 Pioneer Electronic Corp 情報記録媒体、情報再生装置及び方法、並びにコンピュータプログラム
US6943768B2 (en) * 2003-02-21 2005-09-13 Xtellus Inc. Thermal control system for liquid crystal cell
JP4250458B2 (ja) * 2003-05-30 2009-04-08 キヤノン株式会社 映像システムの映像表示方法及び画像処理装置
KR100580245B1 (ko) * 2003-06-26 2006-05-16 삼성전자주식회사 동시화면을 디스플레이 하는 장치 및 방법
TWI296400B (en) * 2005-02-18 2008-05-01 Au Optronics Corp Video processing chip capable of adjusting aspect ratio and method of displaying an image thereby

Also Published As

Publication number Publication date
TW200633506A (en) 2006-09-16
WO2006059779A1 (ja) 2006-06-08
CN101112096A (zh) 2008-01-23
US8279938B2 (en) 2012-10-02
CA2589370A1 (en) 2006-06-08
JP4813370B2 (ja) 2011-11-09
TWI315153B (ko) 2009-09-21
EP1819165A4 (en) 2011-01-19
US20100128799A1 (en) 2010-05-27
EP1819165A1 (en) 2007-08-15
JPWO2006059779A1 (ja) 2008-06-05

Similar Documents

Publication Publication Date Title
JP4874521B2 (ja) インタラクティブ・ビデオ装置、及びその装置によって用いられる画像に字幕を付ける方法
US7250983B2 (en) System and method for overlaying images from multiple video sources on a display device
CN100505889C (zh) 图像声音输出系统、装置、声音处理程序和记录介质
WO2006092993A1 (ja) 字幕表示装置
KR20070086704A (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 프로그램, 기록매체, 및, 데이터 구조
US20060164437A1 (en) Reproducing apparatus capable of reproducing picture data
JP2005217971A (ja) オンスクリーン重畳装置
JP2003338991A (ja) 画像表示装置及び画像表示方法
JP6045405B2 (ja) 映像処理装置、表示装置、テレビジョン受信機及び映像処理方法
JP2005033741A (ja) テレビジョン用文字情報表示装置およびテレビジョン用文字情報表示方法
JP2010252050A (ja) 映像処理装置、映像表示装置及び映像処理方法
TWI316818B (en) Method of scaling subpicture data and related apparatus thereof
JP2007259193A (ja) 映像出力装置、及び方法
JP5588833B2 (ja) 画像圧縮装置、画像伸長装置、方法、及びプログラム
WO1999043154A1 (fr) Decodeur d&#39;image
US8279207B2 (en) Information processing apparatus, information processing method, and program
JPH10243363A (ja) 映像再生装置
JP2001045444A (ja) 受信装置及び方法、送信装置及び方法、及び信号処理装置
JP2006270139A (ja) データ再生装置、データ再生方法およびプログラム
JP5328549B2 (ja) 画像処理装置及びその制御方法
JP2010074559A (ja) 映像処理装置及び映像処理方法
JP2004221751A (ja) 画像信号処理装置
JP2010273051A (ja) 映像処理装置、映像表示装置及び映像処理方法
JP4357239B2 (ja) 映像信号処理装置及び映像表示装置
JP2002094996A (ja) 受信装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20070627

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20101020

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120427

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20121023

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120427

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I