JP3809036B2 - 拡張された画像フォーマットのための画像データ処理方法 - Google Patents

拡張された画像フォーマットのための画像データ処理方法 Download PDF

Info

Publication number
JP3809036B2
JP3809036B2 JP22642299A JP22642299A JP3809036B2 JP 3809036 B2 JP3809036 B2 JP 3809036B2 JP 22642299 A JP22642299 A JP 22642299A JP 22642299 A JP22642299 A JP 22642299A JP 3809036 B2 JP3809036 B2 JP 3809036B2
Authority
JP
Japan
Prior art keywords
image
format
image format
standard
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22642299A
Other languages
English (en)
Other versions
JP2000078540A (ja
Inventor
フィシャー ラルフ
トームス ディーター
フォクート オリヴァー
ムント フリーダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2000078540A publication Critical patent/JP2000078540A/ja
Application granted granted Critical
Publication of JP3809036B2 publication Critical patent/JP3809036B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、拡張された画像フォーマットのための画像データ処理方法に関する。
【０００２】
【従来の技術】
従来の画像データ伝送のための伝送規格、例えばＩＴＵ−Ｔ勧告のＨ.２６１による伝送規格は、縦横比４：３での画像フォーマットの符号化でしか行われていない。他の画像フォーマット、例えば最近のＴＶ画像スクリーンによく使用されている１６：９の画像フォーマットのもとでは伝送できない。
【０００３】
【発明が解決しようとする課題】
本発明の課題は、異なる別の画像フォーマットのもとでも画像データの伝送が可能な画像データ処理方法を提供することである。
【０００４】
【課題を解決するための手段】
前記課題は本発明により、拡張された画像フォーマットで供給される画像データを、拡張されていない画像フォーマットに相応する第１の画像データと、画像フォーマット拡張のための画像情報を含んだ付加画像データに分解するステップと、
前記第１の画像データを所定の伝送規格に従って符号化するステップと、
前記付加画像データにデータ低減を施し、所定の伝送規格で付加データフィールドに結び付けるステップとを有しているようにして解決される。
【０００５】
本発明の手法によれば、拡張された画像フォーマット、例えば縦横比１６：９の画像フォーマットでも、現存の伝送規格、例えばＨ.３２０規格に対して互換性のある伝送が可能である。例えばこれまではそのような画像フォーマットの復号化にはあまり関係のなかったテレビ電話でも、従来の画像フォーマット例えば縦横比４：３の画像フォーマットの画像情報のみを評価し表示するのに、本発明による修正されたビデオデータストリームを利用することができる。例えば縦横比１６：９の拡張された画像フォーマットの利点は、ビデオ会議でも利用可能である。これまでの画像フォーマット、例えば縦横比４：３の画像フォーマットを用いて、会談の全ての参加者に良く見えるように位置付けすることには基本的に問題がある。広角のカメラ設定では全ての視聴者に見えるようにすることはできるが、しかしながら前景や後景（壁、テーブル面、天井など）は消えてしまう。しかしながら拡張された画像フォーマット、例えば縦横比１６：９の拡張画像フォーマットを用いれば、このような問題を十分に考慮することが可能となる。
【０００６】
【発明の実施の形態】
拡張された画像フォーマットで供給される画像データは、拡張されていない画像フォーマットに相応する第１の画像データと、画像フォーマットの拡張に対する画像情報を含んでいる付加画像データに分解される。特にカメラから生成される１６：９の画像フォーマットの画像は、同等に維持される垂直分解能のもとで、拡張されたＱＣＩＦ（quarter common intermediate format）またはＣＩＦ（common intermediate format）の画像の１６：９のフォーマットにスケーリングされる。相応の１６：９の画像フォーマットは、図１に示されており、この場合Ｓは列、Ｚは行である。従来の４：３の縦横比は、１２：１１で提供される画像フォーマットの考慮のもとで算出される。ＣＩＦフォーマットに対しては以下の関係式が成り立つ。
【０００７】
(352/288)×(12/11)＝4/3、ないしは(480/288)×(12/11)≒16/9
１６：９の画像の中心からは、４：３のＱＣＩＦないしＣＩＦ画像が抽出される。これは例えばＨ.２６１規格に相応して符号化され伝送される。抽出された基準画像の左右に残った画像領域（射影部分として示されている）は、Ｈ.２６１規格のデーターリダクション（ＤＣＴ、動き予測）のためのアルゴリズムによって符号化され、Ｈ.２６１規格の第４.２.２章によるＧＳＰＡＲＥフィールドで伝送される。このＨ.２６１規格のデーターストリームに既に存在するＧＳＰＡＲＥフィールドでは、任意の大きさの情報が伝送可能である。標準規格ではこの情報を評価できない復号器がそれを拒否し、ＧＳＰＡＲＥフィールドの終了後に自身に係わるデーターストリームを引続き復号化する。
【０００８】
Ｈ.２６１規格に従って符号化すべき画像は、いわゆるブロックグループ（ＧＯＢ）に細分化されている。このブロックグループＧＯＢは１７６×４８のルミナンスピクセルと８８×２４のクロミナンスピクセルからなっているか、あるいは１６×１６ピクセル毎に３３のマクロブロック（ＭＢ）からなっている（4.2.2,4.2.3/Ｈ.２６１）。図２には、ＣＩＦ画像に基づいてブロックグループＧＯＢとマクロブロックＭＢ並びに１６：９の拡張が示されている。図中の陰影領域ａは、１６：９への画像の拡張が示されている。その際符号１ｅｘから１２ｅｘは、周縁における相応のブロックグループＧＯＢ１〜１２の拡張を表している。図中中央の陰影を付けられていない領域面ｂは、標準のＣＩＦ画像幅を有している。
【０００９】
マクロブロックへの分類整理に基づく画像サイズは常に１６画素の複合的構成であるので、図２に示した４８０画素の画像幅はやや大きすぎる。符号化すべき画像幅を正確に達成し得るためには、右方および左方の画像縁部においてそれぞれ６画素が黒に置換される。なぜなら１６：９のディスプレイ上では現われることがないからである。
【００１０】
標準規格の符号化と付加的画像データの電送は、各ブロックグループヘッダーのＧＳＰＡＲＥフィールドによって行われる（4.2.2/Ｈ261）。これは任意に頻繁に伝送可能であり、それと共に可変の長さのデータの伝送にも理想的である。Ｈ.２６１/４.２.２の規格によれば、全ての復号器がこれらのフィールド内の情報を、それが利用できないときには棄却できるようにしなければならない。図３には、Ｈ.２６１規格のビットストリームで拡張された画像フォーマットの情報の伝送が示されている。符号１ではブロックグループのスタートコードが示されている。また符号２は、グループナンバー、符号３は量子化情報、符号４は、特別な挿入情報を示している。これは後続するＨ.２６１規格のオプショナルデータフィールド５ＧＳＰＡＲＥが存在する場合には論理１にセットされる。ブロック６は、Ｈ.２６１/４.２.３章によるマクロブロックＭＢ（マクロブロックレイヤ）を表している。ブロック４および５は、画像フォーマット拡張のマクロブロックデータを含んでいる。ＧＳＰＡＲＥフィールド５は、マクロブロックの符号化に必要な全てのシンボル、すなわち４.２.３章および４.２.４章によるＭＢＡ（マクロブロックアドレス)、ＭＴＹＰＥ（マクロブロック中に存在するデータ要素に関する情報）、ＭＱＵＡＮＴ（適用されている量子化の方式）、ＭＶＤ（動きベクトルデータ）、ＣＢＰ（伝送すべき変換係数に対する特徴ブロック）、ＴＣＯＥＦＦ（変換係数）、ＥＯＢ（ブロック終端識別子）が伝送されるまで挿入される。
【００１１】
本発明では、完全なダウンコンパーチブルでのＨ.３２０規格による画像データストリーム内で、４：３画像フォーマットのＱＣＩＦまたはＣＩＦ伝送画像を例えば１６：９の縦横比を有するパノラマフォーマットへ拡張するための、付加的画像データの伝送が許容される。またこれまでに記載された１６：９の画像フォーマット以外の別の異なる画像フォーマットを同じ形式で適用することも可能である。従って本発明は拡張画像フォーマットとして１６：９の画像フォーマットに限定されるものではない。
【図面の簡単な説明】
【図１】図１は、拡張された画像フォーマットと拡張されていない画像フォーマットでの縦横比を示したものである。
【図２】画像およびＧＯＢでのマクロブロックの配置構成を示したものである。
【図３】Ｈ.２６１規格に従った画像データの符号化を示したものである。
【符号の説明】
１ スタートコード
２ グループナンバ
３ 量子化情報
４ 特別な挿入情報
５ オプショナルデーターフィールド
６ マクロブロック

Claims (6)

  1. 拡張された画像フォーマットのための画像データ処理方法において、
    拡張された画像フォーマットで生成された画像を、垂直解像度を変えずに、拡張画像フォーマットへ拡張されたＱＣＩＦまたはＣＩＦ画像にスケーリングするステップと、
    該スケーリングされた画像の中央から、拡張されていない画像フォーマットのＱＣＩＦまたはＣＩＦ画像を抽出するステップと、
    残った画像領域を付加画像データとしてデータ低減を施し、所定の伝送規格に準拠したデータストリームに存在する付加データフィールドに格納するステップとを有していることを特徴とする画像データ処理方法。
  2. 前記拡張された画像フォーマットとして１６：９の画像フォーマットが利用され、拡張されていない画像フォーマットとして４：３の画像フォーマットが用いられる、請求項１記載の方法。
  3. 前記所定の伝送規格としてＩＴＵ−Ｔ勧告のＨ.２６１規格が用いられる、請求項１または２いずれか１項記載の方法。
  4. 前記付加画像データを、データリダクションによって、Ｈ.２６１規格の付加データフィールドＧＳＰＡＲＥに格納する、請求項３記載の方法。
  5. 付加データフィールドの情報を評価できない復号器は、当該付加データフィールドの情報を復号化の際に棄却する、請求項１〜４いずれか１項記載の方法。
  6. 前記スケーリングされたＱＣＩＦまたはＣＩＦ画像並びに付加画像データを、テレビ電話方式に関するＨ.３２０規格に従ったデータストリームに格納する、請求項１〜５いずれか１項記載の方法。
JP22642299A 1998-08-11 1999-08-10 拡張された画像フォーマットのための画像データ処理方法 Expired - Fee Related JP3809036B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19836294A DE19836294A1 (de) 1998-08-11 1998-08-11 Verfahren zur Aufbereitung von Bilddaten für ein erweitertes Bildformat
DE19836294.3 1998-08-11

Publications (2)

Publication Number Publication Date
JP2000078540A JP2000078540A (ja) 2000-03-14
JP3809036B2 true JP3809036B2 (ja) 2006-08-16

Family

ID=7877149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22642299A Expired - Fee Related JP3809036B2 (ja) 1998-08-11 1999-08-10 拡張された画像フォーマットのための画像データ処理方法

Country Status (4)

Country Link
EP (1) EP0980184B1 (ja)
JP (1) JP3809036B2 (ja)
DE (2) DE19836294A1 (ja)
ES (1) ES2253849T3 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100429874B1 (ko) * 2001-07-20 2004-05-04 삼성전자주식회사 파노라마/워터글라스 기능 구현을 위한 영상 처리 장치 및그 방법
KR100443868B1 (ko) * 2001-10-18 2004-08-09 엘지전자 주식회사 영상표시기기의 영상 확대방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2904975B2 (ja) * 1991-10-30 1999-06-14 三菱電機株式会社 ワイドアスペクト比のテレビジョン受信機
JP3125552B2 (ja) * 1993-12-28 2001-01-22 三菱電機株式会社 テレビ会議システム

Also Published As

Publication number Publication date
JP2000078540A (ja) 2000-03-14
DE59912856D1 (de) 2006-01-05
DE19836294A1 (de) 2000-02-17
EP0980184A2 (de) 2000-02-16
EP0980184A3 (de) 2002-03-06
ES2253849T3 (es) 2006-06-01
EP0980184B1 (de) 2005-11-30

Similar Documents

Publication Publication Date Title
JP7309478B2 (ja) オーバーレイを伴うビデオを符号化するための方法およびシステム
EP0661888B1 (en) Multiplexing/demultiplexing method for superimposing sub- images on a main image
US6917652B2 (en) Device and method for decoding video signal
JP4820559B2 (ja) 映像データ符号化及び復号化方法及び装置
US20060285586A1 (en) Methods and systems for achieving transition effects with MPEG-encoded picture content
US7684489B2 (en) Method and apparatus for video compression
KR100280592B1 (ko) 가변 길이 부호화 데이터의 처리 방법 및 장치
JPH07123447A (ja) 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
EP1713280A2 (en) Scalable video coding
Ponlatha et al. Comparison of video compression standards
JP2001285876A (ja) 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
CN102598673A (zh) 用于帧连续立体视频编码的动态参考帧重排序
US20010019354A1 (en) Method and an apparatus for video mixing of bit streams
JPH08154249A (ja) 画像再生装置及び画像再生方式
KR19980016035A (ko) 영상프레임 데이터를 일 메모리에 저장하는 방법
US6064772A (en) Image reproducing apparatus and image reproducing method
US7860327B2 (en) Systems and methods for enhanced coding gain
JP3809036B2 (ja) 拡張された画像フォーマットのための画像データ処理方法
US6337882B1 (en) Method and apparatus for generating unlimited selected image views from a larger image
JP2001103521A (ja) ビデオシーケンスにおけるプログレッシブ又はインターレースのコンテントを認識する方法
JP3723657B2 (ja) 復号したマルチカラー・デジタル画像ビットマップを表示のためにｒａｍに格納する方法
JP3822821B2 (ja) 画像再生表示装置
US20110299591A1 (en) Video processing apparatus and method
JP2000004440A (ja) 動画像復号化方法および動画像復号化装置
JPH0879703A (ja) 画像情報処理方法及び装置

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060519

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100526

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110526

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees