JP5748463B2 - 符号化装置およびプログラム - Google Patents

符号化装置およびプログラム Download PDF

Info

Publication number
JP5748463B2
JP5748463B2 JP2010269731A JP2010269731A JP5748463B2 JP 5748463 B2 JP5748463 B2 JP 5748463B2 JP 2010269731 A JP2010269731 A JP 2010269731A JP 2010269731 A JP2010269731 A JP 2010269731A JP 5748463 B2 JP5748463 B2 JP 5748463B2
Authority
JP
Japan
Prior art keywords
image
quantization
encoding
images
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010269731A
Other languages
English (en)
Other versions
JP2012120054A (ja
Inventor
小林　幸史
幸史 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010269731A priority Critical patent/JP5748463B2/ja
Priority to US13/300,515 priority patent/US9532076B2/en
Publication of JP2012120054A publication Critical patent/JP2012120054A/ja
Application granted granted Critical
Publication of JP5748463B2 publication Critical patent/JP5748463B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、複数の画像が合成された画像を符号化することができる符号化装置およびプログラムに関するものである。
近年、三次元画像（立体画像又は３Ｄ画像とも称される）の表示が可能な民生用テレビが普及しつつある。三次元画像の原理は、左右の目の視差を利用して作成した左目用の画像と右目用の画像を、それぞれ対応する目に個別に入射させることによって、立体視を実現するものである。
三次元画像の記録フォーマットにはさまざまなものが挙げられるが、その一つにサイドバイサイド方式というものがある。サイドバイサイド方式は、左目用の画像と右目用の画像をそれぞれ水平方向に１／２ずつサブサンプリングし、サンプリングした左目用画像を画面左側に、右目用画像を画面右側に配置させるようにした三次元画像の記録フォーマットである。サイドバイサイド方式はＢＳ放送でも採用されている方式であり、現在主流となっている三次元画像用記録フォーマットの一つであるといえる。また、サイドバイサイド方式の三次元画像データの記録に関する技術は、特許文献１によっても特許提案されている。
通常、テレビ放送波などによって動画像を伝送する場合や、ビデオカメラ等により光ディスクやハードディスクなどに動画像を記録する場合には、動画像の情報量の削減のために動画像の圧縮符号化が行われる。動画像圧縮符号化方式の代表的なものの一つにＨ．２６４（ＭＰＥＧ４−ＡＶＣ）符号化方式が挙げられる。Ｈ．２６４符号化方式は、ビデオカメラのハイビジョン記録方式であるＡＶＣＨＤや、地上デジタル放送のワンセグ放送の規格に採用されており、広く一般に普及しつつある動画像圧縮符号化方式である。今後、ビデオカメラ等によって三次元画像を撮影して、光ディスクやハードディスクに記録する場合にも、動画像圧縮符号化が実施されると考えられる。例えば、サイドバイサイド方式の三次元画像をＨ．２６４符号化方式を用いて圧縮符号化し、記録媒体に記録する装置の構成が考えられる。
特開２０１０−０６８３１５号公報
しかしながら、サイドバイサイド方式を用いた三次元画像をＨ．２６４符号化方式を用いて圧縮符号化する場合、次のような問題が考えられる。
サイドバイサイド方式では、左目用の画像と右目用の画像を並べた画像を一枚の画像として扱うため、符号化対象の画像の中央部分に左目用の画像の右端部分と右目用の画像の左端部分の境界が存在することになる。Ｈ．２６４符号化方式では、デブロッキングフィルタと呼ばれるループ内フィルタが規格で定められており、画像中のブロック境界にはフィルタ処理が施される。従来の二次元画像であれば、ブロックノイズを除去するために有効な処理であるが、サイドバイサイド方式の画像である場合、左目用画像の右端部分と右目用画像の左端部分の境界の左右は別々の画像であるため、フィルタ処理を施すと劣化が生じてしまう。
このように規格で定められたフィルタ処理であっても、異なる複数の画像を合成して作られた画像が符号化対象画像である場合には、特定の領域に対してフィルタ処理を施さない方が好ましい場合がある。
そこで、本発明は、複数の画像が合成された画像を符号化する場合に、当該複数の画像の境界部分に接する画像ブロックにデブロッキングフィルタを用いた処理が行われないようにすることを目的とする。
本発明に係る符号化装置は、符号化対象画像の画像ブロックと参照画像の画像ブロックとに基づいて生成された差分画像データに対して直交変換処理を行い、変換係数を生成する変換手段と、前記変換係数に対して量子化処理を行う量子化手段と、前記量子化処理が行われた変換係数に対して符号化処理を行う符号化手段と、前記量子化処理が行われた変換係数に対して逆量子化処理を行う逆量子化手段と、前記逆量子化処理が行われた変換係数に対して逆変換処理を行い、差分画像データを復元する逆変換手段と、復元された差分画像データを用いてローカルデコード画像を生成するローカルデコード手段と、前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行うデブロッキングフィルタ手段と、前記符号化対象画像が複数の画像が合成された画像であり、前記符号化対象画像の画像ブロックが前記複数の画像の境界部分に接する画像ブロックである場合は、前記デブロッキングフィルタ手段が前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行わないようにするために、前記量子化手段で用いられる量子化パラメータに対して所定の制御を行う制御手段とを有することを特徴とする。
本発明に係るプログラムは、コンピュータを、符号化対象画像の画像ブロックと参照画像の画像ブロックとに基づいて生成された差分画像データに対して直交変換処理を行い、変換係数を生成する変換手段と、前記変換係数に対して量子化処理を行う量子化手段と、前記量子化処理が行われた変換係数に対して符号化処理を行う符号化手段と、前記量子化処理が行われた変換係数に対して逆量子化処理を行う逆量子化手段と、前記逆量子化処理が行われた変換係数に対して逆変換処理を行い、差分画像データを復元する逆変換手段と、復元された差分画像データを用いてローカルデコード画像を生成するローカルデコード手段と、前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行うデブロッキングフィルタ手段と、前記符号化対象画像が複数の画像が合成された画像であり、前記符号化対象画像の画像ブロックが前記複数の画像の境界部分に接する画像ブロックである場合は、前記デブロッキングフィルタ手段が前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行わないようにするために、前記量子化手段で用いられる量子化パラメータに対して所定の制御を行う制御手段として機能させるためのプログラムである。
本発明によれば、複数の画像が合成された画像を符号化する場合に、当該複数の画像の境界部分に接する画像ブロックにデブロッキングフィルタを用いた処理が行われないようにすることができる。
本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。 サイドバイサイド方式の三次元画像の例である。 量子化制御部の動作フローを説明するためのフローチャートである。 ブロック境界の画素値を説明するための図である。 αとβの算出テーブルの例である。 本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。 異なる画像の境界を挟んで隣接する２つのマクロブロックの例である。 Ｂｓ値の条件の例である。
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。また、図２にサイドバイサイド方式の三次元画像の例を示す。なお、図２において、図の左側の画像が左目用画像であり、右側の画像が右目用画像である。左右の画像はそれぞれ元画像を水平方向に１／２ずつサブサンプリングした状態である。図２の画像のように、フレーム画像内（画面内）の中央部分には、左右の画像の境界が存在することになる。
図１の画像符号化装置は、図２の如き画像を入力画像（符号化対象画像）として符号化を行う。以下、図１の画像符号化装置は、Ｈ．２６４符号化方式に従って動画像の圧縮符号化を行う符号化装置を例に説明する。
図１において、入力画像が一時記憶媒体であるフレームバッファ１０１に格納される。ここで入力画像とは符号化対象画像データを意味しており、動画像を構成する各フレーム画像や、フレーム画像を構成する画像ブロックに対応する。動き予測部１０２は、フレームバッファ１０１に格納されている符号化対象画像と、参照フレームバッファ１１１に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。参照画像とは、Ｈ．２６４符号化で行われるイントラ予測（フレーム内予測）又はインター予測（フレーム間の動き補償予測）といった予測の際に参照される画像であり、符号化済のフレーム画像又は符号化済の画像ブロックのデータから生成される。検出された動きベクトルは、インター予測で予測用画像の作成において利用される。なお、イントラ予測の際は、動き予測部１０２は、フレームバッファ１０１に格納されている符号化対象画像に対して、参照画像を参照してブロック画像間の予測処理を行う。
インター予測時、動き予測部１０２は、符号化対象画像と、検出された動きベクトル位置の参照画像との間で画素の差分をとり、その差分を示す差分画像データを直交変換部１０３に出力する。一方、イントラ予測時、動き予測部１０２は、所定のイントラ予測モードに従ってイントラ予測された差分画像データを直交変換部１０３に出力する。直交変換部１０３は、送られてきた差分画像データに対して整数精度での離散コサイン変換等の直交変換を行い、変換係数を生成し、量子化部１０４に出力する。
量子化部１０４は、送られてきた変換係数に対して、量子化制御部１０５が出力する量子化パラメータに従い、量子化を行う。量子化された変換係数はエントロピー符号化部１０６に送られる。また、量子化された変換係数は、参照画像として用いられるローカルデコード画像作成のために逆量子化部１０７にも送られる。
エントロピー符号化部１０６では、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、さらに、ＣＡＶＬＣ等の可変長符号化、又はＣＡＢＡＣ等の算出符号化を行う。そして、エントロピー符号化部１０６は、符号化後の画像データに対して、動きベクトルや量子化パラメータ、マクロブロック分割情報などの符号化方式情報を可変長符号化したものを付加し、符号化ストリームを生成する。また、符号化の際に画像ブロック（符号化の単位であるマクロブロック）ごとの発生符号量を算出し、その情報を量子化制御部１０５に送る。
量子化制御部１０５では、符号化制御パラメータである量子化パラメータを決定する。さらに、量子化制御部１０５には、画像の境界情報、すなわち各マクロブロックが異なる複数の画像で構成された画像（例えばサイドバイサイド方式の三次元画像等）における画像の境界部に接しているか否かを示す情報が、入力画像を供給する装置から入力される。この情報は、異なる複数の画像の境界部に接している画像ブロックを特定するための情報である。
本実施形態の画像符号化装置は、二次元画像と三次元画像等の合成画像とを選択的に入力して、それぞれ符号化することができる。量子化制御部１０５は、通常の二次元画像を符号化する場合は、エントロピー符号化部１０６から発生符号量の情報を受け取り、目標ビットレートに従った符号量になるように量子化パラメータを決定し、量子化部１０４へ出力する。一方、サイドバイサイド方式の三次元画像やピクチャインピクチャを用いた合成画像など、異なる複数の画像で構成されている画像を符号化する場合は、異なる画像の境界に接したマクロブロックかどうかで量子化パラメータの決定方法を変える仕組みを有している。
前述の画像の境界部に接しているか否かを示す情報に従って、符号化を行うマクロブロックが異なる画像の境界に接していない場合は、二次元画像の時と同じように目標ビットレートに従った符号量になるように、量子化パラメータを決定する。一方、符号化を行うマクロブロックが異なる画像の境界に接している場合は、量子化パラメータをある決められた所定の値（所定の値をＱｐ＿ｎｏｆｌｔとする）に設定する。この量子化パラメータ値は、異なる画像の境界部分にデブロッキングフィルタ処理がかからなくなる値に設定される。この値は、Ｈ．２６４符号化方式の規格より導きだすことができる。詳細については、デブロッキングフィルタ部１１０の説明のところで後述する。
量子化制御部１０５の動作フローを説明するためのフローチャートを図３に示す。図３において、３次元画像等の合成画像である場合には、符号化対象のマクロブロックが異なる画像の境界部分に接しているかどうかの判定を行う（Ｓ３０１）。異なる画像の境界部分に接していない場合は、通常どおりに発生符号量から目標とする符号量になるように量子化パラメータを決定する（Ｓ３０２）。
ステップＳ３０１において、符号化対象マクロブロックが異なる画像の境界部分に接しているものである場合は、量子化パラメータをデブロッキングフィルタがかからないようになる値であるＱｐ＿ｎｏｆｌｔに決定する（Ｓ３０３）。このようにして量子化パラメータを決定し、量子化部１０４へ出力する。
図１の説明に戻り、逆量子化部１０７では、入力された量子化後の変換係数に対して逆量子化を行い、変換係数を復元し、逆直交変換部１０８に出力する。逆直交変換部１０８では、入力された変換係数に対して、直交変換部１０３で行われたものの逆変換を行い、差分画像データを復元する。差分画像データは動き補償部１０９に出力される。
動き補償部１０９では、動きベクトル位置の参照画像のデータを参照フレームバッファ１１１から読み出してきて、入力された差分画像データと加算することにより、ローカルデコード画像データを作成する。作成されたローカルデコード画像データはデブロッキングフィルタ部１１０に出力される。
デブロッキングフィルタ部１１０では、入力されたローカルデコード画像データに対してデブロッキングフィルタ処理を施す。デブロッキングフィルタ後の画像データが、参照画像を表すものとして、参照フレームバッファ１１１に格納される。このようにして、本実施形態の画像符号化装置により、符号化ストリーム及びローカルデコード画像データが生成される。
ここで、デブロッキングフィルタ部１１０について詳細に説明する。図４は、ブロック境界の画素値を説明するための図である。図４では、フレーム画像中のある境界部の画素値を、ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３と表している。ｐ０とｑ０の間に、ｐの画素を含むマクロブロックとｑの画素を含むマクロブロックとのブロック境界が存在する。デブロッキングフィルタ部１１０では、Ｈ．２６４符号化方式の規格に従ってローカルデコード画像データのデブロッキングフィルタ処理を行う。Ｈ．２６４符号化方式の規格から、以下の式（１）の条件が成立した場合には、ブロック境界にデブロッキングフィルタ処理を行わない。
｜ｐ０−ｑ０｜＞α もしくは ｜ｐ１−ｑ０｜＞β もしくは ｜ｑ１−ｑ０｜＞β… （１）
ここで、α、βは、それぞれＩｎｄｅｘＡ、ＩｎｄｅｘＢという値に対するテーブルで定義される。ＩｎｄｅｘＡ、ＩｎｄｅｘＢは量子化パラメータ、およびフィルタ強度に対するオフセット値から算出される。ＩｎｄｅｘＡ、ＩｎｄｅｘＢに対するα、βの定義を図５に示す。図５は、αとβの算出テーブルの例である。
フィルタ処理を行う２つのブロックの量子化パラメータ、すなわちｐ０、ｐ１、ｐ２、ｐ３の量子化パラメータをＱｐＡ、ｑ０、ｑ１、ｑ２、ｑ３の量子化パラメータをＱｐＢとし、その２つの量子化パラメータの平均値をＱｐａｖとする。また、符号化ストリーム中においてｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２で指定されるオフセット値をそれぞれＦｉｌｔｅｒＯｆｆｓｅｔＡ、ＦｉｌｔｅｒＯｆｆｓｅｔＢとする。その場合、ＩｎｄｅｘＡ、ＩｎｄｅｘＢはそれぞれ、式（２）、式（３）で表される。
ＩｎｄｅｘＡ＝Ｑｐａｖ＋ＦｉｌｔｅｒＯｆｆｓｅｔＡ… （２）
ＩｎｄｅｘＢ＝Ｑｐａｖ＋ＦｉｌｔｅｒＯｆｆｓｅｔＢ… （３）
ここで、図５のテーブルからＩｎｄｅｘＡが１５以下であればα＝０、ＩｎｄｅｘＢが１５以下であればβ＝０となる。α＝０、もしくはβ＝０とすれば、式（１）の条件を満たすので、当該ブロック境界にはデブロッキングフィルタがかからない。
よって、量子化制御部１０５で決定するＱｐ＿ｎｏｆｌｔの値を式（２）、式（３）、および図５のテーブルから、α＝０、もしくはβ＝０となるような値に設定する。以下の式（４）、式（５）のどちらかが成立するように、Ｑｐ＿ｎｏｆｌｔの値を設定する。
Ｑｐ＿ｎｏｆｌｔ＝１５−ＦｉｌｔｅｒＯｆｆｓｅｔＡ… （４）
Ｑｐ＿ｎｏｆｌｔ＝１５−ＦｉｌｔｅｒＯｆｆｓｅｔＢ… （５）
例えば、ＦｉｌｔｅｒＯｆｆｓｅｔＡ＝０だとすると、式（４）より、Ｑｐ＿ｎｏｆｌｔ＝１５となる。量子化制御部１０５で、異なる画像の境界部分に接したブロックは１５に設定される。これにより、フィルタ処理を行う２つのブロックの量子化パラメータＱｐＡ、ＱｐＢがともにＱｐＡ＝１５、ＱｐＢ＝１５に設定されるので、２つの量子化パラメータの平均値もＱｐａｖ＝１５となる。
ＦｉｌｔｅｒＯｆｆｓｅｔＡ＝０なので、式（２）より、ＩｎｄｅｘＡ＝１５となる。図５のテーブルよりα＝０となるので、式（１）の ｜ｐ０−ｑ０｜＞α の条件が成立する。したがって、このブロック境界にはデブロッキングフィルタがかからない。
以上のように、量子化制御部１０５で、処理を行うブロックが異なる画像の境界部分に接しているかどうかを示す情報を取得する。そして、当該情報に基づいて、処理対象のブロックが異なる画像の境界部分に接している場合には、符号化制御パラメータである量子化パラメータをある一定以下の所定の値に設定することで、デブロッキングフィルタをかけなくすることができる。所定の値とは上述した式を用いて算出することができる。よって、本実施形態の画像符号化装置によれば、異なる画像の境界部分にはデブロッキングフィルタをかけず、それ以外の画像部分にはデブロッキングフィルタ処理を施すことにより、境界部分に劣化のない良好な画像を得ることができる。
＜第２の実施形態＞
図６は、本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。図６の画像符号化装置は、図２の如き画像を入力画像（符号化対象画像）として符号化を行う。以下、図６の画像符号化装置は、Ｈ．２６４符号化方式に従って動画像の圧縮符号化を行う符号化装置を例に説明する。
図６において、入力画像（符号化対象画像）が一時記憶媒体であるフレームバッファ１０１に格納される。動き予測部６０１は、フレームバッファ１０１に格納されている符号化対象画像と、参照フレームバッファ１１１に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。
インター予測時、動き予測部６０１は、符号化対象画像と、検出された動きベクトル位置の参照画像との間で画素の差分をとり、その差分を示す差分画像データを直交変換部１０３に出力する。一方、イントラ予測時、動き予測部６０１は、所定のイントラ予測モードに従ってイントラ予測された差分画像データを直交変換部１０３に出力する。
ここで、第２の実施形態に係る画像符号化装置は、二次元画像と三次元画像等の合成画像とを選択的に入力して、それぞれ符号化することができる。そして、三次元画像の符号化時、符号化対象のマクロブロックが異なる画像の境界部分に接したマクロブロックかどうかで、動き予測処理の内容を変える。
具体的に、動き予測部６０１には、画像の境界情報、すなわち各マクロブロックが異なる複数の画像で構成された画像（例えばサイドバイサイド方式の三次元画像等）における画像の境界部に接しているか否かを示す情報が、入力画像を供給する装置から入力される。この情報は、異なる複数の画像の境界部に接している画像ブロックを特定するための情報である。この情報に従って、符号化対象のマクロブロックが異なる画像の境界に接していない場合は、通常動作として二次元画像の符号化時と同じようにブロックマッチングを行い、動きベクトル検出を行う。一方、符号化対象のマクロブロックが異なる画像の境界に接している場合は、通常動作のときとは異なる符号化制御パラメータを発生させて、境界を跨いで隣接する２つのマクロブロックが同じ参照画像を参照し、かつ同じ動きベクトルを指し示すように制御する。
図７に異なる画像の境界を挟んで隣接する２つのマクロブロックの例を示す。図７において、異なる画像の境界に接しているマクロブロック７０１とマクロブロック７０２があり、動き予測部６０１はこの２つのマクロブロックについては、同じ参照画像を参照し、同じ動きベクトルを算出するように強制的に制御する。
同じ動きベクトルを算出するための符号化制御パラメータの一例としては、どちらか一方で求めた演算結果を共有する設定でもよいし、あらかじめ決められた動きベクトル値（例えば原点位置であるベクトル（０、０）等）をそれぞれに設定してもよい。また、マクロブロック７０１とマクロブロック７０２をセットにしてブロックマッチングを行い、２つのマクロブロックが同じ動きベクトルになるように動きベクトル検出を行ってもよい。
直交変換部１０３は、送られてきた差分画像データに対して整数精度での離散コサイン変換等の直交変換を行い、変換係数を生成し、量子化部６０２に出力する。
量子化部６０２では、送られてきた変換係数に対して、量子化処理を行う。量子化部６０２でも、符号化対象のマクロブロックが異なる画像の境界部分に接したマクロブロックかどうかで処理が変わる。具体的に、量子化部６０２には、画像の境界情報、すなわち各マクロブロックが異なる複数の画像で構成された画像（例えばサイドバイサイド方式の三次元画像等）における画像の境界部に接しているか否かを示す情報が、入力画像を供給する装置から入力される。この情報は、異なる複数の画像の境界部に接している画像ブロックを特定するための情報である。この情報に従って、符号化対象のマクロブロックが異なる画像の境界に接していない場合は、量子化部６０２は、量子化制御部６０３が出力する量子化パラメータに従い、量子化を行う。一方、符号化対象のマクロブロックが異なる画像の境界に接している場合は、量子化制御部６０３が出力する量子化パラメータ値にかかわらず、量子化部６０２が専用の符号化制御パラメータを発生させて量子化を行う。この専用の符号化制御パラメータとは、量子化後の変換係数が全て０になるような量子化パラメータを設定するものである。
どちらの場合でも、量子化された変換係数はエントロピー符号化部１０６に送られる。また、量子化された変換係数は、参照画像として用いられるローカルデコード画像作成のために逆量子化部１０７にも送られる。
エントロピー符号化部１０６では、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、さらに、ＣＡＶＬＣ等の可変長符号化、又はＣＡＢＡＣ等の算出符号化を行う。そして、エントロピー符号化部１０６は、符号化後の画像データに対して、動きベクトルや量子化パラメータ、マクロブロック分割情報などの符号化方式情報を可変長符号化したものを付加し、符号化ストリームを生成する。また、符号化の際にマクロブロックごとの発生符号量を算出し、その情報を量子化制御部６０３に送る。
量子化制御部６０３では、エントロピー符号化部１０６から発生符号量の情報を受け取り、目標ビットレートに従った符号量になるように量子化パラメータを決定し、量子化部６０２へ出力する。
逆量子化部１０７では、入力された量子化後の変換係数に対して逆量子化を行い、変換係数を復元し、逆直交変換部１０８に出力する。逆直交変換部１０８では、入力された変換係数に対して、直交変換部１０３で行われたものの逆変換を行い、差分画像データを復元する。差分画像データは動き補償部１０９に出力される。
動き補償部１０９では、動きベクトル位置の参照画像のデータを参照フレームバッファ１１１から読み出してきて、入力された差分画像データと加算することにより、ローカルデコード画像データを作成する。作成されたローカルデコード画像データはデブロッキングフィルタ部１１０に出力される。
デブロッキングフィルタ部１１０では、入力されたローカルデコード画像データに対してデブロッキングフィルタ処理を施す。デブロッキングフィルタ後の画像データが、参照画像を表すものとして、参照フレームバッファ１１１に格納される。このようにして、本実施形態の画像符号化装置により、符号化ストリーム及びローカルデコード画像データが生成される。
デブロッキングフィルタ部１１０では、Ｈ．２６４符号化方式の規格に沿ってデブロッキングフィルタ処理を行う。Ｈ．２６４符号化方式の規格によると、図８のように、Ｂｓ＝０となる場合には、ブロック境界にデブロッキングフィルタ処理を行わない。図８のＢｓ（Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ）値とは、画像のブロック境界の強度を表し、Ｂｓ＝０〜４の値をとる。Ｂｓ値を決定する条件が図８に表されている。ここで、ｐ、ｑはブロック境界を跨った２つのマクロブロックを表している。図７でいえば、マクロブロック７０１がｐ、マクロブロック７０２がｑに該当する。
動き予測部６０１の制御により、異なる画像の境界に接した２つのブロックは、それぞれ参照画像及び動きベクトルが同じになっている。また、量子化部６０２の制御により、異なる画像の境界に接した２つのブロックは、量子化後の変換係数が全て０になっている。これらの条件から、図８よりＢｓ＝０となる。したがって本実施形態においては、異なる画像の境界には、デブロッキングフィルタがかからないようにすることができる。
以上のように、異なる画像の境界にまたがった２つのブロックに対して、参照画像、動きベクトルを同一にし、かつ量子化後の変換係数を全て０にすることで、異なる画像の境界部分にデブロッキングフィルタをかけなくすることができる。よって、本実施形態の画像符号化装置によれば、異なる画像の境界部分にはデブロッキングフィルタをかけず、それ以外の画像部分にはデブロッキングフィルタ処理を施すことにより、境界部分に劣化のない良好な画像を得ることができる。
なお、上述した第１及び第２の実施形態では、入力画像がサイドバイサイド方式の三次元画像等である場合に、画像の境界部に接しているか否かを示す情報を外部の装置から取得するものを例に説明したが、画像符号化装置内で検出するように構成しても良い。例えば、入力画像における所定の座標に位置するブロックを予め画像の境界部に接しているブロックと定めても良い。或いは、マクロブロック間の相関を検出して、ブロック境界を検出するようにしても良い。また、本発明は、サイドバイサイド方式の三次元画像以外に、ピクチャインピクチャ等で合成された二次元画像にも同様に適用可能である。
また、上述した本発明の第１の実施形態における図３に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
また、図３に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、図３に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。
１０１ フレームバッファ
１０２ 動き予測部
１０３ 直交変換部
１０４ 量子化部
１０５ 量子化制御部
１０６ エントロピー符号化部
１０７ 逆量子化部
１０８ 逆直交変換部
１０９ 動き補償部
１１０ デブロッキングフィルタ部
１１１ 参照フレームバッファ

Claims (8)

  1. 符号化対象画像の画像ブロックと参照画像の画像ブロックとに基づいて生成された差分画像データに対して直交変換処理を行い、変換係数を生成する変換手段と、
    前記変換係数に対して量子化処理を行う量子化手段と、
    前記量子化処理が行われた変換係数に対して符号化処理を行う符号化手段と、
    前記量子化処理が行われた変換係数に対して逆量子化処理を行う逆量子化手段と、
    前記逆量子化処理が行われた変換係数に対して逆変換処理を行い、差分画像データを復元する逆変換手段と、
    復元された差分画像データを用いてローカルデコード画像を生成するローカルデコード手段と、
    前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行うデブロッキングフィルタ手段と、
    前記符号化対象画像が複数の画像が合成された画像であり、前記符号化対象画像の画像ブロックが前記複数の画像の境界部分に接する画像ブロックである場合は、前記デブロッキングフィルタ手段が前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行わないようにするために、前記量子化手段で用いられる量子化パラメータに対して所定の制御を行う制御手段と
    を有することを特徴とする符号化装置。
  2. 前記所定の制御は、前記量子化手段で用いられる量子化パラメータを所定の量子化パラメータにするための制御であることを特徴とする請求項１に記載の符号化装置。
  3. 前記所定の制御は、前記量子化手段で用いられる量子化パラメータを、前記量子化処理が行われた変換係数が全て０になるような量子化パラメータにするための制御であり、
    前記所定の制御が行われる場合、前記制御手段は、前記複数の画像の境界部分の両側に接する２つの画像ブロックが同じ参照画像を参照し、かつ、同じ動きベクトルを示すようにするための制御を行うことを特徴とする請求項１に記載の符号化装置。
  4. 前記複数の画像が合成された画像は、左目用画像と右目用画像とが合成された画像であることを特徴とする請求項１から３のいずれか１項に記載の符号化装置。
  5. 前記複数の画像が合成された画像は、ピクチャインピクチャを用いて合成された画像であることを特徴とする請求項１から３のいずれか１項に記載の符号化装置。
  6. 前記符号化対象画像の画像ブロックが前記複数の画像の境界部分に接する画像ブロックであるか否かを判定するための情報を入力する入力手段を有することを特徴とする請求項１から５のいずれか１項に記載の符号化装置。
  7. 前記符号化対象画像の画像ブロックが前記複数の画像の境界部分に接する画像ブロックであるか否かを検出する検出手段を有することを特徴とする請求項１から５のいずれか１項に記載の符号化装置。
  8. コンピュータを、
    符号化対象画像の画像ブロックと参照画像の画像ブロックとに基づいて生成された差分画像データに対して直交変換処理を行い、変換係数を生成する変換手段と、
    前記変換係数に対して量子化処理を行う量子化手段と、
    前記量子化処理が行われた変換係数に対して符号化処理を行う符号化手段と、
    前記量子化処理が行われた変換係数に対して逆量子化処理を行う逆量子化手段と、
    前記逆量子化処理が行われた変換係数に対して逆変換処理を行い、差分画像データを復元する逆変換手段と、
    復元された差分画像データを用いてローカルデコード画像を生成するローカルデコード手段と、
    前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行うデブロッキングフィルタ手段と、
    前記符号化対象画像が複数の画像が合成された画像であり、前記符号化対象画像の画像ブロックが前記複数の画像の境界部分に接する画像ブロックである場合は、前記デブロッキングフィルタ手段が前記ローカルデコード画像に対してデブロッキングフィルタを用いた処理を行わないようにするために、前記量子化手段で用いられる量子化パラメータに対して所定の制御を行う制御手段
    として機能させるためのプログラム。
JP2010269731A 2010-12-02 2010-12-02 符号化装置およびプログラム Expired - Fee Related JP5748463B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010269731A JP5748463B2 (ja) 2010-12-02 2010-12-02 符号化装置およびプログラム
US13/300,515 US9532076B2 (en) 2010-12-02 2011-11-18 Apparatus and method for encoding combined image including different images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010269731A JP5748463B2 (ja) 2010-12-02 2010-12-02 符号化装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2012120054A JP2012120054A (ja) 2012-06-21
JP5748463B2 true JP5748463B2 (ja) 2015-07-15

Family

ID=46162215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010269731A Expired - Fee Related JP5748463B2 (ja) 2010-12-02 2010-12-02 符号化装置およびプログラム

Country Status (2)

Country Link
US (1) US9532076B2 (ja)
JP (1) JP5748463B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2486692B (en) * 2010-12-22 2014-04-16 Canon Kk Method for encoding a video sequence and associated encoding device
JP5878295B2 (ja) * 2011-01-13 2016-03-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2012178818A (ja) * 2011-01-31 2012-09-13 Panasonic Corp 映像符号化装置および映像符号化方法
JP2015002429A (ja) * 2013-06-14 2015-01-05 株式会社東芝 符号化装置及び監視システム
WO2017107207A1 (zh) * 2015-12-25 2017-06-29 王晓光 视频软件的编码方法及系统
US10762597B2 (en) * 2016-05-13 2020-09-01 Sony Corporation Generation apparatus, generation method, reproduction apparatus, and reproduction method
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
CN112823516A (zh) * 2018-10-18 2021-05-18 索尼公司 编码设备、编码方法和解码设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096487B1 (en) * 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
US7254824B1 (en) * 1999-04-15 2007-08-07 Sedna Patent Services, Llc Encoding optimization techniques for encoding program grid section of server-centric interactive programming guide
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP2005311512A (ja) * 2004-04-19 2005-11-04 Toshiba Corp エラーコンシールメント方法及び復号器
KR100716992B1 (ko) * 2005-02-04 2007-05-10 삼성전자주식회사 스테레오 영상 부호화 및 복호화 방법과 그 장치
US7848409B2 (en) * 2005-05-02 2010-12-07 Qualcomm Incorporated Macroblock level bit allocation
WO2007081838A1 (en) * 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
US20090141814A1 (en) * 2006-01-09 2009-06-04 Peng Yin Method and Apparatus for Providing Reduced Resolution Update Mode for Multi-View Video Coding
JP2008259122A (ja) * 2007-04-09 2008-10-23 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP4821723B2 (ja) * 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
JP4974984B2 (ja) 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
WO2010035486A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 映像信号処理装置
CN102239506B (zh) * 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
KR101353115B1 (ko) * 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법

Also Published As

Publication number Publication date
US20120140827A1 (en) 2012-06-07
US9532076B2 (en) 2016-12-27
JP2012120054A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
KR102668077B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
JP5748463B2 (ja) 符号化装置およびプログラム
US9552633B2 (en) Depth aware enhancement for stereo video
KR102512053B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP6074082B2 (ja) イントラ予測モードにおける映像復号化方法
JP5174958B2 (ja) ビデオのコーダとデコーダとの同時最適化のための方法およびシステム
JP2009531980A (ja) デジタルビデオエンコーダの内部予測及びモード決定処理の計算を低減する方法
US20090201991A1 (en) Method for intra prediction coding of image data
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
WO2019010289A1 (en) UNBLOCKING FILTERING FOR 360 DEGREE VIDEO CODING
JP2012034352A (ja) ステレオ動画像符号化装置及びステレオ動画像符号化方法
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP2014192702A (ja) 複数の入力画像をエンコーディングする方法、プログラムおよび装置
CN113243106B (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
US8687910B2 (en) Image filtering method using pseudo-random number filter and apparatus thereof
US20120002864A1 (en) Image processing unit, image processing method, and computer program
CN112262574A (zh) 一种用于帧内预测的设备和方法
JP2013138502A (ja) 符号化装置及びその制御方法、コンピュータプログラム
JP2012178818A (ja) 映像符号化装置および映像符号化方法
JP6396782B2 (ja) デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
JP2015171117A (ja) 画像符号化装置
JP2013110532A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150512

R151 Written notification of patent or utility model registration

Ref document number: 5748463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees