JP4488679B2 - 人間の視覚特性を考慮した映像の符号化方法及び復号化方法並びにその装置 - Google Patents
人間の視覚特性を考慮した映像の符号化方法及び復号化方法並びにその装置 Download PDFInfo
- Publication number
- JP4488679B2 JP4488679B2 JP2003000409A JP2003000409A JP4488679B2 JP 4488679 B2 JP4488679 B2 JP 4488679B2 JP 2003000409 A JP2003000409 A JP 2003000409A JP 2003000409 A JP2003000409 A JP 2003000409A JP 4488679 B2 JP4488679 B2 JP 4488679B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image quality
- video
- area
- quantization coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【発明の属する技術分野】
本発明は、映像の符号化に係り、特に、人間の視覚特性を考慮して映像を符号化及び復号化する方法並びにその装置に関する。
【0002】
【従来の技術】
映像を貯蔵/伝送する際にはデータの圧縮が頻繁に行われている。図1は、従来の通常の映像の圧縮過程を示す図面である。図1に示すように、従来の通常の圧縮過程は、空間/時間予測符号化100、変換符号化110、量子化120及びエントロピ符号化130過程を経て、圧縮されたビット列を生成する。このとき、ほとんどの損失は量子化120過程で生じる。このようにして損失が生じる圧縮過程を含む圧縮方法を用いたものとしては、静止映像のための圧縮方法と動映像のための圧縮方法とに大別される。そして、静止映像のための圧縮方法の代表的な方法としてJPEG(Joint Photographic Expert Group)等が挙げられ、動映像のための圧縮方法の代表的な方法としてMPEG(Moving Picture Coding Experts Group)−1、2、4、及びH.261、H.263等が挙げられる。
【0003】
一方、映像を符号化する際に離散コサイン変換(discrete cosine transform、以下「DCT」という)等の変換過程を経るが、映像全体をDCTで変換するには計算の量が膨大になるため、一定の大きさ、たとえば8X8大きさのブロックに分けて符号化を行う。そして、量子化を行うとき、各単位ブロックで量子化係数が異なるようにするために各単位ブロックで量子化係数を含んで符号化すると情報量が極めて多くなるため、映像全体に同じ量子化係数を用いるようにする。あるいは、MPEG−4、H.263等の方法では、16X16大きさのマクロブロックごとに量子化係数を±2まで変化可能に情報を与え得るが、このことは、与えられた目標ビット量を正確に合わせるためである。
【0004】
このような符号化器を用いた場合、画面全体の画質がほとんど同じようになる。しかし、人間が映像を見る際には、背景の画質に比べて注目領域の画質を重視する傾向がある。このことは、一度に人間が見ることができる領域に限界があることによるものである。すなわち、人間は、注目領域をより詳細に見るが、その他の背景部分の微細な部分は見逃しやすく、特に、動映像の場合にはこのような傾向が顕著となる。したがって、限られたビット量の下で映像を符号化する際に、映像全体に均一にビット量を割り当てるよりも、背景領域に比べて注目領域の方に多くのビット量を割り当てて注目領域の画質を高める必要性がある。
【0005】
MPEG−4、H.263等は、1枚の映像において特定の領域を区分して符号化し得るような構造を有している。MPEG−4では、コアプロファイル以上で形状符号化を用いて特定の領域を画素単位にユーザ好みに限定することができる。MPEG−4においてこのような方法を用いる主な理由は、画面を構成する各オブジェクト(客体)の単位での操作を可能にするためである。各々のオブジェクトは相異なるビット列に符号化され、このような構造を用い、MPEG−4システムでは、ユーザ間の相互作用を可能にしている。この方法を用い、注目領域と背景領域とを各々のオブジェクトに分離して相異なる画質に符号化することができる。
【0006】
しかし、この方法は、オブジェクトを分離する過程が極めて複雑であるという問題点があった。そして、たとえ概略的な形状に簡単に分離するとしても、各オブジェクトの形状を表わすために更なる情報が必要であるため、圧縮効率が低下するという問題点があった。
【0007】
また、H.263では、Annex Kでスライス構造モードを用いて連続したマクロブロックのグループ単位に、または任意の四角形単位のマクロブロックグループに領域を区分して1枚の映像を符号化することができる。H.263では、誤りに強い特性を備えさせるためにこのような方法を用いる。多重の伝送チャンネルを用いる環境下において、重要な部分をより良好な環境を有する伝送チャンネルを介して伝送することによって伝送効率を高めることができ、もし、一部で誤りが生じたとしても、他の領域に誤りが移行することを防止することができる。このとき、四角形のスライス構造を用いて注目領域を符号化することができる。しかし、背景領域をいくつかの四角形に分けて表わさなければならないため、構造が複雑となるといった問題点があった。
【0008】
米国特許第5,764,803号明細書(題目:Motion−adaptive modeling scene content for very low bit rate model assisted coding ofvideo sequences)には、1枚の映像を符号化する際、注目領域と背景領域とを分離して符号化を行う方法について開示されている。しかし、この方法では、各領域内において変化させる量子化係数値の範囲には限界があるため、注目領域と背景領域との画質の差によって両領域間の境界が目立つようになる。
【0009】
また、米国特許第6,263,022号明細書(題目:System andmethod for fine granular scalable(FGS) video with selective quality enhancement)には、ベース層とエンハンスメント層とから構成される多重伝送チャンネル環境下で用いられる圧縮方法について開示されている。この方法によれば伝送チャンネルの環境には好適であるものの、映像間の動きを予測することが困難であるため、符号化効率が低下する。そして、注目領域の画質は向上するものの符号化効率が全体的に低下するため、背景領域の画質は顕著に低下する。すなわち、注目領域と背景領域との画質の差が大きくなって、その結果、前記注目領域と背景領域との間の境界が目立つようになる。
【0010】
また、米国特許第6,256,423号明細書(題目:Intra−frame quantizer selection for video compression)には、注目領域、背景領域、及び両領域間のトランジション領域を限定し、各領域間の量子化係数を決定する圧縮方法が開示されている。この方法によれば、トランジション領域が設定されるため、注目領域と背景領域との境界が明確に表示される現象はある程度解消することができる。
【0011】
しかし、この方法では、各領域の量子化係数値の範囲に限界があるのみならず、1つの領域に注目領域がn個あればトランジション領域もまたn個必要となるため符号化の方法が複雑になる。そして、各領域間の境界をよりソフトにする(目立たなくする)ためには、トランジション領域と他の領域との間にトランジション領域がさらに必要となる。その結果、各領域の量子化係数を決定する際に難点がある。この問題点を解決すべく、反復的に量子化係数を選択する方法を用いることも考えられるが、この方法では計算の量が膨大になるという問題点がある。
【0012】
【特許文献1】
米国特許第5,764,803号明細書(全頁)
【特許文献2】
米国特許第6,263,022号明細書(全頁)
【特許文献3】
米国特許第6,256,423号明細書(全頁)
【0013】
【発明が解決しようとする課題】
前記問題点を解決するために、本発明の第1の目的は、人間の視覚特性を考慮して注目領域と背景領域との間にはっきり目立つような境界が生成されないようにするとともに、計算の量を比較的少なくしてこの効果を具現する映像の符号化及び復号化方法、並びにその装置を提供することにある。
【0015】
前記問題点を解決するために、本発明の第2の目的は、前記映像の符号化方法をコンピュータで実行可能なプログラムコードで記録された記録媒体を提供することにある。
【0016】
【課題を解決するための手段】
(1)前記第1の目的を達成するための本発明に係る映像の符号化方法は、注目領域と一の背景領域とを含む画面単位で入力された入力映像の画質が、前記注目領域から前記背景領域に向かって次第に低下し、前記注目領域と前記背景領域との間の補間領域内で画質が次第に変わるように入力映像の画質分布を画面単位でモデリングする(a)段階と、1枚の画面を構成する、前記注目領域の量子化係数と前記背景領域の量子化係数とを前記画質分布のモデリング結果に基づいて決定し、前記補間領域の量子化係数を、前記画質分布のモデリング結果、前記注目領域の量子化係数及び前記背景領域の量子化係数によって決定する(b)段階と、前記(b)段階で決定された量子化係数に基づいて映像データを量子化する(c)段階と、量子化された映像データのエントロピを符号化する(d)段階とを含んで構成される。
【0017】
(2)前記映像の符号化方法において、(c)段階で量子化される映像データは、入力映像が予測符号化され、この予測符号化された映像が変換符号化された映像として構成されることが望ましい。
【0018】
(3)また、前記映像の符号化方法において、(a)段階で行われる画質分布のモデリングは、注目領域の中心部分で最も高い画質を有し、背景領域に向かって画質が次第に低下するガウス分布を有することが望ましい。
【0019】
(4)さらに望ましくは、前記映像の符号化方法において、(a)段階で行われる画質分布のモデリングは、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心領域から背景領域に向かって画質が次第に低下するように前記量子化係数が決定される。
【0020】
(5)また、前記映像の符号化方法において、(b)段階で行われる画質変化による前記量子化係数が線形的に変化することが望ましい。
【0021】
(6)さらに望ましくは、前記映像の符号化方法において、(b)段階で行われる画質変化による前記量子化係数は非線形的に変化するように構成される。
【0022】
(7)そして、前記第2の目的を達成するための本発明に係る映像の符号化方法を記録した記録媒体は、前記映像の符号化方法をコンピュータで実行することが可能なプログラムコードで記録された記録媒体として構成される。
【0023】
(8)また、前記目的を達成するための本発明に係る映像の符号化装置は、注目領域と一の背景領域とを含む画面単位で入力された入力映像の画質が前記注目領域から前記背景領域に向かって次第に低下し、前記注目領域と前記背景領域との間の補間領域内で画質が次第に変わるように入力映像の画質分布を画面単位でモデリングし、1枚の画面を構成する、前記注目領域の量子化係数と前記背景領域の量子化係数とを前記画質分布のモデリング結果に基づいて決定し、前記補間領域の量子化係数を、前記画質分布のモデリング結果、前記注目領域の量子化係数及び前記背景領域の量子化係数によって決定する画質モデリング部と、前記画質モデリング部で決定された量子化係数に基づいて映像データを量子化する適応的量子化部と、前記適応的量子化部で量子化された映像データのエントロピを符号化するエントロピ符号化部とを備えて構成される。
【0024】
(9)前記映像の符号化装置において、映像データは映像が予測符号化され、この予測符号化された映像が変換符号化された映像データであることが望ましい。
【0025】
(10)また、前記映像の符号化装置において、画質モデリング部は、画質分布がガウス分布を有するように量子化係数を決定することが望ましい。
【0026】
(11)さらに望ましくは、前記映像の符号化装置において、画質モデリング部は、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心領域から背景領域に向かって画質が次第に低下するように前記量子化係数が決定される。
【0027】
(12)また、前記映像の符号化装置において、画質モデリング部は、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心領域から背景領域に向かって次第に画質前記領域別の画質変化による前記量子化係数が線形的に変化することが望ましい。
【0028】
(13)さらに、前記映像の符号化装置において、領域別の画質変化による前記量子化係数が非線形的に変化することが望ましい。
【0029】
(14)前記目的を達成するための本発明に係る映像の復号化方法は、注目領域と一の背景領域とを含む画面単位で入力された映像を符号化したビット列を復号化する映像の復号化方法であって、(a)受信された前記ビット列から前記注目領域と前記背景領域との位置及び大きさ情報、量子化係数値情報を含む映像データを復号化する段階と、(b)前記(a)段階で復号化された前記注目領域と前記背景領域との位置、大きさ及び前記量子化係数値情報に基づいて、前記注目領域から前記背景領域に向かって画質が低下するように、前記注目領域と前記背景領域との間に設定した補間領域の量子化係数の値を決定する段階と、(c)前記(b)段階で決定された量子化係数の値を用いて復号化された映像データを逆量子化する段階と、(d)前記(a)段階で復元された各領域の位置の値に基づいて各領域別に復元された映像を該当位置によって合わせて1つの画面に構成する段階とを含んで構成される。
【0030】
(15)本発明は、前記映像の復号化方法において、逆量子化された映像を逆変換して予測された情報を補償する段階をさらに含むことが望ましい。
【0031】
(16)また、前記映像の復号化方法において、(b)段階は、注目領域の中心部分で最も高い画質を有し、この注目領域の中心部分から背景領域に向かって画質が次第に低下するガウス分布を有するように前記量子化係数を決定することが望ましい。
【0032】
(17)さらに望ましくは、前記映像の復号化方法において、(b)段階が、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心領域から背景領域に向かって画質が次第に低下するように前記量子化係数を決定する。
【0033】
(18)そして、前記映像の復号化方法において、量子化係数の値は、画質及びビット量に対して線形的に変化することが望ましい。
【0034】
(19)さらに望ましくは、前記映像の復号化方法において、量子化係数の値は、画質及びビット量に対して非線形的に変化する。
【0035】
(20)また、前記第2の目的を達成するための本発明に係る映像の復号化方法を記録した記録媒体は、前記映像の復号化方法をコンピュータで実行することが可能なプログラムコードで記録された記録媒体として構成される。
【0036】
(21)前記第1の目的を達成するための本発明に係る映像の復号化装置は、注目領域と一の背景領域とを含む画面単位で入力された映像を符号化したビット列を復号化する映像の復号化装置であって、受信されたビット列から各領域の位置情報、量子化係数の値、各領域の大きさ情報を含む映像データを復号化するエントロピ復号化部と、前記エントロピ復号化部で復号化された前記注目領域と前記背景領域との位置、大きさ及び前記量子化係数の値の画質情報に基づいて、前記注目領域から前記背景領域に向かって画質が低下するように、前記注目領域と前記背景領域との間に設定した補間領域の量子化係数の値を決定する画質モデリング部と、前記エントロピ復号化部から与えられた映像データを前記画質モデリング部で決定された各領域別の量子化係数の値に基づいて逆量子化して映像を復元する適応的逆量子化部と、前記エントロピ復号化部から与えられる各領域の位置の値に基づいて各領域別に復元された映像を該当位置によって合わせて1つの画面に構成する映像構成部とを備えて構成される。
【0037】
(22)前記映像の復号化装置は、適応的逆量子化部で復元された映像を逆変換し、予測された情報を補償して映像を復元する映像復元部をさらに備えることが望ましい。
【0038】
(23)前記映像の復号化装置において、画質モデリング部で決定される各領域別の量子化係数の値は、注目領域の中心部分で最も高い画質を有し、背景領域に向かって画質が次第に低下するガウス分布を有するように決定されることが望ましい。
【0039】
(24)前記映像の復号化装置において、さらに望ましくは、画質モデリング部で決定される各領域別の量子化係数の値は、注目領域を中心として注目領域、補間領域及び背景領域を設定し、前記背景領域から注目領域に向かって画質が次第に向上するように決定される。
【0040】
(25)また、前記映像の復号化装置において、補間領域における量子化係数の値は、画質及びビット量に対して線形的に変化することが望ましい。
【0041】
(26)さらに望ましくは、前記映像の復号化装置において、補間領域における量子化係数の値は、画質及びビット量に対して非線形的に変化する。
【0080】
【発明の実施の形態】
以下、添付した図面を参照しながら、本発明に係る人間の視覚特性を考慮した映像の符号化及び復号化方法、並びにその装置について詳細に説明する。
図2は、本発明に係る人間の視覚特性を考慮した符号化装置の好適な一実施形態を模式的に示すブロック図であって、画質モデリング部140と、予測符号化部145と、変換符号化部150と、適応的量子化部155及びエントロピ符号化部160を含んで構成される。
【0081】
図2に示すように、画質モデリング部140は、画面単位で入力された入力映像で、注目領域から背景領域に向かって画質が次第に低下するように入力映像の画質分布を画面単位でモデリングする。そして、1枚の画面を構成する各領域の量子化係数を画質分布のモデリング結果に基づいて決定する。
【0082】
予測符号化部145は、前記入力映像を予測符号化し、変換符号化部150は、このように予測符号化された入力映像を変換符号化する。このとき、符号化の計算を簡単にするために、予測符号化部145及び変換符号化部150では、所定大きさのブロック単位で符号化を行うことが好ましい。
【0083】
適応的量子化部155は、画質モデリング部140で決定された量子化係数に基づいて映像データを量子化する。また、エントロピ符号化部160は、適応的量子化部155で量子化された映像データのエントロピを符号化する。
【0084】
図3は、図2に示す本発明に係る人間の視覚特性を考慮した符号化装置で行われる符号化方法の好適な一実施形態を示すフローチャートである。以下、図2及び図3を参照しながら、図2に示す本発明に係る符号化装置の動作について説明する。
まず、画質モデリング部140は、画面単位で入力された入力映像の画質が注目領域から背景領域に向かって次第に低下するように入力映像の画質分布を画面単位でモデリングする(第200段階)。第200段階の後に、画質モデリング部140は、画質分布のモデリング結果に基づいて1枚の画面を構成する所定の大きさ、たとえば、8X8または16X16のブロックの各々の量子化係数を決定し、決定された量子化係数を適応的量子化部155に与える(第210段階)。
【0085】
第200段階で、画質モデリング部140が注目領域の中心部分から背景領域に向かって画質が次第に低下するように画質モデリングを行うので、注目領域では量子化係数が小さく、背景領域に向かって量子化係数は次第に大きくなる。このような量子化係数の決定は、目標ビット量に基づいて行われる。ここで、画質モデリング部140は、画質分布がガウス分布を有するようにモデリングすることができる。
【0086】
あるいは、画質モデリング部140は、各画面別に注目領域の中心部分を中心として所定の補間領域を設定し、注目領域の中心部分の領域が最も高い画質を有し、背景領域に向かって次第に領域別の画質が低下するが、補間領域で画質が次第に変化して注目領域と背景領域との画質の差が目立たないようにモデリングすることも可能である。
【0087】
たとえば、図4(A)に示すように、1つの画面に注目領域250と背景領域260とを設定し、図4(B)に示すように、注目領域250と背景領域260の各領域がつながる領域で前記各領域間の画質の差によるブロック化現象を除去するための補間領域300’を設定することができる。図4(A)、(B)は、図2に示す本発明に係る符号化装置で、図3に示す符号化方法を実行したときに具現される、注目領域と背景領域との間のブロック化現象の除去を説明するための図である。画質モデリング部140は、この補間領域で画質が自然につながるように画質モデリングを行い、量子化係数値を決定する。
【0088】
そして、この補間領域300’で、量子化係数は、線形または非線形的に必要に応じて適宜変化するように設定される。画質のモデリングの詳細については、図5及び図6を参照して後述する。
【0089】
第210段階の後に、適応的量子化部155は、予測符号化及び変換符号化された映像データを入力され、画質モデリング部140で決定された量子化係数に基づいて映像データを量子化する(第220段階)。一方、画質モデリング部140から与えられる量子化係数は、画面の注目領域から背景領域に向かって次第に大きくなるため、量子化による損失の度合いが異なってくる。すなわち、人間の視線を集中的に受ける注目領域の中心部分で損失が最も少なく、視線をあまり受けない背景領域に向かって損失が次第に大きくなる。
【0090】
第220段階の後に、エントロピ符号化部160は、適応的量子化部155で量子化された映像データのエントロピを符号化してビット列として出力する(第230段階)。
【0091】
以上説明したように、人間の視覚特性を考慮し、所定の画質モデリングを通じて注目領域から背景領域に向かって量子化係数が次第に向上するように制御することによって、符号化効率を高めながら領域間のブロック化現象を効果的に除去することができる。
【0092】
映像の符号化装置とその符号化方法で具現される画質分布について、従来の技術と本発明に係る技術とを比較したグラフであって、図5(A)から図5(C)でx軸及びy軸は各々映像の空間ドメイン、z軸は画質を表わす。
なお、ここでは注目領域が画面の中央部分であると仮定している。
【0093】
図5(A)は、画質モデリング部140で、1つの画面における画質分布が注目領域を中心としてガウス分布を有するようにモデリングした場合の画質分布図である。図5(A)に示すように、画質は、映像の中心を平均として2次元ガウス分布を有し、注目領域の画質が最も高く、この注目領域から背景領域に向かって画質が次第に低下していることがわかる。この場合、x、yの分散値に基づいて画質変化の傾斜を適宜調節することができる。
【0094】
このような画質の分布は、注目領域の数によって互い違いに形成することができる。また、この場合、各単位ブロックで量子化係数を符号化して伝送するのに代えて、1つの画面に対して画質分布による量子化係数の分布をモデリングし、そのモデルを伝送すればよい。たとえば、注目領域の中心に該当する単位ブロックの位置及び分散値が伝送されれば、受信側では全ての単位ブロックの量子化係数を自動的に計算することが可能になる。
【0095】
図5(B)は、注目領域と背景領域との急激な画質の差を縮めるための補間領域を設けた場合を示す図である。この場合、各領域に1つずつの量子化係数値を付与する。そして、領域の大きさによって量子化係数を変化させる区間を設定する。この区間は、符号化器と復号化器とで同じ規則に従って設定することによって、更なる情報を挿入する必要がない。
【0096】
たとえば、四角形の領域の場合には、その幅及び長さの各々20%に該当する領域を、量子化係数を変化させる区間として設定すれば、各領域の外側から20%の範囲内に該当するブロックの領域に、このように変化された量子化係数を適用して符号化することができる。また、復号化する際にも同様にして、この20%に該当する部分に、このように変化された量子化係数を適用することによって正常に復号化することができる。そして、符号化器及び復号化器で同じ量子化方法を用いることによって、量子化係数を変化させる方法に関して更なる情報を挿入する必要なく、予め設定された規則に従って変化させることができる。
【0097】
図5(C)は、従来1つの画面を注目領域及び背景領域のみに区分した場合の画質分布図である。この場合、両領域間の画質の差によって両領域間に境界が表れるブロック化現象が生じ、画質が阻害される。
【0098】
結局、図5(A)及び図5(B)に示すように、注目領域から背景領域に向かって画質が次第に低下し、このため、ユーザは注目領域と背景領域との画質の差を感じなくなる。これに対し、図5Cの場合、注目領域と背景領域との画質の差が顕著となり、ユーザは注目領域と背景領域とのブロック化現象を感じ取る(知覚する)ようになる。
【0099】
図6(A)から図6(C)は、図2の画質モデリング部140で決定される量子化係数の特性を示す図面である。説明の便宜のために、空間領域の0〜2及び8〜10を背景領域とし、2〜8を注目領域とし、且つ、量子化係数値が0〜31まで変化するものと仮定する。
【0100】
図6(A)は、図4(B)または図5(B)の補間領域で、量子化係数が線形的に変化する場合を示し、図6(B)は、図4(B)または図5(B)の補間領域で、量子化係数が非線形的に変化する場合を示す。図6(A)及び図6(B)に示すように、注目領域と背景領域との補間領域で、注目領域と背景領域との画質の差が急激に変化せず、徐々に変化するように量子化係数が決定されていることがわかる。
【0101】
図6(C)は、従来の補間領域無しに1つの画面を注目領域と背景領域とにだけ区分した場合、量子化係数の特性によって、注目領域と背景領域との量子化係数の差が顕著になるということがわかる。このようにして、注目領域と背景領域との境界でブロック化現象が生じるおそれがある。
【0102】
一方、図6(A)及び図6(B)に示すように、量子化係数の線形/非線形特性は量子化方式によって決定され得る。すなわち、量子化係数の変化によってビット量及び画質が線形的に変化するか、あるいは非線形的に変化するかによって決定される。
【0103】
図7(A)及び図7(B)は、線形または非線形的な量子化方式で、量子化係数の変化による画質及びビット量の変化を示す図面であり、MPEG−4及びH.26L符号化器を用いた場合である。
まず、図7(A)は、量子化係数の変化による画質の変化であって、MPEG−4符号化器は非線形特性を有し、H.263は線形特性を有することを示している。
【0104】
また、図7(B)は、量子化係数の変化によるビット量の変化であって、MPEG−4符号化器は非線形特性を有し、H.26L符号化器は線形特性を有することを示している。すなわち、量子化係数を線形的に変化させるか、あるいは非線形的に変化させるかの判断は、該当する量子化方法によって予め決定されるため、更なる情報を伝送する必要がない。
【0105】
そして、注目領域ではビット量が減少し、背景領域ではビット量が増加するので、全体的なビット量がほとんど変化しないため、ビット量の調整を行うための別途の計算手段を必要としない。
【0106】
図8(A)から図8(C)は、実際の映像に対して本発明に係る符号化方法を適用した映像と、従来の符号化方法による映像とを比較した結果を示す図である。図8(A)は、本発明に係る適応的な符号化方法を適用した場合を示す図であり、図8(B)は、映像の中央部分に四角形の注目領域を形成して画面の領域を2分割し、各領域に対して相異なる量子化係数を用いて符号化を行った場合を示す図である。そして、図8(C)は、注目領域ROIに対する区分をおかず、画面の全てのブロックに対して同じ量子化係数を用いて符号化を行った場合を示す図である。
【0107】
図8(A)から図8(C)を参照すると、図8(C)に示すように、全てのブロックに同じ量子化係数を用いた場合に比べて、図8(B)に示すように注目領域を用いた符号化を通して映像の主観的な画質を向上させることができるが、両領域間の境界が明確になることがわかる。このような境界現象により、両領域間の画質の差をおくことに制限が生じるので、注目領域の符号化方法の効率もおのずから限界があった。
【0108】
しかし、図8(A)に示すように適応的な符号化方式を適用した場合、注目領域と背景領域との間に補間領域を設定し、この補間領域で画質を次第に連続的に変化させることによって、両補間領域間の画質の差を目立たなくすることができる。
【0109】
図9は、本発明に係る人間の視覚特性を考慮した適応的復号化装置の一実施形態を模式的に示すブロック図である。図9に示すように、本発明に係る適応的復号化装置は、画質構成部(画質モデリング部)300と、エントロピ復号化部310と、適応的逆量子化部320と、映像復元部330及び映像構成部340を備えて構成される。
【0110】
図10は、図8に示す装置で行われる適応的復号化方法の一実施形態を示すフローチャートである。
図9及び図10に示すように、エントロピ復号化部310は、ビット列を伝送されて各領域に属するデータのビット列を復号化する(第410段階)。伝送されるビット列には、各領域の位置情報、量子化係数値、各領域の大きさ情報等を含む映像データが含まれる。
【0111】
画質モデリング部300は、エントロピ復号化部310から各領域の位置、大きさ及び量子化係数値等の情報を用いて該当領域の量子化係数の値を決定し(第420段階)、これを適応的逆量子化部320に与える。このとき、各領域間に量子化係数の値が急激に変化することなく、一定の区間に亘って徐々に変化するように設定することができる。
【0112】
図5及び図6に基づいて説明したように、画質分布が注目領域を中心としてガウス分布を有するようにモデリングするか、あるいは、注目領域と背景領域との急激な画質の差を縮めるために補間領域を設定する。このように、画質モデリング部300で決定される領域別の量子化係数値が変化する区間を設定する方法、または量子化係数を変化させる方法は符号化時と同じ方法による。
【0113】
適応的逆量子化部320は、エントロピ復号化部310から与えられたブロック別のデータを画質モデリング部300で決定された量子化係数の値に基づいて逆量子化する(第430段階)。
【0114】
映像復元部330は、所定大きさのブロック別に逆DCT等を行い、予測された情報を補償して映像を復元する(第440段階)。
【0115】
映像構成部340は、エントロピ復号化部310から与えられる各領域の位置の値に基づいて各領域別に復元された映像を該当位置によって合わせて1つの画面に構成する(第450段階)。
【0116】
前記したように、本発明に係る適応的復号化装置は、図2に示す適応的符号化装置によって符号化された映像を復号化するためのものであり、その動作は適応的符号化装置の逆の順序に従って行われ、適応的復号化装置で行われるブロック別の量子化係数値が変化する区間を設定する方法でも、量子化係数を変化させる方法は符号化時と同じである。したがって、説明の簡略化のために、適応的符号化装置と共通する特性については重複する説明を省略する。
【0117】
図11は、本発明に係る他の実施形態による映像の符号化装置1000のブロック図である。図11に示すように、本発明に係る映像の符号化装置は、スライスモデリング部1100と、ピクチュアヘッダ符号化部1200及びスライス符号化部1300を備える。そして、スライス符号化部1300は、空間/時間予測符号化部1310、変換及び量子化部1320、及びエントロピ符号化部1330を備えて構成されている。
【0118】
スライスモデリング部1100は、ユーザが所望する任意の領域を独立して符号化可能に各々の映像1000を少なくとも1つの独立的なスライスに分割する。
【0119】
すなわち、スライスモデリング部1100は、1枚の映像で注目領域を四角形領域と限定し、注目領域及び注目領域の外部領域を各々独立した複数のスライスから構成される。また、スライスモデリング部1100は、いくつかの四角形を用い、大きな四角形が小さな四角形を含んで重なるように領域を構成し、小さな四角形の領域及び小さな四角形と重ならないように大きな四角形の領域を各々独立的な複数のスライスで構成することができる。
【0120】
ピクチュアヘッダ符号化部1200は、1枚の映像内に存在する全てのスライスを復号化するのに必要な共通情報を符号化し、符号化された情報をスライス符号化部1300に伝送する。このとき、伝送される情報にはスライスの数、形状、位置及び大きさ等が含まれる。
【0121】
スライス符号化部1300は、ピクチュアヘッダ符号化部1200から入力されたピクチュアヘッダ情報に基づいてスライス単位で映像を符号化する。このために、空間/時間予測符号化部1310は、空間/時間的に重なる情報を除去する。変換及び量子化部1320は、空間/時間予測符号化部1310の出力に対してDCTを行い、変換係数を量子化する。そして、エントロピ符号化部1330は、変換及び量子化部1320の出力をエントロピ符号化して圧縮されたビット列を生成する。
【0122】
スライス符号化部1300は、映像をスライス単位に分けて符号化してネットワークを介して伝送するが、特に、四角形のスライス単位に映像を分けて符号化することによってスライス間の予測符号化の損失を低減する。また、四角形の内部及び外部の領域に分けられるスライス構造を通じて注目領域符号化及び映像内の映像の符号化等が行えるようになる。
【0123】
ここで、注目領域符号化は、映像を注目領域と背景領域とに分け、注目領域は画質を良好にして背景領域は画質を低下させることによって限られたビット率の下で主観的な画質を向上させる符号化方法である。そして、映像内の映像の符号化は、四角形のスライス部分を独立させて復号化できるようにすることによってこの部分をあたかも他の1枚の映像のように使えるようにする方法である。
【0124】
本発明では、複数のスライスから構成される四角形領域が互いに重なる場合、重なる部分と背景領域との間に存在する所定の領域を補間領域と設定し、符号化時に注目領域と背景領域との間で画質の急激な変化によって主観的な画質が低下するという問題を防止する。また、映像内の映像の符号化を行う際に、様々な大きさの映像内の映像を使用できるようにする。
【0125】
図12は、図11に示す映像の符号化装置で行われる映像の符号化方法を示すフローチャートである。図12に示すように、まず、独立的に処理しようとする四角形領域の位置及び大きさが設定されれば、スライスモデリング部1100によって該当する四角形領域は少なくとも1つの独立したスライスに分割される(第1400段階)。そして、ピクチュアヘッダ符号化部1200によってピクチュアヘッダが符号化され(第1500段階)、スライス符号化部1300によってスライスに対する符号化が行われる(第1600段階)。
【0126】
ここで、スライス符号化段階(第1600段階)は、スライス単位の映像に存在する空間/時間的に重なる情報を除去する空間/時間予測符号化段階(第1610段階)、重なった情報の除去された前記データに対してDCT及び量子化を行う段階(第1620段階)、及び量子化された前記データをエントロピ符号化して圧縮されたビット列を生成するエントロピ符号化段階(第1630段階)にさらに分けられる。
【0127】
図13は、本発明の好ましい実施形態による映像の復号化装置を模式的に示すブロック図である。図13に示すように、本発明に係る映像の復号化装置は、ピクチュアヘッダ復号化部2000と、スライス構成部2100と、スライス復号化部2200、及び映像構成部2300を備える。そして、スライス復号化部2200は、エントロピ復号化部2210と、逆量子化及び逆変換部2220、及び映像復元部2230を備える。
【0128】
ピクチュアヘッダ復号化部2000は、ネットワークを介して受信されたビット列からピクチュアヘッダ情報を復号化する。そして、復号化された四角形領域別のスライスの数、形状、位置及び大きさに関する情報をスライス構成部2100に伝送し、その他の情報はスライス復号化部2200に伝送する。
【0129】
スライス構成部2100は、ピクチュアヘッダ復号化部2000から与えられた四角形領域別のスライスの数、形状、位置及び大きさに関する情報に基づいてスライスの位置を設定して四角形領域の重なった部分を処理し、スライスを構成する。四角形領域が重なる部分に対する処理の詳細については、図15を参照しながら後述する。
【0130】
スライス復号化部2200は、ピクチュアヘッダ復号化部2000から入力されたピクチュアヘッダ情報に基づいて各スライス単位の映像を復号化する。このために、エントロピ復号化部2210はビット列をエントロピ復号化し、逆量子化及び逆変換部2220はエントロピ復号化されたビット列に対して逆量子化及び逆DCT等の変換を行う。
【0131】
そして、映像復元部2230は、逆量子化及び逆変換部2220の出力データに対して空間/時間的に予測符号化された情報を補償して映像を復元する。このとき、各スライス単位で復元された映像は、スライス構成部2100から入力された情報に基づいて映像構成部2300で映像の一部に加えられる。
【0132】
このような構成を有する本発明に係る映像の復号化装置は、図11に示す映像の符号化装置によって符号化された映像を復号化するものであり、その動作は、映像の符号化装置の逆の順序に従って行われるが、この映像の復号化装置が備えているスライス処理の基本特性は映像の符号化装置と同一である。そこで、説明を簡略化するために、映像の符号化装置と共通する特性に関する重複する説明は省略する。
【0133】
図14は、図13に示す映像の復号化装置における映像の復号化方法を示すフローチャートである。図14に示すように、まず、受信されたビット列からピクチュアヘッダ情報が復号化される(第2500段階)。このとき、四角形領域別のスライスの数、形状、位置及び大きさに関する情報がスライス構成部2100に与えられ、スライス構成部2100は、入力された前記情報に基づいてスライスの位置を設定し、四角形領域の重なった部分を処理し、スライスを構成する(第2600段階)。そして、構成されたスライスに対する復号化が行われ(第2700段階)、前記スライスの位置及び大きさに基づいて映像が構成される(第2800段階)。
【0134】
ここで、スライス復号化段階(第2700段階)は、ビット列をエントロピ復号化するエントロピ復号化段階(第2710段階)、エントロピ復号化されたデータに対して逆量子化及び逆DCTを行う段階(第2720段階)、及び逆変換されたデータに対して空間/時間的に予測符号化された情報を補償する段階(第2730段階)にさらに分けられる。
【0135】
図15(A)及び図15(B)は、本発明に係るスライスの処理方法を説明するための図面である。
まず、図15(A)に示すように、1枚の映像500は2つの四角形領域502、503と1つの背景領域504とを含んで構成され、2つの四角形領域502、503は互いに重なっている。また、2つの四角形領域502、503及び背景領域504は独立した複数のスライスから構成される。
【0136】
2つの四角形領域502、503の小さな四角形領域502は、大きな四角形領域503の領域内に完全に含まれている。この場合、比較的大きな四角形領域503は、より小さな四角形領域502が表わす領域(斜線部分)と互いに重ならないように、より小さな四角形領域502を除いた領域(大きな四角形領域503における斜線部分)を除いた領域を表わす。
【0137】
このとき、小さな四角形領域502は1枚の映像内でユーザが重視する部分、すなわち、注目領域501を含み、大きな四角形領域503は注目領域501と背景領域504との中間に位置する補間領域として用いられる。ここで、注目領域501を含む小さな四角形領域502及び補間領域として用いられる大きな四角形領域503は各々左上位置情報520、510及び右下位置情報521、511を用いて各四角形領域の位置及び大きさ情報を表わす。
【0138】
前記したように、2つの四角形領域502、503及び背景領域504は独立した複数のスライスから構成され、スライス単位で符号化及び復号化が行われる。また、図15に示す映像の符号化及び復号化に際し、小さな四角形領域502、大きな四角形領域503、及び背景領域504の順序に符号化することが好ましく、符号化される四角形領域の順序によって領域番号を割り当てて領域間の区別を可能にする。
【0139】
たとえば、図15(A)に示すように、最初に符号化される四角形領域502には「id=0」の領域番号が割り当てられ、そのつぎに符号化される四角形領域503には「id=1」の領域番号が割り当てられ、そして背景領域504には「id=2」の領域番号が各々割り当てられる。
【0140】
このようにして、注目領域501と背景領域504との間に補間領域503を設定して、注目領域と背景領域との境界の発生を効果的に低減することができる。
【0141】
ここで、比較的小さな四角形領域502を構成する複数のスライスは独立して復号化を行うことが可能であるため、1枚の全映像の復号化が不可能であるか、あるいは不要な場合には注目領域を含む小さな四角形領域を構成するスライスのみを復号化して用いることができる。
【0142】
このとき、小さな四角形領域502から復元された映像は、映像内の映像となる。そして、前記の比較的大きな四角形領域503から復元された映像は、比較的小さな四角形領域502から復元された映像と合わされて他のより大きな映像内の映像を構成する。したがって、1枚の映像で四角形領域の数に応じて映像内の映像を段階的に、すなわち、小さな映像から次第に大きな映像を表わすことができる。
【0143】
図15(B)には、1枚の映像600は3つの四角形領域603、604、605及び1つの背景領域606から構成され、2つの四角形領域603、604は互いに重ならず、これら2つの四角形領域603、604は他の四角形領域605に重なる。また、3つの四角形領域603、604、605及び背景領域606は独立した複数のスライスから構成される。
【0144】
図15(B)に示すように、2つの四角形領域603、604は1枚の映像内でユーザが重視する相異なる注目領域601、602を各々含む。ここで、注目領域601、602を含む比較的小さな四角形領域603、604及び補間領域として用いられる大きな四角形領域605は、各々左上位置情報630、620、610及び右下位置情報631、621、611に基づいて各四角形領域の位置及び大きさ情報を表わす。
【0145】
前記したように、3つの四角形領域603、604、605及び背景領域606は独立した複数のスライスから構成され、スライス単位で符号化及び復号化される。また、図15Bに示す映像の符号化及び復号化に際し、比較的小さな四角形領域603、604、大きな四角形領域605、及び背景領域606の順序に符号化することが好ましく、符号化される四角形領域の順序によって領域番号を割り当てて領域間の区別を可能にする。
【0146】
たとえば、図15(B)に示すように、最初に符号化される四角形領域603はid=0、このつぎに符号化される四角形領域604はid=1、そのつぎに符号化される大きな四角形領域605はid=3、そして背景領域606はid=4と各々領域番号を割り当てることができる。
【0147】
このように、2つの注目領域601、602と背景領域606との間に補間領域605を設定することによって、注目領域と背景領域との境界の発生を効果的に抑える。
【0148】
このように、四角形領域を用い、四角形の内部は注目領域、外部は背景領域として分離されたスライス構造を用いて効果的に注目領域符号化または映像内の映像の符号化を行うことができる。特に、前記したように、いくつかの四角形の領域が適宜重なるように構成することによって、映像内で領域間の境界が明確に表れる現象を抑えて漸次大きさが変化する映像を具現することができる。そして、注目領域を含むスライスは、誤りに対して一段と強い符号化が行われて、誤りを含む伝送環境下であっても、比較的良好な主観的画質を具現することが可能になる。
【0149】
図16は、実際の映像に本発明に係る符号化方法を適用した映像の画質と、従来の符号化方法による映像の主観的画質とを比較した結果を示す図面である。図16中、左側列は既存の符号化方法による主観的な画質を表わし、右側列は本発明に係る符号化方法による主観的画質を各々表わし、各々は20%のパケット損失率下における結果である。図16に示すように、注目領域の画質が向上されて全体的な主観的画質が向上され、注目領域が誤りに対して強固に保護されることによって、全体の主観的画質が向上されることがわかる。
【0150】
図17は、本発明に係る符号化方法を適用した映像の画質と、従来の符号化方法による映像の客観的画質とを比較した結果を示す図面である。図17中、左側列は全体映像のPSNR(Peak Signal to Noise Ratio)であり、右側の列は注目領域のPSNRを各々示す。図17に示すように、全体映像及び注目領域で、従来の符号化方法に比べて本発明に係る符号化方法でPSNRが向上されていることがわかる。
【0151】
本発明はまた、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取りが可能なデータが貯蔵されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ROM(read−only memory;読取り専用記憶装置)、RAM(random−access memory;ランダムアクセス記憶装置)、CD−ROM(compact−disk read only memory;コンパクトディスク読出し専用メモリー)、磁気テープ、フレキシブルディスク、光データ貯蔵装置等が挙げられ、またキャリアウェーブ(たとえば、インターネットを介して行われる伝送)の形態で具現されるものも含む。また、コンピュータで読取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式によりコンピュータで読取り可能なコードが貯蔵されて実行される。
【0152】
以上、本明細書では、図面を参照しながら本発明の最適の実施形態が開示された。ここでは、本発明の1実施形態を説明するために特定の用語が用いられたが、これらの用語は単に本発明の構成を説明するためのものであり、本発明を特定の意味に限定したり、あるいは特許請求の範囲に記載された本発明に係る技術的思想の範囲を制限したりするために用いられたものではない。したがって、本発明の属する技術分野における当業者であれば、このような本発明に係る1実施形態に基づいて、各種の変形及び均等な他の実施形態が可能であることは容易に理解されるであろう。よって、本発明の真の技術的な保護範囲は特許請求の範囲に記載された本発明の技術的思想によって決定されるべきである。
【0153】
【発明の効果】
以上説明したように構成される本発明によれば、以下の効果を奏する。
すなわち、本発明に係る人間の視覚特性を考慮した適応的符号化方法及び装置によれば、画面を注目領域と背景領域とに区分するが、両領域間の画質の差が急激にならないようにモデリングすることによって、画質を向上させることができる。
【図面の簡単な説明】
【図1】従来の通常の映像の圧縮過程を示す図面である。
【図2】本発明に係る人間の視覚特性を考慮した映像の符号化装置の一実施形態を模式的に示すブロック図である。
【図3】図2に示す本発明に係る映像の符号化装置で行われる映像の符号化方法の一実施形態のフローチャートである。
【図4】図2に示す本発明に係る符号化装置で図3に示す符号化方法を実行した際の1画面への注目領域、背景領域及び補間領域の設定の過程を示す図面であって、図4(A)は1画面への注目領域と背景領域の設定を示す図であり、図4(B)は注目領域と背景領域とがつながる領域のブロック化現象を除去する補間領域を設定すること示す図である。
【図5】図5(A)から図5(C)は、従来の技術と本発明との画質分布図を比較したグラフである。
【図6】図6(A)から図6(C)は、図2に示す画質モデリング部140で決定される量子化係数の特性を示す図面である。
【図7】図7(A)及び図7(B)は、線形または非線形的な量子化方式で、量子化係数の変化による画質及びビット量の変化を示す図面である
【図8】図8(A)から図8(C)は、実際の映像に本発明に係る符号化方法を適用した場合と、従来の符号化方法による映像とを比較した結果を示す図である。
【図9】本発明に係る人間の視覚特性を考慮した映像の復号化装置の一実施形態を模式的に示すブロック図である。
【図10】図8に示す装置で行われる映像の復号化方法の一実施形態を示すフローチャートである。
【図11】本発明の他の実施形態による映像の符号化装置1000のブロック図である。
【図12】図11に示す映像の符号化装置で行われる映像の符号化方法を示すフローチャートである。
【図13】本発明の他の実施形態による映像の復号化装置を模式的に示すブロック図である。
【図14】図13に示す映像の復号化装置における映像の復号化方法を示すフローチャートである。
【図15】図15(A)及び図15(B)は、本発明に係るスライスの処理方法を説明するための図面である。
【図16】実際の映像に本発明に係る符号化方法を適用した場合と、従来の符号化方法による映像の主観的画質とを比較した結果を示す図面である。
【図17】本発明に係る映像の符号化方法を適用した場合と、従来の映像の符号化方法による映像の客観的画質とを比較した結果を示す図である。
【符号の説明】
140 画質モデリング部
145 予測符号化部
150 変換符号化部
155 適応的量子化部
160 エントロピ符号化部
250 注目領域
260 背景領域
300’ 補間領域
300 画質構成部(画質モデリング部)
310 エントロピ復号化部
320 適応的逆量子化部
330 映像復元部
340 映像構成部
500 映像
502、503 四角形領域
504 背景領域
510、520 左上位置情報
511、521 右下位置情報
600 映像
603、604、605 四角形領域
606 背景領域
610、620、630 左上位置情報
611、621、631 右下位置情報
1000 発明に係る映像の符号化装置
1100 スライスモデリング部
1200 ピクチュアヘッダ符号化部
1300 スライス符号化部
1310 空間/時間予測符号化部
1320 変換及び量子化部
1330 エントロピ符号化部
2000 ピクチュアヘッダ復号化部
2100 スライス構成部
2200 スライス復号化部
2300 映像構成部
2210 エントロピ復号化部
2220 逆量子化及び逆変換部
2230 映像復元部
Claims (26)
- (a)注目領域と一の背景領域とを含む画面単位で入力された入力映像の画質が、前記注目領域から前記背景領域に向かって次第に低下し、前記注目領域と前記背景領域との間の補間領域内で画質が次第に変わるように入力映像の画質分布を画面単位でモデリングする段階と、
(b)1枚の画面を構成する、前記注目領域の量子化係数と前記背景領域の量子化係数とを前記画質分布のモデリング結果に基づいて決定し、前記補間領域の量子化係数を、前記画質分布のモデリング結果、前記注目領域の量子化係数及び前記背景領域の量子化係数によって決定する段階と、
(c)前記(b)段階で決定された量子化係数に基づいて映像データを量子化する段階と、
(d)量子化された映像データのエントロピを符号化する段階と、
を含むことを特徴とする映像の符号化方法。 - 前記(c)段階で量子化される映像データは、前記入力映像が予測符号化され、この予測符号化された映像が変換符号化された映像として構成されることを特徴とする請求項1に記載の映像の符号化方法。
- 前記(a)段階で行われる画質分布のモデリングは、前記注目領域の中心部分で最も高い画質を有し、この注目領域の中心部分から背景領域に向かって画質が次第に低下するガウス分布を有することを特徴とする請求項1に記載の映像の符号化方法。
- 前記(a)段階で行われる画質分布のモデリングは、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心部分から背景領域に向かって画質が次第に低下するように前記量子化係数が決定されることを特徴とする請求項1に記載の映像の符号化方法。
- 前記(b)段階で行われる画質変化による前記量子化係数が線形的に変化することを特徴とする請求項4に記載の映像の符号化方法。
- 前記(b)段階で行われる画質変化による前記量子化係数が非線形的に変化することを特徴とする請求項4に記載の映像の符号化方法。
- 請求項1に記載の映像の符号化方法をコンピュータで実行可能なプログラムコードで記録された記録媒体。
- 注目領域と一の背景領域とを含む画面単位で入力された入力映像の画質が前記注目領域から前記背景領域に向かって次第に低下し、前記注目領域と前記背景領域との間の補間領域内で画質が次第に変わるように入力映像の画質分布を画面単位でモデリングし、
1枚の画面を構成する、前記注目領域の量子化係数と前記背景領域の量子化係数とを前記画質分布のモデリング結果に基づいて決定し、前記補間領域の量子化係数を、前記画質分布のモデリング結果、前記注目領域の量子化係数及び前記背景領域の量子化係数によって決定する画質モデリング部と、
前記画質モデリング部で決定された量子化係数に基づいて映像データを量子化する適応的量子化部と、
前記適応的量子化部で量子化された映像データのエントロピを符号化するエントロピ符号化部と、
を備えることを特徴とする映像の符号化装置。 - 前記映像データは、映像が予測符号化され、この予測符号化された映像が変換符号化された映像データであることを特徴とする請求項8に記載の映像の符号化装置。
- 前記画質モデリング部は、前記画質分布がガウス分布を有するように量子化係数を決定することを特徴とする請求項8に記載の映像の符号化装置。
- 前記画質モデリング部は、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心領域から背景領域に向かって画質が次第に低下するように前記量子化係数が決定されることを特徴とする請求項8に記載の映像の符号化装置。
- 前記領域別の画質変化による前記量子化係数が、線形的に変化することを特徴とする請求項11に記載の映像の符号化装置。
- 前記領域別の画質変化による前記量子化係数が、非線形的に変化することを特徴とする請求項11に記載の映像の符号化装置。
- 注目領域と一の背景領域とを含む画面単位で入力された映像を符号化したビット列を復号化する映像の復号化方法であって、
(a)受信された前記ビット列から前記注目領域と前記背景領域との位置及び大きさ情報、量子化係数値情報を含む映像データを復号化する段階と、
(b)前記(a)段階で復号化された前記注目領域と前記背景領域との位置、大きさ及び前記量子化係数値情報に基づいて、前記注目領域から前記背景領域に向かって画質が低下するように、前記注目領域と前記背景領域との間に設定した補間領域の量子化係数の値を決定する段階と、
(c)前記(b)段階で決定された量子化係数の値を用いて復号化された映像データを逆量子化する段階と、
(d)前記(a)段階で復元された各領域の位置の値に基づいて各領域別に復元された映像を該当位置によって合わせて1つの画面に構成する段階と、
を含むことを特徴とする映像の復号化方法。 - 前記逆量子化された映像を逆変換して予測された情報を補償する段階を、さらに含むことを特徴とする請求項14に記載の映像の復号化方法。
- 前記(b)段階は、注目領域の中心部分で最も高い画質を有し、この注目領域の中心部分から背景領域に向かって画質が次第に低下するガウス分布を有するように前記量子化係数を決定することを特徴とする請求項14に記載の映像の復号化方法。
- 前記(b)段階は、前記注目領域の中心領域で最も高い画質を有し、この注目領域の中心領域から背景領域に向かって画質が次第に低下するように前記量子化係数を決定することを特徴とする請求項14に記載の映像の復号化方法。
- 前記量子化係数の値は、画質及びビット量に対して線形的に変化することを特徴とする請求項17に記載の映像の復号化方法。
- 前記量子化係数の値は、画質及びビット量に対して非線形的に変化することを特徴とする請求項17に記載の映像の復号化方法。
- 請求項14に記載の映像の復号化方法をコンピュータで実行可能なプログラムコードで記録された記録媒体。
- 注目領域と一の背景領域とを含む画面単位で入力された映像を符号化したビット列を復号化する映像の復号化装置であって、
受信されたビット列から各領域の位置情報、量子化係数の値、各領域の大きさ情報を含む映像データを復号化するエントロピ復号化部と、
前記エントロピ復号化部で復号化された前記注目領域と前記背景領域との位置、大きさ及び前記量子化係数の値の画質情報に基づいて、前記注目領域から前記背景領域に向かって画質が低下するように、前記注目領域と前記背景領域との間に設定した補間領域の量子化係数の値を決定する画質モデリング部と、
前記エントロピ復号化部から与えられた映像データを前記画質モデリング部で決定された各領域別の量子化係数の値に基づいて逆量子化して映像を復元する適応的逆量子化部と、
前記エントロピ復号化部から与えられる各領域の位置の値に基づいて各領域別に復元された映像を該当位置によって合わせて1つの画面に構成する映像構成部と、
を備えることを特徴とする映像の復号化装置。 - 前記適応的逆量子化部で復元された映像を逆変換し、予測された情報を補償して映像を復元する映像復元部をさらに備えることを特徴とする請求項21に記載の映像の復号化装置。
- 前記画質モデリング部で決定される各領域別の量子化係数の値は、注目領域の中心部分で最も高い画質を有し、この注目領域の中心部分から背景領域に向かって画質が次第に低下するガウス分布を有するように決定されることを特徴とする請求項21に記載の映像の復号化装置。
- 前記画質モデリング部で決定される各領域別の量子化係数の値は、注目領域を中心として注目領域、補間領域及び背景領域を設定し、前記背景領域から注目領域に向かって画質が次第に向上するように決定されることを特徴とする請求項21に記載の映像の復号化装置。
- 前記補間領域における量子化係数の値は、画質及びビット量に対して線形的に変化することを特徴とする請求項24に記載の映像の復号化装置。
- 前記補間領域における量子化係数の値は、画質及びビット量に対して非線形的に変化することを特徴とする請求項24に記載の映像の復号化装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR2002-602 | 2002-01-05 | ||
KR1020020000602A KR100624404B1 (ko) | 2002-01-05 | 2002-01-05 | 사람의 시각적 특성을 고려한 적응적 부호화 방법 및 장치 |
KR2002-51883 | 2002-08-30 | ||
KR10-2002-0051883A KR100528324B1 (ko) | 2002-08-30 | 2002-08-30 | 겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및 복호화 장치 및 방법 |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006210023A Division JP4495701B2 (ja) | 2002-01-05 | 2006-08-01 | 人間の視覚特性を考慮した映像の符号化方法、及び、記録媒体 |
JP2006210024A Division JP4495702B2 (ja) | 2002-01-05 | 2006-08-01 | 人間の視覚特性を考慮した映像の復号化方法 |
JP2007098922A Division JP4495743B2 (ja) | 2002-01-05 | 2007-04-04 | 映像の復号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003284071A JP2003284071A (ja) | 2003-10-03 |
JP4488679B2 true JP4488679B2 (ja) | 2010-06-23 |
Family
ID=36261837
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003000409A Expired - Fee Related JP4488679B2 (ja) | 2002-01-05 | 2003-01-06 | 人間の視覚特性を考慮した映像の符号化方法及び復号化方法並びにその装置 |
JP2006210023A Expired - Fee Related JP4495701B2 (ja) | 2002-01-05 | 2006-08-01 | 人間の視覚特性を考慮した映像の符号化方法、及び、記録媒体 |
JP2006210024A Expired - Fee Related JP4495702B2 (ja) | 2002-01-05 | 2006-08-01 | 人間の視覚特性を考慮した映像の復号化方法 |
JP2007098922A Expired - Lifetime JP4495743B2 (ja) | 2002-01-05 | 2007-04-04 | 映像の復号化方法 |
JP2008000214A Pending JP2008125118A (ja) | 2002-01-05 | 2008-01-04 | 人間の視覚特性を考慮した映像の符号化装置、復号化装置、符号化方法、及び、復号化方法 |
JP2009235782A Expired - Fee Related JP5284920B2 (ja) | 2002-01-05 | 2009-10-09 | 人間の視覚特性を考慮した映像の符号化装置、復号化装置、符号化方法、及び、復号化方法 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006210023A Expired - Fee Related JP4495701B2 (ja) | 2002-01-05 | 2006-08-01 | 人間の視覚特性を考慮した映像の符号化方法、及び、記録媒体 |
JP2006210024A Expired - Fee Related JP4495702B2 (ja) | 2002-01-05 | 2006-08-01 | 人間の視覚特性を考慮した映像の復号化方法 |
JP2007098922A Expired - Lifetime JP4495743B2 (ja) | 2002-01-05 | 2007-04-04 | 映像の復号化方法 |
JP2008000214A Pending JP2008125118A (ja) | 2002-01-05 | 2008-01-04 | 人間の視覚特性を考慮した映像の符号化装置、復号化装置、符号化方法、及び、復号化方法 |
JP2009235782A Expired - Fee Related JP5284920B2 (ja) | 2002-01-05 | 2009-10-09 | 人間の視覚特性を考慮した映像の符号化装置、復号化装置、符号化方法、及び、復号化方法 |
Country Status (4)
Country | Link |
---|---|
US (29) | US7277484B2 (ja) |
JP (6) | JP4488679B2 (ja) |
CN (1) | CN1250008C (ja) |
DE (1) | DE10300048B4 (ja) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1655620B (zh) | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
DE602005027837D1 (de) * | 2004-05-13 | 2011-06-16 | Qualcomm Inc | Zustellung von informationen über einen kommunikationskanal |
JP4189358B2 (ja) | 2004-06-17 | 2008-12-03 | 株式会社東芝 | 画像符号化装置及び方法 |
WO2006007279A2 (en) * | 2004-06-18 | 2006-01-19 | Thomson Licensing | Method and apparatus for video codec quantization |
WO2005125215A1 (ja) * | 2004-06-18 | 2005-12-29 | Fujitsu Limited | 画像データ符号化装置、および符号化方法 |
CN100366091C (zh) * | 2004-06-24 | 2008-01-30 | 华为技术有限公司 | 一种视频压缩方法 |
JP2006014121A (ja) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | 画像符号化方法、画像符号化装置および撮像装置 |
US20060062478A1 (en) * | 2004-08-16 | 2006-03-23 | Grandeye, Ltd., | Region-sensitive compression of digital video |
EP1585327A1 (de) * | 2004-10-02 | 2005-10-12 | Siemens Schweiz AG | Verfahren zur Datenreduktion bei Videoübertragung eines Hauptbildes |
EP1810249A4 (en) * | 2004-10-15 | 2014-09-10 | Seadragon Software Inc | SYSTEM AND METHOD FOR COMMUNICATION MANAGEMENT AND / OR STORAGE OF IMAGE DATA |
JP2006129248A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | 画像符号化方法および装置、ならびに画像復号方法および装置 |
JP4656912B2 (ja) | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
JP5001853B2 (ja) * | 2004-12-14 | 2012-08-15 | サムスン エレクトロニクス カンパニー リミテッド | 映像符号化及び復号化装置とその方法 |
JP4150730B2 (ja) * | 2005-02-14 | 2008-09-17 | 株式会社東芝 | 画像符号化装置、および画像符号化方法 |
US7894531B1 (en) * | 2005-02-15 | 2011-02-22 | Grandeye Ltd. | Method of compression for wide angle digital video |
US8290057B2 (en) | 2005-02-18 | 2012-10-16 | Mediatek Incorporation | Method of decoding a digital video sequence and related apparatus |
US7724972B2 (en) * | 2005-03-01 | 2010-05-25 | Qualcomm Incorporated | Quality metric-biased region-of-interest coding for video telephony |
US8768084B2 (en) * | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
US8693537B2 (en) * | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
CN103118254B (zh) | 2005-09-26 | 2016-01-20 | 三菱电机株式会社 | 运动图像编码装置以及运动图像译码装置 |
TWI256776B (en) * | 2005-10-25 | 2006-06-11 | Novatek Microelectronics Corp | Method and apparatus for calculating cost functions and the interpolation method thereof |
US7711199B2 (en) * | 2006-03-16 | 2010-05-04 | Samsung Electronics Co., Ltd. | Method for estimating quantization factor of compressed digital image |
KR100738109B1 (ko) * | 2006-04-03 | 2007-07-12 | 삼성전자주식회사 | 입력 신호의 양자화 및 역양자화 방법과 장치, 입력신호의부호화 및 복호화 방법과 장치 |
GB2438006A (en) * | 2006-05-09 | 2007-11-14 | Tandberg Television Asa | Adaptive quantisation for border processing |
US20080129844A1 (en) * | 2006-10-27 | 2008-06-05 | Cusack Francis J | Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera |
JP2008118533A (ja) * | 2006-11-07 | 2008-05-22 | Toshiba Corp | 復号化器、方法およびプログラム |
US8315466B2 (en) * | 2006-12-22 | 2012-11-20 | Qualcomm Incorporated | Decoder-side region of interest video processing |
US20080165843A1 (en) * | 2007-01-03 | 2008-07-10 | Human Monitoring Ltd. | Architecture for image compression in a video hardware |
US8019167B2 (en) | 2007-01-03 | 2011-09-13 | Human Monitoring Ltd. | Compressing high resolution images in a low resolution video |
US20080285645A1 (en) * | 2007-05-17 | 2008-11-20 | Tandberg Television Asa | Adaptive border processing |
JP4841504B2 (ja) * | 2007-05-31 | 2011-12-21 | 三洋電機株式会社 | 画像符号化装置および方法 |
TWI370440B (en) * | 2007-07-05 | 2012-08-11 | Novatek Microelectronics Corp | Image-information processing method and image display apparatus |
US20100278236A1 (en) * | 2008-01-17 | 2010-11-04 | Hua Yang | Reduced video flicker |
FR2929797A1 (fr) * | 2008-04-03 | 2009-10-09 | Thomson Licensing Sas | Procede et dispositif de codage d'une sequence d'images |
US8239896B2 (en) * | 2008-05-28 | 2012-08-07 | Sony Computer Entertainment America Inc. | Integration of control data into digital broadcast content for access to ancillary information |
CN101404778B (zh) * | 2008-07-16 | 2011-01-19 | 河北师范大学 | 综合的无参考视频质量评价方法 |
JP5063548B2 (ja) * | 2008-09-25 | 2012-10-31 | キヤノン株式会社 | 符号化装置および符号化方法 |
US9113169B2 (en) * | 2009-05-07 | 2015-08-18 | Qualcomm Incorporated | Video encoding with temporally constrained spatial dependency for localized decoding |
US8724707B2 (en) * | 2009-05-07 | 2014-05-13 | Qualcomm Incorporated | Video decoding using temporally constrained spatial dependency |
JP5303399B2 (ja) * | 2009-08-18 | 2013-10-02 | 日本放送協会 | 動画像ビット深度削減装置及びプログラム |
WO2011078721A1 (en) * | 2009-12-24 | 2011-06-30 | Intel Corporation | Wireless display encoder architecture |
RU2616155C1 (ru) * | 2010-06-04 | 2017-04-12 | Сони Корпорейшн | Устройство и способ обработки изображений |
JP2010206847A (ja) * | 2010-06-23 | 2010-09-16 | Sanyo Electric Co Ltd | 画像処理装置 |
EP2622859B1 (en) * | 2010-09-29 | 2016-08-31 | Dolby Laboratories Licensing Corporation | Region based asymmetric coding for 3d video compression |
JP5748463B2 (ja) * | 2010-12-02 | 2015-07-15 | キヤノン株式会社 | 符号化装置およびプログラム |
US20120170648A1 (en) | 2011-01-05 | 2012-07-05 | Qualcomm Incorporated | Frame splitting in video coding |
US9247203B2 (en) * | 2011-04-11 | 2016-01-26 | Intel Corporation | Object of interest based image processing |
CN103493490B (zh) | 2011-04-25 | 2016-12-28 | 杜比实验室特许公司 | 非线性视觉动态范围残留量化器 |
CN107105228B (zh) * | 2011-06-30 | 2020-03-20 | Jvc建伍株式会社 | 图像编码装置、图像编码方法、图像解码装置及图像解码方法 |
FR2978639B1 (fr) * | 2011-07-29 | 2015-09-25 | Cassidian Sas | Procedes de compression et de decompression d'images animees |
US8761543B2 (en) * | 2011-08-30 | 2014-06-24 | Microsoft Corporation | Image processing using bounds adjustment |
KR101812469B1 (ko) * | 2011-12-06 | 2017-12-27 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 방법 |
US10242650B2 (en) | 2011-12-06 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Perceptual luminance nonlinearity-based image data exchange across different display capabilities |
JP2012085350A (ja) * | 2011-12-22 | 2012-04-26 | Fujifilm Corp | 画像処理装置、画像処理方法、及びプログラム |
US10205953B2 (en) * | 2012-01-26 | 2019-02-12 | Apple Inc. | Object detection informed encoding |
JP5973766B2 (ja) * | 2012-03-30 | 2016-08-23 | キヤノン株式会社 | 画像処理装置 |
US9756327B2 (en) * | 2012-04-03 | 2017-09-05 | Qualcomm Incorporated | Quantization matrix and deblocking filter adjustments for video coding |
JP5866256B2 (ja) * | 2012-05-28 | 2016-02-17 | 富士フイルム株式会社 | 印刷管理装置及び方法、印刷管理システム、印刷システム、情報処理装置並びにプログラム |
JPWO2014002900A1 (ja) * | 2012-06-29 | 2016-05-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US11425395B2 (en) | 2013-08-20 | 2022-08-23 | Google Llc | Encoding and decoding using tiling |
WO2015040824A1 (ja) * | 2013-09-20 | 2015-03-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 送信方法、受信方法、送信装置及び受信装置 |
CN104270638A (zh) * | 2014-07-29 | 2015-01-07 | 武汉飞脉科技有限责任公司 | 一种ct影像感兴趣区域压缩与质量评估方法 |
KR101751807B1 (ko) * | 2014-08-27 | 2017-06-30 | 주식회사 큐램 | 이미지 처리 방법 및 그 시스템 |
EP3029937B1 (en) | 2014-12-03 | 2016-11-16 | Axis AB | Method and encoder for video encoding of a sequence of frames |
US20160173897A1 (en) * | 2014-12-10 | 2016-06-16 | Haihua Wu | High Parallelism Dependency Pattern for GPU Based Deblock |
CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
US9860535B2 (en) * | 2015-05-20 | 2018-01-02 | Integrated Device Technology, Inc. | Method for time-dependent visual quality encoding for broadcast services |
CN105611378B (zh) * | 2015-12-28 | 2018-12-18 | 上海集成电路研发中心有限公司 | 一种基于fpga来扩展dsp处理图像数据位宽的方法 |
CN106162177B (zh) * | 2016-07-08 | 2018-11-09 | 腾讯科技(深圳)有限公司 | 视频编码方法和装置 |
US11025918B2 (en) | 2016-12-29 | 2021-06-01 | Sony Interactive Entertainment Inc. | Foveated video link for VR, low latency wireless HMD video streaming with gaze tracking |
US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
JP6936018B2 (ja) * | 2017-02-21 | 2021-09-15 | ソニーセミコンダクタソリューションズ株式会社 | 映像送信装置および映像受信装置 |
US11172208B2 (en) * | 2017-02-28 | 2021-11-09 | Nokia Technologies Oy | Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming |
CN108668130A (zh) * | 2017-03-31 | 2018-10-16 | 晨星半导体股份有限公司 | 重组影像文件的方法 |
CN107846576B (zh) * | 2017-09-30 | 2019-12-10 | 北京大学 | 用于视觉特征数据编解码的方法及系统 |
JP6985609B2 (ja) * | 2018-05-21 | 2021-12-22 | 日本電信電話株式会社 | 符号化装置、画像補間システム及び符号化プログラム |
KR20200060282A (ko) * | 2018-11-21 | 2020-05-29 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
US10880354B2 (en) * | 2018-11-28 | 2020-12-29 | Netflix, Inc. | Techniques for encoding a media title while constraining quality variations |
WO2020150374A1 (en) | 2019-01-15 | 2020-07-23 | More Than Halfway, L.L.C. | Encoding and decoding visual information |
CN109951706B (zh) * | 2019-04-22 | 2021-01-01 | 湖南国科微电子股份有限公司 | 一种视频编码方法、装置及编码器 |
CN111935484B (zh) * | 2020-09-28 | 2021-01-19 | 广州佰锐网络科技有限公司 | 一种视频帧压缩编码方法及装置 |
CN113630599B (zh) * | 2021-07-08 | 2023-09-08 | 微梦创科网络科技(中国)有限公司 | 一种基于roi的视频码率控制方法及系统 |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4468074A (en) * | 1978-05-22 | 1984-08-28 | Rogers Corporation | Solderless connection technique and apparatus |
US4645280A (en) * | 1985-08-08 | 1987-02-24 | Rogers Corporation | Solderless connection technique between data/servo flex circuits and magnetic disc heads |
JPS63263982A (ja) | 1987-04-22 | 1988-10-31 | Nec Corp | 静止画像伝送装置 |
JPS6429074A (en) | 1987-07-24 | 1989-01-31 | Toshiba Corp | Picture transmission system |
JP2647929B2 (ja) | 1988-10-28 | 1997-08-27 | 日本電信電話株式会社 | 2地点間画像符号化方式 |
JPH03255792A (ja) * | 1990-03-05 | 1991-11-14 | Mitsubishi Electric Corp | 画質制御装置 |
US6104863A (en) * | 1990-08-17 | 2000-08-15 | Samsung Electronics Co., Ltd. | Video signal encoded with additional detail information |
JPH04331592A (ja) * | 1991-05-07 | 1992-11-19 | Oki Electric Ind Co Ltd | 動画像符号化装置 |
US5614952A (en) * | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
AU5632394A (en) * | 1993-03-05 | 1994-09-08 | Sony Corporation | Apparatus and method for reproducing a prediction-encoded video signal |
EP1069778A3 (en) * | 1993-04-09 | 2004-10-20 | Sony Corporation | Picture encoding method, picture encoding apparatus and picture recording medium |
GB2283876B (en) * | 1993-11-09 | 1998-06-24 | Matsushita Electric Ind Co Ltd | Encoding and decoding code sequences and frames |
US5537440A (en) | 1994-01-07 | 1996-07-16 | Motorola, Inc. | Efficient transcoding device and method |
JPH07322252A (ja) * | 1994-05-23 | 1995-12-08 | Canon Inc | 画像符号化装置 |
US5828421A (en) * | 1994-10-11 | 1998-10-27 | Hitachi America, Ltd. | Implementation efficient digital picture-in-picture decoding methods and apparatus |
JP3086396B2 (ja) | 1995-03-10 | 2000-09-11 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
US5745178A (en) * | 1996-01-22 | 1998-04-28 | Lucent Technologies Inc. | Global rate control for model-assisted coding of low bit rate video |
US5764803A (en) * | 1996-04-03 | 1998-06-09 | Lucent Technologies Inc. | Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences |
US5847771A (en) | 1996-08-14 | 1998-12-08 | Bell Atlantic Network Services, Inc. | Digital entertainment terminal providing multiple digital pictures |
US6097853A (en) | 1996-09-11 | 2000-08-01 | Da Vinci Systems, Inc. | User definable windows for selecting image processing regions |
US5844420A (en) * | 1997-01-27 | 1998-12-01 | Read-Rite Corporation | Fixture for testing a head gimbal assembly employing a flex interconnect circuit |
US5920359A (en) * | 1997-05-19 | 1999-07-06 | International Business Machines Corporation | Video encoding method, system and computer program product for optimizing center of picture quality |
US6516094B1 (en) | 1997-07-11 | 2003-02-04 | Matsushita Electric Industrial Co., Ltd. | Digital image coding method and digital image decoding method |
US5867208A (en) | 1997-10-28 | 1999-02-02 | Sun Microsystems, Inc. | Encoding system and method for scrolling encoded MPEG stills in an interactive television application |
US6178204B1 (en) | 1998-03-30 | 2001-01-23 | Intel Corporation | Adaptive control of video encoder's bit allocation based on user-selected region-of-interest indication feedback from video decoder |
US6256423B1 (en) * | 1998-09-18 | 2001-07-03 | Sarnoff Corporation | Intra-frame quantizer selection for video compression |
US6304295B1 (en) | 1998-09-18 | 2001-10-16 | Sarnoff Corporation | Region-based refresh strategy for video compression |
US6570922B1 (en) * | 1998-11-24 | 2003-05-27 | General Instrument Corporation | Rate control for an MPEG transcoder without a priori knowledge of picture type |
AU762996B2 (en) * | 1999-02-09 | 2003-07-10 | Motorola Australia Pty Ltd | An image compression system and method of determining quantisation parameters therefor |
US6493023B1 (en) * | 1999-03-12 | 2002-12-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method and apparatus for evaluating the visual quality of processed digital video sequences |
US6675387B1 (en) | 1999-04-06 | 2004-01-06 | Liberate Technologies | System and methods for preparing multimedia data using digital video data compression |
US6634008B1 (en) | 1999-06-20 | 2003-10-14 | Fujitsu Limited | Methodology server based integrated circuit design |
US6263022B1 (en) | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
KR100608036B1 (ko) | 1999-08-27 | 2006-08-02 | 삼성전자주식회사 | 영상 데이터 세그먼테이션 방법 및 장치 |
US6937773B1 (en) | 1999-10-20 | 2005-08-30 | Canon Kabushiki Kaisha | Image encoding method and apparatus |
US6507618B1 (en) * | 2000-04-25 | 2003-01-14 | Hewlett-Packard Company | Compressed video signal including independently coded regions |
JP2002064709A (ja) * | 2000-06-06 | 2002-02-28 | Canon Inc | 画像処理装置及びその方法とそのコンピュータプログラム及び記憶媒体 |
JP2002084540A (ja) | 2000-06-28 | 2002-03-22 | Canon Inc | 画像処理装置、画像処理方法、電子カメラ、及び、プログラム |
US6754270B1 (en) | 2000-09-29 | 2004-06-22 | Lucent Technologies, Inc. | Encoding high-definition video using overlapping panels |
JP2002290843A (ja) | 2001-03-26 | 2002-10-04 | Olympus Optical Co Ltd | 画像入力装置 |
JP2004530249A (ja) * | 2001-06-08 | 2004-09-30 | シーゲイト テクノロジー エルエルシー | Z軸導電性接着フィルムを使用したヘッド・ジンバル・アセンブリのプリント回路板への取付け |
KR100643453B1 (ko) | 2001-11-17 | 2006-11-10 | 엘지전자 주식회사 | 오브젝트 기반 비트율 제어방법 |
KR100643454B1 (ko) * | 2001-11-17 | 2006-11-10 | 엘지전자 주식회사 | 영상 데이터 전송 제어방법 |
AU2003237279A1 (en) * | 2002-05-29 | 2003-12-19 | Pixonics, Inc. | Classifying image areas of a video signal |
US6873341B1 (en) | 2002-11-04 | 2005-03-29 | Silicon Image, Inc. | Detection of video windows and graphics windows |
US7286710B2 (en) * | 2003-10-01 | 2007-10-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Coding of a syntax element contained in a pre-coded video signal |
CN100452551C (zh) * | 2004-07-09 | 2009-01-14 | 新科实业有限公司 | 磁头悬架组件上柔性印刷电路的“两步接触”夹紧机构 |
US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
-
2003
- 2003-01-03 DE DE10300048A patent/DE10300048B4/de not_active Expired - Lifetime
- 2003-01-05 CN CNB031075029A patent/CN1250008C/zh not_active Expired - Lifetime
- 2003-01-06 US US10/336,779 patent/US7277484B2/en not_active Expired - Lifetime
- 2003-01-06 JP JP2003000409A patent/JP4488679B2/ja not_active Expired - Fee Related
-
2005
- 2005-12-16 US US11/304,671 patent/US8599928B2/en active Active
- 2005-12-16 US US11/304,672 patent/US8036280B2/en not_active Expired - Fee Related
- 2005-12-16 US US11/304,701 patent/US8599930B2/en active Active
- 2005-12-16 US US11/304,627 patent/US8599927B2/en active Active
-
2006
- 2006-08-01 JP JP2006210023A patent/JP4495701B2/ja not_active Expired - Fee Related
- 2006-08-01 JP JP2006210024A patent/JP4495702B2/ja not_active Expired - Fee Related
-
2007
- 2007-01-31 US US11/700,141 patent/US8345773B2/en active Active
- 2007-01-31 US US11/700,057 patent/US8045621B2/en not_active Expired - Fee Related
- 2007-01-31 US US11/700,041 patent/US8345771B2/en active Active
- 2007-01-31 US US11/700,048 patent/US8345772B2/en active Active
- 2007-04-04 JP JP2007098922A patent/JP4495743B2/ja not_active Expired - Lifetime
-
2008
- 2008-01-04 JP JP2008000214A patent/JP2008125118A/ja active Pending
-
2009
- 2009-10-09 JP JP2009235782A patent/JP5284920B2/ja not_active Expired - Fee Related
-
2010
- 2010-05-18 US US12/801,040 patent/US8948268B2/en active Active
-
2014
- 2014-10-23 US US14/522,079 patent/US9848194B2/en not_active Expired - Lifetime
-
2015
- 2015-02-06 US US14/615,816 patent/US9774857B2/en not_active Expired - Lifetime
- 2015-02-06 US US14/615,801 patent/US9800871B2/en not_active Expired - Lifetime
- 2015-02-23 US US14/628,336 patent/US9106912B2/en not_active Expired - Fee Related
- 2015-02-23 US US14/628,347 patent/US9781426B2/en not_active Expired - Lifetime
- 2015-02-23 US US14/628,350 patent/US9843806B2/en not_active Expired - Lifetime
- 2015-02-23 US US14/628,338 patent/US9774858B2/en not_active Expired - Lifetime
- 2015-02-23 US US14/628,355 patent/US9774859B2/en not_active Expired - Lifetime
- 2015-02-23 US US14/628,341 patent/US9781425B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,705 patent/US9774862B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,693 patent/US9781429B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,716 patent/US9414075B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,691 patent/US9807394B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,724 patent/US9781430B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,741 patent/US9781432B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,681 patent/US9774861B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,664 patent/US9774860B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,677 patent/US9781428B2/en not_active Expired - Lifetime
- 2015-06-17 US US14/741,730 patent/US9781431B2/en not_active Expired - Lifetime
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4488679B2 (ja) | 人間の視覚特性を考慮した映像の符号化方法及び復号化方法並びにその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060428 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060801 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061101 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070404 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070509 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070629 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091014 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091019 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091116 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091119 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091214 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091217 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100330 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4488679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |