JP5264747B2 - マルチパスエンコーダにおける効率的な１パスのエンコーディングの方法および装置 - Google Patents

マルチパスエンコーダにおける効率的な１パスのエンコーディングの方法および装置 Download PDF

Info

Publication number
JP5264747B2
JP5264747B2 JP2009534613A JP2009534613A JP5264747B2 JP 5264747 B2 JP5264747 B2 JP 5264747B2 JP 2009534613 A JP2009534613 A JP 2009534613A JP 2009534613 A JP2009534613 A JP 2009534613A JP 5264747 B2 JP5264747 B2 JP 5264747B2
Authority
JP
Japan
Prior art keywords
pass
encoding
picture
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009534613A
Other languages
English (en)
Other versions
JP2010507983A (ja
Inventor
デーン ギョクチェ
シャオアン ルー
ゴミーラ クリスティーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010507983A publication Critical patent/JP2010507983A/ja
Application granted granted Critical
Publication of JP5264747B2 publication Critical patent/JP5264747B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明の原理は、一般にビデオエンコーディングに関し、より具体的にはマルチパスエンコーダ（ｍｕｌｔｉ−ｐａｓｓ ｅｎｃｏｄｅｒ）における効率的な１パス（ｆｉｒｓｔ−ｐａｓｓ）のエンコーディングのための方法および装置に関する。
マルチパスビデオエンコーディングシステムの効率は、入力ビデオに関する利用可能な情報の正確性によって決まる。ビデオに関する情報は、メタデータとして得られるか、または第１のエンコーディングパスにおいて収集され得る。この情報を使用して、効率的なマルチパスアルゴリズムは、全てのピクチャに対して一定のビデオ品質が得られるような方法で、ビットをビデオシーケンスの特定のセグメントに割り当てる。ビデオに関する情報に信頼性がある場合は、複数のピクチャにわたって複数のビットをより正確に分散させることができる。
複数のビットを複数のピクチャにわたって適切に分散させるために、典型的には、１パスを使用して、コード化されるべきビデオに対する情報を収集する。１パスは、事前解析（ｐｒｅ−ａｎａｌｙｓｉｓ）またはフルエンコーディング（ｆｕｌｌ−ｅｎｃｏｒｄｉｎｇ）のいずれかを伴うことができる。フルエンコーディングは、イントラモード（ｉｎｔｒａ ｍｏｄｅ）でのみピクチャをエンコードすることによる単純な手法で行うことができる。フルエンコーディングは、インターモード（ｉｎｔｅｒ ｍｏｄｅ）とイントラモードでピクチャをエンコードすることによる標準的な手法で行うこともできる。フルエンコーディングを用いる１パスは、ビデオの複雑性に関する、より信頼性のある情報を収集し、事前解析と比べて良好なビデオ品質をもたらす。さらに、１パスエンコーダが、２パスエンコーダと類似する構成設定で動作する場合、１パスから収集されるデータの信頼性は高くなる。しかしながら、これは、計算上より複雑である。
一般的に、ほとんどのマルチパスビデオエンコーディングシステムには、マルチパスエンコーディングシステム全体の計算上の複雑性において制限がある。したがって、このようなシステムは、典型的に、２パスエンコーダと非常に類似する設定の下で動作する１パスエンコーダを有することができない。このことは絶対的な状況ではないが、ほとんどのマルチパスエンコーディングシステムに関して非常に典型的なシナリオである。一般的に、１パスエンコーダは、後続する複数のパスに信頼性のある統計値を提供しつつ、迅速に稼動する必要がある。
１パスのエンコーディングの複雑性は、特定のマルチパスエンコーディングシステムの設計によって決まる。例えば、第１の従来技術のマルチパスビデオエンコーディングシステムでは、１パスのエンコーディングは、高品質レベルで実行され、多く時間を要する。このレベルの複雑性は、一部のアプリケーションに対しては許容可能な可能性があるが、リアルタイムまたはリアルタイムに近いレスポンスを目的とするほとんどのシステムは、単純であるが効率的な第１のエンコーディングパスを必要とする。
上述したように、マルチパスシステムの１パスを、事前解析ステップ／ステージ（以下、「事前解析ステージ」と称する）として、またはフルエンコーディングとして実装することができる。
マルチパスビデオエンコーディングシステムの１パスとしての事前解析ステージに関して、事前解析ステージは、単純なピクチャの差分計算または分散計算を実行して、ビデオ情報を収集することができる。第２のパスのエンコーディングは、１パスから収集された情報に基づいて実行される。事前解析の複雑性は、フルエンコーディングパスと比べると低い（すなわち、１パスの実行時間は短い）。しかしながら、事前解析から収集される情報は、あまり信頼性がなく、これはビデオ品質に関するパフォーマンス全体に影響する。高品質であることが、多くの高解像度ビデオアプリケーションの主要な要件であるので、１パスには、フルエンコーディングのような高度な方法が必要である。
マルチパスビデオエンコーディングシステムの１パスとしてのフルエンコーディングのステージに関して、フルエンコーディングを様々な方法で実行することができる。
例えば、１パスのフルエンコーディングステージの一例として、１パスのフルエンコーディングを、元の入力ビデオシーケンスを使用してイントラのみのエンコーディングで実行することができる。この場合、イントラピクチャのエンコーディングから得られるビットを使用して、後続するパスで使用されるイントラピクチャまたはインターピクチャのビットを予測することができる。しかし、イントラピクチャとインターピクチャは、異なるそれぞれの方法を使用してエンコードされるため、イントラピクチャからインターピクチャのビットを予測することは、あまり信頼性がない。
１パスのフルエンコーディングステージの他の例として、１パスのフルエンコーディングを、元の入力ビデオシーケンスを使用して、固定のエンコーダ構成設定を用いることによってイントラエンコーディングおよびインターエンコーディングで実行することができる。このタイプのエンコーディングは、イントラのみのエンコーディング方法と比べて、より信頼性のある情報を生成して、後続パスにおけるピクチャのビットを予測することができる。しかしながら、１パスのエンコーディングにおいて使用される固定の構成設定は、後続パスの構成設定と合致しないことがある。このため、後続パスに対するビット分配の正確性が害されることがある。
１パスのフルエンコーディングの状態のさらに別の例として、１パスのフルエンコーディングを、元の入力ビデオシーケンスを使用して様々なエンコーダ構成設定で実行することもできる。エンコーダの構成設定を変更することは、１パスのエンコーディングが、それらの設定の各々に対して複数回行われることを意味する。１パスのエンコーディングに最も良いパフォーマンスを生じさせる設定が、２パスのエンコーディングに適用される場合は、この手法で、全体としてより良いビデオ品質を得ることができる。
したがって、フルエンコーディングを用いる１パスは、ビデオ品質を改善するが、エンコーディング時間に関しては非効率的である。
図１を見ると、マルチパスビデオエンコーディングシステムが、参照番号１００で全体的に示されている。
マルチパスビデオエンコーディングシステム１００は、１パスエンコーダ１１０を含み、当該１パスエンコーダ１１０は、２パスエンコーダ１３０の第１の入力と信号通信で接続される第１の出力を有する。１パスエンコーダ１１０の第２の出力は、複雑性アナライザ（ｃｏｍｐｌｅｘｉｔｙ ａｎａｌｙｚｅｒ）１２０の入力と信号通信で接続される。複雑性アナライザ１２０の出力は、２パスエンコーダ１３０の第３の入力と信号通信で接続される。
１パスエンコーダ１１０の第１の入力、および２パスエンコーダ１３０の第２の入力は、ビデオソース信号を受信するための、マルチパスビデオエンコーディングシステム１００への入力として利用可能である。１パスエンコーダ１１０の第２の入力、および２パスエンコーダ１３０の第４の入力は、構成データ（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｄａｔａ）を受信するための、マルチエンコーディングシステム１００の入力として利用可能である。２パスエンコーダ１３０の出力は、ビットストリームを出力するための、マルチパスビデオエンコーディングシステム１００の出力として利用可能である。
したがって、上述したように、マルチパスビデオエンコーディングシステム１００への入力は、エンコーディングされる元のビデオソースと、各エンコーダが使用する構成データである。エンコーダの設定を決定する構成データは、パス毎に異なるものとすることができる。同一のビデオソースが、１パスエンコーダと２パスエンコーダの両方に典型的なマルチパスエンコーダの入力として与えられる。１パスエンコーダ１１０によって実行される、１パスのエンコーディングから得られる情報は、複雑性アナライザ１２０によって解析される。２パスエンコーダ１３０は、入力ビデオソースに加えて、複雑性アナライザ１２０と１パスエンコーダ１１０の両方からの情報を入力として直接取得することができる。複雑性アナライザ１２０によって２パスエンコーダ１３０に渡される情報は、各ピクチャタイプに対するビットとすることができる。１パスエンコーダ１１０から２パスエンコーダ１３０に渡される情報は、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ）とすることができる。マルチパスビデオエンコーディングシステム１００の出力は、例えば、ＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）のＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）第１０部ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｒｄｉｎｇ）、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）のＨ．２６４勧告（以下、「ＭＰＥＧ−４ＡＶＣ規格」と称する）、およびＩＳＯ／ＩＥＣ ＭＰＥＧ−２規格などのビデオ圧縮規格の１つに典型的には準拠している、圧縮されたビットストリームである。
図２を見ると、マルチパスビデオエンコーディングを実行するための方法が参照番号２００で全体的に示されている。
方法２００は、コントロールを機能ブロック２０９（例えば、手動操作の機能ブロック）に渡す、開始ブロック２０１を含む。機能ブロック２０９は、エンコーダのセットアップを実行し、コントロールを機能ブロック２１０に渡す。機能ブロック２１０は、第１のエンコーディングパスを実行し、コントロールを機能ブロック２２０に渡す。機能ブロック２２０は、複雑性解析を実行し、コントロールを機能ブロック２３０に渡す。機能ブロック２３０は、第２のエンコーディングパスを実行し、コントロールを終了ブロック２４０に渡す。
従来技術のこれらおよび他の欠点および不都合な点は、マルチパスエンコーダにおける効果的な１パスのエンコーディングのための方法および装置に関する本発明の原理によって解決される。
本発明の原理の一態様にかかる装置を提供する。当該装置は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部のサブサンプリングをすることによって少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行するための、マルチパスビデオエンコーダを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
本発明の原理の他の態様にかかる方法を提供する。当該方法は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部のサブサンプリングをすることによって、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行することを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
本発明の原理のさらに別の態様にかかる装置を提供する。当該装置は、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行するマルチパスビデオエンコーダであって、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用する情報の信頼性を向上させるために、当該１パスのエンコーディングからの情報の解析を実行するマルチパスビデオエンコーダを含む。
本発明の原理のさらに別の態様にかかる方法を提供する。当該方法は、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行することと、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用するための情報の信頼性を向上させるために当該１パスのエンコーディングからの情報の解析を実行することとを含む。
本発明の原理のさらに別の態様にかかる、マルチパスビデオエンコーダにおいて使用するための装置を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該装置は、当該１パスのエンコーディングの前に当該入力イメージデータの少なくとも一部をサブサンプリングするためのサブサンプラー（ｓｕｂ−ｓａｍｐｌｅｒ）を含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
本発明の原理のさらに別の態様にかかる、マルチパスビデオエンコーダにおいて使用するための方法を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該方法は、当該１パスのエンコーディングの前に当該入力イメージデータの少なくとも一部をサブサンプリングすることを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
本発明の原理のさらに別の態様にかかる、マルチパスビデオエンコーダにおいて使用する装置を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該装置は、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用する情報の信頼性を向上させるために当該１パスのエンコーディングからの情報の解析を実行するサブサンプリングアナライザを含む。
本発明の原理のさらなる態様にかかる、マルチパスビデオエンコーダにおいて使用するための方法を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該方法は、後続するパスのエンコーディング前に生起する後続する複雑性解析において使用するための情報の信頼性を向上させるために、当該１パスのエンコーディングからの情報の解析を実行することを含む。
本発明の原理に関するこれらおよび他の態様、特性および利点は、以下の例示的な実施形態の詳細な説明を添付の図面とともに読むことにより、明らかになるであろう。
本発明の原理は、例示の図に基づいてより良く理解されるであろう。
先行技術にかかるマルチパスビデオエンコーディングシステムのブロック図である。 先行技術にかかるマルチパスビデオエンコーディングを実行するための方法のブロック図である。 本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングを伴う例示的なマルチパスビデオエンコーディングシステムのブロック図である。 本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングおよび情報解析を伴う例示的なマルチパスビデオエンコーディングシステムのブロック図である。 本発明に原理の一実施形態にかかる、本発明の原理が適用されるマルチパスビデオエンコーディングシステムにおいて使用するための例示的なビデオエンコーダのブロック図である。 本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングを伴うマルチパスビデオエンコーディングのための例示的な方法のフロー図である。 本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングおよび情報解析を伴うマルチパスビデオエンコーディングのための例示的な方法のフロー図である。
本発明の原理は、マルチパスエンコーダにおける効果的な１パスのエンコーディングのための方法および装置に関する。
この「発明を実施するための形態」において本発明の原理を説明する。したがって、当業者は、本明細書に明確に記載または図示されていなくとも、本発明の原理を具現化し本発明の精神および範囲内に含まれる、様々な変更を行うことができることが理解されよう。
本明細書に記載され全ての例示および条件的表現は、技術の促進のために発明者によって寄与された本発明の原理および概念を理解する際に読者の助けとなるよう、教示的な目的が意図されており、このような具体的に記載された例示および条件に限定されないものとして解釈されるべきである。
さらに、本発明の原理、態様、および実施形態に言及している本明細書の全ての記述、ならびにそれらの特定の例示は、それらの構造的均等物および機能的均等物の両方を包含するように意図されている。さらに、このような均等物は、現在周知の均等物と将来開発される均等物の両方、すなわち構造に関わらず、同一の機能を実行するように開発される全ての要素を含むことが意図されている。
したがって、例えば、本明細書で提示されるブロック図が、本発明の原理を具現化する例示的な回路の概念ビューを表していることは、当業者には認識されよう。同様に、全てのフローチャート、フロー図、状態遷移図、疑似コードなどは、実質的にコンピュータ読み取り可能媒体で表すことができ、したがってコンピュータまたはプロセッサコンピュータが明示的に示されているか否かに関わらずコンピュータまたはプロセッサによって実行される、様々な処理を表していることが認識されよう。
図面に示された様々な要素の機能を、専用のハードウェア、および適切なソフトウェアに関連するソフトウェアを実行可能なハードウェアの使用を介して提供することができる。プロセッサによって提供されるとき、当該機能を、単一の専用プロセッサ、単一の共有プロセッサ、または一部が共有されることがある複数の個別のプロセッサによって提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することができるハードウェアのみを言及していると解釈されるべきではなく、限定ではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性のストレージも暗示的に含むことがある。
他のハードウェア、すなわち、従来および／またはカスタムハードウェアが含まれることもある。同様に、図面に示されている全てのスイッチは、単に概念的なものである。これらの機能を、プログラムロジックのオペレーションを通じて、専用ロジックを通じて、プログラム制御と専用ロジックとのインタラクションを通じて、または手動であっても実行することができ、特定の技術は、本明細書の文脈からより具体的に理解されるように実装者によって選択可能である。
本明細書の請求項において、特定の機能を実行するための手段として表わされる任意の要素は、例えば、ａ）その機能を実行する複数の回路要素の組み合わせ、またはｂ）ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアであって、その機能を実行する当該ソフトウェアを実行するための適切な回路と組み合わされたものなどを含め、その機能を実行する任意の方法を含むことが意図されている。特許請求の範囲によって定義される本発明の原理は、記載される様々な手段によって提供される機能が、特許請求の範囲によって提唱される手法で組み合わされ、結合されるという事実に属する。したがって、これらの機能を提供することができる全ての手段は、本明細書に示されているものと均等であると見なされる。
本明細書において、本発明の原理の「一実施形態」または「ある実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、本発明の原理の少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書を通して様々な箇所に現れる「一実施形態において」または「ある実施形態において」というフレーズは、必ずしも全て同じ実施形態を指しているものではない。
また、「イメージデータ」というフレーズは、静止画および動画（すなわち、動きを含む一連の画像）のいずれかに対応するデータを指すことが意図されていることも認識されたい。
「および／または」という用語の使用、例えば、「Ａおよび／またはＢ」の場合は、１番目に挙げられたオプション（Ａ）の選択、２番目に挙げられたオプション（Ｂ）の選択、または両方のオプション（ＡとＢ）の選択を含むことが意図されていることを認識されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」の場合、このフレーズは、1番目に挙げられたおオプション（Ａ）の選択、２番目に挙げられたオプション（Ｂ）の選択、３番目に挙げられたオプション（Ｃ）の選択、１番目および２番目に挙げられたオプション（ＡとＢ）の選択、１番目および３番目に挙げられたオプション（ＡとＣ）の選択、２番目および２番目に挙げられたオプション（ＢとＣ）の選択、または３つ全てのオプション（ＡとＢとＣ）の選択を含むことが意図されている。このことは、本分野および関連する分野の当業者によって容易に理解されるものとして、多数の要素が列挙された場合に関しても拡張されるべきである。
図３を見ると、サブサンプリングを有する例示的なマルチパスビデオエンコーディングシステムが、参照番号３００で全体的に示されている。
マルチパスビデオエンコーディングシステム３００は、１パスエンコーダ３１０の第１の入力と信号通信で接続される出力を有する、サブサンプラー（ｓｕｂ−ｓａｍｐｌｅｒ）３０５を含む。１パスエンコーダ３１０は、複雑性アナライザ３２０の入力と信号通信で接続される第１の出力を有する。複雑性アナライザ３２０の出力は、２パスエンコーダ３３０の第１の入力と信号通信で接続される。１パスエンコーダ３１０の第２の出力は、２パスエンコーダ３３０の第２の入力と信号通信で接続される。
サブサンプラー３０５の入力、および２パスエンコーダの第４の入力は、ビデオソース信号の受信のために、マルチパスビデオエンコーディングシステム３００の入力として利用可能である。１パスエンコーダ３１０の第２の入力、および２パスエンコーダ３３０の第３の入力は、構成データの受信のためにマルチパスビデオエンコーディングシステム３００の入力として利用可能である。２パスエンコーダ３３０の出力は、ビットストリームの出力のために、マルチパスビデオエンコーディングシステム３００の出力として利用可能である。
図４を見ると、サブサンプリングおよび情報の解析を伴う例示的なマルチパスビデオエンコーディングシステムが、参照番号４００で全体的に示されている。
マルチパスビデオエンコーディングシステム４００は、１パスエンコーダ４１０の第１の入力と信号通信で接続される出力を有する、サブサンプラー４０５を含む。１パスエンコーダ４１０は、サブサンプリングアナライザ４１５の入力と信号通信で接続される第１の出力を有する。サブサンプリングアナライザ４１５の出力は、複雑性アナライザ４２０の入力と信号通信で接続される。複雑性アナライザ４２０の出力は、２パスエンコーダ４３０の第１の入力と信号通信で接続される。１パスエンコーダ４１０の第２に出力は、２パスエンコーダ４３０の第２の入力と信号通信で接続される。
サブサンプラー４０５の入力、および２パスエンコーダの第４の入力は、ビデオソース信号の受信のために、マルチパスビデオエンコーディングシステム４００の入力として利用可能である。１パスエンコーダ４１０の第２の入力、および２パスエンコーダ４３０の第３の入力は、構成データの受信のために、マルチパスビデオエンコーディングシステム４００の入力として利用可能である。２パスエンコーダ４３０の出力は、ビットストリームの出力のために、マルチパスビデオエンコーディングシステム４００の出力として利用可能である。
図５を見ると、本発明の原理を適用することができるマルチパスビデオエンコーディングシステムにおいて使用するためのビデオエンコーダが、参照番号５００で全体的に示されている。
ビデオエンコーダ５００は、コンバイナ５８５の非反転（ｎｏｎ−ｉｎｖｅｒｔｉｎｇ）入力と信号通信する出力を有するフレーム順序付けバッファ（ｆｒａｍｅ ｏｒｄｅｒｉｎｇ ｂｕｆｆｅｒ）５１０を含む。コンバイナ５８５の出力は、変換器（ｔｒａｎｓｆｏｒｍｅｒ）および量子化器（ｑｕａｎｔｉｚｅｒ）５２５の第１の入力と信号通信で接続される。変換器および量子化器５２５の出力は、エントロピーコーダ５４５の第１の入力、ならびに反転変換器（ｉｎｖｅｒｓｅ ｔａｎｓｆｏｒｍｅｒ）および反転量子化器（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅｒ）５５０の第１の入力と信号通信で接続される。エントロピーコーダ５４５の出力は、コンバイナ５９０の第１の非反転入力と信号通信で接続される。コンバイナ５９０の出力は、出力バッファ５３５の第１の入力と信号通信で接続される。
エンコーダコントローラ５０５の第１の出力は、フレーム順序付けバッファ５１０の第２の入力と、反転変換器および反転量子化器５５０の第２の入力と、ピクチャタイプ決定モジュール５１５の入力と、マクロブロック（ｍａｃｒｏｂｌｏｃｋ）タイプ（ＭＢ−タイプ）決定モジュール５２０の入力と、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モジュール５６０の第２の入力と、非ブロック化（ｄｅｂｌｏｃｋｉｎｇ）フィルタ５６５の第２の入力と、モーションコンペンセータ（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｏｒ）５７０の第１の入力と、モーションエスティメータ（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ）５７５の第１の入力と、参照ピクチャバッファ５８０の第２の入力と信号通信で接続される。
エンコーダコントローラ５０５の第２の出力は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）インサータ５３０の第１の入力と、変換器および量子化器５２５の第２の入力と、エントロピーコーダ５４５の第２の入力と、出力バッファ５３５の第２の入力と、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｒ）およびＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）インサータ５４０の入力と信号通信で接続される。
ピクチャタイプ決定モジュール５１５の第１の出力は、フレーム順序付けバッファ５１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール５１５の第２の出力は、マクロブロックタイプ決定モジュール５２０の第２の入力と接続される。
ＳＰＳおよびＰＰＳインサータ５４０は、コンバイナ５９０の第３の非反転入力と信号通信で接続される。
反転量子化器および反転変換器５５０の出力は、コンバイナ５２５の第１の非反転入力と信号通信で接続される。コンバイナ５２５の出力は、イントラ予測モジュール５６０の第１の入力と、非ブロック化フィルタ５６５の第１の入力と信号通信で接続される。非ブロック化フィルタ５６５の出力は、参照ピクチャバッファ５８０の第１の入力と信号通信で接続される。参照ピクチャバッファ５８０の出力は、モーションエスティメータ８７５の第２の入力と接続される。モーションエスティメータ５７５の第１の出力は、モーションコンペンセータ５７０の第２の出力と信号通信で接続される。モーションエスティメータ５７５の第２の出力は、エントロピーコーダ５４５の第３の入力と信号通信で接続される。
モーションコンペンセータ５７０の出力は、スイッチ５９７の第１の入力と信号通信で接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール５２０の出力は、スイッチ５９７の第３の入力と信号通信で接続される。スイッチ５９７の出力は、コンバイナ５２５の第２の非反転入力と、コンバイナ５８５の反転入力と信号通信で接続される。
フレーム順序付けバッファ５１０およびエンコーダコントローラ５０５の入力は、入力ピクチャ５０１を受信するためのエンコーダ５００の入力として利用可能である。さらに、ＳＥＩインサータ５３０の入力は、メタデータを受信するためにエンコーダ５００の入力として利用可能である。出力バッファ５３５の出力は、ビットストリームを出力するためのエンコーダ５００の出力として利用可能である。
上述したように、本発明の原理は、マルチパスエンコーダにおける効果的な１パスのエンコーディングのための方法および装置に関する。ある実施形態において、本発明の原理は、可変ビットレートのマルチパスビデオエンコーダでて実装される。可変ビットレートのマルチパスエンコーダの目的は、異なるピクチャ間でビット割り当てを変化させることによって一定のビデオ品質を提供することである。そのために、典型的に、１パスを使用して、コード化されるべきビデオに対する情報を収集する。１パスは、事前解析またはフルエンコーディングのいずれかとすることができる。フルエンコーディングを用いる１パスは、ビデオの複雑性に関するより信頼性のある情報を収集して、事前解析と比べてより良いビデオ品質を得る。しかし、フルエンコーディングは、計算上より複雑である。複雑性を低く維持するために、ある実施形態において、本発明の原理に関連して本明細書で説明される方法および装置は、入力ビデオシーケンスのサブサンプリングを実行して、早くて効果的な１パスのビデオエンコーディングを実行する。ある実施形態において、サブサンプリング法には、空間（ｓｐａｔｉａｌ）サブサンプリング技術および／または時間（ｔｅｍｐｏｒａｌ）サブサンプリング技術が含まれる。空間および時間サブサンプリングを実行する異なる実施形態も、本明細書で提案されることを認識されたい。
さらに、ある実施形態において、本発明の原理にかかるサブサンプリング技術または任意の他の事前解析の技術が使用されると、１パスのエンコーディングから取得された情報を解析して、より信頼性のある情報を複雑性アナライザに提供する、サブサンプリングアナライザも提案する。したがって、本明細書で提供されるサブサンプリングアナライザは、本明細書内で説明される本発明の原理にかかるサブサンプリングを用いた１パスのフルエンコーディングだけには限定されず、本明細書内で提供される本発明の教示を与えられると、本分野および関連する分野の当業者は、本発明の原理の趣旨を維持しつつ他のタイプの１パスのフルエンコーディングスキームで使用することができる。
本発明の様々な実施形態にしたがって、ビデオ情報の正確な基準を提供しつつ、マルチパスビデオエンコーダの１パスのエンコーディングを高速化するために、いくつかの例示的なアプローチを提案する。ある実施形態において、これは、入力ビデオシーケンスをサブサンプリングすることによって行われる。図４において、機能ブロック４０５は、提案するビデオサブサンプリングブロックの、マルチパスビデオエンコーディングシステム４００の全体における例示的な位置を示す。空間分解能（ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ）および／または時間分解能（ｔｅｍｐｏｒａｌ ｒｅｓｏｌｕｔｉｏｎ）を減少させることによって、提案するビデオサブサンプリングを行うことができる。サブサンプリングを使用するマルチパスビデオエンコーディングの例示的な方法は、本明細書において図６に関連して以下に示され、説明される。本発明の原理は、本明細書に記載された以下の方法、またはこれらの様々な変形形態だけに限定されないことを認識されたい。したがって、当技術分野または関連技術分野の当業者は、本明細書で提供される本発明の原理の教示を与えられることにより、本発明の趣旨を維持しつつ、マルチパスエンコーダ内の効果的な１パスのエンコーディングのための入力ビデオのサブサンプリングを実行する、これらおよび様々な他の方法を検討するであろう。
方法１：空間分解能の減少
本発明の原理にかかる第１の方法（以下、「第１の方法」と称する）に関連する実施形態において、入力ビデオシーケンスの空間分解能は、１パスにおいて処理される前に減少される。第１の方法を、事前解析パスおよびフルエンコーディング１パスの両方に適用することができることを理解されたい。第１の方法は、１パスにおいて処理されるサンプルの数を減少させるものであり、１パスの処理方法を変えることはない。
第１の方法に関連する実施形態において、空間分解能の減少は、半分または４分の１などの、より小さな分解能となるように、入力ピクチャのピクセル数をサブサンプリングすることによって得られる。サブサンプリングを、最近傍によって、あるいは、これには限られないが双一次（ｂｉｌｉｎｅａｒ）または双三次（ｂｉ−ｃｕｂｉｃ）イメージ補間を含む補間フィルタベースの方法を使用することによって、異なる方法で実行することができることを理解されたい。サブサンプリングを実行するための上述の方法は単に例示であり、本明細書において提供される本発明の原理の教示により、当技術分野および関連する技術分野の当業者は、本発明の原理の趣旨を維持しつつ、本発明の原理に従ってサブサンプリングを実行してマルチパスエンコーダにおける効果的な１パスのエンコーディングを提供する、これらおよび様々な他の方法を検討するであろうことを理解されたい。
第１の方法に関連する他の実施形態において、空間分解能の減少は、フル分解能の入力ピクチャを、半分または４分の１などのより小さな分解能までトリミングする（ｃｒｏｐｐｉｎｇ）ことによって得られる。より小さな分解能を、様々なトリミング方法によって得ることができる。例えば、幅の１／４および高さの１／４を、イメージの右部、左部、上部および下部から対称的にトリミングすると、半分の分解能を得ることができる。別の例として、異なる数の水平ピクセルを、イメージの下部と上部からトリミングし、および／または異なる数の垂直ピクセルを、イメージの左部と右部から非対称にトリミングすることができる。
方法２：時間的分解能の減少
本発明の原理にかかる第２の方法（以下、「第２の方法」と称する）に関連する実施形態において、入力ビデオシーケンスの時間分解能は、１パスで処理される前に減少される。第２の方法を、第１の方法の場合のように、事前解析パスおよびフルエンコーディングの１パスの両方に適用することができる。
第２の方法を第１の方法と比較した場合の１つの相違点は、第２の方法は、ピクチャサイズを元のピクチャサイズと同一に保ちつつ、第１のパスにおいて処理されるサンプルの数を減少させることである。第１の方法と同様に、第２の方法も１パスの処理方法を変えることはない。
第２の方法に関連する実施形態において、時間分解能の減少は、あるＳＯＰ（Ｓｅｔ ｏｆ Ｐｉｎｃｕｒｅｓ：ピクチャのセット）をＳＯＰ１つおきにスキップすることによる、規則的なサブサンプリングによって得られることがある。この実施形態において、スキップされるピクチャの数は、あるＳＯＰ内のピクチャの数と同一であってよい。ＳＯＰの長さは、１以上の任意の数とすることができる。
第２の方法に関連する他の実施形態において、時間分解能の減少は、各ＳＯＰの最後のＮ個のピクチャを規則的にスキップすることによって得られることがあり、ここでＮはＳＯＰの長さより小さい。
第２の方法に関連するさらに別の実施形態において、時間分解能の減少は、各ＳＯＰの最初のＭ個のピクチャを不規則にスキップすることによって得られることがあり、ここでＭはＳＯＰの長さより小さい。
方法３：空間分解能および時間分解能の両方の減少
本発明の原理にかかる第３の方法（以下、第３の方法と称する）に関連する実施形態において、入力ビデオシーケンスの空間分解能および時間分解能を、１パスにおける処理される前に減少させる。この方法を、第１の方法および第２の方法の場合と同様に、事前解析パスおよびフルエンコーディング１パスの両方に適用することができる。
第３の方法は、限定ではないが、以下の実施形態を含め、第１の方法および第２の方法の可能な組み合わせの全てを含む。
ある実施形態において、半分の分解能とする空間的サブサンプリングを、１つおきにＳＯＰをスキップすることによる規則的な時間的サブサンプリングと組み合せることができる。
別の実施形態において、半分の分解能とする空間的サブサンプリングを、不規則な時間的サブサンプリングと組み合わせることができる。
説明した第１、第２および第３の方法を適用して、２つより多いパスを有するマルチパスエンコーディングアルゴリズムをサポートすることができる。説明した方法を、マルチパスエンコーダに基づく以前の事前解析にも適用することができる。
情報解析を実行して信頼性ある情報を複雑性解析に提供するための方法案
典型的なマルチパスエンコーダにおいて、１パスエンコーダから得られる情報は、複雑性アナライザによって解析される。複雑性アナライザの効率性は、当該複雑性アナライザが利用可能な情報の信頼性および量によって決まる。ある実施形態において、我々は、１パスから得られる情報を解析して処理する方法を提案し、複雑性アナライザにとってより信頼性のある情報を生成する。マルチパスビデオエンコーダブロック図を、提案するアナライザのブロックとともに図４に関連して図示して説明し、また、提案する情報解析を用いる、対応する方法を、図７に関連して図示して説明する。提案するサブサンプリングアナライザは、提案するサブサンプリング方法が実行中のとき、または他の事前解析方法がマルチパスエンコーディングシステム内で使用されているときのいずれかに使用されることが可能である。
サブサンプリングアナライザは、これらには限られないが、量子化パラメータ、ピクチャ毎のビット、およびピクチャタイプを含む情報を、提案するビデオサブサンプリングブロックとともに実行される１パスのエンコーディングから取得し、複雑性アナライザによって使用されるサブサンプリングされていないビデオに関する情報を推定（ｅｓｔｉｍａｔｅ）する。以下の推定手順を、サブサンプリングを伴わない１パスの情報が、サブサンプリングを伴う１パスの後に得られる情報によって推定される、特定の実施形態において使用することができる。
あるピクチャのセット内のＰ（ｐｒｅｄｉｃｔｉｖｅ：予測）ピクチャの平均ＱＰ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ：量子化パラメータ）を、推定する必要があると仮定する。ここで、ｑp_pass1は、変数を表す。提案するサブサンプリング方法を用いた１パス、およびその後の１パスのエンコーディングから得られる、Ｐピクチャの平均量子化パラメータ（すなわちｑp_pass1_subsampled）、Ｂ（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ：双予測）ピクチャの平均量子化パラメータ（すなわちｑB_pass1_subsampled）、およびＩ（ｉｎｔｒａ:イントラ）ピクチャの平均量子化パラメータ（すなわちｑI_pass1_subsampled）を使用することによって、ｑp_pass1を推定したいとする。ｑp_pass1を、以下のように推定することができる。
Figure 0005264747
ここで、αI、αP、αBは、重み係数であり、ｑp_pass1_subsampled、ｑB_pass1_subsampled、ｑI_pass1_subsampledは既知の値（提案するサブサンプリング方法を用いた１パスのエンコーディングから得られる情報）である。トレーニングデータを使用することによって、α＝［αI αP αB]を得ることができる。言い換えると、様々なＳＯＰの長さおよびＳＯＰの構造を使用することによってオフラインでシミュレーションを実行し、サブサンプリングされていないビデオを有する１パスの情報を最も良く推定する係数を、見つけることができる。
重み係数を見つけるための１つの方法は、以下の等式を解くことによる方法である。
Figure 0005264747
ここで、ｑI_pass1_subsampled_sop1からｑI_pass1_subsampled_sopN、ｑP_pass1_subsampled_sop1からｑP_pass1_subsampled_sopN、ｑB_pass1_subsampled_sop1からｑB_pass1_subsampled_sopN、ｑP_pass1_sop1からｑP_pass1_sopNが、シミュレーションから得られる。
上記の例において、Ｐピクチャの量子化パラメータの推定を示した。同じ推定手順を使用して、Ｐピクチャ、Ｉピクチャ、またはＢピクチャの量子化パラメータもしくはビットを推定することができる。さらに、異なる事前解析アルゴリズムを使用する１パスのエンコーディングにとっても、提案するサブサンプリングアナライザは有効である可能性がある。
図６を見ると、サブサンプリングを伴うマルチパスビデオエンコーディングの例示的な方法が、参照番号６００で全体的に示されている。
方法６００は、コントロールを機能ブロック６０５にパスする開始ブロック６０１を含む。機能ブロック６０５は、ビデオサンプリングを実行し、コントロールを機能ブロック６０９（例えば、手動操作の機能ブロック）に渡す。機能ブロック６０９は、エンコーダのセットアップを実行させ、コントロールを機能ブロック６１０に渡す。機能ブロック６１０は、第１のエンコーディングパスを実行し、コントロールを機能ブロック６２０に渡す。機能ブロック６２０は、複雑性解析を実行し、コントロールを機能ブロック６３０に渡す。機能ブロック６３０は、第２のエンコーディングパスを実行し、コントロールを終了ブロック６４０に渡す。
図７を見ると、サブサンプリングおよび情報解析を伴うマルチパスビデオエンコーディングの例示的な方法が、参照番号６００で全体的に示されている。
方法７００は、コントロールを機能ブロック７０５に渡す開始ブロック７０１を含む。機能ブロック７０５は、ビデオサンプリングを実行し、コントロールを機能ブロック７０９（例えば、手動操作の機能ブロック）に渡す。機能ブロック７０９は、エンコーダのセットアップを実行させ、コントロールを機能ブロック７１０に渡す。機能ブロック７１０は、第１のエンコーディングパスを実行し、コントロールを機能ブロック７１５に渡す。機能ブロック７１５は、サブサンプリング解析を実行し、コントロールを機能ブロック７２０に渡す。機能ブロック７２０は、複雑性解析を実行し、コントロールを機能ブロック７３０に渡す。機能ブロック７３０は、第２のエンコーディングパスを実行し、コントロールを終了ブロック７４０に渡す。
その一部は上述されている、本発明の多くの付随の利点／特徴の一部をここで説明する。例えば、ある利点／特徴は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部をサブサンプリングすることによって、少なくとも１つのピクチャに関する当該入力イメージデータの当該１パスのエンコーディングを実行するためのマルチパスビデオエンコーダを含む装置である。サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
他の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって、入力イメージデータの少なくとも一部を空間的にサブサンプリングする装置である。
他の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させるマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間解像度を減少させるマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つをトリミングすることによって、入力イメージデータの少なくとも一部を空間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
また、別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であり、当該マルチパスビデオエンコーダは、１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行し、当該情報は、後続するパスのエンコーディングに使用される。
さらに、別の利点／特徴は、上述したような１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するマルチパスビデオエンコーダを有する装置であって、当該複雑性解析の前の１パスのエンコーディングからの情報の解析が、後続するパスのエンコーディングのための入力イメージデータの圧縮パラメータの統計的な推定を提供するために実行される装置である。
さらに、別の利点／特徴は、上述したような１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するマルチパスビデオエンコーダを有する装置であり、圧縮パラメータの統計的な推定は、サブサンプリングを伴わない入力イメージデータに関連するものである。
また、別の利点／特徴は、上述したような１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するマルチパスビデオエンコーダを有する装置であって、当該情報が、量子化パラメータ、ピクチャ毎のビット、およびピクチャタイプの少なくとも１つを含む装置である。
さらに、別の利点／特徴は、マルチパスビデオエンコーダにおいて使用するための装置である。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該装置は、当該１パスのエンコーディングの前に当該入力イメージデータの少なくとも一部をサブサンプリングするためのサブサンプラーを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
さらに、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって入力イメージデータの少なくとも一部を空間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させるサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させるサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
また、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つをトリミングすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
また、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
さらに、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するためのサブサンプリングアナライザをさらに含む装置である。
さらに、別の利点／特徴は、上述したようなサブサンプラーおよびサブサンプリングアナライザを有する装置であって、１パスのエンコーディングからの情報の解析が、後続するパスのエンコーディングのための入力イメージデータに関する圧縮パラメータの統計的な推定を提供するために、当該情報の複雑性解析の前に実行される装置である。
さらに、別の利点／特徴は、上述したようなサブサンプラーおよびサブサンプリングアナライザを有する装置であり、圧縮パラメータの統計的な推定は、サブサンプリングを伴わない入力イメージデータに関連するものである。
また、別の利点／特徴は、上述したようなサブサンプラーおよびサブサンプリングアナライザを有する装置であって、当該情報が、量子化パラメータ、ピクチャ毎のビット、およびピクチャタイプの少なくとも１つを含む装置である。
本発明の原理のこれらおよび他の特徴は、関連する技術分野の当業者によって本明細書の教示に基づいて容易に解明されるであろう。本発明の原理の教示を、ハードウェア、ソフトウェア、ファームウェア、専用のプロセッサ、またはそれらの組み合わせといった様々な形態で実装することができる。
本発明の原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装されることが最も好ましい。さらに、ソフトウェアを、プログラム記憶ユニットにおいて明白に具現化されるアプリケーションプログラムとして実装することができる。アプリケーションプログラムを、任意の適切なアーキテクチャを備えるマシンにロードし、当該マシンによって実行することができる。当該マシンは、好ましくは、１つまたは複数の中央処理装置（ＣＰＵ）、ＲＡＭ、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォームにおいて実装される。コンピュータプラットフォームには、オペレーティングシステムおよびマイクロインストラクション（ｍｉｃｒｏｉｎｓｔｒｕｃｔｉｏｎ）コードも含めることができる。本明細書において説明された様々なプロセスおよび機能を、ＣＰＵによって実行され得るマイクロインストラクションコードの部分、アプリケーションプログラムの部分、またはそれらの任意の組み合わせいずれかとすることができる。さらに、追加データ記憶装置および印刷装置などの他の様々な周辺ユニットを、当該コンピュータプラットフォームに接続することができる。
添付の図に示された、構成要素であるシステムコンポーネントおよび方法の一部は、ソフトウェアで実装されるのが好ましいので、システムコンポーネント間の実際の接続またはプロセスの機能ブロックは、本発明の原理がプログラムされる手法に応じて異なる可能性があることをさらに理解されたい。本明細書の教示によると、関連する技術分野の当業者は、本発明の原理のこれらおよび類似する実装または構成を予期することができる。
本明細書において、例示的な実施形態を、添付の図面を参照して説明してきたが、本発明の原理は、これらの実施形態そのものに限定されず、本発明の原理の範囲または趣旨から逸脱することなく、様々な変更および修正が関連する技術分野の当業者によって達成されるであろう。このような変更および修正の全ては、添付の特許請求の範囲において説明される本発明の原理の範囲内に含まれるように意図されている。

Claims (25)

  1. １パスのエンコーディングの前に入力イメージデータの少なくとも一部をサブサンプリングすることによって少なくとも１つのピクチャに関する前記入力イメージデータの前記１パスのエンコーディングを実行するためのマルチパスビデオエンコーダを含む装置であって、
    前記サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つであり、
    前記マルチパスビデオエンコーダは、前記１パスのエンコーディングからの情報のサブサンプリング解析を前記情報の複雑性解析に先立って実行し、前記情報は、後続するパスのエンコーディングで使用するためのものであって、前記サブサンプリング解析および前記複雑性解析において、前記１パスのエンコーディングおよび前記後続するパスのエンコーディングとは独立に解析される、前記装置。
  2. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングする、請求項１に記載の装置。
  3. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項２に記載の装置。
  4. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項２に記載の装置。
  5. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つをトリミングすることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングする、請求項１に記載の装置。
  6. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項５に記載の装置。
  7. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項５に記載の装置。
  8. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１に記載の装置。
  9. 前記マルチパスビデオエンコーダは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１に記載の装置。
  10. 前記マルチパスビデオエンコーダは、前記１パスのエンコーディングからの情報の解析を当該情報の複雑性解析に先立って実行し、前記情報は、後続するパスのエンコーディングに使用される、請求項１に記載の装置。
  11. 前記複雑性解析に先立つ前記１パスのエンコーディングからの情報の解析は、前記後続するパスのエンコーディングについて前記入力イメージデータの圧縮パラメータの統計的な推定を提供するのに実行される、請求項１０に記載の装置。
  12. 少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを、当該１パスのエンコーディングの前に前記入力イメージデータの少なくとも一部をサブサンプリングすることによって実行するステップと、
    前記１パスのエンコーディングからの情報のサブサンプリング解析を前記情報の複雑性解析に先立って実行するステップであって、前記情報は、後続するパスのエンコーディングで使用するためのものであって、前記サブサンプリング解析および前記複雑性解析において、前記１パスのエンコーディングおよび前記後続するパスのエンコーディングは独立に解析される、ステップと、
    を含む方法であって、前記サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである、前記方法。
  13. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングする、請求項１２に記載の方法。
  14. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１３に記載の方法。
  15. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータのなくとも一部を時間的にサブサンプリングする、請求項１３に記載の方法。
  16. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つをトリミングすることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングする、請求項１２に記載の方法。
  17. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１６に記載の方法。
  18. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１６に記載の方法。
  19. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１２に記載の方法。
  20. 前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする、請求項１２に記載の方法。
  21. 前記１パスのエンコーディングからの情報の解析を、当該情報の複雑性解析に先立って実行するステップをさらに含み、前記情報は、後続するパスのエンコーディングに使用される、請求項１３に記載の方法。
  22. 前記複雑性解析に先立つ前記１パスのエンコーディングからの情報の解析は、前記後続するパスのエンコーディングについて前記入力イメージデータの圧縮パラメータの統計的な推定を提供するのに実行される、請求項２１に記載の方法。
  23. 少なくとも１つのピクチャの入力イメージデータの１パスのエンコーディングを実行し、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用される情報の信頼性を向上させるため前記１パスのエンコーディングからの情報の解析を実行する、マルチパスビデオエンコーダを備えた装置であって、前記情報の解析は、前記１パスから取得されるＰピクチャ、Ｂピクチャ、およびＩピクチャからのパラメータの重み付けされた平均を使用することによって実行される、前記装置。
  24. 少なくとも１つのピクチャの入力イメージデータの１パスのエンコーディングを実行するステップと、
    後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用される当該情報の信頼性を向上させるため前記１パスのエンコーディングからの情報の解析を実行するステップと、
    を含み、前記情報の解析は、前記１パスから取得されるＰピクチャ、Ｂピクチャ、およびＩピクチャからのパラメータの重み付けされた平均を使用することによって実行される、前記方法。
  25. 前記１パスのエンコーディングからの前記情報の解析は、前記後続するパスのエンコーディングについて前記入力イメージデータの圧縮パラメータの統計的な推定を提供するのに、前記情報の複雑性解析に先立って実行される、請求項２４に記載の方法。
JP2009534613A 2006-10-25 2007-10-22 マルチパスエンコーダにおける効率的な１パスのエンコーディングの方法および装置 Expired - Fee Related JP5264747B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US86277806P 2006-10-25 2006-10-25
US60/862,778 2006-10-25
PCT/US2007/022422 WO2008051517A2 (en) 2006-10-25 2007-10-22 Methods and apparatus for efficient first-pass encoding in a multi-pass encoder

Publications (2)

Publication Number Publication Date
JP2010507983A JP2010507983A (ja) 2010-03-11
JP5264747B2 true JP5264747B2 (ja) 2013-08-14

Family

ID=39279027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009534613A Expired - Fee Related JP5264747B2 (ja) 2006-10-25 2007-10-22 マルチパスエンコーダにおける効率的な１パスのエンコーディングの方法および装置

Country Status (6)

Country Link
US (1) US20100027622A1 (ja)
EP (1) EP2087739A2 (ja)
JP (1) JP5264747B2 (ja)
CN (1) CN101529912B (ja)
BR (1) BRPI0717322A2 (ja)
WO (1) WO2008051517A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8031777B2 (en) * 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
EP2200321A1 (en) * 2008-12-19 2010-06-23 Thomson Licensing Method for browsing video streams
US8867613B2 (en) 2008-12-29 2014-10-21 Thomson Licensing Method and apparatus for rate control for compression of video frames
CN102450009B (zh) * 2009-04-20 2015-07-22 杜比实验室特许公司 在视频应用中用于视频预处理的滤波器选择
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
WO2011084916A1 (en) * 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation Multiple-pass rate control for video coding applications
US20130077674A1 (en) * 2011-09-23 2013-03-28 Media Excel Korea Co. Ltd. Method and apparatus for encoding moving picture
EP2680219A1 (en) * 2012-06-29 2014-01-01 Thomson Licensing Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence
JP2014230031A (ja) * 2013-05-21 2014-12-08 日本放送協会 画像符号化装置、及び画像符号化プログラム
WO2015033510A1 (ja) * 2013-09-09 2015-03-12 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
CN104244004B (zh) * 2014-09-30 2017-10-10 华为技术有限公司 低功耗编码方法及装置
FR3035729B1 (fr) 2015-04-28 2020-11-27 Ateme Procede d'analyse d'une sequence video et equipement pour la mise en oeuvre du procede
US9807416B2 (en) * 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US11089329B1 (en) * 2016-06-28 2021-08-10 Amazon Technologies, Inc Content adaptive encoding
CN109640081B (zh) * 2019-02-14 2023-07-14 深圳市网心科技有限公司 一种帧内预测方法、编码器、电子设备及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331556A (ja) * 1995-05-30 1996-12-13 Sony Corp 画像符号化装置および画像符号化方法
JPH09233473A (ja) * 1996-02-27 1997-09-05 Matsushita Electric Ind Co Ltd 映像符号化装置
EP0899961A1 (en) * 1997-08-25 1999-03-03 Tektronix, Inc. Pipelined processing for moving picture compression bit rate control
JP2002016912A (ja) * 2000-06-28 2002-01-18 Mitsubishi Electric Corp 動画像符号化装置
JP4203707B2 (ja) * 2001-01-31 2009-01-07 日本電気株式会社 事前解析を用いた動画像符号化装置、動画像符号化方法、及びそのプログラム。
US6961376B2 (en) * 2002-06-25 2005-11-01 General Instrument Corporation Methods and apparatus for rate control during dual pass encoding
WO2005036886A1 (en) * 2003-10-13 2005-04-21 Koninklijke Philips Electronics N.V. Two-pass video encoding
US7430329B1 (en) * 2003-11-26 2008-09-30 Vidiator Enterprises, Inc. Human visual system (HVS)-based pre-filtering of video data
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
WO2006048695A1 (en) * 2004-11-01 2006-05-11 Ati Technologies, Inc. Adaptive image compression method and device
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
US20060140273A1 (en) * 2004-12-28 2006-06-29 Siu-Wai Wu Dual-pass HDTV encoder with noise reduction

Also Published As

Publication number Publication date
WO2008051517A3 (en) 2008-07-10
WO2008051517A2 (en) 2008-05-02
US20100027622A1 (en) 2010-02-04
EP2087739A2 (en) 2009-08-12
CN101529912A (zh) 2009-09-09
CN101529912B (zh) 2012-05-30
JP2010507983A (ja) 2010-03-11
BRPI0717322A2 (pt) 2015-02-10

Similar Documents

Publication Publication Date Title
JP5264747B2 (ja) マルチパスエンコーダにおける効率的な１パスのエンコーディングの方法および装置
KR100987365B1 (ko) 비디오 프레임들로부터 키 프레임들의 선택
JP5422124B2 (ja) 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置
US9936217B2 (en) Method and encoder for video encoding of a sequence of frames
US20070230565A1 (en) Method and Apparatus for Video Encoding Optimization
US8488678B2 (en) Moving image encoding apparatus and moving image encoding method
US8406297B2 (en) System and method for bit-allocation in video coding
US20060039470A1 (en) Adaptive motion estimation and mode decision apparatus and method for H.264 video codec
EP1944974A1 (en) Position dependent post-filter hints
EP2278814A1 (en) Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding
US7881386B2 (en) Methods and apparatus for performing fast mode decisions in video codecs
WO2014139396A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
US20130195178A1 (en) Object detection informed encoding
KR20030014716A (ko) 미디어 프로세서에서 ｍｐｅｇ２ 디코딩의 동적인 복잡도예측 및 조절
JP2007506361A (ja) 適応参照画像の発生
JP2006157881A (ja) 可変長符号化装置及びその方法
KR20050089838A (ko) 선택된 매크로블록에 대한 스킵 모션 추정으로 비디오인코딩하는 방법
US8379985B2 (en) Dominant gradient method for finding focused objects
US9699466B2 (en) Adaptive reference/non-reference frame determination for video encoding
US9055292B2 (en) Moving image encoding apparatus, method of controlling the same, and computer readable storage medium
JP5649296B2 (ja) 画像符号化装置
US8687710B2 (en) Input filtering in a video encoder
WO2006007285A1 (en) Method and apparatus for video encoding optimization
US9503740B2 (en) System and method for open loop spatial prediction in a video encoder
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120918

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees