JP6758684B2 - ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及びコンピューター機器 - Google Patents

ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及びコンピューター機器 Download PDF

Info

Publication number
JP6758684B2
JP6758684B2 JP2019524462A JP2019524462A JP6758684B2 JP 6758684 B2 JP6758684 B2 JP 6758684B2 JP 2019524462 A JP2019524462 A JP 2019524462A JP 2019524462 A JP2019524462 A JP 2019524462A JP 6758684 B2 JP6758684 B2 JP 6758684B2
Authority
JP
Japan
Prior art keywords
frame
unit
cost
bit rate
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019524462A
Other languages
English (en)
Other versions
JP2019536356A (ja
Inventor
煦楠 毛
煦楠 毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2019536356A publication Critical patent/JP2019536356A/ja
Application granted granted Critical
Publication of JP6758684B2 publication Critical patent/JP6758684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本願の実施例は、２０１７年０３月７日に中国国家知識産権局に提出した、出願番号２０１７１０１３２２０４.４、発明の名称「ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及び装置」の中国特許出願の優先権を主張し、その全ての内容を本願で援用した。
本願は、ビデオ符号化の技術分野に関し、特に、ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、コンピューター機器、及び記憶媒体に関する。
ネットワーク関連技術が益々成熟するにつれて、ビデオチャット、ビデオをオンラインで視聴するようなビデオサービスが広く利用されてきて、ビデオサービスの広い利用は、ビデオ符号化技術のサポートを必要とする。
ビデオ符号化技術では、各フレームの符号化ユニットに対してビットレートの割り当てを行う必要がある。ビデオ符号化(圧縮) における従来のビットレート割り当てアルゴリズムは、まず、現フレームのうちの全ての未符号化の符号化ユニットの予測コストを予測し、次に、現フレームにおける符号化済みの符号化ユニットのコストを参照して、現在の符号化待ちの符号化ユニットにターゲットビットレートを割り当てて、続いて、現在の符号化待ちの符号化ユニットのターゲットビットレートに応じて、現在の符号化待ちの符号化ユニットの量子化パラメータを設置する。
現在の符号化待ちの符号化ユニットは未符号化である場合に、正確な予測コストを得ることができないので、ビデオ画像の内容が急に変化すると、現フレームと一つの前のフレームとに対応する符号化ユニットのコストは類似性が悪く、予測の正確性が低く、極端な場合には、予測コストが０未満になる可能性がある。この場合、現在の符号化待ちの符号化ユニットビットレート割り当ては極大の誤差が現れる可能性があり、最終的に、ビデオ品質が低下してしまう。
それに基づいて、ビデオ品質が悪い問題について、ビデオ品質を向上するビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、コンピューター機器、及び記憶媒体を提供する必要がある。
ビデオ符号化の符号化ユニットビットレート割り当て方法であって、ユーザー端末又はサーバに適用され、
現フレームのターゲットビットレートと、符号化済みビットレートとを取得し、前記符号化済みビットレートは、前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定され、
前記現フレームのターゲットビットレートと、前記符号化済みビットレートとに応じてフレーム未符号化ビットレートを確定し、
事前符号化に基づいて確定される、前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストである現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定され、
前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちユニットのターゲットビットレートを確定する、ことを含む。
コンピューター読み取り可能な命令を記憶しているメモリと、プロセッサーを含むコンピューター機器であって、前記コンピューター読み取り可能な命令が前記プロセッサーに実行される場合に、
現フレームのターゲットビットレートと、符号化済みビットレートとを取得し、前記符号化済みビットレートは、前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定されるステップと、
前記現フレームのターゲットビットレートと、符号化済みビットレートとに応じてフレーム未符号化ビットレートを確定するステップと、
事前符号化に基づいて確定される、前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストである現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定されるステップと、
前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちユニットのターゲットビットレートを確定するステップとを、前記プロセッサーに以下のステップを実行させる。
上記ビデオ符号化の符号化ユニットビットレート割り当て方法、及びコンピューター機器によれば、事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得するので、その取得した現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストは実際のコストにより近くなる。従って、実際のコストにより近い現在の符号化ユニット予測コストとフレーム未符号化ユニット予測コストとの比、及びフレーム未符号化レートによって現在の符号化待ちユニットのターゲットビットレートを確定することはより正確であり、それにより、現在の符号化待ちユニットビットレート割り当ての誤差を減らすとともに、ビデオの品質を向上させることができる。
ビデオ符号化のビットレート割り当て方法であって、ユーザー端末又はサーバに適用され、
現フレームのフレームタイプ、及び一つの前のフレームのフレームタイプを取得し、
前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと異なる場合に、上記したビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことを含む。
コンピューター読み取り可能な命令を記憶しているメモリと、プロセッサーを含むコンピューター機器であって、前記コンピューター読み取り可能な命令が前記プロセッサーに実行される場合に、前記プロセッサーに、
現フレームのフレームタイプ、及び一つの前のフレームのフレームタイプを取得するステップと、
前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと異なる場合に、請求項１〜７のいずれか一項に記載のビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行うステップとを実行させる。
上記ビデオ符号化の割り当て方法、及びコンピューター機器によれば、現フレームのフレームタイプが一つの前のフレームのフレームタイプと異なる場合に、現在の符号化待ちユニットビットレート割り当ての誤差を減らすとともに、ビデオの品質を向上することができるビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行うので、ビデオの品質を向上させることができる。
本願の１つ又は複数の実施例の詳細は、以下の添付の図面及び説明において提供される。本出願の他の特徴、目的、及び利点は、明細書、添付の図面、及び特許請求の範囲からより明らかになる。
本願の実施例における技術案をより明確に説明するために、以下実施例の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本願の幾つかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。
一実施例にかかるビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及び装置の応用環境概略図である。 図１のユーザー端末の内部構成の概略図である。 一実施例にかかるビデオ符号化の符号化ユニットビットレート割り当て方法のフローチャートである。 図３のビデオ符号化の符号化ユニットビットレート割り当て方法の一つのステップの具体的なフローチャートである。 一実施例にかかるビデオ符号化の符号化ユニットビットレート割り当て装置の構成ブロック図である。 図５のビデオ符号化の符号化ユニットビットレート割り当て装置の一つのモジュールの具体的な構成ブロック図である。 一実施例にかかるビデオ符号化のビットレート割り当て方法のフローチャートである。 他の実施例にかかるビデオ符号化のビットレート割り当て方法のフローチャートである。 一実施例にかかるビデオ符号化のビットレート割り当て装置の構成ブロック図。 他の実施例にかかるビデオ符号化のビットレート割り当て装置の構成ブロック図である。
本発明における目的、技術案、及び利点をより明確にするために、以下では添付の図面を参照しながら本発明の実施例をさらに詳細に記述する。本明細書に記載の具体的実施態様は、単に本出願を説明するために使用されており、本出願の保護範囲を限定することを意図していないことを理解されたい。
図１は、一実施例で提供されるビデオの品質を向上するビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法の応用環境概略図である。図１に示すように、当該応用環境は、第１のユーザー端末１１０、第２のユーザー端末１２０及びサーバ１３０を含み、第１のユーザー端末１１０及び第２のユーザー端末１２０はそれぞれサーバ１３０にネットワーク接続される。第１のユーザー端末１１０及び第２のユーザー端末１２０はそれぞれビデオ通信のアプリケーションプログラムを実行しており、第１のユーザーは第１のユーザー端末１１０によりビデオデータを採集し、サーバ１３０により第２のユーザー端末１２０に送信し、第２のユーザーは第２のユーザー端末１２０を介して閲覧する。同様に、第１のユーザーは、第１のユーザー端末１１０を介して第２のユーザー端末１２０によって採集されたビデオ情報を閲覧し、これにより、第１のユーザーと第２のユーザーとのビデオ通信を実現する。本実施例において、ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法は、第１のユーザー端末１１０又は第２のユーザー端末１２０において実行される。
他の応用シナリオにおいて、第１のユーザー端末１１０及びサーバ１３０のみを含んでもよく、第１のユーザー端末１１０はサーバ１３０とネットワーク接続される。第１のユーザー端末１１０は、採集したビデオデータをサーバ１３０に送信する。ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法は、第１のユーザー端末１１０において実行される。
他の実施例において、第１のユーザーは、第１のユーザー端末１１０を介して第２のユーザー端末にストリーミングメディアファイルを送信することもできる。この本実施例において、ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法は、サーバ１３０において実行される。サーバ１３０は、第１のユーザー端末１１０によって送信されたビデオストリームを復号化した後に再符号化し、再符号化後のビデオストリームを第２のユーザー端末１２０に送信して、異なる端末プラットフォームの再生要求を満たす。
他の応用シナリオにおいて、第１のユーザー端末１１０及びサーバ１３０のみを含んでもよく、第１のユーザー端末１１０はサーバ１３０にネットワーク接続される。第１のユーザー端末１１０は、ストリーミングメディアファイルをサーバ１３０に送信する。ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法はサーバ１３０において実行される。
図２は、一実施例にかかるユーザー端末の内部構成概略図である。図２に示すように、ユーザー端末は、システムバスで接続されるプロセッサー、記憶媒体、内部メモリ、ネットワークインタフェース、ディスプレイ、カメラ及び入力装置を含んでいる。なお、端末の記憶媒体には、オペレーティングシステム、及びビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法を実現するためのビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て装置が記憶されている。当該プロセッサーは、ユーザー端末全体の運行をサポートするために、計算及び制御能力を提供するためのものである。ユーザー端末の内部メモリは、記憶媒体内のビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て装置の運行のために環境を提供し、当該内部メモリにはコンピューター読み取り可能な命令が記憶されており、当該コンピューター読み取り可能な命令は、プロセッサーに実行される場合に、プロセッサーにビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法を実行させる。ユーザー端末のネットワークインタフェースは、サーバとネットワーク通信を行うためのものであり、例えば、ビデオファイルをサーバに送信し、サーバから送信される他のユーザー端末からのビデオファイル等を受信する。ユーザー端末のディスプレイは、液晶ディスプレイ又は電子インクディスプレイであってもよく、入力装置は、ディスプレイ上を覆うタッチ層であってもよく、ユーザー端末のハウジングに設置されたボタン、トラックボール、又はタッチパッドであってもよいし、外部のキーボード、タッチパッド、マウスなどであってもよい。当該ユーザー端末は、携帯電話、タブレット、ＰＤＡ (Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ)、ウェアラブルデバイスなどであってもよい。当業者であれば、図２に示される構造は本願の技術案に関連する構成の一部のブロック図にすぎず、本願の技術案を適用するユーザー端末に制限をかけず、具体的ユーザー端末は図に示されるものよりも多いか又は少ない部品を含み得るか、又はいくつかの構成要素を組み合わすか、又は異なる構成要素配置を有する。
図３を参照して、一実施例において、ビデオ符号化の符号化ユニットビットレート割り当て方法を提供し、当該方法は、図１に示す各ユーザー端末又は各サーバ１３０において実行され、当該方法は以下のステップを含んでいる。
Ｓ３１０において、現フレームのターゲットビットレート及び符号化済みビットレートを取得する。当該符号化済みビットレートは、現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定される。
現フレームは、符号化されていない、符号化待ちのフレームである。ターゲットビットレートは、割り当てようとするビットレートであり、符号化済みレートは、既に符号化されたビットレートである。ビデオのターゲットビットレート、ビデオにおける符号化済みビットレートに応じて、現フレームのターゲットビットレートを確定してもよい。
Ｓ３２０において、現フレームのターゲットビットレートと符号化済みビットレートとに応じてフレーム未符号化ビットレートを確定する。
現フレームのターゲットビットレートから現フレームの符号化済みレートを減算することで、現フレームの未符号化ビットレート、即ち、フレーム未符号化ビットレートを得ることができる。
Ｓ３３０において、事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得する。
現フレームは事前符号化され、事前符号化を基に現在の符号化ユニット予測コスト、及びフレーム未符号化予測コストを確定し、つまり、事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得する。このようにすれば、現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストは実際のコストにより近くなる。
現在の符号化ユニット予測コストは、現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、フレーム未符号化ユニット予測コストは、現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定されてもよい。
Ｓ３４０において、フレーム未符号化ビットレートとコスト比とに応じて、現在の符号化待ちユニットのターゲットビットレートを確定する。コスト比は、現在の符号化ユニット予測コストと、フレーム未符号化ユニット予測コストとの比である。
フレーム未符号化ビットレートとコスト比とによって、現在の符号化待ちユニットのターゲットビットレートを確定できる。例えば、現在の符号化待ちユニットのターゲットビットレートは、フレーム未符号化ビットレートとコスト比との積であってもよく、現在の符号化待ちユニットのターゲットビットレートは、フレーム未符号化ビットレートとコスト比との積に重み係数を乗じたものであってもよい。
理解を容易にするために、現フレームがn個の符号化ユニットを有し、現在の符号化待ちユニットが現フレームのi番目の符号化ユニットであり、現フレームの1〜(i-1)番目の符号化ユニットが既に符号化され、i〜n番目の符号化ユニットはまだ符号化されていなく、全ての未符号化の符号化ユニットのターゲットビットレート、即ち、フレーム未符号化ビットレートを
と記す。フレーム未符号化ユニット予測コストに対する現在の符号化待ちユニット予測コストの比はCiと記す。
現在の符号化待ちユニットのターゲットビットレート、即ち、現在の符号化待ちユニットのビットレートは、
と記す。
上記ビデオ符号化の符号化ユニットビットレート割り当て方法によれば、事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得するので、取得した現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストは実際のコストにより近くなる。従って、実際のコストにより近い現在の符号化ユニット予測コストとフレーム未符号化ユニット予測コストとの比、及びフレーム未符号化レートによって、現在の符号化待ちユニットのターゲットビットレートを確定することはより正確であり、それにより、現在の符号化待ちユニットビットレート割り当ての誤差を減らすとともに、ビデオの品質を向上させる。
その中の一実施例において、上記ビデオ符号化の符号化ユニットビットレート割り当て方法は、ステップＳ３４０の後、
現在の符号化待ちユニットのターゲットビットレートに応じて、現在の符号化待ちユニットの量子化パラメータを確定することをさらに含む。このようにすれば、現在の符号化ユニットの実際のビットレートは現在の符号化ユニットのターゲットビットレートにできるだけ近いようにする。
図４を参照して、その中の一実施例において、事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得する方式、即ち、ステップＳ３３０は、以下のステップを含む。
Ｓ３３１において、ダウンサンプリング後の未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて、符号化ブロックのフレーム内予測コストを確定する。
この本実施例において、ダウンサンプリングの方式により現フレームを事前符号化する。具体的に、現フレームに対して２:１ダウンサンプリングを行うことができ、即ち、原画像の長さ及び幅がそれぞれａ及びｂであると、ダウンサンプリング画像の長さ及び幅はそれぞれａ/２、ｂ/２となる。ダウンサンプリング後の長さ及び幅がＮの整数倍ではないと、ダウンサンプリング後の画像をエッジ拡大し、Ｎの整数倍になるようにする。なお、Ｎ×Ｎは事前符号化のうち最も小さい符号化ブロックであり、４×４、８×８、１６×１６などであってもよく、且つ、一つの符号化ユニットに対応するダウンサンプリング画像がＮ×Ｎの符号化ブロックを含むという条件を満たす。ダウンサンプリングの比は２：１に限定されず、３：１、４：１などであってもよいことが理解される。
予め設定された最適なフレーム内予測モードは、予め設定された一つのフレーム内予測モードであってもよく、予め設定されたポリシーによって確定される最適なフレーム内予測モードであってもよい。
予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて、符号化ブロックのフレーム内予測コストを確定する方式については、符号化ブロックの各画素の画素値から、予め設定された最適なフレーム内予測モードによって確定される予測値を減算して予測残差を得て、各画素の予測残差の絶対値を合計し、得られた絶対値の和を符号化ブロックのフレーム内予測コストとしてもよく、符号化ブロックの各画素予測残差の２乗和を符号化ブロックのフレーム内予測コストとしてもよく、各予測残差を変換し、変換後の係り数の絶対値の和を符号化ブロックのフレーム内予測コストとしてもよい。
Ｓ３３２において、現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて、符号化ブロックに対応する最終ブロック予測コストを確定する。
フレームタイプは、フレーム内予測フレーム(Ｉフレーム)とフレーム間予測フレーム(Ｐフレーム)を含む。フレーム内予測フレームは、フレーム内予測コストを採用して最終予測コストを確定する必要があり、フレーム間予測フレームは、フレーム内予測コストまたはフレーム間予測コストを採用して最終予測コストを確定してもよい。
Ｓ３３３において、各符号化ブロックに対応する最終ブロック予測コストに応じて、未符号化の符号化ユニットのユニット予測コスト、現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを確定する。
未符号化の符号化ユニットの各符号化ブロックに対応する最終ブロック予測コストに応じて、未符号化の符号化ユニットのユニット予測コストを確定することができる。例えば、各符号化ブロックに対応する最終ブロック予測コストの和を、当該符号化ユニットのユニット予測コストとしてもよく、各符号化ブロックに対応する最終ブロック予測コストに重みを乗算して合計した結果を、当該符号化ユニットのユニット予測コストとしてもよく、各符号化ブロックに対応する最終ブロック予測コストの和に重み係り数を乗算して、当該符号化ユニットのユニット予測コストとしてもよい。これにより、さらに、未符号化の符号化ユニットの各符号化ブロックに対応する最終ブロック予測コストに応じて、現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを確定することができる。
その中の一実施例において、ダウンサンプリング後の未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて、符号化ブロックのフレーム内予測コストを確定するステップ、即ち、ステップＳ３３１は、以下のことを含む。
(ａ)、予め設定されたフレーム内選択ポリシーを採用して、ダウンサンプリング後の現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、最適なフレーム内予測モードを確定する。
予め設定されたフレーム内選択ポリシーは、予測残差のサイズに応じて、予測残差が小さいモードを選択することであってもよく、予測残差を変換し、変換後小さいモードを選択することであってもよい。フレーム内予測モードは、選択した符号化規格に関係する。例えば、ＨＥＶＣ(Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)規格は３３種類の角度予測モード、１種類のＰｌａｎａｒモード(平面モード)、１種類のＤＣモード(直流モード)を有する。
(ｂ)、符号化ブロックの画素値を取得し、符号化ブロックに対応する最適なフレーム内予測モードに応じて、符号化ブロックのフレーム内予測値を確定する。
ダウンサンプリング後の現フレームの未符号化の符号化ユニットの符号化ブロックの画素値を取得する。そして、当該符号化ブロックに対応する最適なフレーム内予測モードに応じて、当該符号化ブロックの予測値、即ち、当該符号化ブロックのフレーム内予測値を確定する。
(ｃ)、符号化ブロックの画素値、及びフレーム内予測値に応じて、フレーム内ブロック予測コストを確定し、フレーム内ブロック予測コストは符号化ブロックのフレーム内予測コストである。
符号化ブロックの画素値及びフレーム内予測値の差に応じて、フレーム内ブロック予測コストを確定してもよい。例えば、符号化ブロックの各画素の画素値からフレーム内予測値を減算することで予測残差を得て、各画素の予測残差の絶対値を合計して得られた絶対値の和を、符号化ブロックのフレーム内予測コストとしてもよく、符号化ブロックの各画素予測残差の２乗和を、符号化ブロックのフレーム内予測コストとしてもよく、各予測残差を変換し、変換後の係り数の絶対値の和を、符号化ブロックのフレーム内予測コストとしてもよい。
その中の一実施例において、現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて、符号化ブロックに対応する最終ブロック予測コストを確定するステップ、即ち、ステップＳ３３２は、以下のことを含む。
(Ｉ)現フレームのフレームタイプを取得する。
(ＩＩ)フレームタイプがフレーム内予測フレームであると、フレーム内ブロック予測コストを、符号化ブロックに対応する最終ブロック予測コストとする。
フレームタイプがフレーム内予測フレームである場合に、フレーム内ブロック予測コストを、符号化ブロックに対応する最終ブロック予測コストとする。このようにすれば、フレームタイプがフレーム内予測フレームであるフレームの未符号化の符号化ユニットの符号化ブロックに対応する最終ブロック予測コストを確定する。
さらに、現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて、符号化ブロックに対応する最終ブロック予測コストを確定するステップ、即ち、ステップＳ３３２は、以下のことをさらに含む。
(ＩＩＩ)フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び符号化ブロックの画素値に応じて、符号化ブロックのフレーム間予測コストを確定する。
(ＩＶ)、符号化ブロックのフレーム間予測コストとフレーム内予測コストとのうち小さい一方を、符号化ブロックに対応する最終ブロック予測コストとして確定する。
フレームタイプがフレーム間予測フレームである場合に、符号化ブロックのフレーム間予測コストと、フレーム内予測コストとのうち小さい一方を、符号化ブロックに対応する最終ブロック予測コストとして確定する。このようにすれば、フレームタイプがフレーム間予測フレームであるフレームにおける未符号化の符号化ユニットの符号化ブロックに対応する最終ブロック予測コストを確定する。
なお、予め設定された最適なフレーム間予測モードは予め設定された最適なフレーム内予測モードと類似する。予め設定された一つのフレーム間予測モードであってもよく、予め設定されたフレーム間ポリシーによって確定される最適なフレーム間予測モードであってもよい。予め設定されたフレーム間選択ポリシーは、予測残差のサイズに応じて、予測残差が小さいモードを選択してもよく、予測残差を変換し、変換後小さいモードを選択してもよい。フレーム間予測モードは、選択した符号化規格に関係する。例えば、ＨＥＶＣ規格は、ｓｋｉｐモード (スキップモード)、ｍｅｒｇｅモード(合併モード)、ｉｎｔｅｒモード(フレーム間モード)を採用してもよい。
その中の一実施例において、各符号化ブロックに対応する最終ブロック予測コストに応じて、未符号化の符号化ユニットのユニット予測コスト、現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを確定するステップ、即ち、ステップＳ３３３は、
各符号化ブロックに対応する最終ブロック予測コストに応じて、各未符号化の符号化ユニットのユニット予測コストを確定し、
現在の符号化待ちの符号化ユニットのユニット予測コストを、現在の符号化ユニット予測コストとし、現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて、フレーム未符号化ユニット予測コストを確定する、ことを含む。
このようにすれば、現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを確定する。具体的に、フレーム未符号化ユニット予測コストは、現フレームの各未符号化の符号化ユニットのユニット予測コストの和であってもよく、フレーム未符号化ユニット予測コストは、現フレームの各未符号化の符号化ユニットのユニット予測コストの和に重み係り数を乗算したものであってもよく、フレーム未符号化ユニット予測コストは、現フレームの各未符号化の符号化ユニットのユニット予測コストに重みを乗算して合計することで得られた結果であってもよい。
管理を容易にするために、その中の一実施例において、符号化ユニットは基本ビットレート制御ユニット、即ち、ＢＵ(Ｂａｓｉｃ Ｕｎｉｔ)である。基本ビットレート制御ユニットは、量子化パラメータ一が一致する最小ビットレート制御ユニットである。
本願は、さらに、一実施例にかかるビデオ符号化の符号化ユニットビットレート割り当て装置を提供する。当該装置はコンピューター機器に設置され、当該装置における各モジュールはコンピューター機器によって実行可能であり、図５を参照して、一実施例にかかるビデオ符号化の符号化ユニットビットレート割り当て装置は、
現フレームのターゲットビットレートと、符号化済みビットレートを取得し、符号化済みビットレートは現フレームにおける符号化済みの各符号化ユニットの実際のビットレートに応じて確定されるビットレート取得モジュール５１０と、
現フレームのターゲットビットレートと符号化済みビットレートとに応じて、フレーム未符号化ビットレートを確定するための未符号化レート確定モジュール５２０と、
事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、現在の符号化ユニット予測コストは現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、フレーム未符号化ユニット予測コストは、現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定されるコスト取得モジュール５３０と、
フレーム未符号化ビットレートとコスト比とに応じて現在の符号化待ちユニットのターゲットビットレートを確定し、コスト比は、現在の符号化ユニット予測コストと、フレーム未符号化ユニット予測コストとの比であるターゲットビットレート確定モジュール５４０とを含む。
上記ビデオ符号化の符号化ユニットビットレート割り当て装置によれば、事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得するので、取得した現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストは実際のコストにより近くなる。従って、実際のコストにより近い現在の符号化ユニット予測コストとフレーム未符号化ユニット予測コストとの比、及びフレーム未符号化レートにより、現在の符号化待ちユニットのターゲットビットレートを確定することはより正確であり、それにより、現在の符号化待ちユニットビットレート割り当ての誤差を減らすとともに、ビデオの品質を向上させる。
図６を参照して、その中の一実施例において、コスト取得モジュール５３０は、
ダウンサンプリング後の未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて符号化ブロックのフレーム内予測コストを確定するためのフレーム内コスト予測ユニット５３１と、
現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて、符号化ブロックに対応する最終ブロック予測コストを確定するためのブロックコスト確定ユニット５３２と、
各符号化ブロックに対応する最終ブロック予測コストに応じて、未符号化の符号化ユニットのユニット予測コスト、現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを確定するためのユニットコスト確定ユニット５３３とを含む。
その中の一実施例において、フレーム内コスト予測ユニット５３１は、
予め設定されたフレーム内選択ポリシーを採用してダウンサンプリング後の現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、最適なフレーム内予測モードを確定するためのフレーム内モード確定サブユニットと、
符号化ブロックの画素値を取得し、符号化ブロックに対応する最適なフレーム内予測モードに応じて、符号化ブロックのフレーム内予測値を確定するためのフレーム内予測値確定サブユニットと、
符号化ブロックの画素値、及びフレーム内予測値に応じて、符号化ブロックのフレーム内予測コストであるフレーム内ブロック予測コストを確定するためのフレーム内ブロックコスト予測サブユニットとを含む。
その中の一実施例において、ブロックコスト確定ユニット５３２は、
現フレームのフレームタイプを取得するためのタイプ取得サブユニットと、
フレームタイプがフレーム内予測フレームであると、フレーム内ブロック予測コストを、符号化ブロックに対応する最終ブロック予測コストとするためのフレーム内ブロックコスト確定サブユニットとを含む。
その中の一実施例において、ブロックコスト確定ユニット５３２は、
フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び符号化ブロックの画素値に応じて、符号化ブロックのフレーム間予測コストを確定するフレーム間予測値確定サブユニットと、
符号化ブロックのフレーム間予測コストと、フレーム内予測コストとのうち小さい一方を、符号化ブロックに対応する最終ブロック予測コストとして確定するフレーム間ブロックコスト確定サブユニットとを、さらに含む。
その中の一実施例において、ユニットコスト確定ユニット５３３は、
各符号化ブロックに対応する最終ブロック予測コストに応じて、各未符号化の符号化ユニットのユニット予測コストを確定するための第１のユニットコスト確定ユニットと、
現在の符号化待ちの符号化ユニットのユニット予測コストを、現在の符号化ユニット予測コストとし、現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて、フレーム未符号化ユニット予測コストを確定するための第２のユニットコスト確定ユニットと、を含む。
その中の一実施例において、符号化ユニットは、基本ビットレート制御ユニットであり、基本ビットレート制御ユニットは量子化パラメータ一が一致する最小ビットレート制御ユニットである。
上記ビデオ符号化の符号化ユニットビットレート割り当て装置と、上記ビデオ符号化の符号化ユニットビットレートの割り当て方法とは互いに対応するので、装置における上記方法に対応する具体的な技術的特徴については、ここで再び説明しない。
本願は、さらに、ビデオ符号化のビットレート割り当て方法を提供する。図７を参照し、一実施例にかかるビデオ符号化のビットレート割り当て方法であり、当該方法は、図１に示す各ユーザー端末又は各サーバ１３０において実行される。
Ｓ７１０において、現フレームのフレームタイプ、及び一つの前のフレームのフレームタイプを取得する。
フレームタイプは、フレーム内予測フレームと、フレーム間予測フレームとを含む。フレーム内予測フレームは、フレーム内予測コストを採用して最終予測コストを確定する必要があり、フレーム間予測フレームは、フレーム内予測コスト又はフレーム間予測コストを採用して最終予測コストを確定することができる。
Ｓ７２０において、現フレームのフレームタイプが一つの前のフレームのフレームタイプと異なる場合に、上記実施例におけるビデオ符号化の符号化ユニットビットレート割り当て方法を採用して現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
なお、上記実施例におけるビデオ符号化の符号化ユニットビットレート割り当て方法は、
現フレームのターゲットビットレート及び符号化済みビットレートを取得し、前記符号化済みビットレートは、前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定され、
前記現フレームのターゲットビットレートと符号化済みビットレートフレームとに応じて、未符号化ビットレートを確定し、
事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記現在の符号化ユニット予測コストは前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定され、
前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちユニットのターゲットビットレートを確定する、ことを含む。
一実施例において、前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、
前記した事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及フレーム未符号化ユニット予測コストを取得する方式は、ダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定し、
前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する最終ブロック予測コスト確定し、
各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コスト確定する、ことを含むことをさらに含む。
一実施例において、前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、
前記したダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて前記符号化ブロックのフレーム内予測コストを確定するステップは、
予め設定されたフレーム内選択ポリシーを採用してダウンサンプリング後の前記現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、前記最適なフレーム内予測モードを確定し、
前記符号化ブロックの画素値を取得し、前記符号化ブロックに対応する前記最適なフレーム内予測モードに応じて、前記符号化ブロックのフレーム内予測値を確定し、
前記符号化ブロックの画素値、及び前記フレーム内予測値に応じて、前記符号化ブロックのフレーム内予測コストであるフレーム内ブロック予測コストを確定する、ことを含むことをさらに含む。
一実施例において、前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、
前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
前記現フレームのフレームタイプを取得し、
前記フレームタイプがフレーム内予測フレームであると、前記フレーム内ブロック予測コストを前記符号化ブロックに対応する前記最終ブロック予測コストとすることを含むことをさらに含む。
一実施例において、前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、
前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
前記フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び前記符号化ブロックの画素値に応じて前記符号化ブロックのフレーム間予測コストを確定し、
前記符号化ブロックの前記フレーム間予測コストと、前記フレーム内予測コストとのうち小さい一方を、前記符号化ブロックに対応する前記最終ブロック予測コストとして確定する、ことを含むことをさらに含む。
一実施例において、前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、
前記した各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定するステップは、
各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、各前記未符号化の符号化ユニットのユニット予測コストを確定し、
前記現在の符号化待ちの符号化ユニットのユニット予測コストを、前記現在の符号化ユニット予測コストとし、前記現フレームの各前記未符号化の符号化ユニットのユニット予測コストに応じて前記フレーム未符号化ユニット予測コストを確定する、ことを含むさらに含む。
一実施例において、前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、前記符号化ユニットは基本ビットレート制御ユニットであり、前記基本ビットレート制御ユニットは量子化パラメータ一が一致する最小ビットレート制御ユニットであることをさらに含む。
上記ビデオ符号化の割り当て方法によれば、現フレームのフレームタイプが一つの前のフレームのフレームタイプと異なる場合に、現在の符号化待ちユニットビットレート割り当ての誤差を減らすとともに、ビデオの品質を向上することができるビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行うので、ビデオの品質を向上させることができる。
図８を参照して、一つの具体例において、上記実施例における方法は、さらに、Ｓ７３０、Ｓ７４０を含むことができる。
Ｓ７３０において、現フレームのフレームタイプが一つの前のフレームのフレームタイプと同じである場合に、現フレームと一つの前のフレームのフレーム予測コストを分析する。
なお、現フレームのフレーム予測コストを分析する方式は、ダウンサンプリング後の現フレームの各符号化ユニットの各符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて、各符号化ブロックのフレーム内予測コストを確定し、現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて、各符号化ブロックに対応する最終ブロック予測コストを確定し、さらに、各符号化ユニットのユニット予測コストを確定することにより、現フレームのフレーム予測コストを確定するステップを含む。一つの前のフレームのフレーム予測コストを分析する方式は、現フレームのフレーム予測コスト方式と類似するので、ここで再び説明しない。一つの符号化ユニットの各符号化ブロックに対応する最終ブロック予測コストの和、又は、重み和などに応じて、当該符号化ユニットのユニット予測コストを確定することができることが理解される。現フレームの各符号化ブロックに対応するユニット予測コストの和、又は、重み和に応じて、現フレームのフレーム予測コストを確定することができる。
Ｓ７４０において、現フレームのフレーム予測コストと一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、上記実施例におけるビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
図８を参照して、一つの具体例において、上記実施例における方法はＳ７３０、Ｓ７５０をさらに含むことができる。
Ｓ７３０において、現フレームのフレームタイプが一つの前のフレームのフレームタイプと同じである場合に、現フレームと一つの前のフレームのフレーム予測コストを分析する。
なお、現フレームのフレーム予測コストを分析する方式は、ダウンサンプリング後の現フレームの各符号化ユニットの各符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて各符号化ブロックのフレーム内予測コストを確定し、現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて各符号化ブロックに対応する最終ブロック予測コストを確定し、さらに、各符号化ユニットのユニット予測コストを確定することにより、現フレームのフレーム予測コストを確定するステップを含む。一つの前のフレームのフレーム予測コストを分析する方式は現フレームのフレーム予測コスト方式と類似するので、ここで再び説明しない。一つの符号化ユニットの各符号化ブロックに対応する最終ブロック予測コストの和、又は、重み和などに応じて、当該符号化ユニットのユニット予測コストを確定することができる。現フレームの各符号化ブロックに対応するユニット予測コストの和、又は、重み和に応じて、現フレームのフレーム予測コストを確定することができる。
Ｓ７５０において、現フレームのフレーム予測コストと一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
レート歪みに基づくビットレート制御アルゴリズムは、まず、現フレームの全ての未符号化の符号化ユニットのＭＡＤ(Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ)を予測し、次に、現フレームの符号化済みの符号化ユニットのＭＡＤを参照し、各符号化ユニットにビットレートを割り当てる。
図８を参照して、一つの具体例において、上記実施例における方法は、Ｓ７３０、Ｓ７４０、Ｓ７５０をさらに含むことができる。
Ｓ７３０において、現フレームのフレームタイプが一つの前のフレームのフレームタイプと同じである場合に、現フレームと、一つの前のフレームのフレーム予測コストを分析する。
なお、現フレームのフレーム予測コストを分析する方式は、ダウンサンプリング後の現フレームの各符号化ユニットの各符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び符号化ブロックの画素値に応じて各符号化ブロックのフレーム内予測コストを確定し、現フレームのフレームタイプを取得し、フレーム内予測コスト、及びフレームタイプに応じて、各符号化ブロックに対応する最終ブロック予測コストを確定し、さらに、各符号化ユニットのユニット予測コストを確定することにより、現フレームのフレーム予測コストを確定するステップを含む。一つの前のフレームのフレーム予測コストを分析する方式は現フレームのフレーム予測コスト方式と類似するので、ここで再び説明しない。一つの符号化ユニットの各符号化ブロックに対応する最終ブロック予測コストの和、又は、重み和などに応じて、当該符号化ユニットのユニット予測コストを確定することができることは理解される。現フレームの各符号化ブロックに対応するユニット予測コストの和又は重み和に応じて現フレームのフレーム予測コストを確定することができる。
Ｓ７４０において、現フレームのフレーム予測コストと一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、上記実施例におけるビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
Ｓ７５０において、当現フレームのフレーム予測コストと一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
レート歪みに基づくビットレート制御アルゴリズムについては、まず、現フレームの全ての未符号化の符号化ユニットのＭＡＤ(Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ)を予測し、次に、現フレームの符号化済みの符号化ユニットのＭＡＤを参照し、各符号化ユニットにビットレートを割り当てる。
本願は、ビデオ符号化のビットレート割り当て装置を提供する。当該装置は、コンピューター機器に設置され、当該装置における各モジュールは、コンピューター機器によって実行可能であり、図９を参照し、一実施例にかかるビデオ符号化のビットレート割り当て装置は、
現フレームのフレームタイプ、及び一つの前のフレームのフレームタイプを取得するためのフレームタイプ取得モジュール９１０と、
現フレームのフレームタイプが一つの前のフレームのフレームタイプと異なる場合に、上記したビデオ符号化の符号化ユニットビットレート割り当て装置を採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行うためのユニットビットレート割り当てモジュール９２０とを含む。
上記ビデオ符号化の割り当て装置によれば、現フレームのフレームタイプが一つの前のフレームのフレームタイプと異なる場合に、現在の符号化待ちユニットビットレート割り当ての誤差を減らすとともに、ビデオの品質を向上することができるビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行うので、ビデオの品質を向上させることができる。
図１０を参照し、その中の一実施例において、
現フレームのフレームタイプが一つの前のフレームのフレームタイプと同じである場合に、現フレームと一つの前のフレームのフレーム予測コストを分析するためのフレーム予測コスト分析モジュール９３０をさらに含む。
この場合、ユニットビットレート割り当てモジュール９２０は、さらに、現フレームのフレーム予測コストと一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、上記したビデオ符号化の符号化ユニットビットレート割り当て装置を採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
また、ユニットビットレート割り当てモジュール９２０、さらに、現フレームのフレーム予測コストと一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、現フレームの各符号化ユニットに対してビットレートの割り当てを行う。
上記ビデオ符号化のビットレート割り当て装置と上記ビデオ符号化のビットレート割り当て方法とは互いに対応するので、装置における上記方法に対応する具体的な技術特徴については、ここで再び説明しない。
一実施例において、さらに、コンピューター読み取り可能な命令を記憶しているメモリと、プロセッサーを含むコンピューター機器を提供し、前記コンピューター読み取り可能な命令が前記プロセッサーに実行される場合に、
現フレームのターゲットビットレート、及び符号化済みビットレートを取得し、前記符号化済みビットレートは前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定されるステップと、
前記現フレームのターゲットビットレートと、符号化済みビットレートとに応じてフレーム未符号化ビットレートを確定するステップと、
事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記現在の符号化ユニット予測コストは前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定されるステップと、
前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちユニットのターゲットビットレートを確定するステップとを、前記プロセッサーに実行させる。
その中の一実施例において、前記した事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得する方式は、
ダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定し、
前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する最終ブロック予測コストを確定し、
各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定する、ことを含む。
その中の一実施例において、前記したダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定するステップは、
予め設定されたフレーム内選択ポリシーを採用してダウンサンプリング後の前記現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、前記最適なフレーム内予測モードを確定し、
前記符号化ブロックの画素値を取得し、前記符号化ブロックに対応する前記最適なフレーム内予測モードに応じて、前記符号化ブロックのフレーム内予測値を確定し、
前記符号化ブロックの画素値、及び前記フレーム内予測値に応じて、前記符号化ブロックのフレーム内予測コストであるフレーム内ブロック予測コストを確定する、ことを含む。
その中の一実施例において、前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
前記現フレームのフレームタイプを取得し、
前記フレームタイプがフレーム内予測フレームであると、前記フレーム内ブロック予測コストを、前記符号化ブロックに対応する前記最終ブロック予測コストとする、ことを含む。
その中の一実施例において、前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
前記フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム間予測コストを確定し、
前記符号化ブロックの前記フレーム間予測コストと、前記フレーム内予測コストとのうち小さい一方を、前記符号化ブロックに対応する前記最終ブロック予測コストとして確定する、ことをさらに含む。
その中の一実施例において、前記した各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定するステップは、
各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、各前記未符号化の符号化ユニットのユニット予測コストを確定し、
前記現在の符号化待ちの符号化ユニットのユニット予測コストを前記現在の符号化ユニット予測コストとし、前記現フレームの各前記未符号化の符号化ユニットのユニット予測コストに応じて、前記フレーム未符号化ユニット予測コストを確定する、ことを含む。
その中の一実施例において、前記符号化ユニットは基本ビットレート制御ユニットであり、前記基本ビットレート制御ユニットは、量子化パラメータ一が一致する最小ビットレート制御ユニットである。
その中の一実施例において、さらに、コンピューター読み取り可能な命令を記憶しているメモリと、プロセッサーを含むコンピューター機器を提供し、前記コンピューター読み取り可能な命令が前記プロセッサーに実行される場合に、
現フレームのフレームタイプ、及び一つの前のフレームのフレームタイプを取得するステップと、
前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと異なる場合に、上記いずれか一項に記載のビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行うステップとを、プロセッサーに実行させる。
その中の一実施例において、
前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと同じである場合に、現フレームと、一つの前のフレームのフレーム予測コストを分析し、
前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、上記いずれか一項に記載の前記したビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行い、
又は/及び
前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことをさらに含む。
その中の一実施例において、さらに、コンピューター読み取り可能な命令を記憶している一つ又は複数の不揮発性記憶媒体を提供し、前記コンピューター読み取り可能な命令が一つ又は複数のプロセッサーに実行される場合に、
現フレームのターゲットビットレートと、符号化済みビットレートとを取得し、前記符号化済みビットレートは、前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定されるステップと、
前記現フレームのターゲットビットレートと、符号化済みビットレートとに応じてフレーム未符号化ビットレートを確定するステップと、
事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記現在の符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定されるステップと、
前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちユニットのターゲットビットレートを確定するステップとを、一つ又は複数のプロセッサーに実行させる。
その中の一実施例において、前記した事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得する方式は、
ダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定し、
前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する最終ブロック予測コストを確定し、
各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定する、ことを含む。
その中の一実施例において、前記したダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定するステップは、
予め設定されたフレーム内選択ポリシーを採用してダウンサンプリング後の前記現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、前記最適なフレーム内予測モードを確定し、
前記符号化ブロックの画素値を取得し、前記符号化ブロックに対応する前記最適なフレーム内予測モードに応じて、前記符号化ブロックのフレーム内予測値を確定し、
前記符号化ブロックの画素値、及び前記フレーム内予測値に応じて、前記符号化ブロックのフレーム内予測コストであるフレーム内ブロック予測コストを確定する、ことを含む。
その中の一実施例において、前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
前記現フレームのフレームタイプを取得し、
前記フレームタイプがフレーム内予測フレームであると、前記フレーム内ブロック予測コストを、前記符号化ブロックに対応する前記最終ブロック予測コストとする、ことを含む。
その中の一実施例において、前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
前記フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム間予測コストを確定し、
前記符号化ブロックの前記フレーム間予測コストと、前記フレーム内予測コストとのうち小さい一方を、前記符号化ブロックに対応する前記最終ブロック予測コストとして確定する、ことをさらに含む。
その中の一実施例において、前記した各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定するステップは、
各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、各前記未符号化の符号化ユニットのユニット予測コストを確定し、
前記現在の符号化待ちの符号化ユニットのユニット予測コストを前記現在の符号化ユニット予測コストとし、前記現フレームの各前記未符号化の符号化ユニットのユニット予測コストに応じて、前記フレーム未符号化ユニット予測コストを確定する、ことを含む。
その中の一実施例において、前記符号化ユニットは基本ビットレート制御ユニットであり、前記基本ビットレート制御ユニットは、量子化パラメータ一が一致する最小ビットレート制御ユニットである。
その中の一実施例において、コンピューター読み取り可能な命令を記憶している一つ又は複数の不揮発性記憶媒体であって、前記コンピューター読み取り可能な命令が一つ又は複数のプロセッサーに実行される場合に、
現フレームのフレームタイプ及一つの前のフレームのフレームタイプを取得するステップと、
前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと異なる場合に、上記いずれか一項に記載の前記したビデオ符号化の符号化ユニットビットレートの割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレート割り当てを行うステップとを、一つ又は複数のプロセッサーに実行させる。
その中の一実施例において、
前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと同じである場合に、現フレームと一つの前のフレームのフレーム予測コストを分析し、
前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、前記したビデオ符号化の符号化ユニットビットレートの割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレート割り当てを行い、
及び/又は
前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことをさらに含む。
当業者であれば、前述の実施例の方法における全部又は一部の流れを実現することは、コンピュータプログラムにより関連するハードウェアに命令することによって実施され得ることが理解され、前記プログラムは、不揮発性のコンピューター読み取り可能な記憶媒体に格納することができる。プログラムが実行される場合に、前述の方法の実施例の流れが含まれ得る。なお、 本出願で提供される各実施例において使用される、メモリ、ストレージ、データベース、又は他の媒体に関する任意の参照は、不揮発性メモリ及び／又は揮発性メモリを含み得る。不揮発性メモリは、読出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリに含まれ得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含み得る。例示として、限定ではなく、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、ｅｎｈａｎｃｅｄＳＤＲＡＭ（ＥＳＤＲＡＭ）、ＳｙｎｃｈｌｉｎｋＤＲＡＭ（ＳＬＤＲＡＭ）、Ｒａｍｂｕｓ直接ＲＡＭ(ＲＤＲＡＭ)、直接ＲａｍｂｕｓＲＡＭ（ＤＲＲＡＭ）、ＲａｍｂｕｓダイナミックＲＡＭ(ＲＤＲＡＭ)など複数の形態で得られる。
前述の実施例の各技術的特徴を任意に組み合わせることができ、説明を簡潔にするために、前述の実施例の各技術的特徴の全ての可能な組み合わせが説明されていないが、技術的特徴が矛盾しない限り、本明細書に記載の範囲に入るとみなすべきである。
前述の実施例は、単に本願のいくつかの実施態様を表すものである。 その説明は比較的具体的かつ詳細であるが、本出願の範囲に対する限定として理解されるべきではない。 当業者であれば、本願の思想から逸脱することなく、変換及び改良を行うことができることに留意されたい。これらの変換と改良はこの出願の保護範囲に属する。 従って、この出願の保護範囲は添付の特許請求の範囲に従うべきである。
１１０ 第１のユーザー端末
１２０ 第２のユーザー端末
１３０ サーバ
５１０ ビットレート取得モジュール
５２０ 未符号化レート確定モジュール
５３０ コスト取得モジュール
５３１ フレーム内コスト予測ユニット
５３２ ブロックコスト確定ユニット
５３３ ユニットコスト確定ユニット
５４０ ターゲットビットレート確定モジュール
９１０ フレームタイプ取得モジュール
９２０ モジュール
９３０ フレーム予測コスト分析モジュール

Claims (19)

  1. ビデオ符号化の符号化ユニットビットレート割り当て方法であって、ユーザー端末又はサーバに適用され、
    現フレームのターゲットビットレートと、符号化済みビットレートとを取得し、前記符号化済みビットレートは、前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定され、
    前記現フレームのターゲットビットレートと、符号化済みビットレートとに応じてフレーム未符号化ビットレートを確定し、
    事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記現在の符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定され、
    前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちの符号化ユニットのターゲットビットレートを確定する、ことを含むことを特徴とするビデオ符号化の符号化ユニットビットレート割り当て方法。
  2. 前記した事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得するステップは、
    ダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定し、
    前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する最終ブロック予測コストを確定し、
    各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定する、ことを含むことを特徴とする請求項１に記載のビデオ符号化の符号化ユニットビットレート割り当て方法。
  3. 前記したダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定するステップは、
    予め設定されたフレーム内選択ポリシーを採用してダウンサンプリング後の前記現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、前記最適なフレーム内予測モードを確定し、
    前記符号化ブロックの画素値を取得し、前記符号化ブロックに対応する前記最適なフレーム内予測モードに応じて、前記符号化ブロックのフレーム内予測値を確定し、
    前記符号化ブロックの画素値、及び前記フレーム内予測値に応じて、前記符号化ブロックのフレーム内予測コストを確定する、ことを含むことを特徴とする請求項２に記載のビデオ符号化の符号化ユニットビットレート割り当て方法。
  4. 前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
    前記現フレームのフレームタイプを取得し、
    前記フレームタイプがフレーム内予測フレームであると、前記符号化ブロックのフレーム内予測コストを、前記符号化ブロックに対応する前記最終ブロック予測コストとすることを特徴とする請求項２に記載のビデオ符号化の符号化ユニットビットレート割り当て方法。
  5. 前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
    前記フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム間予測コストを確定し、
    前記符号化ブロックの前記フレーム間予測コストと、前記フレーム内予測コストとのうち小さい一方を、前記符号化ブロックに対応する前記最終ブロック予測コストとして確定する、ことをさらに含むことを特徴とする請求項４に記載のビデオ符号化の符号化ユニットビットレート割り当て方法。
  6. 各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定するステップは、
    各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、各前記未符号化の符号化ユニットのユニット予測コストを確定し、
    前記現在の符号化待ちの符号化ユニットのユニット予測コストを、前記現在の符号化ユニット予測コストとし、前記現フレームの各前記未符号化の符号化ユニットのユニット予測コストに応じて、前記フレーム未符号化ユニット予測コストを確定する、ことを含むことを特徴とする請求項２に記載のビデオ符号化の符号化ユニットビットレート割り当て方法。
  7. 前記符号化ユニットは、基本ビットレート制御ユニットであり、前記基本ビットレート制御ユニットは、量子化パラメータが一致する最小ビットレート制御ユニットであることを特徴とする請求項１〜６のいずれか一項に記載のビデオ符号化の符号化ユニットビットレート割り当て方法。
  8. ビデオ符号化のビットレート割り当て方法であって、ユーザー端末又はサーバに適用され、
    現フレームのフレームタイプ、及び一つの前のフレームのフレームタイプを取得し、
    前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと異なる場合に、ビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことを含み、
    前記ビデオ符号化の符号化ユニットビットレート割り当て方法は、
    現フレームのターゲットビットレート、及び符号化済みビットレートを取得し、前記符号化済みビットレートは前記現フレームにおける各符号化済みの符号化ユニットの実際のビットレートに応じて確定され、
    前記現フレームのターゲットビットレートと、符号化済みビットレートとに応じて、フレーム未符号化ビットレートを確定し、
    事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得し、前記現在の符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットにおける現在の符号化待ちの符号化ユニットのユニット予測コストであり、前記フレーム未符号化ユニット予測コストは、前記現フレームの各未符号化の符号化ユニットのユニット予測コストに応じて確定され、
    前記フレーム未符号化ビットレートと、前記現在の符号化ユニット予測コストと前記フレーム未符号化ユニット予測コストとの比であるコスト比とに応じて、前記現在の符号化待ちの符号化ユニットのターゲットビットレートを確定することを含むことを特徴とするビデオ符号化のビットレート割り当て方法。
  9. 前記した事前符号化に基づいて確定される現在の符号化ユニット予測コスト、及びフレーム未符号化ユニット予測コストを取得するステップは、
    ダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定し、
    前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する最終ブロック予測コストを確定し、
    各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定する、ことを含むことを特徴とする請求項８に記載のビデオ符号化のビットレート割り当て方法。
  10. 前記したダウンサンプリング後の前記未符号化の符号化ユニットの符号化ブロックの画素値を取得し、予め設定された最適なフレーム内予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム内予測コストを確定するステップは、
    予め設定されたフレーム内選択ポリシーを採用して、ダウンサンプリング後の前記現フレームの未符号化の符号化ユニットの符号化ブロックに対してフレーム内予測モード選択を行うことで、前記最適なフレーム内予測モードを確定し、
    前記符号化ブロックの画素値を取得し、前記符号化ブロックに対応する前記最適なフレーム内予測モードに応じて、前記符号化ブロックのフレーム内予測値を確定し、
    前記符号化ブロックの画素値、及び前記フレーム内予測値に応じて、前記符号化ブロックのフレーム内予測コストを確定する、ことを含むことを特徴とする請求項９に記載のビデオ符号化のビットレート割り当て方法。
  11. 前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
    前記現フレームのフレームタイプを取得し、
    前記フレームタイプがフレーム内予測フレームであると、前記符号化ブロックのフレーム内予測コストを、前記符号化ブロックに対応する前記最終ブロック予測コストとする、ことを含むことを特徴とする請求項９に記載のビデオ符号化のビットレート割り当て方法。
  12. 前記した前記現フレームのフレームタイプを取得し、前記フレーム内予測コスト、及び前記フレームタイプに応じて、前記符号化ブロックに対応する前記最終ブロック予測コストを確定するステップは、
    前記フレームタイプがフレーム間予測フレームであると、予め設定された最適なフレーム間予測モード、及び前記符号化ブロックの画素値に応じて、前記符号化ブロックのフレーム間予測コストを確定し、
    前記符号化ブロックの前記フレーム間予測コストと、前記フレーム内予測コストとのうち小さい一方を、前記符号化ブロックに対応する前記最終ブロック予測コストとして確定する、ことをさらに含むことを特徴とする請求項１１に記載のビデオ符号化のビットレート割り当て方法。
  13. 各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて前記未符号化の符号化ユニットのユニット予測コスト、前記現在の符号化ユニット予測コスト、及び前記フレーム未符号化ユニット予測コストを確定するステップは、
    各前記符号化ブロックに対応する前記最終ブロック予測コストに応じて、各前記未符号化の符号化ユニットのユニット予測コストを確定し、
    前記現在の符号化待ちの符号化ユニットのユニット予測コストを前記現在の符号化ユニット予測コストとし、前記現フレームの各前記未符号化の符号化ユニットのユニット予測コストに応じて、前記フレーム未符号化ユニット予測コストを確定する、ことを含むことを特徴とする請求項９に記載のビデオ符号化のビットレート割り当て方法。
  14. 前記符号化ユニットは、基本ビットレート制御ユニットであり、前記基本ビットレート制御ユニットは、量子化パラメータが一致する最小ビットレート制御ユニットであることを特徴とする請求項８〜１３のいずれか一項に記載のビデオ符号化のビットレート割り当て方法。
  15. 前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと同じである場合に、現フレームと、一つの前のフレームのフレーム予測コストを分析し、
    前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、前記したビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことをさらに含むことを特徴とする請求項８に記載のビデオ符号化のビットレート割り当て方法。
  16. 前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと同じである場合に、現フレームと、一つの前のフレームのフレーム予測コストを分析し、
    前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことをさらに含むことを特徴とする請求項８に記載のビデオ符号化のビットレート割り当て方法。
  17. 前記現フレームのフレームタイプが前記一つの前のフレームのフレームタイプと同じである場合に、現フレームと、一つの前のフレームのフレーム予測コストを分析し、
    前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きい場合に、前記したビデオ符号化の符号化ユニットビットレート割り当て方法を採用して、前記現フレームの各符号化ユニットに対してビットレート割り当てを行い、
    前記現フレームのフレーム予測コストと前記一つの前のフレームのフレーム予測コストとの差がプリセット値よりも大きくない場合に、レート歪みに基づくビットレート制御アルゴリズムを採用して、前記現フレームの各符号化ユニットに対してビットレートの割り当てを行う、ことをさらに含むことを特徴とする請求項８に記載のビデオ符号化のビットレート割り当て方法。
  18. コンピューター読み取り可能な命令を記憶しているメモリと、プロセッサーを含むコンピューター機器であって、
    前記コンピューター読み取り可能な命令が前記プロセッサーに実行される場合に、前記プロセッサーに請求項１〜１７のいずれか一項に記載の方法を実行させることを特徴とするコンピューター機器。
  19. コンピューター読み取り可能な命令を記憶している一つ又は複数の不揮発性記憶媒体であって、前記コンピューター読み取り可能な命令が一つ又は複数のプロセッサーに実行される場合に、一つ又は複数のプロセッサーに請求項１〜１７のいずれか一項に記載の方法を実行させることを特徴とする不揮発性記憶媒体。
JP2019524462A 2017-03-07 2018-03-01 ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及びコンピューター機器 Active JP6758684B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710132204.4A CN106961604B (zh) 2017-03-07 2017-03-07 视频编码的码率分配、编码单元码率分配方法及装置
CN201710132204.4 2017-03-07
PCT/CN2018/077781 WO2018161845A1 (zh) 2017-03-07 2018-03-01 视频编码的码率分配、编码单元码率分配方法及计算机设备

Publications (2)

Publication Number Publication Date
JP2019536356A JP2019536356A (ja) 2019-12-12
JP6758684B2 true JP6758684B2 (ja) 2020-09-23

Family

ID=59471586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019524462A Active JP6758684B2 (ja) 2017-03-07 2018-03-01 ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及びコンピューター機器

Country Status (7)

Country Link
US (1) US10764586B2 (ja)
EP (1) EP3595307A4 (ja)
JP (1) JP6758684B2 (ja)
KR (1) KR102296722B1 (ja)
CN (1) CN106961604B (ja)
MA (1) MA47825A (ja)
WO (1) WO2018161845A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961604B (zh) * 2017-03-07 2018-06-15 腾讯科技（深圳）有限公司 视频编码的码率分配、编码单元码率分配方法及装置
CN108769737B (zh) * 2018-05-29 2022-07-29 中南大学 一种码率调整方法、服务器及计算机可读介质
CN108833918B (zh) 2018-06-20 2021-09-17 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN110855990B (zh) * 2019-11-29 2022-04-22 京东方科技集团股份有限公司 图像编码、解码方法、计算机设备和图像处理系统
CN113301340A (zh) * 2020-09-29 2021-08-24 阿里巴巴集团控股有限公司 一种编码参数确定方法、视频传送方法和装置
CN113660491B (zh) * 2021-08-10 2024-05-07 杭州网易智企科技有限公司 编码方法、编码装置、存储介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US7277483B1 (en) * 2000-04-18 2007-10-02 Ati International Srl Method and apparatus for rate control for constant-bit-rate finite-buffer-size video encoder
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
JP2007300455A (ja) 2006-05-01 2007-11-15 Victor Co Of Japan Ltd 算術符号化装置、および算術符号化装置におけるコンテキストテーブル初期化方法
US7564901B2 (en) * 2006-10-09 2009-07-21 General Instrument Corporation Method and apparatus for providing rate control for panel-based real-time video encoder
EP2120463B1 (en) 2007-03-14 2014-12-10 Nippon Telegraph and Telephone Corporation Encoding bit rate control method, device, program, and recording medium containing the program
US20090016631A1 (en) * 2007-07-10 2009-01-15 Texas Instruments Incorporated Video Coding Rate Control
CN101127909B (zh) * 2007-09-29 2010-07-07 华为技术有限公司 一种图像码率控制方法及装置
KR101350723B1 (ko) * 2008-06-16 2014-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법
US9049446B2 (en) 2008-12-17 2015-06-02 Telefonaktiebolaget L M Ericsson (Publ) Adaptive quantization based on bit ratio
CN101883283B (zh) * 2010-06-18 2012-05-30 北京航空航天大学 一种基于saqd域的立体视频码率控制方法
CN102647586B (zh) * 2011-02-16 2015-07-08 富士通株式会社 用在视频编码系统中的码率控制方法和装置
JP5871602B2 (ja) 2011-12-19 2016-03-01 キヤノン株式会社 符号化装置
CN102595140B (zh) * 2012-03-09 2014-05-28 北京邮电大学 基于图像修复和矢量预测算子的帧内预测视频编码方法
CN102868883B (zh) * 2012-06-26 2013-11-13 中国科学技术大学 一种视频编码的码率控制方法
US9538190B2 (en) 2013-04-08 2017-01-03 Qualcomm Incorporated Intra rate control for video encoding based on sum of absolute transformed difference
EP3005689A4 (en) * 2013-05-24 2017-01-11 Sonic IP, Inc. Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
KR20160139233A (ko) * 2015-05-27 2016-12-07 주식회사 씬멀티미디어 비트율 제어를 이용한 영상 부호화 장치
JP6194334B2 (ja) 2015-06-10 2017-09-06 日本電信電話株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
CN104994387B (zh) * 2015-06-25 2017-10-31 宁波大学 一种融合图像特征的码率控制方法
CN106385627B (zh) * 2016-09-14 2019-12-13 腾讯科技（深圳）有限公司 视频编码方法和装置
CN106961604B (zh) * 2017-03-07 2018-06-15 腾讯科技（深圳）有限公司 视频编码的码率分配、编码单元码率分配方法及装置

Also Published As

Publication number Publication date
KR102296722B1 (ko) 2021-08-31
EP3595307A1 (en) 2020-01-15
US20190253717A1 (en) 2019-08-15
CN106961604B (zh) 2018-06-15
WO2018161845A1 (zh) 2018-09-13
US10764586B2 (en) 2020-09-01
CN106961604A (zh) 2017-07-18
EP3595307A4 (en) 2020-09-16
JP2019536356A (ja) 2019-12-12
MA47825A (fr) 2020-01-15
KR20190073564A (ko) 2019-06-26

Similar Documents

Publication Publication Date Title
JP6758684B2 (ja) ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及びコンピューター機器
JP6899448B2 (ja) ビデオの符号化処理方法、コンピュータ機器及びコンピュータプログラム
JP6854888B2 (ja) ビデオ符号化方法、コンピュータ装置および記憶媒体
Sun et al. Multi-path multi-tier 360-degree video streaming in 5G networks
JP6851678B2 (ja) イントラフレームビットレートの割り当て方法、コンピュータ機器、及び記憶媒体
KR101644208B1 (ko) 이전에 계산된 모션 정보를 이용하는 비디오 인코딩
JP6906637B2 (ja) ビデオ符号化方法、コンピュータ機器、及びコンピュータ・プログラム
JP7024098B2 (ja) ビデオ符号化方法、コンピュータ機器、及び記憶媒体
KR101459397B1 (ko) 움직임 보상 비디오 코딩에 있어서, 이미지 블록들을 비교하기 위한 메트릭을 결정하는 방법 및 시스템
CN111193924B (zh) 视频码率的确定方法、装置、计算机设备及存储介质
JP2022500901A (ja) 符号化の対象となるデータ処理方法、装置、及びコンピュータプログラム
Hu et al. TVG-streaming: Learning user behaviors for QoE-optimized 360-degree video streaming
Lin et al. Latitude-based flexible complexity allocation for 360-degree video coding
CN109493304A (zh) 一种图像数据处理方法以及装置
JP5956316B2 (ja) 主観画質推定装置、主観画質推定方法及びプログラム
Liu et al. Frame-level bit allocation for hierarchical coding of H. 265/HEVC considering dependent rate-distortion characteristics
Arnaiz et al. Efficient personalized scalable video adaptation decision-taking engine based on MPEG-21
Wei et al. Linear Model-Based Optimal VVC Intercoding Rate Control Scheme
Zou et al. Rate Control in HEVC: A Survey
Zhao et al. DualEMC: energy efficient mobile multimedia communication with cloud
Hossain et al. Multimedia content repurposing in ambient intelligent environments
US20140233630A1 (en) Apparatus and method for adaptive layer selection and server having the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200827

R150 Certificate of patent or registration of utility model

Ref document number: 6758684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250