JP7024098B2 - ビデオ符号化方法、コンピュータ機器、及び記憶媒体 - Google Patents

ビデオ符号化方法、コンピュータ機器、及び記憶媒体 Download PDF

Info

Publication number
JP7024098B2
JP7024098B2 JP2020540613A JP2020540613A JP7024098B2 JP 7024098 B2 JP7024098 B2 JP 7024098B2 JP 2020540613 A JP2020540613 A JP 2020540613A JP 2020540613 A JP2020540613 A JP 2020540613A JP 7024098 B2 JP7024098 B2 JP 7024098B2
Authority
JP
Japan
Prior art keywords
coding unit
difference
sub
unit
current coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020540613A
Other languages
English (en)
Other versions
JP2021513234A (ja
Inventor
マオ，シュンアン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2021513234A publication Critical patent/JP2021513234A/ja
Application granted granted Critical
Publication of JP7024098B2 publication Critical patent/JP7024098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

［関連出願への相互参照］
本願は、２０１８年２月１日に中国特許庁に提出された、出願番号が２０１８１０１０２９９７Ｘであり、発明の名称が「ビデオ符号化方法、装置、コンピュータ可読記憶媒体、及びコンピュータ機器」である中国特許出願の優先権を主張し、その全ての内容は参照することにより本願に組み込まれる。
［技術分野］
本願は、コンピュータ技術分野に関し、特に、ビデオ符号化方法、コンピュータ機器、及び記憶媒体に関する。
コンピュータ技術の発展に伴い、ビデオ符号化技術が登場している。高効率ビデオ符号化（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、国際電気通信連合（ＩＴＵ－Ｔ）及び国際標準化機構（ＩＳＯ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）が共同で策定した次世代高効率ビデオ符号化標準である。従来のＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準に比べると、ＨＥＶＣでは、より多くの、より新しい、より柔軟な符号化技術が使用されている。同じビデオ品質条件下で、ＨＥＶＣは、ビットレートをさらに低減させることができるが、そのコストとして、ＨＥＶＣの計算複雑度がＨ．２６４／ＡＶＣよりもはるかに高くなり、リアルタイム通信の難易度が大幅に増加している。
現在、ＨＥＶＣ符号化では、符号化単位の符号化モードの選択について、主に、フレーム内符号化モードでのすべての符号化単位に対して、フレーム内予測モードの選択を行い、フレーム間符号化モードでの符号化単位に対して、まず、フレーム間予測モードの選択を行い、選択された最適フレーム間予測モードの変換後量子化係数の結果に基づいて、フレーム内予測モードの選択を行うか否かを決定する。上記の符号化モードは、フレーム内予測の選択を柔軟に行うことができず、計算複雑度が高く、ビデオ符号化効率が低い。
本願で提供された各実施例によれば、ビデオ符号化方法、装置、コンピュータ可読記憶媒体、及びコンピュータ機器が提供されている。
ビデオ符号化方法であって、
コンピュータ機器が、現在符号化単位に対応するサブ単位集合を取得するステップであって、前記サブ単位集合が、前記現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、コンピュータ機器が、前記サブ単位集合内の各サブ単位間の相違度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップと、前記フレーム内予測モードの状態がスキップ状態であるの場合、コンピュータ機器が、前記現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで前記現在符号化単位を符号化するステップと、を含む。
メモリとプロセッサとを備えるコンピュータ機器であって、前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令は、前記プロセッサによって実行されると、前記プロセッサに、
現在符号化単位に対応するサブ単位集合を取得するステップであって、前記サブ単位集合が、前記現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、前記サブ単位集合内の各サブ単位間の相違度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップと、前記フレーム内予測モードの状態がスキップ状態である場合、前記現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで前記現在符号化単位を符号化するステップと、を実行させる。
コンピュータ可読命令を記憶した１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、
現在符号化単位に対応するサブ単位集合を取得するステップであって、前記サブ単位集合が、前記現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、前記サブ単位集合内の各サブ単位間の相違度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップと、前記フレーム内予測モードの状態がスキップ状態である場合、前記現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで前記現在符号化単位を符号化するステップと、を実行させる。
本願の１つ又は複数の実施例の詳細は、次の図面及び説明に示される。本願の他の特徴、目的、及びメリットは、明細書、図面、及び請求の範囲から明らかになる。
本願の実施例の構成をより明確に説明するために、以下、実施例の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているにすぎず、当業者にとって、創造的な労働をせずに、これらの図面から他の図面を得ることもできる。
一実施例におけるビデオ符号化方法の適用環境図である。 一実施例におけるビデオ符号化方法のフレームワーク図である。 一実施例におけるビデオ符号化方法の手順の模式図である。 一実施例における現在符号化単位の所定の分割の模式図である。 一実施例における隣接するサブ単位間の相違度に基づいて、スキップ状態を決定するステップの手順の模式図である。 一実施例における隣接するサブ単位間の相違度を算出するステップの手順の模式図である。 他の実施例におけるビデオ符号化方法の手順の模式図である。 一実施例におけるフレーム内予測モードで符号化を行うステップの手順の模式図である。 別の実施例におけるビデオ符号化方法の手順の模式図である。 一実施例における符号化分割の模式図である。 具体的な一実施例におけるビデオ符号化方法の手順の模式図である。 具体的な一実施例における隣接するサブ単位間の相違度を算出するステップの手順の模式図である。 一実施例におけるビデオ符号化装置の構成ブロック図である。 一実施例におけるスキップ状態決定モジュールの構成ブロック図である。 一実施例におけるサブ単位相違度算出ユニットの構成ブロック図である。 他の実施例におけるビデオ符号化装置の構成ブロック図である。 他の実施例における符号化モジュールの構成ブロック図である。 一実施例におけるビデオ符号化装置の構成ブロック図である。 一実施例におけるコンピュータ機器の構成ブロック図である。
本願の目的、構成、及びメリットをより明確にするために、以下、図面および実施例を参照して、本願をさらに詳しく説明する。理解すべきものとして、ここで説明される具体的な実施例は、本願を解釈するためのものにすぎず、本願を限定するものではない。
図１は、一実施例におけるビデオ符号化方法の適用環境図である。この適用環境には、端末１１０とサーバ１２０とが含まれる。端末１１０は、ビデオ画像を符号化する。具体的な符号化の手順は、現在符号化単位に対応するサブ単位集合を取得するステップであって、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップと、フレーム内予測モードのスキップ状態がＹｅｓの場合、現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで現在符号化単位を符号化するステップと、を含む。端末１１０は、ネットワークを介して、符号化されたビデオをサーバ１２０に送信してもよい。端末１１０により取得されたビデオ画像をサーバ１２０に送信し、サーバ１２０で上記の方法によってビデオ画像を符号化してもよい。
サーバ１２０は、独立した物理サーバであってもよく、複数の物理サーバで構成されるサーバクラスタであってもよく、クラウドサーバ、クラウドデータベース、クラウドストレージ、及びコンテンツ配信ネットワーク（ＣＤＮ：Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ）などの基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末１１０は、スマートフォン、タグレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、プロ用カメラなどであってもよいが、これらに限定されない。サーバ１２０及び端末１１０は、ネットワークなどの通信接続方式で接続されてもよいが、本発明はここで限定されない。
図２は、一実施例におけるビデオ符号化方法のフレームワーク図である。図２を参照すると、ビデオ符号化を行う際に、ビデオ画像を複数の符号化単位に分割する。符号化制御モジュールは、ビデオフレームにおける異なる符号化単位の局所的な特性に基づいて、該符号化単位に使用する符号化予測モードを選択する。予測モードは、フレーム内予測符号化又はフレーム間予測符号化を含んでもよい。フレーム内予測符号化の符号化単位に対して、空間領域予測を行う。空間領域予測は、空間領域で予測を行う符号化アルゴリズムを指し、隣接するブロック間の空間冗長性を除去できる。フレーム間予測符号化の符号化単位に対して、動き推定を行ってから動き補償予測を行うことにより予測値を取得した後、符号化単位の実際値と予測値との減算により予測残差を取得し、変換・量子化処理により残差係数を形成し、最後に、エントロピー符号化器によって最終的な符号列を生成する。ここで、フレーム間予測を行う際に、予測符号化された他の符号化単位を参照して、動き推定を行う必要があるので、符号化された符号化単位に対して、逆量子化・逆変換、デブロッキングフィルタ、参照フレームの後に動き推定を行う必要がある。符号化単位の予測モードが複数あり、計算過程が複雑である。各予測モードのいずれに対しても計算を行うと、符号化効率を低減させる。このため、符号化単位のいくつかの特性に基づいて、一部の符号化単位に対してフレーム内予測符号化をスキップしてもよい。これにより、計算量を削減して、符号化効率を向上させる。
図３に示すように、一実施例では、ビデオ符号化方法が提供されており、このビデオ符号化方法が図１の端末又はサーバに適用される場合を例示する。このビデオ符号化方法は、具体的に、下記のステップを含む。
ステップＳ２０２で、現在符号化単位に対応するサブ単位集合を取得し、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される。
一実施例では、現在符号化単位（ＣＵ：Ｃｏｄｉｎｇ Ｕｉｎｔ）は、画像に対して符号化分割を行うことにより取得された複数の符号化ブロックのうち１つである。例えば、ＨＥＶＣでは、ツリー状のＣＵ構造が採用され、６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８の４種類の符号化単位を柔軟に選択することができる。所定の分割は、符号化分割とは異なる。符号化分割は、符号化標準に従う分割である。一方、所定の分割は、符号化標準により制限されず、画像を複数の領域に分割するためのものにすぎない。ここで、各領域間は、重なっても重ならなくてもよい。所定の規則に従って現在符号化単位を分割することにより、複数のサブ単位を取得する。各サブ単位間は、重なっても重ならなくてもよい。サブ単位同士の大きさは、一致しても一致しなくてもよい。例えば、ＨＥＶＣを例として、現在符号化単位を同じサイズの４つのサブ単位に分割し、この４つのサブ単位で構成される集合をサブ単位集合と呼ぶ。図４に示すように、サイズが６４×６４画素であるものを現在符号化単位として、現在符号化単位を、重ならない４つの３２×３２のサブ単位で構成されるサブ単位集合に分割するか、又は、部分的に重なる４つの３２×３２のサブ単位に分割する。
ステップＳ２０４で、サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。
ここで、相違度は、サブ単位間の画像の内容に基づいて決定される。サブ単位間の相違度が大きいほど、サブ単位同士が類似しなく、逆に、サブ単位間の相違度が小さいほど、サブ単位同士が類似する。現在符号化単位に対応する、フレーム内予測モードのスキップ状態は、現在符号化単位に対してフレーム内予測モードをスキップするか否かを示すためのものである。ここで、スキップ状態は、Ｙｅｓ及びＮｏの２つの状態を含む。スキップ状態がＹｅｓの場合は、現在符号化単位を符号化する際に、フレーム内予測モードをスキップし、フレーム間予測モードを選択することを表し、スキップ状態がＮｏの場合は、現在符号化単位を符号化する際に、フレーム内予測モードを実行する必要があることを表す。現在符号化単位に対応するサブ単位間の相違度に基づいて、現在符号化単位に対してフレーム内予測モードをスキップするか否かを決定する。
一実施例では、サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定した場合、他の条件によって、現在符号化単位の予測モードをさらに決定してもよい。
一実施例では、相違度は、サブ単位間の画素差に基づいて決定される。画像の画素は、画像の内容を記述するためのものである。画素の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定することは、画像自体の内容の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定することに相当する。画像自体の内容の相違度に基づくと、サブ単位間の類似度をより正確に決定できるため、この類似度に基づいて決定されたスキップ状態の正確さがより高い。
他の実施例では、相違度は、サブ単位間の画素差に対して変換処理を行うことにより取得される。変換処理の具体的なアルゴリズムは、例えば、フーリエ変換、変換後に量子化を行うなどのようにカスタマイズされてもよい。例えば、サブ単位間の画素差に対して変換又は量子化を行うことにより、相違度を取得する。画素差を変換することにより、異なる空間の情報を取得でき、例えば、情報が時間領域空間から周波数領域空間へ変換される。多次元情報を使用すると、サブ単位間の類似度をより正確に反映できる。
ステップＳ２０６で、フレーム内予測モードのスキップ状態がＹｅｓの場合、現在符号化単位に対してフレーム内予測モードの実行をスキップし、フレーム間予測モードで現在符号化単位を符号化する。
一実施例では、サブ単位間の相違度に基づいて、現在符号化単位のフレーム内予測モードのスキップ状態がＹｅｓであると決定した場合は、フレーム間予測モードを選択する方が現在符号化単位により適することを表し、現在符号化単位を符号化する際に、フレーム内予測モードをスキップし、直接にフレーム間予測モードでのフレーム間符号化コストを算出するステップに進み、フレーム間符号化コストに基づいて目標符号化モードを決定し、目標符号化モードで現在符号化単位を符号化する。
さらに、現在符号化単位の符号化分割が可能である場合、現在符号化単位を分割することにより、サブ符号化単位を取得する。１回分割することにより取得された各サブ符号化単位でサブ符号化単位集合が構成される。サブ符号化単位集合内の各サブ符号化単位を現在符号化単位として、上記の符号化方法によって符号化を行う。
上記のビデオ符号化方法では、現在符号化単位に対応するサブ単位集合を取得し、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成され、サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定し、フレーム内予測モードのスキップ状態がＹｅｓの場合、現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで現在符号化単位を符号化する。現在符号化単位に対応するサブ単位間の相違度を算出することにより、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定し、符号化過程におけるフレーム内予測モードの選択を減少する。これにより、ビデオ符号化の複雑さを低減させ、ビデオ符号化効率を向上させる。サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。サブ単位間の相違度は、画像の内容の相違度を反映したものである。画像の内容の相違度に基づいて、現在符号化単位に対応するフレーム内予測モードを決定することにより、符号化損失を減少し、符号化品質を確保することができる。
図５に示すように、一実施例では、ステップＳ２０４は、下記のステップを含む。
ステップＳ２０４２で、各隣接するサブ単位間の相違度を算出し、各隣接するサブ単位間の相違度で相違度集合が構成される。
一実施例では、各隣接するサブ単位間の相違度は、各隣接するサブ単位間の相違の度合い、又は類似の度合いを示すためのものである。各隣接するサブ単位間の相違度が大きいほど、隣接するサブ単位同士が類似しないことを表し、逆に、各隣接するサブ単位間の相違度が小さいほど、隣接するサブ単位同士が類似することを表す。サブ単位集合内の各隣接するサブ単位間の相違度を算出することにより、各隣接するサブ単位間の相違度で相違度集合が構成される。
一実施例では、各隣接するサブ単位間の相違度は、差分絶対値和、アダマール変換差分和、変換された差分絶対値和、又は平均絶対差のパラメータで計られるものを含むが、これらに限定されない。
ステップＳ２０４４で、各隣接するサブ単位間の相違度を統計することにより、総相違度を取得する。
一実施例では、相違度を統計する（例えば、相違度を加算する）ことにより、総相違度を取得する。この総相違度は、４つのサブ単位間の総類似度を判断するためのものである。相違度が大きいほど、各サブ単位同士が類似しないことを表し、逆に、相違度が小さいほど、各サブ単位同士が類似することを表す。
ステップＳ２０４６で、総相違度が所定の相違度閾値より小さい場合、相違度集合の中から、最大相違度及び最小相違度を取得する。
一実施例では、所定の相違度閾値は、画像が類似するか否かを判断するための境界値である。総相違度が所定の相違度閾値より小さい場合は、サブ単位同士が類似することを表し、上記サブ単位間の相違度集合の中から、最大相違度及び最小相違度を選択する。最大相違度は、隣接する２つのサブ単位が最も類似しないことを表し、最小相違度は、隣接する２つのサブ単位が最も類似することを表す。
一実施例では、所定の相違度閾値は、経験に基づいて設定される。
他の実施例では、所定の相違度閾値は、符号化された符号化単位のモード、及び／又は、符号化された符号化単位間の相違度及び／又は相違度閾値に基づいて決定される。
別の実施例では、所定の相違度閾値は、現在符号化単位のサイズの大きさと正の相関がある値である。
ステップＳ２０４８で、最大相違度及び最小相違度に基づいて、現在符号化単位に対応するサブ単位類似度を決定する。
具体的には、最大相違度は、サブ単位集合内で相違が最大となる２つのサブ単位に対応する相違度を表し、最小相違度は、サブ単位集合内で相違が最小となる２つのサブ単位に対応する相違度を表す。最大相違度と最小相違度との相違を比較することにより、現在符号化単位に対応するサブ単位類似度を決定する。ここで、最大相違度と最小相違度との相違は、カスタムアルゴリズムによって決定されてもよく、例えば、両者の比及び／又は両者の差に基づいて決定されてもよい。
ステップＳ２０４９で、サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。
一実施例では、サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定し、サブ単位類似度が所定の類似度閾値を満たす場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＮｏに設定し、逆に、サブ単位類似度が所定の類似度閾値を満たさない場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＹｅｓに設定する。各隣接するサブ単位間の相違度を算出することにより、各隣接するサブ単位間の類似度を決定し、各隣接するサブ単位間の類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。これにより、現在符号化単位に対応する、フレーム内予測モードの選択回数を減少させ、符号化効率を向上させる。
一実施例では、図４を参照すると、現在符号化単位を分割したサブ単位は、サブ単位Ａ、Ｂ、Ｃ、及びＤを含む。ここで、サブ単位Ａは、サブ単位Ｂ、Ｃと隣接し、サブ単位Ｄは、サブ単位Ｂ、Ｃと隣接する。サブ単位Ａとサブ単位Ｂ、Ｃとの相違度、サブ単位Ｄとサブ単位Ｂ、Ｃとの相違度を算出する。取得された相違度は、それぞれ、ＡＢ、ＡＣ、ＢＤ、及びＣＤで表される。上記の４つの相違度で相違度集合が構成される。上記の４つの相違度ＡＢ、ＡＣ、ＢＤ、及びＣＤを統計することにより、対応する総相違度Ｓｕｍ＿ＡＢＣＤを取得する。この総相違度Ｓｕｍ＿ＡＢＣＤが所定の相違度閾値Ｔ＿ＡＢＣＤより小さい場合、相違度ＡＢ、ＡＣ、ＢＤ、及びＣＤの中から、最大相違度及び最小相違度を見つける。最大相違度がＡＢであり、最小相違度がＣＤであるとすると、ＡＢとＣＤとの相違に基づいて、サブ単位Ａ、Ｂ、Ｃ、及びＤ間の類似度を決定する。サブ単位Ａ、Ｂ、Ｃ、及びＤ間の類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。
図６に示すように、一実施例では、ステップＳ２０４２は、下記のステップを含む。
ステップＳ２０４２Ａで、各隣接するサブ単位間の画素残差を算出することにより、対応する画素残差行列を取得し、各画素残差行列で残差行列集合が構成される。
一実施例では、画素残差行列は、２つの行列間の相違を示すためのものである。各隣接するサブ単位の画素の画素残差を算出することにより、画素残差行列を取得する。各隣接するサブ単位間の画素残差行列で構成される集合は、残差行列集合である。
ステップＳ２０４２Ｂで、残差行列集合内の各画素残差行列に対して特徴変換を行うことにより、対応する変換後行列を取得し、各変換後行列で変換後行列集合が構成される。
一実施例では、特徴変換は、データをある空間から他の空間へ投影するためのものである。データは、異なる空間において、異なるデータ特性が表現される。特徴変換によって残差行列集合内の各画素残差行列を変換することにより、対応する変換後行列を取得する。各変換後行列で変換後行列集合が構成される。
一実施例では、特徴変換は、アダマール変換を採用してもよい。アダマール変換は、アダマール行列を変換行列として使用して、行列を変換するものである。各画像残差行列を変換することにより、変換後行列を取得する。各変換後行列で構成される集合は、変換後行列集合である。ここで、アダマール行列は、対称直交行列である。２次のアダマール変換行列は、Ｈ２であり、具体的な表現式が、数式１に示す通りである。
Figure 0007024098000001
 数式２に示すように、Ｎ次のアダマール変換行列ＨＮで２Ｎ次のアダマール行列Ｈ２Ｎを表す。
Figure 0007024098000002
 一実施例では、画素残差行列ＡＢに対してアダマール変換を行うことにより、変換後行列を取得し、即ち、ＴＡＢ＝Ｈ・ＡＢであり、ここで、Ｈはアダマール変換行列である。
ステップＳ２０４２Ｃで、変換後行列集合内の各変換後行列の行列要素の絶対値を合計することにより、対応する統計相違度を取得し、各統計相違度で相違度集合が構成される。
具体的には、変換後行列における行列要素の絶対値を求め、行列における各行列要素の絶対値を統計することにより、対応する統計相違度を取得する。各変換後行列の統計された相違度で相違度集合が構成される。
一実施例では、画素残差行列に対してアダマール変換を行ってもよい。２つのサブ単位間の画素残差行列の要素和を直接に算出する場合に比べて、変換後の絶対値を算出した後に取得された相違度は、より正確であり、隣接する２つのサブ単位間の類似度又は相違度をより表現できる。
一実施例では、画素残差を変換した変換後行列が数式３に示す通りであるとする。
Figure 0007024098000003
 この場合、隣接するサブ単位Ａ、Ｂ間の相違度は、ＨＡＤ１＝１＋２＋３＋１＝７である。
一実施例では、ステップＳ２０４４の後に、上記ビデオ符号化方法は、
総相違度が所定の相違度閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定するステップＳ２０４５を含む。
具体的には、総相違度を、経験に基づいて設定された所定の相違度閾値、又は、符号化された符号化単位に基づいて決定された所定の相違度閾値と比較する。総相違度が所定の相違度閾値より大きい場合は、該現在符号化単位に対応する各サブ単位間の相違が相対的に大きいことを表す。現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＹｅｓに設定することは、現在符号化単位を符号化する際に、フレーム間予測モードを使用する方がより合理的であることを示す。総相違度に基づいて現在符号化単位の相違度を決定することにより、各サブ単位間の類似度を全体的に考慮し、符号化単位の全体性をより良く表現できる。
一実施例では、総相違度が所定の相違度閾値以下である場合、各サブ単位間の相違度の中から、一部のサブ単位間の相違度をカスタム選択し、カスタムアルゴリズムによって一部のサブ単位間の相違度に対して計算を行い、計算した結果に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。
一実施例では、各サブ単位間の相違度の中から、最大となる相違度及び最小となる相違度をそれぞれ最大相違度及び最小相違度として選択する。カスタムアルゴリズムによって最大相違度及び最小相違度に対して計算を行うことにより、対応する計算結果を取得する。
一実施例では、ステップＳ２０４８は、最大相違度と最小相違度との比を算出するステップを含む。
一実施例では、最大相違度及び最小相違度を取得した後、最大相違度と最小相違度との比を算出する。最大相違度と最小相違度との比を算出することにより、最大相違度と最小相違度との相違を表現する。上記の最大相違度と最小相違度との相違は、サブ単位間の最大の相違を表現できる。
一実施例では、ステップＳ２０４９は、
比が所定の閾値より小さい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを含む。
一実施例では、比が所定の閾値より小さい場合は、相違度が小さく、つまり、現在符号化単位のサブ単位類似度が良いことを表し、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＮｏに設定し、フレーム内予測モードを選択する方が現在符号化単位に適する。ここで、所定の閾値は、経験に基づいて設定されてもよいし、符号化された符号化単位のモードと、符号化された符号化単位のアダマール変換差分和とに基づいて算出されてもよく、例えば、符号化された、フレーム間予測を用いた符号化単位のアダマール変換差分和又は平均値に基づいて決定される。
総相違度を基に、最大相違度と最小相違度との比を参照することにより、全体的な相違度及び局所的な相違度を総合的に考慮し、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をより正確に決定することができる。
一実施例では、最大相違度と最小相違度との比を算出するステップの後に、上記ビデオ符号化方法は、
比が所定の閾値より大きくて、現在符号化単位の符号化分割が可能である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定するステップＳ２０５３を含む。
一実施例では、符号化分割とは、符号化標準に従って画像又は符号化単位を分割することを指す。異なる符号化標準は、異なる符号化分割方式に対応する。現在符号化単位の符号化分割が可能であるか否かは、現在符号化単位が最小符号化単位であるか否かに基づいて決定される。現在符号化単位が最小符号化単位である場合は、現在符号化単位の符号化分割が不可であることを表し、現在符号化単位が最小符号化単位でない場合は、現在符号化単位の符号化分割が可能であることを表す。最大相違度と最小相違度との比が所定の閾値より大きいと決定された場合は、現在符号化単位のサブ単位類似度が相対的に悪いことを表し、現在符号化単位の符号化分割の状況に応じて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。現在符号化単位の符号化において符号化分割が可能である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＹｅｓに設定し、現在符号化単位に対してフレーム内予測モードをスキップする。これにより、フレーム内予測モードの選択を減少させ、ビデオ符号化効率を向上させる。
一実施例では、最大相違度と最小相違度との比を算出するステップの後に、上記ビデオ符号化方法は、
比が所定の閾値より大きくて、現在符号化単位の符号化分割が不可である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを含む。
一実施例では、最大相違度と最小相違度との比が所定の閾値より大きいと決定された場合は、現在符号化単位のサブ単位類似度が相対的に悪いことを表し、現在符号化単位の符号化分割の状況に応じて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。現在符号化単位の符号化においてさらなる分割が不可である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＮｏに設定し、フレーム内予測モードの選択が現在符号化単位に適することを表す。
本実施例では、現在符号化単位の符号化分割状態に応じて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定し、現在符号化単位の符号化分割により、フレーム内予測モードの選択を減少させ、ビデオ符号化効率を向上させる。
図７に示すように、一実施例では、ステップＳ２０２の前に、上記ビデオ符号化方法は、下記のステップを含む。
ステップＳ２０８で、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得する。
一実施例では、現在符号化単位に対してフレーム間予測を行うことにより、フレーム間予測モードでの１つ又は複数の符号化モードを取得し、その中の最適な符号化モードに対応する予測残差を目標フレーム間予測残差として選択する。ここで、最適な符号化モードは、フレーム間予測残差に基づいて決定されてもよいし、フレーム間予測符号化コストに基づいて決定されてもよい。例えば、最小となるフレーム間予測残差を目標フレーム間予測残差として選択する。
ステップＳ２１０で、目標フレーム間予測残差が所定の残差閾値より大きいことを検出した場合、現在符号化単位の隣接符号化単位の符号化モードを取得する。
一実施例では、所定の残差閾値は、経験に基づいて設定されてもよいし、符号化された単位の残差に基づいて決定されてもよく、例えば、符号化された隣接単位の残差に基づいて決定される。ステップＳ２０８で取得された目標フレーム間予測残差が所定の残差閾値より大きい場合は、フレーム間予測モードが必ずしも最適な予測モードではないことを示す。現在符号化単位の目標フレーム間予測残差に基づいて、フレーム内予測モードを選択するか否かを決定できない。さらに現在符号化単位の隣接符号化単位の符号化モードを取得してもよい。隣接符号化単位の符号化モードに基づいて、フレーム内予測モードを選択するか否かをさらに決定する。
ステップＳ２１２で、隣接符号化単位の符号化モードがフレーム間符号化モードである場合、現在符号化単位の量子化パラメータを取得する。
一実施例では、現在符号化単位の隣接符号化単位の符号化モードにフレーム内符号化モードがない場合は、隣接符号化単位の符号化モードのみに基づいて、フレーム内予測モードを選択するか否かを決定できないことを表し、さらに現在符号化単位の量子化パラメータを取得する。ここで、量子化パラメータは、空間の細部の圧縮状況を反映したものである。量子化パラメータが小さい場合、大部分の細部が保持され、量子化パラメータの増大に伴い、画像の一部の細部が失われ、コードレートが低下し、画像の歪みが強化され、品質が低下する。量子化パラメータで符号化の品質を計ることができるため、量子化パラメータに基づいて現在符号化単位のスキップ状態を決定することにより、ビデオ符号化の品質を効果的に確保できる。
ステップＳ２１４で、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値以下である場合、現在符号化単位に対応するサブ単位集合を取得するステップに進む。
一実施例では、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値以下である場合は、画像に多くの細部が保持されていることを示し、ステップＳ２０２に進み、現在符号化単位に対応するサブ単位集合を取得する。
本実施例では、現在符号化単位の隣接符号化単位の符号化モード、及び／又は、現在符号化単位の量子化パラメータに基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をより正確に決定できる。これにより、符号化効率を向上させ、符号化損失を減少させる。
一実施例では、ステップＳ２１０の後に、上記ビデオ符号化方法は、
隣接符号化単位の符号化モードがフレーム内符号化モードである場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップＳ２１６をさらに含む。
一実施例では、現在符号化単位の隣接符号化単位にフレーム内符号化モードがある場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＮｏに設定し、フレーム内予測モードの選択が現在符号化単位に適する。隣接符号化単位にフレーム内符号化モードがある場合は、隣接符号化単位の画像の内容が類似することを示し、隣接符号化単位に近い符号化単位の画像の内容が類似する確率が大きいため、フレーム内予測モードを選択すればよい。
一実施例では、ステップＳ２１４の後に、上記ビデオ符号化方法は、
現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップＳ２１８を含む。
一実施例では、量子化パラメータは、符号化の符号化ステップサイズを表す。ステップサイズが長いほど、画像の失われた細部が多くなる。現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値より大きい場合は、現在符号化単位の符号化ステップサイズが大きいことを表し、符号化の歪みが大きいことを示し、フレーム内予測モードの選択を行う必要があり、現在符号化単位に対応する、フレーム内予測モードのスキップ状態をＮｏに設定する。
本実施例では、現在符号化単位の量子化パラメータの大きさに基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定する。量子化パラメータは、ビデオ符号化の品質を表現したものである。最適な符号化モードは、一定の符号化品質を確保しながら、画像を最小限に圧縮するようなモードである。量子化パラメータに基づいて決定された、現在符号化単位に対応する、フレーム内予測モードのスキップ状態は、より正確であり、一定の程度でビデオ符号化の品質を確保できる。
図８に示すように、一実施例では、上記ビデオ符号化方法は、下記のステップをさらに含む。
ステップＳ４０２で、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得する。
ここで、ビデオ符号化では、画像の冗長情報に時間冗長情報が含まれ、フレーム間予測は、時間冗長情報を減少させることができる。ビデオ画像が符号化器に入力されると、ビデオ画像を１つ又は複数の符号化単位に分けてもよい。そして、符号化単位に対応する目標予測モードを選択する。予測モードは、異なるビデオ符号化標準に従って設定されてもよい。
一実施例では、ビデオ画像に対して符号化分割を行うことにより、符号化単位を取得し、その中の１つの符号化単位を現在符号化単位として選択し、現在符号化単位に対してフレーム間予測を行うことにより、フレーム間予測モードでの１つ又は複数の符号化モードを取得し、その中の最適な符号化モードに対応する予測残差を目標フレーム間予測残差として選択する。
ステップＳ４０４で、フレーム内予測モードのスキップ状態がＮｏの場合、現在符号化単位のフレーム内予測モードでの目標フレーム内予測残差を算出する。
ここで、目標フレーム内予測残差は、現在符号化単位のフレーム内予測モードでの各フレーム内符号化モードに対応する符号化コストのうち最小となる符号化コストである。ここで、現在符号化単位の符号化コストは、現在符号化単位の量子化パラメータ、及び／又は、対応する残差を算出することにより取得されてもよい。現在符号化単位を符号化する際に、フレーム内予測モードを選択し、現在符号化単位のフレーム内予測モードでの目標フレーム内予測残差を算出する。
一実施例では、複数の符号化モードに対応する符号化コストを算出する必要があるため、複雑さが小さい符号化コスト算出方法によって、大まかな符号化コストを算出し、これらの大まかな符号化コストの中から、最小となる符号化コストを選択し、この最小となる符号化コストに対応するフレーム内符号化モードを現在符号化単位のフレーム内符号化モードとし、このフレーム内符号化モードに対応するフレーム内予測残差を目標フレーム内予測残差としてもよい。
ステップＳ４０６で、目標フレーム内予測残差が目標フレーム間予測残差より小さい場合、目標フレーム内予測残差に基づいて、現在符号化単位のフレーム内符号化コストを算出する。
一実施例では、目標フレーム内予測残差と目標フレーム間予測残差とを比較し、目標フレーム内予測残差が目標フレーム間予測残差より小さい場合は、フレーム内予測残差がより小さく、つまり、現在レイヤにおいて、フレーム内予測モードを選択して符号化を行う方がより良いことを表すため、目標フレーム内予測残差に基づいて、現在符号化単位のフレーム内符号化コストを算出する。
一実施例では、より精確なフレーム内符号化コストを取得するために、符号化の複雑さが高いアルゴリズムを使用してもよい。
ステップＳ４０８で、目標フレーム内予測残差が目標フレーム間予測残差より大きい場合、目標フレーム間予測残差に基づいて、現在符号化単位に対応するフレーム間符号化コストを算出する。
一実施例では、目標フレーム内予測残差が目標フレーム間予測残差より大きい場合は、フレーム間予測残差がより小さいことを表し、目標フレーム間予測残差に基づいて、現在符号化単位のフレーム間符号化コストを算出する。
一実施例では、目標フレーム間予測残差に対応する符号化モードでの符号化コストのみを算出するので、より精確なフレーム間符号化コストを取得するために、符号化の複雑さが高いアルゴリズムを使用してもよい。
ステップＳ４１０で、フレーム内符号化コスト及びフレーム間符号化コストに基づいて、目標符号化モードを決定する。
一実施例では、フレーム内符号化コスト及び／又はフレーム間符号化コストに基づいて、目標符号化モードを決定する。ここで、目標符号化モードは、フレーム内符号化コスト及びフレーム間符号化コストのうち最小となる符号化コストに基づいて決定される。
ステップＳ４１２で、目標符号化モードで現在符号化単位を符号化する。
一実施例では、目標符号化モードが決定された後、対応する符号化モードで現在符号化単位を符号化する。
一実施例では、ＨＥＶＣを例として、符号化コストがＣＯＳＴであるとすると、ＣＯＳＴ＝Ｄ＋λＲである。ここで、Ｄは、現在符号化単位に対応する画像符号化ブロックの歪みの度合いを表す。Ｄは、差分絶対値和（ＳＡＤ）演算によって算出されてもよい。λはラグランジュ乗数であり、Ｒは、符号化単位に対応する画像符号化ブロックが使用するビット数を表す。この符号化コスト算出方法によって、フレーム内符号化コスト及びフレーム間符号化コストを算出し、フレーム内符号化コスト及びフレーム間符号化コストに基づいて、符号化の目標符号化モードを決定する。最適な符号化は、一定の歪みを許容しながら、ビデオを最小限に圧縮するものである。このため、歪み率及びビット数に基づいて決定される符号化コストは、圧縮率と歪み率とのバランスをとることができる。
図９に示すように、一実施例では、ビデオ符号化方法は、下記のステップをさらに含む。
ステップＳ２２０で、現在符号化単位に対して符号化分割を行うことにより、各サブ符号化単位を取得し、各サブ符号化単位で対応するサブ符号化単位集合が構成される。
一実施例では、符号化分割によって１つの符号化単位を分割することにより、より小さい符号化単位を取得する。符号化分割の方式及び回数は、異なる符号化標準に応じて定義されてもよい。
図１０に示すように、ＨＥＶＣを例として、最大符号化単位が６４×６４画素であり、この最大符号化単位に対して符号化分割を行うことにより、４つの３２×３２画素のサブ符号化単位が取得され、４つの３２×３２画素のサブ符号化単位に対して符号化分割を行うことにより、１６個の１６×１６画素のサブ符号化単位が取得され、１６個の１６×１６画素のサブ符号化単位に対して符号化分割を行うことにより、６４個の８×８画素のサブ符号化単位が取得される。
ステップＳ２２２で、サブ符号化単位集合内の各サブ符号化単位を現在符号化単位として、現在符号化単位に対応するサブ単位集合を取得するステップに戻る。
一実施例では、サブ符号化単位集合内の各サブ符号化単位を現在符号化単位として、ステップＳ２０２に戻り、各サブ符号化単位に対応する、フレーム内予測モードのスキップ状態を決定し、サブ符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓの場合、サブ符号化単位に対してフレーム内予測モードの実行をスキップし、フレーム間予測モードでサブ符号化単位を符号化する。これにより、各サブ符号化単位の高速符号化を実現する。
図１１に示すように、具体的な一実施例では、ビデオ符号化方法は、下記のステップを含む。
ステップＳ６０１で、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得する。まず、現在符号化単位に対してフレーム間予測符号化を行う。予測残差に基づいて、最適フレーム間予測モードを選択する。最適フレーム間予測モードに対応する予測残差が、目標フレーム間予測残差である。
ステップＳ６０２で、目標フレーム間予測残差が所定の残差閾値より大きいか否かを判断する。目標フレーム間予測残差に基づいて、フレーム内予測モードの選択を行う必要があるか否かを判断し、目標フレーム間予測残差が所定の残差閾値より大きくない場合、フレーム内予測モードの選択を行う必要がなく、直接にステップＳ６１０に進み、逆に、目標フレーム間予測残差が所定の残差閾値より大きい場合、ステップＳ６０３に進む。
ステップＳ６０３で、現在符号化単位の、符号化された隣接符号化単位にフレーム内予測符号化単位が含まれる場合、現在符号化単位に対してフレーム内予測モードの選択を行う必要があり、ステップＳ６０７に進み、現在符号化単位の、符号化された隣接符号化単位にフレーム内予測符号化単位が含まれない場合、ステップＳ６０４に進み、さらなる判断を行う。
ステップＳ６０４で、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値より大きいか否かを判断し、量子化パラメータが所定の量子化パラメータ閾値より大きい場合、ステップＳ６０５に進み、量子化パラメータが所定の量子化パラメータ閾値より小さい場合、ステップＳ６０７に進む。
ステップＳ６０５で、現在符号化単位に対して所定の分割を行うことにより取得された、対応する４つのサブ単位間の相違度を算出する。
ステップＳ６０６で、４つのサブ単位間の相違度に基づいて、フレーム内予測モードを選択するか否かを決定する。相違度が小さい場合、フレーム内予測モードを選択し、ステップＳ６０７に進み、相違度が大きい場合、ステップＳ６１０に進む。図１２に示すように、具体的な判定ステップは、下記のステップを含む。
ステップＳ６０６１で、総相違度が所定の相違度閾値より大きいか否かを判断する。ここで、総相違度は、４つのサブ単位の各隣接する単位間の相違度について４つの相違度を取得して、４つの相違度を統計することにより取得される。総相違度が所定の相違度閾値より大きい場合、ステップＳ６０６６に進み、逆に、総相違度が所定の相違度閾値以下である場合、ステップＳ６０６２に進む。
ステップＳ６０６２で、４つの隣接するサブ単位の最大相違度と最小相違度との比を算出する。
ステップＳ６０６３で、ステップＳ６０６２で取得された比が所定の閾値より大きいか否かを判断し、比が該所定の閾値より大きい場合、ステップＳ６０６４に進み、逆に、比が該所定の閾値より大きくない場合、ステップＳ６０６５に進む。
ステップＳ６０６４で、現在符号化単位の下位層の符号化分割が可能であるか否かを判断し、現在符号化単位の下位層の符号化分割が可能である場合、ステップＳ６０６６に進み、逆に、現在符号化単位の下位層の符号化分割が不可である場合、ステップＳ６０６５に進む。
ステップＳ６０６５で、現在符号化単位に対してフレーム内予測モードの選択を行う必要があり、ステップＳ６０７に進む。
ステップＳ６０６６で、現在符号化単位に対してフレーム内予測モードの選択を行う必要がなく、ステップＳ６１０に進む。
ステップＳ６０７で、フレーム内予測モードを選択して、フレーム内予測残差を算出する。現在符号化単位に対してフレーム内予測モードの選択を行い、複数の符号化モードの予測残差の中から、最小となる予測残差をフレーム内予測残差として選択する。
ステップＳ６０８で、フレーム内予測残差が目標フレーム間予測残差より小さいか否かを判断し、フレーム内予測残差が目標フレーム間予測残差より小さい場合、ステップＳ６０９に進み、逆に、フレーム内予測残差が目標フレーム間予測残差より小さくない場合、ステップＳ６１０に進む。
ステップＳ６０９で、現在符号化単位のフレーム内予測モードでのフレーム内符号化コストを算出する。
ステップＳ６１０で、現在符号化単位のフレーム間予測モードでのフレーム間符号化コストを算出する。
ステップＳ６１１で、フレーム内符号化コスト及びフレーム間符号化コストに基づいて、目標符号化モードを決定する。ここで、目標符号化モードは、フレーム内符号化コスト及びフレーム間符号化コストのうち、最小となる符号化コストに対応する符号化モードである。
ステップＳ６１２で、目標符号化モードで現在符号化単位を符号化する。
図１３に示すように、一実施例では、ビデオ符号化装置が提供されている。この装置は、
現在符号化単位に対応するサブ単位集合を取得し、前記サブ単位集合が、前記現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成されるサブ単位取得モジュール２０２と、
サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するスキップ状態決定モジュール２０４と、
前記フレーム内予測モードのスキップ状態がＹｅｓの場合、前記現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで前記現在符号化単位を符号化する符号化モジュール２０６と、を含む。
図１４に示すように、一実施例では、スキップ状態決定モジュール２０４は、
各隣接するサブ単位間の相違度を算出し、各隣接するサブ単位間の相違度で相違度集合が構成されるサブ単位相違度算出ユニット２０４２と、
各隣接するサブ単位間の相違度を統計することにより、総相違度を取得する総相違度算出ユニット２０４４と、
総相違度が所定の相違度閾値より小さい場合、相違度集合の中から、最大相違度及び最小相違度を取得する相違度極値取得ユニット２０４６と、
最大相違度及び最小相違度に基づいて、現在符号化単位に対応するサブ単位類似度を決定する類似度決定ユニット２０４８と、
サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するスキップ状態決定ユニット２０４９と、を含む。
図１５に示すように、一実施例では、サブ単位相違度算出ユニット２０４２は、
各隣接するサブ単位間の画像残差を算出することにより、対応する画素残差行列を取得し、各画素残差行列で残差行列集合が構成される残差行列集合算出サブユニット２０４２Ａと、
残差行列集合内の各画素残差行列に対して特徴変換を行うことにより、対応する変換後行列を取得し、各変換後行列で変換後行列集合が構成される変換サブユニット２０４２Ｂと、
変換後行列集合内の各変換後行列の行列要素の絶対値を合計することにより、対応する統計相違度を取得し、各統計相違度で相違度集合が構成される行列合計サブユニット２０４２Ｃと、を含む。
一実施例では、スキップ状態決定ユニット２０４９は、さらに、総相違度が所定の相違度閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定する。
一実施例では、類似度決定ユニット２０４８は、さらに、最大相違度と最小相違度との比を算出する。
スキップ状態決定ユニット２０４９は、さらに、比が所定の閾値より小さい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定する。
一実施例では、スキップ状態決定ユニット２０４９は、さらに、比が所定の閾値より大きくて、現在符号化単位の符号化分割が可能である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定する。
一実施例では、スキップ状態決定ユニット２０４９は、さらに、比が所定の閾値より大きくて、現在符号化単位の符号化分割が不可である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定する。
図１６に示すように、一実施例では、ビデオ符号化装置２００は、
現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するフレーム間予測残差取得モジュール２０８と、
目標フレーム間予測残差が所定の残差閾値より大きい場合、現在符号化単位の隣接符号化単位の符号化モードを取得する隣接符号化モード取得モジュール２１０と、
隣接符号化単位の符号化モードがフレーム間符号化モードである場合、現在符号化単位の量子化パラメータを取得する量子化パラメータ取得モジュール２１２と、
現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値以下である場合、サブ単位取得モジュール２０２に進む処理モジュール２１４と、を含む。
一実施例では、スキップ状態決定モジュール２０４は、さらに、隣接符号化単位の符号化モードがフレーム内符号化モードである場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定する。
一実施例では、スキップ状態決定モジュール２０４は、さらに、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定する。
図１７に示すように、一実施例では、符号化モジュール２０６は、
現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するフレーム間予測残差取得ユニット２０６１と、
フレーム内予測モードのスキップ状態がＮｏの場合、現在符号化単位のフレーム内予測モードでの目標フレーム内予測残差を算出するフレーム内残差算出ユニット２０６２と、
目標フレーム内予測残差が目標フレーム間予測残差より小さい場合、目標フレーム内予測残差に基づいて、現在符号化単位のフレーム内符号化コストを算出するフレーム内符号化コスト算出ユニット２０６３と、
目標フレーム内予測残差が目標フレーム間予測残差より大きい場合、目標フレーム間予測残差に基づいて、現在符号化単位に対応するフレーム間符号化コストを算出するフレーム間符号化コスト算出ユニット２０６４と、
フレーム内符号化コスト及びフレーム間符号化コストに基づいて、目標符号化モードを決定する目標符号化モード決定ユニット２０６５と、
目標符号化モードで現在符号化単位を符号化する符号化ユニット２０６６と、を含む。
図１８に示すように、一実施例では、ビデオ符号化装置２００は、
現在符号化単位に対して符号化分割を行うことにより、各サブ符号化単位を取得し、各サブ符号化単位で対応するサブ符号化単位集合が構成されるサブ符号化単位分割モジュール２１６と、
サブ符号化単位集合内の各サブ符号化単位を現在符号化単位として、サブ単位取得モジュール２０２に戻る再帰モジュール２１８と、をさらに含む。
一実施例では、コンピュータ機器も提供されている。このコンピュータ機器の内部構成は、図１９に示すものであってもよい。このコンピュータ機器は、ビデオ符号化装置を含む。ビデオ符号化装置には、各モジュールが含まれる。各モジュールそれぞれは、全部又は部分的に、ソフトウェア、ハードウェア、又はそれらの組み合わせによって実現されてもよい。
図１９は、一実施例におけるコンピュータ機器の内部構成図である。このコンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインタフェース、入力装置、及びディスプレイスクリーンを含む。ここで、メモリは、不揮発性記憶媒体及び内部メモリを含む。該コンピュータ機器の不揮発性記憶媒体には、オペレーティングシステムが記憶され、コンピュータ可読命令が記憶されてもよい。該コンピュータ可読命令は、プロセッサによって実行されると、プロセッサにビデオ符号化方法を実現させることが可能である。該内部メモリにも、コンピュータ可読命令が記憶されてもよい。該コンピュータ可読命令は、プロセッサによって実行されると、プロセッサにビデオ符号化方法を実行させることが可能である。コンピュータ機器のディスプレイスクリーンは、液晶ディスプレイスクリーンやＥ－ｉｎｋディスプレイスクリーンなどであってもよい。コンピュータ機器の入力装置は、ディスプレイスクリーンに重ね合わせたタッチ層であってもよく、コンピュータ機器の筐体に設けられたボタン、トラックボール、又はタッチパッドであってもよく、外付けのキーボード、タッチパッド、又はマウスなどであってもよい。
当業者であれば理解できるように、図１９に示された構成は、本願発明に係る一部の構成のブロック図にすぎず、本願発明が適用されるコンピュータ機器を限定するものではない。具体的なコンピュータ機器は、図示よりも多く又は少ない構成要素を含んでもよく、或いはいくらかの構成要素を組み合わせたものであってもよく、或いは構成要素の異なる配置を有してもよい。
一実施例では、本願で提供されたビデオ符号化装置は、コンピュータ可読命令の形で実現されてもよい。コンピュータ可読命令は、図１９に示すようなコンピュータ機器上で実行されることができる。コンピュータ機器のメモリには、該ビデオ符号化装置を構成する各可読命令モジュール、例えば、図１３に示すサブ単位取得モジュール、スキップ状態決定モジュール、及び符号化モジュールが記憶されてもよい。各可読命令モジュールで構成されるコンピュータ可読命令は、プロセッサに、本明細書で説明された本願の各実施例のビデオ符号化方法のステップを実行させる。
一実施例では、コンピュータ可読命令を記憶した１つ又は複数の不揮発性記憶媒体が提供されている。前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、現在符号化単位に対応するサブ単位集合を取得するステップであって、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップと、フレーム内予測モードのスキップ状態がＹｅｓの場合、現在符号化単位に対してフレーム内予測モードの実行をスキップし、フレーム間予測モードで現在符号化単位を符号化するステップと、を実行させる。
一実施例では、前記サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップは、各隣接するサブ単位間の相違度を算出するステップであって、各隣接するサブ単位間の相違度で相違度集合が構成される、ステップと、各隣接するサブ単位間の相違度を統計することにより、総相違度を取得するステップと、総相違度が所定の相違度閾値より小さい場合、相違度集合の中から、最大相違度及び最小相違度を取得するステップと、最大相違度及び最小相違度に基づいて、現在符号化単位に対応するサブ単位類似度を決定するステップと、サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップと、を含む。
一実施例では、前記各隣接するサブ単位間の相違度を算出するステップであって、各隣接するサブ単位間の相違度で相違度集合が構成される、ステップは、各隣接するサブ単位間の画素残差を算出することにより、対応する画素残差行列を取得するステップであって、各画素残差行列で残差行列集合が構成される、ステップと、残差行列集合内の各画素残差行列に対して特徴変換を行うことにより、対応する変換後行列を取得するステップであって、各変換後行列で変換後行列集合が構成される、ステップと、変換後行列集合内の各変換後行列の行列要素の絶対値を合計することにより、対応する統計相違度を取得するステップであって、各統計相違度で相違度集合が構成される、ステップと、を含む。
一実施例では、各隣接するサブ単位間の相違度を統計することにより、総相違度を取得するステップの後に、前記コンピュータ可読命令は、さらに、前記プロセッサに、総相違度が所定の相違度閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定するステップを実行させる。
一実施例では、前記最大相違度及び最小相違度に基づいて、現在符号化単位に対応するサブ単位類似度を決定するステップと、サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップとは、最大相違度と最小相違度との比を算出するステップと、比が所定の閾値より小さい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップと、を含む。
一実施例では、前記最大相違度と最小相違度との比を算出した後、前記コンピュータ可読命令は、さらに、前記プロセッサに、比が所定の閾値より大きくて、現在符号化単位の符号化分割が可能である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定するステップを実行させる。
一実施例では、前記最大相違度と最小相違度との比を算出した後、前記コンピュータ可読命令は、さらに、前記プロセッサに、比が所定の閾値より大きくて、現在符号化単位の符号化分割が不可である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを実行させる。
一実施例では、現在符号化単位に対応するサブ単位集合を取得するステップであって、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップの前に、前記コンピュータ可読命令は、さらに、前記プロセッサに、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するステップと、目標フレーム間予測残差が所定の残差閾値より大きいことを検出した場合、現在符号化単位の隣接符号化単位の符号化モードを取得するステップと、隣接符号化単位の符号化モードがフレーム間符号化モードである場合、現在符号化単位の量子化パラメータを取得するステップと、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値以下である場合、現在符号化単位に対応するサブ単位集合を取得するステップに進むステップと、を実行させる。
一実施例では、現在符号化単位の隣接符号化単位の符号化モードを取得した後、前記コンピュータ可読命令は、さらに、前記プロセッサに、隣接符号化単位の符号化モードがフレーム内符号化モードである場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを実行させる。
一実施例では、現在符号化単位の量子化パラメータを取得した後、前記コンピュータ可読命令は、さらに、前記プロセッサに、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを実行させる。
一実施例では、前記コンピュータ可読命令は、さらに、前記プロセッサに、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するステップと、フレーム内予測モードのスキップ状態がＮｏの場合、現在符号化単位のフレーム内予測モードでの目標フレーム内予測残差を算出するステップと、目標フレーム内予測残差が目標フレーム間予測残差より小さい場合、目標フレーム内予測残差に基づいて、現在符号化単位のフレーム内符号化コストを算出するステップと、目標フレーム内予測残差が目標フレーム間予測残差より大きい場合、目標フレーム間予測残差に基づいて、現在符号化単位に対応するフレーム間符号化コストを算出するステップと、フレーム内符号化コスト及びフレーム間符号化コストに基づいて、目標符号化モードを決定するステップと、目標符号化モードで現在符号化単位を符号化するステップと、を実行させる。
一実施例では、前記コンピュータ可読命令は、さらに、前記プロセッサに、現在符号化単位に対して符号化分割を行うことにより、各サブ符号化単位を取得するステップであって、各サブ符号化単位で対応するサブ符号化単位集合が構成される、ステップと、サブ符号化単位集合内の各サブ符号化単位を現在符号化単位として、現在符号化単位に対応するサブ単位集合を取得するステップに戻るステップと、を実行させる。
一実施例では、メモリとプロセッサとを備えるコンピュータ機器が提供されている。前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令は、前記プロセッサによって実行されると、前記プロセッサに、現在符号化単位に対応するサブ単位集合を取得するステップであって、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップと、フレーム内予測モードのスキップ状態がＹｅｓの場合、現在符号化単位に対してフレーム内予測モードの実行をスキップし、フレーム間予測モードで現在符号化単位を符号化するステップと、を実行させる。
一実施例では、前記サブ単位集合内の各サブ単位間の相違度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップは、各隣接するサブ単位間の相違度を算出するステップであって、各隣接するサブ単位間の相違度で相違度集合が構成される、ステップと、各隣接するサブ単位間の相違度を統計することにより、総相違度を取得するステップと、総相違度が所定の相違度閾値より小さい場合、相違度集合の中から、最大相違度及び最小相違度を取得するステップと、最大相違度及び最小相違度に基づいて、現在符号化単位に対応するサブ単位類似度を決定するステップと、サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップと、を含む。
一実施例では、前記各隣接するサブ単位間の相違度を算出するステップであって、各隣接するサブ単位間の相違度で相違度集合が構成される、ステップは、各隣接するサブ単位間の画素残差を算出することにより、対応する画素残差行列を取得するステップであって、各画素残差行列で残差行列集合が構成される、ステップと、残差行列集合内の各画素残差行列に対して特徴変換を行うことにより、対応する変換後行列を取得するステップであって、各変換後行列で変換後行列集合が構成される、ステップと、変換後行列集合内の各変換後行列の行列要素の絶対値を合計することにより、対応する統計相違度を取得するステップであって、各統計相違度で相違度集合が構成される、ステップと、を含む。
一実施例では、前記各隣接するサブ単位間の相違度を統計することにより、総相違度を取得した後、前記プロセッサは、コンピュータ可読命令を実行することにより、総相違度が所定の相違度閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定するステップを実行する。
一実施例では、前記最大相違度及び最小相違度に基づいて、現在符号化単位に対応するサブ単位類似度を決定するステップと、サブ単位類似度に基づいて、現在符号化単位に対応する、フレーム内予測モードのスキップ状態を決定するステップとは、最大相違度と最小相違度との比を算出するステップと、比が所定の閾値より小さい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップと、を含む。
一実施例では、前記最大相違度と最小相違度との比を算出した後、前記プロセッサは、コンピュータ可読命令を実行することにより、比が所定の閾値より大きくて、現在符号化単位の符号化分割が可能である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＹｅｓであると決定するステップを実行する。
一実施例では、前記最大相違度と最小相違度との比を算出した後、前記プロセッサは、コンピュータ可読命令を実行することにより、比が所定の閾値より大きくて、現在符号化単位の符号化分割が不可である場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを実行する。
一実施例では、前記現在符号化単位に対応するサブ単位集合を取得するステップであって、サブ単位集合が、現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップの前に、前記プロセッサは、コンピュータ可読命令を実行することにより、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するステップと、目標フレーム間予測残差が所定の残差閾値より大きいことを検出した場合、現在符号化単位の隣接符号化単位の符号化モードを取得するステップと、隣接符号化単位の符号化モードがフレーム間符号化モードである場合、現在符号化単位の量子化パラメータを取得するステップと、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値以下である場合、現在符号化単位に対応するサブ単位集合を取得するステップに進むステップと、を実行する。
一実施例では、前記現在符号化単位の隣接符号化単位の符号化モードを取得した後、前記プロセッサは、コンピュータ可読命令を実行することにより、隣接符号化単位の符号化モードがフレーム内符号化モードである場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを実行する。
一実施例では、現在符号化単位の量子化パラメータを取得した後、前記プロセッサは、コンピュータ可読命令を実行することにより、現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値より大きい場合、現在符号化単位に対応する、フレーム内予測モードのスキップ状態がＮｏであると決定するステップを実行する。
一実施例では、前記プロセッサは、コンピュータ可読命令を実行することにより、現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するステップと、フレーム内予測モードのスキップ状態がＮｏの場合、現在符号化単位のフレーム内予測モードでの目標フレーム内予測残差を算出するステップと、目標フレーム内予測残差が目標フレーム間予測残差より小さい場合、目標フレーム内予測残差に基づいて、現在符号化単位のフレーム内符号化コストを算出するステップと、目標フレーム内予測残差が目標フレーム間予測残差より大きい場合、目標フレーム間予測残差に基づいて、現在符号化単位に対応するフレーム間符号化コストを算出するステップと、フレーム内符号化コスト及びフレーム間符号化コストに基づいて、目標符号化モードを決定するステップと、目標符号化モードで現在符号化単位を符号化するステップと、を実行する。
一実施例では、前記プロセッサは、コンピュータ可読命令を実行することにより、現在符号化単位に対して符号化分割を行うことにより、各サブ符号化単位を取得するステップであって、各サブ符号化単位で対応するサブ符号化単位集合が構成される、ステップと、サブ符号化単位集合内の各サブ符号化単位を現在符号化単位として、現在符号化単位に対応するサブ単位集合を取得するステップに戻るステップと、を実行する。
理解すべきものとして、本願の各実施例における各ステップは、必ずしも、ステップ番号に示された順序で順に実行されるとは限らない。本明細書で明確に説明されない限り、これらのステップの実行順序には、厳しい制限がない。これらのステップは、他の順序で実行されてもよい。また、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数のステージを含んでもよい。これらのサブステップ又はステージは、必ずしも同一の時刻に実行完了するとは限らず、異なる時刻に実行されてもよい。これらのサブステップ又はステージの実行順序も、必ずしも順次に実行するとは限らず、他のステップ、或いは、他のステップのサブステップ又はステージの少なくとも一部と代わる代わる又は交代で実行されてもよい。
当業者であれば理解できるように、上記の実施例に係る方法の手順の全部又は一部は、コンピュータ可読命令によって関連のハードウェアに指示することにより実行されてもよい。前記可読命令は、不揮発性コンピュータ可読記憶媒体に記憶されてもよい。この可読命令が実行されると、上記のような各方法の実施例の手順が実行される。ここで、本願で提供された各実施例に使用されたメモリ、ストレージ、データベース、又は他の媒体へのいかなる参照でも、不揮発性及び／又は揮発性メモリを含んでもよい。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）、又は外部キャッシュを含んでもよい。限定ではなく説明として、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ダイレクト・ラムバス（Ｒａｍｂｕｓ）ＲＡＭ（ＲＤＲＡＭ）、ダイレクト・ラムバス・ダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びラムバス・ダイナミックＲＡＭ（ＲＤＲＡＭ）などの多くの形態で利用可能である。
上述した実施例の各構成要件は、任意に組み合わせされてもよい。説明を簡潔にするために、上記実施例の各構成要件の可能な組み合わせがすべて説明されているわけではない。しかしながら、これらの構成要件の組み合わせは、矛盾がない限り、本明細書に記載された範囲にあると考えられるべきである。
上述した実施例は、本願のいくつかの実施形態を示したものにすぎず、説明が具体的で詳しいが、これによって本願の特許範囲への制限と理解されるわけにはいかない。指摘すべきものとして、当業者にとっては、本願の構想を逸脱しない前提で、若干の変形及び改良が可能である。これらの変形及び改良は、いずれも本願の保護範囲に属する。それゆえ、本願の特許保護範囲は、添付の特許請求の範囲に従うべきである。
１１０ 端末
１２０ サーバ
２００ ビデオ符号化装置
２０２ サブ単位取得モジュール
２０４ スキップ状態決定モジュール
２０６ 符号化モジュール
２０８ フレーム間予測残差取得モジュール
２１０ 隣接符号化モード取得モジュール
２１２ 量子化パラメータ取得モジュール
２１４ 処理モジュール
２１６ サブ符号化単位分割モジュール
２１８ 再帰モジュール
２０４２ サブ単位相違度算出ユニット
２０４４ 総相違度算出ユニット
２０４６ 相違度極値取得ユニット
２０４８ 類似度決定ユニット
２０４９ スキップ状態決定ユニット
２０４２Ａ 残差行列集合算出サブユニット
２０４２Ｂ 変換サブユニット
２０４２Ｃ 行列合計サブユニット
２０６１ フレーム間予測残差取得ユニット
２０６２ フレーム内残差算出ユニット
２０６３ フレーム内符号化コスト算出ユニット
２０６４ フレーム間符号化コスト算出ユニット
２０６５ 目標符号化モード決定ユニット
２０６６ 符号化ユニット

Claims (14)

  1. ビデオ符号化方法であって、
    コンピュータ機器が、現在符号化単位に対応するサブ単位集合を取得するステップであって、前記サブ単位集合が、前記現在符号化単位に対して所定の分割を行うことにより取得された各サブ単位で構成される、ステップと、
    前記コンピュータ機器が、前記サブ単位集合内の各サブ単位間の相違度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップと、
    前記フレーム内予測モードの状態がスキップ状態である場合、前記コンピュータ機器が、前記現在符号化単位に対して前記フレーム内予測モードの実行をスキップし、フレーム間予測モードで前記現在符号化単位を符号化するステップと、
    を含み、
    前記コンピュータ機器が、前記サブ単位集合内の各サブ単位間の相違度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップは、
    前記コンピュータ機器が、各隣接するサブ単位間の相違度を算出するステップであって、前記各隣接するサブ単位間の相違度で相違度集合が構成される、ステップと、
    前記コンピュータ機器が、前記各隣接するサブ単位間の相違度を統計することにより、総相違度を取得するステップと、
    前記総相違度が所定の相違度閾値より小さい場合、前記コンピュータ機器が、前記相違度集合の中から、最大相違度及び最小相違度を取得するステップと、
    前記コンピュータ機器が、前記最大相違度及び前記最小相違度に基づいて、前記現在符号化単位に対応するサブ単位類似度を決定するステップと、
    前記コンピュータ機器が、前記サブ単位類似度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップと、
    を含むことを特徴とする方法。
  2. 前記コンピュータ機器が、各隣接するサブ単位間の相違度を算出するステップであって、前記各隣接するサブ単位間の相違度で相違度集合が構成される、ステップは、
    前記コンピュータ機器が、前記各隣接するサブ単位間の画素残差を算出することにより、前記各隣接するサブ単位に対応する画素残差行列を取得するステップであって、各画素残差行列で残差行列集合が構成される、ステップと、
    前記コンピュータ機器が、前記残差行列集合内の各画素残差行列に対して特徴変換を行うことにより、前記各画素残差行列に対応する変換後行列を取得するステップであって、各変換後行列で変換後行列集合が構成される、ステップと、
    前記コンピュータ機器が、前記変換後行列集合内の各変換後行列の行列要素の絶対値を合計することにより、前記各変換後行列に対応する統計相違度を取得するステップであって、各統計相違度で前記相違度集合が構成される、ステップと、
    を含むことを特徴とする請求項１に記載の方法。
  3. 前記コンピュータ機器が、前記各隣接するサブ単位間の相違度を統計することにより、総相違度を取得した後、
    前記総相違度が所定の相違度閾値より大きい場合、前記コンピュータ機器が、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であると決定するステップ、
    を含むことを特徴とする請求項１又は２に記載の方法。
  4. 前記コンピュータ機器が、前記最大相違度及び前記最小相違度に基づいて、前記現在符号化単位に対応するサブ単位類似度を決定するステップと、前記コンピュータ機器が、前記サブ単位類似度に基づいて、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であるか否かを決定するステップとは、
    前記コンピュータ機器が、前記最大相違度と前記最小相違度との比を算出するステップと、
    前記比が所定の閾値より小さい場合、前記コンピュータ機器が、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態でないと決定するステップと、
    を含むことを特徴とする請求項１～３のいずれか１項に記載の方法。
  5. 前記コンピュータ機器が、前記最大相違度と前記最小相違度との比を算出した後、
    前記比が所定の閾値より大きくて、前記現在符号化単位の符号化分割が可能である場合、前記コンピュータ機器が、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態であると決定するステップ、
    をさらに含むことを特徴とする請求項４に記載の方法。
  6. 前記コンピュータ機器が、前記最大相違度と前記最小相違度との比を算出した後、
    前記比が所定の閾値より大きくて、前記現在符号化単位の符号化分割が不可である場合、前記コンピュータ機器が、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態でないと決定するステップ、
    をさらに含むことを特徴とする請求項４に記載の方法。
  7. 前記コンピュータ機器が、現在符号化単位に対応するサブ単位集合を取得する前に、
    前記コンピュータ機器が、前記現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するステップと、
    前記目標フレーム間予測残差が所定の残差閾値より大きいことを検出した場合、前記コンピュータ機器が、前記現在符号化単位の隣接符号化単位の符号化モードを取得するステップと、
    前記隣接符号化単位の符号化モードがフレーム間符号化モードである場合、前記コンピュータ機器が、前記現在符号化単位の量子化パラメータを取得するステップと、
    前記現在符号化単位の量子化パラメータが所定の量子化パラメータ閾値以下である場合、前記コンピュータ機器が、現在符号化単位に対応するサブ単位集合を取得するステップに進むステップと、
    をさらに含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
  8. 前記現在符号化単位の隣接符号化単位の符号化モードを取得した後、
    前記隣接符号化単位の符号化モードがフレーム内符号化モードである場合、前記コンピュータ機器が、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態でないと決定するステップ、
    をさらに含むことを特徴とする請求項７に記載の方法。
  9. 前記現在符号化単位の量子化パラメータを取得した後、
    前記現在符号化単位の量子化パラメータが前記所定の量子化パラメータ閾値より大きい場合、前記コンピュータ機器が、前記現在符号化単位に対応する、フレーム内予測モードの状態がスキップ状態でないと決定するステップ、
    を含むことを特徴とする請求項７に記載の方法。
  10. 前記コンピュータ機器が、前記現在符号化単位のフレーム間予測モードでの目標フレーム間予測残差を取得するステップと、
    前記フレーム内予測モードの状態がスキップ状態でない場合、前記コンピュータ機器が、前記現在符号化単位のフレーム内予測モードでの目標フレーム内予測残差を算出するステップと、
    前記目標フレーム内予測残差が前記目標フレーム間予測残差より小さい場合、前記コンピュータ機器が、前記目標フレーム内予測残差に基づいて、前記現在符号化単位のフレーム内符号化コストを算出するステップと、
    前記目標フレーム内予測残差が前記目標フレーム間予測残差より大きい場合、前記コンピュータ機器が、前記目標フレーム間予測残差に基づいて、前記現在符号化単位に対応するフレーム間符号化コストを算出するステップと、
    前記コンピュータ機器が、前記フレーム内符号化コスト及び前記フレーム間符号化コストに基づいて、目標符号化モードを決定するステップと、
    前記コンピュータ機器が、前記目標符号化モードで前記現在符号化単位を符号化するステップと、
    をさらに含む請求項１～６のいずれか１項に記載の方法。
  11. 前記コンピュータ機器が、前記現在符号化単位に対して符号化分割を行うことにより、各サブ符号化単位を取得するステップであって、前記各サブ符号化単位で前記現在符号化単位に対応するサブ符号化単位集合が構成される、ステップと、
    前記コンピュータ機器が、前記サブ符号化単位集合内の各サブ符号化単位を前記現在符号化単位として、現在符号化単位に対応するサブ単位集合を取得するステップに戻るステップと、
    をさらに含む請求項１～１０のいずれか１項に記載の方法。
  12. メモリとプロセッサとを備えるコンピュータ機器であって、前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令は、前記プロセッサによって実行されると、前記プロセッサに、請求項１～１１のいずれか１項に記載の方法を実行させるコンピュータ機器。
  13. コンピュータ可読命令を記憶した１つ又は複数の不揮発性記憶媒体であって、前記コンピュータ可読命令は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに、請求項１～１１のいずれか１項に記載の方法を実行させる記憶媒体。
  14. 請求項１～１１のいずれか１項に記載の方法をコンピュータ機器に実行させるコンピュータプログラム。
JP2020540613A 2018-02-01 2018-10-26 ビデオ符号化方法、コンピュータ機器、及び記憶媒体 Active JP7024098B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810102997.XA CN110113600B (zh) 2018-02-01 2018-02-01 视频编码方法、装置、计算机可读存储介质和计算机设备
CN201810102997.X 2018-02-01
PCT/CN2018/112097 WO2019148906A1 (zh) 2018-02-01 2018-10-26 视频编码方法、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021513234A JP2021513234A (ja) 2021-05-20
JP7024098B2 true JP7024098B2 (ja) 2022-02-22

Family

ID=67479561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540613A Active JP7024098B2 (ja) 2018-02-01 2018-10-26 ビデオ符号化方法、コンピュータ機器、及び記憶媒体

Country Status (5)

Country Link
US (1) US11070817B2 (ja)
EP (1) EP3748966B1 (ja)
JP (1) JP7024098B2 (ja)
CN (1) CN110113600B (ja)
WO (1) WO2019148906A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383774B (zh) * 2020-10-30 2023-10-03 网宿科技股份有限公司 编码方法、编码器以及服务器
CN112637591B (zh) * 2020-12-11 2024-09-13 百果园技术(新加坡)有限公司 一种视频预测编码的方法及装置
CN113099224A (zh) * 2021-04-02 2021-07-09 江苏允博信息科技有限公司 一种基于图像主纹理强度的单元划分和预测模型选择的视频编码方法
CN114449262A (zh) * 2022-03-02 2022-05-06 百果园技术(新加坡)有限公司 视频编码控制方法、装置、设备和存储介质
CN115052160B (zh) * 2022-04-22 2023-07-07 江西中烟工业有限责任公司 基于云数据自动下载的图像编码方法、装置及电子设备
CN115190295B (zh) * 2022-06-30 2023-06-23 北京百度网讯科技有限公司 视频帧处理方法、装置、设备及存储介质
CN115379217A (zh) * 2022-07-14 2022-11-22 百果园技术(新加坡)有限公司 一种视频编码处理方法、装置、设备及存储介质
CN115811610B (zh) * 2023-01-13 2023-05-05 安徽医科大学 一种适用于无线内窥镜的图传方法及系统
CN116600123B (zh) * 2023-07-17 2023-11-07 北京中星微人工智能芯片技术有限公司 视频编码方法及装置、视频解码方法及装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020217A (ja) 2004-07-05 2006-01-19 Sharp Corp 画像符号化装置
JP2008283402A (ja) 2007-05-09 2008-11-20 Canon Inc 画像処理装置およびその方法
JP2010263301A (ja) 2009-04-30 2010-11-18 Mega Chips Corp 画像データの生成方法
CN104104947A (zh) 2013-04-02 2014-10-15 腾讯科技（深圳）有限公司 一种视频编码方法和装置
WO2018035130A1 (en) 2016-08-15 2018-02-22 Qualcomm Incorporated Intra video coding using a decoupled tree structure

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
CN101572817B (zh) * 2009-05-26 2011-01-05 北京邮电大学 一种用于空间可分级视频编码的编码模式选择方法
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
WO2015074047A1 (en) * 2013-11-18 2015-05-21 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (hevc)
KR101516347B1 (ko) * 2013-11-21 2015-05-04 한밭대학교 산학협력단 Hevc 화면내 부호화 방법 및 장치
CN103957414A (zh) * 2014-04-16 2014-07-30 安科智慧城市技术（中国）有限公司 一种hevc帧内预测编码方法和系统
CN104853191B (zh) * 2015-05-06 2017-09-05 宁波大学 一种hevc的快速编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020217A (ja) 2004-07-05 2006-01-19 Sharp Corp 画像符号化装置
JP2008283402A (ja) 2007-05-09 2008-11-20 Canon Inc 画像処理装置およびその方法
JP2010263301A (ja) 2009-04-30 2010-11-18 Mega Chips Corp 画像データの生成方法
CN104104947A (zh) 2013-04-02 2014-10-15 腾讯科技（深圳）有限公司 一种视频编码方法和装置
WO2018035130A1 (en) 2016-08-15 2018-02-22 Qualcomm Incorporated Intra video coding using a decoupled tree structure

Also Published As

Publication number Publication date
CN110113600A (zh) 2019-08-09
US20200296387A1 (en) 2020-09-17
CN110113600B (zh) 2022-08-26
US11070817B2 (en) 2021-07-20
JP2021513234A (ja) 2021-05-20
WO2019148906A1 (zh) 2019-08-08
EP3748966A4 (en) 2021-01-13
EP3748966A1 (en) 2020-12-09
EP3748966B1 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
JP7024098B2 (ja) ビデオ符号化方法、コンピュータ機器、及び記憶媒体
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
KR102252816B1 (ko) 부호화유닛 심도 확정 방법 및 장치
US10735727B2 (en) Method of adaptive filtering for multiple reference line of intra prediction in video coding, video encoding apparatus and video decoding apparatus therewith
US20200389665A1 (en) Video encoding and decoding method, and storage medium thereof
WO2022104498A1 (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
JP2019536356A (ja) ビデオ符号化のビットレート割り当て、符号化ユニットビットレート割り当て方法、及びコンピューター機器
KR20210118166A (ko) 적응형 개수의 영역들을 갖는 기하학적 파티셔닝을 위한 모양 적응 이산 코사인 변환
JP7431752B2 (ja) ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラム
CN110166770B (zh) 视频编码方法、装置、计算机设备和存储介质
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
JP2014107645A (ja) 主観画質推定装置、主観画質推定方法及びプログラム
JP7147145B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2017050744A (ja) 画像符号化装置、画像符号化方法、及びプログラム
KR20210139327A (ko) 화상 예측 방법, 인코더, 디코더 및 저장 매체
GB2577056A (en) Bitstream decoder
US20240179348A1 (en) Sign prediction for block-based video coding
US20240223811A1 (en) Sign prediction for block-based video coding
US20240298009A1 (en) Sign prediction for block-based video coding
JP2018186419A (ja) トランスコーダ、トランスコード方法、及びトランスコードプログラム
JP7055134B2 (ja) 画像の符号化および復号のための方法および装置
JP4160513B2 (ja) 動画像の輝度変化パラメータ推定方法，動画像の輝度変化パラメータ推定プログラムおよびその記録媒体，並びに，動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびその記録媒体
CN117981319A (zh) 用于基于块的视频编解码的符号预测
CN113261279A (zh) 预测值的确定方法、编码器、解码器以及存储介质
WO2023086330A9 (en) Sign prediction for block-based video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220209

R150 Certificate of patent or registration of utility model

Ref document number: 7024098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150