JP5441734B2 - 画像符号化装置 - Google Patents

画像符号化装置 Download PDF

Info

Publication number
JP5441734B2
JP5441734B2 JP2010016241A JP2010016241A JP5441734B2 JP 5441734 B2 JP5441734 B2 JP 5441734B2 JP 2010016241 A JP2010016241 A JP 2010016241A JP 2010016241 A JP2010016241 A JP 2010016241A JP 5441734 B2 JP5441734 B2 JP 5441734B2
Authority
JP
Japan
Prior art keywords
frame
intra
frames
macroblocks
intra macroblocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010016241A
Other languages
English (en)
Other versions
JP2011155543A (ja
Inventor
弘 長谷川
敏充 達可
武明 小室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2010016241A priority Critical patent/JP5441734B2/ja
Priority to PCT/JP2011/050737 priority patent/WO2011093169A1/ja
Priority to US13/575,373 priority patent/US20120294361A1/en
Publication of JP2011155543A publication Critical patent/JP2011155543A/ja
Application granted granted Critical
Publication of JP5441734B2 publication Critical patent/JP5441734B2/ja
Priority to US14/936,075 priority patent/US9693069B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像を符号化し、圧縮画像を生成する装置に関する。詳しくは、イントラ符号化処理とインター符号化処理とを用いて画像を符号化する装置に関する。
MPEG2やH.264などの画像符号化技術においては、イントラ符号化処理とインター符号化処理とが用いられる。イントラ符号化処理は、参照フレームを利用せずに、符号化対象のフレーム内で符号化処理が完結する。インター符号化処理は、参照フレームを利用することで符号化対象のフレームに対する符号化が行われる。
Iピクチャに含まれる全てのマクロブロックは、イントラ符号化処理により符号化される。PピクチャおよびBピクチャに含まれるマクロブロックは、インター符号化処理により符号化される。Iピクチャの発生符号量は、全てのマクロブロックがイントラ符号化されるため、PピクチャあるいはBピクチャの発生符号量よりも大きい。H.264においては、イントラ予測技術が利用されるが、やはり、PピクチャあるいはBピクチャと比較すると発生符号量が大きい。
低遅延の再生あるいは伝送が求められるシステムにおいては、Iピクチャにおける発生符号量の上昇が問題となる。また、Iピクチャの出現周期で発生符号量が振動するという問題がある。発生符号量が振動すると、一時的にバッファのサイズが多く必要となり、非効率である。
特開2004−215252号公報 パイオニア株式会社、技術解説(MPEG技術解説)、平成21年12月10日検索、インターネット<URL:http://pioneer.jp/crdl/tech/mpeg/3-2.html> 特許庁、資料室、平成21年12月10日検索、インターネット<URL:http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/nle/nle-7-1.html>
上述したように、フレーム内の全てのマクロブロックがイントラ符号化処理されるIピクチャが存在する場合、Iピクチャの処理で遅延が発生する可能性があり、低遅延なシステムには向かない。そこで、非特許文献1に示すような、符号化方法が提案されている。
非特許文献1において、フレーム内の全てのマクロブロックがイントラ符号化されるIピクチャは利用されない。非特許文献1では、イントラマクロブロックがスライス単位で配置される。フレーム内のあるスライス内の全てのマクロブロックを、予測を用いずに直接DCTを行うイントラマクロブロックとして符号化する。このようなスライスをイントラスライスと呼ぶ。イントラスライスを適用する場所をフレームごとにずらしていくと、一定周期で画面全体をイントラスライスが巡回していき、画面がリフレッシュされることになる。Iピクチャに比べ、イントラスライスに要する発生符号量は少ないため、バッファサイズを減少させ、遅延を減らすことができる。
非特許文献2においても、同様に、イントラスライスを利用する技術が開示されている。
非特許文献1および非特許文献2で示すように、イントラスライスを用いることで、イントラブロックをGOP内に分散させることができる。
しかし、スライス内の全てのマクロブロックをイントラ符号化処理し、かつ、フレームごとにイントラスライスの位置を1列ずつずらしていく方法であるので、画質劣化の原因となっていた。具体的には、画像を連続再生したときイントラスライスが走査線のように見えてしまうという問題があった。
上記特許文献1では、イントラマクロブロックをマクロブロック単位で分散させるようにしている。しかし、特許文献1の技術を利用した場合であっても、イントラマクロブロックが、一定の間隔で移動するため、イントラマクロブロックの位置が目立つという問題がある。
本発明の目的は、イントラマクロブロックが出現する時間および空間を分散させつつ、画質の劣化の少ない画像符号化技術を提供することである。
上記の課題を解決するため、本発明の画像符号化装置は、各フレームに含めるイントラマクロブロックの数を決定するブロック数決定部と、各フレームに含めるイントラマクロブロックのフレーム内の空間位置を決定する位置決定部と、前記ブロック数決定部で決定された数のイントラマクロブロックを前記位置決定部で決定された位置に基づいて各フレーム内に配置し、符号化を行う符号化部と、を備え、前記位置決定部は、各フレームに含めるイントラマクロブロックを、フレーム内のランダムな位置に配置する。
1フレームは、M個のマクロブロックで構成されており、Nフレームに1回の割合で各マクロブロックがイントラ符号化され、前記ブロック数決定部は、M個のイントラマクロブロックがNフレームの間に均等に出現するように各フレームにイントラマクロブロックの数を割り当てる。
前記ブロック数決定部は、各フレームに出現するイントラマクロブロックの数の差が高々1個となるように各フレームにイントラマクロブロックの数を割り当てる。
前記ブロック数決定部は、MがNの整数倍であるとき、MをNで除算した値をSとすれば、各フレームにS個ずつイントラマクロブロックを割り当て、MがNの整数倍でないとき、MをNで除算した値をS、余りをR、とすれば、(N−R)枚のフレームにS個ずつイントラマクロブロックを割り当てるとともに、R枚のフレームに(S+1)個ずつイントラマクロブロックを割り当てる。
前記ブロック数決定部は、NがRの整数倍であるとき、NをRで除算した値をDとすれば、Dフレームに1枚の割合で(S+1)個のイントラマクロブロックを含むフレームを配置し、NがRの整数倍でないとき、NをRで除算した値をD、余りをQとすれば、(R−Q)枚のフレームについては、Dフレーム間隔で(S+1)個のイントラマクロブロックを含むフレームを割り当て、Q枚のフレームについては、(D+1)フレーム間隔で(S+1)個のイントラマクロブロックを含むフレームを割り当てる。
前記ブロック数決定部は、(S+1)個のイントラマクロブロックを含むR枚のフレームのうち、(D+1)フレーム間隔で割り当てられるフレームをAフレームとし、Dフレーム間隔で割り当てられるフレームをBフレームとすると、Aフレームのフレーム間隔の分散が小さくなるようにAフレームとBフレームとを混在させて配置する。
前記ブロック数決定部は、イントラマクロブロックの比率がGOP内の前半で高くなるように配置する。
本発明の別の画像符号化装置は、各フレームに含めるイントラマクロブロックのフレーム内の空間位置を決定する位置決定部と、前記位置決定部で決定された位置に基づいてイントラマクロブロックを各フレーム内に配置し、符号化を行う符号化部と、を備え、前記位置決定部は、偶数フレームと奇数フレームとで、イントラマクロブロックの時間方向の動きが異なるように配置する。
本発明の画像符号化装置を用いることにより、イントラマクロブロックが時間方向に分散される。低遅延のシステムに対応することができる。また、バッファサイズを小さくすることができる。
本発明の画像符号化装置を用いることにより、イントラマクロブロックを空間方向にランダムに配置することができる。イントラマクロブロックの境界が目立たなくなり、画質の向上を図ることができる。
画像符号化装置のブロック図である。 M0〜M23のマクロブロックで構成されたフレーム画像を示す図である。 マクロブロックの時間方向の割り当て数のパターンを示す図である。 マクロブロックの番号列L1とシャッフル後のマクロブロックの番号列L2とを示す図である。 各フレームにおいてイントラ符号化されるマクロブロックのブロック番号を示す図である。 各フレームにおけるイントラマクロブロックの空間配置を示す図である。 各マクロブロックがイントラ符号化されるフレームのフレーム番号を示す図である。 各フレームにおいてイントラ符号化されるマクロブロックの割り当て数を示す図である。 関数を用いてイントラマクロブロックを配置した例を示す図である。 関数を用いてイントラマクロブロックを配置した例を示す図である。 関数を用いてイントラマクロブロックを配置した例を示す図である。 関数を用いてイントラマクロブロックを配置した例を示す図である。 関数を用いてイントラマクロブロックを配置した例を示す図である。
以下、添付の図面を参照しつつ、本実施の形態の画像符号化装置について説明する。
{第1の実施の形態}
<画像符号化装置の構成>
図1は、第1の実施の形態に係る画像符号化装置1のブロック図である。画像符号化装置1は、符号化部11、ブロック数決定部12および位置決定部13を備えている。
符号化部11は、非圧縮画像データ21を入力する。符号化部11は、入力した非圧縮画像データ21に画像符号化処理を行い、圧縮画像データ22を出力する。符号化部11は、たとえば、MPEG2やH.264などの符号化方式で画像符号化処理を実行する。
ブロック数決定部12は、各フレームに割り当てるイントラマクロブロックの数を決定する。本実施の形態の画像符号化装置1は、全てのマクロブロックがイントラ符号化されるIピクチャを用いない。本実施の形態の画像符号化装置1は、イントラマクロブロックを時間方向に分散して配置する。ブロック数決定部12は、イントラマクロブロックの時間方向の割り当てを決定する。ブロック数決定部12は、リフレッシュ周期内において、フレーム内の全てのマクロブロックが1回イントラ符号化されるように、イントラマクロブロックを配置する。1リフレッシュ周期内の画像の集合が1GOP(Group Of Pictures)に対応する。
位置決定部13は、各フレームにおいて、イントラマクロブロックの空間方向の位置を決定する。位置決定部13は、リフレッシュ周期内に、1フレーム内の全てのマクロブロックが1回イントラ符号化されるようにイントラマクロブロックを各フレーム内に配置する。
<ブロック数決定部の処理内容>
ブロック数決定部12の処理内容について詳しく説明する。上述したように、ブロック数決定部12は、各フレームに割り当てるイントラマクロブロックの数を決定する。ここでは、図2に示すように、1フレームが、24個のマクロブロックM0〜M23で構成されている場合を例に説明する。1フレームは、横6個×縦4個のマクロブロックで構成されている。また、リフレッシュ周期が10フレームである場合を例に説明する。つまり、10フレームが経過する間に、全てのマクロブロックM0〜M23が1回、イントラ符号化される必要がある。
ブロック数決定部12は、24個のマクロブロックがイントラ符号化されるタイミングをできるだけ10フレームに均等に分散するように割り当てる。まず、ブロック数決定部12は、数1式に示すように、1フレーム内のマクロブロック数Mを、リフレッシュ周期のフレーム数Nで除算する。
M÷N=S・・・R (数1)
数1式において、Sは、MをNで除算したときの商、Rは、その余りである。なお、M、N、SおよびRは、全て正の整数である。Rは、Nより小さい整数である。ここで説明している例では、数1式は、数2式で表わされる。
24÷10=2・・・4 (数2)
数2式の演算を行うことにより、ブロック数決定部12は、まず、全てのフレームに2個ずつイントラマクロブロックを割り当てることを決定する。ブロック数決定部12は、さらに、残りの4個のイントラマクロブロックをリフレッシュ周期内に均等に割り当てる。
一般的には、数1式の演算を行うことにより、ブロック数決定部12は、まず、全てのフレームにS個ずつイントラマクロブロックを割り当てることを決定する。ブロック数決定部12は、さらに、残りのR個のイントラマクロブロックをリフレッシュ周期内に均等に割り当てる。余りR=0のときには、全てのフレームにS個ずつイントラマクロブロックを割り当てることで完了する。
次に、ブロック数決定部12は、数2式に示すように、リフレッシュ周期のフレーム数Nを、余りRで除算する。
N÷R=D・・・Q (数3)
数3式において、Dは、NをRで除算したときの商、Qは、その余りである。なお、Dは正の整数であり、Qは、Rより小さい正の整数である。ここで説明している例では、数3式は、数4式で表わされる。
10÷4=2・・・2 (数4)
数4式の演算を行うことにより、ブロック数決定部12は、4個の余っているイントラマクロブロックを、2フレーム間隔で2回、および、3フレーム間隔で2回、分散して配置することを決定する。
一般的には、数3式の演算を行うことにより、ブロック数決定部12は、R個の余っているイントラマクロブロックを、Dフレーム間隔で(R−Q)回、および、(D+1)フレーム間隔でQ回、分散して配置する。余りQ=0のときには、R個のイントラマクロブロックをDフレーム間隔で配置することで完了する。
以上の演算を行うことにより、ブロック数決定部12は、以下のような基準に基づいて決定を行う。
(基準1)R=0のとき、全フレームにS個ずつイントラマクロブロックを割り当てる。
(基準2)R≠0かつQ=0のとき、全フレームにS個ずつイントラマクロブロックを割り当てた上で、さらに、余りのR個のイントラマクロブロックをDフレーム間隔で1個ずつ分散して配置する。つまり、(N−R)枚のフレームには、S個ずつイントラマクロブロックが配置され、分散されたR枚のフレームには、(S+1)個ずつイントラマクロブロックが配置される。
(基準3)R≠0かつQ≠0のとき、まず、全フレームにS個ずつイントラマクロブロックを割り当てられる。さらに、余りのR個のイントラマクロブロックのうち(R−Q)個のイントラマクロブロックをDフレーム間隔で分散して配置し、余りのR個のイントラマクロブロックのうちQ個のイントラマクロブロックを(D+1)フレーム間隔で分散して配置する。言い換えると、ブロック数決定部12は、R≠0かつQ≠0のとき、Dフレーム間隔で配置される(R−Q)枚のフレームと、(D+1)フレーム間隔で配置されるQ枚のフレームには、(S+1)個ずつイントラマクロブロックが配置され、残りの(N−R)枚のフレームにS個ずつイントラマクロブロックが割り当てられる。
このように、本実施の形態において、ブロック数決定部12は、時間方向に分散してマクロブロックを配置するが、各フレームに配置されるイントラマクロブロックの数は、S個あるいは(S+1)個であり、高々1個の違いである。また、(S+1)個のイントラマクロブロックが含まれるフレームのフレーム間隔は、Dフレーム間隔あるいは(D+1)フレーム間隔であり、高々1フレーム間隔の違いである。
図3は、イントラマクロブロックの配置パターンを示す。図3は、フレームF0〜F9の10枚のフレームにそれぞれ配置されるイントラマクロブロックの数を示している。図3において、ケース1、ケース2およびケース4は、上記の(基準3)に反している。上述したように、(S+1)個のイントラマクロブロックが含まれるフレームのフレーム間隔は、Dフレーム間隔あるいは(D+1)フレーム間隔であり、高々1フレーム間隔の違いである。ケース1およびケース2では、この条件から大きくずれている。ケース4は、図を見る限りは3個のイントラマクロブロックを含むフレームが均等に配置されているように見える。しかし、フレームF9の後、フレームF0が続くため、連続して3個のイントラマクロブロックを含むフレームが出現し、ケース1とケース2と同様の理由で条件に合致しない。
ケース3、ケース5およびケース6は、上記の(基準3)を満たしている。しかし、ケース3は、3個のイントラマクロブロックを含むフレームがフレームF0〜フレームF4に集中している。ブロック数決定部12は、次に示すアルゴリズムにより、ケース5あるいはケース6をイントラマクロブロックの割り当てパターンとして決定する。
上述したように、(S+1)個のイントラマクロブロックを含むフレームは、Dフレーム間隔で配置される場合と、(D+1)フレーム間隔で配置される場合とがある。ブロック数決定部12は、(D+1)フレーム間隔が、時間方向でなるべく均等となるように分散して配置する。(S+1)個のイントラマクロブロックを含むフレームのうち、(D+1)フレーム間隔をおいて配置されるフレームをAフレームとする。(S+1)個のイントラマクロブロックを含むフレームのうち、Dフレーム間隔をおいて配置されるフレームをBフレームとする。図3において、ケース3、ケース5およびケース6には、フレームAあるいはフレームBの区別を表示している。ブロック数決定部12は、AフレームとAフレームとの間の距離の分散がなるべく小さくなるようにAフレームを配置する。ケース3においては、Aフレームの間隔のばらつきが大きく、このアルゴリズムによって排除される。ケース5あるいはケース6は、いずれが選択されてもよい。たとえば、ブロック数決定部12は、Dフレーム間隔を先に配置するルールとすればよい。この場合であれば、ケース6が選択される。
<位置決定部の処理内容>
次に、位置決定部13の処理内容について説明する。上述したように、位置決定部13は、フレーム内における空間方向のイントラマクロブロックの位置を決定する。位置決定部13は、まず、マクロブロックの番号列を乱数を用いてシャッフルし、新たなマクロブロックの番号列を生成する。マクロブロックは、図2に示したように、フレームの左上から右下に向かって、M0〜M23の番号が付与されている。位置決定部13は、M0〜M23の順に整列されたマクロブロックの番号列L1を乱数を用いて入れ替え、図4に示すように、新しいマクロブロックの番号列L2を生成する。
次に、位置決定部13は、ブロック数決定部12で決定された各フレームのイントラマクロブロック数に従い、図5に示すように、各フレームにおいてイントラ符号化するマクロブロックを決定する。
上述した例では、図3においてブロック数決定部12は、ケース6を選択した。つまり、フレーム番号F0、F1、F2・・・の順に、イントラマクロブロックの数は、3、2、3、2、2、3、2、3、2、2と決定された。位置決定部13は、番号列L2の先頭から3つのマクロブロックを、フレームF0においてイントラ符号化するマクロブロックとして決定する。続いて、位置決定部13は、番号列L2の4番目と5番目のマクロブロックを、フレームF1においてイントラ符号化されるマクロブロックとして決定する。続いて、位置決定部13は、番号列L2の6番目と7番目のマクロブロックを、フレームF2に含めるイントラ符号化されるマクロブロックとして決定する。このようにして、全てのフレームにおいて、イントラ符号化されるマクロブロックの位置が決定される。
図6は、各フレームにおいて、イントラ符号化されるマクロブロックの位置を示している。図において、ハッチングが掛けられているマクロブロックがイントラ符号化されるマクロブロックである。各フレームにおいて、イントラマクロブロックが不規則に配列されていることが分かる。また、時間方向に関しては、イントラマクロブロックの数がバランスよく配置されていることが分かる。
図7は、1フレーム内の各マクロブロックが、いずれのフレームにおいてイントラ符号化されるかを示す図である。図7のマトリクスは、図2のマトリクスに対応している。つまり、図2で示すマクロブロックM0は、図7で示すように、第F2フレームでイントラ符号化されることを示している。図2で示すマクロブロックM8は、図7で示すように、第F7フレームでイントラ符号化されることを示している。
<符号化処理>
再び図1を参照する。符号化部11は、ブロック数決定部12において決定されたマクロブロックの時間方向の割り当て、位置決定部13において決定されたマクロブロックの空間方向の配置に基づいて、非圧縮画像データ21を符号化する。符号化部11は、符号化後の圧縮画像データ22を出力する。
本実施の形態の画像符号化装置1により生成された圧縮画像データ22は、上記のように、イントラマクロブロックが各フレーム内においてランダムに配置されている。イントラマクロブロックの空間方向の配置に規則性がないため、イントラマクロブロックとインターマクロブロックとの境界が目立つことがない。イントラスライスを用いたときのように、画質の違いが明確となり、画質劣化を招くことがない。また、イントラマクロブロックの空間位置が規則的に移動して、目立つという問題も解消される。
また、本実施の形態の画像符号化装置1により生成された圧縮画像データ22は、リフレッシュ周期の中で、マクロブロックの数が均等に割り当てられている。したがって、符号量が均等に分散される。Iピクチャを用いる場合のように、符号量が振動することがない。これにより、バッファサイズを小さくできるとともに、低遅延のシステムにおいても利用可能となる。
上記の例では、リフレッシュ周期が10フレームである場合を例に説明した。図8は、リフレッシュ周期が15フレームの場合、つまり、N=15の例を示す。図8において、空白のフレームは、S個のイントラマクロブロックが含まれるフレームである。ハッチングが掛けられているフレームは、(S+1)個のイントラマクロブロックが含まれるフレームである。Rが1から14までの値をとった場合、(S+1)個のイントラマクロブロックを含むフレームがどのように配置されるかを示す図である。
図8に示すように、(S+1)個のイントラマクロブロックを含むフレームが均等に配置されていることが分かる。ハッチングが掛けられているフレームの中でAと記されているフレームは、上述したフレームAである。ハッチングが掛けられているフレームの中でBと記されているフレームは、上述したフレームBである。ハッチングが掛けられているフレームが均等に配置されるとともに、フレームAも均等に配置されていることが分かる。
{変形例}
第1の実施の形態において、図3に示すケース1〜6の中からケース5あるいはケース6が選択された。これは、Iマクロブロックをできるだけ空間方向に均等に配置し、発生符号量を均一化するという目的に沿った選択である。
この変形例では、画質上重要なIマクロブロックをなるべくリフレッシュ周期の前半部に配置するという方法を用いる。これは、GOP単位で符号量制御を行っている場合に有効な選択方法である。GOP単位で符号量制御を行っている場合、画質上重要なIマクロブロックをなるべくリフレッシュ周期の前半部に配置することで、リフレッシュ周期の後半でIマクロブロックに割り当てるビット量が不足するという問題を解消する。Iマクロブロックに割り当てるビット量の不足は画質の劣化を招くからである。
この変形例の方法を採用した場合、ブロック数決定部12は、ケース2を選択する。あるいは、上記の(基準3)と、Iマクロブロックをなるべく前半に配置するという考え方を総合判断して、ケース3を選択してもよい。
また、第1の実施の形態において、ケース5およびケース6が選択された後、最終的にケース6を選択した。この選択は、Iマクロブロックをなるべく前半に配置するというこの変形例の考え方と合致している。
{第2の実施の形態}
第2の実施の形態は、関数を用いてイントラマクロブロックの配置を決定する。現在のフレーム番号をY1、ライン方向のマクロブロック数をY2とする。数5式に示すように、Y1をY2で除算したときの商をY3、その余りをY4とする。
Y1÷Y2=Y3・・・Y4 (数5)
Y4が偶数の場合には、数6式に示すように、Y4の半分をY5として決定する。
Y5=Y4/2 (数6)
Y4が奇数の場合には、数7式に示すようにしてY5を決定する。ただし、Y4/2の少数部分は切り捨てる。
Y5=(Y2−1)−Y4/2 (数7)
次に、数8式に示すように、Y5に処理対象のマクロブロックのy座標mb_y(=0、1、2・・・)の定数n倍を加えた値を、Y2で割った商をY6、余りをY7とする。ただし、nは正の整数である。
(Y5+n×mb_y)/Y2=Y6・・・Y7 (数8)
以上の演算をした上で、処理対象のマクロブロックのx座標mb_x(=0、1、2・・・)とY7が一致すれば、処理対処のマクロブロックをイントラマクロブロックとして決定する。
この実施の形態においては、関数を利用することで、各マクロブロックをイントラ符号化するか否かを判定することができる。フレーム内でイントラマクロブロックが分散して配置されるので、画質の劣化を招くことがない。
第2の実施の形態の画像符号化装置1は、図1で示したブロック数決定部12を備えていない。位置決定部13は、イントラマクロブロックを配置するフレームとフレーム内の位置とを合わせて決定する。
図9A〜図9Eは、第2の実施の形態によって配置されたイントラマクロブロックを示す図である。図9A〜図9Eは、0番〜4番のフレームである。図中、ハッチングのかけられているマクロブロックがイントラマクロブロックである。第2の実施の形態においては、イントラマクロブロックの位置がランダムではなく、上述した関数により決定される。
第2の実施の形態によれば、偶数番号のフレームと奇数番号のフレームとでは、イントラマクロブロックの移動方向を異ならせることができる。時間方向に全てのフレームでイントラマクロブロックが同じ動きをした場合、イントラマクロブロックが目立ち、画質が劣化する。第2の実施の形態によれば、イントラマクロブロックの動きに不規則性を加えることができ、画質が向上する。
1 画像符号化装置
11 符号化部
12 ブロック決定部
13 位置決定部

Claims (4)

  1. 各フレームに含めるイントラマクロブロックの数を決定するブロック数決定部と、
    各フレームに含めるイントラマクロブロックのフレーム内の空間位置を決定する位置決定部と、
    前記ブロック数決定部で決定された数のイントラマクロブロックを前記位置決定部で決定された位置に基づいて各フレーム内に配置し、符号化を行う符号化部と、
    を備え、
    前記位置決定部は、各フレームに含めるイントラマクロブロックを、フレーム内のランダムな位置に配置し、
    1フレームは、M個のマクロブロックで構成されており、Nフレームに1回の割合で各マクロブロックがイントラ符号化され、
    前記ブロック数決定部は、
    M個のイントラマクロブロックがNフレームの間に均等に出現するように各フレームにイントラマクロブロックの数を割り当て、
    各フレームに出現するイントラマクロブロックの数の差が高々1個となるように各フレームにイントラマクロブロックの数を割り当て、
    MがNの整数倍であるとき、MをNで除算した値をSとすれば、各フレームにS個ずつイントラマクロブロックを割り当て、MがNの整数倍でないとき、MをNで除算した値をS、余りをR、とすれば、(N−R)枚のフレームにS個ずつイントラマクロブロックを割り当てるとともに、R枚のフレームに(S+1)個ずつイントラマクロブロックを割り当てる、
    画像符号化装置。
  2. 請求項に記載の画像符号化装置であって、
    前記ブロック数決定部は、NがRの整数倍であるとき、NをRで除算した値をDとすれば、Dフレームに1枚の割合で(S+1)個のイントラマクロブロックを含むフレームを配置し、NがRの整数倍でないとき、NをRで除算した値をD、余りをQとすれば、(R−Q)枚のフレームについては、Dフレーム間隔で(S+1)個のイントラマクロブロックを含むフレームを割り当て、Q枚のフレームについては、(D+1)フレーム間隔で(S+1)個のイントラマクロブロックを含むフレームを割り当てる画像符号化装置。
  3. 請求項に記載の画像符号化装置であって、
    前記ブロック数決定部は、(S+1)個のイントラマクロブロックを含むR枚のフレームのうち、(D+1)フレーム間隔で割り当てられるフレームをAフレームとし、Dフレーム間隔で割り当てられるフレームをBフレームとすると、Aフレームのフレーム間隔の分散が小さくなるようにAフレームとBフレームとを混在させて配置する画像符号化装置。
  4. 請求項ないし請求項のいずれかに記載の画像符号化装置であって、
    前記ブロック数決定部は、イントラマクロブロックの比率がGOP内の前半で高くなるように配置する画像符号化装置。
JP2010016241A 2010-01-28 2010-01-28 画像符号化装置 Expired - Fee Related JP5441734B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010016241A JP5441734B2 (ja) 2010-01-28 2010-01-28 画像符号化装置
PCT/JP2011/050737 WO2011093169A1 (ja) 2010-01-28 2011-01-18 画像符号化装置
US13/575,373 US20120294361A1 (en) 2010-01-28 2011-01-18 Image coding apparatus
US14/936,075 US9693069B2 (en) 2010-01-28 2015-11-09 Image coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010016241A JP5441734B2 (ja) 2010-01-28 2010-01-28 画像符号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013237884A Division JP5700728B2 (ja) 2013-11-18 2013-11-18 画像符号化装置

Publications (2)

Publication Number Publication Date
JP2011155543A JP2011155543A (ja) 2011-08-11
JP5441734B2 true JP5441734B2 (ja) 2014-03-12

Family

ID=44319161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010016241A Expired - Fee Related JP5441734B2 (ja) 2010-01-28 2010-01-28 画像符号化装置

Country Status (3)

Country Link
US (2) US20120294361A1 (ja)
JP (1) JP5441734B2 (ja)
WO (1) WO2011093169A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5995622B2 (ja) 2012-09-19 2016-09-21 株式会社メガチップス 動画像符号化装置、動画像符号化方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3122108B2 (ja) * 1990-02-28 2001-01-09 ソニー株式会社 映像信号符号化方法及びその装置
JPH05244582A (ja) * 1992-02-28 1993-09-21 Fujitsu Ltd ランダムリフレッシュ制御信号発生回路
JPH0698295A (ja) * 1992-09-11 1994-04-08 Sanyo Electric Co Ltd 画像圧縮符号化回路
KR0166725B1 (ko) 1993-06-30 1999-03-20 김광호 강제인트라-프레임부호화방법
JPH08126004A (ja) * 1994-10-21 1996-05-17 Mitsubishi Electric Corp 画像符号化装置
GB9620176D0 (en) * 1996-09-27 1996-11-13 Digi Media Vision Ltd Method and apparatus for encoding data
JP2002176652A (ja) * 2000-12-07 2002-06-21 Matsushita Electric Ind Co Ltd 映像符号化方法及び映像符号化装置
JP2002369208A (ja) * 2001-06-12 2002-12-20 Mitsubishi Electric Corp 映像信号符号化装置および映像信号符号化方法
US7020203B1 (en) * 2001-12-21 2006-03-28 Polycom, Inc. Dynamic intra-coded macroblock refresh interval for video error concealment
JP4649615B2 (ja) 2006-02-16 2011-03-16 国立大学法人三重大学 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
JP2008258952A (ja) 2007-04-05 2008-10-23 Ibex Technology Co Ltd 符号化装置、符号化プログラムおよび符号化方法

Also Published As

Publication number Publication date
JP2011155543A (ja) 2011-08-11
US20120294361A1 (en) 2012-11-22
US20160065971A1 (en) 2016-03-03
WO2011093169A1 (ja) 2011-08-04
US9693069B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
USRE49330E1 (en) Method and apparatus for adaptively encoding and decoding a quantization parameter based on a quadtree structure
JP5756537B2 (ja) 適応型走査を用いる動画像復号化方法
JP2009261006A (ja) 参照ピクチャの選択方法
US20150172688A1 (en) Image encoding apparatus, image encoding method, and recording medium; and image decoding apparatus, image decoding method, and recording medium
JP5667364B2 (ja) 画像符号化装置
JP5441734B2 (ja) 画像符号化装置
JP2024023793A (ja) 画像符号化装置及び画像復号装置及び画像符号化方法及び画像復号方法及びプログラム
JP5700728B2 (ja) 画像符号化装置
US20160014415A1 (en) Method and apparatus for performing wave-front parallel encoding procedure with constraint on coding mode and/or quantization parameter selection
JP2006339774A (ja) 動画像符号化装置
US8938125B2 (en) Motion estimation method
JP5570846B2 (ja) 画像符号化装置
JP2005269045A (ja) 複数のmpegエンコーダーを用いたエンコーダー装置及びそのエンコード方法
CN113196759B (zh) 图像编码设备和方法、图像解码设备和方法以及存储介质
WO2023181546A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR101739767B1 (ko) 비디오 병렬 부호화기를 위한 율제어 방법 및 장치
KR20090028378A (ko) 영상 데이터 부호화 장치 및 방법, 그리고 영상 데이터복호화 장치 및 방법
JP2007215225A (ja) 量子化制御装置、量子化制御方法、符号化制御装置及び符号化制御方法
WO2016143093A1 (ja) 動画像符号化装置及びそれに用いるIntra予測符号化方法、及び動画像復号化装置
JP2007180862A (ja) 画像符号化装置および画像符号化方法
JPH11284952A (ja) 画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131217

R150 Certificate of patent or registration of utility model

Ref document number: 5441734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees