JP5236332B2 - 符号化装置、符号化方法および符号化プログラム - Google Patents

符号化装置、符号化方法および符号化プログラム Download PDF

Info

Publication number
JP5236332B2
JP5236332B2 JP2008088574A JP2008088574A JP5236332B2 JP 5236332 B2 JP5236332 B2 JP 5236332B2 JP 2008088574 A JP2008088574 A JP 2008088574A JP 2008088574 A JP2008088574 A JP 2008088574A JP 5236332 B2 JP5236332 B2 JP 5236332B2
Authority
JP
Japan
Prior art keywords
encoding
code amount
size
image
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008088574A
Other languages
English (en)
Other versions
JP2009246540A (ja
Inventor
晋作 仲村
三敏 鶴田
芳伸 平野
勝哉 高桑
Original Assignee
アイベックステクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイベックステクノロジー株式会社 filed Critical アイベックステクノロジー株式会社
Priority to JP2008088574A priority Critical patent/JP5236332B2/ja
Publication of JP2009246540A publication Critical patent/JP2009246540A/ja
Application granted granted Critical
Publication of JP5236332B2 publication Critical patent/JP5236332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

この発明は、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置、符号化方法および符号化プログラムに関する。
従来より、符号化データの符号量を画像(ピクチャ)単位または画像以下の単位で一定量にする技術がある(特許文献1)。この画像処理システムにおける符号化装置は、例えば、1ピクチャ単位で符号量を一定にした場合は、図13のように、符号化データ出力時間が1ピクチャ単位で一定になる。
具体的には、特許文献1に係る符号化装置は、図14に示すように、ピクチャもしくはピクチャよりも小さな単位で符号量を一定に制御する符号量制御部と、符号量制御部から受け付けた符号量に基づいて入力画像データを符号化する符号化部と、符号化部により符号化された符号化データの符号量を算出して符号量制御部にフィードバックさせる符号量算出部とから構成される。
このような構成を有する符号化装置は、図15に示すように、入力画像を6分割し、それぞれの領域で使用できる上限の符号量(例えば、20ビットなど)を一定にする。つまり、符号化装置は、領域「0、1、2、3」、領域「4、5、6、7」、領域「8、9、10、11」、領域「12、13、14、15」、領域「16、17、18、19」、領域「20、21、22、23」それぞれの符号量を一定に制御して符号化する。例えば、符号化装置は、一つの領域である「0、1、2、3」に対して、定められた符号量内に収まるように各画像ブロックを符号化する。そして、符号化装置は、符号化された符号化データから順に復号化装置に送信する。また、符号量を一定にすることによって、符号化データ出力時間も一定になるので、画面以下の単位ごとに符号量を一定にすれば、結果的に、低遅延化も可能となる。
特開2001−169281号公報
しかしながら、上記した従来の技術は、符号化の低遅延化が実現できるものの、最終的に得られる画像データの質が劣化するという課題があった。
具体的には、上記した従来の技術において、符号化遅延を小さくする場合には、ピクチャ内の一定単位ごとに符号量を制御するため、ピクチャ内の複雑さに対応できない。つまり、従来の技術では、入力画像を一定に分割し、分割した領域内で使用できる符号量が一定であるため、領域内の複雑な画像ブロックも複雑でない画像ブロックも両方とも同じように符号量が割り当てられた上で符号化される。言い換えれば、複雑な画像ブロックは元の画像データを符号化した場合よりも小さな符号量の符号化データとなり、複雑でない画像ブロックは元の画像データを符号化した場合よりも大きな符号量の符号化データとなる場合がある。そして、このように符号化されたデータがそのまま復号化されてしまうので、小さい符号量で符号化された複雑な画像ブロックは、復号化した際には元の画像データよりも画質が悪い。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である符号化装置、符号化方法および符号化プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置であって、許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定するサイズ決定手段と、前記サイズ決定手段により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手段と、前記符号量割り当て手段により割り当てられた符号量で、前記サイズ決定手段によりサイズが決定された部分領域を符号化する符号化手段と、を備えたことを特徴とする。
本発明によれば、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。
以下に添付図面を参照して、この発明に係る符号化装置、符号化方法および符号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る符号化装置の概要および特徴、符号化装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
[符号化装置の概要および特徴]
まず最初に、図1を用いて、実施例1に係る符号化装置の概要および特徴を説明する。図1は、実施例1に係る符号化装置の概要と特徴を説明するための図である。
実施例1に係る符号化装置は、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化することを概要とするものであり、特に、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である点に主たる特徴がある。
この主たる特徴について具体的に説明する。この符号化装置は、許容される符号化遅延時間を1/2ロウ、つまり、部分領域の最大サイズが「4」、1画像ブロックあたりの生成符号量の目標値が「5」であるとする。また、この符号化装置は、一般的に符号量は複雑度に比例することから、複雑度「1」を予想符号量「1」として、領域サイズと符号量を決定して符号化する。
例えば、このような状態において、図1の(a)に示した複雑度を有する画像が入力された符号化装置は、領域サイズを「4」と固定した場合には、図1の(b1)に示すように、4画像ブロックで符号量が「20」になるように符号化する。ところが、符号化装置は、図1の(b2)に示すように、1画像ブロック目の予想符号量は「8」、2画像ブロック目の予想符号量は「2」、3画像ブロック目の予想符号量は「9」、4画像ブロック目の予想符号量は「9」であるので、最初の部分領域の予想符号量の合計は「26」であり、符号量を「6」減らして符号化することとなる。また、次の部分領域の予想符号量の合計は「10」であり、割り当てられた符号量「20」になるように符合量「10」を水増しすることとなる。
これに対して、領域サイズを最大「4」とした場合、符号化装置は、図1の(c1)に示すように、最小サイズが1画像ブロックの目標値「5」、最大サイズが4画像ブロックの目標値「20」として、領域サイズを可変に変更することができ、符号量の不足や水増しを緩和することができる。具体的には、符号化装置は、図1の(c2)に示すように、1画像ブロック目の予想符号量が「8」、2画像ブロック目の予想符号量が「2」であることより、この2つの画像ブロックを一つの部分領域として符号化する。次に、符号化装置は、1画像ブロック目の予想符号量が「9」、2画像ブロック目の予想符号量が「9」、3画像ブロック目の予想符号量が「2」、4画像ブロック目の予想符号量が「0」であることより、この4つの画像ブロックを一つの部分領域として符号化する。
このように、符号化装置は、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定し、決定された部分領域のサイズに応じて、符号量を割り当て、割り当てられた符号量で、サイズが決定された部分領域を符号化することができる。
次に、図2を用いて、この符号化装置が、入力された画像に対して、部分領域のサイズを可変に決定して、決定した部分領域のサイズに応じて、符号量を割り当てて符号化する全体的な流れについて説明する。なお、図2は、実施例1に係る符号化処理を示す図である。
図2に示すように、この符号化装置は、画像ブロック「0〜23」で構成されている画像が入力された場合、許容される符号化遅延時間により定まる最大サイズ内を4として、その範囲内で、部分領域のサイズを決定する。具体的に例を挙げると、符号化装置は、入力された画像ブロック「0〜23」で構成されている画像に対して、部分領域1「0〜3」のサイズ4、部分領域2「4」のサイズ1、部分領域3「5〜8」のサイズ4、部分領域4「9〜12」のサイズ4、部分領域5「13」のサイズ1、部分領域6「14」のサイズ1、部分領域7「15、16」のサイズ2、部分領域8「17〜19」のサイズ3、部分領域9「20〜23」のサイズ4に領域分割・サイズ決定する。
そして、符号化装置は、決定された部分領域のサイズに応じて、符号量を割り当てて、割り当てられた符号量でサイズが決定された部分領域を符号化する。1画像ブロックあたりの生成符号量の目標値が「5」であるとした例で説明すると、符号化装置は、サイズ4である部分領域1には生成符号量「20」、サイズ1である部分領域2には生成符号量「5」、サイズ4である部分領域3には生成符号量「20」、サイズ4である部分領域4には生成符号量「20」、サイズ1である部分領域5には生成符号量「5」、サイズ1である部分領域6には生成符号量「5」、サイズ2である部分領域7には生成符号量「10」、サイズ3である部分領域8には生成符号量「15」、サイズ4である部分領域9には生成符号量「20」を割り当てる。そして、符号化装置は、それぞれの領域を順に符号化して、復号化装置に送信する。
このように、実施例1に係る符号化装置は、入力画像を分割する領域サイズを制御することにより、分割位置を可変にすることで、局所的な符号量割り当ての偏りを緩和し、複雑度(予想符号量)の分布に応じた符号量制御を行うことができる結果、上記した主たる特徴のごとく、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。
[符号化装置の構成]
次に、図3を用いて、図1と図2に示した符号化装置の構成を説明する。図3は、実施例1に係る符号化装置の構成を示すブロック図である。図3に示すように、この符号化装置10は、符号量調整領域制御部11と、符号量制御部12と、符号化部13と、符号量算出部14とから構成される。
符号量調整領域制御部11は、図4に示すように、ブロック抽出部11aと、複雑度算出部11bと、領域サイズ算出部11cとを備え、これらによって、許容される符号化遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する処理を実行する。なお、図4は、符号量調整領域制御部の詳細な処理部を説明するための図である。
ブロック抽出部11aは、入力画像から画像ブロックを抽出する。具体的に例を挙げれば、ブロック抽出部11aは、ビデオカメラなどの画像入力装置から入力画像を受け付けて、受け付けた入力画像から画像ブロックを抽出し、抽出した画像ブロックを後述する複雑度算出部11bに出力する。
複雑度算出部11bは、入力画像から抽出された画像ブロックそれぞれに対して複雑度を算出する。具体的に例を挙げれば、複雑度算出部11bは、入力画像から抽出された画像ブロックをブロック抽出部11aから受信した場合に、受信した画像ブロックそれぞれについて複雑度を算出し、算出した画像ブロックごとの複雑度を後述する領域サイズ算出部11cに出力する。
複雑度の算出手法として、例えば、画像ブロックの大きさを16画素×16画素とした場合、複雑度算出部11bは、画像ブロックを構成する256画素の分散を使用することができる。具体的には、画像ブロックを構成する256画素(16画素×16画素)の平均値を求め、各画素について求めた平均値との差を二乗した値を計算し、この値の256画素分の平均が分散となる。この分散値により複雑度を算出する。分散値の値が大きいほど複雑度は大きくなり、分散値の値が小さいほど複雑度は小さくなる。
また、例えば、複雑度算出部11bは、画像ブロックを構成する画素の数画素毎の平均値を求め、その平均値の分散を用いることもできる。具体的には、複雑度算出部11bは、4画素毎の平均値の分散を算出する場合、まず4画素毎の平均値を求め、64個(16画素×16画素/4画素)の平均値から分散値を算出すればよい。そのため、上記した256画素(16画素×16画素)の分散値を算出する場合に比べて、演算コストが少なくて済む。
また、例えば、複雑度算出部11bは、二次元DCT(Discrete Cosine Transform:離散コサイン変換)を用いることもできる。具体的には、複雑度算出部11bは、16×16の画素に対して、二次元のDCTを施すことにより、16×16の周波数成分を得ることができる。そして、複雑度算出部11bは、得られた周波数成分が高いほど複雑度は大きく、得られた周波数成分が低いほど複雑度は小さくなる。
上記したいずれの手法を用いたとしても、複雑度算出部11bは、得られた分散値または周波数成分そのものを複雑度としてもよく、さらに計算を加えて求められた値を複雑度としてもよい。このようにして、入力画像の画像ブロックごとの複雑度を算出した複雑度算出部11bは、算出して得られた画像ブロックごとの複雑度を後述する領域サイズ算出部11cに出力する。
領域サイズ算出部11cは、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する。具体的には、領域サイズ算出部11cは、複雑度算出部11bから受信した画像ブロック数と画像ブロックごとの複雑度に応じて、許容される符号化の遅延時間に対応する領域を最大値として、部分領域のそれぞれのサイズを決定する。ここで、部分領域の最大値は、後述する符号化処理を実行する符号化部13が許容される符号化の遅延時間で、例えば1/2ロウである場合には「4」となり、1ロウである場合は「8」となる。また、許容される遅延時間内であれば、より小さな値としてもよい。このようにして、定められた最大値以下で、領域サイズ算出部11cは、入力画像を複数の領域に分割し、分割した結果を後述する符号量制御部12に出力する。
図3に戻り、符号量制御部12は、符号量調整領域制御部11により決定された部分領域のサイズに応じて、符号量を割り当てる。具体的には、符号量制御部12は、1サイズの符号量(複雑度、目標符号量)を「5」とした場合、符号量調整領域制御部11により決定されて入力された部分領域のサイズが「3」であると、当該部分領域に対して符号量「15」を割り当てる。そして、符号量制御部12は、部分領域サイズ「3」と、割り当てた目標符号量「15」を後述する符号化部13に出力する。また、符号量算出部14からフィードバックされた実際の符号量と目標符号量との差を考慮して符号化部13に出力する次の部分領域の目標符号量の微調整を行う。
符号化部13は、符号量制御部12により割り当てられた符号量で、決められたサイズの部分領域を符号化する。具体的に例を挙げると、符号化部13は、画像ブロック「0〜23」で構成される入力画像を受け付け、符号量制御部12からサイズ「4」、符号量「20」を受け付けた場合、入力画像の「0〜3」の画像ブロックを符号量「20」で符号化する。例えば、符号化部13は、画像ブロック「0」を、符号量「12」で符号化し、残りの画像ブロック「1〜3」を目標符号量「20」から「12」を差し引いた符号量「8」で、符号化する。このように、符号化部13は、符号量制御部12により割り当てられた領域サイズに含まれる画像ブロックに対して、符号量制御部12により割り当てられた符号量内で複雑度に応じて使用する符号量を決定して符号化する。なお、この符号化部13は、一つの機能部で構成されている必要はなく、複数の機能を有していてもよい。
符号量算出部14は、符号量をフィードバックするとともに、生成された符号化データを復号化装置に送信する。具体的に例を挙げると、符号量算出部14は、符号化部13により入力された符号化データの符号量を抽出して、符号量制御部12にフィードバックするとともに、当該符号化データを復号化装置に送信する。
[符号化装置による処理]
次に、図5と図6とを用いて、符号化装置による処理を説明する。図5は、実施例1に係る符号化装置における領域サイズ決定処理の流れを示すフローチャートであり、図6は、実施例1に係る符号化装置における符号化処理の流れを示すフローチャートである。
(領域サイズ決定処理の流れ)
図5に示すように、符号化処理を開始した符号化装置10は、作業用変数の初期化を実施する(ステップS101)。具体的には、符号化装置10は、作業用変数として、現在処理中の画像ブロックを示す「p」を「p=1」とし、受信した画像ブロックを示す「t」を「t=1」とする。
変数の初期化を行った符号化装置10は、画像ブロックの複雑度を受信する(ステップS102)。上記した例で具体的に説明すると、符号化装置10は、「Ct=複雑度、t<p+M」(M:符号量調整ブロック数の最大値)とする画像ブロックを受け付ける。
そして、符号化装置10は、受信した画像ブロック数を更新し(ステップS103)、受信した各画像ブロックの複雑度の平均を算出する(ステップS104)。上記した例で具体的に説明すると、符号化装置10は、「t=p+M」として受信した画像ブロック数を更新し、式(1)に示した算出式で複雑度の平均を算出する。なお、式(1)に示される「Si,j」とは「画像ブロックiからj個の複雑度の平均」を示している。
Figure 0005236332
その後、符号化装置10は、式(1)を用いて算出した「Si,j」から、複雑度の目標値B以下、かつ、最大の「Si,j」を取得する(ステップS105)。
そして、符号化装置10は、複雑度の目標値B以下、かつ、最大の「Si,j」が取得できた場合(ステップS106肯定)、処理画像ブロック数「j」を符号化部13に送信し(ステップS108)、処理中の画像ブロック数「p」を「p=p+j」と更新する(ステップS109)。
処理中の画像ブロック数を更新した符号化装置10は、更新した画像ブロック数「p」が「N(1ピクチャあたりの画像ブロック数)」より大きくなった場合(ステップS110否定)、つまり、入力された画像全ての画像ブロックについて上記したステップS102〜ステップS109の処理を実行した場合、処理を終了する。
一方、処理中の画像ブロック数を更新した符号化装置10は、更新した画像ブロック数「p」が「N(1ピクチャあたりの画像ブロック数)」以下である場合(ステップS110肯定)、つまり、入力された画像において、上記したステップS102〜ステップS109の処理を実行していない画像ブロックが存在する場合、ステップS102に戻り、以降の処理を実行する。
ステップS106に戻り、符号化装置10は、複雑度の目標値B以下、かつ、最大の「Si,j」が取得できない場合(ステップS106否定)、上記した「Si,j」が最小のものを取得し(ステップS107)、ステップS108以降の処理を実行する。
ここで、上記したステップS101〜ステップS110の処理を具体的に例を挙げて説明する。符号化装置10は、複雑度「C1=8、C2=2、C3=9、C4=8」の4つの画像ブロックを受信した場合、受信した画像ブロック数「t」を「t=1+4=5」と更新する。なお、ここでは、符号量調整ブロック数の最大値「M=4」、複雑度の目標値(1画像ブロックあたりに使用する符号量の目安)「B=5」とする。
そして、符号化装置10は、各複雑度の平均として、「S1,1=8/1=8」、「S1,2=(8+2)/2=5」、「S1,3=(8+2+9)/3=6.33・・・」、「S1,4=(8+2+9+8)/4=6.75」を算出する。
続いて、符号化装置10は、算出した上記「S1,1=8」、「S1,2=5」、「S1,3=6.33」、「S1,4=6.75」から、目標値「B=5」以下で最大の「S1,2=5」を取得する。
そして、符号化装置10は、取得した「S1,2=5」に基づいて、処理画像ブロック数=2、処理中の画像ブロック数p=1+2=3と更新して、次の画像ブロックを受信する。つまり、ここで、符号化装置10は、処理サイズを「2」と決定し、「C1=8、C2=2」が一つの領域となる。
その後、符号化装置10は、複雑度「C5=2、C6=3」をさらに受信したとする。つまり、ここでは、「C3=9、C4=8、C5=2、C6=3」の4つの画像ブロックが受信されたがサイズが未決定であることとなる。また、処理中の画像ブロック数p=3であることより、符号化装置10は、「C3=9」以降に受信した画像ブロックについて上記した処理を行うこととなる。
そして、同様に、符号化装置10は、受信した画像ブロック数「t」を「t=3+4=7」と更新し、各複雑度の平均として、「S3,1=9/1=9」、「S3,2=(9+8)/2=8.5」、「S3,3=(9+8+2)/3=6.33・・・」、「S3,4=(9+8+2+3)/4=5.5」を算出する。
続いて、符号化装置10は、算出した「S3,1=9」、「S3,2=8.5」、「S3,3=6.33・・・」、「S3,4=5.5」のうち、目標値「B=5」以下のものがないため、最小の「S3,4=5.5」を取得する。
そして、符号化装置10は、取得した「S3,4=5.5」に基づいて、処理画像ブロック数=4、p=3+4=7と更新して、次の画像ブロックを受信する。つまり、ここで、符号化装置10は、処理サイズを「4」と決定し、「C3=9、C4=8、C5=2、C6=3」が一つの領域となる。
このように、符号化装置10は、受信した画像ブロック数の複雑度から順次、部分領域サイズを決定する。
(符号化処理の流れ)
図6に示すように、符号化装置10は、画像が入力されると(ステップS201肯定)、当該入力された画像(入力画像)の画像ブロックを抽出し、抽出したそれぞれの画像ブロックに対して複雑度を算出した後に、領域サイズを算出する(ステップS202〜ステップS204)。ここで示したステップS201〜ステップS204までの処理は、図5で説明した手法を用いて実施される。
そして、符号化装置10は、決定した部分領域それぞれに対して、既に使用された符号量をフィードバック情報として取得しつつ(ステップS205)、目標符号量を決定して符号化を実施する(ステップS206とステップS207)。
符号化を実施した符号化装置10は、実際の符号量を算出してフィードバックするとともに(ステップS208〜ステップS209)、入力画像を符号化した符号化データを復号化装置に送信する(ステップS210)。
そして、符号化装置10は、1ピクチャ(入力画像)分の符号化データを送信し終わると(ステップS211肯定)、処理を終了し、1ピクチャ(入力画像)分の符号化データを送信し終わっていない場合には(ステップS211否定)、ステップS201に戻って、上記した処理を繰り返す。
[従来技術との比較]
そして、従来技術に係る符号化装置は、画像が入力されると、図7に示すように(図7に示される数字は複雑度を示している)、当該画像を一定単位(4画像ブロック)に分割する(部分領域1〜6)。そして、従来技術に係る符号化装置は、それぞれの部分領域を一定の符号量(例えば、20(画像ブロック1つに対して目標符号量を5とした場合))で符号化するため、図8に示すように、部分領域1と部分領域4と部分領域6とについては、符号量が足りず大幅な符号量の削減を行う必要がある一方で、部分領域2と部分領域3と部分領域5とについては、符号量が余っており調整する必要がある。つまり、従来技術に係る符号化装置では、図9に示すように、目標符号量を超える符号量が必要な領域に対しては、符号量を削除する必要な量が多く、結果として、最終的に得られる画像データが劣化する。
これに対して、本発明に係る符号化装置は、上記した画像と同じ画像が入力された場合、図10に示すように、許容される符号化の遅延時間に対応する領域を最大値(4)として、部分領域のそれぞれのサイズを決定する(部分領域1〜9)。そして、符号化装置は、それぞれの部分領域のサイズに応じて決定された符号量(例えば、サイズが1の場合は符号量5、サイズが2の場合は符号量10、サイズが4の場合は符号量20)で符号化するため、図11に示すように、部分領域1〜9のどの領域でも、従来技術のように符号量が足りないまたは余るなどの事象が発生することなく、全ての領域を符号化することができる。つまり、本発明に係る符号化装置では、図12に示すように、全ての部分領域を領域のサイズに応じた目標符号量を超えることなく符号化することができる結果、最終的に得られる画像データの劣化を低減することができる。
なお、図7は、従来技術を用いた画像分割例を示す図であり、図8は、従来技術における画像分割後の使用符号量を示す図であり、図9は、従来技術における画像分割後の符号量削除量を示す図であり、図10は、本発明を用いた画像分割例を示す図であり、図11は、本発明における画像分割後の使用符号量を示す図であり、図12は、本発明における画像分割後の符号量削除量を示す図である。
[実施例1による効果]
このように、実施例1によれば、許容される符号化の遅延時間に対応する領域を最大値として、前記部分領域のそれぞれのサイズを決定し、決定された部分領域のサイズに応じて、符号量を割り当てて、割り当てられた符号量で、決定された部分領域を符号化するので、符号化の低遅延化が可能であり、最終的に得られる画像データの劣化を低減することが可能である。
また、実施例1によれば、部分領域に含まれる画像の複雑度に応じて、部分領域のサイズを決定するので、画像ブロック毎の符号量の割り当てを柔軟に行い局所的な符号量の偏りを緩和することができる結果、最終的に得られる画像データの劣化をより低減することが可能である。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、(1)複雑度算出手法、(2)符号化手法、(3)システム構成等、(4)プログラムにそれぞれ区分けして異なる実施例を説明する。
(1)複雑度算出手法
例えば、本符号化装置は、上記した複雑度の算出手法として様々な手法を用いることができる。例えば、本符号化装置は、画像ブロックを構成する画素すべてについての分散を使用したり、数画素の平均に対して分散を用いたり、二次元DCTを用いたりして複雑度を算出することもできる。
(2)符号化手法
また、例えば、本発明に係る符号化装置は、割り当てられた符号量で、サイズが決定された部分領域を、入力画像の画面順で符号化することができる。このようにすることで、処理対象画像ブロックもしくは既に入力されている画像データを使用して符号化することにより、入力された順で符号化し出力することが可能になるので、符号化を低遅延にすること可能である。
(3)システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理(例えば、画像入力処理など)の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合(例えば、符号量調整領域制御部と符号化部とを統合するなど)して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(4)プログラム
なお、本実施例で説明した符号化方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上のように、本発明に係る符号化装置、符号化方法および符号化プログラムは、入力された入力画像を部分領域に分割して、当該部分領域を所定の符号量で符号化することに有用であり、特に、符号化の低遅延化と、最終的に得られる画像データの劣化を低減することに適する。
実施例1に係る符号化装置の概要と特徴を説明するための図である。 実施例1に係る符号化処理を示す図である。 実施例1に係る符号化装置の構成を示すブロック図である。 符号量調整領域制御部の詳細な処理部を説明するための図である。 実施例1に係る符号化装置における領域サイズ決定処理の流れを示すフローチャートである。 実施例1に係る符号化装置における符号化処理の流れを示すフローチャートである。 従来技術を用いた画像分割例を示す図である。 従来技術における画像分割後の使用符号量を示す図である。 従来技術における画像分割後の符号量削除量を示す図である。 本発明を用いた画像分割例を示す図である。 本発明における画像分割後の使用符号量を示す図である。 本発明における画像分割後の符号量削除量を示す図である。 従来技術の符号化処理から復号化処理までの流れを示す図である。 従来技術に係る符号化装置の構成を示す図である。 従来技術の符号化処理の流れを示す図である。
符号の説明
10 符号化装置
11 符号量調整領域制御部
11a ブロック抽出部
11b 複雑度算出部
11c 領域サイズ算出部
12 符号量制御部
13 符号化部
14 符号量算出部

Claims (6)

  1. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化する符号化装置であって、
    前記入力画像の符号化を開始してから終了するまでの遅延時間として許容できる画像ブロック数を最大領域サイズとして、前記部分領域のそれぞれのサイズを決定するサイズ決定手段と、
    前記サイズ決定手段により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手段と、
    前記符号量割り当て手段により割り当てられた符号量で、前記サイズ決定手段によりサイズが決定された部分領域を符号化する符号化手段と、
    を備えたことを特徴とする符号化装置。
  2. 前記サイズ決定手段は、前記部分領域に含まれる画像の複雑度に応じて、前記部分領域のそれぞれのサイズを決定することを特徴とする請求項1に記載の符号化装置。
  3. 前記サイズ決定手段は、前記複雑度として前記部分領域に含まれる画像値の分散値を算出し、算出した分散値を基に、前記部分領域のそれぞれのサイズを決定することを特徴とする請求項2に記載の符号化装置。
  4. 前記符号化手段は、前記入力画像の画面順で符号化することを特徴とする請求項1〜3のいずれか一つに記載の符号化装置。
  5. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化することに適した符号化方法であって、
    前記入力画像の符号化を開始してから終了するまでの遅延時間として許容できる画像ブロック数を最大領域サイズとして、前記部分領域のそれぞれのサイズを決定するサイズ決定工程と、
    前記サイズ決定工程により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て工程と、
    前記符号量割り当て工程により割り当てられた符号量で、前記サイズ決定工程によりサイズが決定された部分領域を符号化する符号化工程と、
    を含んだことを特徴とする符号化方法。
  6. 入力された入力画像を複数の部分領域に分割して、当該部分領域を所定の符号量で符号化することをコンピュータに実行させる符号化プログラムであって、
    前記入力画像の符号化を開始してから終了するまでの遅延時間として許容できる画像ブロック数を最大領域サイズとして、前記部分領域のそれぞれのサイズを決定するサイズ決定手順と、
    前記サイズ決定手順により決定された部分領域のサイズに応じて、前記符号量を割り当てる符号量割り当て手順と、
    前記符号量割り当て手順により割り当てられた符号量で、前記サイズ決定手順によりサイズが決定された部分領域を符号化する符号化手順と、
    をコンピュータに実行させることを特徴とする符号化プログラム。
JP2008088574A 2008-03-28 2008-03-28 符号化装置、符号化方法および符号化プログラム Active JP5236332B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008088574A JP5236332B2 (ja) 2008-03-28 2008-03-28 符号化装置、符号化方法および符号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008088574A JP5236332B2 (ja) 2008-03-28 2008-03-28 符号化装置、符号化方法および符号化プログラム

Publications (2)

Publication Number Publication Date
JP2009246540A JP2009246540A (ja) 2009-10-22
JP5236332B2 true JP5236332B2 (ja) 2013-07-17

Family

ID=41308000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008088574A Active JP5236332B2 (ja) 2008-03-28 2008-03-28 符号化装置、符号化方法および符号化プログラム

Country Status (1)

Country Link
JP (1) JP5236332B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5832263B2 (ja) * 2011-12-07 2015-12-16 株式会社日立国際電気 画像符号化装置及び画像符号化方法
JP5779116B2 (ja) * 2012-02-07 2015-09-16 日本電信電話株式会社 画像符号化方法、画像符号化装置及び画像符号化プログラム
JP2014003587A (ja) * 2012-05-25 2014-01-09 Canon Inc 画像符号化装置及びその方法
CN104871544B (zh) * 2013-03-25 2018-11-02 麦克赛尔株式会社 编码方法以及编码装置
US9122921B2 (en) * 2013-06-12 2015-09-01 Kodak Alaris Inc. Method for detecting a document boundary

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3651706B2 (ja) * 1995-10-27 2005-05-25 株式会社東芝 動画像符号化装置
JP2000236538A (ja) * 1999-02-15 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> オブジェクト圧縮符号化装置
JP2000278690A (ja) * 1999-03-25 2000-10-06 Matsushita Electric Ind Co Ltd 符号化装置
JP2003209844A (ja) * 2002-12-09 2003-07-25 Mitsubishi Electric Corp 動画像符号化装置および動画像符号化方法
JP4994698B2 (ja) * 2006-04-13 2012-08-08 キヤノン株式会社 情報伝送装置及び情報伝送方法

Also Published As

Publication number Publication date
JP2009246540A (ja) 2009-10-22

Similar Documents

Publication Publication Date Title
KR20200058398A (ko) 정보 처리 장치 및 방법
Kim et al. Hierarchical prediction and context adaptive coding for lossless color image compression
US8260072B2 (en) Image encoding apparatus and method of controlling the same
JP5236332B2 (ja) 符号化装置、符号化方法および符号化プログラム
US11134250B2 (en) System and method for controlling video coding within image frame
US11955994B2 (en) Data processing apparatuses, methods, computer programs and computer-readable media
US10536696B2 (en) Image encoding device and image encoding method
JP2002176650A (ja) 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体
JP5507770B2 (ja) ビデオ符号化の方法、装置、プログラム及び記録媒体
US20210160516A1 (en) Data rate control method, computer system, and device
CA2722051C (en) Method and apparatus for variable video bitrate control in which picture bitrate correction is limited to be within a calculated range
KR20070006786A (ko) 리소스-스케일러블 움직임 추정기에서 미디어 신호프로세싱 방법, 대응 시스템, 및 그의 애플리케이션
JPWO2006068073A1 (ja) 画像データ生成方法及びその装置と、画像配信システム及びその画像配信装置と、それらのプログラム
JP5641755B2 (ja) 符号化装置、符号化装置の制御方法、プログラム
JP2020092327A (ja) 画像符号化装置、画像符号化方法、およびプログラム
JP2006157267A (ja) 画像処理装置及び画像処理方法
US11570492B2 (en) Image capturing system, distribution apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
US11601650B2 (en) Dynamic allocation of virtual and/or physical resources vis-a-vis virtual machines in video stream processing
US20230078190A1 (en) Image compression method and apparatus
JP4153454B2 (ja) 動画像符号化装置,動画像符号化方法,動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP7020068B2 (ja) 映像符号化装置、映像符号化方法、及びプログラム
JP5627424B2 (ja) 画像符号化装置
JP2003032680A (ja) 画像符号化装置、及び画像符号化方法、並びにプログラムコード、記憶媒体
JP2007104342A (ja) 画像符号化装置及び画像符号化方法
JP2004274641A (ja) 階調値の散らばり度合いに応じた階調補正量の導出

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130327

R150 Certificate of patent or registration of utility model

Ref document number: 5236332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250