JP3591663B2

JP3591663B2 - 画像信号伝送方法及び画像信号伝送装置

Info

Publication number: JP3591663B2
Application number: JP27011294A
Authority: JP
Inventors: 俊之宮内
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-08-31
Filing date: 1994-08-31
Publication date: 2004-11-24
Anticipated expiration: 2019-11-24
Also published as: JPH0879755A

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１４〜図１６）
発明が解決しようとする課題
課題を解決するための手段（図１）
作用（図１）
実施例（図１〜図１３）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号伝送方法及び画像信号伝送装置に関し、例えば限られた伝送容量を持つ伝送媒体による画像信号の遠隔地伝送や、テープレコーダ／デイスクレコーダ等への記録及び再生を行なうものに適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率よく利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。相関を利用する符号化方法としては、離散コサイン変換（ＤＣＴ）やウエーブレツト変換等を用いて原信号を変換した後、量子化して伝送するという変換符号化方法が一般的である。
【０００４】
図１４にＤＣＴやＨａａｒ関数を用いるウエーブレツト変換等の変換符号化を用いる画像信号符号化装置１を示す。この画像信号符号化装置１において、入力画像信号Ｓ１は変換回路２に入力され、ＤＣＴやウエーブレツト変換等で変換されて係数Ｓ２となる。係数Ｓ２は量子化器３で量子化されて係数Ｓ３となる。係数Ｓ３はスキヤンパス変換回路４に入力されてスキヤンパス順に並び換えられ係数Ｓ４となる。係数Ｓ４は可変長符号化回路５に入力され、例えばハフマン符号化と零のランレングス符号化を組み合わせた可変長符号化を適用され係数Ｓ５となり、この係数Ｓ５が画像信号符号化装置１の出力として送出される。
【０００５】
この画像信号符号化方法において、量子化は一般に人間の視覚特性を考慮して低次係数は細かく、高次係数を粗く量子化して伝送情報量が削減されるように行われる。変換回路の例として３段階のウエーブレツト変換でなる２次元ウエーブレツト変換回路の構成を図１５に示す。またこの２次元ウエーブレツト変換回路の１段階分は図１６のウエーブレツト変換回路で実現される。図１６のウエーブレツト変換回路において、入力信号Ｓ６は、水平方向のローパスフイルタ（ＬＰＦ）と水平方向のハイパスフイルタ（ＨＰＦ）によつてフイルタリングされた後、サブサンプルされて係数Ｓ７、Ｓ８になる。係数Ｓ７、Ｓ８は、それぞれ垂直方向のローパスフイルタと垂直方向のハイパスフイルタによつてフイルタリングされた後サブサンプルされて係数Ｓ９〜Ｓ１２となり、この係数Ｓ９〜Ｓ１２がウエーブレツト変換回路の出力として送出される。このようにして１段階の変換で入力信号Ｓ６は４つの帯域の係数Ｓ９〜Ｓ１２に分割される。
【０００６】
このウエーブレツト変換回路を３段階分組み合わせて、２次元ウエーブレツト変換回路２が構成される。２次元ウエーブレツト変換回路２において、入力画像信号Ｓ１は１段階目のウエーブレツト（Ｗ）変換回路２Ａに入力され、４つの帯域に分割されて係数Ｓ１３〜Ｓ１６が出力される。係数Ｓ１３〜Ｓ１６のうち水平及び垂直共に低次の帯域の係数Ｓ１３は２段階目のウエーブレツト変換回路２Ｂに入力され、再び４つの帯域に分割されて係数Ｓ１７〜Ｓ２０が出力される。係数Ｓ１７〜Ｓ２０のうち水平及び垂直共に低次の帯域の係数Ｓ１７は３段階目のウエーブレツト変換回路２Ｃに入力され、さらに４つの帯域に分割されてＳ２１〜Ｓ２４が出力される。最後に係数Ｓ１４〜Ｓ１６、Ｓ１８〜Ｓ２０、Ｓ２１〜Ｓ２４が多重化回路（ＭＵＸ）２Ｄで多重化されて係数Ｓ２となり、係数Ｓ２が変換回路２の出力として送出される。
【０００７】
【発明が解決しようとする課題】
しかしながらＤＣＴやウエーブレツト変換のような変換符号化では、変換方法の基底の形に向かない画像、例えばＤＣＴにとつては鋭いエツジのある画像、Ｈａａｒ基底によるウエーブレツト変換にとつては滑らかな画像を変換しようとした際に、変換後も電力を集中できずに係数が一様に分布し、量子化を行なうと著しく画質が劣化してしまうという問題があつた。
【０００８】
本発明は以上の点を考慮してなされたもので、画像信号をウエーブレツト変換して量子化して伝送する際に画像の特性によらず画質の劣化を未然に防止し得る画像信号伝送方法及び画像信号伝送装置を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像信号（Ｓ２５）をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送方法において、各帯域での変換後のウエーブレツト係数の絶対値和が、変換前のウエーブレツト係数の絶対値和よりも小さい場合に、当該帯域を再帰的に再分割するようにした。
また本発明においては、画像信号（Ｓ２５）をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送装置において、入力画像信号の変換後の各帯域の係数値の分布状況に応じて、再分割の効果の有無を判断する再分割判定手段（１２（１７、１８、１９、２０））と、当該再分割判定手段（１２（１７、１８、１９、２０））の判断結果に応じて各帯域を再帰的に再分割する再分割手段（１１（１３、１４、１５、１６））とを設け、再分割判定手段（１２（１７、１８、１９、２０））は、各帯域において、変換前と変換後におけるウエーブレツト係数の絶対値和を比較して、変換後の絶対値和が小さい場合に、当該帯域を再帰的に再分割するようにした。
【００１０】
さらに本発明においては、画像信号（Ｓ２５）をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送方法において、各帯域内で、絶対値が所定の閾値以下であるような係数の数が、変換前より変換後に多い場合、当該帯域を再帰的に再分割するようにした。
さらに本発明においては、画像信号（Ｓ２５）をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送装置において、入力画像信号の変換後の各帯域の係数値の分布状況に応じて、再分割の効果の有無を判断する再分割判定手段（１２（１７、１８、１９、２０））と、当該再分割判定手段（１２（１７、１８、１９、２０））の判断結果に応じて各帯域を再帰的に再分割する再分割手段（１１（１３、１４、１５、１６））とを設け、再分割判定手段（１２（１７、１８、１９、２０））は、各帯域において、絶対値が所定の閾値以下であるような係数の数が、変換前より変換後に多い場合、当該帯域を再帰的に再分割するように判断するようにした。
【００１１】
【作用】
画像信号（Ｓ２５）をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する際に、各帯域での変換後のウエーブレツト係数の絶対値和が、変換前のウエーブレツト係数の絶対値和よりも小さい場合に、当該帯域を再帰的に再分割することにより、入力画像内の画素値の分布状況に応じて、その分布状況に適した変換基底を構成し得る。これによりどのような原画像に対しても、効果的な変換を行なうことができ、また量子化を行なつた後も目立つた劣化は起こり難くなる。
また、画像信号（Ｓ２５）をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送方法において、各帯域内で、絶対値が所定の閾値以下であるような係数の数が、変換前より変換後に多い場合、当該帯域を再帰的に再分割するることにより、入力画像内の画素値の分布状況に応じて、その分布状況に適した変換基底を構成し得る。これによりどのような原画像に対しても、効果的な変換を行なうことができ、また量子化を行なつた後も目立つた劣化は起こり難くなる。
【００１２】
【実施例】
以下図面について本発明の一実施例を詳述する。
【００１３】
図１において、１０は全体として本発明の実施例による変換回路を示し、従来について上述した図１４の画像信号符号化装置１の変換回路２に適用することで本発明による画像信号伝送方法及び画像信号伝送装置を実現する。図１において入力画像信号Ｓ２５は、図１５について上述したウエーブレツト変換回路によつて実現される１段階のウエーブレツト（Ｗ）変換回路１１に入力され、４つの帯域に分割されて係数Ｓ２６〜Ｓ２９になる。この係数Ｓ２６〜Ｓ２９と入力画像信号Ｓ２５とは、判定回路１２に入力される。判定回路１２はウエーブレツト変換回路１１でのウエーブレツト変換が有効な変換であつたか否か判断し制御信号Ｓ３０を出力する。
【００１４】
ウエーブレツト変換回路１１から出力される係数Ｓ２６は、ウエーブレツト変換回路１１と同じウエーブレツト（Ｗ）変換回路１３に入力され、４つの帯域に分割されて係数Ｓ３１〜Ｓ３４になる。またこの係数Ｓ３１〜Ｓ３４と係数Ｓ２６が判定回路１７に入力される。判定回路１７ではウエーブレツト変換回路１３での変換が有効な変換であつたか否かを判断し、制御信号Ｓ３５を出力する。係数Ｓ３１〜Ｓ３４は多重化回路（ＭＵＸ）２１に入力され、多重化されて係数Ｓ５１となる。係数Ｓ２６と係数Ｓ５１はウエーブレツト変換回路１３での変換が有効な変換であつたか否かの制御信号Ｓ３５の値に応じて、選択回路２５で選択されて係数Ｓ５５となる。
【００１５】
係数Ｓ２７、Ｓ２８、Ｓ２９についても、それぞれウエーブレツト（Ｗ）変換回路１４、１５、１６、判定回路１８、１９、２０、多重化回路（ＭＵＸ）２２、２３、２４、選択回路２６、２７、２８で同様の操作が行なわれる。この結果得られた係数Ｓ５５〜Ｓ５８は多重化回路（ＭＵＸ）２９で多重化されて係数Ｓ５９となる。係数Ｓ２５と係数Ｓ５９は制御信号Ｓ３０の値に応じて、選択回路３０で選択されて係数Ｓ６０となり、変換回路１０の出力として送出される。この変換回路１０によつて実現できる１７種類の分割形態を、図２に列挙して示す。この変換回路１０ではウエーブレツト変換を２段階までとしたが、変換回路を３段階以上に増やしていくことも容易に可能であり、この場合分割形態の種類もさらに多くなる。
【００１６】
変換回路１０の判定回路１２（１７〜２０）の構成を図３に示す。変換回路１０のウエーブレツト変換の基底としてＨａａｒ基底などの正規直交変換を選んだときに有効な手段として、変換の前後の係数の絶対値和を比較することで分割又は非分割の判定を行なつている。この判定回路１２（１７〜２０）では変換後の係数Ｓ２６〜Ｓ２９（Ｓ３１〜Ｓ３４、Ｓ３６〜Ｓ３９、Ｓ４１〜Ｓ４４、Ｓ４６〜Ｓ４９）と変換前の係数Ｓ２５（Ｓ２６、Ｓ２７、Ｓ２８、Ｓ２９）とを比較することにより変換の有効性を評価する。
【００１７】
実際上判定回路１２において、変換後の係数Ｓ２６〜Ｓ２９は多重化回路（ＭＵＸ）３１に入力され、多重化されて係数Ｓ６１となる。この係数Ｓ６１は逐次絶対値和計算回路３２に入力される。絶対値和計算回路３２は係数Ｓ６１の絶対値和を計算し、係数Ｓ６２として出力する。一方変換前の係数Ｓ２５は逐次絶対値和計算回路３３に入力される。絶対置和計算回路３３は係数Ｓ２５の絶対値和を計算し、係数Ｓ６３として出力する。係数Ｓ６２とＳ６３は比較回路３４に入力される。比較回路３４ではどちらが小さいかを判定し、その結果を「０」又は「１」の制御信号でなる係数Ｓ６４として出力する。
【００１８】
この実施例の内容を４×４画素の画像に対するＨａａｒ基底によるウエーブレツト変換を例として説明する。４×４画素の画像に対するＨａａｒ基底ウエーブレツト変換の変換基底は、図４の示すようになる。ウエーブレツト変換の基底構成の形は、この１種類しかない。それに対して入力画像信号の各帯域の再分割を再帰的に行なういわゆるウエーブレツトパケツト変換と呼ばれる変換では、帯域２〜４に対して、さらに分割を進めたり帯域１の分割を行なわなかつたりする変換の中から、効果的な変換を選ぶということを行なう。
【００１９】
例えば帯域２に対して、さらに分割を進めるということは、図５（Ａ）の形の基底で表されていた画像を、図５（Ｂ）の形の基底で表すということに他ならない。このような分割は、例えば帯域２の中に同じような値の係数が一様に分布している場合には有効な分割である。なぜならこのような場合には、変換後の形の基底の方が特定の基底、この場合には左上の基底に電力を集中できるからである。例として、帯域２の中の係数分布が図６（Ａ）の左側であつた場合と図６（Ｂ）の左側であつた場合を考える。正規化されたＨａａｒ基底による変換によつて、それぞれその右側のように変換される。
【００２０】
ここで図３について上述した判定回路１２によれば、図６（Ａ）の変換は有効となり、図６（Ｂ）の変換は無効になる。これは正規直交のウエーブレツトパケツト変換の前後でエネルギーは保存されていることを利用した方法である。変換の前後でエネルギーは保存されているにもかかわらず、変換後の係数の絶対値和が小さくなるということは特定の基底への電力集中が進んでいるということであり、変換後の係数の絶対値和が大きくなるということは特定の基底への電力集中が失われているということから、このような判断を行なつている。
【００２１】
なお判定回路１２は図３について上述した回路構成のほかにも、図３との対応部分に同一符号を付した図７に示すように、閾値上下判定回路３５Ａ、３５Ｂ及びカウント回路３６Ａ、３６Ｂによつて、分割の前後で閾値以下の絶対値を持つ係数の数を比べるものや、図３との対応部分に同一符号を付した図８に示すように、エントロピー計算回路３７Ａ、３７Ｂによつて、分割の前後で係数のエントロピーを比べるものを用いることもできる。
【００２２】
ここで図９に、画像信号をブロツク分解してブロツク毎にウエーブレツトパケツトの分割を切り替える画像信号符号化装置４０を示す。この画像信号符号化装置４０においては、入力画像信号Ｓ７１はマクロブロツク変換回路４１に入力され、マクロブロツク順に並び換えられて係数Ｓ７２となる。係数Ｓ７２は図１の変換回路１０によつて実現されるウエーブレツトパケツト変換回路４２に入力され、ブロツク毎にウエーブレツトパケツト変換されて係数Ｓ７３となる。係数Ｓ７３は量子化器４３で量子化されて係数Ｓ７４となる。
【００２３】
係数Ｓ７４はスキヤンパス変換回路４４に入力され、スキヤンパス順に並び換えられて係数Ｓ７５となる。係数Ｓ７５は可変長符号化回路４５に入力され、例えばハフマン符号化と零のランレングス符号化を組み合わせた可変長符号化を適用され係数Ｓ７６となり、この係数Ｓ７６が画像信号符号化装置４０の出力として送出される。この場合分割をブロツク毎に切り替えることで基底の最適化をさらに高め、より効率の良い符号化が可能となる。
【００２４】
スキヤンパス変換回路４４を図１０に示す。このスキヤンパス変換回路４４では、８×８の画像ブロツクに対するスキヤンパスとして、ペアノ曲線を用いるようになされている。実際上８×８画像ブロツクの量子化された６４画素は、ブロツクの左上から１ライン毎にスキヤンパス変換回路４４に係数Ｓ７４として入力される。係数Ｓ７４はカウンタ４７の発生する出力Ｓ８０を書き込みアドレスとして、一旦スキヤンパス変換用ＲＡＭ４６に蓄えられ、アドレスデコーダＲＯＭ４８の発生させた読み出しアドレスＳ８１に従つて順次係数Ｓ７５として出力される。ここでアドレスデコーダＲＯＭ４８のメモリマツプを図１１に示す。
【００２５】
またペアノ曲線によるスキヤンパスの効果を、８×８の画像を例として説明する。８×８の離散点に対するペアノ曲線は図１２に示すようになる。８×８の画像に対して、図１に上述した変換回路１０によつて２段階までのウエーブレツトパケツト変換を行なう場合を考える。変換回路１０によつて実現できる分割方法は図２に上述した１７種類であるが、図１２に示したペアノ曲線は、図１３に示すようにこの１７種類の全てに対してパスが帯域内で完結していることが分かる。
【００２６】
パスが帯域を跨らないので、この１つのパスだけでどのような分割に対してもある程度は効率良く符号化が出来る。この性質は８×８画素のブロツクに対する３段階までのウエーブレツトパケツト変換に限ることではなく、あらゆる正方ブロツクの何段階のウエーブレツトパケツト変換に対しても成り立つ性質である。またスキヤンパスによる符号化をさらに高めたいときには、分割毎にスキヤンを切り替えるという方法も可能である。この方法ではハード構成は多少大きくなるが、各分割に対して最も効率的なスキヤンパスを適用できるので、ペアノ曲線によるスキヤンパスのみの場合よりも効率的な符号化が可能になる。
【００２７】
以上の構成によれば、画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する際に、入力画像の変換後の各帯域の係数の値の分布状況に応じて、効果的と思われるときには各帯域の再分割を再帰的に行なうようにしたことにより、入力画像内の画素値の分布状況に応じて、その分布状況に適した変換基底を構成して、どのような原画像に対しても効果的な変換を行なうことができる。
【００２８】
なお上述の実施例においては、画像ブロツクとして４×４画素あるいは８×８画素の画像を取り上げて説明したが、画像のサイズはこれに限定されているわけではなく、例えば１６×１６画素の画像ブロツクに分解して変換することも可能であるし、７２０×４９６画素の画像全体を変換することも可能である。
【００２９】
また上述の実施例においては、分割の制御を２次元ウエーブレツト変換を１つの単位として行なつているが、水平方向のみあるいは垂直方向のみを再帰的に分割するようにしても上述の実施例と同様の効果を実現できる。
【００３０】
【発明の効果】
上述のように本発明によれば、画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する際に、各帯域での変換後のウエーブレツト係数の絶対値和が、変換前のウエーブレツト係数の絶対値和よりも小さい場合に、当該帯域を再帰的に再分割することにより、入力画像内の画素値の分布状況に応じて、その分布状況に適した変換基底を構成し得る。これによりどのような原画像に対しても、効果的な変換を行なうことができ、また量子化を行なつた後も目立つた劣化は起こり難くなる。かくして画像の特性によらず伝送の際に画質の劣化を未然に防止し得る画像信号伝送方法及び画像信号伝送装置を実現できる。
また本発明によれば、画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送方法において、各帯域内で、絶対値が所定の閾値以下であるような係数の数が、変換前より変換後に多い場合、当該帯域を再帰的に再分割するることにより、入力画像内の画素値の分布状況に応じて、その分布状況に適した変換基底を構成し得る。これによりどのような原画像に対しても、効果的な変換を行なうことができ、また量子化を行なつた後も目立つた劣化は起こり難くなる。かくして画像の特性によらず伝送の際に画質の劣化を未然に防止し得る画像信号伝送方法及び画像信号伝送装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像信号伝送方法及び画像信号伝送装置の一実施例の変換回路の構成を示すブロツク図である。
【図２】図１の変換回路によつて実現できる１７種類の分割形態の説明に供する略線図である。
【図３】図１の変換回路内の判定回路の構成を示すブロツク図である。
【図４】４×４画素についてのＨａａｒ基底によるウエーブレツト変換の基底の説明に供する略線図である。
【図５】分割による基底の形の変化の説明に供する略線図である。
【図６】分割による係数値の変化の説明に供する略線図である。
【図７】図１の変換回路内の判定回路の他の構成を示すブロツク図である。
【図８】図１の変換回路内の判定回路のさらに他の構成を示すブロツク図である。
【図９】ブロツクに分解してからウエーブレツトパケツト変換を行なう画像信号符号化装置の構成を示すブロツク図である。
【図１０】図９の画像信号符号化装置のスキヤンパス変換回路の構成を示すブロツク図である。
【図１１】スキヤンパス変換回路内のスキヤンパス変換用アドレスデコーダＲＯＭの内容を示す図表である。
【図１２】ペアノ曲線によるスキヤンパスの説明に供する略線図である。
【図１３】１７種類の分割形態に対応するペアノ曲線スキヤンパスを示す略線図である。
【図１４】変換を用いる画像信号符号化装置の構成を示すブロツク図である。
【図１５】変換回路として２次元ウエーブレツト変換回路の構成を示すブロツク図である。
【図１６】２次元ウエーブレツト変換の１段階分のウエーブレツト変換回路の構成を示すブロツク図である。
【符号の説明】
１、４０……画像信号符号化装置、２、１０……変換回路、３、４３……量子化器、４、４４……スキヤンパス変換回路、５、４５……可変長符号化回路、１１、１３〜１６……ウエーブレツト（Ｗ）変換回路、１２、１７〜２０……判定回路、２１〜２４、２９、３１……多重化回路（ＭＵＸ）、２５〜２８、３０……選択回路、３２、３３……絶対値計算回路、３４……比較回路、３５Ａ、３５Ｂ……閾値上下判定回路、３６Ａ、３６Ｂ……カウント回路、３７Ａ、３７Ｂ……エントロピー計算回路、４１……マクロブロツク変換回路、４２……ウエーブレツトパケツト変換回路、４６……スキヤンパス変換用ＲＡＭ、４７……カウンタ、４８……アドレスデコーダ。

Claims

画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送方法において、
上記各帯域での変換後のウエーブレツト係数の絶対値和が、変換前のウエーブレツト係数の絶対値和よりも小さい場合に、当該帯域を再帰的に再分割するようにした
ことを特徴とする画像信号伝送方法。
画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送方法において、
上記各帯域内で、絶対値が所定の閾値以下であるような係数の数が、変換前より変換後に多い場合、当該帯域を再帰的に再分割するようにした
ことを特徴とする画像信号伝送方法。
画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送装置において、
入力画像信号の変換後の上記各帯域の係数値の分布状況に応じて、再分割の効果の有無を判断する再分割判定手段と、
当該再分割判定手段の判断結果に応じて各帯域を再帰的に再分割する再分割手段と
を具え、
上記再分割判定手段は、上記各帯域において、変換前と変換後におけるウエーブレツト係数の絶対値和を比較して、変換後の絶対値和が小さい場合に、当該帯域を再帰的に再分割するようにした
ことを特徴とする画像信号伝送装置。
画像信号をウエーブレツト変換によつて複数帯域の成分に分割し、量子化して伝送する画像信号伝送装置において、
入力画像信号の変換後の上記各帯域の係数値の分布状況に応じて、再分割の効果の有無を判断する再分割判定手段と、
当該再分割判定手段の判断結果に応じて各帯域を再帰的に再分割する再分割手段と
を具え、
上記再分割判定手段は、上記各帯域において、絶対値が所定の閾値以下であるような係数の数が、変換前より変換後に多い場合、当該帯域を再帰的に再分割するように判断する
ことを特徴とする画像信号伝送装置。