JP3899737B2

JP3899737B2 - Image coding apparatus and method

Info

Publication number: JP3899737B2
Application number: JP26268799A
Authority: JP
Inventors: 隆浩福原; 青司木村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-16
Filing date: 1999-09-16
Publication date: 2007-03-28
Anticipated expiration: 2019-09-16
Also published as: JP2001086506A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる画像符号化装置及び方法に関するものであり、特にウェーブレット変換を用いた画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
画像を高能率符号化して伝送もしくは蓄積するシステムの具体的な応用例として、監視用画像コーデック（符号化・復号化器、及び伝送装置）や、デジタルカメラ（動画カムコーダやスチルカメラ）、又はこれらの手段を実現したカスタムチップやＤＳＰ等がある。
【０００３】
例えば、従来の監視用画像コーデックでは、監視カメラで捕らえた画像のフレーム間の相関を利用して、フレーム間予測を行い符号化を行っていた。国際電気通信連合電気通信標準化部門（International Telecommunication Union-Telecommunication Standardization Sector、ITU-T）によりTV電話・TV会議用途に標準化されたH.261やH.263の国際標準の動画符号化方式を用いたコーデックも存在している。関連技術としては、例えば特開平7−30888号公報に開示されている「動画像送信装置及び動画像受信装置」がある。
【０００４】
この発明に係る動画像送信装置（符号化装置）は、背景画像を記憶する背景メモリ手段と、当該背景メモリ手段を参照し、送信しようとする動画像から非背景部分を抽出する非背景抽出手段と、当該非背景抽出手段により抽出した非背景画像を符号化する符号化手段とから構成されている。これらの手段によって、人物画像等の非背景画像を抽出し、それを直接または動き補償予測を行ってから符号化するので、伝送符号量を大幅に削減することが出来る。一方、受信装置側の背景メモリ手段には、伝送される動画像とは無関係な画像を背景として記憶できるので、復号化画像に任意の背景を合成出来る。
【０００５】
【発明が解決しようとする課題】
ところで、上記従来例では、背景画像は殆ど変化しないとの前提に立っており、背景画像が変化すると人物画像の検出精度が下がり、後段のＤＣＴ（離散コサイン変換：Discrete Cosine Transform）符号化で多くの符号化ビットが発生して、符号化効率が低下するという問題点があった。
【０００６】
更に、人物画像だけのフレーム間動き補償予測手段は、多くの計算時間を要する問題点があり専用のLSI等が必要となる。
【０００７】
本発明は以上の様な課題を鑑みたものであり、圧縮率が高く、且つ伝送ビットレートを低くしなければならない場合においても、人物画像の画質を優先して符号化することで、実用性を失わない画像符号化装置及び方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像符号化装置は、容器課題を解決するために、画像を入力する画像入力手段と、上記画像入力手段から入力された現在の入力画像と所定の画像に基づいて特定領域画像を抽出する特定領域画像抽出手段と、上記現在の入力画像をウェーブレット変換するウェーブレット変換手段と、上記ウェーブレット変換手段で生成されたウェーブレット変換係数の内、上記特定領域画像抽出手段で抽出された特定領域画像に対応した係数と、特定領域画像を除く画像に対応した係数とに対し別の操作を施す係数操作手段と、上記ウェーブレット変換手段におけるウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のＬＳＢから数えて所定のビット数だけビットプレーンの係数を切り捨てる係数切り捨て手段と、上記係数切り捨て手段で処理された係数をエントロピー符号化する符号化手段と、上記符号化手段の後段で符号量を計算する符号量計算手段と、上記符号量計算手段で計算した符号量に基づいて上記係数操作手段に供給される係数に対して係数値をスケールアップするときのビットシフト数を決定するビットシフト数決定手段とを備える。
【０００９】
この画像符号化装置において、特定領域画像抽出手段は、現在の符号化対象入力画像と、所定の画像との差分から、特定領域画像を抽出する。ウェーブレット変換手段は、入力画像をウェーブレット変換して変換係数を出力する。係数操作手段は、特定領域画像とそれを除く画像とで、異なる係数の操作を行う。エントロピー符号化手段は、上記係数を情報源符号化することで符号化ビットストリームを生成する。
【００１０】
本発明に係る画像符号化方法は、上記課題を解決するために、現在の入力画像と所定の画像に基づいて特定領域画像を抽出する特定領域画像抽出工程と、上記現在の入力画像をウェーブレット変換するウェーブレット変換工程と、上記ウェーブレット変換工程で生成されたウェーブレット変換係数の内、上記特定領域画像抽出工程で抽出された特定領域画像に対応した係数と、特定領域画像を除く画像に対応した係数とに対し別の操作を施す係数操作工程と、上記ウェーブレット変換工程におけるウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のＬＳＢから数えて所定のビット数だけビットプレーンの係数を切り捨てる係数切り捨て工程と、上記係数切り捨て工程で処理された係数をエントロピー符号化する符号化工程と、上記符号化工程の符号量を計算する符号量計算工程と、上記符号量計算工程で計算した符号量に基づいて上記係数操作工程に供給される係数に対して係数値をスケールアップするときのビットシフト数を決定するビットシフト数決定工程とを備える。
【００１１】
【発明の実施の形態】
以下、本発明に係る画像符号化装置及び方法の実施の形態について図面を参照しながら説明する。
【００１２】
本発明の第１の実施の形態となる、特定領域（Region of Interest：ROI）のエンハンス機能付き画像符号化装置を図１に示す。この画像符号化装置は、主に監視用画像コーデックに適用される。またそれ以外にも電子スチルカメラやビデオムービ等で必要になる画像圧縮装置に応用することが出来る。
【００１３】
この画像符号化装置は、画像を入力する撮像素子を備えたカメラ１と、このカメラ１からの入力画像を記憶・保持するフレームメモリ２と、特定領域画像を抽出する特定領域画像抽出部３と、現在の入力画像をウェーブレット変換して変換係数を出力するウェーブレット変換部４と、ウェーブレット変換部４が出力した変換係数を量子化して量子化係数を出力する量子化部５と、上記特定領域画像に対応した量子化係数と特定領域を除いた画像に対応した量子化係数に対して例えば別々のスケールアップ処理を施す係数操作部６と、係数操作部６からの量子化係数を複数層のビットプレーン上に展開してスキャニングするビットプレーンスキャニング部７と、このビットプレーンスキャニング部７からのビットプレーン毎の係数にエントロピー符号化を施して符号化ビットストリームを生成するエントロピー符号化部８とを備えてなる。
【００１４】
この図１に示す画像符号化装置において、撮像画像１００はカメラ１に取り込まれ、デジタル化された画像１０１とされる。この現在の画像フレームであるデジタル画像１０１は、ウェーブレット変換部４で変換符号化されて変換係数１０４とされる。また、デジタル画像１０１は一方で、フレームメモリ２に入力し、所定時間だけ記憶・保持される。さらに、デジタル画像１０１は特定領域画像抽出部３にも入力する。特定領域画像抽出部３はフレームメモリ２から読み出された所定時間前のデジタル画像１０２と現在のデジタル画像１０１とから、特定領域画像を抽出する。ここで抽出された特定領域画像の位置情報１０３は、後段の処理のために、係数操作部６に送られる。
【００１５】
なお、２つの画像から特定領域画像とそれ以外の背景画像とを分割するには、先に述べた特開平７−０３０８８８号公報で開示されている、一定以上の画素変化のある部分を特定領域画像として検出する手段を用いても良い。
【００１６】
ウェーブレット変換部４から出力された変換係数１０４は量子化部５において量子化され、量子化係数１０５が出力される。ここで量子化手段としては、通常用いるスカラー量子化（下記：式１）を用いれば良い。
【００１７】
Q＝ｘ/Δ （式１）
この式１において、ｘはウェーブレット変換係数値、Δは量子化インデックス値である。
【００１８】
上記スカラ量子化等によって得られた量子化係数１０５に対して係数操作部６では後述の係数操作が行われて、その結果の量子化係数１０６は、ビットプレーン・スキャニング部７に入力する。ビットプレーン・スキャニング部７が後述するように出力した各ビットプレーン毎の係数群１０７は、最後にエントロピー符号化部８で符号化されて、符号化ビットストリーム１０８が送出される。尚、エントロピー符号化部８で用いられる符号化手段としては、可変長符号化手段の他、効率の良い算術符号化手段があるが、これらのエントロピー符号化手段については、各研究機関より研究成果が報告されており、それらを用いれば良い。
【００１９】
以上が、この第１の実施の形態の画像符号化装置の基本構成及び動作である。以下、各部分の詳細を説明する。
【００２０】
先ず、ウェーブレット変換部４の構成及び動作について説明する。通常のウェーブレット変換部４の構成図として、図２が挙げられる。これは、幾つかある手法の中で最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに亘って行う構成例を示している。尚、この図２の場合はレベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また図２では、便宜上１次元の信号（例えば画像の水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００２１】
次に動作について説明する。
図２に示すウェーブレット変換部への入力画像信号１１５は、ローパスフィルタ２１（伝達関数Ｈ₀（ｚ））とハイパスフィルタ２２（伝達関数Ｈ₁（ｚ））とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ２３、２３によって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分１１６とＨ成分１１７の２つである。ここで、上記ＬはLowで低域、ＨはHighで高域を示す。この図２のローパスフィルタ２１、ハイパスフィルタ２２、及び２個のダウンサンプラ２３，２３によってレベル１の回路部が構成されている。
【００２２】
上記ダウンサンプラ２３，２３によりそれぞれ間引かれた信号の内の低域成分、すなわち上部に記載のダウンサンプラ２３からの信号のみが、さらに、レベル２の回路部を構成するローパスフィルタ２４及びハイパスフィルタ２５によって帯域分割され、それぞれに対応するダウンサンプラ２６，２６によって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。この時の出力がLL成分１１８とLH成分１１９の２つである。
【００２３】
そして低域成分（LL成分１１８）のみが再びローパスフィルタ２７とハイパスフィルタ２８とによって帯域分割され、ダウンサンプラ２９、２９によって、解像度をそれぞれ２分の１倍に間引かれる。ここまでがレベル３である。このように上記処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル３で生成された帯域成分は、LLL成分１２０とLLH成分１２１である。LLL成分１２０は出力端子３０から、LLH成分１２１は出力端子３１から、LH成分１１９は出力端子３２から、H成分１１７は出力端子３３から外部に導出される。このようにレベル３まで帯域分割した結果、LLL成分１２０、LLH成分１２１、LH成分１１９、H成分１１７が生成されている。
【００２４】
次に、図３は、レベル２まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。この図３でのL及びHの表記法は、１次元信号を扱った図２でのＬ及びＨの表記法とは異なる。即ち、図３ではまずレベル１の帯域分割（水平・垂直方向）により４つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・垂直成分が共にLであること。LHは水平成分がHで垂直成分がLであることを意味している。次に、LL成分は再度帯域分割されて、さらにLLLL、LLHL、LLLH、LLHHが生成される。以上が、ウェーブレット変換の基本概念である。
【００２５】
次に、ビットプレーン・スキャニング部７の詳細な動作について説明する。図４は、縦４ライン、横４画素から成るビットプレーンの例であり、(a)の２進数表現で示される様に、この16個の係数で、最大値は＋１３、最小値は−６である。上記最大値と、最小値の他、＋３を除くと残りの係数はすべて０である。これらの係数値をビットプレーン表現したものが(b),(c)であり、４層から成るビットプレーンが出来る。(b)は係数の絶対値（Magnitude Planes）、(c)は係数の符号（Sign Plane）(+/-)を意味している。
【００２６】
次に、これら４層から成るビットプレーンの係数をスキャニングする。図４の(b)で示した様に、同一層のビットプレーン内では係数の左上から右下方向にスキャンを行い、これをMSB(Most Significant Bit)からLSB(Least SignificantBit)に向かってスキャンして行く。この時のスキャニング法を、例えば図５で図示する様に、ウェーブレット分割された各バンド毎に、同様にして左から右（水平方向）、上から下（垂直方向）にスキャニングすれば良い。
【００２７】
また、これ以外にも、図６に示すように、異なる帯域（バンド）間の同一周波数に属する係数を順番に走査する手段もあり、同等の効果を奏する。図６は、ウェーブレット変換の特徴である解像度の異なる周波数成分は相関が高い、という性質を利用したものである。図５と図６との相違点は、言うまでもなく、図５が各バンド内部でスキャニングが独立して行われるのに対し、図６ではバンド間に跨ってスキャニングが行われる点である。
【００２８】
以上の様に、ビットプレーン中の係数値はすべて２進数表現されているので、各階層では１か０しか存在しない。従って、上記エントロピー符号化部８では、各ビットプレーン毎に２値の算術符号化手段を用いることが出来る。その結果、圧縮効率を上げることができる。
【００２９】
続いて、係数操作部６の動作について詳細に説明する。図７は、実際に特定領域ＲＯＩ画像に相当する量子化係数（図７にてハッチング表現されている部分）と、特定領域を除く画像に相当する量子化係数（図７でハッチングされていない領域）とを、３つのサブバンド（subband0,subband1,subband2）毎に異なる係数で操作した具体例を示した図である。まず図７の(a)について述べる。この(a)のケースは、何も操作をしない最初の状態を意味している。尚、特定領域画像の係数情報は、特定領域画像抽出部３が出力する特定領域画像の位置情報１０３を用いて容易に取り出すことができる。
【００３０】
一方、図７の(b)ではSビット分だけ、特定領域画像に相当する量子化係数をMSB方向にシフトした結果を示している。この結果が意味するものは、言うまでも無く、特定領域画像に相当する画素が強調された形になるので、特定領域画像がそれ以外の画像よりも画質が高くなる。すなわち、係数操作部６では、ウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のビットをMSB方向にビットシフトする。
【００３１】
以上の構成及び動作によって、第１の実施の形態の画像符号化装置は、特定領域画像の係数値をスケールアップし、画像全体の中で被写体画像の画質を高くすることが出来る。
【００３２】
なお、上記第１の実施の形態では、特定領域画像の画質を高くするために、特定領域画像の係数値をスケールアップする手段を取っているが、特定領域画像を隠匿する、見えなくする、ボカす等の操作が目的の場合には、逆に特定領域画像を除く画像の係数値をスケールアップすることで、特定領域画像以外の画質を高くし、相対的に特定領域画像の画質を落とすことも出来る。
【００３３】
次に、本発明の第２の実施の形態となる画像符号化装置について説明する。この第２の実施の形態は図８に示すように、上記図１に示した画像符号化装置の係数操作部６とビットプレーンスキャニング部７との間に係数切り捨て部９を設けた構成である。この係数切り捨て部９は、ウェーブレット分割によって得られたサブバンド毎に、ビットプレーン上のLSBから数えて所定のビット数だけビットプレーンを切り捨てる。
【００３４】
上記第１の実施の形態では、特定領域画像の係数値、または特定領域画像を除く画像の係数値を係数操作部６でスケールアップした。すなわち、図７の(a)では、Subband0で５階層、Subband1で４階層、Subband2で３階層から成るビットプレーンが、(b)では被写体画像の係数だけSビット、シフトアップされた結果、すべてのSubbandでS階層分だけビットプレーンが増えてしまう。従って、このままこれらの係数を、前述のビットプレーン・スキャニング部７を経て、符号化すると符号量が増大する。
【００３５】
一方、図８で示す様に、係数操作部６の後段に係数切り捨て部９を設けると、動作としては、LSBからSビット分のビットプレーンを切り捨てることになるので、符号量の増大も抑制でき、かつ特定領域画像だけを強調して高画質化が実現できる。
【００３６】
これを示した図が図９である。図７の(b)のビットプレーンのLSBから下位Sビット分（この場合はS=3）だけ、ビットプレーンの係数を切り捨てると、(c)のビットプレーンが生成される。従って、これにより、特定領域画像の画質を高くしながら、全体の符号量を、図７の(a)の場合と同等に抑えることが出来る。
【００３７】
このように、係数操作部６、エントロピー符号化部８、ビットプレーン・スキャニング部７、及び係数切り捨て部９では、すべてのビット操作をビットプレーン上で行っている。
【００３８】
次に、本発明の第３の実施の形態となる画像符号化装置について説明する。この第３の実施の形態は図１０に示すように、上記図１に示した画像符号化装置のエントロピー符号化部８の後段に、符号量計算部１０と、さらにその後段にビットシフト数決定部１１を備えたものである。
【００３９】
符号量計算部１０は、符号化ビットストリーム１１３の符号量をカウントする作用があり、特定領域画像とそれ以外の画像の符号化ビット発生量を、それぞれ算出する。
【００４０】
ビットシフト数決定部１１は、符号量計算部１０で算出した特定領域画像とそれ以外の画像の符号化ビット発生量から、特定領域画像に対するビットシフト数を決定して、これを係数操作部６に送出する。
【００４１】
この後、係数操作部６では特定領域画像にだけ前述したようにビットシフト操作によるスケールアップを行う。
【００４２】
尚、一般には、特定領域画像とそれ以外の画像の符号化ビット発生量がほぼ同等で、特定領域画像をより強調したい場合は、その強調度に応じて、ビットシフト数を決めれば良く、逆に特定領域画像の符号化ビット発生量がかなり大きい場合には、ビットシフト数を小さい値に設定する等の操作を行えば良く、同ビットシフト数決定部１１には、自由度が大きく存在する。
【００４３】
他方、ビットシフト数決定部１１は、特定領域画像とそれ以外の画像の双方に対して別々にビットシフト数を決め、係数操作部６で別々にスケールアップさせてもよい。これは、両者の画質のバランスを取る場合に有効であって、例えば特定領域画像を３ビット、特定領域画像を除く画像を１ビットだけシフトさせる等の操作がある。
【００４４】
次に、本発明の第４の実施の形態となる画像符号化装置について説明する。この第４の実施の形態は図１１に示すように、上記図１０に示した第３の実施の形態の画像符号化装置の係数操作部６とビットスキャニング部７との間に係数切り捨て部９を設けたものである。
【００４５】
上記第３の実施の形態では、係数操作部６に、ビットシフト数決定部１１から出力するビットシフト数は一度決定して終了していた。しかし、目標とした符号量に１度で収束することは現実には多くなく、漸近させる操作が必要になる。
【００４６】
そこで、この第４の実施の形態は、係数操作部６とビットプレーン・スキャニング部７との間に係数切り捨て部９を挿入することにより、目標符号量と実際の発生符号量１１３とを、符号量計算部１０で常時比較し、ある閾値まで両者の数値が近くなる迄、同図のエントロピー符号化部８からビットシフト数決定部１１、そして係数操作部６からビットプレーン・スキャニング部７に至るループを巡回させる。
【００４７】
例えば、実際の発生符号量が大きく、削減したい場合には、係数切り捨て部９でLSBから下位数ビット分に相当するビットプレーンを切り捨てる操作を行えば良い。この操作を継続して行うことで、目標値になった所ですべての処理を打ち切り、この時の符号化ビットストリーム１０８を送出すれば良い。
【００４８】
一方、符号量に余裕がある場合で、かつ被写体画像の画質も十分に保たれている際には、係数操作部６を省略することも考えられる。
【００４９】
次に、本発明の第５の実施の形態となる画像符号化装置について説明する。ウェーブレット変換部４のフィルタバンクのフィルタ係数が整数の場合である。この第５の実施の形態は図１２に示すように、上記図１に示した第１の実施の形態の画像符号化装置の量子化部５を削除し、その代わりに係数切り捨て部９を設けた構成となる。
【００５０】
上記第１〜第４の実施の形態までは特に断わらなかったが、通常ウェーブレット・フィルタ係数は下記のように、浮動小数点精度を持ったものを多用する。（1）の低域フィルタLowpassと、（２）の高域フィルタHighpassの係数がそれぞれ有り、図２で示した様に、ウェーブレット分割を行う。
【００５１】
［Floating Filter(9×7)］
Lowpass = [2.6749e-02,-1.6864e-02,-7.8223e-02,2.66864e-01,6.02949e-01,2.66864e-01,-7.8223e-02,-1.6864e-02, 2.6749e-02 ] (1)
Highpass =[-4.5636e-02,2.8772e-02, 2.95636e-01, -5.57543e-01,2.95636e-01, 2.8772e-02,-4.5636e-02 ] (2)
この時、例えば図１ではウェーブレット変換係数１０４の値も浮動小数点の精度になるので、量子化部５で量子化して、整数精度にする必要があった。他方、下記の様に、元々フィルタ係数が整数である場合には、量子化部５を備える必要は必ずしも無く、同じ個所に例えば係数切り捨て部９を備えることにより、目標符号量で符号化を行うことが出来る。この場合、量子化部を省略すれば係数１０６まではロスレスであることは言うまでもない。この第５の実施の形態は、図１０、図１１に示した画像符号化装置にも適用できる。
【００５２】
［Integer Filter(9×7)］
Lowpass = [ 1, 0, -8, 16, 46, 16, -8, 0, 1 ]/2⁶ (3)
Highpass = [ 1, 0, -9, 16, -9, 0, 1 ]/2⁴ (4)
以上、本発明の第１〜第５の実施の形態となる画像符号化装置について説明した。次に、これらの画像符号化装置で符号化され、伝送されてきた符号化ビットストリームを復号する復号装置の具体例について説明する。
【００５３】
この復号装置の具体例の構成を図１３に示す。この図１３において、復号装置は、符号化ビットストリームを入力又は読み出してエントロピー復号するエントロピー復号化部３５と、エントロピー復号された量子化係数をサブバンド毎のビットプレーンに直すビットプレーン・逆スキャニング部３６と、ビットプレーン情報をウェーブレット変換係数に直す逆量子化部３７と、ウェーブレット変換係数を逆変換するウェーブレット逆変換部３８とを有して構成されている。
【００５４】
次に動作について説明する。符号化ビットストリーム１０８を入力したエントロピー復号化部３５では、所定の手段によってエントロピー復号を行い、符号化ビットストリーム１０８を量子化係数１０９に戻す。この時のエントロピー復号化の手段は、既に述べたエントロピー符号化の手段と対応したものである必要がある。なお、エントロピー復号手段としては、可変長復号手段や算術復号手段がある。
【００５５】
量子化係数１０９は、ビットプレーン・逆スキャニング部３６で、サブバンド毎のビットプレーンに直される。このビットプレーン情報１１０は、逆量子化部３７で、再度ウェーブレット変換係数１１１に変換される。ここで、逆量子化手段としては通常用いるスカラー逆量子化（下記：式２）を用いればよい。
【００５６】
ｘ＝Q xΔ （式２）
ここで、Qは量子化係数値、Δは量子化インデックス値である。
【００５７】
ウェーブレット変換係数１１１は、ウェーブレット逆変換部３８で逆変換されて、復号化画像１１２が出力される。
【００５８】
図１４にはウェーブレット逆変換部３８の構成を示す。図２を用いて説明したウェーブレット変換の出力である各帯域成分、LLL成分１２０、LLH成分１２１、LH成分１１９、H成分１１７を、入力端子４０、入力端子４１、入力端子４２、入力端子４３から入力すると、まずLLL成分１２０及びLLH成分１２１が、それぞれアップサンプラ４４、４４によって２倍の解像度にアップサンプルされる。引き続いて低域成分はローパスフィルタ４５、高域成分はハイパスフィルタ４６によってフィルタリングされて加算器４７において、両者の帯域成分が合成される。ここまででレベル３の逆変換が完了して、帯域成分LL１１８が得られる。次に、上記帯域成分LL１１８と入力端子４２からのLH成分１１９がそれぞれアップサンプラ４８、４８によって２倍の解像度にアップサンプルされ、引き続いて低域成分はローパスフィルタ４９、高域成分はハイパスフィルタ５０によってフィルタリングされて加算器５１において両者の帯域成分が合成される。ここまででレベル２の逆変換が完了して、帯域成分L１１６が得られる。次に、上記帯域成分L１１６と入力端子４３からのH成分１１７がそれぞれアップサンプラ５２、５２によって２倍の解像度にアップサンプルされ、引き続いて低域成分はローパスフィルタ５３、高域成分はハイパスフィルタ５４によってフィルタリングされて加算器５５において両者の帯域成分が合成される。ここまででレベル１の逆変換が完了して、出力端子５６から最終的な逆変換後の復号信号１１５が出力されることになる。以上が、通常のウェーブレット逆変換の基本構成、及び動作である。
【００５９】
【発明の効果】
以上、本発明によれば、特定領域画像を検出し、画像をウェーブレット変換して、生成されたウェーブレット変換係数の中から、被写体画像のウェーブレット変換係数をビットシフトすることによって、特定領域画像の画質を向上させることができる。
【００６０】
また、ビットシフト・アップした後、所定のビット数だけビットプレーンを切り捨てることによって、全体の符号量を同等に抑えながら符号化出来る。
【００６１】
また、ビットプレーンを切り捨てる際のビット数を変えながら、発生符号量を目標符号量に漸近させることが出来る、符号化制御を可能とする。
【００６２】
また、特定領域画像とそれ以外の画像とに対し、ビットシフトのビット数を変えることで、両者の画質制御を可能とする。
【００６３】
また、特定領域画像以外の係数をビットシフト・アップして、全体のビットプレーンを所定ビット数分だけ切り捨てることで、被写体画像を隠蔽、ボカす等を可能とする。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図２】通常のウェーブレット変換部の概略構成（レベル３まで）を示すブロック図である。
【図３】２次元画像の帯域分割（分割レベル＝２）を説明するための図である。
【図４】ビットプレーンの説明図である。
【図５】係数のスキャニング方向に関する説明図である。
【図６】係数のスキャニング方向に関する他の説明図である。
【図７】特定領域画像のビットプレーンのシフトアップに関する説明図である。
【図８】本発明の第２の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図９】切り捨て後のビットプレーンの説明図である。
【図１０】本発明の第３の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１１】本発明の第４の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１２】本発明の第５の実施の形態としての画像符号化装置の概略構成を示すブロック図である。
【図１３】画像復号装置の概略構成を示すブロック図である。
【図１４】通常のウェーブレット逆変換部の概略構成（レベル３まで）を示すブロック図である。
【符号の説明】
１カメラ、２フレームメモリ、３特定領域画像抽出部、４ウェーブレット変換部、５量子化部、６係数操作部、７ビットプレーンスキャニング部、８エントロピー符号化部、９係数切り捨て部、１０符号量計算部、１１ビットシフト数決定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding apparatus and method that can be used in a system that efficiently transmits or stores images, and more particularly to an image encoding apparatus and method that use wavelet transform.
[0002]
[Prior art]
Specific examples of applications for systems that transmit or store images with high-efficiency encoding are as follows: surveillance image codec (encoder / decoder and transmission device), digital camera (video camcorder or still camera), or these There are custom chips, DSPs, etc. that realize the above means.
[0003]
For example, in a conventional surveillance image codec, encoding is performed by performing inter-frame prediction using the correlation between frames of an image captured by a surveillance camera. H.261 and H.263 international standard video encoding methods standardized for video telephony and video conference use by the International Telecommunication Union-Telecommunication Standardization Sector (ITU-T) A codec also exists. As a related technique, there is a “moving image transmitting apparatus and moving image receiving apparatus” disclosed in, for example, Japanese Patent Laid-Open No. 7-30888.
[0004]
A moving image transmitting apparatus (encoding apparatus) according to the present invention includes a background memory unit that stores a background image, and a non-background extracting unit that refers to the background memory unit and extracts a non-background portion from a moving image to be transmitted. And an encoding means for encoding the non-background image extracted by the non-background extraction means. By these means, a non-background image such as a person image is extracted and encoded directly or after performing motion compensation prediction, so that the transmission code amount can be greatly reduced. On the other hand, the background memory means on the receiving apparatus side can store an image irrelevant to the moving image to be transmitted as a background, so that an arbitrary background can be synthesized with the decoded image.
[0005]
[Problems to be solved by the invention]
By the way, the above conventional example is based on the premise that the background image hardly changes. When the background image changes, the detection accuracy of the human image is lowered, and many DCT (Discrete Cosine Transform) encodings are performed later. Therefore, there is a problem that the coding efficiency is reduced.
[0006]
Furthermore, the inter-frame motion compensation prediction means for only human images has a problem of requiring a lot of calculation time and requires a dedicated LSI or the like.
[0007]
The present invention has been made in view of the problems as described above, and even when the compression rate is high and the transmission bit rate must be low, the coding is performed with priority on the quality of the human image, so that it is practical. An object of the present invention is to provide an image encoding apparatus and method that do not lose the above.
[0008]
[Means for Solving the Problems]
In order to solve the container problem, an image encoding device according to the present invention generates an image input unit for inputting an image, a specific region image based on a current input image and a predetermined image input from the image input unit. Of the wavelet transform coefficients generated by the wavelet transform means generated by the wavelet transform means, wavelet transform means for wavelet transforming the current input image, the specific area image extracted by the specific area image extractor A coefficient operation unit that performs different operations on the coefficient corresponding to the image excluding the specific area image, and the LSB on the bit plane for each subband obtained by wavelet division in the wavelet transform unit. Coefficient truncation means for truncating bit plane coefficients by a predetermined number of bits counted from Encoding means for entropy encoding the coefficient processed by the truncation means, code amount calculation means for calculating the code amount at the subsequent stage of the encoding means, and the coefficient based on the code amount calculated by the code amount calculation means Bit shift number determining means for determining the bit shift number when the coefficient value is scaled up with respect to the coefficient supplied to the operating means.
[0009]
In this image encoding device, the specific area image extraction unit extracts the specific area image from the difference between the current encoding target input image and a predetermined image. The wavelet transform unit performs wavelet transform on the input image and outputs a transform coefficient. The coefficient operation means operates different coefficients between the specific area image and the image excluding the specific area image. The entropy encoding means generates an encoded bit stream by performing information source encoding on the coefficients.
[0010]
In order to solve the above problems, an image encoding method according to the present invention includes a specific area image extraction step for extracting a specific area image based on a current input image and a predetermined image, and a wavelet transform on the current input image. A wavelet transform step, a wavelet transform coefficient generated in the wavelet transform step, a coefficient corresponding to the specific region image extracted in the specific region image extraction step, and a coefficient corresponding to an image excluding the specific region image A coefficient operation step of performing another operation on the signal, and a coefficient truncation step of truncating a bit plane coefficient by a predetermined number of bits counted from the LSB on the bit plane for each subband obtained by wavelet division in the wavelet transform step And entropy-encoding the coefficients processed in the coefficient truncation step The code amount calculation step for calculating the code amount of the encoding step, and the coefficient value is scaled up with respect to the coefficient supplied to the coefficient operation step based on the code amount calculated in the code amount calculation step. A bit shift number determining step for determining the bit shift number at the time.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image encoding apparatus and method according to the present invention will be described below with reference to the drawings.
[0012]
FIG. 1 shows an image coding apparatus with an enhancement function for a specific region (Region of Interest: ROI) according to the first embodiment of the present invention. This image encoding apparatus is mainly applied to a monitoring image codec. In addition, it can be applied to an image compression apparatus required for an electronic still camera or a video movie.
[0013]
This image encoding device includes a camera 1 having an image pickup device for inputting an image, a frame memory 2 for storing and holding an input image from the camera 1, a specific region image extracting unit 3 for extracting a specific region image, and the like. A wavelet transform unit 4 that wavelet transforms the current input image and outputs transform coefficients, a quantizer 5 that quantizes the transform coefficients output by the wavelet transform unit 4 and outputs quantized coefficients, and the specific region image For example, a coefficient operation unit 6 that performs different scale-up processing on the quantization coefficient corresponding to the image excluding the specific region and the quantization coefficient, and the quantization coefficient from the coefficient operation unit 6 in a plurality of layers. The bit plane scanning unit 7 that expands and scans on the plane and the coefficient for each bit plane from the bit plane scanning unit 7 are entropy. Comprising a entropy encoding unit 8 for generating an encoded bit stream by performing encoding.
[0014]
In the image encoding device shown in FIG. 1, a captured image 100 is captured by the camera 1 and converted into a digitized image 101. The digital image 101, which is the current image frame, is transform-coded by the wavelet transform unit 4 to be a transform coefficient 104. On the other hand, the digital image 101 is input to the frame memory 2 and stored and held for a predetermined time. Further, the digital image 101 is also input to the specific area image extraction unit 3. The specific area image extraction unit 3 extracts a specific area image from the digital image 102 and the current digital image 101 that are read from the frame memory 2 a predetermined time ago. The position information 103 of the specific area image extracted here is sent to the coefficient operation unit 6 for subsequent processing.
[0015]
In order to divide the specific area image and the other background image from the two images, a part having a certain pixel change or more, which is disclosed in Japanese Patent Laid-Open No. 7-030888 described above, is specified area. A means for detecting as an image may be used.
[0016]
The transform coefficient 104 output from the wavelet transform unit 4 is quantized by the quantization unit 5 and a quantized coefficient 105 is output. Here, as the quantization means, a commonly used scalar quantization (below: Equation 1) may be used.
[0017]
Q = x / Δ (Formula 1)
In Equation 1, x is a wavelet transform coefficient value, and Δ is a quantization index value.
[0018]
The coefficient operation unit 6 performs a later-described coefficient operation on the quantized coefficient 105 obtained by the scalar quantization or the like, and the resulting quantized coefficient 106 is input to the bit plane scanning unit 7. The coefficient group 107 for each bit plane output by the bit plane scanning unit 7 as will be described later is finally encoded by the entropy encoding unit 8 and the encoded bit stream 108 is transmitted. As the encoding means used in the entropy encoding unit 8, there is an efficient arithmetic encoding means in addition to the variable length encoding means. These entropy encoding means have been researched by each research institution. Are reported, and they can be used.
[0019]
The above is the basic configuration and operation of the image coding apparatus according to the first embodiment. Details of each part will be described below.
[0020]
First, the configuration and operation of the wavelet transform unit 4 will be described. FIG. 2 is a configuration diagram of the normal wavelet transform unit 4. This shows a configuration example in which octave division, which is the most general wavelet transform among several methods, is performed over a plurality of levels. In the case of FIG. 2, the number of levels is 3 (level 1 to level 3), and the image signal is divided into a low frequency and a high frequency, and only the low frequency components are hierarchically divided. . In FIG. 2, wavelet transform for a one-dimensional signal (for example, a horizontal component of an image) is illustrated for convenience, but it can be dealt with a two-dimensional image signal by extending this to two dimensions.
[0021]
Next, the operation will be described.
An input image signal 115 to the wavelet transform unit shown in FIG. ₀ (Z)) and the high-pass filter 22 (transfer function H ₁ (Z)), the low-frequency component and the high-frequency component obtained are thinned out by half by the corresponding down-samplers 23 and 23, respectively (level 1). There are two outputs at this time: an L component 116 and an H component 117. Here, L is low and indicates a low frequency, and H is high and indicates a high frequency. The low-pass filter 21, the high-pass filter 22, and the two downsamplers 23 and 23 in FIG. 2 constitute a level 1 circuit unit.
[0022]
Only the low-frequency components of the signals thinned out by the down-samplers 23 and 23, that is, only the signals from the down-sampler 23 described above, are further provided with a low-pass filter 24 and a high-pass filter that constitute a level 2 circuit unit. The bandwidth is divided by 25, and the resolution is thinned out by a factor of 2 by the corresponding downsamplers 26 and 26 (level 2). There are two outputs at this time: an LL component 118 and an LH component 119.
[0023]
Then, only the low-frequency component (LL component 118) is again band-divided by the low-pass filter 27 and the high-pass filter 28, and the resolution is reduced by half by the down-samplers 29 and 29, respectively. This is Level 3. By performing the above processing to a predetermined level in this way, band components obtained by hierarchically dividing the low frequency component into bands are sequentially generated. The band components generated at level 3 are the LLL component 120 and the LLH component 121. The LLL component 120 is led out from the output terminal 30, the LLH component 121 is led out from the output terminal 31, the LH component 119 is led out from the output terminal 32, and the H component 117 is led out from the output terminal 33. As a result of the band division up to level 3, the LLL component 120, the LLH component 121, the LH component 119, and the H component 117 are generated.
[0024]
Next, FIG. 3 illustrates band components obtained as a result of band division of a two-dimensional image up to level 2. The notation of L and H in FIG. 3 is different from the notation of L and H in FIG. 2 that handles a one-dimensional signal. That is, in FIG. 3, first, the component is divided into four components LL, LH, HL, and HH by level 1 band division (horizontal and vertical directions). Here, LL means that both horizontal and vertical components are L. LH means that the horizontal component is H and the vertical component is L. Next, the LL component is band-divided again to generate LLLL, LLHL, LLLH, and LLHH. The above is the basic concept of the wavelet transform.
[0025]
Next, the detailed operation of the bit plane scanning unit 7 will be described. FIG. 4 shows an example of a bit plane composed of 4 vertical lines and 4 horizontal pixels. As shown in the binary representation of (a), the maximum value is +13 and the minimum value is −6 with these 16 coefficients. It is. In addition to the maximum value and the minimum value, all the remaining coefficients are 0 except for +3. These coefficient values are expressed as bit planes (b) and (c), and a bit plane consisting of four layers is formed. (b) means the absolute value of the coefficient (Magnitude Planes), and (c) means the sign of the coefficient (Sign Plane) (+/-).
[0026]
Next, the coefficient of the bit plane composed of these four layers is scanned. As shown in Fig. 4 (b), within the bit plane of the same layer, the coefficient is scanned from the upper left to the lower right, and this is scanned from the MSB (Most Significant Bit) to the LSB (Least Significant Bit). Go. For example, as shown in FIG. 5, the scanning method at this time may be similarly scanned from left to right (horizontal direction) and from top to bottom (vertical direction) for each wavelet-divided band.
[0027]
In addition to this, as shown in FIG. 6, there is also means for sequentially scanning coefficients belonging to the same frequency between different bands (bands), and the same effect can be obtained. FIG. 6 utilizes the property that frequency components having different resolutions, which are the characteristics of the wavelet transform, have high correlation. The difference between FIG. 5 and FIG. 6 is that, of course, scanning is performed independently within each band in FIG. 5, whereas scanning is performed across the bands in FIG.
[0028]
As described above, since all coefficient values in the bit plane are expressed in binary numbers, only 1 or 0 exists in each layer. Therefore, the entropy encoding unit 8 can use binary arithmetic encoding means for each bit plane. As a result, the compression efficiency can be increased.
[0029]
Next, the operation of the coefficient operation unit 6 will be described in detail. FIG. 7 shows the quantization coefficient actually corresponding to the specific area ROI image (the hatched portion in FIG. 7) and the quantization coefficient corresponding to the image excluding the specific area (the area not hatched in FIG. 7). ) With a different coefficient for each of the three subbands (subband0, subband1, subband2). First, (a) of FIG. 7 will be described. This case (a) means an initial state in which no operation is performed. The coefficient information of the specific area image can be easily extracted using the position information 103 of the specific area image output from the specific area image extraction unit 3.
[0030]
On the other hand, FIG. 7B shows the result of shifting the quantization coefficient corresponding to the specific area image in the MSB direction by S bits. Needless to say, this result means that the pixels corresponding to the specific area image are emphasized, so that the image quality of the specific area image is higher than that of the other images. That is, the coefficient operation unit 6 bit-shifts the bits on the bit plane in the MSB direction for each subband obtained by wavelet division.
[0031]
With the configuration and operation described above, the image coding apparatus according to the first embodiment can scale up the coefficient value of the specific area image and increase the image quality of the subject image in the entire image.
[0032]
In the first embodiment, the means for scaling up the coefficient value of the specific area image is taken in order to increase the image quality of the specific area image, but the specific area image is concealed or made invisible. If the purpose is blurring, the coefficient value of the image excluding the specific area image is scaled up to increase the image quality other than the specific area image and relatively lower the image quality of the specific area image. You can also
[0033]
Next, an image coding apparatus according to the second embodiment of the present invention will be described. In the second embodiment, as shown in FIG. 8, a coefficient truncation unit 9 is provided between the coefficient operation unit 6 and the bit plane scanning unit 7 of the image coding apparatus shown in FIG. . The coefficient truncation unit 9 truncates the bit plane by a predetermined number of bits counted from the LSB on the bit plane for each subband obtained by wavelet division.
[0034]
In the first embodiment, the coefficient value of the specific area image or the coefficient value of the image excluding the specific area image is scaled up by the coefficient operation unit 6. That is, in (a) of FIG. 7, the bit plane consisting of 5 layers in Subband0, 4 layers in Subband1, and 3 layers in Subband2 is shifted up by S bits by the coefficient of the subject image in (b). The bit plane increases by the S layer in Subband. Accordingly, if these coefficients are encoded through the bit plane scanning unit 7 as they are, the amount of codes increases.
[0035]
On the other hand, as shown in FIG. 8, when the coefficient truncation unit 9 is provided at the subsequent stage of the coefficient operation unit 6, the operation is that the bit plane for S bits is discarded from the LSB, so that an increase in the code amount can also be suppressed. In addition, it is possible to enhance the image quality by emphasizing only the specific area image.
[0036]
This is shown in FIG. When the coefficient of the bit plane is rounded down by the lower S bits (in this case, S = 3) from the LSB of the bit plane in FIG. 7B, the bit plane in (c) is generated. Therefore, the overall code amount can be suppressed to the same level as in the case of FIG. 7A while improving the image quality of the specific area image.
[0037]
As described above, in the coefficient operation unit 6, the entropy encoding unit 8, the bit plane scanning unit 7, and the coefficient truncation unit 9, all bit operations are performed on the bit plane.
[0038]
Next, an image coding apparatus according to the third embodiment of the present invention will be described. In the third embodiment, as shown in FIG. 10, the entropy encoding unit 8 of the image encoding apparatus shown in FIG. The unit 11 is provided.
[0039]
The code amount calculation unit 10 has an effect of counting the code amount of the encoded bit stream 113, and calculates the encoded bit generation amounts of the specific area image and other images.
[0040]
The bit shift number determination unit 11 determines the bit shift number for the specific region image from the encoded bit generation amount of the specific region image and the other images calculated by the code amount calculation unit 10 and uses this to determine the coefficient shift unit 6 To send.
[0041]
Thereafter, the coefficient operation unit 6 performs scale-up by the bit shift operation only for the specific area image as described above.
[0042]
In general, when the amount of encoded bits generated in a specific area image and other images is substantially the same and it is desired to enhance the specific area image more, the number of bit shifts can be determined according to the degree of enhancement. When the amount of encoded bits generated in a specific area image is considerably large, an operation such as setting the bit shift number to a small value may be performed, and the bit shift number determination unit 11 has a large degree of freedom. .
[0043]
On the other hand, the bit shift number determination unit 11 may determine the bit shift number separately for both the specific area image and the other images, and may be scaled up separately by the coefficient operation unit 6. This is effective in balancing the image quality of both, and there are operations such as shifting the specific area image by 3 bits and shifting the image excluding the specific area image by 1 bit, for example.
[0044]
Next, an image coding apparatus according to the fourth embodiment of the present invention will be described. In the fourth embodiment, as shown in FIG. 11, a coefficient truncation unit 9 is provided between the coefficient operation unit 6 and the bit scanning unit 7 of the image coding apparatus of the third embodiment shown in FIG. Is provided.
[0045]
In the third embodiment, the coefficient operation unit 6 once determines the number of bit shifts output from the bit shift number determination unit 11 and ends. However, in reality, there is not much convergence to the target code amount at a time, and an asymptotic operation is required.
[0046]
Therefore, in the fourth embodiment, by inserting a coefficient truncation unit 9 between the coefficient operation unit 6 and the bit plane scanning unit 7, the target code amount and the actual generated code amount 113 are encoded. The quantity calculation unit 10 constantly compares and until both values are close to a certain threshold, the entropy encoding unit 8 to the bit shift number determination unit 11 and the coefficient operation unit 6 to the bit plane scanning unit 7 in FIG. Loop around the loop.
[0047]
For example, when the actual generated code amount is large and it is desired to reduce it, the coefficient truncation unit 9 may perform an operation of truncating the bit plane corresponding to the lower few bits from the LSB. By continuing this operation, all processing is stopped when the target value is reached, and the encoded bit stream 108 at this time may be transmitted.
[0048]
On the other hand, when there is a margin in the code amount and the image quality of the subject image is sufficiently maintained, the coefficient operation unit 6 may be omitted.
[0049]
Next, an image coding apparatus according to the fifth embodiment of the present invention will be described. This is a case where the filter coefficients of the filter bank of the wavelet transform unit 4 are integers. In the fifth embodiment, as shown in FIG. 12, the quantization unit 5 of the image coding apparatus of the first embodiment shown in FIG. 1 is deleted, and a coefficient truncation unit 9 is provided instead. It becomes the composition.
[0050]
Although not particularly described until the first to fourth embodiments, the wavelet filter coefficients having a floating point precision are frequently used as described below. There are coefficients of the low pass filter Lowpass (1) and the high pass filter Highpass (2), respectively, and wavelet division is performed as shown in FIG.
[0051]
[Floating Filter (9x7)]
Lowpass = [2.6749e-02, -1.6864e-02, -7.8223e-02,2.66864e-01,6.02949e-01,2.66864e-01, -7.8223e-02, -1.6864e-02, 2.6749e- 02] (1)
Highpass = [-4.5636e-02,2.8772e-02, 2.95636e-01, -5.57543e-01,2.95636e-01, 2.8772e-02, -4.5636e-02] (2)
At this time, for example, in FIG. 1, the value of the wavelet transform coefficient 104 also has floating point precision, so it has been necessary to quantize the quantization unit 5 to integer precision. On the other hand, when the filter coefficient is originally an integer as described below, it is not always necessary to include the quantization unit 5, and for example, the coefficient truncation unit 9 is provided at the same place to perform encoding with the target code amount. I can do it. In this case, it goes without saying that if the quantization unit is omitted, the coefficient 106 is lossless. The fifth embodiment can also be applied to the image encoding device shown in FIGS.
[0052]
[Integer Filter (9 x 7)]
Lowpass = [1, 0, -8, 16, 46, 16, -8, 0, 1] / 2 ⁶ (3)
Highpass = [1, 0, -9, 16, -9, 0, 1] / 2 ^Four (Four)
Heretofore, the image encoding devices according to the first to fifth embodiments of the present invention have been described. Next, a specific example of a decoding device that decodes an encoded bit stream that has been encoded and transmitted by these image encoding devices will be described.
[0053]
The configuration of a specific example of this decoding apparatus is shown in FIG. In FIG. 13, the decoding apparatus includes an entropy decoding unit 35 that inputs or reads an encoded bit stream and performs entropy decoding, and a bit plane / inverse scanning unit that converts entropy-decoded quantization coefficients into bit planes for each subband. 36, an inverse quantization unit 37 that converts bit plane information into wavelet transform coefficients, and a wavelet inverse transform unit 38 that inversely transforms wavelet transform coefficients.
[0054]
Next, the operation will be described. The entropy decoding unit 35 to which the encoded bit stream 108 is input performs entropy decoding by a predetermined means, and returns the encoded bit stream 108 to the quantized coefficient 109. The entropy decoding means at this time must correspond to the entropy encoding means already described. Note that entropy decoding means includes variable length decoding means and arithmetic decoding means.
[0055]
The quantization coefficient 109 is converted into a bit plane for each subband by the bit plane / inverse scanning unit 36. The bit plane information 110 is converted again to the wavelet transform coefficient 111 by the inverse quantization unit 37. Here, as the inverse quantization means, a commonly used scalar inverse quantization (below: Equation 2) may be used.
[0056]
x = Q xΔ (Formula 2)
Here, Q is a quantization coefficient value, and Δ is a quantization index value.
[0057]
The wavelet transform coefficient 111 is inversely transformed by the wavelet inverse transform unit 38, and the decoded image 112 is output.
[0058]
FIG. 14 shows the configuration of the wavelet inverse transform unit 38. Each band component, LLL component 120, LLH component 121, LH component 119, and H component 117, which are outputs of the wavelet transform described with reference to FIG. 2, are input from the input terminal 40, the input terminal 41, the input terminal 42, and the input terminal 43. When input, first, the LLL component 120 and the LLH component 121 are up-sampled to double the resolution by the up-samplers 44 and 44, respectively. Subsequently, the low-frequency component is filtered by the low-pass filter 45 and the high-frequency component is filtered by the high-pass filter 46, and the adder 47 synthesizes both band components. Thus far, the level 3 inverse transform is completed, and the band component LL118 is obtained. Next, the band component LL118 and the LH component 119 from the input terminal 42 are upsampled to double the resolution by the upsamplers 48 and 48, respectively. In the adder 51, both band components are combined. Thus far, the level 2 inverse transform is completed, and the band component L116 is obtained. Next, the band component L116 and the H component 117 from the input terminal 43 are upsampled to double the resolution by the upsamplers 52 and 52, respectively. In the adder 55, both band components are combined. Thus far, the level 1 inverse transformation is completed, and the final decoded signal 115 after the inverse transformation is output from the output terminal 56. The above is the basic configuration and operation of normal wavelet inverse transform.
[0059]
【The invention's effect】
As described above, according to the present invention, the image quality of the specific area image is detected by detecting the specific area image, wavelet transforming the image, and bit-shifting the wavelet transform coefficient of the subject image from the generated wavelet transform coefficients. Can be improved.
[0060]
Also, after bit shifting up, the bit plane is discarded by a predetermined number of bits, thereby enabling encoding while suppressing the entire code amount equally.
[0061]
In addition, it is possible to perform encoding control that can make the generated code amount asymptotic to the target code amount while changing the number of bits when truncating the bit plane.
[0062]
In addition, by changing the number of bit shift bits for the specific area image and other images, the image quality of both can be controlled.
[0063]
Also, the coefficients other than the specific area image are bit-shifted up, and the entire bit plane is cut off by a predetermined number of bits, thereby making it possible to conceal or blur the subject image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image encoding apparatus as a first embodiment of the present invention.
FIG. 2 is a block diagram showing a schematic configuration (up to level 3) of a normal wavelet transform unit.
FIG. 3 is a diagram for explaining band division (division level = 2) of a two-dimensional image.
FIG. 4 is an explanatory diagram of a bit plane.
FIG. 5 is an explanatory diagram regarding a coefficient scanning direction;
FIG. 6 is another explanatory diagram relating to a coefficient scanning direction;
FIG. 7 is an explanatory diagram regarding a bit plane shift-up of a specific area image.
FIG. 8 is a block diagram showing a schematic configuration of an image coding apparatus as a second embodiment of the present invention.
FIG. 9 is an explanatory diagram of a bit plane after truncation.
FIG. 10 is a block diagram showing a schematic configuration of an image encoding apparatus as a third embodiment of the present invention.
FIG. 11 is a block diagram showing a schematic configuration of an image encoding apparatus as a fourth embodiment of the present invention.
FIG. 12 is a block diagram showing a schematic configuration of an image encoding device as a fifth embodiment of the present invention;
FIG. 13 is a block diagram illustrating a schematic configuration of an image decoding device.
FIG. 14 is a block diagram showing a schematic configuration (up to level 3) of a normal wavelet inverse transform unit;
[Explanation of symbols]
1 camera, 2 frame memory, 3 specific area image extraction unit, 4 wavelet transform unit, 5 quantization unit, 6 coefficient operation unit, 7 bit plane scanning unit, 8 entropy encoding unit, 9 coefficient truncation unit, 10 code amount calculation Section, 11-bit shift number determination section

Claims

An image input means for inputting an image;
Specific area image extraction means for extracting a specific area image based on a current input image and a predetermined image input from the image input means;
Wavelet transform means for wavelet transforming the current input image;
Of the wavelet transform coefficients generated by the wavelet transform unit, different operations are performed on the coefficient corresponding to the specific region image extracted by the specific region image extraction unit and the coefficient corresponding to the image excluding the specific region image. Coefficient operating means to be applied;
Coefficient truncation means for truncating a bit plane coefficient by a predetermined number of bits counted from the LSB on the bit plane for each subband obtained by wavelet division in the wavelet transform means;
Encoding means for entropy encoding the coefficients processed by the coefficient truncation means;
A code amount calculation means for calculating a code amount at a subsequent stage of the encoding means;
Bit shift number determining means for determining a bit shift number when scaling up a coefficient value for a coefficient supplied to the coefficient manipulating means based on the code amount calculated by the code amount calculating means. An image encoding device.

2. The image encoding according to claim 1, further comprising: quantization means for quantizing the wavelet transform coefficient generated by the wavelet transform means when the wavelet transform means is composed of a filter bank with floating point precision. apparatus.

2. The image coding apparatus according to claim 1, wherein the coefficient operation means scales up coefficient values for coefficients corresponding to the specific area image.

2. The image coding apparatus according to claim 1, wherein the coefficient operation means scales up coefficient values for coefficients corresponding to images excluding the specific area image.

An image storage means for storing an image of a predetermined time ago as the predetermined image is provided, and the specific area image extracting means includes a current input image from the image input means and a predetermined time ago from the image storage means. The image coding apparatus according to claim 1, wherein a specific area image is extracted using an image.

2. The image encoding apparatus according to claim 1, wherein the specific area image extracting unit sets the area detected by motion detection as a specific area image.

A specific area image extraction step of extracting a specific area image based on the current input image and a predetermined image;
A wavelet transform process for wavelet transforming the current input image;
Of the wavelet transform coefficients generated in the wavelet transform step, different operations are performed on the coefficient corresponding to the specific region image extracted in the specific region image extraction step and the coefficient corresponding to the image excluding the specific region image. Coefficient operation process to be applied,
A coefficient truncation step of truncating a bit plane coefficient by a predetermined number of bits counted from the LSB on the bit plane for each subband obtained by wavelet division in the wavelet transform step;
An encoding step for entropy encoding the coefficient processed in the coefficient truncation step;
A code amount calculation step of calculating a code amount of the encoding step;
A bit shift number determination step for determining a bit shift number when scaling up the coefficient value for the coefficient supplied to the coefficient operation step based on the code amount calculated in the code amount calculation step. An image encoding method.