JP6022232B2

JP6022232B2 - 画像符号化装置及び画像復号化装置

Info

Publication number: JP6022232B2
Application number: JP2012142699A
Authority: JP
Inventors: 史人新妻
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2012-06-26
Filing date: 2012-06-26
Publication date: 2016-11-09
Anticipated expiration: 2032-06-26
Also published as: JP2014007623A

Description

本発明は、画像データをブロック分割して伝送又は記録する際に行われる画像データの符号化及び復号化において生じてしまうブロックの垂直方向の歪みを軽減する画像符号化装置及び画像復号化装置に関するものである。

従来から、画像データを符号化処理して伝送又は記録する場合に、入力される画像データをブロック分割し、それをブロック毎に変換処理を行うといったブロック符号化及びブロック復号化が行われてきている。例えば、入力される画像信号を一定の大きさでブロック分割し、各ブロックに対して離散コサイン変換、即ち、ＤＣＴ（Discrete Cosine Transform）などの直行変換を施し、各ブロックの画像データを周波数データに変換した後、さらに、量子化処理及び符号割り当てをし、伝送し、復号側で逆の処理を行うことで画像データを再生するといった技術が知られている。

しかしながら、上記のブロック毎の符号化により伝送した場合には、復号側で一般にブロック歪みと呼ばれるブロック毎の境界に歪みが発生してしまうという問題がある。これは、ブロック間で周波数成分が異なるのに対して、一律に量子化処理を行うため、量子化誤差がブロック毎の境界に段差となって現れてしまうもので、この段差が大きいと視覚的に目立つ画質劣化に繋がってしまうことになる。

特に、ＤＣＴを経る符号化では、ビットレートが低い場合にはＤＣＴ係数の量子化精度が粗くなり、復号される画像にブロック歪みが発生しやすい。このブロック歪みを軽減するためには、復号側でデブロッキングフィルタと呼ばれる低域通過フィルタを用いるという手段があるが、強度にフィルタをかけると、カットオフ周波数が低くなるため、ブロック歪みは完全に無くなるが、復号した画像データの画質劣化が発生してしまうという問題が生じてしまう。

また、逆にフィルタの強度を弱くすると、カットオフ周波数が高くなるため、ブロック歪みの軽減が弱くなり、ブロック歪みが目立つ復号画像となってしまう。そこで、デブロッキングフィルタを制御する必要があり、例えば、特許文献１には、デブロッキングフィルタを復号化出力に使用して、復号化出力より動きベクトルを検出し、この動きベクトルによりデブロッキングフィルタの特性を切り替えるといった技術が開示されている。そして、この技術によれば、視覚特性に整合したブロック歪みの抑圧を簡易な構成で実現可能とされている。

特開平１１−２７５５８４号公報

しかしながら、特許文献１に開示されている技術では、特に視覚的に目立つ垂直方向の歪みを完全に無くすことは難しく、またデブロッキングフィルタを制御する必要があるため、ブロック歪みの軽減を行うための回路・装置自体が、やはり複雑なものとなってしまう。

本発明は、上述の課題を解決するためのもので、デブロッキングフィルタ等を必要としない簡易な構成であっても、画像データのブロック歪みを的確に軽減させることができる画像符号化装置及び画像復号化装置を提供することを目的としている。

上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、ブロック分割された画像データに対してブロック単位で符号化処理を行うブロック符号化器と、外部から入力される画像データから前記ブロック符号化器の垂直処理ライン数に応じたライン数の画像データをブロック単位で取り出し、続いて、当該取り出した画像データを圧縮することで、前記取り出した画像データのライン数を前記垂直処理ライン数より、所定数少なくなるようにし、さらに、前記圧縮した画像データに対し、その前後に所定のダミーデータを付加することで前記垂直処理ライン数と同数のライン数とした画像データを作成する垂直ライン圧縮器と、前記垂直ライン圧縮器を制御するとともに、前記垂直処理ライン数と同数のライン数とした画像データを前記ブロック符号化器に送らせる圧縮制御器とを備えたことを特徴とする画像符号化装置である。

また、請求項２記載の発明は、画像データをブロック分割し、当該ブロック分割された画像データを圧縮した後、当該圧縮した画像データの前後にダミーデータを付加し、さらに、ブロック符号化器によって符号化された前記ダミーデータが付加された画像データを復号化する画像復号化装置において、前記ブロック符号化された画像データをブロック単位で復号化するブロック復号化器と、前記ブロック復号化器の出力から前記ブロック符号化器の垂直処理ライン数と同じライン数の画像データを読み出し、当該読み出した画像データから符号側で付加した前記ダミーデータを削除し、所定の伸長率で伸長する垂直ライン伸長器と、前記垂直ライン伸長器を制御する伸長制御器を備えたことを特徴とする画像復号化装置である。

本発明によれば、ブロック単位で処理された画像データのブロック境界に発生する段差、即ち、ブロック歪みが無くなるため、画像データの復号化側において良好な復元画像を得ることができる。また、符号化側及び復号化側双方ともに簡易な構成とすることができるため、従来から使用している画像符号化装置や画像復号化装置にも容易に適用することができるようになる。

本発明に係る画像符号化装置及び画像復号化装置を用いた伝送システムのブロック図を表したものである。本発明に係る画像符号化装置における処理を示した説明図である。本発明に係る画像復号化装置における処理を示した説明図である。本発明に係る画像符号化装置における画像データの圧縮方法を示す具体的な動作説明図である。本発明に係る画像復号化装置における画像データの伸長方法を示す具体的な動作説明図である。

本発明に係る画像符号化装置及び画像復号化装置を用いた伝送システムについて、図面を参照しながら説明する。図１は、本発明に係る画像符号化装置及び画像復号化装置を用いた伝送システムのブロック図を表したもので、１０は伝送システム、１００は画像符号化装置、１０１は画像データ入力端子、１０２は垂直ライン圧縮器、１０３は圧縮制御器、１０４はブロック符号化器、２００は伝送線路、３００は画像復号化装置、３０１はブロック復号化器、３０２は垂直ライン伸長器、３０３は伸長制御器、３０４は画像データ出力端子を示している。

図１に示すように、本発明における画像符号化装置及び画像復号化装置を用いた伝送システム１０は、画像符号化装置１００と、画像復号化装置３００と、これらを繋ぐ伝送線路２００から成り立っている。まず、画像符号化装置１００側（符号化側）において、画像データ入力端子１０１から、デジタル画像データが入力される。そして、垂直ライン圧縮器１０２は、画像データ入力端子１０１から入力されたデジタル画像データから所定ライン数を取り出し、垂直方向に圧縮し、圧縮したデジタル画像データの前後にダミーデータを付加する動作処理を行う。

なお、圧縮制御器１０３は、垂直ライン圧縮器１０２に対して、上記の動作、つまり、符号化する対象の画像データを加工するための制御を行うとともに、当該加工した画像データをブロック符号化器１０４へ送らせるものである。次に、ブロック符号化器１０４は、垂直ライン圧縮器１０２から送られてくる画像データに対して符号化処理を行う。この符号化処理は、例えば、ハフマン符号化等により行われるものであるが、本発明はこれに限定されるものではない。

また、伝送線路２００は、電話回線や衛星回線を用いたもので、画像符号化装置１００から画像復号化装置３００へと符号化された画像データを送信することが可能となっている。続いて、画像復号化装置３００側（復号化側）において、ブロック復号化器３０１は、符号化側のブロック符号化器１０４と逆の処理を行い、画像データの復号化を行う。

そして、垂直ライン伸長器３０２は、ブロック復号化器３０１により復号化された画像データから、所定数のラインを読み出し、読み出した画像データの前後に付加されているダミーデータを削除した後、垂直ライン圧縮器１０２による圧縮前のライン数にまで伸長させる。そして、伸長された画像データは、画像データ出力端子３０４から出力される。なお、伸長制御器３０３は、垂直ライン伸長器３０２に対して、上記の処理をさせるための制御を行うものである。

続いて、圧縮制御器１０３の垂直ライン圧縮器１０２に対する制御について図面を参照しながら詳細に説明する。
まず、画像データ入力端子１０１から入力されたデジタル画像データは、フィールド毎であるため、フレーム毎ではなく、フィールド毎に処理を行う。そのため、ＯＤＤとＥＶＥＮでは、同様の処理を行うことになる。

ここで、入力されるデジタル画像データの一部を図２（ａ）に示す。図２（ａ）は、ライン番号９７〜１０４、ライン番号１０５〜１１２及びライン番号１１３〜１２０を取り出す場合の画像データを示している。垂直ライン圧縮器１０２は、画像データ入力端子１０１から入力されたデジタル画像データから、ブロック符号化器１０４の処理ブロックの大きさの半分のラインを取り出す。ブロック符号化器１０４が１６×１６画素で処理を行うとすると、入力されるデジタル画像データからは８ラインを取り出すことになる。

続いて、垂直ライン圧縮器１０２は、ライン番号９７〜１０４のラインをａ〜ｆの６ラインに圧縮する。同様に、ライン番号１０５〜１１２はｇ〜ｌの６ライン、ライン番号１１３〜１２０はｍ〜ｒの６ラインに圧縮する。本実施形態では、圧縮するライン数、即ち、減じるライン数は、“２”であるが、本発明はこれに限定されるものではない。

さらに、垂直ライン圧縮器１０２は、圧縮されたａ〜ｆのライン信号ａの前と、ｆの後にそれぞれダミーデータを付加し、合計８ラインのデータとして、ブロック符号化器１０４へと当該データを送る。そして、ブロック符号化器１０４により、ブロック単位で符号化されることになる。ここで、ダミーデータとは、ブロック符号化の際にブロックの他の部分に対する影響が少なくなるデータを選択するのが好ましい。一般的には、近傍の相関性のあるラインのデータをダミーデータとして使用することにより、ブロック符号化における影響を少なくすることができる。そして、ｇ〜ｌ及びｍ〜ｒについても同様の処理を行う。

上記の処理を行うと、図２（ｂ）に示すように、ライン番号９７と１０４、ライン番号１０５と１１２、ライン番号１１３と１２０にはダミーデータがそれぞれ記憶されることになる。この処理をＯＤＤとＥＶＥＮで行うことで、１６ラインを圧縮処理することになり、ブロック符号化器１０４の１６×１６画素での処理に適合するようになる。

その後、ブロック符号化器１０４は、垂直ライン圧縮器１０２から送られてきたブロック分割された画像データの符号化処理を行うときに、ＯＤＤのライン番号９７〜１０４と、ＥＶＥＮの該当ライン、ＯＤＤのライン番号１０５〜１１２とＥＶＥＮの該当ライン、ＯＤＤのライン番号１１３〜１２０とＥＶＥＮの該当ラインを１ブロック（１６ライン）として、符号化処理を行う。なお、水平方向については、１６画素で処理が行われる。

次に、伸長制御器３０３の垂直ライン伸長器３０２に対する制御について図面を参照しながら詳細に説明する。
まず、ブロック復号化器３０１は、伝送線路２００から伝送されてきた符号化された画像データに対して復号処理を行い、画像を復元させる。ブロック符号化器１０４が１６×１６画素で処理を行っているので、ブロック復号化器３０１も１６×１６画素で処理を行い、画像を復元させることになる。

ここで、ブロック復号化器３０１で復元された画像データの一部について図３（ａ）に示す。これは、先に説明した図２（ｂ）と同様のものである。まず、伸長制御器３０３に制御された垂直ライン伸長器３０２は、ブロック復号化器３０１により復号された画像データから８ラインを読み出す。この８ラインの内、先頭ライン（前）と末尾ライン（後）には、垂直ライン圧縮器１０２により付加されたダミーデータが残されているので、このダミーデータを削除し、合計６ラインにする。

上記６ラインとは、図３（ａ）に示すａ〜ｆ、ｇ〜ｌ、ｍ〜ｒである。続いて、垂直ライン伸長器３０２は、ａ〜ｆの６ラインを伸長して８ラインにし、ライン番号９７〜１０４として画像データ出力端子３０４から画像データを出力する。同様にして、ｇ〜ｌはライン番号１０５〜１１２、ｍ〜ｒはライン番号１１３〜１２０として出力する。出力される画像データは、図３（ｂ）に示す通りである。

次に、垂直ライン圧縮器１０２の具体的な圧縮方法について、表及び図面を参照しながら説明する。
なお、図４は、図２を９７〜１０４の８ラインに限定した垂直ライン圧縮器１０２による圧縮方法を表示したものである。

ライン番号９７〜１０４の８ラインをａ〜ｆの６ラインに圧縮するためには、以下の数式（数１）による計算により処理を行う。

つまり、図４に示すように、（ａ）のライン番号９７を９７×１として、（ｂ）のライン番号ａへ、（ａ）のライン番号９８のうち、９８×２／３と、ライン番号９９のうち、９９×１／３とを加算して、（ｂ）のライン番号ｂへ、さらに、（ａ）のライン番号９９のうち、９９×１／３と、ライン番号１００のうち、１００×２／３とを加算して、（ｂ）のライン番号ｃへと割り当て、圧縮する。

同様に、（ａ）のライン番号１０１を１０１×１として、（ｂ）のライン番号ｄへ、（ａ）のライン番号１０２のうち、１０２×２／３と、ライン番号１０３のうち、１０３×１／３とを加算して、（ｂ）のライン番号ｅへ、さらに、（ａ）のライン番号１０３のうち、１０３×１／３と、ライン番号１０４のうち、１０４×２／３とを加算して、（ｂ）のライン番号ｆへと割り当て、圧縮する。そして、（ｂ）のライン番号ａの前とｆの後にダミーデータが付加されることになる。

そして、垂直ライン伸長器３０２の具体的な伸長方法について、表及び図面を参照しながら説明する。
図５は図３を９７〜１０４の８ラインに限定して伸長方法を表示したもので、ａ〜ｆの６ラインをライン番号９７〜１０４の８ラインに伸長させるためには、以下の数式（数２）による計算により処理を行う。

つまり、図５に示すように、（ａ）のライン番号ａをａ×１として、（ｂ）のライン番号９７へ、（ａ）のライン番号ａのうち、ａ×１／４と、ライン番号ｂのうち、ｂ×３／４とを加算して、（ｂ）のライン番号９８へ、さらに、（ａ）のライン番号ｂのうち、ｂ×１／２と、ライン番号ｃのうち、ｃ×１／２とを加算して、（ｂ）のライン番号９９へと割り当て、伸長させる。

同様に、（ａ）のライン番号ｃうち、ｃ×３／４と、ライン番号ｄのうち、ｄ×１／４とを加算して、（ｂ）のライン番号１００へ、（ａ）のライン番号ｄをｄ×１として、（ｂ）のライン番号１０１へ、さらに、（ａ）のライン番号ｄのうち、ｄ×１／４と、ライン番号ｅのうち、ｅ×３／４とを加算して、（ｂ）のライン番号１０２へと割り当て、伸長させる。

そして、（ａ）のライン番号ｅのうち、ｅ×１／２と、ライン番号ｆのうち、ｆ×１／２とを加算して、（ｂ）のライン番号１０３へ、（ａ）のライン番号ｆのうち、ｆ×３／４と、ライン番号ｇのうち、ｇ×１／４とを加算して、（ｂ）のライン番号１０４へと割り当て、伸長させる。

上記の数式による計算処理を行うことによって、画像データの圧縮及び伸長を行うことができ、その結果、画像符号化装置へ入力される当初の画像データの質に近い状態の画像データにまで復元し、画像復号化装置から出力させることができるようになるのである。

本発明に係る画像符号化装置及び画像復号化装置によれば、簡易な構成であっても、ブロック歪みを軽減させることができるため、従来から使用している画像符号化装置や画像復号化装置に対しても、好適に用いることが可能である。

１００画像符号化装置
１０１画像データ入力端子
１０２垂直ライン圧縮器
１０３圧縮制御器
１０４ブロック符号化器
２００伝送線路
３００画像復号化装置
３０１ブロック復号化器
３０２垂直ライン伸長器
３０３伸長制御器
３０４画像データ出力端子

Claims

ブロック分割された画像データに対してブロック単位で符号化処理を行うブロック符号化器と、
外部から入力される画像データから前記ブロック符号化器の垂直処理ライン数に応じたライン数の画像データをブロック単位で取り出し、続いて、当該取り出した画像データを圧縮することで、前記取り出した画像データのライン数を前記垂直処理ライン数より、所定数少なくなるようにし、さらに、前記圧縮した画像データに対し、その前後に所定のダミーデータを付加することで前記垂直処理ライン数と同数のライン数とした画像データを作成する垂直ライン圧縮器と、
前記垂直ライン圧縮器を制御するとともに、前記垂直処理ライン数と同数のライン数とした画像データを前記ブロック符号化器に送らせる圧縮制御器と、
を備えたことを特徴とする画像符号化装置。
画像データをブロック分割し、当該ブロック分割された画像データを圧縮した後、当該圧縮した画像データの前後にダミーデータを付加し、さらに、ブロック符号化器によって符号化された前記ダミーデータが付加された画像データを復号化する画像復号化装置において、
前記ブロック符号化された画像データをブロック単位で復号化するブロック復号化器と、
前記ブロック復号化器の出力から前記ブロック符号化器の垂直処理ライン数と同じライン数の画像データを読み出し、当該読み出した画像データから符号側で付加した前記ダミーデータを削除し、所定の伸長率で伸長する垂直ライン伸長器と、
前記垂直ライン伸長器を制御する伸長制御器を備えたことを特徴とする画像復号化装置。