JP4593060B2

JP4593060B2 - 画像符号化装置

Info

Publication number: JP4593060B2
Application number: JP2002163322A
Authority: JP
Inventors: 浩二宮原; 隆太鈴木; 正行越地
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-06-04
Filing date: 2002-06-04
Publication date: 2010-12-08
Anticipated expiration: 2022-06-04
Also published as: JP2004015226A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像データを符号化して送信し、また符号化された画像データを受信して復号化する画像符号化装置及び画像復号化装置に関するものである。
【０００２】
【従来の技術】
近年、画像データの伝送や蓄積保存に用いられる符号化及び復号化技術が著しく発達し、ＭＰＥＧ−２やＪＰＥＧなどの規格が提唱されている。画像データの符号化及び復号化は前述のような規格に即して行われ、原画像データを符号化手段に入力して圧縮画像データ、即ち符号化データを生成して蓄積や伝送が行われる。これらの符号化データは、前記規格に則した処理を行う復号化手段によって伸長され、原画像データに復号化されて表示手段により再生画像の表示が行われる。
【０００３】
また、スキャナやカメラ等の各種画像入力装置の発達に伴い、精細かつ高階調の原画像データ生成が可能になり、一画素当り各色の階調数が１０ビット〜１６ビットの原画像データが生成できるようになった。その一方で、原画像データの符号化または復号化などを行う画像符号化装置または画像復号化装置は、一画素当たり各色の階調数が８ビットの画像データを扱うものが一般に使用されている。
【０００４】
【発明が解決しようとする課題】
従来の画像符号化装置及び画像復号化装置は、以上のように構成されているので、高階調数の原画像データが画像符号化装置に入力された場合、当該画像符号化装置の符号化手段が処理できる階調数に原画像データの階調数を縮減しなければならなかった。例えば、階調数８ビットの画像データを処理する符号化手段は、階調数１０ビットの原画像データが入力されると、１０ビット階調のデータ値を８ビット階調のデータ値に変換してから符号化を行っているので、原画像データに損失部分が生じて、画像復号化装置において画像データを復号化すると画質が低下してしまうという課題があった。また、高階調数の原画像データが処理できるように画像符号化装置及び画像復号化装置を構成すると、一般に普及しているプロセッサ等のデバイスが使用できず、独自の処理能力を有するものが必要になることから生産コストが増大するという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、簡単な構成で、高階調数を有する画像データを処理する画像符号化装置及び画像復号化装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る画像符号化装置は、差分画像算出手段により生成された差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する画像階調制限手段を設けるようにしたものである。
【０００９】
この発明に係る画像符号化装置は、基本画像符号化手段のビットレートと差分画像符号化手段のビットレートとを制御するビットレート制御手段を備え、基本画像符号化手段のビットレートが差分画像符号化手段よりも速くなるように制御するようにしたものである。
【００１０】
この発明に係る画像符号化装置は、送出手段が符号化基本画像データ及び符号化差分画像データに同じ同期信号を埋め込んで画像復号化装置へ送出するようにしたものである。
【００１１】
この発明に係る画像符号化装置は、第一の差分画像算出手段により生成された第一の差分画像データの階調数を縮減し、階調数縮減後の第一の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第一の画像階調制限手段と、第二の差分画像算出手段により生成された第二の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第二の画像階調制限手段とを設けるようにしたものである。
【００１２】
この発明に係る画像符号化装置は、第一の差分画像符号化手段と第一の差分画像復号化手段と第一の画像階調制限手段と第二の差分画像算出手段とを各々複数備え、三つ以上の符号化差分画像データを生成するようにしたものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置及び画像復号化装置の構成を示すブロック図である。図において、１は入力された原画像データ２を符号化する画像符号化装置、２は画像符号化装置１へ入力する原画像データ（入力画像データ）、３は原画像データ２の符号化を行う基本画像符号化手段、４は基本画像符号化手段３によって符号化された符号化基本画像データ、５は符号化基本画像データ４を復号化する基本画像復号化手段、６は基本画像復号化手段５によって復号化された復号化基本画像データである。７は原画像データ２と復号化基本画像データ６とを入力し、当該両画像データにおいて同一位置に相当する画素を比較して差分を求め、差分画像データを算出する差分画像算出手段である。８は差分画像算出手段７によって求められた差分画像データの各画素値を、所定の制限特性に基づいて階調数の変更に伴って変換し、所望の階調数で表された差分画像データを生成する差分画像階調制限手段(画像階調制限手段）である。９は差分画像階調制限手段８から出力された差分画像データを符号化する差分画像符号化手段、１０は差分画像符号化手段９から出力された符号化差分画像データ、１１は符号化基本画像データ４と符号化差分画像データ１０とを画像復号化装置１２へ送出する送出手段である。
【００１７】
１２は画像符号化装置１から送出された符号化基本画像データ４及び符号化差分画像データ１０を復号化する画像復号化装置である。１３は画像符号化装置１から送出された符号化基本画像データ４及び符号化差分画像データ１０を受信する受信手段、１４は受信手段１３によって受信された符号化基本画像データ４を復号化する第一の復号化手段（基本画像復号化手段）、１５は受信手段１３によって受信された符号化差分画像データ１０を復号化する第二の復号化手段（差分画像復号化手段）、１６は第一の復号化手段１４及び第二の復号化手段１５で復号化された各画像データを合成し、図示されない外部の表示手段等へ出力する画像合成手段である。
【００１８】
次に、動作について説明する。
例えば、階調数１０ビットの原画像データ２を入力し、階調数８ビットのデータ処理を行う構成の基本画像符号化手段３及び差分画像符号化手段９を備えた画像符号化装置１の動作を説明する。画像符号化装置１に入力された原画像データ２は、基本画像符号化手段３によって符号化がなされる。
【００１９】
基本画像符号化手段３は、８ビットのデータを符号化するものなので、まず原画像データ２の階調数を１０ビットから８ビットに縮減する。具体的には、各画素値を表す１０ビット階調のデータを右シフト演算や四捨五入によって８ビット階調のデータに縮減する。
【００２０】
図２は、実施の形態１による画像符号化装置１の基本画像符号化手段３によるビット操作を示す説明図である。図２に例示したビット操作は、１０ビット階調の原画像データ２に２ビット右シフト演算を行い、一画素を成すＲｅｄ・Ｇｒｅｅｎ・Ｂｌｕｅ（以下、Ｒ・Ｇ・Ｂと記載する）の各階調を１０ビットから８ビットのデータに縮減するもので、下位２ビットのデータが削除される。
【００２１】
基本画像符号化手段３は、前述のように原画像データ２の階調数を縮減して符号化し、８ビット階調の符号化基本画像データ４を生成し、送出手段１１に蓄積させる。送出手段１１に蓄積された符号化基本画像データ４は、後述するように符号化差分画像データ１０と共に画像復号化装置１２へ送出される。基本画像復号化手段５は、基本画像符号化手段３から入力した符号化基本画像データ４を復号化して復号化基本画像データ６を生成し、差分画像算出手段７へ入力する。
【００２２】
図３は、実施の形態１による画像符号化装置１の差分画像算出手段７の動作を示すフローチャートである。差分画像算出手段７の動作を、図３のフローチャートを用いて説明する。差分画像算出手段７は、画像符号化装置１に入力された１０ビット階調の原画像データ２と、基本画像復号化手段５から出力された８ビット階調の復号化基本画像データ６とを取得する（ステップＳＴ３０１）。基本画像復号化手段５から出力された復号化基本画像データ６の階調数は８ビットなので、当該復号化基本画像データ６の階調数を原画像データ２の階調数に揃える。復号化基本画像データ６の階調数の調整は、ビットシフト演算等によって原画像データ２の階調数に揃える（ステップＳＴ３０２）。このようにして両画像データの階調数を揃えてから、原画像データ２と復号化基本画像データ６の差分を求める（ステップＳＴ３０３）。
【００２３】
図４は、実施の形態１による画像符号化装置の差分画像算出手段７によるビット操作を示す説明図である。図４に示したビット操作の一例は、図３に示したステップＳＴ３０２において行われるビットシフト演算を示したもので、基本画像復号化手段５において生成された復号化基本画像データが、例えばＲ・Ｇ・Ｂの各画素の階調を８ビットで表したデータであるとき、この８ビットで表された階調値のビットパターンを左へ２ビットシフトし、Ｒ・Ｇ・Ｂの各階調値を表すビットストリームの下位２ビットに“０”の内容を付加して、１０ビットで階調値を表した復号化基本画像データ６を生成する。
【００２４】
差分画像算出手段７は、このようにして１０ビット階調に復号化基本画像データ６を伸長し、１０ビット階調の原画像データ２と１０ビット階調の復号化基本画像データ６との差分演算を行い、原画像データ２と復号化基本画像データ６の画素毎の差分を求める。なお、差分画像算出手段７によって算出された差分値は正負の値をとるので、演算結果の差分値に±符号を付加した１１ビットデータが差分画像算出手段７から出力される。
【００２５】
差分画像階調制限手段８は、差分画像算出手段７によって求められた１０ビット階調の二つの画像データの差分値、即ち１１ビットのデータが差分画像符号化手段９において符号化できるように、例えば、所定の制限特性に基づいて１１ビットで表現される差分値を８ビットで表現される差分値に変換する。
【００２６】
図５は、実施の形態１による画像符号化装置１が備える差分画像階調制限手段８の制限特性を示す説明図である。この差分画像階調制限手段８は、１１ビットのデータを８ビットのデータに変換するものである。図において、横軸は差分画像階調制限手段８に入力される差分値、縦軸は差分画像階調制限手段８から出力される差分値である。入力差分値は正負の符号を含めて１１ビットで表現されるデータなので、−１０２３〜＋１０２３の範囲内の値となる。差分画像階調制限手段８は、入力した１１ビットの差分値を８ビットで表現できる値、即ち、０〜２５５の範囲内で対応させて差分画像データを生成して出力する。
【００２７】
差分画像符号化手段９は、差分画像階調制限手段８から入力した８ビット階調の差分画像データを符号化して符号化差分画像データ１０を生成する。このようにして生成された符号化基本画像データ４と符号化差分画像データ１０は、送出手段１１から画像復号化装置１２へ送出される。以上の説明が画像符号化装置１の動作である。なお、送出手段１１か送出される符号化基本画像データ４及び符号化差分画像データ１０は、いずれも８ビット階調の画像データである。
【００２８】
次に、画像復号化装置１２の動作を説明する。受信手段１３は、８ビット階調の符号化基本画像データ４と符号化差分画像データ１０を受信すると、符号化基本画像データ４を第一の復号化手段１４に入力し、符号化差分画像データ１０を第二の復号化手段１５に入力する。第一の復号化手段１４は符号化基本画像データ４を復号化し、第二の復号化手段１５は符号化差分画像データ１０を復号化する。復号化されたそれぞれの画像データは画像合成手段１６に入力され、合成処理が行われて復号化された最終画像データが出力される。
【００２９】
図６は、実施の形態１による画像復号化装置１２が備える画像合成手段１６の動作を示すフローチャートである。画像合成手段１６の動作を図示したフローチャートを用いて説明する。画像合成手段１６は、第一の復号化手段１４で復号化された基本画像データの階調数を変換する（ステップＳＴ６０１）。これは、第一の復号化手段１４から入力した８ビット階調の基本画像データを１０ビット階調の基本画像データに変換するもので、ビットシフト演算等によって行われる。このビットシフト演算は、例えば、図４に示したように、２ビット左シフト演算を行って下位２ビットを付加し、階調数８ビットの画像データを階調数１０ビットの画像データに変換する。
【００３０】
同様に、第二の復号化手段１５で復号化された差分画像データの階調数を８ビットから１０ビットへ変換する。第二の復号化手段１５から出力される差分画像データは階調数が８ビットなので、図５に示した制限特性により０〜＋２５５の範囲内の値が表現可能である。８ビット階調の差分画像データと基本画像データとを画素毎に加算できるように、例えば、各差分画像データから“１２８”を減算して、各画素の値を−１２８〜＋１２７の範囲内で表現する（ステップＳＴ６０２）。次に階調数を１０ビットに伸長して、例えば図５の制限特性を用いて８ビットで表現された値を１０ビットで表現される値に逆変換した差分画像データの各値と、階調数１０ビットの基本画像データの値とを各画素ごとに加算し、最終的に階調数１０ビットの高画質の合成画像データを生成して画像復号化装置１２から出力する（ステップＳＴ６０３）。
【００３１】
なお、この実施の形態１による画像符号化装置の符号化方法及び画像復号化装置の復号化方法は、動画データを扱う場合にはＭＰＥＧ−２やＭＰＥＧ−４に則した方法を用い、静止画データを扱う場合にはＪＰＥＧ等の既知の符号化・復号化方法を用いることが可能で、後述する画像符号化装置及び画像復号化装置を含め、本発明の画像符号化装置及び画像復号化装置には可逆符号化・不可逆符号化を問わず画像データを処理する任意の符号化・復号化手段を用いることができる。
【００３２】
また、基本画像符号化手段３で用いられる符号化方法と、差分画像符号化手段９で用いられる符号化方法が異なるように構成してもよい。例えば、ＭＰＥＧ−２を基本画像符号化手段３において使用し、ハフマン符号化等の可逆符号化方法を差分画像符号化手段９において使用するようにしてもよい。
【００３３】
以上のように、実施の形態１によれば、画像符号化装置１が原画像データ２の階調数を変更して符号化を行い、また当該階調数の変更によって欠落するデータを補う差分画像データを生成して符号化を行い、画像復号化装置１２が符号化された原画像データと差分画像データとを復号化して合成するようにしたので、高階調数を有する原画像データ２の品質を損なうことなく符号化及び復号化ができる低コストの画像符号化装置１及び画像復号化装置１２が得られるという効果がある。また、簡単な処理動作によって高階調数を有する原画像データ２の符号化及び復号化ができるという効果がある。
【００３４】
実施の形態２．
図７は、この発明の実施の形態２による画像符号化装置１の構成を示すブロック図である。図１に示す画像符号化装置１と同一、あるいは相当する部分に同じ符号を付し、その説明を省略する。図において、７ａ〜７ｃは図１に示した差分画像算出手段７に相当する差分画像算出手段、９ａ〜９ｃは図１に示した差分画像符号化手段９に相当する差分画像符号化手段、２０は差分画像算出手段７ａによって生成された差分画像データ、２１は差分画像算出手段７ｂによって生成された差分画像データ、２２は差分画像算出手段７ｃによって生成された差分画像データ、３０ａは符号化差分画像データ１０１を復号化する差分画像復号化手段、３０ｂは符号化差分画像データ１０２を復号化する差分画像復号化手段、８１は差分画像データ２０の階調数を変更し表現する値を変換する差分画像階調制限手段、８２は差分画像データ２１の階調数を変更し表現する値を変換する差分画像階調制限手段、８３は差分画像データ２２の階調数を変更し表現する値を変換する差分画像階調制限手段、１０１は差分画像符号化手段９ａによって符号化された符号化差分画像データ、１０２は差分画像符号化手段９ｂによって符号化された符号化差分画像データ、１０３は差分画像符号化手段９ｃによって符号化された符号化差分画像データである。
【００３５】
図８は、この発明の実施の形態２による画像復号化装置１２の構成を示すブロック図である。図において、１４は第一の復号化手段、１３１は画像符号化装置１から送出された各画像データを受信する受信手段、１５１は差分画像復号化手段、１５２は第一差分画像復号化手段、１５３は第二差分画像復号化手段、１５４は第三差分画像復号化手段、１５５は第Ｎ差分画像復号化手段、１６１は第一の復号化手段１４で復号化された画像データと差分画像復号化手段１５１で復号化された複数の差分画像データとを合成して出力する画像合成手段である。なお、差分画像復号化手段１５１は、第一差分画像復号化手段１５２、第二差分画像復号化手段１５３、第三差分画像復号化手段１５４、及び第Ｎ差分画像復号化手段１５５など複数の差分画像復号手段を備えたものである。
【００３６】
次に、動作について説明する。
初めに、図７に示した実施の形態２による画像符号化装置１の動作について説明する。
【００３７】
実施の形態２による画像符号化装置１は、例えば階調数１４ビットの原画像データ２を入力するものである。ただし、当該画像符号化装置１が備える基本画像符号化手段３、基本画像復号化手段５、差分画像符号化手段９ａ〜９ｃ、及び差分画像復号化手段３０ａ，３０ｂは階調数が８ビットの画像データを取り扱うものである。
【００３８】
実施の形態２による画像符号化装置１に、階調数１４ビットの原画像データ２が入力されると、基本画像符号化手段３は、階調数１４ビットの原画像データ２を階調数８ビットの基本画像データに変換して符号化した符号化基本画像データ４を生成する。この階調数の変更に伴う画像データ値の変換処理は、例えば図２を用いて説明したビットシフト演算によって行われる。具体的には、原画像データ２の１４ビットストリームを右へ６ビットシフトさせて下位６ビットを切り捨て、残り８ビットの階調数で表された値を基本画像データとし、これを符号化して符号化基本画像データ４を生成する。
【００３９】
基本画像復号化手段５は、８ビット階調の符号化基本画像データ４を復号化して復号化基本画像データ６を生成する。
【００４０】
次に、差分画像算出手段７ａは、原画像データ２と復号化基本画像データ６とを比較し、差分画像データ２０を生成する。原画像データ２の階調数は１４ビットなので、階調数が８ビットの復号化基本画像データにビットシフト演算等を行い、例えば実施の形態１で説明した図３のステップＳＴ３０２に相当する処理を行って、復号化基本画像データ６の階調数を１４ビットに伸長して、原画像データ２と復号化基本画像データ６の各画素値の差分を求め、図３のステップＳＴ３０３に相当する処理を行って差分画像データ２０を生成する。この差分画像データ２０は原画像データ２と復号化基本画像データ６との差分値なので正負の値を有し、階調数は正負を示す１ビットが加えられた１５ビットとなる。
【００４１】
次に、差分画像階調制限手段８１は、差分画像データ２０の階調数１５ビットで表現される値に制限を課す。この制限は、例えば図５に示した制限特性を用いて行うもので、まず１５ビットストリームのうち下位４ビットを削除した後、残りの１１ビットの値について、図５に示す１１ビット表現の入力差分値に対応する８ビット表現の出力差分値を求める。このようにして、８ビットで表現された値を求め、当該８ビットで表現した値を差分画像符号化手段９ａに入力して符号化し、符号化差分画像データ１０１を生成する。
【００４２】
差分画像復号化手段３０ａは、８ビット階調の符号化差分画像データ１０１に、実施の形態１で説明した図３のステップＳＴ３０２に相当するビットシフト演算等の処理を行い、符号化差分画像データ１０１を階調数１４ビットで表現したものに変換する。
【００４３】
差分画像算出手段７ｂは、差分画像復号化手段３０ａから出力された１４ビット階調の符号化差分画像データ１０１と、同じく１４ビット階調の差分画像データ２０とを入力し、当該二つの画像データの差分値を計算する。この計算は、図３のステップＳＴ３０３に相当する処理を行い、各画素値を１４ビット階調で表現した差分画像データ２１を生成する。この差分画像データ２１は原画像データ２と符号化差分画像データ１０１との差分値なので正負の値を有し、正負の符号を示す１ビットを加えた１５ビットで表現される。
【００４４】
差分画像階調制限手段８２は、１５ビット階調の差分画像データ２１を入力し、１５ビット階調で表現された値のうち、下位２ビットの値を削除した後、残りの１３ビットの値に対して所定の条件で制限を課し、８ビット階調数で表現された値に変換する。
【００４５】
図９は、実施の形態２による画像符号化装置１が備える差分画像階調制限手段８２の制限特性を示す説明図である。差分画像階調制限手段８２は、前記説明のように階調数を１３ビットに削減した値を図９に示す入力差分値として、図示した制限特性に則り対応する８ビット階調で表現される出力差分値を求め、８ビット階調で各画素の差分値を表現した差分画像データ２１を生成する。
【００４６】
差分画像符号化手段９ｂは、階調数が８ビットの差分画像データ２１を入力して符号化し、符号化差分画像データ１０２を生成する。
【００４７】
差分画像復号化手段３０ｂは、階調数が８ビットの符号化差分画像データ１０２を入力して復号化する。
【００４８】
差分画像算出手段７ｃは、例えば階調数が１４ビットの差分画像データ２１と共に差分画像復号化手段３０ｂにおいて復号化された差分画像データを入力する。差分画像復号化手段３０ｂにおいて復号化された差分画像データは階調数が８ビットで構成されたデータなので、差分画像復号化手段３０ｂから出力された差分画像データの階調数を８ビットから１４ビットへ伸長させ、１４ビット階調の差分画像データ２１との差分画像を算出し、差分画像データ２２を生成する。なお、この差分画像データ２２も、差分画像データ２０、及び差分画像データ２１と同様に正負の値を有することから、正負の符号を示す１ビットが加えられた１５ビットデータとして生成される。
【００４９】
差分画像階調制限手段８３は、階調数が正負の符号を含んだ１５ビットの差分画像データ２２を入力し、この１５ビットのデータに所定の制限を加え８ビット階調の差分画像データに変換する。
【００５０】
図１０は、実施の形態２による画像符号化装置１が備える差分画像階調制限手段８３の制限特性を示す説明図である。負の符号を含めて１５ビット階調の差分画像データ２２を図１０に示した入力差分値とし、この入力差分値を８ビット階調としたとき対応する出力差分値を求める。このようにして差分画像階調制限手段８３は、図１０に例示したような制限特性に基づいて１４ビットデータを８ビットデータに変換し、８ビット階調の差分画像データ２２を生成する。
【００５１】
差分画像符号化手段９ｃは、差分画像算出手段７ｃから８ビット階調の差分画像データ２２を入力して符号化を行い、符号化差分画像データ１０３を生成する。
【００５２】
このようにして求めた符号化基本画像データ４、符号化差分画像データ１０１、符号化差分画像データ１０２、及び符号化差分画像データ１０３は送出手段１１へ入力され、画像復号化装置１２へ送出される。なお、送出手段１１から送出される各画像データは階調数が全て８ビットである。
【００５３】
なお、実施の形態２による画像符号化装置１として、差分画像データを求める際に階調数を２ビットずつ増加させて処理を進め、三段階の差分画像データ２０，２１，２２を生成するように構成したものを、図７に例示して動作を説明したが、この発明は各差分画像データを求める際に階調数を２ビット単位で変化させて複数の差分画像データを求める処理動作に限定されるものではない。また、再帰的に前記説明の差分画像データを複数求める処理動作を繰り返すことによって、さらに大きな階調数を有する原画像データ２に対応させて符号化を行うように構成してもよい。
【００５４】
次に、実施の形態２による画像復号化装置１２の動作について説明する。
【００５５】
受信手段１３１は、画像符号化装置１から符号化基本画像データ４、符号化差分画像データ１０１、符号化差分画像データ１０２、及び符号化差分画像データ１０３を受信し、符号化基本画像データ４を第一の復号化手段１４へ、また例えば符号化差分画像データ１０１を第一差分画像復号化手段１５２へ、符号化差分画像データ１０２を第二差分画像復号化手段１５３へ、また符号化画像データ１０３を第三差分画像復号化手段１５４へ、即ち画像符号化装置１から送出されたＮ個の各符号化差分画像データを、当該符号化差分画像データと同数備えた第一〜第Ｎ差分画像復号化手段に振り分けて入力する。それぞれの復号化手段は、入力された各符号化画像データを復号化し、画像合成手段１６１へ出力する。
【００５６】
画像合成手段１６１は、各復号化手段で復号化された画像データを所定の階調数に変換した上で同期を取って合成する。実施の形態２で例示した画像復号化装置１２の画像合成手段１６１は、一つの符号化基本画像データ４と三つの符号化差分画像データ１０１，１０２，１０３を復号化したそれぞれの復号化画像データを入力して画像合成を行う。なお、これらの復号化された画像データは全て階調数が８ビットである。
【００５７】
画像合成手段１６１は、それぞれの復号化画像データの階調数を画像データの種類に応じて処理を行い、所定のビット数で表現されたデータに変換した後、用途に応じて各画像データの加減算を行い、最終的な合成画像を出力する。
【００５８】
図１１は、実施の形態２による画像復号化装置１２の画像合成手段１６１によって行われる画像データの合成動作を示す説明図である。
画像合成手段１６１は、復号化された各画像データの階調数を、次のように処理して合成する。
【００５９】
まず、第一の復号化手段１４によって復号化された符号化基本画像データ４を入力し、１４ビット階調で表現したデータに変換する。これは、例えば、８ビット階調で示されるデータを６ビット左へシフトし、下位６ビットに例えば“０”を書き込む演算によって行われる。図１１に例示した処理は、復号化した８ビット階調の符号化基本画像データ４が“２２６”の値の場合に、この値をビットパターンで表現すると“１１１０００１０”となる。このビットパターンが上位８ビットとなるように６ビット左シフトさせ、下位６ビットに“０”を付加して“１１１０００１０００００００”という１４ビット階調のデータを生成する。この１４ビット階調の“１１１０００１０００００００”は“１４４６４”という値を示すものである。これは８ビット階調の“２２６”という値を、１４ビット階調で表すと“１４４６４”という値になることを示している。
【００６０】
また、画像合成手段１６１は、第一差分画像復号化手段１５２によって復号化された符号化差分画像データ１０１を入力して１４ビット階調で表現されたデータに伸長する。画像合成手段１６１に入力された８ビット階調の符号化差分画像データ１０１は、１４ビット階調の原画像データ２の下位４ビットが削除され、残り１０ビットで表現された画素値を図５の制限特性に基づいて８ビット階調の画素値に変換されたものなので、８ビットで表現された画素値を図５の制限特性に基づいて１０ビットで表現された画素値に逆変換する。図１１に例示した処理動作は、８ビット階調の画素値９５を１０ビット階調で表現した画素値を求める変換を示したものである。この画素値変換は当該８ビット階調の画素値から“−１２８”の値を差し引くもので、８ビット階調の画素値“９５”は１０ビット階調の画素値“−３３”に変換される。即ち、９５−１２８＝ −３３の単純な計算により求められ、この画素値“３３”を１０ビットパターンで表現すると“００００１００００１”となる。この画素値“３３”を示す１０ビットパターンを４ビット左シフト演算により１４ビット化すると“００００１００００１００００”となり、これは１４ビット階調の画素値“５２８”を示したものである。なお、説明を簡単にするために正負の符号を示すビットの図示説明を省略したが、階調数を変換する前の画素値は“−３３”なので変換後の画素値も“−５２８”となる。
【００６１】
また、画像合成手段１６１は、第二差分画像復号化手段１５３によって復号化された符号化差分画像データ１０２を入力して１４ビット階調で表現されたデータに伸長する。画像合成手段１６１に入力された８ビット階調の復号化された符号化差分画像データ１０２は、１４ビット階調の差分画像データ２１の上位１２ビットで表現された値を図９に示した制限特性に基づいて８ビットで表現された値に変換されたものである。画像合成手段１６１は、入力した８ビット階調の復号化された符号化差分画像データ１０２の値を、図９の制限特性に基づいて１２ビットで表現された値に逆変換する。８ビット階調で表現された値が、例えば図１１に示した“２３０”の場合には、２３０−１２８＝１０２の簡単な計算により１２ビット階調の値“１０２”に変換される。“１０２”を１２ビットで表現すると“０００００１１００１１０”となり、このビットパターンに２ビット左シフト演算を行い“０００００１１００１１０００”とする。この“０００００１１００１１０００”は“４０８”の画素値を示すものである。
【００６２】
また、画像合成手段１６１は、第三差分画像復号化手段１５４によって復号化された符号化差分画像データ１０３を入力して１４ビット階調で表現されたデータに伸長する。画像合成手段１６１に入力された８ビット階調の復号化された符号化差分画像データ１０３は、１４ビット階調の差分画像データ２２の値を図１０に示した制限特性に基づいて８ビット階調の値に変換されたものである。画像合成手段１６１は、入力した８ビット階調の復号化された符号化差分画像データ１０３の値を、図１０の制限特性に基づいて１４ビット階調の値に逆変換する。８ビット階調の値が、例えば図１１に示した“１７１”の場合には、１７１−１２８＝４３の簡単な計算により１４ビット階調の画素値“４３”に変換される。
【００６３】
画像合成手段１６１は、第Ｎ差分画像復号化手段１５５によって復号化された符号化差分画像データを入力して、これまで説明した各差分画像復号化手段と同様、あるいは相当する動作処理を行い、１４ビット階調で表現されたデータを生成する。
【００６４】
画像合成手段１６１は、入力した８ビット階調の各画像データの変換、または演算処理を行い、１４ビット階調の画素値へ変換し、各画素値を合成する。図１１に例示したものでは、画素値１４４６４、画素値−５２８、画素値４０８、及び画素値４３を加算し、１４ビット階調で表現される合成画素値１４３８７を得ている。
【００６５】
以上のように、実施の形態２によれば、画像符号化装置は階調数の高い画像データをビットシフト処理によって、複数の低い階調数で表現された画像データに分割して符号化し、画像復号化装置は複数の低い階調数で表現された画像データを所定のビットシフト処理を行いながら合成して、高い階調数の画像データを生成するようにしたので、画像符号化装置は、高階調の画像データを複数の低階調の画像データとして符号化し、画像復号化装置は、複数の低階調の画像データを復号化して合成することで高階調の画像データを得ることができ、低コストの画像符号化装置及び画像復号化装置で高い階調の画像データの符号化・復号化を行うことができるという効果がある。また、画像符号化装置１が備える各符号化手段、及び画像復号化装置１２が備える各復号化手段が処理可能な階調数を大幅に上回る高階調の画像データの符号化及び復号化を行うことができるという効果がある。
【００６６】
実施の形態３．
図１２は、この発明の実施の形態３による画像符号化装置及び画像復号化装置の構成を示すブロック図である。図１に示した画像符号化装置及び画像復号化装置と同様あるいは相当する部分に同じ符号を付し、その説明を省略する。図において、１２０１は基本画像符号化手段３及び差分画像符号化手段９において行われる当該画像データの符号化ビットレートを制御するビットレート制御手段である。
【００６７】
次に、動作について説明する。
ここでは図１に示した画像符号化装置１及び画像復号化装置１２と同様な動作について説明を省略し、実施の形態３による画像符号化装置１の特徴的な動作について説明する。
【００６８】
ビットレート制御手段１２０１は、原画像データ２を符号化する符号化方法に制約が存在し、最大ビットレートが設定されている場合に、そのビットレートを超えないように基本画像符号化手段３と差分画像符号化手段９の動作を制御する。例えば、当該基本画像符号化手段３及び差分画像符号化手段９においてＭＰＥＧ−２を符号化方法として使用したときに、最大ビットレートとして４０Ｍｂｉｔ／ｓｅｃ．が符号化動作の制約条件として与えられた場合には、ビットレート制御手段１２０１は、基本画像符号化手段３のビットレートを３０Ｍｂｉｔ／ｓｅｃ．に設定し、差分画像符号化手段９のビットレートを１０Ｍｂｉｔ／ｓｅｃ．に設定する。基本画像符号化手段３及び差分画像符号化手段９は、ビットレート制御手段１２０１によって設定されたビットレートで各々に入力された画像データの符号化を行う。
【００６９】
以上のように、実施の形態３によれば、画像データの符号化方法に最大ビットレートの制約がある場合、最大ビットレートを超えないように基本画像符号化手段３及び差分画像符号化手段９とを制御するビットレート制御手段１２０１を備えたので、確実に画像データの符号化が行えると共に、基本画像符号化手段３のビットレートを差分画像符号化手段９のビットレートより高速となるように制御することで、画像符号化装置１の動作効率を高めることができるという効果がある。
【００７０】
実施の形態４．
図１３は、この発明の実施の形態４による画像符号化装置１及び画像復号化装置１２の構成を示すブロック図である。図１に示した画像符号化装置及び画像復号化装置と同様あるいは相当する部分に同じ符号を付し、その説明を省略する。図において、１１１は実施の形態４による画像符号化装置１が備える送出手段、１３１は実施の形態４による画像復号化装置１２が備える受信手段である。また、実施の形態４による画像符号化装置１及び画像復号化装置１２が取り扱う原画像データ２は動画像データで、当該装置を構成する各手段も動画像データを取り扱うように構成されたものである。
【００７１】
次に動作について説明する。
ここでは図１に示した画像符号化装置１及び画像復号化装置１２と同様な動作について説明を省略し、実施の形態４による画像符号化装置１の特徴的な動作について説明する。
【００７２】
図１３に示した画像符号化装置１は、動画像の原画像データ２を入力した基本画像符号化手段３が階調数を縮減した符号化基本画像データ４を生成し、基本画像復号手段５が符号化基本画像データ４から復号化基本画像データ６を生成する。次に、復号化基本画像データ６と原画像データ２を差分画像算出手段７へ入力し、差分画像階調制御手段８が段階的に処理条件に適合させて当該二つの画像データの階調数を変更して各画素の差分値を求め、差分画像符号化手段９によって符号化差分画像データ１０を生成する。これら符号化基本画像データ４と符号化差分画像データ１０とを送出手段１１１から画像復号化装置１２へ送出させる。このとき、送出手段１１１は、符号化基本画像データ４と符号化差分画像データ１０に同じ同期信号を埋め込んで多重化する。このような転送方法はＭＰＥＧ−２規格に基づくタイムスタンプを付加した多重化方法など既知の方法を利用する。
【００７３】
図１３に示した画像復号化装置１２は、受信手段１３１が画像符号化装置１の送出手段１１１によって多重化された符号化基本画像データ４と符号化差分画像データ１０とを受信し、多重化された画像データをそれぞれの符号化画像データに分離して、埋め込まれている同期信号に従って同期をとり、符号化基本画像データ４を第１の復号化手段１４へ入力し、符号化差分画像データ１０を第２の復号化手段１５へ入力する。第１の復号化手段１４によって復号化された基本画像データ４と、第２の復号化手段１５によって復号化された差分画像データ１０は画像合成手段１６に入力されて画像合成処理が行われ、高階調の画像データが生成される。
【００７４】
実施の形態４による画像符号化装置及び画像復号化装置は、実施の形態１による画像符号化装置及び画像復号化装置と基本的に同様な動作処理を行うもので、各符号化・復号化手段の能力を大幅に超える階調数を有する動画像の原画像データ２について、その画質を維持して符号化及び復号化処理を行うものである。
【００７５】
なお、実施の形態４による画像符号化装置が備える各符号化手段、及び画像復号化装置が備える各復号化手段は、取り扱う画像データが動画であれば、ＭＰＥＧ−２やＭＰＥＧ−４、静止画であればＪＰＥＧ等の任意の符号化・復号化方法に則して動作処理を行うものであれば、どのようなものでも利用できる。
【００７６】
以上のように、実施の形態４によれば、画像符号化装置１が動画の原画像データ２の階調数を縮減して符号化した符号化基本画像データを生成し、また当該階調数の変更によって欠落するデータを補う符号化差分画像データを生成して画像復号化装置１２へ送出し、画像復号化装置１２が符号化された基本画像データと差分画像データとを復号化して合成し高階調数の画像データを生成するようにしたので、高階調数を有する動画像データの品質を損なうことなく符号化及び復号化が可能な低コストの画像符号化装置１及び画像復号化装置１２が得られるという効果がある。また、簡単な処理動作によって高階調数を有する動画像データの符号化及び復号化ができるという効果がある。
【００７７】
実施の形態１ないし実施の形態４では、説明を簡単にするため画像符号化装置と画像復号化装置とを別途構成したものを例示して説明したが、一台あるいは一箇所に同様な作用効果を有する画像符号化・復号化装置を構成し、これを各地に設置することで高階調画像データの通信が可能となるように構成してもよい。
【００７８】
以上のように、実施の形態１ないし実施の形態４によれば、符号化処理及び復号処理の内部のアルゴリズムに依存することなく、ＭＰＥＧ−２、ＭＰＥＧ−４、ＪＰＥＧなど、既存の符号化方法を用いた符号化手段、及び既存の復号化方法を用いた復号化手段を利用して、高階調数の画像データの符号化及び復号化が可能になるという効果がある。
【００７９】
【発明の効果】
以上のように、この発明によれば、高階調数を有する原画像データの品質を損なうことなく簡単な処理動作によって符号化できる低コストの画像符号化装置が得られるという効果がある。
【００８０】
この発明によれば、高階調の画像データを複数の低階調の画像データとして符号化し、符号化手段が符号化できる階調数を大幅に上回る高階調の画像データを符号化することができるという効果がある。
【００８１】
この発明によれば、簡単な処理動作により高階調数を有する原画像データの品質を損なうことなく復号化する低コストの画像復号化装置が得られるという効果がある。
【００８２】
この発明によれば、複数の低階調の画像データを復号化して合成することで、復号化手段が復号化できる階調数を大幅に上回る高階調の画像データを生成することができるという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による画像符号化装置及び画像復号化装置の構成を示すブロック図である。
【図２】実施の形態１による画像符号化装置の基本画像符号化手段によるビット操作を示す説明図である。
【図３】実施の形態１による画像符号化装置の差分画像算出手段の動作を示すフローチャートである。
【図４】実施の形態１による画像符号化装置の差分画像算出手段によるビット操作を示す説明図である。
【図５】実施の形態１による画像符号化装置が備える差分画像階調制限手段の制限特性を示す説明図である。
【図６】実施の形態１による画像復号化装置が備える画像合成手段の動作を示すフローチャートである。
【図７】この発明の実施の形態２による画像符号化装置の構成を示すブロック図である。
【図８】この発明の実施の形態２による画像復号化装置の構成を示すブロック図である。
【図９】実施の形態２による画像符号化装置が備える差分画像階調制限手段の制限特性を示す説明図である。
【図１０】実施の形態２による画像符号化装置が備える差分画像階調制限手段の制限特性を示す説明図である。
【図１１】実施の形態２による画像復号化装置の画像合成手段によって行われる画像データの合成を示す説明図である。
【図１２】この発明の実施の形態３による画像符号化装置及び画像復号化装置の構成を示すブロック図である。
【図１３】この発明の実施の形態４による画像符号化装置及び画像復号化装置の構成を示すブロック図である。
【符号の説明】
１画像符号化装置、２原画像データ、３基本画像符号化手段、４符号化基本画像データ、５基本画像復号化手段、６復号化基本画像データ、７差分画像算出手段、８差分画像階調制限手段、９差分画像符号化手段、１０符号化差分画像データ、１１送出手段、１２画像復号化装置、１３受信手段、１４第一の復号化手段、１５第二の復号化手段、１６画像合成手段、２０，２１，２２差分画像データ、３０ａ，３０ｂ差分画像復号化手段、８１，８２，８３差分画像階調制限手段、１０１，１０２，１０３符号化差分画像データ、１１１送出手段、１３１受信手段、１５１差分画像復号化手段、１５２第一差分画像復号化手段、１５３第二差分画像復号化手段、１５４第三差分画像復号化手段、１５５第Ｎ差分画像復号化手段、１６１画像合成手段、１２０１ビットレート制御手段。

Claims

高階調の入力画像データの階調数を縮減し、階調数縮減後の入力画像データを符号化して符号化基本画像データを生成する基本画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データを復号化して復号化基本画像データを生成する基本画像復号化手段と、
前記基本画像復号化手段により生成された復号化基本画像データの階調数が前記高階調の入力画像データの階調数と一致するように、前記復号化基本画像データの階調数を調整し、階調数調整後の復号化基本画像データと前記高階調の入力画像データとの差分を算出して差分画像データを生成する差分画像算出手段と、
前記差分画像算出手段により生成された差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する画像階調制限手段と、
前記画像階調制限手段により所定の階調数で表された値へ変換された差分画像データを符号化して符号化差分画像データを生成する差分画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データと前記差分画像符号化手段により生成された符号化差分画像データとを画像復号化装置へ送出する送出手段とを備えた画像符号化装置。
前記基本画像符号化手段のビットレートと前記差分画像符号化手段のビットレートとを制御するビットレート制御手段を備え、
前記ビットレート制御手段は、前記基本画像符号化手段のビットレートが前記差分画像符号化手段よりも速くなるように制御することを特徴とする請求項１記載の画像符号化装置。
前記送出手段は、符号化基本画像データ及び符号化差分画像データに対して、同じ同期信号を埋め込んで画像復号化装置へ送出することを特徴とする請求項１記載の画像符号化装置。
高階調の入力画像データの階調数を縮減し、階調数縮減後の入力画像データを符号化して符号化基本画像データを生成する基本画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データを復号化して復号化基本画像データを生成する基本画像復号化手段と、
前記基本画像復号化手段により生成された復号化基本画像データの階調数が前記高階調の入力画像データの階調数と一致するように、前記復号化基本画像データの階調数を調整し、階調数調整後の復号化基本画像データと前記高階調の入力画像データとの差分を算出して第一の差分画像データを生成する第一の差分画像算出手段と、
前記第一の差分画像算出手段により生成された第一の差分画像データの階調数を縮減し、階調数縮減後の第一の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第一の画像階調制限手段と、
前記第一の画像階調制限手段により所定の階調数で表された値へ変換された第一の差分画像データを符号化して第一の符号化差分画像データを生成する第一の差分画像符号化手段と、
前記第一の差分画像符号化手段により生成された第一の符号化差分画像データを復号化して第一の復号化差分画像データを生成する第一の差分画像復号化手段と、
前記第一の差分画像復号化手段により生成された第一の復号化基本画像データの階調数が前記高階調の入力画像データの階調数と一致するように、前記第一の復号化基本画像データの階調数を調整し、階調数調整後の第一の復号化差分画像データと前記第一の差分画像算出手段により生成された第一の差分画像データとの差分を算出して第二の差分画像データを生成する第二の差分画像算出手段と、
前記第二の差分画像算出手段により生成された第二の差分画像データの値が所定の範囲外にある該差分画像データの値を該所定の範囲内の最近値に置き換えるとともに、この値を置き換えた差分画像データおよび値が該所定の範囲内にある差分画像データを所定の階調数で表された値へ変換する第二の画像階調制限手段と、
前記第二の画像階調制限手段により所定の階調数で表された値へ変換された第二の差分画像データを符号化して第二の符号化差分画像データを生成する第二の差分画像符号化手段と、
前記基本画像符号化手段により生成された符号化基本画像データと前記第一及び第二の差分画像符号化手段により生成された第一及び第二の符号化差分画像データとを画像復号化装置へ送出する送出手段とを備えた画像符号化装置。
前記第一の差分画像符号化手段と前記第一の差分画像復号化手段と前記第一の画像階調制限手段と前記第二の差分画像算出手段とを各々複数備え、三つ以上の符号化差分画像データを繰り返し生成することを特徴とする請求項４記載の画像符号化装置。