JP4250867B2 - 符号化装置および方法、復号装置および方法並びに記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば画像情報等の情報の転送に係る符号化装置および方法、復号装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来、画像情報の転送に係る信号フォーマットは、特定の解像度、階調等を想定して規定されていた。このため、転送された情報に基づいて復号される画像の解像度、階調等は、符号時の解像度、階調等によって拘束されていた。
【０００３】
また、解像度や階調を階層的に記録できる信号フォーマットも知られている（例えば、特開平７−９９６４６号公報参照）。但し、そのような信号フォーマットでは、解像度や階調についての選択の範囲が予め限定されていたり、復号化処理において多くの演算およびそれらの演算に係る回路構成が必要になる等、汎用性および実現性が充分でなかった。
【０００４】
【発明が解決しようとする課題】
このため、復号時に解像度、階調等を任意に選択できるような画像フォーマットの実現が要望されていた。
【０００５】
この発明は、このような状況に鑑みてなされたものであり、この発明は、復号時に任意の解像度と階調とを選択できるような画像フォーマットを実現できるようにしたものである。
【０００６】
【課題を解決するための手段】
請求の範囲１に記載の符号化装置は、一様乱数を発生する一様乱数発生部と、
一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化する符号化部ととを備えることを特徴とする。
【０００７】
請求の範囲８に記載の復号装置は、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号から、原画像信号を復号する復号装置であって、
原画像を復号する際の解像度を設定する設定部と、
二値で構成される被符号化画像信号の符号化値を、設定した解像度に基づいて原画像信号における各画素位置に対応するもの毎に累積する累積部と、
累積を行った回数を計数する計数部と、
累積部によって累積された原画像信号の各画素に対する符号化値を、計数部で計数された回数で除算した値に基づいて設定した解像度における各画素値を復号する復号部とを備えることを特徴とする。
【０００８】
請求の範囲１８に記載の符号化方法は、一様乱数を発生するステップと、
一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化するステップとを備えることを特徴とする。
【０００９】
請求の範囲１９に記載の復号方法は、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号から、原画像信号を復号する復号方法であって、
原画像を復号する際の解像度を設定するステップと、
二値で構成される被符号化画像信号の符号化値を、設定した解像度に基づいて原画像信号における各画素位置に対応するもの毎に累積するステップと、
累積を行った回数を計数するステップと、
累積された原画像信号の各画素に対する符号化値を、計数された回数で除算した値に基づいて設定した解像度における各画素値を復号するステップとを備えることを特徴とする。
【００１０】
請求の範囲２０に記載の記録媒体は、一様乱数を発生するステップと、
一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化するステップとをコンピュータに実行させるプログラムが記録されたことを特徴とする。
【００１１】
請求の範囲２１に記載の記録媒体は、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号から、原画像信号を復号する処理をコンピュータに実行させるプログラムが記憶された記録媒体において、
プログラムは、
原画像を復号する際の解像度を設定するステップと、
二値で構成される被符号化画像信号の符号化値を、設定した解像度に基づいて原画像信号における各画素位置に対応するもの毎に累積するステップと、
累積を行った回数を計数するステップと、
累積された原画像信号の各画素に対する符号化値を、計数された回数で除算した値に基づいて設定した解像度における各画素値を復号するステップとをコンピュータに実行させるプログラムが記録されたことを特徴とする。
【００１８】
請求の範囲１に記載の符号化装置においては、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合が符号化データとして符号化される。
【００１９】
請求の範囲８に記載の復号装置においては、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号の符号化値が、設定した解像度に基づいて原画像信号における各画素位置に対応するもの毎に累積され、また、累積回数が計数され、累積された原画像信号の各画素に対する符号化値を、計数部で計数された回数で除算した値に基づいて設定した解像度における各画素値が復号される。
【００２０】
請求の範囲１８に記載の符号化方法においては、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合が符号化データとして符号化される。
【００２１】
請求の範囲１９に記載の復号方法においては、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号の符号化値が、設定した解像度に基づいて原画像信号における各画素位置に対応するもの毎に累積され、また、累積回数が計数され、累積された原画像信号の各画素に対する符号化値を、計数部で計数された回数で除算した値に基づいて設定した解像度における各画素値が復号される。
【００２２】
請求の範囲２０に記載の記録媒体においては、一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合が符号化データとして符号化される処理をコンピュータに実行させるプログラムが記録され、必要に応じて読み出されることが可能とされる。
【００２３】
請求の範囲２１に記載の記録媒体においては、一様乱数に基づいて設定されるしきい値との比較結果に基づいて、原画像信号の各画素値を符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号の符号化値が設定した解像度に基づいて原画像信号における各画素位置に対応するもの毎に累積され、また、累積回数が計数され、累積された原画像信号の各画素に対する符号化値を、計数された回数で除算した値に基づいて設定した解像度における各画素値が復号される処理をコンピュータに実行させるプログラムが記録され、必要に応じて読み出されることが可能とされる。
【００３０】
【発明の実施の形態】
第１図を参照して、この発明の一実施形態に係る情報処理システムの全体的な構成について説明する。符号化部１００は、一様分布乱数発生器１１０と量子化器１２０とを有する。量子化器１２０には原画像信号が供給される。量子化器１２０には、さらに、一様分布乱数発生器１１０が発生する一様乱数が供給される。量子化器１２０は、かかる乱数をしきい値として、供給される原画像信号をラスタスキャンしながら原画像信号内の各画素値を２値化する処理を例えば４０９６回繰り返すことによって２値化値の集合体としての符号を生成する。
【００３１】
ここで、しきい値として用いられる一様乱数の値は、原画像信号内の各画素値を表現するためのダイナミックレンジの範囲内のものとされる。
【００３２】
符号化部１００が生成する符号は、転送信号生成器２００に供給される。転送信号生成器２００は、供給される符号に水平同期、垂直同期および一連の画像全体の同期に係る同期信号等を付加することにより、転送信号を生成する。この際に付加される同期信号は、例えばアナログ信号の場合はＮＴＳＣ方式等のテレビジョン用の信号における同期信号と同様のものとすれば良い。ディジタル信号の場合は、ヘッダ情報として同期情報を付加すれば良い。以下の説明は、ディジタル信号を前提として行う。復号化処理における転送信号中の情報の最小単位を、以下の説明においてはパケットと表記する。パケット内の所定の位置に同期信号が付加される。なお、転送中に生じるエラーの影響を小さく抑える等の目的で、転送信号への変換処理に先立って、符号を並べ替える処理を行うようにしても良い。
【００３３】
一方、復号化部３００は、サンプリング回路３１０、累積回路３２０および復号回路３３０を有する。転送信号内の同期信号に基づいて、水平・垂直・画像全体の同期が確立された状態において、サンプリング回路３１０が転送信号を受信し、受信した転送信号中の符号の一部を２値化値としてサンプリングし、サンプリング値を累積回路３２０に供給する。累積回路３２０は、サンプリング値を累積すると共にサンプリング回数値を更新する。蓄積された２値化値であるサンプリング値とサンプリング回数値とに基づいて、復号回路３３０が復号画像内の各画素値を算出する。
【００３４】
次に、符号化部１００による、原画像信号の符号化についてより詳細に説明する。まず、１個の画素値の２値化の一例として、０〜２５５の階調で画素値を表現する場合に１つの画素値が１８４である、第２図に示すような場合について説明する。この一例では、０〜２５５までの間で一様に分布するしきい値１１種類を用いて２値化を１１回繰り返す。これらのしきい値の内で１８４以下の値をとるものの割合は、２５５に対する１８４の割合と略等しい。
【００３５】
すなわち、（１８４÷２５５）×１１の値が約７．９なので、８種類のしきい値が１８４以下の値をとる。このため、１１回の２値化によって得られる１１個の２値化値の内の８個が例えば'1' とされ、他の３個の２値化値が例えば'0' とされる。但し、しきい値が画素値以下である場合に２値化値を'0' とし、それ以外の場合に２値化値を'1' としても良い。より一般的には、画素値Ｉ、階調値Ｄｒ、およびしきい値が画素値以下となる割合ｐの間に以下の式（１）の関係が成り立つ。
【００３６】
【数１】

【００３７】
このように、一様に分布する多数のしきい値を参照してなされる２値化によって得られる２値化値の集合体としての符号によって、原画像内の画素値が表現される。すなわち、上述の一例においては、１１個の２値化値に含まれる'1' の数が８であることから、２５５×（８／１１）の値を計算すると、計算結果が約１８５となり、元の画素値１８４に略等しい値を復元できることがわかる。上述したような復号化部３００による復号画素値の算出においては、計算量が比較的少ないという利点がある。
【００３８】
ここで、２値化の繰り返し回数、すなわちそれらの２値化において参照される、一様に分布するしきい値の数が多くなる程、原画像信号の画素値を符号が精度良く表現するものとなる。一様に分布するしきい値を作成する方法として、この発明の一実施形態では一様乱数を用いる。ここで、一様乱数とは、現画像信号のレベル範囲で一様に分布する乱数である。なお、いわゆる乱数発生器で発生された乱数以外の、決められた順番で値が変わる数の系列を一様乱数として用いても良い。また、画像内で特定の位置を占める画素に対するしきい値を固定値とするようにしても良い。
【００３９】
符号を生成するための上述したような処理を画像信号の１フレームに対して行う場合について、第３図Ａ，第３図Ｂを参照して説明する。第３図Ａに原画像の一例を示す。この一例では、原画像が６６０×２２０画素（各画素が８ビットすなわち２５６階調を有する）からなり、Ｒ，Ｇ，Ｂに対応する３チャンネルを有する。後述するように、原画像の横方向の画素数がｐｉｘｅｌ、原画像の縦方向の画素数がｌｉｎｅと表記される。従って、この一例では、ｐｉｘｅｌ＝６６０、ｌｉｎｅ＝２２０である。このような原画像中の全ての画像信号について、例えばラスタスキャン状に、一様乱数をしきい値として４０９６回の２値化を繰り返し行う（第３図Ｂ参照）ことにより、第３図Ｃに示すような符号が得られる。ここで、４０９６回は一例であり、他の回数でも良い。上述したように、２値化の回数を多くする程、高い画質の復号画像を得るのに充分な情報量を有する符号を生成することができる。また、原画像中の全ての画像信号についての２値化処理は、ラスタスキャン状に行われることに限定されるものではない。
【００４０】
ここでは、原画像信号が８ビットで表現されるディジタル信号である場合について説明したが、原画像信号がアナログ信号である場合にもこの発明を適用して符号化を行うことができる。但し、原画像信号がアナログ信号である場合には、２値化を行うに先立ち、ＡＧＣ(Automatic Gain Control)回路等を用いて振幅が所定幅以内に収まるようにする必要がある。なお、原画像信号が動画／静止画の何れを表現する場合にも、この発明を適用することができる。
【００４１】
次に、復号化部３００が行う復号化処理について詳細に説明する。ここでは、上述した一例において生成される符号を復号化する場合を例として説明する。かかる場合には、受信される転送信号に含まれる符号は、横に６６０×４０９６（＝２７０３３６０）個、縦に２２０×４０９６（＝９０１１２０）個の画素がマトリクス状に並んでなる１枚の仮想的なフレームに見立てることができる（第４図参照）。後述するように、符号に係る仮想的なフレームの横方向の画素数がｗｉｄｔｈ、符号に係る仮想的なフレームの縦方向の画素数がｌｉｎｅと表記される。従って、この一例では、ｗｉｄｔｈ＝２７０３３６９、ｌｉｎｅ＝９０１１２０である。この仮想的なフレームから、生成したい復号画像の画質等に応じて適切な数の２値化値がサンプリング回路３１０によってサンプリングされる。例えば、復号画像として高画質のものが要求される場合程、多くの２値化値がサンプリングされる。但し、符号化時に復号画像の画質を予め考慮することなく、任意の個数の２値化値をサンプリングするようにし、復号化処理時に復号画像として所望される画質を考慮して適切な数の２値化値を復号化処理対象とするようにしても良い。上述したように、サンプリングされた２値化値の内で例えば'1' の数がサンプリングされた２値化値の総数に占める割合は、原画像の画素値を０〜１．０に正規化したものと近似できる。
【００４２】
ここで、サンプリング回路３１０に対して、サンプリング周期を短くする等の制御を行うことによってサンプリング回数を増やす程、ある程度までは近似の精度が向上し、原画像に近い階調を復号できる。但し、同じ画素に対するサンプリング回数がある程度以上大きい場合には、サンプリング回数を増やしても近似の精度が頭打ちとなる点に留意する必要がある。実際には再現したい画質等を考慮して、適宜間引いて必要充分な数の２値化値をサンプリングすれば良い。間引きの方法としては、▲１▼サンプリング周期を大きくすることによって単純にサンプリング数を減らす、▲２▼偶数番目のフレームと奇数番目のフレームとでサンプリング位置が互い違いとなるように間引く、▲３▼フレームまたはフィールド毎の駒落とし処理を行う、▲４▼色信号Ｒ，Ｇ，ＢまたはＹ，Ｕ，Ｖについて、色特徴に応じた重み付けを変えて間引く等を用いることができる。ここでは、説明を簡明なものとするために符号を１枚のフレームに見立てて説明したが、実際の処理においては、一連の原画像信号に対応して生成された符号に対してサンプリング回路３１０が繰り返しサンプリングを行う。
【００４３】
また、例えば、転送途中でも復号画像の画質として充分なものが得られたとの判断に応じたユーザの操作（図示しない操作パネル等を介してなされる）に従って、サンプリング回路３１０が転送信号の受信を中断するように制御することもできる。この発明を適用することによって得られる符号を含む転送信号は、画像情報の転送に係る従来の信号フォーマットよりも多くの情報量を有するものとなるので、データ転送の効率をある程度以上としたい場合に、上述したような受信を中断する処理が有効となる。ユーザの操作以外に、復号画像の画質を判定する構成を設け、かかる構成によって画質が予め定めた基準より良くなったと判定される場合等に、サンプリング回路３１０が転送信号の受信を中断するようにしても良い。この際の画質評価は、例えば、復号画像内の自己相関、近傍差分の平均値等を用いて行うことができる。
【００４４】
累積回路３２０、復号回路３３０の構成および動作について、第５図を参照して詳細に説明する。累積回路３２０は、累積回数メモリバッファ３２０１、累積回数メモリ３２０２、および自動設定回路３２０３を有する。累積回数メモリバッファ３２０１は、サンプリング回路３１０から供給される２値化値をサンプリングの対象としている画素位置を表すアドレスに対応して累積することによって２値化値が'1'となる回数を計数する。累積回数メモリ３２０２が生成する累積回数値は、復号回路３３０に供給される。また、累積回路３２０は、サンプリング回路３１０から供給される２値化値の個数を計数し、計数値を復号回路３３０に供給する。
【００４５】
自動設定回路３２０３は、累積値が予め設定された値に到達した時に累積回数メモリバッファ３２０１の動作を停止させる等の、累積回数メモリバッファ３２０１の動作に係る設定を行う。一方、復号回路３３０は、アドレス変換および割り算回路３３０１、およびアドレス情報回路３３０２を有する。アドレス情報回路３３０２は、復号画像を特徴付ける値ｐｉｘｅｌ'、ｌｉｎｅ'、およびｄｅｐｔｈ'を保持しており、これらの値をアドレス変換および割り算回路３３０１に供給する。ｐｉｘｅｌ'、ｌｉｎｅ'、およびｄｅｐｔｈ'は後述するように、復号画像の横方向／縦方向の画素数、および復号画像の階調値の最大値を表す。アドレス変換および割り算回路３３０１は、累積回数メモリバッファ３２０１から供給される累積値、累積回数メモリ３２０２から供給される累積回数値、およびアドレス情報回路３３０２から供給される復号画像内のアドレス値とに基づいて、アドレス変換処理、および累積値を累積回数値で割り算する処理を行って復号画像信号を生成する。
【００４６】
なお、特に長時間に渡る画像信号を復号化処理する場合には、累積回数メモリバッファ３２０１の代わりにテープ或いはディスク等の大容量の記録媒体を使用するようにしても良い。また、自動設定回路３２０３、アドレス情報回路３３０２等の動作条件はユーザ等によって設定されるようにしても良い。或いは、これらの動作条件が画像表示部の性能等を考慮して自動的に制御されるようにしても良い。
【００４７】
次に、復号回路３３０は、累積回路３２０から供給される累積値と累積回数値とに基づいて画素濃度を計算する処理を行う。すなわち、累積値を累積回数値で除算することにより、各画素に対応する画素濃度（すなわち、原画像の画素値を０〜１．０に正規化したもの）を得る。さらに、この画素濃度に例えば２５６階調等の復号したい画像の階調数を掛けることにより、画素値が算出される。すなわち、階調値Ｄｒ、および画素濃度ｐに基づいて、以下の式（２）によって画素値Ｉが算出される。この際に、階調値Ｄｒは符号化前の階調値と異なっても良い。
【００４８】
Ｉ＝Ｄｒ×ｐ （２）
【００４９】
第１図を参照して上述したこの発明の一実施形態は、符号化部１００が生成する符号を直ちに転送信号生成器２００に供給することによって転送信号に変換し、復号化部３００に供給するものである。これに対して、符号化部１００が生成する符号や、転送信号生成器２００が生成する転送信号を記録媒体に記録し、かかる記録媒体を介して復号化部３００に供給することも可能である。すなわち、蓄積型のコンテンツ提供サービスにも、この発明を適用することができる。
【００５０】
上述したような画像データ転送の具体的な方法の例として、(1) 転送される画像を例えばラスタースキャン順に２値化する処理を任意の回数繰り返す。(2) １画素当たり任意の回数２値化し、転送する処理を、例えばラスタースキャン順に繰り返す。(1) の方法は送信側と受信側の通信性能があまり違わない場合に好適なものである。受信側では転送されて来る情報を任意に間引き、必要十分な画質の復号画像を得ることができる。動画を扱う場合、転送処理の回数が比較的小さい内に、動画シーケンスの全体像を見ることができる。そして、そのような動画シーケンスの全体像に応じて、例えば、当該動画が所望の情報であるか否か等を受信側で判断することが可能とされる。また、(2) の方法は、送信側が高速に転送データを生成する性能を有する場合に好適なものである。この場合、受信側の復号性能に応じた復号画像品質が得られる。すなわち、受信側の復号性能が高ければ高画質の復号画像を得ることができる。
【００５１】
次に、この発明の一実施形態における処理の手順について説明する。まず、第５図および第６図のフローチャートを参照して符号化の手順について説明する。ここで、２個の図に分けたのは記載スペースの都合によるものであり、第５図および第６図は、一体として１個のフローチャートを示す。なお、第５図および第６図中のＸ，Ｐ，Ｑ，Ｒ，Ｓは、処理手順の接続点を示す。ステップＳ１として符号化部１００が定数ｗｉｄｔｈ，ｈｅｉｇｈｔ，ｐｉｘｅｌ，ｌｉｎｅの値をそれぞれ設定する。ｐｉｘｅｌおよびｌｉｎｅは原画像の大きさを表す。すなわち、ｐｉｘｅｌは原画像の横方向の画素数を表し、ｌｉｎｅは原画像の縦方向の画素数（ラスタスキャン時のライン数）を表す。また、ｗｉｄｔｈは、符号中で原画像の１画素に対応する２値化値配列の横方向の画素数を表す。また、ｈｅｉｇｈｔは、かかる２値化値配列の縦方向の画素数を表す。すなわち、第３図Ａでは、ｐｉｘｅｌ＝６６０、ｌｉｎｅ＝２２０とされ、第４図では、ｗｉｄｔｈ＝４２２４０，ｈｅｉｇｈｔ＝１４０８０とされている。
【００５２】
ステップＳ２、ステップＳ３において、符号化部１００がそれぞれ、変数ｉ，ｊを初期化する。ｉ，ｊはそれぞれ、原画像の横方向、縦方向の画素位置すなわち原画像上の座標を示す変数である。ステップＳ４では、符号化部１００は、原画像の画素値を示す変数ｓｏｕｒｃｅの値として、原画素の座標（ｉ，ｊ）における画素値Ｉ（ｉ，ｊ）を設定する。ステップＳ５、ステップＳ６において符号化部１００は、それぞれ、変数ｖ，ｈを初期化する。ｖ，ｈはそれぞれ、符号内で原画像の１画素に対応する２値化値配列内の横方向、縦方向の画素位置、すなわち、かかる２値化値配列内での座標を示す変数である。
【００５３】
ステップＳ７では、符号化部１００は、ステップＳ８における２値化の結果としての２値化値を保持すべきデータ位置を符号中で表現する変数ｖｖ，ｈｈの値を計算する。ｖｖ、ｈｈはそれぞれ、符号内での横方向、縦方向の２値化値の位置、すなわち符号内での座標を示す変数である。ｖｖは、当該データ位置を含む原画像の１画素に対応する２値化値配列の下隣に位置する２値化値配列の上端の座標であるｉ×ｈｅｉｇｈｔと、当該データ位置を含む２値化値配列内での当該データ位置の縦方向の座標であるｖとの和として計算される。また、ｈｈは、当該データ位置を含む原画像の１画素に対応する２値化値配列の左隣に位置する２値化値配列の右端の座標であるｊ×ｗｉｄｔｈと、当該データ位置を含む２値化値配列内での当該データ位置の横方向の座標であるｈとの和として計算される。
【００５４】
また、ステップＳ７では、符号化部１００がしきい値を設定する。ここでは、０〜１の区間で一様乱数を得る関数であるｒａｎｄ（）の結果と、例えば２５５等のダイナミックレンジの最大値との積を、しきい値を表す変数ｔｈｒｅｓｈの値として設定する。関数ｒａｎｄ（）は、第１図等を参照して上述した一様分布乱数発生器１１０が発生する一様乱数を受取るためのモジュールである。但し、ソフトウエア上で一様乱数を発生させるようにしても良い。
【００５５】
さらに、ステップＳ８に移行して、ｔｈｒｅｓｈの値がｓｏｕｒｃｅの値以下であるか否かを符号化部１００は判定する。ステップＳ８の結果としてｔｈｒｅｓｈの値がｓｏｕｒｃｅの値以下であると判定される場合にはステップＳ９に移行し、それ以外の場合にはステップＳ１０に移行する。ステップＳ９では、２値化値を表す変数ｂを例えばｂ＝'1' と符号化部１００は設定し、一方、ステップＳ１０では例えばｂ＝'0' と符号化部１００は設定する。これらのステップにより、ｔｈｒｅｓｈの値を参照した２値化がなされる。なお、ステップＳ９でｂ＝'0' と設定し、ステップＳ１０でｂ＝'1' と設定するようにしても良い。
【００５６】
ステップＳ９またはステップＳ１０が完了すると、ステップＳ１１に移行する。ステップＳ１１では、符号内での座標（ｖｖ，ｈｈ）に位置する２値化値の値として、ｂの値を符号化部１００が設定する。
【００５７】
ステップＳ１１が行われる毎に、符号中の２値化値の値が１つ確定する。そして、ステップＳ１２に移行し、符号化部１００はｈの値に１を加算する。かかる操作は、符号内での座標を横方向に１つずらすことに対応する。
【００５８】
さらに、第６図中のステップＳ１３に移行し、ｈの値がｗｉｄｔｈの値より小さいか否か、すなわち、原画像の１画素に対応する符号内の２値化値配列の横方向にはみ出ないか否かを符号化部１００が判定する。ステップＳ１３の結果としてｈの値がｗｉｄｔｈの値より小さいと判定される場合にはステップＳ７に移行し、ステップＳ１２で設定されるｈの値の下で２値化値の値を設定する処理を符号化部１００が行う。一方、ステップＳ１３の結果としてｈの値がｗｉｄｔｈの値より小さいと判定される場合以外の場合にはステップＳ１４に移行する。
【００５９】
ステップＳ１４では、符号化部１００はｖの値に１を加算する。このステップＳ１４は、原画像の１画素に対応する２値化値配列中での座標を縦方向に１つずらすことに対応する。ステップＳ１４が完了すると、ステップＳ１５に移行し、ｖの値がｈｅｉｇｈｔの値より小さいか否か、すなわち、符号内で原画像の１画素に対応する２値化値配列の縦方向にはみ出ないか否かを符号化部１００が判定する。ステップＳ１５の結果としてｈの値がｈｅｉｇｈｔの値より小さいと判定される場合にはステップＳ６に移行し、ｈの値を初期化した上でステップＳ１４で設定されるｖの値の下で２値化値の値を設定する処理を符号化部１００が行う。一方、ステップＳ１５の結果としてｈの値がｈｅｉｇｈｔの値以上であると判定される場合にはステップＳ１６に移行する。
【００６０】
ステップＳ１６では、符号化部１００はｊの値に１を加算する。かかる操作は、２値化の対象とされる原画像内の画素の位置を横方向に１つずらすことに対応する。ステップＳ１６が完了すると、ステップＳ１７に移行し、ｊの値がｐｉｘｅｌの値より小さいか否か、すなわち、ｊの値が原画像の横方向の画素数を越えないか否かを符号化部１００が判定する。ステップＳ１７の結果としてｊの値がｐｉｘｅｌの値より小さいと判定される場合にはステップＳ４に移行し、ステップＳ１６で設定されるｊの値の下で原画像の画素値を表すｓｏｕｒｃｅの値を設定し、さらに、ステップＳ５以降の２値化処理がなされる。
【００６１】
一方、ステップＳ１７の結果としてｊの値がｐｉｘｅｌの値以上であると判定される場合には、ステップＳ１８に移行する。ステップＳ１８では、符号化部１００はｉの値に１を加算する。かかる操作は、２値化の対象とされる原画像内の画素の位置を縦方向に１つずらすことに対応する。ステップＳ１８が完了すると、ステップＳ１９に移行し、ｉの値がｌｉｎｅの値より小さいか否か、すなわち、ｉの値が原画像の縦方向の画素数を越えないか否かを符号化部１００が判定する。ステップＳ１７の結果としてｉの値がｌｉｎｅの値より小さいと判定される場合にはステップＳ３に移行し、ｊの値を初期化した上でステップＳ１８によって設定されるｉの値の下で原画像の画素を順次２値化する処理がなされる。
【００６２】
一方、ステップＳ１７の結果としてｉの値がｌｉｎｅの値より小さいと判定される場合以外の場合には、符号化部１００は、原画像内の全ての画素に対する２値化処理が完了したと判断して一連の処理を終了する。以上のような処理方法により、原画像内の各画素値を一様乱数として与えられるしきい値の下で２値化することによって符号が生成される。
【００６３】
次に、第７図および第８図のフローチャートを参照して復号化の手順について説明する。ここで、２個の図に分けたのは記載スペースの都合によるものであり、第７図および第８図は、一体として１個のフローチャートを示す。なお、第７図および第８図中のＹは、処理手順の接続点を示す。ステップＳ１０１として、復号回路３３０は、変数ｐｉｘｅｌ'，ｌｉｎｅ'，ｄｅｐｔｈの値を設定する。ここで、ｐｉｘｅｌ'は、復号画像の横方向の画素数を表し、また、ｌｉｎｅ'は、復号画像の縦方向の画素数を表す。さらに、ｄｅｐｔｈは、復号画像の階調値の最大値を表す。ステップＳ１０２では、復号回路３３０がＴｐｉｘｅｌ，Ｔｌｉｎｅの値を受信する。Ｔｐｉｘｅｌは、符号の横方向の画素数を表し、また、Ｔｌｉｎｅは、符号の縦方向の画素数を表す。ここで、Ｔｐｉｘｅｌ，Ｔｌｉｎｅの値は、例えば、上述した転送信号中のヘッダ部等に含まれている。
【００６４】
さらに、ステップＳ１０３では、復号回路３３０は、ｗｉｄｔｈ'，ｈｅｉｇｈｔ'の値を、それぞれ計算によって設定する。すなわち、復号回路３３０は、復号画像の横方向の画素数を表すｐｉｘｅｌ'で符号の横方向の画素数を表すＴｐｉｘｅｌを割ることにより、復号画像内の１画素に対応する２値化値配列中の横の画素数ｗｉｄｔｈ'を計算する。同様に、復号回路３３０は、復号画像の縦方向の画素数を表すｌｉｎｅ'で符号の縦方向の画素数を表すＴｌｉｎｅを割ることにより、復号画像内の１画素に対応する２値化値配列中の縦の画素数ｈｅｉｇｈｔ'を計算する。
【００６５】
そして、転送信号が転送される。ステップＳ１０４において、転送信号内の全てのデータの転送が完了したか否かを復号回路３３０が判定する。転送が完了したと判定される場合には第８図中のステップＳ１１３に移行し、それ以外の場合にはステップＳ１０５に移行する。
【００６６】
ステップＳ１１３以降の処理によって復号画像内の各画素値が算出されるが、これについては後述する。ステップＳ１０５では、符号内での座標（ｖ，ｈ）における２値化値Ｔ（ｖ，ｈ）を復号回路３３０が受信する。さらに、ステップＳ１０６に移行し、復号回路３３０は、Ｔ（ｖ，ｈ）が対応する、復号画像内の画素値の座標（ｉ，ｊ）を検出する。すなわち、ｉは、ｖをｈｅｉｇｈｔ'で割った値の整数部分として算出され、ｊは、ｈをｗｉｄｔｈ'で割った値の整数部分として算出される。
【００６７】
次に、ステップＳ１０７に移行し、２値化値Ｔ（ｖ，ｈ）が'0' 以外であるか否かを復号回路３３０が判定する。Ｔ（ｖ，ｈ）が'0' 以外であると判定される場合には、ステップＳ１０８に移行し、それ以外の場合にはステップＳ１０９に移行する。ステップＳ１０８では、復号回路３３０は、行列形式の変数ｃｎｔ〔ｉ〕〔ｊ〕の値に１を加算する。このｃｎｔ〔ｉ〕〔ｊ〕は、復号画像内の座標（ｉ，ｊ）の画素に対応する２値化値の内で'0' 以外の値をとるものの個数を計数するための変数である。ステップＳ１０７でＴ（ｖ，ｈ）が'0' 以外であると判定される毎に、ｃｎｔ〔ｉ〕〔ｊ〕の値が１ずつ増加し、最終的には、復号画像内の座標（ｉ，ｊ）の画素に対応する２値化値の内で'0' 以外の値をとるものの総数がｃｎｔ〔ｉ〕〔ｊ〕の値として格納される。ステップＳ１０７が完了すると、ステップＳ１０９に移行する。
【００６８】
ここでは、Ｔ（ｖ，ｈ）の値が'0' 以外である場合をしきい値が画素値以下である場合に対応させてなる符号に基づく処理を行う場合について説明したため、ステップＳ１０７で２値化値Ｔ（ｖ，ｈ）が'0' 以外である場合にｃｎｔ〔ｉ〕〔ｊ〕の値に１が加算される。これに対して、Ｔ（ｖ，ｈ）の値が'0' である場合をしきい値が画素値以下である場合に対応させてなる符号に基づく処理を行う場合には、ステップＳ１０７で２値化値Ｔ（ｖ，ｈ）が'0' である場合にｃｎｔ〔ｉ〕〔ｊ〕の値に１を加算するようにすれば良い。
【００６９】
ステップＳ１０９では、復号回路３３０は、行列形式の変数ｎｕｍ〔ｉ〕〔ｊ〕の値に１を加算する。このｎｕｍ〔ｉ〕〔ｊ〕は、復号画像内の座標（ｉ，ｊ）の画素に対応する２値化値の個数を計数するための変数である。すなわち、ステップＳ１０７での判定結果に関係無く、Ｔ（ｖ，ｈ）が受信される毎にｎｕｍ〔ｉ〕〔ｊ〕の値は１ずつ増加し、最終的には、復号画像内の座標（ｉ，ｊ）の画素に対応する２値化値の総数がｎｕｍ〔ｉ〕〔ｊ〕の値として格納される。
【００７０】
さらに、ステップＳ１１０に移行する。ステップＳ１１０では、ユーザが例えば復号画像として充分な画質が得られたと判断した場合等に、それ以上の符号の転送が不要であるとして転送を中断する操作が行われたか否かを復号回路３３０が判定する。転送を中断する操作が行われたと判定される場合にはステップＳ１１３に移行し、それ以外の場合にはステップＳ１１１に移行する。ステップＳ１１１では、復号画像の画質が復号回路３３０によって判別される。より具体的には、復号回路３３０は、復号画像内の自己相関、復号画像内での近傍画素間差分の平均値等に基づく画質判別を行なう。ステップＳ１１２では、復号回路３３０は、ステップＳ１１１による画質判別の結果に基づく処理を行う。すなわち、画質が充分であると判定される場合にはステップＳ１１３に移行し、それ以外の場合にはステップＳ１０４に移行し、処理がさらに繰り返される。
【００７１】
ステップＳ１０４で転送が完了したと判定される場合、およびステップＳ１１２で転送を中断する操作が行われたと判定される場合には、ステップＳ１１３に移行する。ステップＳ１１３では、復号回路３３０がｉの値を初期化する。さらに、ステップＳ１１４では、復号回路３３０がｊの値を初期化する。さらに、ステップＳ１１５に移行する。ステップＳ１１５では、復号回路３３０が復号画像内の座標（ｉ，ｊ）における画素値を計算し、計算した画素値を行列形式の変数Ｏ〔ｉ〕〔ｊ〕に格納するる。すなわち、復号画像内の座標（ｉ，ｊ）の画素に対応する２値化値の総数ｎｕｍ〔ｉ〕〔ｊ〕の値と、当該２値化値中で例えば'0' 以外の値をとるものの総数ｃｎｔ〔ｉ〕〔ｊ〕の値との比率と、復号画像の階調値ｄｅｐｔｈとの積として、Ｏ〔ｉ〕〔ｊ〕の値が復号回路３３０にて計算される。
【００７２】
そして、ステップＳ１１６に移行し、復号回路３３０は、ｊの値に１を加算する。かかる操作は、復号画像中の画素の座標を横方向に１つずらすことに対応する。さらに、ステップＳ１１７において、復号回路３３０は、ｉの値がｐｉｘｅｌ'の値より小さいか否か、すなわち、復号画像中の画素配列の横方向にはみ出ないか否かを判定する。ステップＳ１１７の結果としてｊの値がｐｉｘｅｌ'の値より小さいと判定される場合には、ステップＳ１１５に移行し、ステップＳ１１６で設定されたｊの値によって指定される復号画像中の画素値を設定するための処理が行われる。それ以外の場合にはステップＳ１１８に移行する。ステップＳ１１８では、復号回路３３０は、ｉの値に１を加算する。このステップＳ１１８は、復号画像中の画素の座標を縦方向に１つずらすことに対応する。
【００７３】
ステップＳ１１８が完了すると、ステップＳ１１９に移行し、ｉの値がｌｉｎｅ'の値より小さいか否か、すなわち、復号画像中の画素配列の縦方向にはみ出ないか否かを復号回路３３０が判定する。ステップＳ１１８の結果としてｈの値がｌｉｎｅ'の値より小さいと判定される場合にはステップＳ１１４に移行し、ｊの値を初期化した上でステップＳ１１８によって設定されているｉの値の下で復号画像内の画素値を復号回路３３０が計算する。一方、ステップＳ１１９の結果としてｉの値がｌｉｎｅ'の値より小さいと判定される場合以外の場合には、復号回路３３０は、復号画像内の全ての画素値の計算が完了したと判断して一連の処理を終了する。
【００７４】
この発明の一実施形態によって得られる復号画像の画質と、２値化の回数との関係について説明する。第９図、第１０図、第１１図は、原画像の一例に２値化をそれぞれ、４回、３２回、４００回施すことによって生成される符号から復号される復号画像の一例を示す。２値化の回数が増える程、復号画像の画質が向上し、原画像中にあった模様等がより鮮明に視認できるようになることがわかる。このように、転送回数が増える程、復号画像の解像度が向上する。特に、受信側の表示部の表示可能画素数、階調数が小さい場合等においては、転送開始後短時間で必要十分な画質を有する復号画像を得ることができる。
【００７５】
この発明に係る画像信号の符号化／復号化においては、２値化によって得られる、同質な２値化情報の繰り返しからなる符号によって画像情報が伝送される。このため、画像情報の伝送に係る従来の信号フォーマットには無い、幾つかの性質を有し、そのような性質に基づいて種々の処理が可能となる。まず、原画像と符号との関係における任意性が大きい。
【００７６】
例えば、第１２図に示すように、横に８００個、縦に６００個の画素（各画素が例えば８ビット（２５６階調））を有する原画像を、横に８００×１００＝８００００個、縦に６００×１２０＝７２０００個並べられた２値化値からなる符号に変換することができる。ここで、幅ｗ＝１００、高さｈ＝１２０は一例であり、幅ｗ、高さｈの値は、例えば機種毎に設定することができる。
【００７７】
さらに、符号から階調のある画像を復号する場合にも、原画像の大きさ、画素数、階調等には無関係に、任意の画素数、階調数に復号することができる。例えば、原画像信号中の１画素が幅ｗ'が１００、高さｈ'が１２０の１ビット（２階調）の画素群に変換されてなる、第１３図に示すような符号から、例えば横に６６７個、縦に３６０個の任意の階調の画素からなる画像を復号することができる。ここで、任意に設定される階調値Ｄｒ'を用いて画素値Ｉ'が以下の式（２）'に従って復号される。
【００７８】
Ｉ'＝Ｄｒ'×ｐ （２）'
ここで、ｐは、式（２）中のｐと同様に画素濃度を表す。
【００７９】
上述の点について、第１４図を参照してより明確に説明する。第１４図は、原画像から符号への符号化、および符号から任意の階調の復号画像への復号化の一例を示す。例えば８ビット（２５６階調）の画素が例えば横に８００個、縦に６００個並んでなる原画像を、例えば横に８００００個、縦に７２０００個並べられた複数の２値化値からなる符号に変換することができる。より一般的には、原画像中の１画素に対応する、符号中の横方向および縦方向の２値化値の配列数を任意に設定することにより、符号全体における、２値化値の縦／横の配列数を任意に設定することができる。
【００８０】
一方、例えば横に８００００個、縦に７２０００個並べられた２値化値からなる符号から、例えば７ビット（１２８階調）の画素が例えば横に６６７個、縦に３６０個並んでなる画像を復号することができる。より一般的には、復号される画像中の１画素に対応する、符号中の横方向および縦方向の２値化値の数を任意に設定することにより、任意の大きさ、画素数、階調等を有する復号画像を符号から得ることができる。
【００８１】
上述したことから、この実施例に係る符号化／復号化においては、原画像と復号画像との関係における任意性が大きいことがわかる。例えば、上述のステップＳ１０１によって設定される画素数、解像度、縦／横のバランス等が原画像と異なる復号画像を得る処理（リサイズ処理と称される）を行うことができる。ここで、原画像と復号画像との画素数が縦方向および／または横方向で異なる場合には線形補間と同等な効果が原理的に得られる。
【００８２】
また、この実施例に係る符号化／復号化においては、転送信号のフォーマットについての任意性が大きい。例えば、上述したように、原画像中の１画素に対応する符号中の２値化値の配置を、例えば機種毎に決めることができる。より具体的には、(a) 送信側の機種の性能に応じて２値化値の配置を決める、或いは(b) 受信側の機種の性能に応じて２値化値の配置を決める等の方法が可能である。また、同期信号や符号化に係るパラメータ（原画像の大きさ、画素数、符号内での２値化値の配列数、２値化の回数等）を付加する際に付加位置等についての任意性が大きく、付加位置等を例えば機種毎に決めることができる。例えば、転送信号内にヘッダ情報を備えるようにし、ヘッダ情報内に符号化に係るパラメータ等を含めるようにしても良い。この発明による動作が正しく行われるためには、転送側と受信側で水平と垂直の同期がとれている必要がある。水平／垂直同期をとる方法としては、転送信号に同期信号を追加する方法と、予めヘッダ情報として転送側から受信側に同期のための情報を伝送する方法があるが、何れの方法を用いても良い。水平／垂直同期が正しくとれていれば、受信側では全ての信号を受信する必要は無く、適宜信号を間引いて受取ることで、必要十分な量だけ受信すれば良い。
【００８３】
次に、この実施例によれば、復号化処理における任意性を大きくすることができる。すなわち、２値化によって得られる同質な２値化情報の繰り返しからなる符号によって画像情報が伝送されるので、全ての符号の転送が完了する以前においても、サンプリング回路３１０によるサンプリングを正しいタイミングで行うために必要な同期が確立されれば、それ以降の復号化処理における任意性が大きい。このため、転送が一巡した時点、すなわち最小で１パケット分の転送データが受信された時点以降、何時でも復号化処理を行うことができる。このため、例えば、転送信号受信開始時には同期に係る情報を取得し、次のシーケンスから復号化処理を行うこともできる。
【００８４】
また、上述した復号化部３００において、累積回路３２０内のメモリに記憶される累積回数値と、メモリバッファにおける実際の累積回数とは、厳密に一致しなくても、割り算の結果に影響する程大きく食い違わない限り、画素値の再現の精度にはほとんど影響しない。このため、復号化処理における計算処理は、累積回路３２０内のメモリおよびメモリバッファの記憶値が更新されるタイミングに正確に同期して行われる必要は無い。
【００８５】
このため、例えば、累積回路３２０における累積処理と、復号回路３３０における計算処理とを並列に行う処理が可能となる。従って、転送の途中でも復号画像の内容、特に画質を確認することができる。そして、確認の結果に基づいて転送を中断する等の制御を行うことにより、所望の画像情報をより効率的におよび素早く転送することが可能となる。特に、符号中の比較的少ない情報量に基づいて復号化処理を行う等の処理によって画質においてはやや劣るが素早い画像情報の転送を実現しようとする場合に、復号化部の演算の負荷を増大させること無く、ティザのような擬似表示を行う等の処理も可能である。勿論、より多くの情報が転送されてから後、累積回路３２０内のメモリとメモリバッファとの値の更新のタイミングに合わせて復号化処理を遂行することにより、より高い画質の復号画像を得るようにしても良い。
【００８６】
また、たとえばユーザが所定の操作を行う等の方法で、復号化処理を行う側から符号化側に復号画像に要求される画質等に係る情報を伝達し、かかる情報に基づいて２値化の回数等、符号化の条件を設定するようにしても良い。或いは、画像の自己相関や近傍差分の平均値等を計算し、計算値に基づいて、ユーザ等が予め設定したしきい値を参照してなされる判定の結果として、復号処理を停止するようにしても良い。
【００８７】
なお、復号画像の任意の一部分に画像情報を表示せず、かかる一部分を、例えば文字情報等の原画像とは別の情報を表示するために使用することもできる。このような表示を実現する方法として、例えば、原画像の任意の一部分に対応する、符号内の一部分を復号しないようにしても良い。
【００８８】
この発明を適用することが可能な、例えばコンテンツ提供サービスに係る情報システムとしての、コンピュータシステムの一例を第１５図に示す。バス４０１に、ＣＰＵ(Cectral Processing Unit) ４０２，ＲＯＭ(Read Only Memory)４０３，ＲＡＭ(Random Access Memory)４０４，外部通信回線とのインターフェイス機能を有する通信インターフェイス４０５、例えばＦＤ（フロッピーディスク）、ＣＤ（コンパクトディスク）等の着脱可能な記録媒体４０８を再生する機能を有するドライブ４０６、補助記録部としてのＨＤＤ(Hard Disk Drive)４０７等が接続されている。なお、ＨＤＤ４０７と共に、またはＨＤＤ４０７の代わりに、光ディスク媒体を用いた補助記録部や、テープ状の記録媒体を用いた補助記録部を備えるようにしても良い。
【００８９】
ドライブ４０６によって再生される着脱可能な記録媒体４０８の記録内容、および／または通信インターフェイス４０５を介して受信される電話回線等の外部回線から情報信号として、原画像をコンピュータシステムに供給するようにし、コンピュータシステムが上述したような符号化処理を行うことにより、符号化画像データを生成することができる。この際に、符号化処理に係るソフトウエアは、ドライブ４０６によって再生される着脱可能な記録媒体４０８の記録内容、および／または通信インターフェイス４０５を介して受信される電話回線等の外部回線から情報信号としてコンピュータシステムに供給されることが可能である。すなわち、記録媒体等を介して供給されるプログラムに従ってコンピュータシステムが動作することにより、符号化処理が行われる。生成された符号化画像データは、ドライブ４０６によって着脱可能な記録媒体４０８に記録する、および／または通信インターフェイス４０５を介して外部回線上の送信する等の方法で、外部に出力することができる。また、記録媒体に記録されたプログラムに従って、コンピュータシステムが動作することにより、復号化処理が行われる。
【００９０】
また、ドライブ４０６によって再生される着脱可能な記録媒体４０８の記録内容、および／または通信インターフェイス４０５を介して受信される電話回線等の外部回線から情報信号として、上述したようにして符号化された画像データをコンピュータシステムに供給するようにし、コンピュータシステムが上述したような復号化処理を行うことにより、復号画像を生成することができる。この際に、復号化処理に係るソフトウエアは、ドライブ４０６によって再生される着脱可能な記録媒体４０８の記録内容、および／または通信インターフェイス４０５を介して受信される電話回線等の外部回線から情報信号としてコンピュータシステムに供給されることが可能である。すなわち、記録媒体等を介して供給されるプログラムに従ってコンピュータシステムが動作することにより、復号処理が行われる。
【００９１】
上述したこの発明の一実施形態では、２階調からなる符号を用いて画像情報を転送するようにしたので、同質な２値化情報の繰り返しからなる符号によって画像情報が伝送されるので、転送信号のフォーマットを柔軟な（すなわち任意性の大きい）ものとすることができる。原画像が例えば１画素当たり８ビットからなる画像フォーマットである場合には、１画素分の情報量が１／８と小さくなり、さらに、'1'／'0' の２値の情報とされるため、転送速度を高速化することができる。また、転送データの一部に誤りが含まれていたとしても、その誤りが復号結果に与える影響が小さく（実質的には影響は無いとみなせる）、ロバスト性が大きい。全体として転送されるべき情報量は増大するが、上述したような長所との兼ね合いにより、適用対象によっては大きな効果を奏することができる。
【００９２】
上述したこの発明の一実施形態は、２値化値の集合体である２階調からなる符号を生成し、生成した２階調からなる符号を転送するものである。これに対して、一様分布乱数発生器等を用いて例えば３種類のしきい値を得て、それらのしきい値を用いた量子化処理によって４階調からなる符号を生成する等の方法によっても、この発明と略同等な効果が得られる可能性がある。
【００９３】
また、上述したこの発明の一実施形態は、画像データを転送する場合にこの発明を適用したものであるが、この発明の適用可能性は、画像データを転送する場合に限定されるものではない。例えばオーディオデータ等の画像データ以外のデータを転送する場合にも、この発明を適用することができる。
【００９４】
この発明は、上述した実施例に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用および変形が考えられる。
【００９５】
上述したように、この発明は、一様乱数に基づいて設定されるしきい値を参照して、原画像信号の画素値を２値化することによって得られる２値化値の集合体としての符号を生成し、また、そのような符号からサンプリングされる２値化値を累積して、累積値を別途計数される累積回数で除算し、除算の結果に基づいて復号画像を得るものである。
【００９６】
このような画像信号の符号化／復号化処理は、例えばＮＴＳＣ方式等の走査線構造を有する画像信号を前提とする符号化／復号化処理に比較して非常に簡単なものとなる。特に、受信側（復号化）での計算量を極めて小さくすることができる。このため、符号化／復号化に係る構成やファームウエアの簡素化に寄与する。
【００９７】
例えば、原画像中の１画素に対応する符号中の２値化値の配置を、例えば機種毎に決めることができる。また、同期信号や符号化に係るパラメータ（原画像の大きさ、画素数、符号内での２値化値の配列数、２値化の回数等）を符号に付加して転送信号に変換する処理において、付加位置等についての任意性が大きい。このため、所望の画像情報処理に適した転送信号フォーマットを選択して用いることができる。
【００９８】
さらに、符号内の２値化値の配置を並べ替えた後に、転送信号に変換するような処理を行うことも可能である。このような処理を行う場合には、転送の途上や記録媒体上で発生するエラー等によって復号画像の画質が部分的に大きく劣化することが回避され、また、復号化処理との整合性が担保される。
【００９９】
上述したようなフォーマットの柔軟性により、復号化処理を適正に行うために転送信号中の全ての符号をサンプリングする必要は無く、符号中の任意の割合の２値化値に基づいて復号化処理を行うようにすることができる。すなわち、復号画像に要求される画質等を考慮して適切なサンプリング周期を設定することにより、転送信号中の符号を適宜間引いてサンプリングすることができる。従って、復号画像の解像度および階調を任意に選択することができると共に、所望の解像度および階調を有する復号画像を生成するのに充分なメモリ、演算回路等を復号化装置が有するようにすれば良いので、復号化装置の性能、構成に関して自由度を大きくすることができる。このため、復号化装置における製造コストの低減、および電力消費の低減に配慮した設計を行うことが可能とされる。
【０１００】
また、上述したようなフォーマットの柔軟性、および上述したようにメモリ上の累積回数値とメモリバッファにおける実際の累積回数とが厳密に一致しなくても復号画像の画質にほとんど影響しないこと等により、復号化処理において任意性を向上させることができる。すなわち、全ての符号の転送が完了する以前においても、同期が確立されている等の所定の条件の下では復号化処理を行うことができるので、転送信号の受信と復号化処理とを並行して行うことができる。
【０１０１】
従って、転送の途中でも復号画像の内容、特に画質を確認することができ、確認の結果に基づいて転送を中断する等の制御を行うことにより、所望の画像情報をより効率的に、また、素早く転送することが可能となる。特に、受信側の表示部の表示可能画素数、階調数が小さい場合等においては、転送開始後短時間で必要十分な画質を有する復号画像を得ることができる。また、符号中の比較的少ない情報量に基づく復号化を行う等の処理によって素早く転送する場合には、復号装置の演算の負荷を増大させること無く、ティザのような擬似表示を行う等の処理も可能である。また、たとえばユーザが所定の操作を行う等の方法で、復号化処理を行う側から符号化側に復号画像に要求される画質等に係る情報を伝達し、かかる情報に基づいて２値化の回数等、符号化の条件を設定するようにしても良い。
【０１０２】
【発明の効果】
このような復号化処理の任意性により、コンテンツ提供サービス等において、全体的な画像を素早く転送する処理と、比較的時間を費やして精細な画像を転送する処理との両方を実現することが可能となる。
【０１０３】
一方、この発明に係る符号化／復号化においては、原画像と、符号を経て復号される復号画像との関係に任意性が大きくなる。このため、リサイズ処理、すなわち、画素数、解像度、縦／横のバランス等が原画像と異なる復号画像を得る処理を行うことができる。また、原画像の一部に対応する表示を行わない処理等を容易に行うことができる。
【０１０４】
さらに、この発明に係る符号においては情報の単位が小さいことに加えて、複数回繰り返される２値化の結果としての符号から復号画像の階調値を得るするので、転送時に発生するエラーが復号画像に与える影響が小さく、非常に高いロバスト性を実現することができる。また、２値化の結果としての符号は、互いに関連性の無い１ビットの２値化値の集合体であるため、エラー伝播が原理的に生じ得ない。従って、通信環境、記録媒体等が高い信頼性を有するものでない場合にも、良好な復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】 この発明の一実施形態の全体的な構成について説明するためのブロック図である。
【図２】 この発明の一実施形態における符号化について説明するための略線図である。
【図３】 この発明の一実施形態における符号化について説明するための略線図である。
【図４】 この発明の一実施形態において生成される符号について説明するための略線図である。
【図５】 この発明の一実施形態における符号化の手順について説明するためのフローチャートの一部である。
【図６】 この発明の一実施形態における符号化の手順について説明するためのフローチャートの他の一部である。
【図７】 この発明の一実施形態における復号化の手順について説明するためのフローチャートの一部である。
【図８】 この発明の一実施形態における復号化の手順について説明するためのフローチャートの他の一部である。
【図９】 この発明の一実施形態における復号画像の一例を示す略線図である。
【図１０】 この発明の一実施形態における復号画像の他の一例を示す略線図である。
【図１１】 この発明の一実施形態における復号画像のさらに他の一例を示す略線図である。
【図１２】 原画像中の１個の画素と、符号中の２値化値の配列との対応関係について説明するための略線図である。
【図１３】 符号中の２値化値の配列と、復号画像中の１個の画素との対応関係について説明するための略線図である。
【図１４】 原画像、符号、および復号画像間の対応関係の一例を示す略線図である。
【図１５】 この発明を適用することが可能な情報システムの一例を示す略線図である。
【符号の説明】
１００・・・符号化部、１１０・・・一様分布乱数発生器、１２０・・・量子化器、２００・・・転送信号生成器、３００・・・復号化部、３１０・・・サンプリング回路、３２０・・・累積回路、３２０１・・・累積回数メモリバッファ、３２０２・・・累積回数メモリ、３２０３・・・自動設定回路３２０３、３３０・・・復号回路、３３０１・・・アドレス変換および割り算回路、３３０２・・・アドレス情報回路

Claims (21)

1. 一様乱数を発生する一様乱数発生部と、
   上記一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化する符号化部とを備えることを特徴とする符号化装置。
2. 上記一様乱数発生部は、上記各素値に対する複数回の符号化にそれぞれに対して異なる一様乱数を発生することを特徴とする特許請求の範囲第１項に記載の符号化装置。
3. 上記符号化部は、画像信号の 1 フレーム内の上記原画像信号の全画素値を１回づつ二値化する処理を繰返し行ない、順次符号化データとして出力することを特徴とする特許請求の範囲第１項に記載の符号化装置。
4. 上記符号化部は、所定範囲内の上記原画像信号の各素値に対して複数回連続して二値化する処理を順次行なうことを特徴とする特許請求の範囲第２項に記載の符号化装置。
5. 上記所定範囲は、上記原画像信号の１フレームであることを特徴とする特許請求の範囲第４項に記載の符号化装置。
6. 上記１つ以上のしきい値は、所定の原画像信号に対して固定数であることを特徴とする特許請求の範囲第１項に記載の符号化装置。
7. 上記原画像がディジタル画像信号であることを特徴とする特許請求の範囲第１項に記載の符号化装置。
8. 一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号から、上記原画像信号を復号する復号装置であって、
   上記原画像を復号する際の解像度を設定する設定部と、
   二値で構成される上記被符号化画像信号の上記符号化値を、上記設定した解像度に基づいて上記原画像信号における各画素位置に対応するもの毎に累積する累積部と、
   上記累積を行った回数を計数する計数部と、
   上記累積部によって累積された上記原画像信号の各画素に対する符号化値を、上記計数部で計数された回数で除算した値に基づいて上記設定した解像度における各画素値を復号する復号部とを備えることを特徴とする復号装置。
9. 上記被符号化画像信号の符号化値をサンプリングするサンプリング部をさらに備え、
   上記サンプリング部は、上記設定部で設定された解像度に応じて上記符号化値をサンプリングするサンプリング周期が可変に設定可能であり、
   上記累積部は、上記サンプリング部でサンプリングされた符号化値を累積することを特徴とする特許請求の範囲第８項に記載の復号装置。
10. 上記累積部による上記符号化値の累積を中断する制御部をさらに備えることを特徴とする特許請求の範囲第８項に記載の復号装置。
11. 上記制御部は、ユーザによる指示情報に基づいて上記累積部による上記符号化値の累積を中断することを特徴とする特許請求の範囲第１０項に記載の復号装置。
12. 上記制御部は、上記符号化値から上記原画像信号を復号した時の上記原画像信号の画質が予め定められた基準値以上となった時に、上記累積部による上記符号化値の累積を中断することを特徴とする特許請求の範囲第１０項に記載の復号装置。
13. 上記制御部は、上記計数部が上記原画像信号の各画素に対応する符号化累積部によって所定回数累積されたことを計数した時に、上記画質が上記基準値以上となったことを検出することを特徴とする特許請求の範囲第１２項に記載の復号装置。
14. 上記復号部は、予め設定された階調数を示す階調値に基づいて上記原画像信号を復号することを特徴とする特許請求の範囲第８項に記載の復号装置。
15. 上記階調値が可変であることを特徴とする特許請求の範囲第８項に記載の復号装置。
16. 上記原画像信号がディジタル画像信号であることを特徴とする特許請求の範囲第８項に記載の復号装置。
17. 上記符号化値は２値化値であること特徴とする特許請求の範囲第８項に記載の復号装置。
18. 一様乱数を発生するステップと、
    上記一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化するステップとを備えることを特徴とする符号化方法。
19. 一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号から、上記原画像信号を復号する復号方法であって、
    上記原画像を復号する際の解像度を設定するステップと、
    二値で構成される上記被符号化画像信号の上記符号化値を、上記設定した解像度に基づいて上記原画像信号における各画素位置に対応するもの毎に累積するステップと、
    上記累積を行った回数を計数するステップと、
    上記累積された上記原画像信号の各画素に対する符号化値を、上記計数された回数で除算した値に基づいて上記設定した解像度における各画素値を復号するステップとを備えることを特徴とする復号方法。
20. 一様乱数を発生するステップと、
    上記一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値と原画像信号の画素値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化するステップとをコンピュータに実行させるプログラムが記録されたことを特徴とする記録媒体。
21. 一様乱数を用いて設定される、原画像信号の階調範囲内の値をとる複数のしきい値との比較結果に基づいて当該画素値の二値化を行い、原画像信号の各画素値に対応する複数の二値化値の集合を符号化データとして符号化することにより生成された各画素値毎の符号化値を含む被符号化画像信号から、上記原画像信号を復号する処理をコンピュータに実行させるプログラムが記憶された記録媒体において、
    上記プログラムは、
    上記原画像を復号する際の解像度を設定するステップと、
    二値で構成される上記被符号化画像信号の上記符号化値を、上記設定した解像度に基づいて上記原画像信号における各画素位置に対応するもの毎に累積するステップと、
    上記累積を行った回数を計数するステップと、
    上記累積された上記原画像信号の各画素に対する符号化値を、上記計数された回数で除算した値に基づいて上記設定した解像度における各画素値を復号するステップとをコンピュータに実行させるプログラムが記録されたことを特徴とする記録媒体。

Images