JP4906603B2 - 圧縮画像伸張装置及び重畳画像データ処理装置 - Google Patents

Description

本発明は、圧縮された画像を伸張する圧縮画像伸張装置に関し、特に、重畳画像を効率的に処理する圧縮画像伸張装置に関する。
また、本発明は、重畳画像のデータ（重畳画像データ）の圧縮率を制御して、良好な重畳画像データの圧縮率を使用する重畳画像データ処理装置に関する。

例えば、監視システムでは、監視対象となる場所などの画像をカメラで撮像して、撮像した画像を画面に表示することが行われている。
一例として、複数の地点をカメラで監視する場合、各々の監視地点に設置したカメラの画像を１台の画像伸張装置へ伝送して、これら複数の画像を切り替えて見ること若しくは４分割画面などの手段で一度に見ることが行われる。この場合、いずれのカメラの画像がいずれの地点であるかを把握するために、各カメラの画像に監視地点を示す文字や記号や図柄などのデータを重畳することが行われる。例えば、カメラ番号に基づいて「カメラ１」などという文字若しくは監視場所に基づいて「正面ドア」などという文字を画像データに重畳することが行われる。

また、近年では、ネットワーク技術の発達により、監視画像データをネットワークで伝送することが行われる。一般に、画像データについては、画像圧縮技術との組み合わせで、伝送データ量の削減が行われる。画像データはデジタル処理されるが、デジタル化の恩恵として、画像データと各種のデジタルデータを同時に伝送することが可能である。画像圧縮方式としては、例えば、静止画像用の国際標準方式であるＪＰＥＧや、動画像用の国際標準方式であるＭＰＥＧ−４などがある。

特開平４−３１２０８９号公報

近年の画像圧縮技術では、人間の視覚特性を用いた画像圧縮方式が一般になっている。これは、画像の高周波成分を削除することでデータ量を削減する非可逆符号化の方式である。
しかしながら、画像データに重畳された文字や記号などのデータ（重畳データ）では、画像圧縮により高周波成分が削除されて、輪郭がぼやけてしまう。このため、細部が見づらくなり、圧縮率を高くすると読み取れないことがある。

また、重畳データが模様である場合には、その模様の情報が画面全体にちりばめられているようなこともあり、画像データと重畳データとを個別に配信するに際して、重畳データを受信側に伝送するだけで伝送路の伝送容量を圧迫してしまう。

一方、重畳データが文字である場合には、文字コードを伝送すればデータ量を削減できるが、この態様では、文字コードを受信する圧縮画像伸張装置側に文字フォントのデータを持たせておいて、文字コードに対応したフォントを圧縮データから伸張した画像に重畳することが必要となる。このフォントデータは、漢字の場合には、全ての第２水準の漢字コードといった通常使用しないようなフォントデータまで用意しておかなければ、どのような文字コードが伝送されるかが分からない状況に対応することができない。このため、圧縮画像伸張装置にはフォントデータ用の大容量の不揮発性メモリを搭載する必要があった。

以上のように、従来の圧縮画像伸張装置では、重畳画像を効率的に処理することに関して未だに不十分な点があった。
本発明は、このような従来の事情に鑑み為されたもので、重畳画像を効率的に処理することができる圧縮画像伸張装置を提供することを目的とする。
また、従来では、良好な重畳画像データの圧縮率を設定することについて十分な検討が為されていなかった。
本発明は、このような従来の事情に鑑み為されたもので、重畳画像データの圧縮率を制御して、良好な重畳画像データの圧縮率を使用することができる重畳画像データ処理装置を提供することを目的とする。

上記目的を達成するため、本発明では、圧縮された画像を伸張して得られた本体の画像と重畳画像を重ね合わせて出力する圧縮画像伸張装置において、次のような構成とした。
すなわち、画像伸張手段が、圧縮された画像を伸張する。重畳画像変換手段が、前記画像伸張手段により伸張された重畳画像のデータを重畳画像の出力用データへ変換する。重ね合わせ手段が、前記画像伸張手段により伸張された本体の画像の出力用データと前記重畳画像変換手段により変換された重畳画像の出力用データとを重ね合わせる。出力手段が、前記重ね合わせ手段により重ね合わされた結果の画像データを出力する。

従って、重畳画像を圧縮することにより重畳画像のデータ量を低減することができ、圧縮された重畳画像の伸張処理を圧縮された本体の画像の伸張処理と共通化することにより効率化を図ることができ、また、伸張された重畳画像のデータを重畳画像の出力用データへ変換することにより希望の重畳画像を得ることができる。このように、総じて、重畳画像を効率的に処理することができる。

ここで、圧縮画像伸張装置は、種々なシステムに適用されてもよく、例えば、監視カメラにより撮像された画像を処理する監視システムに適用することができる。
また、圧縮された本体の画像や圧縮された重畳画像は、例えば、外部（送信側）からネットワークを介して伝送されて圧縮画像伸張装置により受信されてもよく、或いは、外部の装置から直接的に圧縮画像伸張装置の記憶手段に書き込まれて記憶されてもよい。

また、本体の画像とは、重畳画像が重畳される画像のことであり、例えば、カメラにより撮像された画像など、種々なものが用いられてもよい。
また、重畳画像としては、種々なものが用いられてもよく、例えば、本体の画像或いはその送信側或いはそれを撮像するカメラなどに関する文字や模様などの情報を用いることができる。
また、圧縮伸張の方式としては、種々なものが用いられてもよく、例えば、非可逆的な方式が用いられる。

また、重畳画像のデータ（伸張結果のデータ）を重畳画像の出力用データ（例えば、１フレームの画像イメージ）へ変換する手法としては、種々なものが用いられてもよい。
また、本体の画像の出力用データ（例えば、１フレームの画像イメージ）と重畳画像の出力用データとを重ね合わせる態様としては、特に限定はなく、例えば、本体の画像の上に重畳画像が載せられて見えるような重ね合わせが行われる。
また、画像データを出力する態様としては、例えば、画面への表示出力、プリンタによる印刷出力、他の装置（記憶媒体等でもよい）へのデータ出力など、種々なものが用いられてもよい。

本発明に係る圧縮画像伸張装置では、一構成例として、次のような構成とした。
すなわち、前記重畳画像変換手段は、画素の値の範囲とその画素の表示態様との対応付けを記憶する変換対応記憶手段を有している。そして、前記重畳画像変換手段は、前記変換対応記憶手段に記憶された対応付けに基づいて、前記画像伸張手段により伸張された重畳画像のデータを、当該重畳画像のデータにおける各画素の値に対応した表示態様を反映した重畳画像の出力用データへ変換する。
この場合に、前記画素の値の範囲は、圧縮劣化により発生する各画素の値の変動（誤差）を吸収することが可能な範囲である。

従って、重畳画像の圧縮に起因する劣化により画素値の変動（誤差）が発生する場合においても、その変動を吸収することができるように、例えば、画素値の変動の範囲より広い範囲毎に画素の表示態様を対応付けておくことにより、圧縮劣化に関わらずに希望の重畳画像を本体の画像に重ね合わせることができる。

ここで、画素の表示態様としては、種々なものが用いられてもよく、例えば、白、黒、透明、他の色などの表示態様を用いることができる。また、点滅や、時間的に変化する画像などを用いることもでき、この場合には、例えば、その時間的な変化のタイミングを制御するタイミング制御手段を圧縮画像伸張装置に備える。

一構成例として、本発明に係る圧縮画像伸張装置が扱うことのできる圧縮された重畳画像には、重畳画像であることを示すフラグが付加される。そして、圧縮画像伸張装置は、圧縮された画像に付加されたフラグに基づいて、圧縮された画像が重畳画像であるか否かを判定する重畳画像判定手段を備える。

上記目的を達成するため、本発明では、本体の画像に重ね合わせる重畳画像のデータを圧縮して出力する重畳画像データ処理装置において、次のような構成とした。
すなわち、対応記憶手段が、画素の値の範囲とその画素の表示態様との対応付けを記憶する。取得手段が、重畳画像のデータを取得する。圧縮手段が、前記取得手段により取得された重畳画像のデータを可変な圧縮率で圧縮する。伸張手段が、前記圧縮手段により圧縮された重畳画像のデータを伸張する。一致度検出手段が、前記対応記憶手段の記憶内容に基づいて、前記圧縮手段により圧縮される前における重畳画像のデータの各画素の値に対応する表示態様と、前記圧縮手段により圧縮された後に前記伸張手段により伸張された重畳画像のデータの各画素の値に対応する表示態様との一致度を検出する。制御手段が、前記一致度検出手段により検出された一致度が所定の条件を満たすように前記圧縮手段の圧縮率を制御し、前記一致度検出手段により検出された一致度が所定の条件を満たす圧縮率で圧縮された重畳画像のデータを出力する。

従って、圧縮前における重畳画像の表示態様と圧縮伸張後における重畳画像の表示態様との一致度が所定の条件を満たして、例えば、これら両方の表示態様が同じになるように、重畳画像データの圧縮率を制御することにより、良好な重畳画像データの圧縮率を使用することができ、例えば、圧縮画像伸張装置において希望された表示態様で重畳画像を本体の画像に重ね合わせて表示などすることができる。

ここで、重畳画像のデータを取得する態様としては、種々な態様が用いられてもよく、例えば、重畳画像のデータそのものを外部から入力する態様や、重畳画像のデータそのものを人による操作により或いは自動的に内部で作成する態様や、又は、重畳画像の元となる画像を外部から入力してその画像を重畳画像のデータへ変換する態様や、重畳画像の元となる画像を人による操作により或いは自動的に内部で作成してその画像を重畳画像のデータへ変換する態様などを用いることができる。重畳画像の元となる画像としては、例えば、重畳画像の各画素における表示態様を一意に特定することができるようなものが用いられる。

また、重畳画像のデータの圧縮率としては、通常は、圧縮率が高いほど各画素の信号レベル（各画素の値）が劣化するため、必要であれば、圧縮率を低く変更することにより、圧縮伸張処理の前後における重畳画像の表示態様の一致度を高めることができる。
また、圧縮伸張処理の前後における重畳画像の表示態様の一致度が満たすべき所定の条件としては、種々な条件が用いられてもよく、例えば、全ての画素において表示態様が一致するといった条件を用いることができ、或いは、所定の割合以上の画素において表示態様が一致するといったように、より緩やかな条件を用いることも可能である。
また、圧縮された重畳画像データを出力する場合に、例えば、重畳画像であることを示す重畳フラグなどの情報が付加されてもよい。

なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置において各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置を構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータに実現させる。
本発明に係る記録媒体では、装置を構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の手順（処理）を当該コンピュータに実行させる。

以上説明したように、本発明に係る圧縮画像伸張装置によると、重畳画像を圧縮することにより重畳画像のデータ量を低減することができ、圧縮された重畳画像の伸張処理を圧縮された本体の画像の伸張処理と共通化することにより効率化を図ることができ、また、伸張された重畳画像のデータを重畳画像の出力用データへ変換することにより、例えば圧縮劣化に関わらずに、希望の重畳画像を得ることができる。このように、総じて、重畳画像を効率的に処理することができる。

また、本発明に係る重畳画像データ処理装置によると、圧縮前における重畳画像の表示態様と圧縮伸張後における重畳画像の表示態様との一致度が所定の条件を満たすように重畳画像データの圧縮率を制御することにより、良好な重畳画像データの圧縮率を使用することができる。

本発明に係る実施例を図面を参照して説明する。

本発明の第１実施例を説明する。
図１には、本発明の一実施例に係る画像重畳機能付きの圧縮画像伸張装置１の一例を示してある。
本例の圧縮画像伸張装置１は、監視システムに設けられており、モニタ２と接続されているとともに、ネットワーク３と接続されている。
本例の圧縮画像伸張装置１は、画像伸張部１１と、重畳フラグ検出部１２と、伸張データ切り替え器１３と、ライブ画像用フレームメモリ１４と、重畳画像変換器１５と、重畳画像用フレームメモリ１６と、表示タイミング発生器１７と、重ね合わせ器１８と、画像表示用フレームメモリ１９と、制御ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０を備えている。

本例の圧縮画像伸張装置１において行われる動作の一例を示す。
本例では、第１の画像（本体の画像と言う）に第２の画像（重畳画像と言う）を重ね合わせて表示する場合を示す。
圧縮された画像のデータである画像圧縮データを含む配信データが、ネットワーク３を介して画像伸張部１１及び重畳フラグ検出部１２に入力される。
ここで、画像としては、本体の画像又は重畳画像のいずれかが配信データに含まれており、重畳画像が含まれる場合には所定の情報を有するフラグ（重畳フラグ）が配信データに含められる。

画像伸張部１１は、入力された配信データに含まれる画像圧縮データに対して画像伸張処理を実行し、伸張した画像のデータを伸張データ切り替え器１３へ出力する。
重畳フラグ検出部１２は、入力された配信データ内の画像圧縮データの構造を解析し、特定箇所に埋め込まれた重畳フラグの有無を検出する。そして、重畳フラグ検出部１２は、検出された重畳フラグの有無を示す信号を重畳フラグ検出信号として伸張データ切り替え器１３へ出力する。

伸張データ切り替え器１３は、画像伸張部１１から入力された伸張後の画像のデータを、ライブ画像用フレームメモリ１４と重畳画像変換器１５とのいずれか一方に出力し、この場合に、重畳フラグ検出部１２から入力された重畳フラグ検出信号に基づいて出力先を切り替える。本例では、重畳フラグ検出部１２により画像圧縮データに重畳フラグが付加されていることが検出された場合には伸張画像データを重畳画像変換器１５へ重畳画像作成用データとして出力する一方、重畳フラグが付加されていない通常の画像圧縮データである場合には伸張画像データをライブ画像用フレームメモリ１４へ出力するように構成されている。

ライブ画像用フレームメモリ１４は、伸張データ切り替え器１３から入力された画像データ（ネットワーク３を介して配信された本体の画像データ）を１枚（１フレーム）の画像データとしていったん格納した後に、ライブ画像として重ね合わせ器１８へ出力する。

重畳画像変換器１５は、伸張データ切り替え器１３から入力された重畳画像作成用データに対して所定の変換処理を行うことで、重畳画像のデータを取得し、この重畳画像のデータを重畳画像用フレームメモリ１６へ出力する。
また、重畳画像変換器１５は、重畳画像について点滅などに関する表示タイミングの制御が必要である場合には、その表示タイミングの情報を含む重畳情報を表示タイミング発生器１７へ出力する。

重畳画像用フレームメモリ１６は、重畳画像変換器１５から入力された画像データ（ネットワーク３を介して配信された重畳画像データ）を１枚（１フレーム）の画像データとしていったん格納した後に、重畳画像として重ね合わせ器１８へ出力する。
本例では、重畳画像用フレームメモリ１６に格納されるデータは、そのまま画面に表示することができる画素データの並びになっている。

また、重畳画像用フレームメモリ１６は、本例では、複数のフレームメモリを有しており、表示タイミング発生器１７からフレームメモリ切り替えタイミング信号が入力される場合には、入力されたフレームメモリ切り替えタイミング信号に基づいて、出力元となるフレームメモリを切り替える。
このように、重畳画像用フレームメモリ１６は、複数枚で構成されてもよい。複数の重畳画像を保持することで、例えば、タイムコードや点滅表示のように時間で切り替わる重畳表示に対応することができ、また、複数の入力（例えば、複数のカメラ入力）に対応することも可能である。

制御ＣＰＵ２０は、各種の処理や制御を行う機能を有している。
一例として、ネットワーク３を介して入力された重畳画像のデータではなく、制御ＣＰＵ２０がソフトウエアで作成した画像データを重畳画像用フレームメモリ１６に書き込んで重畳画像のデータとして使用することも可能であり、このように本例の圧縮画像伸張装置で重畳データを作成することも可能である。

重ね合わせ器１８は、ライブ画像用フレームメモリ１４から画像データを入力するとともに、重畳画像用フレームメモリ１６から画像データを入力し、これら２つの画像データを重ね合わせて１枚（１フレーム）の画像データとして、画像表示用フレームメモリ１９へ出力する。
表示タイミング発生器１７は、画像表示タイミング信号を画像表示用フレームメモリ１９へ出力する。これにより、画像表示用フレームメモリ１９内の画像データを表示画像としてモニタ２へ出力するタイミング（例えば、表示のための同期のタイミング）を管理する。

また、表示タイミング発生器１７は、重畳画像変換器１５から入力された重畳情報に基づいて、重畳画像用フレームメモリ１６のフレームメモリの切り替えタイミングを制御する必要がある場合には、その切り替えタイミングを示すフレームメモリ切り替えタイミング信号を重畳画像用フレームメモリ１６へ出力する。
この場合、表示タイミング発生器１７は、フレームメモリ切り替えタイミング信号及び画像表示タイミング信号といった２つの信号を用いて、複数枚ある重畳画像用フレームメモリ１６の切り替えを管理するとともに、画像表示用フレームメモリ１９内の画像データを表示画像としてモニタ２へ出力するタイミングを管理する。これにより、例えば、タイムコード表示の切り替えや点滅表示のタイミングが、モニタ２の表示と同期するようになる。

具体的には、一例として、重畳画像を所定の周期（例えば、１秒毎など）で点滅表示させることが重畳情報により示された場合には、その周期毎に、重畳画像が格納されたフレームメモリと格納されていないフレームメモリとを交互に切り替えることで、表示において重畳画像を点滅表示（例えば、白と透明との反転、或いは、黒と透明との反転、或いは、白と黒との反転など）させることができる。
また、他の一例として、タイムコードのように所定のタイミング毎に時間的に変化する重畳画像を表示させることが重畳情報により示された場合には、複数のフレームメモリに順次切り替えるべき重畳画像を格納して、所定のタイミング毎に出力元となるフレームメモリを順次切り替えることにより、時間的に変化する重畳画像を表示することができる。

なお、重畳画像の点滅表示などを実現するための構成としては、必ずしも、本例のように重畳画像用フレームメモリ１６のフレームメモリの切り替えが用いられなくてもよく、例えば、重畳画像の出力経路をオンオフ切替することにより点滅表示を実現する構成のように、種々な構成が用いられてもよい。
また、一構成例として、同一の重畳画像に関して、２つのフレームメモリを用意して、入力用と出力用とで交互に切り替えて使用することにより、入出力を同時に行うことも可能である。

画像表示用フレームメモリ１９は、重ね合わせ器１８から入力された画像データをいったん格納した後に、表示タイミング発生器１７から入力された画像表示タイミング信号に基づいて、表示画像としてモニタ２へ出力する。
モニタ２は、画像表示用フレームメモリ１９から入力された画像データを画面に表示する。

ここで、複数の送信側（例えば、監視のためのカメラ）がネットワーク３を介して本例の圧縮画像伸張装置１に接続される場合に、重畳画像用フレームメモリ１６において、各送信側毎にフレームメモリを備える構成とすることも可能である。なお、必要であれば、１つの送信側について複数のフレームメモリが備えられてもよい。
各送信側は、当該各送信側から出力される画像のデータに付加される識別情報（例えば、各カメラのＩＰアドレス）により特定され、本例では、制御ＣＰＵ２０が、ネットワーク３から入力された画像データに付加された識別情報に基づいて発信元となる送信側（例えば、カメラ）を識別して、その送信側に対応したフレームメモリが重畳画像用フレームメモリ１６において使用されるように切り替える。

具体的には、一例として、複数の送信側の各々から受信した重畳画像のデータを各送信側に対応したフレームメモリに格納しておいて、或る送信側から本体の画像データを受信した場合には、制御ＣＰＵ２０が、その本体の画像データに付加された識別情報に対応した送信側のフレームメモリに格納された最新の重畳画像を重ね合わせるように、重畳画像用フレームメモリ１６のフレームメモリを切り替える。
また、他の一例として、１つの送信側について、複数の重畳画像を切り替えることが行われてもよい。この場合には、例えば、１つの送信側に関する複数の重畳画像の各々に識別子（ＩＤ）を付けておいて、その送信側から送信する本体の画像データに重ね合わせるべき重畳画像の識別子を付加し、制御ＣＰＵ２０が、ネットワーク３から入力されたその本体の画像データに付加された識別子に基づいて、その識別子に対応した重畳画像を重ね合わせるように、重畳画像用フレームメモリ１６のフレームメモリを切り替える。

次に、重畳画像について詳しく説明する。
本例では、カメラなどを備えた送信側の装置がネットワーク３に接続されており、圧縮した画像のデータとして、本体の画像のデータと重畳画像のデータをそれぞれ任意のタイミング（例えば、別々のタイミング）で本例の圧縮画像伸張装置１に宛てて送信する。
送信側の装置としては、例えば、パーソナルコンピュータなどからなる設定用端末装置などを用いることができる。

本体の画像のデータとしては、例えば、送信側のカメラにより撮像された画像のデータが用いられる。
また、重畳画像のデータは、例えば、送信側において作成される。
具体的には、重畳画像のデータとしては、カメラの名称やタイムコードなどを画面表示するための文字フォントのデータや、模様などのグラフィックデータなどを含むデータを用いることができる。

図２には、画像圧縮データの構成例を示してある。本例では、本体の画像や重畳画像として、静止画像をＪＰＥＧ方式で圧縮したものを用いている。
本例の画像圧縮データは、ユーザデータヘッダ３１と、ユーザデータ領域３２と、圧縮データヘッダ３４と、画像圧縮データ領域３５から構成されている。

ここで、ＪＰＥＧやＭＰＥＧ−４などの画像圧縮データでは、ユーザ独自のデータを格納する領域（ユーザデータ領域３２）を付加することができる。
本例では、ユーザデータ領域３２に、所定の情報を有する重畳フラグ３３が含められている。この重畳フラグ３３は、例えば、送信側のアプリケーション又はカメラにより生成されて画像圧縮データに含められる。また、重畳フラグ３３の情報としては、送信側と受信側（本例では、圧縮画像伸張装置１）において、予め共通の情報が設定される。

各データの先頭には、ヘッダと呼ばれる先頭位置を示す特定コードが付加されている。画像伸張処理では、このヘッダを検出することで、そのヘッダの後ろに続く各種のデータを解析して、圧縮データの伸張を行う。このヘッダの一種としてユーザデータ用のヘッダ（ユーザデータヘッダ３１）があり、そのユーザデータヘッダ３１から次のヘッダまでの間は、ユーザ独自のデータを格納することができる。本例では、そのユーザデータ領域３２の中に重畳フラグ３３を格納する。

重畳フラグ３３の役割は、ユーザデータ以降の画像圧縮データが重畳画像データであるか否かを判断するための情報を示すことである。本例では、例えば、カメラで撮影したライブ画像も、タイムコード表示などを埋め込んだ重畳画像も、同様に扱っており、同様に画像圧縮処理を行うため、このままでは圧縮画像伸張装置１においてライブ画像（本体の画像）と重畳画像との区別が付かない。このため、重畳フラグ３３が必要になる。
なお、重畳フラグ３３の位置やデータの内容としては、特に限定はなく、ユーザ独自のものでも構わず、重畳フラグ３３を付ける側と検出する側とで同じアルゴリズムを採用すればよい。

また、１つの送信側（例えば、カメラ）について複数の重畳情報を識別子により識別する場合には、その識別子の情報をユーザデータ領域３２に含めることも可能である。
また、送信側から図２に示される画像圧縮データが送信される際には、更にその外側のヘッダに送信側の識別情報（例えば、カメラの識別情報）が付加される。
なお、本例では、静止画のＪＰＥＧフォーマットの例を示したが、他の構成例として、放送用のトランスポートストリームなど、任意のフォーマットが用いられてもよい。

次に、重畳画像変換器１５により行われる動作について詳しく説明し、重畳画像について更に詳しく説明する。
まず、図３（ａ）、（ｂ）を参照して、画素データと量子化の関係について説明する。
図３（ａ）には、量子化前の画素データの値（横軸）と、量子化後の画素データの値（縦軸）との関係を示してある。本例では、量子化後の値が８段階となっている。
図３（ｂ）には、画像圧縮後について、圧縮前の画素データの値（横軸）と、圧縮後の画素データの値（縦軸）との関係を示してある。本例では、圧縮後の値が４段階となっている。

画像データの１つの画素（ここでは、輝度成分についてのみ述べる）の明るさを示すレベルを８ビットで表すと、０〜２５５までの２５６段階のデジタルデータで表すことができる。これを８ビットの量子化と言う。この画像データに対して画像圧縮処理を行うと、実際のビット数は更に減少する。仮に圧縮劣化により、１６段階までしかデジタルデータで表すことが出来なくなった時、４ｂｉｔの量子化を行ったのと同様であることから、これ以降「４ビットの量子化に相当する圧縮」と称する。例えば、４ビットの量子化に相当する圧縮が行われたとすると、２５６段階ある画素データは、１６種類の情報しか表すことが出来ない。

図３（ａ）では、画素データのレベルが３ビットの量子化により８段階で表されている場合を示している。この階段状のグラフは、例えば、量子化前に画素データの値が２.０〜２.９の間の値であったとすると、量子化後の値は全て２になることを示す。更に、この画像データに対して２ビットの量子化に相当する圧縮処理を行ったとすると、図３（ｂ）に示されるように４段階になる。圧縮前に２.０〜３.９の間の値であったとすると、圧縮後の値は全て２になる。このように、圧縮前では３ビットの画素データにより０〜７までを表すことができるが、圧縮後の値の種類は、０、２、４、６の４種類しかない。つまり、圧縮処理により情報量が削減されている。
なお、本例では、画素データの値を０．１ずつの間隔で扱っている。

このような量子化の動作をふまえて、重畳画像について述べる。
例えば、重畳するデータがタイムコードや文字などである場合には、白と黒の２色があれば十分である。また、カメラからの画像データをそのまま出力する箇所は、重畳データを透明と定義すればよい。更に、重畳データの表示にアクセントを付けるために、文字などを点滅させることが考えられる。このような最低限の重畳データを用いる構成であるときには、必要となるのは、白、黒、透明、点滅の４種類を判別できる情報であり、この情報を画像の各画素毎に付加すればよい。

このように、各画素毎の情報を本体の画像（例えば、カメラ画像）と同等な画素数分だけ集めた情報が重畳画像のデータである。通常、この重畳データの並びは、文字領域や透明領域といったように画像の一部分に連続して分布するため、重畳データに対して画像圧縮処理を行うとデータ量を削減することができる。

仮に、上記した４種類を示すために、各画素毎に、０は白、１は黒、２は透明、３は点滅と定義した値を付けていくとする。
しかしながら、上記の定義に従った重畳データを圧縮した場合には、２ビットの量子化に相当する圧縮であると、１は０になり、３は２になってしまう。これでは、重畳画像に対して伸張処理を行っても、白と黒、透明と点滅の区別が付かなくなる。
そこで、本例では、０は白、２は黒、４は透明、６は点滅と定義する。この定義の重畳データに対して画像圧縮処理及び画像伸張処理を行ったデータは、量子化の影響を受けず、上記の定義と変わらない重畳データを得ることができる。

これを一般式に置き換えて説明する。
送信側の画像（例えば、カメラ画像）を量子化してデジタルデータ化するときに、ｎビットで量子化するとする。これに対して、圧縮処理がｍビットの量子化に相当するとした場合には、重畳データの白や黒などの情報としては（２のｍ乗）の個数だけ定義することができる。

また、１つの情報を振り分ける値の間隔は、
（２のｎ乗）／（２のｍ乗）＝（２の（ｎ−ｍ）乗）
で表すことができる。
例えば、図３（ｂ）に示される場合では、１つの情報を振り分ける値の間隔は２となり、具体的には、「白」の情報は２未満の値である０．０〜１.９の値をとり、「黒」の情報は２．０〜３．９の値をとり、「透明」の情報は４．０〜５．９の値をとり、「点滅」の情報は６．０〜７．９の値をとる。このように、重畳データの各情報は、２ずつの間隔で情報が配置される。

重畳画像変換器１５は、上記の定義に則って、入力された重畳画像作成用データから各画素の値を読み込み、読み取った各画素の情報が白、黒、透明、点滅のうちのいずれの情報であるかを判断して、それを反映した重畳画像を作成する。また、重畳画像変換器１５は、点滅などのように時間経過で変化する重畳データを表示する場合には、その表示タイミングを特定することが可能な情報を含む重畳情報を表示タイミング発生器１７へ出力する。

ここで、一例として、重畳画像変換器１５は、重畳画像作成用データから得られる各画素の値（本例では、値の範囲）と、その表示態様（本例では、白、黒、透明、点滅）とを対応付けるテーブルをメモリに記憶しており、このテーブルの内容に基づいて、各画素の値に対応する表示態様を特定する。このテーブルの内容は、送信側と受信側（本例では、圧縮画像伸張装置１）とで共通な内容が把握されている。

また、重ね合わせ器１８は、重畳画像の表示態様が実現されるように、ライブ画像（本体の画像）と重畳画像とを重ね合わせる。
具体例として、２５６階調の場合には、重ね合わせ器１８では、重畳画像が白である画素の値を２５０にし、重畳画像が黒である画素の値を１６にし、重畳画像が透明である画素の値については何もせず（つまり、ライブ画像のままとし）、重畳画像が点滅である画素については所定のタイミング毎に白黒の置き換えなどの処理を行わせる。ここで、透明は、重畳情報を載せないところである。また、本例では、白の画素値を２５０とし、黒の画素値を１８としたが、これは一例であり、特に限定はない。

送信側では、上記の定義に則って希望の重畳画像が実現されるように、圧縮画像伸張装置１へ送る重畳画像のデータを作成する。
例えば、図３（ｂ）に示される場合では、重畳画像の特徴として、白は０．０〜１.９の範囲の画素レベルであればよく、黒は２.０〜３.９の範囲の画素レベルであればよいなどに基づいて、重畳したい画像パターンを上記の定義に従った画素レベルで作成して、カメラで撮影することにより、重畳画像として使用することができる。なお、白なら１．０、黒なら３．０などといったように、画素レベルの範囲の中央付近の値を用いると、より確実である。

そして、送信側では、このようにして作成された重畳画像に対して画像圧縮処理を行い、ユーザデータ領域３２に重畳フラグ３３を付加したものを配信データとしてネットワーク３経由で圧縮画像伸張装置１へ伝送することにより、容易に重畳画像を実現することができる。
なお、近年のパーソナルコンピュータ用のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）では、標準で、ＪＰＥＧ方式で記録が可能な画像編集ソフトウエアが付属しているため、このソフトウエアを用いて上記の定義に従った重畳画像を作成してＪＰＥＧ方式で記録することが可能である。このようなデータに重畳フラグ３３を付加して配信することで、重畳画像として使用することができる。

ここで、重畳情報としては、種々なものが用いられてもよく、例えば、色を付けることも可能である。この場合、色の数としては、透明を含めて、最大で上記の定義にある（２のｍ乗）の種類だけ使用することができる。また、それ以外に半透明やグレースケールなどの明るさを数段階に変化させて使用することもできる。

また、本例では、送信側から受信側（本例では、圧縮画像伸張装置１）へ配信データを伝送する構成を示したが、必ずしもこのような伝送が用いられなくてもよく、他の構成例として、圧縮画像伸張装置１に内蔵したハードディスクやシリコンメモリなどの蓄積装置から読み出した画像（本体の画像）のデータや重畳画像のデータを用いて、画像伸張部１１や重畳フラグ検出部１２に入力するような構成を用いることもできる。

以上のように、本例の圧縮画像伸張装置１では、画像圧縮データに対して伸張処理を行う画像伸張部１１と、伸張した画像（本体の画像）のデータを蓄積するライブ画像用フレームメモリ１４と、この画像データに文字や図柄を重畳するための重畳画像のデータを蓄積する重畳画像用フレームメモリ１６と、この画像データと重畳画像データとを重ね合わせる重ね合わせ器１８と、この重ね合わせ結果の画像をモニタ表示タイミングに合わせて出力する画像表示用フレームメモリ１９と、その表示タイミングの制御を行う表示タイミング発生器１７と、重畳画像を作成する機能を有する制御ＣＰＵ２０を備え、更に、画像伸張処理されたデータに基づいて重畳画像を取得して重畳画像用フレームメモリ１６に蓄積する重畳画像変換器１５を備えた。

また、本例の圧縮画像伸張装置１では、更に、画像伸張部１１により伸張される画像が重畳画像であるか否かを判定する重畳フラグ検出部１２と、画像伸張部１１により伸張された画像のデータの出力先を切り替える伸張データ切り替え器１３を備え、重畳画像を圧縮したデータのユーザデータ領域３２に付加される重畳フラグ３３の有無を検出し、重畳フラグ３３が検出された場合には伸張画像データを重畳画像用フレームメモリ１６に蓄積する。

また、本例の圧縮画像伸張装置１では、重畳画像の各画素に対応する情報が、圧縮処理により情報が削減されても画像伸張後のデータから希望の情報を認識することができる画素レベルで構成されている。具体的には、例えば、画像圧縮の量子化により削除されるデジタルデータのビット数よりもビット数が多いデータレベル範囲に分散して配置した情報で構成した重畳画像を使用している。

従って、本例の圧縮画像伸張装置１では、重畳画像のデータに対して画像圧縮処理を行って圧縮画像伸張装置１に伝送或いは蓄積などすることにより、重畳画像のデータ量を削減することができる。これに際して、圧縮データ上に設けられたユーザデータ領域３２に重畳画像のデータであるか否かを判断するための重畳フラグ３３を付加することにより、通常の監視画像（本体の画像）の圧縮データと重畳画像の圧縮データとを区別することができる。また、重畳画像の各画素の信号レベルを画像圧縮時の量子化ステップより広いレベル幅で区切り、この各ステップ（各レベル幅）毎に、白、黒、透明、点滅などの重畳データ用の属性を割り当てることにより、重畳画像のデータが画像圧縮による劣化の影響を受けないようにすることができる。

このように、本例では、画像の非可逆圧縮方式を本体の画像と重畳画像の両方に共通に使用し、また、画像圧縮を行っても希望の重畳画像の画素情報を取得することが可能な重畳データを使用し、また、重畳フラグ３３を組み合わせて用いることにより、重畳データのデータ量を削減することができ、且つ、圧縮劣化の影響を受けない重畳データを使用することができ、また、本体の画像と重畳画像とを識別することができる。

なお、本例の圧縮画像伸張装置１では、画像伸張部１１により圧縮された本体の画像や圧縮された重畳画像を伸張する機能により画像伸張手段が構成されており、重畳画像変換器１５により伸張された重畳画像のデータを表示用の重畳画像のデータへ変換する機能により重畳画像変換手段が構成されており、重ね合わせ器１８により表示用の本体の画像と表示用の重畳画像とを重ね合わせる機能により重ね合わせ手段が構成されており、画像表示用フレームメモリ１９を介して表示用の画像（重ね合わせ結果の画像）を出力する機能により出力手段が構成されている。また、本例では、重畳画像の伸張結果における画素値の範囲と画素の表示態様（本例では、白、黒、透明、点滅）との対応付けをテーブルとして例えば重畳画像変換器１５のメモリに記憶する機能により変換対応記憶手段が構成されている。また、本例では、表示タイミング発生器１７により画像の表示のタイミングを制御する機能によりタイミング制御手段が構成されており、重畳フラグ検出部１２により伸張された画像が重畳画像であるか否かを判定する機能により重畳画像判定手段が構成されている。

本発明の第２実施例を説明する。
例えば、上記した第１実施例に示したような画像重畳機能付きの圧縮画像伸張装置１を用いることで、画像データに重畳するデータを効率的に扱うことができる。
上記した第１実施例に示したような画像重畳機能付きの圧縮画像伸張装置１による重畳データは、画像データの各画素に対応する位置のデジタル値が、通常の画像表示に使われる輝度や色差とは異なる値をとるため、重畳データを画像データと同様には視覚的に見ることができない。このため、重畳データの作成については、例えばデジタル画像編集ソフトを使用するような、視覚的な手段を用いた作成では困難である。
また、本例の重畳データは、画像データと同様に画像圧縮処理を用いてデータ量を削減することを特長とするが、圧縮率の設定によっては量子化ステップに相当するデジタル値の幅を超えてしまい、圧縮後のデータ値が重畳データの要素とは変わってしまって、例えば白や黒や透明や点滅といった属性が変わってしまうことが考えられる。これは、圧縮率を高くするほど発生すると考えられる。

以下で、本発明の一実施例に係る重畳画像データ処理器について説明する。
なお、本例の重畳画像データ処理器の機能は、例えば、上記した第１実施例に示される圧縮画像伸張装置１に対して重畳画像データを供給する装置に設けられ、一例として、ネットワーク３を介して圧縮画像伸張装置１に対して本体の画像や重畳画像の配信データを送信する送信側の装置（例えば、カメラを備えた装置）に設けられる。
また、例えば、圧縮画像伸張装置１に対して本体の画像を供給する装置（例えば、カメラ）と重畳画像を供給する装置が別々に設けられてもよい。

図５には、本例の重畳画像データ処理器において行われる重畳画像データの処理の動作の一例を示してある。
本例では、画像圧縮方式としてＪＰＥＧ方式を用いた場合を説明する。圧縮率はＱ値により定まり、Ｑ値が大きいほど高圧縮になる。
また、本例では、ＸとＹは重畳画像データの各画素の横方向と縦方向の位置を示し、横方向Ｘは０〜Ｘmaxまでの値をとり、縦方向Ｙは０〜Ｙmaxまでの値をとる。Ｓ（Ｘ、Ｙ）は、画素位置（Ｘ、Ｙ）における重畳画像データを圧縮する前のデジタル値を示す。Ｊ（Ｘ、Ｙ）は、圧縮データに対して伸張処理を行った後の画素位置（Ｘ、Ｙ）におけるデジタル値（重畳画像データ圧縮伸張後のデジタル値）を示し、本例では、これを伸張重畳データＪ（Ｘ、Ｙ）と呼ぶ。

まず、図５に示される各処理ステップ毎の動作を説明する。
重畳データ入力の処理（ステップＳ１）では、重畳画像データの元になる画像データを外部から入力する。本例では、この入力される画像データとして、重畳画像の白や黒や透明や点滅などといった画面の状態（本例では、属性と称する）を視覚的に描いたデジタルデータを用いている。

例えば、重畳画像の属性が白、黒、透明、点滅の４種類あるとする。この場合、画像データの白く塗った画素は重畳画像データの白に対応し、黒く塗った画素は重畳画像データの黒に対応し、灰色に塗った部分は重畳画像データの透明に対応し、赤く塗った画素は重畳画像データの点滅に対応すると定義する。この画像データの（白、黒、灰色、赤）という視覚的なデジタルデータと、重畳画像の（白、黒、透明、点滅）といった４種類の属性との対応付けに従って、各画素データの変換処理を行う。この変換後のデータは、白や黒や透明や点滅といった各属性に割り当てられた信号レベルに従った重畳画像データになる。各属性の信号レベルについては、Ｊ（Ｘ、Ｙ）信号レベル判定の処理（ステップＳ５）に関して後述する。

Ｑ値初期化の処理（ステップＳ２）では、圧縮率を決定するＱ値を最も圧縮率が高い値に初期化する。本例では、Ｑの最大値をＱｍａｘとし、ＱｍａｘをＱに代入する。
ＪＰＥＧ圧縮伸張の処理（ステップＳ３）では、重畳画像データＳ（Ｘ、Ｙ）に対して圧縮処理を行い、圧縮データを出力する。この圧縮データをメモリに一時的に蓄積する。同時に、蓄積した圧縮データに対して伸張処理を行い、伸張重畳データＪ（Ｘ、Ｙ）を出力する。

ＸＹ初期化の処理（ステップＳ４）では、処理する対象となる画素位置（Ｘ、Ｙ）の変数ＸとＹをゼロに初期化する。
Ｊ（Ｘ、Ｙ）信号レベル判定の処理（ステップＳ５）では、伸張重畳データＪ（Ｘ、Ｙ）の信号レベルが圧縮劣化により変化することで、白や黒や透明や点滅といった各属性の割り当てが、圧縮前の各属性と変わっていないか否かを判断する。この動作の詳細については後述する。

Ｑ値減算の処理（ステップＳ６）では、現在のＱ値からある値αを減算して、Ｑ値を更新する。これによりＱ値が小さくなることから、圧縮率が低くなる。Ｑ値から減算する値αとしては、任意の値が用いられてもよく、例えば、使用する圧縮方式の特性から、圧縮率をどの程度変化させれば圧縮データの信号レベルがどの程度変化するかという情報や、白や黒や透明や点滅といった各属性のステップ幅に基づいて、算出することができる。
例えば、圧縮率の変化が小さく何度もＱ値を減算して圧縮処理を繰り返すことが許されるならば、減算する値αを最小値（例えば、１）にすればよい。一方、圧縮処理の繰り返しの回数を減らすためには、信号レベルの変化が１つのステップ幅を飛び越えない範囲内で、減算する値αを例えば１より大きくして圧縮率を下げればよい。

ＸＹ最大値判定の処理（ステップＳ７）では、ＸとＹの値が共に最大値であるＸｍａｘとＹｍａｘに等しくなったか否かを判定する。ＸとＹはＸＹ初期化の処理（ステップＳ４）により共にゼロから始まっており、（Ｘ、Ｙ）が（Ｘｍａｘ、Ｙｍａｘ）に等しいということは、１フレーム内の全ての画素に対して処理が完了したことを示す。
ＸＹ更新の処理（ステップＳ８）では、ＸとＹの値を次の処理すべき画素位置を示すように更新する。このＸとＹの更新方法としては、種々な方法が用いられてもよく、具体例として、Ｙを固定したままＸを１増やし、ＸがＸｍａｘに等しい場合のみＸをゼロにして同時にＹを１増やす方法を用いることができる。つまり、Ｘ方向に１ずつ画素位置を移動していき、Ｘ方向で最大に移動したらＸをゼロに戻してＹ方向に１つ移動する。

重畳フラグ付加の処理（ステップＳ９）では、重畳画像を圧縮したデータのユーザデータ領域に、その圧縮データが重畳画像データであることを示す重畳フラグを付加する。例えば、ＪＰＥＧやＭＰＥＧ−４などの画像圧縮データでは、ユーザ独自のデータを格納する領域を付加することができる。

ここで、図２には、画像圧縮データのデータ構造の一例が示されている。なお、このデータ構造については上記した第１実施例で述べた通りである。
例えば、ユーザデータヘッダ３１から次の圧縮データヘッダ３４までの間にはユーザデータ領域３２があり、その中に重畳フラグ３３が格納される。そして、重畳フラグ３３は、ユーザデータ以降にある画像圧縮データ領域３５のデータが重畳画像データであるか否かを識別する情報となる。
この重畳フラグ３３が付加された重畳画像データの圧縮データを重畳画像データ処理器の外部へ出力する。この出力先に接続するものとしては、例えば、本例の重畳画像を扱うことが可能な圧縮画像伸張装置（例えば、図１に示される圧縮画像伸張装置１）や、記録装置や、伝送するための例えばネットワーク（例えば、図１に示されるネットワーク３）のように、デジタルデータを扱うことができる圧縮画像伸張装置や記録装置や伝送装置の全般がある。

次に、図５に示される各処理ステップの動作の流れを説明する。
初めに、重畳データ入力の処理（ステップＳ１）において、視覚的に描かれた画像データから変換処理を行った重畳画像データＳ（Ｘ、Ｙ）を作成する。この画像データとしては、例えば、コンピュータの画像編集ソフトなどにより出力した画像データを使用することができる。若しくは、重畳画像データの属性である白や黒や透明や点滅といった特徴に特化した画像編集機能を持つ専用ソフトを用意してもよい。

そして、Ｑ値初期化の処理（ステップＳ２）で、圧縮率が最高になるようにＱ値を最大値のＱｍａｘにする。
ＪＰＥＧ圧縮伸張の処理（ステップＳ３）で、Ｓ（Ｘ、Ｙ）の画素データを画像データとして画像圧縮処理を行い、それを伸張することで、伸張重畳データＪ（Ｘ、Ｙ）を作成する。このＪ（Ｘ、Ｙ）は最高の圧縮率で圧縮処理された後のデータであるため、各画素の信号レベルが圧縮劣化により変化している。

この各画素の信号レベルが、白や黒や透明や点滅といった各属性の割り当てと異なる信号レベルになっているか否かの判断を以下の処理で行う。
ＸＹ初期化の処理（ステップＳ４）で、ＸとＹをゼロにして、重畳画像の先頭の画素位置にＸとＹを位置づける。
次に、Ｊ（Ｘ、Ｙ）信号レベル判定の処理（ステップＳ５）により、現在の（Ｘ、Ｙ）の画素位置についてＳ（Ｘ、Ｙ）の信号レベルとＪ（Ｘ、Ｙ）の信号レベルを比較する。例えば、Ｓ（Ｘ、Ｙ）の画素の属性が「透明」であったときに、Ｊ（Ｘ、Ｙ）の画素の属性が他の属性（例えば、「黒」）に判断される信号レベルであると、この判断処理により「偽」と判定する一方、Ｊ（Ｘ、Ｙ）の画素の属性が同じ属性（ここでは、「透明」）に判断される信号レベルであると、この判断処理により「真」と判定する。また、ここで例示した「透明」以外の他の属性についても同様な判定を行う。
この圧縮伸張処理による信号レベルの変化についての詳細については後述する。

Ｊ（Ｘ、Ｙ）信号レベル判定の処理（ステップＳ５）で「真」と判定された場合には、各画素毎の判定処理を続行するために、ＸＹ最大値判定の処理（ステップＳ７）を行う。ＸとＹが共に最大値であった場合には、重畳画像データの１フレームの画素の全てに対してＪ（Ｘ、Ｙ）信号レベル判定の処理結果が「真」であったことになるため、この重畳画像データＳ（Ｘ、Ｙ）の圧縮データにより、伝送先のデコーダ（例えば、図１に示される圧縮画像伸張装置１）で白や黒や透明や点滅といった各属性の判断を間違えることなく伸張重畳データＪ（Ｘ、Ｙ）を生成することができることになる。そこで、この重畳画像データを圧縮したものを、重畳フラグ付加の処理（ステップＳ９）において重畳フラグ３３を付けた信号により、外部に接続した機器へ出力する。

また、（Ｘ、Ｙ）が最大値（Ｘｍａｘ、Ｙｍａｘ）になっていない場合には、判定対象を次の画素位置へ移動するために、ＸＹ更新の処理（ステップＳ８）においてＸ若しくはＹを更新し、Ｊ（Ｘ、Ｙ）信号レベル判定の処理（ステップＳ５）を繰り返して行う。
また、Ｊ（Ｘ、Ｙ）信号レベル判定の処理（ステップＳ５）で「偽」と判定された場合には、圧縮率が高すぎると判断し、Ｑ値減算の処理（ステップＳ６）で圧縮率を決定するＱ値を小さくして、圧縮率を下げる。そして、ＪＰＥＧ圧縮伸張の処理（ステップＳ３）から、再度、上記と同様な処理を行う。
本例では、このような処理の繰り返しが、ＸＹ最大値判定の処理（ステップＳ７）で全ての画素について処理が終わったことを検出するまで、何度も繰り返して行われる。
以上のような動作により、重畳画像データの作成や圧縮の処理が実行される。

次に、図６（ａ）に示される重畳画像データ（圧縮前）、図６（ｂ）に示される重畳画像データ（高圧縮で伸張後）、図６（ｃ）に示される重畳画像データ（低圧縮で伸張後）を参照して、圧縮伸張処理による信号レベル（例えば、画素の値）の変化について説明する。
重畳画像データＳ（Ｘ、Ｙ）の作成後におけるある画素位置の信号レベルが図６（ａ）に示されるようになっているとする。重畳画像の属性は、信号レベルが高い方から、点滅、透明、黒、白の順であり、信号レベルの最大値から最小値までの間を４分割して割り当てている。この重畳画像データの信号レベルは、図の左から順に、黒、透明、黒、透明、黒と変化している。

この重畳画像データＳ（Ｘ、Ｙ）に対して高圧縮で圧縮伸張処理を行った結果の一例が図６（ｂ）に示されている。圧縮劣化によって、図６（ａ）の画素位置１０１で透明の属性であった画素が、図６（ｂ）の対応する画素位置１０２では黒の属性になっている。この原因は、圧縮劣化により画素の信号レベルが変化したためである。
図６（ａ）に示されるような信号レベルの画像データに対して圧縮伸張処理を行うと、画素位置１０１のような信号レベルの変化が激しい箇所において極端に劣化が生じる。図６（ａ）に示される信号レベルの急激な変化（図中に点線で描いたエンベロープの変化を参照）は、圧縮伸張により図６（ｂ）に示されるエンベロープのようになだらかな曲線で表される信号レベルの変化になる。

このような信号レベルの変化を小さくするためには、圧縮率を下げ、図６（ｃ）に示されるエンベロープのように鋭角に近くなるようなＱ値を選択すればよい。図６（ｂ）の場合より圧縮率を下げた図６（ｃ）の伸張結果で、図６（ａ）の画素位置１０１に対応する画素位置１０３の信号レベルを見ると、この画素位置１０３の信号レベルは透明であり、圧縮伸張前である図６（ａ）の場合と同じ属性を維持することができる。
圧縮伸張後の信号レベルの変化への対応は、このように圧縮率を制御する動作になる。

このように、本例の重畳画像データ処理器では、重畳画像データに対して画像圧縮伸張処理を行っても、上記した第１実施例で示されるような圧縮画像伸張装置１により重畳画像データの属性を正確に取得することが可能なように、重畳画像データの圧縮が可能になる。
なお、重畳画像データ処理器としては、例えば、ソフトウエアで実現しても構わず、若しくは、ハードウエアで実現しても構わない。

以上のように、本例では、入力した画像データを重畳画像データへ変換する変換処理部と、圧縮率を段階的に変更しながら複数回の画像圧縮処理を行う圧縮処理部と、重畳フラグ３３を圧縮データに付加して外部へ出力する処理部を具備する重畳画像データ処理器において、画像圧縮処理前の重畳画像データに複数定められた属性と、画像圧縮伸張処理後に画質劣化により信号レベルが変化した重畳画像データの属性とが、同じ属性を保つように、圧縮率を制御する。
また、本例の重畳画像データ処理器では、入力する画像データを視覚的に判別し易いデジタルデータとし、そのデジタルデータを重畳画像データに定められた複数の属性へ変換する処理を行う。

具体的には、本例では、例えばユーザ（人）により視覚的に重畳画像データを作成することを可能とし、視覚的に重畳画像の属性である例えば白や黒や透明や点滅などに対応した要素（例えば、白、黒、灰、赤）で１画面のデータを作成して、この各画素の値を、ハードウエアやソフトウエアを用いて、上記した第１実施例で示されるような画像重畳機能付きの圧縮画像伸張装置１において重畳画像データに規定されるデジタル値のステップ幅に収まる値へ変換し、これにより重畳画像データを作成する。
また、重畳画像データの作成処理において、画像圧縮及び伸張後における各画素位置のデータと、画像圧縮前における各画素位置のデータとを比較し、量子化ステップに相当するデジタル値の範囲に共に存在することを確認する処理を行い、２つのデジタル値が前記したステップ幅の範囲外であったときには、圧縮率を下げて、再度、画像圧縮処理及び伸張処理を行うことで、白や黒や透明や点滅などの属性（各画素の属性）が圧縮伸張処理の前後で変わらないステップ幅の間に収まる重畳画像データを作成する。

従って、本例では、画像重畳機能を有した圧縮画像伸張装置１に入力する重畳画像データを作成するに際して、視覚的に分かりづらい重畳画像データを、視覚的に容易に作成することが可能になり、また、圧縮伸張処理によってデジタル値が量子化ステップに相当する幅を超えることのない重畳画像データの圧縮率を決定することが可能になる。

ここで、本例では、量子化誤差が一定以内に収まるように、Ｑ値（圧縮率）を適応制御して重畳画像データを圧縮している。
例えば、通常は、白や黒や透明や点滅などの属性を画面上においたときに、属性の境界は、ランダムノイズ的なばらまかれたものではなく、比較的一箇所に集まり易いと考えられる。具体的には、文字フォントなどでは、一番広いものとして透明部分が画面のほとんどを占めると考えられる。この場合、画像圧縮技術を使えば、有効な圧縮効果が出ると考えられる。
また、重畳画像データは、画像データの各画素に１対１に対応する「情報の集まり」である。このため、特には、人間が目で見る画像としての特性を残そうとは考えなくてもよく、例えば、ブロックノイズが出たり、エッジの再現性が下がっても、実用上で有効なデジタル値が得られれば構わない。本例では、重畳画像データを圧縮及び伸張（復号）しても、ある値の範囲内に入ればよい。
また、現在のＬＳＩやソフトウエアコーデックの実情として、ＪＰＥＧ圧縮ができても、ロスレスをサポートしないものは多くある。同じＪＰＥＧであっても、ロッシーとロスレスは違う圧縮方式だと考えることができる。本例では、ロッシーの圧縮方式に対応することが可能であり、本体の画像ではない情報（重畳画像データ）を画像圧縮処理している。

ここで、本例の重畳画像データ処理器の一構成例を示す。
図７には、本例の重畳画像データ処理器６１の構成例を示してある。
本例の重畳画像データ処理器６１は、例えば、図１に示されるネットワーク３に接続されている。
本例の重畳画像データ処理器６１は、重畳画像の元となる画像（例えば、白、黒、灰、赤からなる画像）を入力する入力部７１と、入力部７１により入力された画像を重畳画像（例えば、白、黒、透明、点滅からなる画像）のデータへ変換する変換処理部７２と、重畳画像データを圧縮する圧縮処理部７３と、圧縮された重畳画像データを伸張する伸張処理部７４と、圧縮された重畳画像データなどを外部（本例では、ネットワーク３）へ出力する出力部７５と、信号レベルと表示態様（本例では、白、黒、透明、点滅といった属性）との対応などをメモリに記憶する記憶部７６と、圧縮前の重畳画像データの各画素の信号レベルに対応した属性と圧縮伸張後の重畳画像データの各画素の信号レベルに対応した属性との一致度の判定や圧縮処理部７３の圧縮率の制御などを行う制御部７７を備えている。重畳画像の元となる画像は、必ずしも外部から入力されなくてもよく、例えばユーザ（人）の操作により、重畳画像データ処理器６１において作成されてもよい。

なお、本例の重畳画像データ処理器（重畳画像データ処理装置）６１では、信号レベルと表示態様（本例では、白、黒、透明、点滅）との対応付けをメモリに記憶する記憶部７６の機能により対応記憶手段が構成されており、重畳画像の元となる画像を入力部７１により入力してその画像を変換処理部７２により重畳画像のデータへ変換して取得する機能により取得手段が構成されており、重畳画像データに対して画像圧縮処理を行う圧縮処理部７３の機能により圧縮手段が構成されており、圧縮された重畳画像データに対して画像伸張処理を行う伸張処理部７４の機能により伸張手段が構成されており、制御部７７が記憶部７６の記憶内容に基づいて圧縮伸張処理の前後における重畳画像データの表示態様の一致度を検出する機能により一致度検出手段が構成されており、制御部７７がこの一致度が所定の条件（本例では、全ての画素で表示態様が一致するという条件）を満たす圧縮率を探してその圧縮率で圧縮された重畳画像データを出力部７５により出力する機能により制御手段が構成されている。

以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
図４には、画像重畳機能付きの圧縮画像伸張装置４１の一例を示してある。
本例の圧縮画像伸張装置４１は、モニタ４２と接続されているとともに、ネットワーク４３と接続されている。
本例の圧縮画像伸張装置４１は、画像伸張部５１と、ライブ画像用フレームメモリ５２と、重畳画像用フレームメモリ５３と、表示タイミング発生器５４と、重ね合わせ器５５と、画像表示用フレームメモリ５６と、制御ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５７を備えている。

本例の圧縮画像伸張装置４１において行われる動作の一例を示す。
圧縮された画像のデータである画像圧縮データを含む配信データが、ネットワーク４３を介して画像伸張部５１に入力される。
画像伸張部５１は、入力された画像圧縮データに対して画像伸張処理を実行し、伸張した画像のデータをライブ画像用フレームメモリ５２へ出力する。
ライブ画像用フレーメモリ５２は、画像伸張部５１から入力された画像データ（ネットワーク４３を介して配信された画像データ）をライブ画像として重ね合わせ器５５へ出力する。

重畳画像のデータが、ネットワーク４３を介して重畳画像用フレームメモリ５３に入力される。
重畳画像用フレームメモリ５３に格納されるデータは、そのまま画面に表示することができる画素データの並びになっている。
重畳画像用フレームメモリ５３は、格納された重畳画像のデータを重ね合わせ器５５へ出力する。

なお、ネットワーク４３を介して入力された重畳画像のデータではなく、制御ＣＰＵ５７がソフトウエアで作成した画像データを重畳画像用フレームメモリ５３に書き込んで重畳画像のデータとして使用することも可能であり、このように本例の圧縮画像伸張装置で重畳データを作成することも可能である。
また、重畳画像用フレームメモリ５３は、複数枚で構成されてもよい。複数の重畳画像を保持することで、例えば、複数のカメラ入力に対応することや、或いは、タイムコードや点滅表示のように時間で切り替わる重畳表示に対応することができる。

重ね合わせ器５５は、ライブ画像用フレームメモリ５２から画像データを入力するとともに、重畳画像用フレームメモリ５３から画像データを入力し、これら２つの画像データを重ね合わせて１枚の画像データとして、画像表示用フレームメモリ５６へ出力する。
表示タイミング発生器５４は、画像表示タイミング信号を画像表示用フレームメモリ５６へ出力する。これにより、画像表示用フレームメモリ５６内の画像データを表示画像としてモニタ４２へ出力するタイミングを管理する。

画像表示用フレームメモリ５６は、重ね合わせ器５５から入力された画像データを、表示タイミング発生器５４から入力された画像表示タイミング信号に基づいて、表示画像としてモニタ４２へ出力する。
モニタ４２は、画像表示用フレームメモリ５６から入力された画像データを画面に表示する。
以上、本発明に関する技術の背景を説明した。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る圧縮画像伸張装置の構成例を示す図である。 画像圧縮データの構成例を示す図である。 画素データと量子化の関係を説明するための図である。 圧縮画像伸張装置の構成例を示す図である。 重畳画像データの処理の手順の一例を示す図である。 圧縮伸張処理による信号レベルの変化の例を示す図である。 本発明の一実施例に係る重畳画像データ処理器の構成例を示す図である。

符号の説明

１、４１・・圧縮画像伸張装置、 ２、４２・・モニタ、 ３、４３・・ネットワーク、 １１、５１・・画像伸張部、 １２・・重畳フラグ検出部、 １３・・伸張データ切り替え器、 １４、５２・・ライブ画像用フレームメモリ、 １５・・重畳画像変換器、 １６、５３・・重畳画像用フレームメモリ、 １７、５４・・表示タイミング発生器、 １８、５５・・重ね合わせ器、 １９、５６・・画像表示用フレームメモリ、 ２０、５７・・制御ＣＰＵ、 ３１・・ユーザデータヘッダ、 ３２・・ユーザデータ領域、 ３３・・重畳フラグ、 ３４・・圧縮データヘッダ、 ３５・・画像圧縮データ領域、
６１・・重畳画像データ処理器、 ７１・・入力部、 ７２・・変換処理部、 ７３・・圧縮処理部、 ７４・・伸張処理部、 ７５・・出力部、 ７６・・記憶部、 ７７・・制御部、

Claims (3)

1. 圧縮された画像を伸張して得られた本体の画像と重畳画像を重ね合わせて出力する圧縮画像伸張装置において、
   共通の非可逆圧縮方式で個別に圧縮された前記本体の画像及び前記重畳画像の元となる画像データが入力され、該本体の画像及び該重畳画像の画像データへ伸張する画像伸張手段と、
   画素の値の範囲と画素の表示態様との対応付けを記憶し、前記画像伸張手段により伸張された重畳画像のデータを、前記対応付けに基づいて各画素の値を対応する表示態様にすることにより、重畳画像の出力用データへ変換する重畳画像変換手段と、
   前記画像伸張手段により伸張された本体の画像の出力用データと、前記重畳画像変換手段により変換された重畳画像の出力用データとを重ね合わせる重ね合わせ手段と、
   前記重ね合わせ手段により重ね合わされた結果の画像データを出力する出力手段と、を備え、
   前記共通の非可逆圧縮方式による圧縮後の画素の値の階調がｍビットに相当するときに、前記重畳画像の画素の表示態様の数が２のｍ乗以下となることを満たすよう、前記重畳画像の元となる画像データは量子化により圧縮されるものであり、圧縮劣化により発生する画素の値の変動を、前記画素の値の範囲に留め、前記重畳画像変換手段が出力する重畳画像の出力用データが圧縮劣化の影響を受けないようにしたことを特徴とする圧縮画像伸張装置。
2. 請求項１に記載の圧縮画像伸張装置において、
   前記共通の非可逆圧縮方式はＪＰＥＧ方式もしくはＭＰＥＧ方式であり、
   前記画像伸張手段に入力されるデータは、前記重畳画像の元となる画像データのヘッダーには、重畳画像であることを示す重畳フラグと、複数の重畳画像を識別するための識別子とが格納され、前記本体の画像の画像データには重畳すべき重畳画像の前記識別子が付加されるものであり、
   前記画素の表示態様は、透明、所定の色及び点滅であり、
   更に、前記重畳画像変換手段が出力する重畳画像の出力用データを、前記識別子に対応付けて記憶するフレームメモリを備え、
   前記重ね合わせ手段は、前記本体の画像の画像データに付加された識別子に基づいて前記フレームメモリからの重畳画像の出力用データを重ね合わせることを特徴とする圧縮画像伸張装置。
3. 請求項１に記載の圧縮画像伸張装置において、
   該圧縮画像伸張装置は、前記本体の画像に重ね合わせる前記重畳画像のデータを圧縮して出力する重畳画像データ処理装置とネットワークを介して接続されており、
   該重畳画像データ処理装置には、
   画素の値の範囲とその画素の表示態様との対応付けを記憶する対応記憶手段と、
   重畳画像のデータを取得する取得手段と、
   前記取得手段により取得された重畳画像のデータを量子化により可変な圧縮率で圧縮する圧縮手段と、
   前記圧縮手段により圧縮された重畳画像のデータを伸張する伸張手段と、
   前記対応記憶手段の記憶内容に基づいて、前記圧縮手段により圧縮される前における重畳画像のデータの各画素の値に対応する表示態様と前記圧縮手段により圧縮された後に前記伸張手段により伸張された重畳画像のデータの各画素の値に対応する表示態様との一致度を検出する一致度検出手段と、
   前記一致度検出手段により検出された一致度が、所定の条件を満たすように前記圧縮手段の圧縮率を制御し、前記一致度検出手段により検出された一致度が所定の条件を満たす圧縮率で圧縮された重畳画像のデータを、ネットワークを介して前記圧縮画像伸張装置へ出力する制御手段と、
   を備えたことを特徴とする圧縮画像伸張装置。

Images