JP3247893B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像処理
に関するものである。

【０００２】

【従来の技術】会議や講演などにおいて、複数の画像デ
ータを合成表示するための手段として、従来のＯＨＰや
スライド映写機等に代って、大型のプロジェクターをは
じめとする種々の映像表示機器が普及し始めている。

【０００３】これらの映像表示機器は従来のものと違っ
て、メモリ等の半導体素子の低価格化に支えられた電子
的手段によるもので、パソコンを利用して複数の画像デ
ータから表示用の合成画像を作り、その画像を大型スク
リーンに表示するといったようなものである。

【０００４】従来、パソコン等を用いて複数の画像デー
タを合成表示させる方法としては、カラー写真やワープ
ロ出力などをカメラあるいはスキャナ等でデジタイズし
てメモリ等に取り込み、この画像データに拡大縮小、切
り出し、レイアウト処理等の編集作業を加えて表示のた
めの画像を作成する。

【０００５】こうして作成された表示画像は、磁気ディ
スクやフロッピー（登録商標）ディスクのような記録メ
ディアに記録されて、会議場や講演会場に運ばれて合成
表示が実施される。

【０００６】

【発明が解決しようとする課題】上述のような複数の画
像データを合成表示するためのシステムでは、画像デー
タそのものを扱うので、データ量の多いことが問題とな
る。特に作成した画像を会議や講演の場へもって行くと
きには、コンパクトな記録メディアを利用することが望
ましく、このためには同じ画像データに対してデータ量
が少ない方がよい。

【０００７】このために従来から、空間周波数の高い領
域では人間の目が比較的鈍感であることを利用して、フ
ルカラー画像を圧縮してデータ量を減少することが行な
われてきた。

【０００８】ところがこういった用途では、図６（ａ）
に例示したように、フルカラー画像６１を背景としてそ
の上に適当な部分画像６２をレイアウトし、さらに説明
のための文字６３を重ね合わせて表示する場合がある。

【０００９】このような文字図形画像を重畳したフルカ
ラー画像を上述のような空間周波数の高い領域での人間
の目の鈍感さを利用した圧縮方式で圧縮した場合、通常
の圧縮率を得ようとすると、文字図形部分の劣化が目立
ち、逆に文字図形部分の劣化を少なくしようとすると、
圧縮率が低くならざるを得ないという問題があった。

【００１０】また、会議や講演の場合には画像の一部を
変化させて表示効果を高める方法がある。図６（ｂ）、
（ｃ）においては、同じ部屋を背景にして椅子６４の位
置を変えて表示している。

【００１１】このように同じ背景画像に対して、同じ部
分画像をその位置を変えて表示する場合や、同じ背景画
像に対して何枚もの文字図形画像や部分画像を取り換え
ながら表示するような場合には、従来技術では一部のみ
が変化した何枚もの画像をそれぞれ別々に記録メディア
に蓄えることになるために、どうしてもデータ量が多く
ならざるを得ないという問題があった。

【００１２】そこで本発明の目的は、画質を損うことな
く高い圧縮率を得ることができ、またデータ量を大幅に
削減することができる、複数の画像データを合成表示す
るための画像符号化装置及び画像復号装置を提供するこ
とにある。

【００１３】

【課題を解決するための手段】本願の第１の発明は、全
体画像と、任意形状を有する一つ以上の部分画像とによ
り、所望の画像を合成して表示するための画像符号化装
置であって、前記部分画像の領域形状を示すデータを圧
縮符号化する領域形状符号化手段と、前記全体画像の画
像情報を圧縮符号化するとともに、前記領域形状を示す
データを用いて、前記部分画像の領域内部の画像情報を
圧縮符号化する画像情報符号化手段と、前記部分画像の
領域形状の符号化データと、前記全体画像及び前記部分
画像の画像情報の符号化データとを記憶する記憶手段と
を備え、前記全体画像及び前記部分画像の画像情報の符
号化データは、当該画像情報が形状情報を伴わない矩形
の全体画像のものか、形状情報を伴う任意形状の部品画
像のものかを示す識別子を有することを特徴とする。

【００１４】本願の第２の発明は、全体画像の画像情報
の符号化データと、任意形状を有する一つ以上の部分画
像の画像情報の符号化データと、前記部分画像の領域形
状の符号化データとを入力し、所望の画像を合成して表
示するための画像復号装置であって、前記画像情報の符
号化データに付加された識別子に基づいて、当該画像情
報が形状情報を伴わない矩形の全体画像のものか、形状
情報を伴う任意形状の部品画像のものかを判断する画像
判断手段と、前記画像判断手段により、当該画像情報が
前記部分画像のものであると判断された場合に、前記部
分画像の領域形状の符号化データを復号する領域形状復
号手段と、前記全体画像の画像情報の符号化データを復
号するとともに、前記復号された領域形状を示すデータ
を用いて、前記部分画像の画像情報の符号化データを復
号する画像情報復号手段とを備えたことを特徴とする。

【００１５】

【発明の実施の形態】以下、本発明にかかる画像符号化
装置及び画像復号装置について、図面を用いて説明す
る。図２に本システムのハードウェア構成図を、また図
３に本システムにおける画像データの流れを図示する。

【００１６】本システムは編集系装置と表示系装置とに
大別される。

【００１７】表示系装置は、会議や講演などのプレゼン
テーションの場で映像を表示するためのものであり、大
型プロジェクターや複数のＣＲＴモニターを備え、編集
系装置で作られた画像を表示することができ、カーソル
や矢印などのポインタを画面中に表したり、編集系装置
であらかじめ設定した画像変更処理を画像表示中に実行
することができる。

【００１８】一方、編集系装置は、表示系装置で表示す
る画像を作成するためのものであり、画像の編集作成、
複数画像の表示順序の設定、表示中画像の画像変更処理
の設定、その変更処理を起動するためのスイッチの設定
等を行う。編集系装置で作られた画像データ及び画像の
表示順序のデータや画像変更処理のデータなどからなる
表示用プログラムは、フロッピーディスクなどのコンパ
クトな記録メディアに書き込まれて表示系装置に渡され
る。

【００１９】図２に示す本発明にかかるシステムは、上
述の編集系装置と表示系装置とを兼用している。図にお
いて、符号２０はフルカラースキャナであって、写真や
絵画等の画像だけではなく、文字、文章、グラフなども
同様にデジタイズして取り込むために用いる。

【００２０】符号２１及び２２はそれぞれキーボード及
びマウスであって、各種の操作指示やファイル名の入力
などに用いる。ＣＰＵ２３は本システム全体を制御し、
各種の制御プログラムを格納しておくためのメモリ等を
その内部に有している。画像メモリ２４はモニタ２５に
表示する画像データが書き込まれるものであって、数画
面分に相当する画像データを記憶しておく容量がある。

【００２１】メモリ２６は編集系装置で作成された表示
用プログラムを一時的に格納しておくためのものであ
る。光磁気ディスク装置２８は大容量の記憶装置であっ
て、図３の画像データベース３２として使用する。一
方、図２の符号２７で表わされるフロッピーディスク装
置はコンパクトな記録装置の一例として使用しているも
ので、図３の記録メディア３４に相当する。

【００２２】ＤＳＰ２９はデジタルシグナルプロセッサ
であって、画像の圧縮符号化及び復号化を行う。画像メ
モリ２４とＤＳＰ２９との間の画像データあるいは圧縮
データの受け渡しは、ＣＰＵ２３が図２に図示したＦＩ
ＦＯや共通メモリを介して行う。共通メモリはＣＰＵ２
３からのアクセスとＤＳＰ２９からのアクセスとを切り
替えて行うことができる。

【００２３】次に、図３を用いて画像データの流れの概
略を説明する。

【００２４】本システムでは、カラー写真に限らず、文
字、文章、グラフなども外部から画像として取り込んで
作成する方法を取っている。即ち、フルカラースキャナ
ー２０を画像入力手段として備え、写真、印刷文書、ワ
ープロの印字出力などを画像入力し、拡大縮小、アフィ
ン変換、色付け、陰影付け、レイアウト処理などを行
い、画像の編集作成を行う。

【００２５】まず、フルカラースキャナー２０を使って
画像を取り込む。写真や印刷物あるいはワープロの印字
出力から取り込むことができる。取り込んだ画像は、一
旦、画像データベース３２に蓄えられる。前述のよう
に、本システムにおいては光磁気ディスク２８を画像デ
ータベース３２として用いている。

【００２６】プレゼンテーション用の画像データ編集作
成作業は、編集系３３において、必要に応じて画像デー
タベース３２から画像データを取り出してモニタ２５に
表示しながら、各種の処理を施すことによって行われ
る。こうして作成されるプレゼンテーション用画像の構
成部品は、本発明に係るシステムを用いて圧縮処理して
再び画像データベース３２へ記憶される。

【００２７】次に、編集系３３は構成部品の配置のため
の位置データ、画像変更処理のデータなどからなる表示
用プログラムを作成し、この表示用プログラムの構成部
品の画像データとを記憶メディア３４へ記憶する。前述
のように、本システムでは記憶メディア３４にはフロッ
ピーディスク装置２７を用いている。

【００２８】表示装置３５は記憶メディア３４から表示
用プログラムと画像データとを受け取り、これらのデー
タから表示時に画像を作成してプレゼンテーションを行
う。

【００２９】次に、図１及び図４、図５を用いて画像デ
ータの圧縮処理を中心に画像データの編集作成作業及び
本発明に係る画像圧縮処理を説明する。

【００３０】まず、図４に概略の処理フローを示す。符
号４１に示すようにフルカラースキャナー２０を用いて
画像データベース３２に原稿画像を取り込む。この時一
般的には、フルカラー全体画像とワープロ出力等の文字
図形画像とは別個に入力される。

【００３１】次に、構成部品となるべき文字図形画像、
フルカラー全体画像、フルカラー部分画像を抽出してフ
ァイル化する。この操作は上述のようにそれぞれ別個に
入力されて画像データベース３２に蓄えられている画像
の中から必要なものを探し出すだけではなく、フルカラ
ー全体画像中で部分画像として扱いたい画像の切り出し
や、フルカラー全体画像中の文字図形画像の切り出し等
を行う。

【００３２】こうして作成された構成部品としての画像
データは、圧縮処理のために、一旦適当なファイル名を
付けて再び画像データベース３２に格納しておく。その
後、４３で圧縮データ作成とファイル化を行う。

【００３３】圧縮データ作成とファイル化の詳細を図１
に示す。なお、本実施例では、圧縮データ作成の前に一
旦ファイル化を行っているが、構成部品の作成後直接デ
ータの圧縮処理を行ってもよい。

【００３４】図１の１〜３により、図４の４２において
ファイル化された構成部品の画像ファイル名をキーボー
ド２１あるいはマウス２２等から入力して、当該画像デ
ータをモニタ２５に表示しながら圧縮する画像を選ぶ。

【００３５】選び出した構成部品が文字図形画像かある
いはフルカラー全体画像として背景に用いるのか、ある
いはフルカラー全体画像として背景に用いるのか、ある
いはフルカラー部分画像かのいづれかであるかによっ
て、圧縮データファイル名を付け分ける。この区別はフ
ァイル名の先頭又は末尾に識別子を付けることによって
行う。こうして付けられた圧縮データファイル名はキー
ボード２１等から図１の４に示すように入力される。

【００３６】次に、入力された圧縮データファイル名が
文字図形画像の識別子を有する場合には、図１の５から
１０へ分岐して文字図形画像圧縮を行って、再び画像デ
ータベース３２へ記録する。また、圧縮データファイル
名がフルカラー全体画像の識別子を有する場合は６から
９へ、また、圧縮データファイル名がフルカラー部分画
像の識別子を有する場合は７から８へ分岐して、それぞ
れ画像の性質あるいは用途等によって最適の画像圧縮方
法を実行して画像データベース３２へ再び記憶してお
く。

【００３７】以下に、上述の３つの画像圧縮方法の一例
について説明する。

【００３８】１．文字図形画像圧縮方法 本システムにおける文字画像圧縮方法は、文字、図形な
ど２値画像的性質の強い画像に適した圧縮方法である
（特願昭63-281129、特願平1-109934、特願平1-106328
参照）。

【００３９】処理手順は、まず、画像の輝度成分のみを
取り出し、これを再量子化し、次に、「対称部分」（文
字、図形などの部分）、「背景部分」、「中間調部分」
に分け、ランレングス符号化を基本とした方法で符号化
するというものである。

【００４０】文字、図形などの場合、その形状とアンチ
エリアシングのための輝度情報（あるいは濃度情報）を
必要とし、原稿の持つ色情報は符号化時に別途与えれば
よいので、符号化時には必要とされない。このため、文
字図形画像圧縮方法では、輝度成分だけを圧縮符号化
し、原稿の持つ色情報は捨てる。

【００４１】次に、輝度成分画像を必要な階調数に再量
子化する。通常の５００×５００画素程度のディスプレ
イを対称とする場合、アンチエリアシングなどに必要と
される階調数を考えると、２〜３ビットで量子化すれば
よい。

【００４２】再量子化は、ヒストグラム処理によって、
体小部分の画素値を最小値に、背景部分の画素値を最大
値に、そしてその２つの値の間を必要な階調数で分割す
るように、量子化区分を決め、更に、中間調部分は対称
部分と背景部分の境界にだけ作れるようにして、原稿の
汚れやかすれによる中間調部分は除去するように行う。

【００４３】次に、再量子化した画像を符号化する。符
号化対象となる画像の特徴は、中間調部分が非常に少な
いことである。この特徴を利用した符号化方法を次に述
べる。

【００４４】まず、画像を最小画素値の部分（文字、図
形などの対象部分）と最大画素値の部分（背景部分）
と、それら以外の中間調部分とに分ける。中間調部分に
ついては更に、画像をビットプレーンの１、０に分け
る。これらのうち、まず最小画素値の部分と最大画素値
の部分と、中間調部分のＭＳＢの値（０、１）の、以上
４種類にいて、ランレングスを求め、可変長符号化す
る。

【００４５】ランレングスの符号には、いずれの分類に
属するランか判別できるように、２ビットのフラグを付
ける。画像中、最小画素値と最大画素値を持つ画像と、
ＭＳＢのビットプレーンの情報は、ここまでの符号化に
よって処理される。あと、残る中間調部分について、Ｍ
ＳＢのビットプレーン以外のビットプレーンの情報を次
のように符号化する。

【００４６】即ち、各プレーン毎に、１、０のランレン
グスを求め、可変長符号化するが、その際、既に符号化
されている最小画素値部分、最大画素値部分は、読み飛
ばし、中間調部分のみ集めて、ランレングスを求め、可
変長符号化する。可変長符号化には、ＨＭ符号化やＭＲ
符号化を用いることが考えられる。

【００４７】２．フルカラー全体画像圧縮方法 フルカラー全体画像圧縮方法は、フルカラー画像１枚全
体を圧縮するための方法であり、ブロック符号化によっ
て圧縮する方法を用いる（特願昭63-218019、特願昭63-
254377参照）。

【００４８】画像データをＹＩＱに変換し、ＹＩＱ各画
像を圧縮する。まずＹ画像は、４×４画素にブロック分
割する。各ブロックにおいて、画素値の分散を調べ、３
つのモードに分類する。最も分散の小さいモード０で
は、ブロック内画素の平均値のみを符号化する。

【００４９】次に分散の大きいモード１では、平均値と
１つの差分値と１枚のビットプレーンを作り、符号化し
たとき、ブロック内画素値を２つの代表値によって表せ
るよう符号化する。更に、分散の最も大きいモード２で
は、平均値と差分値とビットプレーン２枚を作り、復号
化したとき画素値を４つの代表値によって表せるよう符
号化する。

【００５０】Ｉ、Ｑ画像では、細かな情報をＹ画像ほど
必要としないため、４×４画素にブロック分割した後、
各ブロックをモード０、又は、モード１のみで符号化す
る。再生時にはブロック歪みを軽減するためのフィルタ
ー処理を行うこととする。

【００５１】３．フルカラー部分画像圧縮方法 フルカラー部分画像圧縮方法は、フルカラー画像の中の
一部分の領域だけを圧縮符号化する方法である（特願昭
60-195354、特願昭61-66819、66820、66821参照）。

【００５２】領域の形状は任意であり、領域中にホール
があるものでもよい。領域は、各画素毎に、領域か否
か、あるいは境界部分かを示すデータを付けて表す。こ
のデータを領域情報と呼ぶ。領域情報は、各画素Ｌビッ
トの情報であり、値２L−１の時、領域内、値０の時、
領域外、即ち、背景を示し、値１〜２L−２の時、境界
部分を示す。

【００５３】フルカラー部分画像の重ね合わせ処理を行
うとき、この値は、重ね合わせようとするフルカラー部
分画像と背景画像との画素毎の混合比を表す値となる。
原画像から、部分画像の領域情報を作るには、対象物と
それ以外の背景との色の違いを利用した色差による切り
出し手法などを利用する。

【００５４】領域情報の符号化は、値０、２L−１の画
素はランレングス符号化し、それ以外のところは、元の
値はそのまま符号化する。あるいは、領域情報の性質
は、先に述べた文字図形画像と同じものなので、文字図
形画像の圧縮方法を用いることも考えられる。

【００５５】画像情報は、領域情報が値２L−１である
部分のみ符号化する。境界部分では、原画の画像情報は
符号化せずに、再生時に領域内の画素値から補間する。
画像情報の符号化には、フルカラー全体画像圧縮方法と
同じ圧縮方法を用い、画像をブロック分割したとき、領
域内の画素を含むブロックのみ処理する。

【００５６】符号化処理の際は、まず、領域情報の復号
化を行う。これによって、画面の中の領域部分（即ち、
画像情報を再生しなければならない部分）がどこである
か分かるので、再生した画像情報を領域部分に書き込ん
でいくことになる。

【００５７】領域以外の部分は、全く処理を行わず元の
画素値のまま残す。境界部分については、近傍の領域内
がその復号化値とその位置の背景画素の画素値とをその
位置の領域情報の値に従って混合し、その値を書き込む
こととする。

【００５８】以上、３種類の画像データそれぞれについ
て、圧縮方法の一例を説明した。

【００５９】さて、再び図４にもどって、４４で表示用
プログラム作成と編集作業を行う。この作業によって、
図５に示すように、各構成部品の表示順序のデータや画
像変更処理のデータなどからなる表示用プログラムを作
成する。ここで、図２の画像メモリ２４中に画像２枚分
のメモリを用意し、それぞれ画面１及び画面２と呼ぶ。

【００６０】まず、図５の１００〜１０３で背景用の画
像を選ぶ。次に、１０４〜１０９で背景画像に部分画像
を合成するか否かを決め、合成するファイルや合成位置
の座標等を決める。さらに、１１０〜１１４では、上記
の１００〜１０９でできた画像に合成する文字図形画像
のファイルや合成位置の座標などを決める。

【００６１】なお、同図中の１０３、１０９、１１４に
おいて復元コマンド名を記憶しておくのはエラー処理を
目的としたものである。また、画面２は合成前の画像を
保存するためのものである。以上のようにしてプレゼン
テーション画像１枚分の編集を行うが、実際には上述の
プロセスをくり返して複数の画面を作成する。こうして
作成された表示用プログラムは、一時的にメモリ２６に
記憶される。

【００６２】次に、図４の４５では４４で作られた表示
用プログラムに画像変更処理やポインタ表示のコマンド
等を追加して表示用プログラムを完成させる。最後に、
４６において表示用プログラムとそこで使用する画像の
圧縮データとを記録メディア３４に記録する。この記録
メディア３４は表示用プログラムを記録するための領域
と画像の圧縮データを記録するための領域とに予め分割
されており、それぞれのデータは各々別の領域に記憶さ
れる。

【００６３】こうして作成された合成表示のためのデー
タは、会議場や講演会場に運ばれて合成表示が実施され
る。実際に合成表示を行う場合（図４の４７）には、Ｃ
ＰＵ２３が、記録メディア３４内に記録されている表示
用プログラムから、合成表示するべき複数の画像の圧縮
データファイル名を読み込む。

【００６４】次に、ＣＰＵ２３は各ファイル名に相当す
る圧縮データをそれぞれの圧縮方法に応じた復元方法で
復元した後、各画像を重ね合わせて表示する。こうして
１枚の合成画像が表示される。以上の合成表示動作を繰
り返して会議や講演を行うことになる。

【００６５】

【発明の効果】本発明によれば、画像データを基になる
全体画像と変化する部分画像に分けて圧縮処理を行い、
合成することによって、所望の画像を得るため、画質を
損なうことなく高い画像データの圧縮率を得ることがで
き、データ量を大幅に削減することができる。

【図面の簡単な説明】

【図１】本発明の画像圧縮処理の流れを示す図である。

【図２】本発明のシステム構成を示す図である。

【図３】本発明の画像データの流れを示す図である。

【図４】本発明の画像圧縮処理の流れを示す図である。

【図５】本発明の表示用プログラムの作成方法を示す図
である。

【図６】プレゼンテーション画面の表示例を示す図であ
る。

【符号の説明】

２０ フルカラースキャナ ２１ キーボード ２３ ＣＰＵ ２４ 画像メモリ ２５ モニタ ２７ フロッピーディスク装置 ２８ 光磁気ディスク装置 ２９ ＤＳＰ ３０ 原稿 ３２ 画像データベース ３３ 編集系 ３４ 記録メディア ３５ 表示系 ３６ プロジェクター

フロントページの続き (72)発明者 賀好 宣捷 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 昭63−299680（ＪＰ，Ａ) 特開 昭63−236177（ＪＰ，Ａ) 特開 昭59−178567（ＪＰ，Ａ) 井上誠喜、柴田正啓，シーン合成用画 像データベース，画像電子学会研究会予 稿，日本，1989年 ２月 ６日，Ｐ．34 −37 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/14 - 1/419

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 全体画像と、任意形状を有する一つ以上
   の部分画像とにより、所望の画像を合成して表示するた
   めの画像符号化装置であって、 前記部分画像の領域形状を示すデータを圧縮符号化する
   領域形状符号化手段と、 前記全体画像の画像情報を圧縮符号化するとともに、前
   記領域形状を示すデータを用いて、前記部分画像の領域
   内部の画像情報を圧縮符号化する画像情報符号化手段
   と、 前記部分画像の領域形状の符号化データと、前記全体画
   像及び前記部分画像の画像情報の符号化データとを記憶
   する記憶手段とを備え、 前記全体画像及び前記部分画像の画像情報の符号化デー
   タは、当該画像情報が形状情報を伴わない矩形の全体画
   像のものか、形状情報を伴う任意形状の部品画像のもの
   かを示す識別子を有することを特徴とする画像符号化装
   置。
2. 【請求項２】 全体画像の画像情報の符号化データと、
   任意形状を有する一つ以上の部分画像の画像情報の符号
   化データと、前記部分画像の領域形状の符号化データと
   を入力し、所望の画像を合成して表示するための画像復
   号装置であって、 前記画像情報の符号化データに付加された識別子に基づ
   いて、当該画像情報が形状情報を伴わない矩形の全体画
   像のものか、形状情報を伴う任意形状の部品画像のもの
   かを判断する画像判断手段と、 前記画像判断手段により、当該画像情報が前記部分画像
   のものであると判断された場合に、前記部分画像の領域
   形状の符号化データを復号する領域形状復号手段と、 前記全体画像の画像情報の符号化データを復号するとと
   もに、前記復号された領域形状を示すデータを用いて、
   前記部分画像の画像情報の符号化データを復号する画像
   情報復号手段とを備えたことを特徴とする画像復号装
   置。