JP3188237B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタル画像処理に
関するものである。

【０００２】

【従来の技術】会議や講演などにおいて、複数の画像デ
ータを合成表示するための手段として、従来のＯＨＰや
スライド映写機等に代って、大型のプロジェクターをは
じめとする種々の映像表示機器が普及し始めている。こ
れらの映像表示機器は従来のものと違って、メモリ等の
半導体素子の低価格化に支えられた電子的手段によるも
ので、パソコンを利用して複数の画像データから表示用
の合成画像を作り、その画像を大型スクリーンに表示す
るといったようなものである。

【０００３】従来、パソコン等を用いて複数の画像デー
タを合成表示させる方法としては、カラー写真やワープ
ロ出力などをカメラあるいはスキャナ等でデジタイズし
てメモリ等に取り込み、この画像データに拡大縮小、切
り出し、レイアウト処理等の編集作業を加えて表示のた
めの画像を作成する。こうして作成された表示画像は磁
気ディスクやフロッピーディスクのような記録メディア
に記録されて、会議場や講演会場に運ばれて合成表示が
実施される。

【０００４】

【発明が解決しようとする課題】上述のような複数の画
像データを合成表示するためのシステムでは画像データ
そのものを扱うので、データ量の多いことが問題とな
る。特に作成した画像を会議や講演の場へもって行くと
きにはコンパクトな記録メディアを利用することが望ま
しく、このためには同じ画像データに対してデータ量が
少ない方がよい。このために従来から、空間周波数の高
い領域では人間の目が比較的鈍感であることを利用し
て、フルカラー画像を圧縮してデータ量を減少すること
が行なわれてきた。

【０００５】ところがこういった用途では、図６（ａ）
に例示したように、フルカラー画像６１を背景としその
上に適当な部分画像６２をレイアウトしさらに説明のた
めの文字６３を重ね合わせて表示する場合がある。この
ような文字図形画像を重畳したフルカラー画像を上述の
ような空間周波数の高い領域での人間の目の鈍感さを利
用した圧縮方式で圧縮すると、通常の圧縮率を得ようと
すると文字図形部分の劣化が目立ち、逆に文字図形部分
の劣化を少なくしようとすると圧縮率が低くならざるを
得ないという問題があった。また会議や講演の場合には
画像の一部を変化させて表示効果を高める方法がある。
図６（ｂ）、（ｃ）においては同じ部屋を背景にして椅
子６４の位置を変えて表示している。このように同じ背
景画像に対して、同じ部分画像をその位置を変えて表示
する場合や、同じ背景画像に対して何枚もの文字図形画
像や部分画像を取り換えながら表示するような場合に
は、従来技術では一部のみが変化した何枚もの画像をそ
れぞれ別々に記録メディアに蓄えることになるために、
どうしてもデータ量が多くならざるを得ないという問題
があった。

【０００６】そこで本発明の目的は、画質を損うことな
く高い圧縮率を得ることができ、またデータ量を大幅に
削減することができる、複数の画像データを合成表示す
るための画像符号化装置及び画像復号装置を提供するこ
とにある。

【０００７】

【課題を解決するための手段】本願請求項１に係る発明
によれば、別個に入力された複数の構成部品を重ね合わ
せることにより、所望の画像を合成して表示するための
画像符号化装置であって、前記各構成部品のそれぞれに
対して、該構成部品が全体画像か部分画像かを区別する
識別子を付け分ける識別子付加手段と、前記各構成部品
のそれぞれに対して、該構成部品に付加された識別子に
基づき、所定の画像符号化を行う画像符号化手段と、前
記各構成部品の合成位置及び表示順序を任意に決定して
１つの画面を編集するプロセスを繰り返し、複数の画面
からなる画像の表示用プログラムを作成する表示用プロ
グラム作成手段と、前記各構成部品の符号化データと、
前記識別子と、前記表示用プログラムとを記憶する記憶
手段とを有することを特徴とする。本願請求項２に係る
発明によれば、前記表示用プログラム作成手段は、さら
に、前記各構成部品の拡大・縮小を含む画像変更処理の
コマンドを、表示用プログラムに追加することを特徴と
する。

【０００８】本願請求項３に係る発明によれば、別個に
作成された複数の構成部品の符号化データと、前記各構
成部品のそれぞれに対して、該構成部品が全体画像か部
分画像かを区別するために付け分けられた識別子と、複
数の画面からなる画像の表示用プログラムとを入力し、
所望の画像を表示するための画像復号装置であって、前
記各構成部品の符号化データに対して、該構成部品に付
加された識別子に応じた所定の復号を行う画像復号手段
と、前記複数の画面からなる画像の表示用プログラムに
従って、前記各構成部品の合成位置及び表示順序を制御
して１つの画面を合成する動作を繰り返し、複数の画面
からなる画像の表示を行う合成表示制御手段とを有する
ことを特徴とする。本願請求項４に係る発明によれば、
前記合成表示制御手段は、さらに、前記表示用プログラ
ムに従って、前記各構成部品の拡大・縮小を含む画像変
更処理を行うことを特徴とする。

【０００９】

【発明の実施の形態】以下、本発明にかかる画像符号化
装置及び画像復号装置を図面を用いて説明する。図２に
本システムのハードウェア構成図を、また図３に本シス
テムにおける画像データの流れを図示する。

【００１０】本システムは編集系装置と表示系装置とに
大別される。

【００１１】表示系装置は会議や講演などのプレゼンテ
ーションの場で映像を表示するためのものであり、大型
プロジェクターや複数のＣＲＴモニターを備え編集系装
置で作られた画像を表示することができ、カーソルや矢
印などのポインタを画面中に表したり、編集系装置であ
らかじめ設定した画像変更処理を画像表示中に実行する
ことができる。

【００１２】一方、編集系装置は、表示系装置で表示す
る画像を作成するためのものであり、画像の編集作成、
複数画像の表示順序の設定、表示中画像の画像変更処理
の設定、その変更処理を起動するためのスイッチの設定
等を行う。編集系装置で作られた画像データ及び画像の
表示順序のデータや画像変更処理のデータなどからなる
表示用プログラムはフロッピーディスクなどのコンパク
トな記録メディアに書き込まれて表示系装置に渡され
る。

【００１３】図２に示す本発明にかかるシステムは上述
の編集系装置と表示系装置を兼用している。図において
符号２０はフルカラースキャナであって写真や絵画等の
画像だけではなく文字、文章、グラフなども同様にデジ
タイズして取り込むために用いる。符号２１及び２２は
それぞれキーボード及びマウスであって、各種の操作指
示やファイル名の入力などに用いる。ＣＰＵ２３は本シ
ステム全体を制御し、各種の制御プログラムを格納して
おくためのメモリ等をその内部に有している。画像メモ
リ２４はモニタ２５に表示する画像データが書き込まれ
る。数画面分に相当する画像データを記憶しておく容量
がある。メモリ２６は編集系装置で作成された表示用プ
ログラムを一時的に格納しておくためのものである。光
磁気ディスク装置２８は大容量の記憶装置であって、図
３の画像データベース３２として使用する。一方図２の
符号２７で表わされるフロッピーディスク装置はコンパ
クトな記録装置の一例として使用しているもので、図３
の記録メディア３４に相当する。ＤＳＰ２９はデジタル
シグナルプロセッサであって画像の圧縮符号化及び復号
化を行う。画像メモリ２４とＤＳＰ２９との間の画像デ
ータあるいは圧縮データの受け渡しは、ＣＰＵ２３が図
２に図示したＦＩＦＯや共通メモリを介して行う。共通
メモリはＣＰＵ２３からのアクセスとＤＳＰ２９からの
アクセスとを切り替えて行うことができる。

【００１４】次に図３を用いて画像データの流れの概略
を説明する。

【００１５】本システムでは、カラー写真に限らず文
字、文章、グラフなども外部から画像として取り込んで
作成する方法を取っている。即ち、フルカラースキャナ
ー２０を画像入力手段として備え、写真、印刷文書、ワ
ープロの印字出力などを画像入力し、拡大縮小、アフィ
ン変換、色付け、陰影付け、レイアウト処理などを行
い、画像の編集作成を行う。

【００１６】まず、フルカラースキャナー２０を使って
画像を取り込む。写真や印刷物あるいはワープロの印字
出力から取り込むことができる。取り込んだ画像は、一
旦、画像データベース３２に蓄えられる。前述のように
本システムにおいては光磁気ディスク２８を画像データ
ベース３２として用いている。

【００１７】プレゼンテーション用の画像データ編集作
成作業は、編集系３３において、必要に応じて画像デー
タベース３２から画像データを取り出してモニタ２５に
表示しながら各種の処理を施すことによって行われる。
こうして作成されるプレゼンテーション用画像の構成部
品は本発明に係るシステムを用いて圧縮処理して再び画
像データベース３２へ記憶される。

【００１８】次に編集系３３は構成部品の配置のための
位置データ、画像変更処理のデータなどからなる表示用
プログラムを作成し、この表示用プログラムの構成部品
の画像データとを記憶メディア３４へ記憶する。前述の
ように本システムでは記憶メディア３４にはフロッピー
ディスク装置２７を用いている。表示装置３５は記憶メ
ディア３４から表示用プログラムと画像データとを受け
取り、これらのデータから表示時に画像を作成してプレ
ゼンテーションを行う。

【００１９】次に図１及び図４、図５を用いて画像デー
タの圧縮処理を中心に画像データの編集作成作業及び本
発明に係る画像圧縮処理を説明する。

【００２０】まず図４に概略の処理フローを示す。符号
４１に示すようにフルカラースキャナー２０を用いて画
像データベース３２に原稿画像を取り込む。この時一般
的には、フルカラー全体画像とワープロ出力等の文字図
形画像とは別個に入力される。次に構成部品となるべき
文字図形画像、フルカラー全体画像、フルカラー部分画
像を抽出してファイル化する。この操作は上述のように
それぞれ別個に入力されて画像データベース３２に蓄え
られている画像の中から必要なものを探し出すだけでは
なく、フルカラー全体画像中で部分画像として扱いたい
画像の切り出しや、フルカラー全体画像中の文字図形画
像の切り出し等を行う。こうして作成された構成部品と
しての画像データは圧縮処理のために、一旦、適当なフ
ァイル名を付けて再び画像データベース３２に格納して
おく。

【００２１】その後４３で圧縮データ作成とファイル化
を行う。圧縮データ作成とファイル化の詳細を図１に示
す。なお、本実施例では圧縮データ作成の前に一旦ファ
イル化を行っているが、構成部品の作成後直接データの
圧縮処理を行ってもよい。

【００２２】図１の１〜３において、図４の４２におい
てファイル化された構成部品の画像ファイル名をキーボ
ード２１あるいはマウス２２等から入力して、当該画像
データをモニタ２５に表示しながら圧縮する画像を選
ぶ。選び出した構成部品が文字図形画像かあるいはフル
カラー全体画像として背景に用いるのか、あるいはフル
カラー部分画像かのいずれであるかによって、圧縮デー
タファイル名を付け分ける。この区別はファイル名の先
頭又は末尾に識別子を付けることによって行う。こうし
て付けられた圧縮データファイル名はキーボード２１等
から図１の４に示すように入力される。

【００２３】次に、入力された圧縮データファイル名が
文字図形画像の識別子を有する場合には図１の５から１
０へ分岐して文字図形画像圧縮を行って、再び画像デー
タベース３２へ記録する。また圧縮データファイル名が
フルカラー全体画像の識別子を有する場合は６から９
へ、また圧縮データファイル名がフルカラー部分画像の
識別子を有する場合は７から８へ分岐して、それぞれ画
像の性質あるいは用途等によって最適の画像圧縮方法を
実行して画像データベース３２へ再び記憶しておく。

【００２４】以下に、上述の３つの画像圧縮方法の一例
について説明する。

【００２５】１．文字図形画像圧縮方法 本システムにおける文字画像圧縮方法は、文字、図形な
ど２値画像的性質の強い画像に適した圧縮方法である
（特願昭63-281129、特願平1-109934、特願平1-106328
参照）。

【００２６】処理手順は、まず、画像の輝度成分のみを
取り出し、これを再量子化し、次に、「対称部分」（文
字、図形などの部分）、「背景部分」、「中間調部分」
に分け、ランレングス符号化を基本とした方法で符号化
するというものである。

【００２７】文字、図形などの場合、その形状とアンチ
エリアシングのための輝度情報（あるいは濃度情報）を
必要とし、原稿の持つ色情報は符号化時に別途与えれば
よいので符号化時には必要とされない。このため、文字
図形画像圧縮方法では、輝度成分だけを圧縮符号化し、
原稿の持つ色情報は捨てる。

【００２８】次に輝度成分画像を必要な階調数に再量子
化する。通常の５００×５００画素程度のディスプレイ
を対称とする場合、アンチエリアシングなどに必要とさ
れる階調数を考えると、２〜３ビットで量子化すればよ
い。

【００２９】再量子化は、ヒストグラム処理によって、
体小部分の画素値を最小値に、背景部分の画素値を最大
値に、そしてその２つの値の間を必要な階調数で分割す
るように、量子化区分を決め、更に、中間調部分は対称
部分と背景部分の境界にだけ、作れるようにして、原稿
の汚れやかすれによる中間調部分は除去するように行
う。

【００３０】次に、再量子化した画像を符号化する。符
号化対象となる画像の特徴は、中間調部分が非常に少な
いことである。この特徴を利用した符号化方法を次に述
べる。まず、画像を最小画素値の部分（文字、図形など
の対象部分）と最大画素値の部分（背景部分）と、それ
ら以外の中間調部分に分ける。中間調部分については更
に、画像をビットプレーンの１、０に分ける。これらの
うち、まず最小画素値の部分と最大画素値の部分と、中
間調部分のＭＳＢの値（０、１）の、以上４種類にい
て、ランレングスを求め、可変長符号化する。ランレン
グスの符号には、いずれの分類に属するランか判別でき
るように、２ビットのフラグを付ける。画像中、最小画
素値と最大画素値を持つ画像と、ＭＳＢのビットプレー
ンの情報は、ここまでの符号化によって処理される。あ
と、残る中間調部分について、ＭＳＢのビットプレーン
以外のビットプレーンの情報を次のように符号化する。
即ち、各プレーン毎に、１、０のランレングスを求め、
可変長符号化するが、その際、既に符号化されている最
小画素値部分、最大画素値部分は、読み飛ばし、中間調
部分のみ集めて、ランレングスを求め、可変長符号化す
る。可変長符号化には、ＨＭ符号化やＭＲ符号化を用い
ることが考えられる。

【００３１】２．フルカラー全体画像圧縮方法 フルカラー全体画像圧縮方法は、フルカラー画像１枚全
体を圧縮するための方法であり、ブロック符号化によっ
て圧縮する方法を用いる（特願昭63-218019、特願昭63-
254377参照）。

【００３２】画像データをＹＩＱに変換し、ＹＩＱ各画
像を圧縮する、まずＹ画像は、４×４画素にブロック分
割する。各ブロックにおいて、画素値の分散を調べ、３
つのモードに分類する。最も分散の小さいモード０で
は、ブロック内画素の平均値のみを符号化する。次に分
散の大きいモード１では、平均値と１つの差分値と１枚
のビットプレーンを作り、符号化したとき、ブロック内
画素値を２つの代表値によって表せるよう符号化する。
更に、分散の最も大きいモード２では、平均値と差分値
とビットプレーン２枚を作り、復号化したとき画素値を
４つの代表値によって表せるよう符号化する。Ｉ、Ｑ画
像では、細かな情報をＹ画像ほど必要としないため４×
４画素にブロック分割した後、各ブロックをモード０、
又は、モード１のみで符号化する。再生時にはブロック
歪みを軽減するためのフィルター処理を行うこととす
る。

【００３３】３．フルカラー部分画像圧縮方法 フルカラー部分画像圧縮方法は、フルカラー画像の中の
一部分の領域だけを圧縮符号化する方法である（特願昭
60-195354、特願昭61-66819、66820、66821参照）。

【００３４】領域の形状は任意であり、領域中にホール
があるものでもよい。領域は、各画素毎に、領域か否
か、あるいは境界部分かを示すデータを付けて表す。こ
のデータを領域情報と呼ぶ。領域情報は、各画素Ｌビッ
トの情報であり、値２^L−１の時、領域内、値０の時、
領域外、即ち、背景を示し、値１〜２^L−２の時、境界
部分を示す。フルカラー部分画像の重ね合わせ処理を行
うとき、この値は、重ね合わせようとするフルカラー部
分画像と背景画像の画素毎の混合比を表す値となる。原
画像から、部分画像の領域情報を作るには、対象物とそ
れ以外の背景との色の違いを利用した色差による切り出
し手法などを利用する。領域情報の符号化は値０、２^L
−１の画素はランレングス符号化し、それ以外のところ
は、元の値はそのまま符号とする。あるいは、領域情報
の性質は、先に述べた文字図形画像と同じものなので、
文字図形画像の圧縮方法を用いることも考えられる。

【００３５】画像情報は、領域情報が値２^L−１である
部分のみ符号化する。境界部分では、原画の画像情報は
符号化せずに再生時に、領域内の画素値から、補間す
る。画像情報の符号化には、フルカラー全体画像圧縮方
法と同じ圧縮方法を用い、画像をブロック分割したと
き、領域内の画素を含むブロックのみ処理する。符号化
処理の際は、まず、領域情報の復号化を行う。これによ
って、画面の中の領域部分（即ち、画像情報を再生しな
ければならない部分）がどこであるか分かるので、再生
した画像情報を領域部分に書き込んでいくことになる。
領域以外の部分は、全く処理を行わず元の画素値のま
ま、残す。境界部分については、近傍の領域内がその復
号化値とその位置の背景画素の画素値とをその位置の領
域情報の値に従って、混合し、その値を書き込むことと
する。

【００３６】以上、３種類の画像データそれぞれについ
て、圧縮方法の一例を説明した。

【００３７】さて再び図４にもどって、４４で表示用プ
ログラム作成と編集作業を行う。この作業によって図５
に示すように、各構成部品の表示順序のデータや画像変
更処理のデータなどからなる表示用プログラムを作成す
る。ここで、図２の画像メモリ２４中に画像２枚分のメ
モリを用意し、それぞれ画面１及び画面２と呼ぶ。

【００３８】まず図５の１００〜１０３で背景用の画像
を選ぶ。次に１０４〜１０９で背景画像に部分画像を合
成するか否かを決め、合成するファイルや合成位置の座
標等を決める。さらに１１０〜１１４では、上記の１０
０〜１０９でできた画像に合成する文字図形画像のファ
イルや合成位置の座標などを決める。なお、同図中の１
０３、１０９、１１４において復元コマンド名を記憶し
ておくのはエラー処理を目的としたものである。また、
画面２は合成前の画像を保存するためのものである。以
上のようにしてプレゼンテーション画像１枚分の編集を
行うが、実際には上述のプロセスをくり返して複数の画
面を作成する。こうして作成された表示用プログラム
は、一時的にメモリ２６に記憶される。

【００３９】次に図４の４５では４４で作られた表示用
プログラムに画像変更処理やポインタ表示のコマンド等
を追加して表示用プログラムを完成させる。

【００４０】最後に４６において表示用プログラムとそ
こで使用する画像の圧縮データを記録メディア３４に記
録する。この記録メディア３４は表示用プログラムを記
録するための領域と画像の圧縮データを記録するための
領域とに予め分割されており、それぞれのデータは各々
別の領域に記憶される。

【００４１】こうして作成された合成表示のためのデー
タは会議場や講演会場に運ばれて合成表示が実施され
る。実際に合成表示を行う場合（図４の４７）には、Ｃ
ＰＵ２３が、記録メディア３４内に記録されている表示
用プログラムから、合成表示するべき複数の画像の圧縮
データファイル名を読み込む。次にＣＰＵ２３は各ファ
イル名に相当する圧縮データをそれぞれの圧縮方法に応
じた復元方法で復元した後、各画像を重ね合わせて表示
する。こうして１枚の合成画像が表示される。以上の合
成表示動作を繰り返して会議や講演を行うことになる。

【００４２】

【発明の効果】以上、説明したように本発明によれば、
画像データをその性質あるいは用途等にしたがって分類
した上で最適の画像圧縮方法を選択して圧縮処理を行う
ことができ、また画像データを基になる全体画像と変化
する部分画像に分けて、その用途に応じた圧縮処理を行
い、各構成部品の合成位置及び表示順序を記憶すること
により、画質を損なうことなく高い画像データの圧縮率
を得ることができ、データ量を大幅に削減することがで
きる。

【図面の簡単な説明】

【図１】本発明の画像圧縮処理の流れを示す図である。

【図２】本発明のシステム構成を示す図である。

【図３】本発明の画像データの流れを示す図である。

【図４】本発明の画像圧縮処理の流れを示す図である。

【図５】本発明の表示用プログラムの作成方法を示す図
である。

【図６】プレゼンテーション画面の表示例を示す図であ
る。

【符号の説明】

２０ フルカラースキャナ ２１ キーボード ２３ ＣＰＵ ２４ 画像メモリ ２５ モニタ ２７ フロッピーディスク装置 ２８ 光磁気ディスク装置 ２９ ＤＳＰ ３０ 原稿 ３２ 画像データベース ３３ 編集系 ３４ 記録メディア ３５ 表示系 ３６ プロジェクター

フロントページの続き (72)発明者 賀好 宣捷 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 昭63−299680（ＪＰ，Ａ) 特開 昭63−236177（ＪＰ，Ａ) 特開 昭59−178567（ＪＰ，Ａ) 画像電子学会研究会予稿，1989−２− ６，井上誠喜，柴田正啓（ＮＨＫ放送技 術研究所），「シーン合成用画像データ ベース」，Ｐ．34−37 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/41 - 1/419

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 別個に入力された複数の構成部品を重ね
   合わせることにより、所望の画像を合成して表示するた
   めの画像符号化装置であって、 前記各構成部品のそれぞれに対して、該構成部品が全体
   画像か部分画像かを区別する識別子を付け分ける識別子
   付加手段と、 前記各構成部品のそれぞれに対して、該構成部品に付加
   された 識別子に基づき、所定の画像符号化を行う画像符
   号化手段と、 前記各構成部品の合成位置及び表示順序を任意に決定し
   て１つの画面を編集するプロセスを繰り返し、複数の画
   面からなる画像の表示用プログラムを作成する表示用プ
   ログラム作成手段と、 前記各構成部品の符号化データと、前記識別子と、前記
   表示用プログラムとを記憶する記憶手段とを有すること
   を特徴とする画像符号化装置。
2. 【請求項２】 前記請求項１に記載の画像符号化装置に
   おいて、 前記表示用プログラム作成手段は、さらに、前記各構成
   部品の拡大・縮小を含む画像変更処理のコマンドを、表
   示用プログラムに追加することを特徴とする画像符号化
   装置。
3. 【請求項３】 別個に作成された複数の構成部品の符号
   化データと、前記各構成部品のそれぞれに対して、該構
   成部品が全体画像か部分画像かを区別するために付け分
   けられた識別子と、複数の画面からなる画像の表示用プ
   ログラムとを入力し、所望の画像を表示するための画像
   復号装置であって、 前記各構成部品の符号化データに対して、該構成部品に
   付加された識別子に応じた所定の復号を行う画像復号手
   段と、 前記複数の画面からなる画像の表示用プログラムに従っ
   て、前記各構成部品の合成位置及び表示順序を制御して
   １つの画面を合成する動作を繰り返し、複数の画面から
   なる画像の表示を行う合成表示制御手段とを有すること
   を特徴とする画像復号装置。
4. 【請求項４】 前記請求項３に記載の画像復号装置にお
   いて、 前記合成表示制御手段は、さらに、前記表示用プログラ
   ムに従って、前記各構成部品の拡大・縮小を含む画像変
   更処理を行うことを特徴とする画像復号装置。