JP4462055B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、本発明は、デジタル化された画像データを処理する画像処理技術に関し、特に画像を部分的な特徴に応じた複数の画像に分離して保持するような画像処理技術に関するものである。

カラー画像を取り扱う画像処理システムでは、文字や画像が様々に混在する画像データもその処理対象となる。このような画像を高品位に取り扱うためには、より多い階調数や高い解像度を必要とする。しかしながら画像の容量は（画素数×階調ビット数）で表されるため、例えば画像サイズをＡ４サイズとし、階調数がＲＧＢ各色８ビット、解像度が３００ｄｐｉ（Ｄｏｔ Ｐｅｒ Ｉｎｃｈ）のときのデジタル画像の容量は、約２５Ｍバイトにもなる。そのため、一般的には蓄積コストの削減や伝送時間の削減等を目的として、画像の圧縮が行われている。

しかし、どのような入力画像に対しても常に最も圧縮率を高くすることのできる万能な圧縮方式は、未だ開発されていない。例えば、多値画像データのもっとも一般的な圧縮方式であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式では、色の変化が比較的なだらかな写真や絵柄部分については、良好な圧縮性能を示すことができる。しかし、文字部分などの色の変化が急な部分では画質劣化が激しくなるため、圧縮率を高くすることができない。

このような問題点を改善するための一手法が、特許文献１や特許文献２などに提案されている。これらの文献に記載されている技術は、簡単には以下の方法により圧縮を行うものである。
（１）入力画像から、周辺領域との色の差が大きく、かつ、比較的均一な色で構成された部分領域を抜き出し、それらの領域を、抜き出された位置情報、代表色、２値データとで表現し、２値データをＭＭＲ（Ｍｏｄｉｆｉｅｄ Ｍｏｄｉｆｉｅｄ ＲＥＡＤ）などの方式で圧縮する。
（２）抜き出した後を、画素値の変化が滑らかになるように周辺を参照しながら埋めて、場合によっては縮小を行った後に、ＪＰＥＧなどの方式で圧縮する。

図２は、画像の分離方式の一例の説明図である。上述のような方式によって分離された画像の例を図２に示している。なお、図示の都合上、文字の色についてはそれぞれ記載した色であるものとする。図２（Ａ）に示すように、楕円形や三角形などの模様を含む背景画像上に黒文字、赤文字、白文字がそれぞれ配されている。このような画像から、上記（１）により文字部分を分離し、図２（Ｃ）に示す赤文字、図２（Ｄ）に示す黒文字、図２（Ｅ）に示す白文字を、各文字毎に分離する。このようにして文字を分離すると、分離した文字が存在していた部分が抜けるため、上記（２）によって、抜けた部分を埋めて図２（Ｂ）に示す背景画像としている。図２（Ｂ）に示す背景画像及び図２（Ｃ）〜（Ｅ）に示す分離された各文字画像を、以下、分離画像と呼ぶことにする。

このようにして分離した背景画像については、場合によっては縮小した後、ＪＰＥＧなどの圧縮方式を用いて圧縮する。また、各文字画像については文字部分とそれ以外を示す二値のデータとして表現することができ、その二値データと位置情報、代表色（文字色）を保持しておけばよい。

もとの画像を合成する際には、分離画像が圧縮されている場合には伸長し、場合によっては拡大した後、図２（Ｂ）に示した分離画像を背景画像とし、その背景画像上に、図２（Ｃ）〜（Ｅ）に示したそれぞれの分離画像について二値の一方の画素値部分を代表色、もう一方の画素値を透過とみなして、位置情報を用いて抜き出された位置に合成すればよい。このような処理によって、元の入力画像が再構成される。

このような圧縮（以下、分離圧縮と称する）方式を用いると、文字などのように比較的均一な色で構成され、かつ周囲との色変化が激しいものは抜き出されて２値化され、劣化を最小限に抑えた上で高圧縮率で圧縮することができる。また、残った領域は変化が少ないので、縮小やＪＰＥＧ方式などで高圧縮してもあまり画質劣化を生じることが少ない。そのため、全体として画質を保ったまま、画像データの容量を非常に小さく抑えることができる。

しかしながら、このような分離圧縮形式で保持された画像データを、表示や印刷などのために再構成する処理は、一般の場合と異なり、処理コストが高い。具体的には、前述のように、背景画像を多値伸長処理した後に元の解像度に拡大処理し、その上に、２値伸長処理した複数の前景画像を、一方の画素値部分を代表色、もう一方の画素値を透過と見なして合成する。この前景画像の合成処理を、複数の前景画像の数だけ行って元画像を再構成することになる。

このような処理は、前景画像の面積や数により処理コストが変動するものの、一般の画像の読み出し処理と比べると処理コストが高く、特に複数ページを処理する際には、ユーザに対して多くの待ち時間を強いる結果となってしまう。

複数ページの画像を処理する一つのケースとして、複数ページを縮小して一度に表示あるいは印刷させたり、またはサムネイル化して一度に大量のページを表示または印刷する場合が考えられる。縮小あるいはサムネイル化した画像の出力は、どのような画像が保持されているかを素早く視認することが目的である場合が多い。そのためには、画像を大まかに判別できる程度まで画質を落としてでも、レスポンス時間を短くすることが重要である。しかし、分離圧縮形式で保持された画像データを縮小あるいはサムネイル化して表示または印刷する場合には、各ページを再構成処理した後に縮小処理することが必要となり、処理コストが高いために、ユーザに素早いレスポンスを返すことができない。

このような課題を解決する一つの方法として、分離圧縮形式のデータを生成する際に、元画像を縮小した画像を別途作成して画像データの一部に付加することが考えられる。しかしながら、このような方法では、せっかく高圧縮によりデータ量を削減したのに、余分なデータを付加してデータ量を増やすことになってしまう。縮小画像やサムネイルの使用頻度にもよるが、頻度が低い場合にはあまり好ましくない。また、縮小倍率が固定でない場合には、様々なサイズでの表示や印刷に対応するために幾つかの縮小画像を持つことが必要となり、圧縮率などの点で現実的ではない。

特開２００２−３６９０１１号公報 特開２００３−３４８３６０号公報

本発明は、上述した事情に鑑みてなされたものであり、分離圧縮形式で保持された画像データを再構成する際に、要求された画質に応じて、より高速に再構成処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とするものである。

さらに本発明では、再構成処理を高速に行うことと同様の着眼点から、前述のような分離圧縮形式で保持された画像データを外部に伝送する際にも、要求された画質レベルや伝送許容時間などに応じて、より高速な伝送を可能にした画像処理装置及び画像処理方法を提供することを目的としている。

本発明は、デジタル化された画像を分離圧縮方式などにより部分的な特徴に応じた複数の分離画像に分離し複数の分離画像の形式で圧縮して保持し、画像を合成する画像処理装置及び画像処理方法であって、再構成する画像サイズまたは解像度により定まる条件に従い、圧縮された分離画像のうちから合成すべき分離画像を選択し、選択された分離画像を伸長し、合成することを特徴とするものである。

合成すべき分離画像の選択は、再構成される画像サイズまたは解像度により定まる条件に従い、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて行うことができる。また、合成すべき分離画像を選択する条件は、外部からの指示により変更可能とし、またそれぞれの分離画像の色や合成した場合の周囲の色との差により変更するように構成することができる。

なお、合成すべき分離画像として選択されなかった分離画像は、合成しないようにするほか、所定の画像を当該分離画像に代えて合成してもよい。

また本発明は、同様に画像を複数の分離画像に分離して複数の分離画像の形式で圧縮して保持し、画像を伝送する画像処理装置および画像処理方法であって、再構成する画像サイズまたは解像度により定まる条件に従い、圧縮された分離画像のうちから合成すべき分離画像を選択し、選択された分離画像を伝送することを特徴とするものである。

伝送すべき分離画像の選択は、伝送先で再構成される画像サイズまたは解像度より定まる条件に従い、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて行うことができる。また、伝送すべき分離画像を選択する条件を、伝送先からの指示または伝送許容時間により変更するように構成することができる。

本発明によれば、分離圧縮方式により分離画像に分離された画像を再構成または伝送する際に、再構成や伝送に関する条件に応じて分離画像のどれを使用するかを選択することにより、ある場合には全ての分離画像を用いずに再構成したり、全ての分離画像を伝送せずに済ますことができ、レスポンスを速めることができるという効果がある。

また本発明では、再構成される画像サイズまたは解像度により定まる条件に従って、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布などに基づいて分離画像を選択するように構成することができる。これによって、例えば画像サイズが小さく、あるいは解像度が低く、再構成してもほとんど視認できない程度の分離画像については選択しないようにすることができ、縮小あるいはサムネイル化する場合でも視認性を犠牲にせずにレスポンスを速めることができる。

図１は、本発明の第１の実施の形態を示すブロック図である。図中、１は指示入力部、２は画像入出力部、３は画像記憶部、４は分離処理部、５は再構成処理部、６は制御部、７はバスライン、１１は伸長処理部、１２は拡縮処理部、１３は合成処理部、１４は再構成制御部である。図１に示す例では、指示入力部１、画像入出力部２、画像記憶部３、分離処理部４、再構成処理部５、制御部６を有し、これらの構成要素がバスライン７を介して相互に接続された構成となっている。もちろん、他の構成要素が含まれている構成など、種々の変形が可能であることは言うまでもない。

指示入力部１は、外部から与えられる指示入力を受け取る。画像入出力部２は、装置外部との間で画像データの入出力を行う。画像記憶部３は、画像入出力部２から入力された画像データや分離処理部４により分離圧縮形式に変換された画像データ、さらに再構成処理部５により再構成された画像データなどを保持する。

分離処理部４は、非圧縮または通常方式で圧縮されたデジタル画像データから、分離圧縮方式により背景と前景とに分離された複数の分離画像の形式で圧縮したデジタル画像データを生成する。ここでの処理の詳細は、例えば特許文献１や特許文献２などに記載されているので、ここでは説明を省略する。

再構成処理部５は、複数の分離画像を圧縮した画像データをもとに、分離されていない画像を再構成する。ここで再構成する画像は、分離される前の画像と同じサイズ及び同じ解像度でもよいし、それよりも小さいまたは大きいサイズまたは解像度でも良い。この再構成処理部５は、伸長処理部１１、拡縮処理部１２、合成処理部１３、再構成制御部１４を含んで構成されている。伸長処理部１１は、圧縮されている分離画像を伸長する。拡縮処理部１２は、合成後の画像サイズ及び解像度に応じた倍率で、伸長処理部１１で伸長された分離画像を拡大または縮小する。

合成処理部１３は、再構成制御部１４で選択された分離画像を合成する。より具体的には、伸長処理部１１で伸長され、必要に応じて拡縮処理部１２で拡縮処理された背景画像に、再構成制御部１４で選択され、伸長処理部１１で伸長されて必要に応じて拡縮処理部１２で拡縮処理された文字画像について、二値の一方の画素値部分を代表色、もう一方の画素値を透過とみなして、位置情報を用いて抜き出された位置に合成する。

再構成制御部１４は、再構成処理部５の制御を行って画像を再構成するための各種の制御を行う。画像を再構成するにあたって、もとの画像から分離された複数の分離画像のうちから、予め定められた条件に従って合成すべき分離画像を選択し、その合成すべき分離画像について、伸長処理部１１で伸長処理させ、必要に応じて拡縮処理部１２で拡縮処理を行い、合成処理部１３に合成させる。合成すべき分離画像を選択するための条件は、再構成される画像サイズまたは解像度により定め、その条件に従い、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて、合成すべき分離画像を選択する。なお、合成すべき分離画像を選択するための条件は指示入力部１からの指示により変更することができる。また、それぞれの分離画像の色や合成した場合の周囲の色との差によって、合成すべき分離画像を選択するための条件を変更することができる。

制御部６は、例えばＣＰＵなどによって構成され、指示入力部１、画像入出力部２、画像記憶部３、分離処理部４、再構成処理部５の各処理の制御を司っている。

次に、本発明の第１の実施の形態における動作の一例について説明する。なお、画像記憶部３には、分離処理部４で生成された、または画像入出力部２を経由して装置の外部から入力された分離圧縮形式の画像データが保持されているものとする。指示入力部１から、印刷や表示などの目的で、この画像データを再構成するよう指示が入力されると、この指示が制御部６により解釈されて、再構成処理部５への再構成指示命令となる。このとき、再構成する画像のサイズや解像度などを指定することができる。例えば通常の出力とサムネイル出力を切り替えたり、いくつかの候補から指定するなど、種々の指定方法が考えられる。あるいは、出力先などから自動的に決定される場合もある。

図３は、再構成処理部５における画像の再構成処理の動作の一例を示すフローチャートである。再構成処理部５に対して再構成指示命令がなされると、再構成制御部１４が以下のような制御を行う。まずＳ２１において、分離画像のうち、多値圧縮されている背景画像を画像記憶部３から読み出し、伸長処理部１１で伸長処理を行う。その後、もし再構成する画像サイズ及び解像度とあわない場合には、適宜、拡縮処理部１２において拡縮処理を行う。

Ｓ２２において、分離画像のうち、以下の処理を行っていない前景画像が存在するか否かを判定する。前景画像が存在する場合には、Ｓ２３において、画像記憶部３から前景画像のうちの１つを取り出す。そして、Ｓ２４において、あらかじめ設定された条件に従って、当該前景画像が合成すべきものであるか否かを判定する。この判定のための条件は、再構成する画像サイズや解像度によって定めることができる。例えばサムネイルなどのように画像サイズが小さい場合や、解像度が低い場合には、小さな前景画像はほとんど視認できない場合が生じる。このような視認できない程度の前景画像であれば、合成しなくても再構成した画像全体への影響はほとんど無い。従って、合成すべき分離画像ではないものと判定すればよい。また、例えば前景画像の色が目立たない色であったり、背景画像の色との差がそれほど無い場合にも、ある程度小さい前景画像であれば、合成しなくても再構成した画像全体への影響はほとんど無いと考えられる。このような場合にも、合成すべき分離画像ではないものと判定することができる。もちろん、そのほかの種々の要因を考慮して条件を設定し、その条件に従って合成すべき分離画像（前景画像）であるか否かを判断すればよい。

当該前景画像が合成すべきものであった場合には、Ｓ２５において、当該前景画像を伸長処理部１１で２値の伸長処理を行い、必要に応じて拡縮処理部１２において拡縮処理を施した後、合成処理部１３において、一方の値（例えば画素値１）の画素を代表色として、位置情報で示される背景画像上に上書きし、他方の値（例えば画素値０）に対しては透過（背景画像の画素値をそのまま残す）させる処理を行う。これにより、当該前景画像が背景画像上に合成される。そしてＳ２２へ戻る。

なお、当該前景画像が合成すべきものでない場合には、この例ではＳ２５における伸長処理、拡縮処理、合成処理を行わずに、Ｓ２２へ戻る。

このようなＳ２２〜Ｓ２５の処理を、全ての前景画像について行う。全ての前景画像について処理を終えると、Ｓ２２で処理完了を検出し、Ｓ２６へ進む。Ｓ２６において、再構成された画像は画像記憶部３に保持され、制御部６の制御により必要に応じて画像入出力部２から装置外部に出力される。

上述の動作の一例について、具体例を用いながらさらに説明する。以下の説明では、画像記憶部３に保持されている画像データは、図２に示したものであるとする。図４は、出力される再構成された画像の一例の説明図である。図４（Ａ）はもとの画像と同じサイズ、解像度の画像を出力する場合を、図４（Ｂ）は５０％縮小した画像を再構成する場合を、図４（Ｃ）は２５％に縮小した画像を再構成する場合を、それぞれ示している。

まず、指示入力部１から、印刷などの目的で、生成時と同じサイズ、解像度で再構成するよう指示が入力された場合について説明する。この指示は、制御部６により解釈されて、再構成処理部５への、元解像度での再構成指示命令となる。

多値圧縮されている背景画像について伸長処理部１１により伸長処理を行い、その後、もし縮小されている場合には、拡縮処理部１２により元の解像度への拡大処理が行われる。

次に、図２（Ｃ）〜（Ｅ）に示した各前景画像を画像記憶部３から順次読み出し、合成すべきものであるか否かを判断してゆく。もとの画像を再構成する場合には、全ての前景画像が合成処理の対象として選択される。従って、全ての前景画像について、伸長処理部１１により２値伸長処理を行い、適宜拡縮処理部１２で拡縮処理し、その結果を位置情報で示される背景画像上の位置に合成する。合成は、上述のように、例えば画素値１（図２（Ｃ）〜（Ｅ）では黒い部分）の画素に対して代表色を上書きし、画素値０（図２（Ｃ）〜（Ｅ）では白い部分）に対しては透過（背景の画素値をそのまま残す）させる処理を、合成処理部１３により行う。

これらの処理が再構成制御部１４により制御されながら行われ、その結果、元の画像サイズ、解像度で再構成された画像が生成される。このようにして、図４（Ａ）に示す画像が再構成されることになる。この画像は図２（Ａ）に示したもとの画像と同様である。再構成された画像は画像記憶部３に保持され、制御部６の制御により必要に応じて画像入出力部２から装置外部に出力するなどの後処理が行われる。

次に、指示入力部１から、表示などの目的で、もとの画像の５０％の解像度で再構成するように指示が入力された場合について説明する。この指示は、制御部６により解釈されて、再構成処理部５に対する５０％解像度での再構成指示命令となる。

再構成処理部５では、まず伸長処理部１１により、多値圧縮されている背景画像の伸長処理を行い、その後、もとの画像の５０％の解像度に相当するサイズになるよう、拡縮処理部１２により拡縮処理が施される。

さらに、図２（Ｃ）〜（Ｅ）に示した分離画像に含まれるそれぞれの前景画像を順次読み出し、再構成制御部１４により、合成すべき分離画像であるか否かを判定する。具体例としては、予め、５０％の解像度での再構成という条件に対応づけて、前景画像のサイズ（画素数）に対する閾値を保持しておく。そして、読み出した前景画像のサイズがその閾値よりも大きいか否かを判定する。ここで用いた画素数は、２値圧縮された分離画像を伸長処理しなくても、その属性情報を読み出すだけで得られるものであり、また伸長処理を行うためにも必要な情報であるため、その取得によって余分な処理コストは発生しない。

図２に示した分離画像の例では、仮に最も小さい文字（図２（Ｃ）に示す代表色＝赤の文字）全てでその画素数が予め保持された閾値よりも小さいとすると、これらの分離画像は上記判定により合成不要と判断され、以降の処理には用いられずに読み飛ばされる。

また、上記の判定の結果、合成すべき分離画像であると判定された前景画像（図２（Ｃ）、（Ｄ）に示す代表色＝黒、白の文字）については、伸長処理部１１により２値伸長処理が行われ、拡縮処理部１２により、もとの画像の５０％に縮小し、その結果を位置情報で示される背景画像上の位置に、合成処理部１３により合成する。

これらの処理は、再構成制御部１４により制御されながら行われ、その結果、５０％の解像度で再構成された画像が生成される。このようにして、図４（Ｂ）に示す画像が再構成されることになる。この図４（Ｂ）に示すように、５０％の解像度で再構成した画像には、もとの画像中に含まれていた小さな文字部分が省略されている。これは、縮小により殆ど目視できなくなってしまう程度の小さな前景画像を合成処理から省略したためであり、ユーザはより高速なレスポンスで再構成された画像を得ることができる。

この再構成された画像は画像記憶部３に保持され、制御部６の制御により必要に応じて画像入出力部２から装置外部に出力される、または図示しない表示装置に表示されるなどの後処理が行われる。

次に、指示入力部１から、サムネイル表示などの目的で、生成時の２５％の解像度で再構成するよう指示が入力されたとする。この指示は、制御部６により解釈されて、再構成処理部５への、２５％解像度での再構成指示命令となる。

再構成処理部５では、まず伸長処理部１１により多値圧縮されている背景画像の伸長処理を行い、その後、もとの画像の２５％の解像度に相当するサイズになるよう、拡縮処理部１２により拡縮処理される。

また、図２（Ｃ）〜（Ｅ）に示したそれぞれの前景画像を順次読み出し、再構成制御部１４により、合成すべき分離画像か否かを判定する。先の例と同じく、予め、２５％再構成時の条件に対応づけて前景画像のサイズ（画素数）に対する閾値を保持しておき、読み出した前景画像のサイズ（画素数）がその閾値よりも大きいか否かを判定する。

図２に示した例では、仮に最も大きい文字（図２（Ｃ）に示す代表色＝白の文字）以外は、その画素数が予め保持された閾値よりも小さいとする。すると、図２（Ｄ）、（Ｅ）に示す各前景画像は合成には不要と判断され、以降の処理には用いられずに読み飛ばされる。

また、図２（Ｃ）に示す各前景画像は合成すべき分離画像として選択され、伸長処理部１１により２値伸長処理が行われ、必要に応じて拡縮処理の後、その結果を位置情報で示される背景画像上の位置に、合成処理部１３により合成する。

これらの処理は、再構成制御部１４により制御されながら行われ、その結果、２５％の解像度で再構成された画像が生成される。このようにして、図４（Ｃ）に示す画像が再構成されることになる。この図４（Ｃ）に示すように、２５％の解像度で再構成した画像には、もとの画像中に含まれていた小さな文字部分がさらに省略されている。これにより、サムネイル表示のように多くのページを一括して目視したいような場合に、ユーザはさらに高速なレスポンスにより再構成された画像を得ることができる。

再構成された画像は画像記憶部３に保持され、制御部６の制御により必要に応じて画像入出力部２から装置外部に出力される、または図示しない表示装置にサムネイル表示されるなどの後処理が行われる。

なお、上述の説明において、合成すべき分離画像か否かの判定条件として、それぞれの前景画像のサイズ（画素数）を用いた。しかし、本発明はこれに限定されるものではなく、例えば幅と高さに対してそれぞれ縦横の縮小率に応じて決定される閾値を持ち、読み出した前景画像の幅または高さのどちらか一方が閾値よりも小さい場合には、これを再構成処理には用いないように構成することもできる。

また、上述の説明では２値伸長処理前に合成の要否を判断し、合成不要の前景画像については伸長処理を行っていない。しかしこれに限らず、例えば２値伸長処理までは行い、その画像に含まれる画素値１の画素数を計数し、それがある閾値以下の場合には、これを再構成処理には用いないように構成することもできる。または分離画像を生成する際に、前景画像の各々にそのデータ中に含まれる画素値１の画素数を計数して、属性情報として付加しておき、合成の要否を判断する際に属性情報を参照することにより、伸長処理を省略することも考えられる。

さらに、上述の例では指定された解像度に基づいて、一意に閾値を決定するように説明したが、本発明はこれに限定されるものではない。例えば、指示入力部１から、画質とレスポンスのどちらを優先するかに関する情報を入力し、画質を優先する場合には閾値を高めに設定するか、あるいは判定を行わないこととし、レスポンスを優先する場合には閾値を低めに設定することも可能である。

また、上述の具体例では前景画像の大きさのみに注目して判定を行っているが、視認性にさらに注目すると、色を判定基準に含めることも考えられる。例えば、図２（Ａ）に示した画像では、最も小さい前景データは代表色が赤であり、背景が白や薄いグレー等の場合には比較的目立ち易い。このように視覚的に目立つものについては、閾値を大きめにして、省略され難くすることができる。

具体的には、分離圧縮形式への変換を行う際に、背景画像中の前景画像を抜き出した部分については周囲の画素値を参照して埋める処理を行うが、その際に周囲の色値の略平均を求めて、前景画像に付加しておく。再構成処理時に、その前景画像を合成に使用するか否かを判定する際には、前景画像の代表色と背景画像の平均値とを比較し、もし色差が大きい場合には閾値を低く変更し、色差が小さい場合には閾値を高めに変更する。このようにすれば、視覚的に目立つ部分については省略されにくくなり、レスポンスをあまり犠牲にせずに、より視認性の良い縮小画像を再構成することができる。

または、背景は通常比較的薄い色を使われることが多いので、上記の処理を簡略化して前景データの代表色のみを見て、代表色の濃度が高い場合には閾値を低めに変更し、濃度が低い場合には閾値を高めに設定することも可能である。

さらにまた、上述の説明では合成すべきと判定された分離画像以外は無視し、再構成画像上には何ら反映されない。しかし本発明はこれに限らず、例えば合成不要と判定された分離画像については、例えばドットなどの所定画像を分離画像に代えて合成するように構成してもよい。これによって、画像サイズが小さい、低解像度の画像でも、内容は分からなくても何か存在することだけは分かる再構成画像を得ることができる。もちろん、全ての合成不要の分離画像について置き換える必要はなく、例えば形状程度は視認できる大きさについては置き換えを行い、形状も分からない程度の大きさであれば合成しない、といった段階的な処理も可能である。

図５は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。８は伝送処理部、３１は伝送制御部、３２は伝送部である。上述の第１の実施の形態では、分離圧縮形式の分離画像を再構成する場合の処理について説明した。しかし、本発明はこれに限定されるものではない。例えば、この分離圧縮データを外部の他のシステムに伝送する場合にも、同様の判定により伝送時間を短くすることが可能である。

伝送処理部８は、バスライン７を介して他の各部と接続されている。この伝送処理部８は、画像記憶部３に保持されている分離圧縮形式の画像を他の装置へ伝送する機能を有している。この例では、伝送処理部８は伝送制御部３１及び伝送部３２を有している。

伝送制御部３１は、画像記憶部３に保持されている分離画像のうちから、予め定められた条件に従って、伝送すべき分離画像を選択する。条件は、伝送先での再構成条件が指示されて予め分かっている場合には、その再構成条件に見合う閾値を設ければよい。また、伝送先からの指示により画質とレスポンスの優先度が与えられる場合には、それに応じて条件として設定されている閾値を変更することもできる。さらに、伝送許容時間があり、この伝送許容時間が、データ量から予想される伝送時間よりも短い場合には、閾値を高めに変更してデータ量を削減して伝送することも考えられる。

伝送部３２は、伝送制御部３１で選択された分離画像を伝送する。例えばネットワークインタフェースで構成されている場合には、ＬＡＮやさらにはインターネットなどのネットワークを通じて他のネットワーク機器へ伝送することができる。あるいは、画像入出力部２から外部装置へ伝送するように構成してもよい。

次に、本発明の第２の実施の形態における動作の一例について、その概要を説明する。なお、画像記憶部３には、分離処理部４で生成された、または画像入出力部２を経由して装置の外部から入力された分離圧縮形式の画像データが保持されているものとする。

指示入力部１から、この画像データを伝送するよう指示が入力されると、この指示が制御部６により解釈されて、伝送処理部８への伝送指示命令となる。このとき、伝送先の指示を受け取り、伝送部３２により伝送先で再構成される画像のサイズや解像度などの情報を取得する。あるいは、指示入力部１からの指示により、伝送する画像のサイズや解像度などの情報を取得する。これらの情報に従って、伝送の要否を決定するための条件の設定を行う。

分離画像のうち背景画像については、そのまま伝送部３２から伝送先へ伝送する。また、前景画像については、それぞれ、条件に従って伝送すべきか否かを判定する。この場合の判定は、上述の第１の実施の形態と同様である。伝送不要と判定された前景画像については伝送しない。また、伝送すべきと判定された前景画像は、伝送部３２から伝送先へ伝送される。

このようにして、一部の前景画像については伝送しないことによって、伝送時間を短縮することができる。なお、上述の説明では伝送するか否かの判定を行い、伝送すべきと判定されたらそのまま伝送することとしたが、例えば、伝送先で再構成する画像サイズや解像度に合わせて、復号処理、拡縮処理、再符号化処理を行って伝送するように構成してもよい。例えば伝送先でサムネイル表示を行うような場合には、伝送前の処理時間はかかるものの、伝送そのものに要する時間は大幅に短縮することができる。

本発明の第１の実施の形態を示すブロック図である。 画像の分離方式の一例の説明図である。 再構成処理部５における画像の再構成処理の動作の一例を示すフローチャートである。 出力される再構成された画像の一例の説明図である。 本発明の第２の実施の形態を示すブロック図である。

符号の説明

１…指示入力部、２…画像入出力部、３…画像記憶部、４…分離処理部、５…再構成処理部、６…制御部、７…バスライン、８…伝送処理部、１１…伸長処理部、１２…拡縮処理部、１３…合成処理部、１４…再構成制御部、３１…伝送制御部、３２…伝送部。

Claims (16)

1. デジタル化された画像を処理する画像処理装置において、画像を部分的な特徴に応じた複数の分離画像に分離して複数の分離画像の形式で圧縮して保持する保持手段と、再構成する画像サイズまたは解像度により定まる条件に従い前記保持手段に保持されている圧縮された分離画像のうちから合成すべき分離画像を選択する再構成制御手段と、前記再構成制御手段で選択された圧縮された分離画像を伸長する伸長手段と、前記再構成制御手段で選択され前記伸長手段で伸長された分離画像を合成する合成手段を有することを特徴とする画像処理装置。
2. 前記再構成制御手段は、さらに、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて、合成すべき分離画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記再構成制御手段は、合成すべき分離画像を選択する条件を、外部からの指示により変更することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記再構成制御手段は、それぞれの分離画像の色や合成した場合の周囲の色との差により条件を変更することを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、前記再構成制御手段で選択されなかった分離画像の一部または全部について、所定の画像を当該分離画像に代えて合成することを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
6. デジタル化された画像を処理する画像処理装置において、画像を部分的な特徴に応じた複数の分離画像に分離して複数の分離画像の形式で圧縮して保持する保持手段と、再構成する画像サイズまたは解像度により定まる条件に従い前記保持手段に保持されている圧縮された分離画像のうちから伝送すべき分離画像を選択する伝送制御手段と、前記伝送制御手段で選択された分離画像を伝送する伝送手段を有することを特徴とする画像処理装置。
7. 前記伝送制御手段は、さらに、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて、伝送すべき分離画像を選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記再構成制御手段は、伝送先からの指示または伝送許容時間により条件を変更することを特徴とする請求項６または請求項７に記載の画像処理装置。
9. 画像を部分的な特徴に応じた複数の分離画像に分離して複数の分離画像の形式で圧縮して保持手段に保持しておき、該画像を処理する画像処理方法であって、再構成する画像サイズまたは解像度により定まる条件に従い前記保持手段に保持されている圧縮された分離画像のうちから合成すべき分離画像を選択し、選択された分離画像を前記保持手段から読み出して伸長し、合成することを特徴とする画像処理方法。
10. 前記合成すべき分離画像の選択は、さらに、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて行うことを特徴とする請求項９に記載の画像処理方法。
11. 合成すべき分離画像を選択する条件を、外部からの指示により変更することを特徴とする請求項９または請求項１０に記載の画像処理方法。
12. 合成すべき分離画像を選択する条件を、それぞれの分離画像の色や合成した場合の周囲の色との差により変更することを特徴とする請求項９ないし請求項１１のいずれか１項に記載の画像処理方法。
13. 合成すべき分離画像として選択されなかった分離画像の一部または全部について、所定の画像を当該分離画像に代えて合成することを特徴とする請求項９ないし請求項１２のいずれか１項に記載の画像処理方法。
14. 画像を部分的な特徴に応じた複数の分離画像に分離して複数の分離画像の形式で圧縮して保持手段に保持しておき、該画像を処理する画像処理方法であって、再構成する画像サイズまたは解像度により定まる条件に従い前記保持手段に保持されている圧縮された分離画像のうちから伝送すべき分離画像を選択し、選択された分離画像を前記保持手段から読み出して伝送することを特徴とする画像処理方法。
15. 前記伝送すべき分離画像の選択は、さらに、それぞれの分離画像の面積または画素数、あるいはそれぞれの分離画像中の有効画素の画素数または分布に基づいて行うことを特徴とする請求項１４に記載の画像処理方法。
16. 伝送すべき分離画像を選択する条件を、伝送先からの指示または伝送許容時間により変更することを特徴とする請求項１４または請求項１５に記載の画像処理方法。

Images