JP3765177B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、公衆回線やＬＡＮなどのネットワーク回線を介して画像データを通信したり、あるいは画像データを蓄積するための画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
近年、公衆回線を用いたファクシミリ通信に加え、公衆回線やＬＡＮなどのネットワークを用いた画像通信が盛んに行なわれている。画像データを送受する機器もファクシミリのほか、パーソナルコンピュータや複合ディジタル複写機、ネットワークプリンタなど、各種の機器が用いられている。また最近はこれらの機器のカラー化も進み、カラーＦＡＸやカラープリンタも主流になりつつある。このようなネットワークシステムでは、例えば解像度がそれぞれ異なる異機種装置間での相互接続や、カラー複写機と白黒複写機といったような色空間がそれぞれ異なる異機種装置間での相互接続が可能である。
【０００３】
このような装置間で画像データをやりとりする場合、通常は入力した原稿画像を１枚のプレーン画像として扱う。つまり１枚のプレーン画像に対して、入力側機器で原稿の種類を判別し、原稿に適していると考えられる画像処理をプレーン画像全体に施して出力側機器へ送信する。
【０００４】
このように原稿画像を１枚のプレーン画像として扱った場合、原稿画像が文字のみ、あるいは写真のみといった１種類の属性の画像データだけで構成されるのであれば特に問題はない。しかし、文字と写真が混在しているような複数の種類の画像データから構成されている場合には不都合が生じる。例えば文字と写真が混在している画像データを圧縮しようとした場合、１枚のプレーン画像に対して同じ圧縮手法を用いて圧縮処理を施すので、適用する圧縮手法によっては文字部あるいは写真部のいずれかの圧縮率が低下して通信時間が長期化するか、あるいはいずれかの画質が劣化してしまう。また他の画像処理を施す場合も同様であり、１枚のプレーン画像に対して画一的な画像処理を施すと、文字部分あるいは写真部分など、部分的に画質が低下する場合があった。
【０００５】
一方、画像を帯状に分割して送信することが考えられている。例えばＦＡＸでは、帯状領域ごとに圧縮処理を行なって通信を行なっている。また、送信時に相手のバッファサイズに合わせた帯状領域に分割して送信することも行なわれている。これらは、ある固定した単位で画像を分割するため、分割される位置における画像の内容や、送信時の処理単位、あるいは相手先との通信条件などについては何等考慮されていない。そのため、帯状領域ごとに行なう画像処理や画像の種類によっては、帯状に分割した境界において不具合が生じたり、データ量が多く通信時間がかかるなどの不具合があった。
【０００６】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、より高速に、しかも高画質で画像データを送信でき、あるいは画質を維持したまま高圧縮率で画像データを蓄積することのできる画像処理装置および画像処理方法を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明では、入力された画像情報を文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離して送信あるいは蓄積する。このような第１画像データ、第２画像データ、選択データに分離すれば、それぞれに最適な解像度変換や圧縮処理などの画像処理を行なうことができるので、画質の劣化を抑え、しかも高圧縮率で圧縮することが可能となる。
【０００８】
また、本発明ではストライプ境界で分割するが、上述のように、単純に分割を行なうと、各領域ごとに画像処理を施した場合に境界においてズレなどの不具合が発生したり、データ量が多くなる場合がある。そのため、本発明では、例えば１ラインのすべての画素が所定の色であるラインの開始ラインまたは終了ラインを検出して、そのラインで分割することで例えばズレなどの不具合が発生しても画質上問題にならないようにし、画質の劣化を抑えることができる。
【０００９】
あるいは、画像情報を第１画像データ、第２画像データ、選択データに分離しようとしたときに実際にいずれのデータに分離されるかを示すレイヤタイプが異なるラインを検出してそのラインで分割することもできる。これらのラインは、そのラインの前後で性質が異なっており、やはり再生時に分割された領域の境界に例えばズレなどの不具合が発生しても、画質が低下することはない。さらに、レイヤタイプによっては第１画像データ、第２画像データ、選択データの１以上のデータを省略することができ、データ量を削減して高速な通信あるいは蓄積データ量の低減を図ることができる。
【００１０】
上述のようにして検出したラインで分割した場合、分割された各画像情報が大きすぎて処理時に多大なメモリ量を必要としたり、分割された各画像情報が小さすぎて処理のオーバヘッドが増大するなどの弊害が懸念される。そのため、ある所定値を越えたライン数や符号量の場合には強制的に分割したり、ある所定値を下回るライン数や符号量の場合には分割せずに隣接する領域を併合する等の処理を加えることによって、このような弊害を防止することができる。
【００１１】
また、第１画像データ、第２画像データ、選択データに分離した後に圧縮処理を行なう場合には、その圧縮手法に従って分割ラインを決定し、入力された画像情報あるいは分離後の各データを分割することができる。このとき、ユーザからもモード指定をも加味して分割ラインを決定することもできる。これによって分割境界付近のデータを圧縮する際に発生するノイズを低減することができ、高画質を維持することができる。
【００１２】
さらに、画像情報を送信する場合には、通信相手先との通信条件に従って分割ラインを決定し、入力された画像情報あるいは分離後の各データを分割することもできる。これによって通信相手先の条件に合わせて画像情報を送信することができ、効率よく送信することができる。この場合には、通信条件の設定までに所定の分割ラインで分割して送信のためのデータを生成しておくと、その条件で送信可能である場合の送信までの時間を短縮することができる。
【００１３】
【発明の実施の形態】
図１は、本発明の画像処理装置の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は属性判別部、３はストライプ境界決定部、４はストライプ生成部、５は画像分離部である。画像入力部１は、イメージスキャナ等の画像入力装置、あるいは、ネットワークから画像を入力するインタフェース部である。画像入力部１から入力された画像情報は、属性判別部２およびストライプ境界決定部３、およびストライプ生成部４に入力される。
【００１４】
属性判別部２は、画像入力部１から入力された画像情報に基づき、画像の色情報、エッジ形状、オブジェクト情報等の特徴量を抽出し、属性情報を作成して出力する。この例における属性情報は、ある注目画素についてそれが文字画像属性であるのか絵柄画像属性であるのかを示す情報であるとする。このような属性情報の作成には、例えばある注目画素について特徴量として周波数成分を抽出し、高周波成分の多いエッジ情報である画素は文字画像属性、高周波成分の少ない低周波の画像である非エッジ情報である画像は絵柄画像属性として、属性情報を作成することができる。この例では画素単位で属性情報を作成するが、ある所定領域（ブロック）ごとに属性情報を作成してもよく、また属性情報の作成方法および用いる特徴量も限定されるものではない。
【００１５】
ストライプ境界決定部３は、入力された画像情報から後述するように所定のラインを検出し、検出したラインをストライプ境界として決定する。ストライプ生成部４は、ストライプ境界決定部３で決定したストライプ境界に基づいて、入力された画像情報をストライプに分割する。
【００１６】
画像分離部５は、属性判別部２から出力される属性情報に基づき、ストライプ生成部４で分割された各ストライプごとに複数のデータに分離する。ここでは一例として、後述するように文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、及び文字又は線画の形状を示す選択データに分離するものとする。なお、画像分離部５では必ずしも３のデータを生成する必要はなく、属性判別部２から出力される分離情報に応じて、任意のデータ数に分割することができる。また、画像分離部５における画像分離方法としてどのような方式を採用するかは任意である。
【００１７】
図２は、入力された画像情報の具体例の説明図、図３は、本発明の画像分離処理の具体例の説明図である。上述のように、画像分離部５では入力された画像情報を３つのデータに分離する。例えば入力された画像情報が図２に示すような画像であったとする。図２に示す画像は、「ＧＥＲＭＡＮＹ」、「ＭＡＰ」という文字、ドイツ国旗、ドイツ地図の写真が混在した画像である。文字「ＧＥＲＭＡＮＹ」はすべて黒の文字であるが、文字「ＭＡＰ」はそれぞれ異なった色によって描かれている。
【００１８】
画像分離部５は、このような画像を、属性判別部２から出力される属性情報に従って、図３（Ａ）に示す文字又は線画の色情報を示す第１画像データと、図３（Ｃ）に示す中間調情報を示す第２画像データと、図３（Ｂ）に示す文字又は線画の形状を示す選択データの３つのデータに分離する。すなわち、ドイツ地図の写真は中間調情報として図３（Ｃ）のデータに分離される。また、文字「ＧＥＲＭＡＮＹ」および文字「ＭＡＰ」の形状が図３（Ｂ）のデータに、文字「ＧＥＲＭＡＮＹ」および文字「ＭＡＰ」の色情報が図３（Ａ）のデータに、それぞれ分離される。ドイツ国旗の部分は中間調画像として分離することもできるが、ここでは文字線画と同様に扱い、ドイツ国旗の形状データを図３（Ｂ）のデータに、またその色データを図３（Ａ）のデータに分離している。なお、図示の都合上、彩色はハッチングを異ならせることで示している。以下、説明を簡潔に行なうために、図３（Ａ）に示す文字又は線画の色情報を示す第１画像データを画像Ｃ、図３（Ｂ）に示す文字又は線画の形状を示す選択データを画像Ｓ、図３（Ｃ）に示す中間調情報を示す第２画像データを画像Ｉとする。また、画像Ｃ、画像Ｓ、画像Ｉをそれぞれプレーンと呼ぶことがある。
【００１９】
ここで、図３（Ａ）に示す画像Ｃは、各画素ごとに文字の色を表現できるデータ長が必要となる。しかし、文字の形状自体は図３（Ｂ）に示す画像Ｓに存在するため、この画像Ｃ中には文字の形状は必要ない。例えば一様な色の文字であれば、この画像Ｃには図３（Ａ）に示すように文字の存在領域に一様な色領域が存在していればよい。
【００２０】
図３（Ｂ）に示す画像Ｓは、図３（Ａ）に示す画像Ｃか、あるいは図３（Ｃ）に示す画像Ｉのいずれかを選択するデータである。この画像Ｓは、文字や線画の形状が保持されているので、文字や線画の部分は図３（Ａ）に示す画像Ｃを選択することによって、色彩が施された文字や線画を復元することができる。また、その他の部分では図３（Ｃ）に示す画像Ｉを選択することによって、文字と写真などが重なっている場合でも良好に分離および復元することができる。この画像Ｓは、図３（Ａ）に示す画像Ｃかあるいは図３（Ｃ）に示す画像Ｉかを選択するだけであるので、ここでは１画素あたり１ビットの情報があればよい。なお図３（Ｂ）において黒く示している部分は画像Ｃを選択し、白い部分は画像Ｉを選択することを示している。
【００２１】
図３（Ｃ）に示す画像Ｉは、写真や絵柄などの中間調あるいはフルカラーの画像を表現するため、色および階調を保持するデータ長が必要である。
【００２２】
このように、入力された画像情報を分離することによって、例えば画像Ｃについては文字や線画の形状が存在しないので、低解像度に変換し、カラー画像に適した圧縮手法によって圧縮することができる。また、画像Ｉについては、写真などの静止画像に適した例えばＪＰＥＧ方式などの圧縮手法を用いて圧縮することができる。さらに画像Ｓについては、高解像度が要求されるものの２値データであるので、例えばＭＨ／ＭＲ、ＭＭＲ、算術符号化といった２値データに適した圧縮手法を用いて圧縮することができる。このようにしてそれぞれのデータについて最適な解像度変換および圧縮を行なうことが可能となるので、例えばネットワークなどを介して画像を伝送する際には、通信時間を削減し、しかも高品質の画像を送ることができる。また画像データを蓄積する際にも高品質の画像を少ない容量で格納することができる。
【００２３】
なお、例えば文字のみの画像や絵柄のみの画像などでは、必ずしも３つのデータに分離しなくてもよく、２つのデータに分離したり、あるいは分離しなくてもかまわない。また、画像を復元する際には、各画素ごとに画像Ｓの値に応じて画像Ｃまたは画像Ｉを選択すれば簡単に復元することができる。
【００２４】
本発明では、分離されたデータの構成は上述の例に限るものではなく、例えば文字や線画の色および形状を含む文字線画部分のデータと、写真などの中間調部分のデータに分離してもよい。あるいは、さらにＣＧ（コンピュータ・グラフィック）画像の部分も分離し、結果として文字や線画の色データ、写真などの中間調データ、ＣＧなどのグラフィックスデータ、そしてこれらを選択する選択データの４つのデータに分離するなど、種々の構成とすることができる。
【００２５】
次に、本発明の画像処理装置の第１の実施の形態における動作の一例を説明する。まず、画像入力部１で画像情報を入力する。画像入力部１がスキャナやデジタルカメラなどの画像入力機器の場合には、原稿などの画像を読み取る。またネットワークなどのインタフェースで構成される場合には、画像情報を受信して取り込む。もちろん、例えば外部記憶装置から画像情報を読み出すなど、他の方法でもよい。
【００２６】
画像入力部１で入力された画像情報は、属性判別部２、ストライプ境界決定部３、ストライプ生成部４に渡される。属性判別部２は、入力された画像情報から１ないし数画素ごとに、あるいは所定の領域ごとに、入力画像の特徴量を抽出し、属性情報を作成する。具体例としては上述のように、ある注目画素についてそれがエッジ情報（高周波画像）であるか非エッジ情報（低周波画像）であるかを判別し、エッジ情報と判定された画素は文字画像属性、非エッジ情報と判別された画素は中間調画像属性を属性情報として出力することができる。
【００２７】
また、ストライプ境界決定部３は、画像入力部１で入力された画像情報をストライプ生成部４でストライプに分割するためのストライプ境界を決定する。図４は、本発明の画像処理装置の第１の実施の形態におけるストライプ境界決定部の動作の一例を示すフローチャート、図５は、画像上の座標系の説明図である。ここでは、図５に示すように画像の左上を原点（０，０）とし、１ラインのカラム数をｊ、ライン数をｉとする。また、カラムの最大値をｊ_max 、ラインの最大値をｉ_max として示している。
【００２８】
ストライプ境界決定部３に画像情報が渡されると、まずＳ１０１において、ライン数ｉを０として０ライン目をストライプ開始ラインとする。Ｓ１０２においてライン数ｉに１を加算し、Ｓ１０３においてライン数ｉと最大ライン数ｉ_max とを比較する。すなわち、最終ラインに到達したか否かを判定する。
【００２９】
Ｓ１０３でｉ＝ｉ_max でない場合は、Ｓ１０４において、入力された画像情報のｉ−１ラインに白以外の画素が存在し、ｉラインがすべて白であるか否かを検出する。すなわち、文字や絵柄などが存在していた領域が終了した直後の白画素のみのラインを検出する。ｉラインがこのようなラインでない場合には、Ｓ１０２に戻ってｉに１を加算しながら次のラインについての判定を行なう。このような処理を上述のようなラインが検出されるまで繰り返す。
【００３０】
Ｓ１０４で文字や絵柄などが存在していた領域が終了した直後の白画素のみのラインが検出された場合には、Ｓ１０５において、ｉ−１ラインすなわち文字や絵柄などが存在する領域の最終ラインをストライプ境界とし、ｉラインを次のストライプ開始ラインとする。そしてＳ１０２へ戻って再びＳ１０４の条件に合致するラインの検出処理を繰り返す。
【００３１】
Ｓ１０３においてｉ＝ｉ_max であることが検出された場合には、Ｓ１０６において最終ライン（Ｉ_max ライン）をストライプ境界とし、ストライプ境界検出処理を終了する。
【００３２】
図６は、本発明の画像処理装置の本発明の画像処理装置の第１の実施の形態におけるストライプ境界決定部で決定されたストライプ境界の具体例の説明図である。図２に示したような画像がストライプ境界決定部３に渡されたものとする。図４に示したフローチャートに従い、Ｓ１０１でｉ＝０とし、０ライン目をストライプ開始ラインとする。Ｓ１０２でｉに１を加算し、参照ラインを進める。Ｓ１０３でｉ＝ｉ_max でないことを確認後、Ｓ１０４で参照ラインがすべて白画素で、直前のラインには白以外の画素が存在するか否かを判定する。図２に示した例では、画像の先頭には空白部分が存在し、参照ラインはすべて白画素となるが、直前のラインもすべて白画素であり、条件を満足しない。Ｓ１０２に戻って次のラインを参照ラインとして、参照ラインと直前のラインについての判定を繰り返す。
【００３３】
図２に示した例において、ドイツ国旗の上端で白画素以外の画素が検出されるが、このラインではＳ１０４の条件を満たさない。さらに判定を繰り返し、ドイツ国旗の下端の次のラインが参照ラインとなると、参照ラインはすべて白画素となり、直前のラインには白以外のドイツ国旗の画素が存在する。これはＳ１０４の条件を満たす。Ｓ１０５において、ｉ−１ラインであるドイツ国旗の下端のライン、すなわち図６におけるラインａをストライプ境界とする。
【００３４】
ラインａの次のラインを次のストライプ開始ラインとし、同様に２つのラインの条件を判定してゆく。すると、ドイツ地図の下端の次のラインが参照ラインであるｉラインとなったときに、ｉラインは白画素のみ、ｉ−１ラインには白画素以外のドイツ地図の画素が存在するため、Ｓ１０４の条件を満たす。そのため、ドイツ地図の下端のライン、すなわち図６におけるラインｂもストライプ境界とする。
【００３５】
さらにラインｂの次のラインを次のストライプ開始ラインとし、同様に２つのラインの条件を判定してゆく。今度はＳ１０４の条件を満たすラインが検出されないまま最終ラインｉ_max に到達する。Ｓ１０６において、最終ラインｉ_max である図６のラインｃをストライプ境界とし、ストライプ境界検出処理を終了する。このようにして図６に示すラインａ〜ｃの３つのラインがストライプ境界として決定される。
【００３６】
ストライプ境界決定部３で決定されたストライプ境界は、ストライプ生成部４に渡される。ストライプ生成部４では、画像入力部１で入力された画像情報をストライプ境界で分割する。例えば図６に示した例では、画像の先頭ラインからラインａまでの画像と、ラインａの次のラインからラインｂまでの画像と、ラインｂの次のラインから最終ラインであるラインｃまでの画像に分割される。この分離された各画像をストライプと呼ぶことにする。
【００３７】
次に画像分離部５は、ストライプ生成部４で分割された各ストライプごとに、属性判別部２から出力される属性情報に基づいて、例えば図３を用いて説明したような画像分離処理を行なう。このとき、分割された帯状領域内に中間調画像しか存在しない場合には、その帯状領域のデータを画像Ｉとして出力する。また分割された帯状領域内に文字線画の画像しか存在しない場合にはその色を画像Ｃに、形状を画像Ｓに分離して出力する。分割された帯状領域内に白以外の１色のみの文字線画の画像しか存在しない場合には、画像Ｃも出力せず、色情報を画像Ｓに付加して画像Ｓのみを出力する。さらに分割された帯状領域内に中間調画像の部分と文字線画の部分が混在している場合には、基本的には図３に示したように３つのデータ（画像Ｃ、画像Ｓ、画像Ｉ）に分離して出力する。この場合も文字線画の部分について白以外に１色しか存在しない場合には、画像Ｃを出力しなくてもよい。この場合には色情報を付加した画像Ｓと画像Ｉが出力される。
【００３８】
図７は、本発明の画像処理装置の第１の実施の形態における画像分離部で分離処理された各データの具体例の説明図である。上述のようにストライプ生成部４で図６に示すように各ストライプに分割された場合について説明する。画像分離部５では、各ストライプごとに画像分離処理を行なう。まず画像の上端からラインａまでのストライプ１には、文字「ＧＥＲＭＡＮＹ」とドイツ国旗が含まれている。上述の図３において説明したように、ドイツ国旗は線画として分離することができる。すなわち、ストライプ１は文字線画のみの画像であるので、色情報を画像Ｃに、形状を画像Ｓに分離する。ラインａの次のラインからラインｂまでのストライプ２には、文字「ＭＡＰ」とドイツ地図が含まれている。この場合には文字「ＭＡＰ」の色情報を画像Ｃに、文字「ＭＡＰ」の形状を画像Ｓに、ドイツ地図を画像Ｉにそれぞれ分離する。ラインｂの次のラインから最終ラインｃまでのストライプ３は、空白ラインのみである。この場合は、画像Ｓのみ、あるいは画像Ｓも省略して空白ライン数のみとすることができる。このようにして、図７に示すように各ストライプが画像Ｃ、画像Ｓ、画像Ｉに分離される。
【００３９】
このようにして、１ラインすべての画素が白画素で、その前のラインには白画素以外の画素が存在することを検出し、すべて白画素のラインの前のラインをストライプ境界とすることによって、例えば図７からもわかるように、文字や線画、絵柄部分などのオブジェクトの途中でストライプ分割されることはない。そのため、その後の処理や元の画像を復元する際にストライプ境界でズレなどの不具合が発生しても画質に影響することはなく、高画質で画像の転送または蓄積を行なうことができる。
【００４０】
また、上述のようにしてストライプ分割することによって、図７において破線で示したように、画像分離の結果存在しない部分が発生する。このような存在しない部分が発生することによって以降の処理を軽減し、またデータ量を削減することが可能となる。
【００４１】
このように画像分離されたデータは、それぞれの性質に応じた処理が可能である。例えば分離された各データに対して解像度変換処理や圧縮処理を行なう場合には、画像Ｃについては低解像度に変換してカラー画像を圧縮できるＪＰＥＧ方式によって圧縮することができる。画像Ｓについては高解像度が必要なので解像度変換せず、２値画像であることからＭＨ／ＭＲ方式やＭＭＲ方式、算術符号化方式などを用いて圧縮することができる。画像Ｉについては、ある程度であれば解像度を落としてもそれほど画質が低下しないので、例えば１／２程度の解像度に変換し、ＪＰＥＧ方式によって圧縮することができる。このように各データについて最適な解像度に変換し、最適な圧縮処理手法を用いることによって、画質を維持したままデータ量をさらに削減することができる。これにより、高速に通信することができ、また少ない容量で蓄積することができる。
【００４２】
上述のストライプ境界決定処理では、前ラインに白以外の画素が存在し、注目ラインの画素がすべて白である場合に、前ラインをストライプ境界、注目ラインをストライプ開始ラインとしたが、ストライプ境界の検出条件はこれに限らない。例えば、ストライプ開始ラインの色は白に限らず、背景の色等に合わせて適切に選べばよい。また、前ラインの画素がすべて白などの特定の色であり、注目ラインに特定色以外の色の画素が存在する場合に注目ラインをストライプ開始ラインとしてもよい。
【００４３】
図８は、本発明の画像処理装置の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。６はレイヤ判定部である。レイヤ判定部６は、属性判別部２で作成された属性情報に基づいて、入力された画像情報の各ラインについて最適なレイヤタイプを決定する。あるいは、数ラインごとにレイヤタイプを決定してもよい。
【００４４】
最適なレイヤタイプについて説明する。図９ないし図１１は、レイヤタイプの説明図である。上述の第１の実施の形態で説明したように、画像分離部５では、属性判別部２からの属性情報をもとにストライプごとに画像Ｃ、画像Ｓ、画像Ｉの３つまたはそれ以下の必要なデータ数（プレーン数）に分離する。図９（Ａ）に示すように１色のみの文字線画画像の場合や、図９（Ｂ）に示すように絵柄画像の場合には、画像Ｓのみ、あるいは画像Ｉのみの１プレーンによって構成される。また、図１０に示すように複数色が用いられた文字線画の場合には、画像Ｃと画像Ｓの２プレーンに分離される。さらに、図１１に示すように、単一色の文字線画と絵柄が混在した画像では、画像Ｓと画像Ｉの２プレーンに分離される。すなわち、分離しない場合、つまり１プレーンの場合は注目ストライプに含まれる情報は単一色の文字線画のみの場合、または、絵柄などの中間調情報のみの場合のいずれかであり、２プレーンに分離する場合は、注目ストライプに含まれる情報は複数色が用いられた文字線画の場合、または、単一色の文字線画と絵柄などの中間調情報が混在した場合である。他の場合には、３プレーンに分離される。
【００４５】
このとき、分離されるプレーンの組をレイヤタイプと呼び、上述の「最適レイヤタイプを決定する」とは、画像の属性に応じて最小のプレーン数に分離する際に必要とされるプレーンを決定することである。属性判別部２から出力される属性情報は画像Ｓと同様の情報であり、これと入力された画像情報の画素値を参照することによって、文字線画か絵柄か、また文字線画の色などを知ることができ、これらを元に最適レイヤタイプを決定することができる。なお、このレイヤ判定部６において決定された最適レイヤタイプは、ストライプ境界決定部３と画像分離部５に送られる。
【００４６】
ストライプ境界決定部３は、レイヤ判定部６で決定された各ラインごとの最適レイヤタイプを隣接するラインごとに比較し、最適レイヤタイプが異なるラインをストライプ境界として決定する。ストライプ生成部４は、ストライプ境界決定部３で決定されたストライプ境界で入力された画像情報をストライプに分割する。画像分離部５は、各ストライプごとに属性判別部２からの属性情報に従って、レイヤ判定部６で決定した最適レイヤタイプに対応したプレーンにストライプ画像を分離する。
【００４７】
次に、本発明の画像処理装置の第２の実施の形態における動作の一例を説明する。上述の第１の実施の形態と同様にして、画像入力部１で画像情報が入力され、入力された画像情報が、属性判別部２、レイヤ判定部６、ストライプ生成部４に渡される。属性判別部２は、入力された画像情報から１ないし数画素ごとに、あるいは所定の領域ごとに、入力画像の特徴量を抽出し、属性情報を作成してレイヤ判定部６および画像分離部５に渡す。なお、属性判別部２における特徴量の抽出および属性情報の作成処理は、上述第１の実施の形態と同様であるのでここでは詳細な説明を省略する。
【００４８】
属性判別部２から属性情報が出力されると、レイヤ判定部６は１ライン分の属性情報からそのラインの最適レイヤタイプを順次決定し、ストライプ境界決定部３および画像分離部５に最適レイヤタイプを渡す。最適レイヤタイプの決定処理は上述の通りである。
【００４９】
ストライプ境界決定部３は、レイヤ判定部６から渡される各ラインごとの最適レイヤタイプを用いて、画像入力部１で入力された画像情報をストライプ生成部４でストライプに分割するためのストライプ境界を決定する。図１２は、本発明の画像処理装置の第２の実施の形態におけるストライプ境界決定部の動作の一例を示すフローチャートである。なお、ここで用いる座標系は、図５に示した通りであるものとする。まずＳ１１１において、ライン数ｉを０とし、０ライン目をストライプ開始ラインとする。Ｓ１１２において、０ライン目の最適レイヤタイプをレイヤ判定部６から受け取り、記憶する。
【００５０】
Ｓ１１３においてライン数ｉに１を加算し、Ｓ１１４においてライン数ｉと最大ライン数ｉ_max とを比較する。すなわち、最終ラインに到達したか否かを判定する。最終ラインｉ_max に達するまで、以下の処理を繰り返す。
【００５１】
Ｓ１１５においてｉラインの最適レイヤタイプをレイヤ判定部６から受け取る。そしてＳ１１６において、ｉ−１ラインの最適レイヤタイプとｉラインの最適レイヤタイプが異なるか一致するかを判定する。なお、ｉ−１ラインの最適レイヤタイプは、記憶されている最適レイヤタイプを読み出すことによって得られる。最適レイヤタイプが一致した場合には連続したストライプとして処理するものとし、そのままＳ１１３へ戻り、次のラインの判定に移る。
【００５２】
最適レイヤタイプが異なることが検出されると、Ｓ１１７において、ｉ−１ラインをストライプ境界として決定するとともに、ｉラインを次のストライプの開始ラインとする。また、ｉラインの最適レイヤタイプを記憶する。これにより記憶されている最適レイヤタイプが更新される。そしてＳ１１３へ戻り、以降のラインについての処理を続ける。
【００５３】
Ｓ１１４においてｉ＝ｉ_max であることが検出された場合には、Ｓ１１８において最終ライン（Ｉ_max ライン）をストライプ境界とし、ストライプ境界検出処理を終了する。
【００５４】
図１３は、本発明の画像処理装置の第２の実施の形態におけるストライプ境界決定部で決定されたストライプ境界の具体例の説明図である。ここでは図２に示したような画像が入力されたものとする。図１２に示したフローチャートに従い、Ｓ１１１でｉ＝０とし、０ライン目をストライプ開始ラインとする。Ｓ１１２において０ライン目の最適レイヤタイプを受け取り、記憶する。０ライン目は空白ラインである。プレーン数０とすることもできるが、ここでは画像Ｓのみの１プレーンであるものとする。この情報が最適レイヤタイプとして記憶される。
【００５５】
Ｓ１１３でｉに１を加算し、参照ラインを進める。Ｓ１１４でｉ＝ｉ_max でないことを確認後、Ｓ１１５でｉラインの最適レイヤタイプを受け取る。例えば１ライン目も空白ラインであるものとし、画像Ｓのみの１プレーンである旨の情報を最適レイヤタイプとして受け取る。
【００５６】
Ｓ１１６において、ｉ−１ラインの最適レイヤタイプとｉラインの最適レイヤタイプを比較する。０ラインと１ラインの最適レイヤタイプは同じであるので、そのままＳ１１３へ戻る。そして次のラインの処理に移る。
【００５７】
このような処理を繰り返してゆく中で、まずドイツ国旗の上端のラインに到達する。しかしドイツ国旗の上端のラインでは、ドイツ国旗の部分が単一色の線画画像であることから、最適レイヤタイプは画像Ｓのみの１プレーンとなる。そのため、直上の空白ラインと最適レイヤタイプは同じである。
【００５８】
さらに処理が進み、文字「ＧＥＲＭＡＮＹ」の上端のラインに到達すると、文字と国旗の２色からなる文字線画画像であることが判定され、図１０の例と同様の画像Ｃと画像Ｓの２プレーンから構成される旨が最適レイヤタイプとしてレイヤ判定部６から渡される。すると、直前のラインの最適レイヤタイプ（画像Ｓのみの１プレーン）と異なることがＳ１１６で判定され、Ｓ１１７において文字「ＧＥＲＭＡＮＹ」の上端のラインの直前のラインである図１３のラインａをストライプ境界とするとともに、ラインａの次のライン、すなわち文字「ＧＥＲＭＡＮＹ」の上端のラインを次のストライプの開始ラインとする。さらに、文字「ＧＥＲＭＡＮＹ」の上端のラインにおける最適レイヤタイプ（画像Ｃと画像Ｓの２プレーン）を記憶する。そして、次のラインの判定を続ける。
【００５９】
同様にして文字「ＧＥＲＭＡＮＹ」の下端の次のラインにおいて、ドイツ国旗のみの画像となり、単色の文字線画画像となる。そのため、最適レイヤタイプは画像Ｓのみの１プレーンとなり、文字「ＧＥＲＭＡＮＹ」の下端のラインの最適レイヤタイプ（画像Ｃと画像Ｓの２プレーン）と異なる。Ｓ１１７において、文字「ＧＥＲＭＡＮＹ」の下端のラインである図１３のラインｂをストライプ境界とし、ラインｂの次のラインを次のストライプの開始ラインとする。
【００６０】
ドイツ国旗の下端のラインから次の空白ラインに移る際には最適レイヤタイプは画像Ｓのみの１プレーンのまま変わらないため、このラインはストライプ境界とはならない。
【００６１】
文字「ＭＡＰ」の上端のラインに到達すると、このラインには複数色の文字「ＭＡＰ」とともにドイツ地図が含まれている。そのため、最適レイヤタイプは画像Ｃ、画像Ｓ、画像Ｉの３プレーンとなる。直上のラインは空白ラインであり、最適レイヤタイプは画像Ｓのみの１プレーンであるから、Ｓ１１６で最適レイヤタイプが異なることが検出される。Ｓ１１７で文字「ＭＡＰ」の上端の直前のラインである図１３のラインｃをストライプ境界とし、文字「ＭＡＰ」の上端のラインを次のストライプの開始ラインとする。
【００６２】
同様に文字「ＭＡＰ」の下端のラインの次のラインでは、最適レイヤタイプが画像Ｉのみの１プレーンとなり、最適レイヤタイプが異なることが検出される。そのため、文字「ＭＡＰ」の下端のラインである図１３のラインｄをストライプ境界とし、次のラインを次のストライプの開始ラインとする。
【００６３】
ドイツ地図の下端より下の部分は空白ラインが続く。上述のように空白ラインを画像Ｓのみとする場合、画像Ｉのみの１プレーンから画像Ｓのみの１プレーンに最適レイヤタイプが変化する。しかし、空白ラインを画像Ｉに分離しても支障はなく、ここではドイツ地図の下端以降の空白ラインは画像Ｉのみの１プレーンとし、ストライプ境界としていない。もちろん、ドイツ地図の下端のラインをストライプ境界としてもよい。
【００６４】
その後、最適レイヤタイプが変化せずに最終ラインｉ_max に到達する。Ｓ１１８において、最終ラインｉ_max である図１３のラインｅをストライプ境界とし、ストライプ境界検出処理を終了する。このようにして図６に示すラインａ〜ｅの５つのラインがストライプ境界として決定される。
【００６５】
ストライプ境界決定部３で決定されたストライプ境界は、ストライプ生成部４に渡される。ストライプ生成部４では、画像入力部１で入力された画像情報をストライプ境界で分割する。例えば図１３に示した例では、画像の先頭ラインからラインａまでのストライプ画像と、ラインａの次のラインからラインｂまでのストライプ画像と、ラインｂの次のラインからラインｃまでのストライプ画像と、ラインｃの次のラインからラインｄまでのストライプ画像と、ラインｄの次のラインから最終ラインであるラインｅまでのストライプ画像に分割される。
【００６６】
次に画像分離部５は、ストライプ生成部４で分割された各ストライプごとに、属性判別部２から出力される属性情報に基づいて、レイヤ判別部６で決定された最適レイヤタイプに従ったプレーンに画像情報を分離する。
【００６７】
図１４は、本発明の画像処理装置の第２の実施の形態における画像分離部で分離処理された各データの具体例の説明図である。上述のようにストライプ生成部４で図１３に示すように各ストライプに分割された場合について説明する。まず画像の上端からラインａまでのストライプ１では、最適レイヤタイプとして画像Ｓのみの１プレーンが指定されているので、ドイツ国旗の形状のみで画像Ｓを生成する。ラインａの次のラインからラインｂまでのストライプ２では、最適レイヤタイプとして画像Ｃと画像Ｓの２プレーンが指定されているので、文字「ＧＥＲＭＡＮＹ」とドイツ国旗の色情報を画像Ｃに、形状情報を画像Ｓに分離する。ラインｂの次のラインからラインｃまでのストライプ３では、最適レイヤタイプは画像Ｓのみの１プレーンであるので、ドイツ国旗の形状情報を画像Ｓに分離し、色情報を付加すればよい。ラインｃの次のラインからラインｄまでのストライプ４では、最適レイヤタイプは３プレーンであるから、図３で説明したように文字「ＭＡＰ」の色情報を画像Ｃに、文字「ＭＡＰ」の形状情報を画像Ｓに、ドイツ地図を画像Ｉにそれぞれ分離する。ラインｄの次のラインから最終ラインｅまでのストライプ５では、最適レイヤタイプは画像Ｉのみの１プレーンであるから、ドイツ地図の画像をそのまま画像Ｉとすればよい。このようにして、図１４に示すように各ストライプが分離される。
【００６８】
このようにして、属性判別結果に基づいてあらかじめ最適レイヤタイプを決定し、最適レイヤタイプの切り替わり位置をストライプ境界としてストライプ分割することにより、各ストライプを最小のプレーン数によって表現することができる。これによって各ストライプにおいて存在しないプレーンをなるべく多くしてデータ量を削減することができる。そのため、その後の処理を軽減でき、メモリ容量を節約できるとともに、高速な通信を可能とし、また少ない容量で蓄積することができる。
【００６９】
また、このように入力された画像情報は画像分離されるので、上述の第１の実施の形態と同様に、それぞれのプレーンに適応した処理を行なうことが可能となり、高画質を維持して通信および蓄積することが可能である。
【００７０】
上述のストライプ境界決定処理においては、少なくとも１プレーンは生成するものとして説明したが、例えば空白ラインなどのように特定色のみのラインが続く場合には、その色とライン数のみのデータとし、プレーン画像を生成しないようにすることもできる。この場合には、レイヤ判定部６において最適レイヤタイプとして０プレーンの場合を設けることにより、背景のような特定色のみのストライプを分割して色およびライン数のデータに分離処理することができる。
【００７１】
図１５は、本発明の画像処理装置の第３の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。７はストライプ長判定部である。ストライプ長判定部７は、ストライプ境界決定部３で決定されたストライプ境界でストライプに分割した場合のストライプ長（ライン数など）を検出し、そのストライプ長が適切か否かを判定する。適切な場合はそのまま１つのストライプとし、不適切な場合はストライプ境界を再決定する。
【００７２】
ストライプ長が適切か否かの判定は、あらかじめストライプ長の最大値と最小値を決めておき、各ストライプ長が最大値と最小値の範囲内か否かで判定すればよい。最大値は、例えば画像データを送信する場合には送信先の機器が受けられる最大容量などから決めることができる。もしくは最大容量以内であれば送信側の装置構成等も考慮して決定してもよい。最小値に関しては、微小ラインずつ送信を繰り返すのは効率が悪く長時間を要するため、処理および送信の時間が長大とならないような適切な最小ライン数を実験から求めればよい。ストライプ長が最大値を超える場合には最大値以下となるようにストライプ境界を移動または追加すればよい。また、ストライプ長が最小値を下回る場合には、ストライプ境界をストライプ長が最小値以上となるように移動したり、当該ストライプ境界を削除し、隣接するストライプを一体化すればよい。ストライプ生成部４は、このようにしてストライプ長判定部７で再決定されたストライプ境界を用いて入力された画像情報をストライプに分割する。
【００７３】
次に、本発明の画像処理装置の第３の実施の形態における動作の一例を説明する。まず、上述の第１の実施の形態と同様にして、画像入力部１で画像情報が入力され、入力された画像情報が、属性判別部２、ストライプ境界決定部３、ストライプ生成部４に渡される。属性判別部２は、入力された画像情報から１ないし数画素ごとに、あるいは所定の領域ごとに、入力画像の特徴量を抽出し、属性情報を作成してレイヤ判定部６および画像分離部５に渡す。なお、属性判別部２における特徴量の抽出および属性情報の作成処理は、上述第１の実施の形態と同様であるのでここでは詳細な説明を省略する。
【００７４】
一方、ストライプ境界決定部３は、画像入力部１で入力された画像情報からストライプ境界を仮決定し、ストライプ長判定部７でストライプ長が適切か否かを判定する。ストライプ長が適切な場合はそのまま１つのストライプとし、不適切な場合はストライプ境界を再決定し、ストライプ生成部４でストライプ境界に基づいて入力された画像情報をストライプに分割する。
【００７５】
図１６、図１７は、本発明の画像処理装置の第３の実施の形態におけるストライプ境界決定部およびストライプ長判定部の動作の一例を示すフローチャートである。なお、ここで用いる座標系は、図５に示した通りであるものとする。また、ストライプ長の最大値および最小値は予め設定されているものとする。
【００７６】
まずＳ１２１において、ライン数ｉを０とし、０ライン目をストライプ開始ラインとする。Ｓ１２２においてライン数ｉに１を加算し、Ｓ１２３においてライン数ｉと最大ライン数ｉ_max とを比較する。すなわち、最終ラインに到達したか否かを判定する。
【００７７】
Ｓ１２３でｉ＝ｉ_max でない場合は、Ｓ１２４において、入力された画像情報のｉ−１ラインに白以外の画素が存在し、ｉラインがすべて白であるか否かを検出する。この判定は上述の第１の実施の形態と同様である。ｉラインがこのようなラインでない場合には、Ｓ１２２に戻ってｉに１を加算しながら次のラインについての判定を行なう。このような処理を上述のようなラインが検出されるまで繰り返す。
【００７８】
Ｓ１２４で文字や絵柄などが存在していた領域が終了した直後の白画素のみのラインが検出された場合には、Ｓ１２５において、ｉ−１ラインすなわち文字や絵柄などが存在する領域の最終ラインを仮ストライプ境界とする。この仮ストライプ境界の設定は、ストライプ境界決定部３において行なわれる。
【００７９】
以下、仮ストライプ境界により分割されるストライプの長さが条件範囲内であるか否か、および条件範囲外の場合の再設定処理をストライプ長判定部７において行なう。Ｓ１２６において、仮ストライプ境界で画像情報を分割したときのストライプ長である仮ストライプ長が、あらかじめ設定されている最小値ｍｉｎ以上か否かを判定する。仮ストライプ長が最小値ｍｉｎより小さい場合には、Ｓ１２７において仮ストライプ境界をキャンセルし、Ｓ１２２に戻ってｉに１を加算して次のストライプ境界となるラインの検出を続ける。
【００８０】
Ｓ１２６で仮ストライプ長が最小値ｍｉｎ以上の場合には、さらにＳ１２８において、仮ストライプ長があらかじめ設定されている最大値ｍａｘ以下か否かを判定する。仮ストライプ長が最大値ｍａｘ以下の場合は、Ｓ１３０において仮ストライプ境界をストライプ境界とし、ｉラインを次ストライプ開始ラインとする。Ｓ１２２へ戻り、次のストライプ境界となるラインの検出を続ける。
【００８１】
また、仮ストライプ長があらかじめ設定されている最大値ｍａｘより大きい場合は、Ｓ１２９において当該ストライプを複数のストライプに分割する。このとき、各ストライプ長が
ｍｉｎ≦ストライプ長≦ｍａｘ
を満たすように新たなストライプ境界を決める。この範囲内であれば、ストライプ長は任意でかまわない。例えばストライプ長を最大値ｍａｘや最小値ｍｉｎなどといった固定値により分割を行なってもよいし、あるいは画像中のオブジェクトの変化点などを検出してストライプ境界とした可変長に分割を行なってもよい。もちろん、複数のストライプ境界を設定することもある。仮ストライプ境界は、そのままストライプ境界とすればよい。複数のストライプに分割し終えたら、ｉラインを次のストライプの開始ラインとする。Ｓ１２２へ戻り、次のストライプ境界となるラインの検出を続ける。
【００８２】
Ｓ１２３においてｉ＝ｉ_max であることが検出された場合には、Ｓ１３１においてストライプ境界決定部３が最終ライン（Ｉ_max ライン）を仮ストライプ境界とする。そして、最終の仮ストライプにおいても、仮ストライプ長の判定をストライプ長判定部７で行なう。Ｓ１３２において、仮ストライプ長があらかじめ設定されている最小値ｍｉｎ以上か否かを判定し、仮ストライプ長が最小値ｍｉｎより小さい場合には、前のストライプ境界をキャンセルし、前のストライプと統合する。なお、統合したストライプのストライプ長が最大値ｍａｘを越える場合には、上述のＳ１２９と同様にして統合したストライプを再分割するとよい。仮ストライプ長が最小値ｍｉｎ以上の場合には、さらにＳ１３４において、仮ストライプ長があらかじめ設定されている最大値ｍａｘ以下か否かを判定する。仮ストライプ長が最大値ｍａｘより大きい場合には、Ｓ１３５においてＳ１２９と同様に当該ストライプを複数のストライプに分割する。いずれの場合も、最終ストライプのストライプ境界として、Ｓ１３６において最終ラインをストライプ境界とし、処理を終了する。
【００８３】
図１８は、本発明の画像処理装置の本発明の画像処理装置の第３の実施の形態におけるストライプ境界決定部およびストライプ長判定部で決定されたストライプ境界の具体例の説明図である。この例においても、図２に示したような画像がストライプ境界決定部３に渡されたものとする。また、図１８（Ａ）と同じ縮尺において、図１８（Ｂ）に示すストライプ幅を最大値ｍａｘとし、図１８（Ｃ）に示すストライプ幅を最大値ｍｉｎとする。
【００８４】
上述の第１の実施例と同様に、Ｓ１２４において参照ラインはすべて白画素であり、直前のラインには白画素以外の画素が存在するラインを検出すると、仮ストライプ境界として図１８（Ａ）におけるラインｂおよびラインｅが検出される。まずラインｂが仮ストライプ境界として検出された時点で、画像の上端からラインｂまでの仮ストライプの長さである仮ストライプ長を、図１８（Ｂ）に示す最大値ｍａｘ、図１８（Ｃ）に示す最小値ｍｉｎと比較する。この場合には、仮ストライプ長は最大値ｍａｘを超えるので、Ｓ１２９においてストライプの分割を行なう。図１８（Ａ）に示した例では、ドイツ国旗の色の変化するラインａを新たなストライプ境界として設定し、またラインｂはそのままストライプ境界とする。これにより、画像の上端からラインｂまでのストライプは、画像の上端からラインａまでのストライプと、ラインａの次のラインからラインｂまでのストライプに分割されることになる。分割されたストライプの長さは、ともに最小値ｍｉｎ以上、最大値ｍａｘ以下の条件を満たしている。
【００８５】
ラインｂの次のラインからラインｅまでの仮ストライプについても、その仮ストライプ長は最大値ｍａｘを超えている。そのため、Ｓ１２９におけるストライプの分割を行なう。このストライプでは、ドイツ地図中に明確に画像が変化するラインが存在しないので、等間隔で分割している。分割の長さは最大値ｍａｘとしている。これにより、ラインｃ、ラインｄが新たにストライプ境界となる。また、ラインｅもそのままストライプ境界となる。
【００８６】
なお、ラインｅから最終ラインｆまでの仮ストライプについては、仮ストライプ長が最大値ｍａｘ以下、最小値ｍｉｎ以上であり、条件を満たしているため、Ｓ１３０において最終ラインｆをそのままストライプ境界として設定する。
【００８７】
このようにして、図２に示した画像の場合には、この第３の実施の形態では図１８（Ａ）に示すようにラインａ〜ｆの６つのストライプ境界が設定されることになる。ストライプ生成部４は、このようにしてストライプ境界決定部３で決定され、ストライプ長判定部７でストライプ幅が調整されたストライプ境界により、入力された画像情報をストライプに分割する。
【００８８】
次に画像分離部５は、ストライプ生成部４で分割された各ストライプごとに、属性判別部２から出力される属性情報に基づいて、例えば図３を用いて説明したような画像分離処理を行なう。図１９は、本発明の画像処理装置の第３の実施の形態における画像分離部で分離処理された各データの具体例の説明図である。上述のようにストライプ生成部４で図１８（Ａ）に示すように各ストライプに分割された場合は、ストライプ１は画像Ｓのみ、ストライプ２は画像Ｃと画像Ｓ、ストライプ３は画像Ｃと画像Ｓと画像Ｉ、ストライプ４，５は画像Ｉ、ストライプ６は画像Ｓまたはライン数のみのデータに分離される。
【００８９】
この第３の実施の形態においても、上述の第１の実施の形態と同様に１ラインすべての画素が白画素のラインの開始ラインをストライプ境界とすることにより、なるべく画像中のオブジェクト内での分割を避けることができる。さらに、あらかじめ決められたストライプ長の範囲内でストライプ分割を可能にするので、ストライプ長が長くなることによるメモリ量の増加を抑えて小容量のメモリによる処理および通信を可能とし、また、ストライプ長が短くなることによる不具合を解消し、高速な処理および通信を可能とすることができる。また、上述のようにしてストライプが細分化されるので、図１９において破線で示したように、画像分離の結果存在しない部分が多く発生する。これによってデータ量が減少し、以降の処理を軽減し、また高速な通信を可能とし、小容量による蓄積を可能とすることができる。
【００９０】
この第３の実施の形態では、仮ストライプ境界を決定する際には上述の第１の実施の形態と同様に、前ラインに白以外の画素が存在し、注目ラインの画素がすべて白である場合に、前ラインをストライプ境界、注目ラインをストライプ開始ラインとしたが、ストライプ境界の検出条件はこれに限らない。例えば、ストライプ開始ラインの色は白に限らず、背景の色等に合わせて適切に選べばよい。また、前ラインの画素がすべて白などの特定の色であり、注目ラインに特定色以外の色の画素が存在する場合に注目ラインをストライプ開始ラインとしてもよい。
【００９１】
また、ストライプ長を変更する条件として、上述の例ではストライプのライン数の最大値および最小値を設定したが、これに限らず、例えば画像分離後に行なわれる圧縮処理における目標圧縮率や符号量等に対応づけてその最大値、最小値を設定してもかまわない。
【００９２】
さらに、この第３の実施の形態では、上述の第１の実施の形態のようにストライプ境界と１ラインがすべて白であるラインを基準としてストライプ長の最大値、最小値の条件を付加したが、上述の第２の実施の形態のように最適レイヤタイプの切り替わり位置を基準としてストライプ長の最大値、最小値という条件を付加して用いて構成することも可能である。この場合、最大値、最小値として固定値を用いるほか、最適レイヤタイプに応じて適応的に値を切り換えてもよい。これにより、画像分離後に行なわれる圧縮処理等でプレーンに最適なストライプ幅を設定することが可能となる。
【００９３】
図２０は、本発明の画像処理装置の第４の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。１１は色空間変換部、１２はストライプ生成部、１３，１４は解像度変換部、１５〜１７は圧縮部、１８はフォーマットラッピング部、１９はストライプ長制御部である。
【００９４】
色空間変換部１１は、画像入力部１で取り込まれた画像情報の色空間を内部の処理に適した色空間に変換する。例えば取り込まれた画像情報の色空間がＲＧＢ、内部処理のための色空間がＬ^* ａ^* ｂ^* であるとすれば、ＲＧＢ色空間からＬ^* ａ^* ｂ^* 色空間への変換を行なう。もちろん、色空間の変換を行なう必要がなければ、上述の第１ないし第３の実施の形態と同様にこの色空間変換部１１を設ける必要はない。
【００９５】
ストライプ生成部１２は、画像分離部５で分離された画像Ｃ、画像Ｉ、および属性判別部２から出力される属性情報を画像Ｓとし、これらの画像Ｓ、画像Ｃ、画像Ｉをそれぞれストライプに分割する。
【００９６】
解像度変換部１３は、ストライプ分割された画像Ｃに対して解像度変換処理を行なう。解像度変換部１４は、ストライプ分割された画像Ｉに対して解像度変換処理を行なう。解像度変換部１３および解像度変換部１４は、それぞれ独立に解像度を設定可能であり、また解像度変換手法もそれぞれの画像に適した手法を用いることができる。なお、この例では画像Ｓに対しては解像度変換処理を行なえないが、画像Ｓに対しても解像度変換処理が可能なように構成してもよい。
【００９７】
圧縮部１５ないし圧縮部１７は、それぞれ画像Ｓ、画像Ｃ、画像Ｉに対して圧縮処理を行なう。圧縮部１５ないし圧縮部１７において行なう圧縮処理は、それぞれの画像に最適な圧縮手法によって行なわれる。例えば圧縮部１５では、２値画像である画像Ｓに適した圧縮手法が用いられる。また、圧縮部１６、圧縮部１７では、多値のカラー画像である画像Ｃ、画像Ｉに適した圧縮手法が用いられる。カラー画像の圧縮手法としてはＪＰＥＧ方式が知られており、以下の例では少なくとも圧縮部１７でＪＰＥＧ方式による圧縮処理を行なうものとする。しかしこれに限られるものではない。
【００９８】
フォーマットラッピング部１８は、圧縮された各画像データを所定の画像フォーマットに従ってまとめる。このとき、必要に応じてヘッダなどの情報を付加することができる。
【００９９】
ストライプ長制御部１９は、ユーザからのモードの指定を受けてストライプ生成部１２で各画像をストライプ分割する際のライン数を決定する。指定されるモードとしては画質やデータ量等に関する種々のモードでよいが、以下の説明では標準モードと高画質モードのいずれかが指定されるものとする。何も指定されなかった場合のデフォルトのモードとして例えば標準モードをセットしておいてもよい。図２０に示す例では、指定されたモードの情報は圧縮部１７にも入力されており、圧縮部１７は指定されたモードに従って圧縮処理を切り換える。もちろん他の圧縮部も指定されたモードによって圧縮処理を切り換えるように構成したり、解像度変換部１３，１４においてもモードによって解像度を切り換えるように構成することもできる。
【０１００】
図２１は、本発明の画像処理装置の第４の実施の形態における動作の一例を示すフローチャートである。ここでは予めユーザによってモードが指定されているものとする。まずＳ１４１において、画像入力部１で画像情報を入力する。画像入力部１がスキャナやデジタルカメラなどの画像入力機器の場合には、原稿などの画像を読み取る。またネットワークなどのインタフェースで構成される場合には、画像情報を受信して取り込む。もちろん、例えば外部記憶装置から画像情報を読み出すなど、他の方法でもよい。
【０１０１】
Ｓ１４２において、色空間変換部１１は入力された画像情報の色空間から内部処理のための色空間へと色空間の変換を行なう。色空間の変換が必要でない場合には、この処理は省略してよい。
【０１０２】
Ｓ１４３において、属性判別部２は色空間変換後の画像情報から１ないし数画素ごとに、あるいは所定の領域ごとにその属性を判別し、属性情報を出力する。この属性判別部２の機能は上述の第１ないし第３の実施の形態と同じであるが、この例では属性情報は文字部分かその他の部分かを示す情報であるものとし、そのまま画像Ｓとして利用する。
【０１０３】
Ｓ１４４において、画像分離部５は、属性判別部２から出力される属性情報をもとに、画像情報を画像Ｃまたは画像Ｉに分離する。この処理も上述の第１ないし第３の実施の形態と同様であるが、画像Ｓを出力していない。もちろん、上述の各実施の形態と同様に、この画像分離部５で画像Ｓを生成して出力してもよい。生成された画像Ｃ、画像Ｉはストライプ生成部１２に送られる。
【０１０４】
Ｓ１４５において、ストライプ生成部１２は、画像Ｓ、画像Ｃ、画像Ｉをストライプ長制御部１９から指示されたストライプ長に従ってそれぞれ分割して後段へ送る。ストライプ長制御部１９は、圧縮手法およびユーザによって指定されたモードに従ってストライプ長を決定する。ここでは圧縮方式としてＪＰＥＧ方式が用いられるものとし、ストライプ長をＪＰＥＧ方式に適した大きさに設定する。
【０１０５】
図２２は、ＪＰＥＧ方式の処理単位の一例の説明図である。ＪＰＥＧ方式では、基本的に図２２（Ａ）に示すように８×８画素単位に処理を行なう。またサブサンプリングの機能を備えており、図２２（Ｂ）に示すように１６×１６画素を単位として取り込み、輝度成分は１６×１６画素のままで色差成分のみ８×８画素に間引き処理を行なって圧縮処理を行なうこともできる。例えばユーザによって指定されたモードが標準モードであった場合には、画質よりもデータ量の低減を重視し、後段で行なわれるＪＰＥＧ方式による圧縮処理を４：１：１で行なって色差成分をサブサンプリングすることができる。この場合には輝度成分は１６×１６画素単位で処理される。また、色差成分については１６×１６画素をもとに８×８画素（＝１／４）に間引き処理される。この場合には最大で１６ラインが必要となるので、ストライプ長制御部１９はストライプ生成部１２に対してストライプ長を１６ラインにする旨の制御信号を出力する。
【０１０６】
また、ユーザによって指定されたモードが高画質モードであった場合には、データ量の低減よりも画質の維持を重視し、後段で行なわれるＪＰＥＧ圧縮処理を４：４：４で行なって色差成分のサブサンプリングは行なわない。この場合には輝度成分および色差成分とも８×８画素単位で処理される。そのためストライプ長制御部１９は、ストライプ長を８ラインにする旨の制御信号をストライプ生成部１２に対して出力する。
【０１０７】
このようにしてストライプ長制御部１９から出力されたストライプ長を示す制御信号に従って、ストライプ生成部１２は各画像をストライプ長ごと、あるいは指示されたストライプ長の整数倍ごとに分割する。なお、解像度変換部１３，１４において解像度変換を行なう場合には、その解像度も考慮してストライプ長を決定するとよい。例えば、標準モードにおいて解像度変換部１４で１／２の解像度に変換する場合、圧縮部１７に１６ラインを供給するためには３２ライン（あるいはその整数倍）で分割すればよい。そのため、ストライプ長制御部１９はストライプ生成部１２に対してストライプ長を３２ラインにする旨の制御信号を出力すればよい。
【０１０８】
ストライプ生成部１２でストライプ分割された各ストライプ画像は、画像Ｓを除きＳ１４６において必要に応じて解像度変換部１３，１４において解像度変換処理される。さらにＳ１４７において、各ストライプ画像は圧縮部１５ないし１７において圧縮処理される。ＪＰＥＧ方式によって圧縮処理を施す画像については、上述したように標準モードの場合には１６×１６画素単位で、高画質モードの場合には８×８画素単位で圧縮処理される。このとき、ストライプ境界において不足ラインが生じないため、データの補充などは行なわれず、すべて画像中のデータによって圧縮処理を行なうことができる。そのため、ストライプ境界付近で発生するノイズを低減することができる。
【０１０９】
３つのストライプ画像の圧縮処理が終了したら、Ｓ１４８において、フォーマットラッピング部１８は所定のヘッダを付加し、所定の画像フォーマットにまとめる。そしてＳ１４９において、まとめたデータを蓄積あるいは送信する。このようにして１つのストライプについての処理が終了する。Ｓ１５０において１ページ分の画像の処理が終了したか否かを判定し、まだ未処理のストライプが存在する場合には、そのストライプの処理を行なうべくＳ１４６へ戻る。Ｓ１４６〜Ｓ１５０の処理を繰り返すことによって１ページ分の画像の処理が終了する。もちろん、このような処理を繰り返し行ない、複数ページの画像の蓄積あるいは送信を行なうこともできる。
【０１１０】
以上説明したように、この第４の実施の形態によれば、例えば圧縮方式としてＪＰＥＧ方式を用いる場合にはストライプ長を８ラインもしくは１６ラインに設定することにより、ストライプ分割された画像をそのままＪＰＥＧ方式における処理単位で扱うことができ、少ないメモリ容量で高速にＪＰＥＧ圧縮伸長処理が実現できる。また、ＪＰＥＧ方式による処理単位の境界とストライプ境界を一致させることにより、ストライプ境界付近で発生するノイズを低減することができる。さらに、ＪＰＥＧ方式による圧縮伸長処理にて発生しうるブロックノイズとストライプ境界で発生しうる境界不整合によるノイズが同時に発生したとしても、別々の場所で発生することはなく、別々の場所で発生した場合に比べて画質劣化が比較的目立たないという利点もある。
【０１１１】
図２３は、本発明の画像処理装置の第５の実施の形態を示すブロック図である。図中の符号は、図１および図２０と同様である。この第５の実施の形態はほぼ上述の第４の実施の形態と同様であり、画像Ｓ、画像Ｃ、画像Ｉに分離する前にストライプ分割を行なう点が異なるのみである。ストライプ長制御部１９は、後段の圧縮部における圧縮手法と、ユーザによって指定されるモードに従ってストライプ長を決定する。さらに解像度変換部１３，１４における変換解像度も考慮してストライプ長を決定することができる。ストライプ長制御部１９で決定されたストライプ長はストライプ生成部１２に送られる。ストライプ生成部１２は、ストライプ長制御部１９から出力されたストライプ長を示す制御信号に従って、必要に応じて色空間変換された画像情報をストライプ長ごと、あるいは指示されたストライプ長の整数倍ごとに分割する。
【０１１２】
ストライプ分割された画像情報は属性判別部２に入力されて属性が判別され、画像Ｓとなる属性情報が出力される。画像分離部５ではこの属性情報に従ってストライプ分割された画像情報を画像Ｃおよび画像Ｉに分離する。この例では分離された画像Ｃ、画像Ｉは解像度変換部１３，１４において解像度変換処理がなされる。そして、画像Ｓ、画像Ｃ、画像Ｉとも、それぞれ圧縮部１５、圧縮部１６、圧縮部１７において圧縮処理がなされ、フォーマットラッピング部１８でラッピング処理されて出力される。
【０１１３】
この第５の実施の形態においても上述の第４の実施の形態と同様に、ストライプ生成部１２におけるストライプ分割の際に圧縮処理単位に基づいてストライプ長を決定して分割しているので、圧縮処理におけるストライプ境界付近での不要なノイズの混入などを低減し、良好な画質を維持することができる。また、上述の第１ないし第３の実施の形態でも説明したように、画像分離を行なう前にストライプ分割を行なっているので、ストライプによってはプレーン数を少なくすることができ、データ量が少なくなることが期待できる。
【０１１４】
図２４は、本発明の画像処理装置の第６の実施の形態を示すブロック図である。図中、図１および図２０、図２３と同様の部分には同じ符号を付して説明を省略する。２１は入力画像蓄積部、２２は解像度変換部、２３はストライプ長制御部、２４は圧縮画像蓄積部、２５は通信部である。入力画像蓄積部２１は、画像入力部１に入力された画像情報を一時格納する。このとき、入力された画像情報を圧縮して、あるいは圧縮せずに画像情報をすべて格納することができる。なお、この入力画像蓄積部２１を設けずに構成することもできる。
【０１１５】
解像度変換部２２は、必要に応じて色空間変換部１１で色空間変換処理を行なった画像情報に対して、解像度変換処理を行なう。この解像度変換処理も必要に応じて行なえばよく、上述の各実施の形態と同様に解像度変換部２２を設けずに構成してもよい。必要に応じて解像度変換処理が施された画像情報は、属性判別部２およびストライプ生成部４に入力される。
【０１１６】
ストライプ長制御部２３は、属性判別部２から出力される属性情報をもとにストライプ長を決定する。また、通信部２５において通信条件が設定された後は、設定された通信条件および属性情報からストライプ長を決定する。属性情報をもとにストライプ長を決定する方法としては任意の方法を用いることができ、例えば上述の第２の実施の形態で示した方法を用いることができる。あるいは、上述の第１、第３の実施の形態のように、画像情報を直接参照し、ストライプ境界を決定してもよい。さらには、第４、第５の実施の形態のように圧縮手法などに基づいて決定したり、あるいは固定のストライプ長を用いるなど、ストライプ分割方法としては任意の方法を用いることができる。少なくとも通信部２５において通信条件が設定された後に、設定された通信条件に従って必要であればストライプ長を変更できる構成であればよい。
【０１１７】
ストライプ生成部１２は、ストライプ長制御部２３によって決定されたストライプ長に従って画像情報をストライプに分割する。分割したストライプ画像は画像分離部５によって画像Ｓ、画像Ｃ、画像Ｉに分離する。分離された各画像は圧縮部１５〜１７においてそれぞれ圧縮される。分離後の各画像に対して、圧縮前に各種の画像処理を施してもよい。例えば上述の第４、第５の実施の形態と同様に、解像度変換処理等を行なうように構成してもよい。
【０１１８】
圧縮画像蓄積部２４は、圧縮部１５〜１７で圧縮処理した各画像を蓄積する。フォーマットラッピング部１８は、圧縮画像蓄積部２４に蓄積されている圧縮画像を読み出すか、あるいは圧縮部１５〜１７で圧縮された圧縮画像を直接受け取り、ラッピング処理を行なって出力する。
【０１１９】
通信部２５は、通信相手先と通信回線を接続し、ネゴシエーションにより通信条件を決定する。決定した通信条件はストライプ長制御部２３にも通知する。そして、フォーマットラッピング部１８でラッピング処理されたデータを通信相手先へ送信する。
【０１２０】
図２５は、本発明の画像処理装置の第６の実施の形態における動作の一例を示すフローチャートである。まず、通信相手先とのコンタクトや通信を始める前に、あるいは通信相手先とのコンタクトを行ないながら、Ｓ１６１において、送信する画像情報の入力を開始する。入力された画像情報は、Ｓ１６２において入力画像蓄積部２１に必要に応じて格納する。格納する場合には、入力された画像情報を圧縮して、あるいは圧縮せずにそのまま格納することができる。入力画像蓄積部２１に格納した入力画像情報は、圧縮されている場合は伸長処理され、圧縮されていない場合はそのまま色空間変換部１１に送られる。入力画像蓄積部２１がない場合は、入力画像情報はそのまま色空間変換部１１に送られる。
【０１２１】
Ｓ１６３において、画像入力部１から直接渡されたり、あるいは入力画像蓄積部２１から読み出された画像情報は、色空間変換部１１において必要に応じて色空間の変換処理を行ない、また解像度変換部２２において必要に応じて解像度変換処理を行なうなど、入力された画像情報の属性や特徴により最適な画像処理が行なわれる。さらにはストライプ生成部４や画像分離部５の処理が最適に行なわれるような画像処理が施される。
【０１２２】
入力された画像情報に対してこのような画像処理を施した後、Ｓ１６４において、属性判別部２で入力された画像情報の属性を判別し、画素ごと、あるいは所定量域ごとに属性情報を出力する。Ｓ１６５において、ストライプ長制御部２３は属性判別部２から出力される属性情報に従ってストライプ長を決定し、ストライプ生成部４はストライプ長制御部２３で決定したストライプ長に従って画像情報をストライプに分割する。あるいは固定長に分割してもよい。
【０１２３】
Ｓ１６６において、画像分離部５でストライプ分割された画像情報を属性判別部２から出力される属性情報に従って上述の画像Ｃ、画像Ｉ、画像Ｓの画像データに分離する。もちろん他の画像データを含めて分離してもよいし、１以上の画像データについて省略してもよい。Ｓ１６７において、分離された各画像データは、それぞれ圧縮部１５〜１７においてそれぞれの画像データに適した圧縮方法で圧縮される。
【０１２４】
Ｓ１６８において、上述の処理が送信相手先とのネゴシエーションによる送信条件が決定する前の前処理であったか、送信条件に従った追従処理であったのかを判定し、前処理であった場合には、Ｓ１６９において、圧縮部１５〜１７で圧縮したストライプごとの各画像データを圧縮画像蓄積部２４に格納する。
【０１２５】
すべての画像の処理が終わり、圧縮画像蓄積部に格納されてから、あるいは上述のような処理と並行して、Ｓ１７０において、通信部２５は通信相手先と回線を接続し、ネゴシエーションのための通信を行なう。ここで初めて通信相手先の装置形態や処理能力、処理容量、効率などの形態が判明し、通信条件が確定する。
【０１２６】
Ｓ１７１において確定した通信条件を判定し、前処理において処理したデータ形式が通信条件と一致もしくは通信条件の許容範囲内であるか否かを判定する。通信条件と一致もしくは許容範囲内であれば、Ｓ１７３において圧縮画像蓄積部２４からストライプごとに圧縮された各画像データを読み出し、Ｓ１７４においてフォーマットラッピング部１８でパッケージング処理を施し、Ｓ１７５において通信部２５より通信相手先へ送信する。
【０１２７】
Ｓ１７１で前処理において処理したデータ形式が通信条件と不一致もしくは許容範囲外であると判定された場合には、圧縮画像蓄積部２４に格納されているデータは使用しない。Ｓ１７２においてストライプ長制御部２３に対して通信条件の範囲内でストライプ長を制御するように指示する。また、通信条件に従って他の処理部に対しても処理条件を制御してもよい。
【０１２８】
そして、Ｓ１６１に戻って再度画像入力部１から画像情報を入力するか、あるいはＳ１６３に戻って入力画像蓄積部２１に入力した画像情報が格納されている場合には入力画像蓄積部２１に格納されている入力画像データを読み出し、Ｓ１６３〜Ｓ１６７において通信条件に従った処理を行なう。このときＳ１６５では、ストライプ長制御部２３は、属性判別部２から出力される属性情報とともに、通信部２５から渡された通信条件に従ってストライプ長を決定し、ストライプ生成部４はストライプ長制御部２３で決定したストライプ長に従って画像情報をストライプに分割する。
【０１２９】
Ｓ１６３〜Ｓ１６７において通信条件に従った追従処理を行なった場合、Ｓ１６８においてこれを判定してＳ１７４に進む。この場合、圧縮部１５〜１７において圧縮処理した各画像データを圧縮画像蓄積部２４に蓄積せず、直接、フォーマットラッピング部１８に渡す。Ｓ１７４においてフォーマットラッピング部１８はストライプごとに圧縮された各画像データに対してパッケージング処理を施し、Ｓ１７５において通信部２５より通信相手先へ送信する。
【０１３０】
以上のようにこの第６の実施の形態によれば、通信相手先との間で決定した通信条件に従ってストライプ長を決定するので、例えば通信相手先のバッファ容量が小さく、デフォルトのストライプ長では通信できない場合であっても、ストライプ長を短くして送信するなど、通信相手先の条件に従って画像を送信することができる。
【０１３１】
また、上述の動作例のように通信相手先との通信を行なう前に、あるいは通信相手先とのネゴシエーションと並行して、所定の条件内で先に処理を施して蓄積しておくことによって、送信時間の短縮や送信効率を向上させることができる。また、同報通信や繰り返し送信する場合に、その都度読み込みや処理を行なう必要がなくなり、圧縮画像蓄積部２４から読み出すだけで済むので効率がよい。さらに、通信相手先と接続しようとした際に、相手が話し中等で応答できない場合でも、圧縮までの処理が完了しているので、再送の場合などでも再度読み込み直しなどの作業を行なう必要がなく、ユーザの手間が省けるなど、効率も良いなどの利点がある。
【０１３２】
もちろん、通信相手先とのネゴシエーションによって通信条件が確定してから画像の読み込みを開始したり、入力された画像情報に対する処理を開始するように構成してもかまわない。この場合、送信までに要する時間や手間などがかかるが、圧縮画像蓄積部２４を設けずに構成することができ、装置の小型化や低コスト化を図ることができる。
【０１３３】
図２６は、本発明の画像処理装置を備えたシステムの一例を示す構成図である。図中、３１〜３４はホストコンピュータ、３５は送信側ネットワーク、３６は送信側装置、３７はモデム、４１，４２はクライアントコンピュータ、４３，４４はプリンタ、４５は受信側ネットワーク、４６は受信側装置、４７はモデムである。送信側システムは、送信側ネットワーク３５によってホストコンピュータ３１〜３４および送信側装置３６などが接続されている。また送信側装置３６にはモデム３７が接続されている。
【０１３４】
送信側装置３６は、例えば上述の本発明の画像処理装置の第１ないし第６の実施の形態として示した構成を備えている。例えば第１ないし第３の実施の形態の画像処理装置を備える場合には、さらに、分離された各画像データに対する画像処理部や圧縮部、さらには通信部等が設けられている。また、例えば第４、第５の実施の形態の画像処理装置を備える場合には、さらに通信部等が設けられている。送信側装置３６は、送信側ネットワーク３５上に接続されたホストコンピュータ３１〜３４から直接、画像データを受け取り、画像分離や解像度変換、ストライプ分割、フォーマット化などの処理を行なった後、モデム３７を介して受信側システムへ画像データをＦＡＸ送信することができる。
【０１３５】
受信側システムは、受信側ネットワーク４５によってクライアントコンピュータ４１，４２や、プリンタ４３，４４、受信側装置４５などが接続されている。また、受信側装置４６にはモデム４７が接続されており、通信回線を介して送られてくるＦＡＸ画像を受信することができる。
【０１３６】
受信側装置４５は、モデム４７で受信したフォーマット化された画像データから各ストライプ領域ごとに画像を合成し、合成したストライプ領域ごとあるいはストライプ領域を連結した１つの画像としてプリンタ４３またはプリンタ４４へ出力する。あるいはクライアントコンピュータ４１，４２によって必要な処理を行なった後にプリンタ４３または４４から出力することができる。
【０１３７】
図２７は、送信側装置の内部構成の一例を示すブロック図である。図中、５１は内部バス、５２はＣＰＵ、５３はメモリ、５４はネットワーク制御部、５５は通信制御部、５６は画像蓄積部、５７は画像処理部、５８はバッファメモリ、５９はインタフェース部である。図２７に示した送信側装置３６は、ＣＰＵ５２、メモリ５３、ネットワーク５４、通信制御部５５、画像蓄積部５６、画像処理部５７、インタフェース部５９などが内部バス５１によって接続されて構成されている。
【０１３８】
ＣＰＵ５２は送信側装置３６の制御を司る。メモリ５３は、画像データを一時的に記憶する。ネットワーク制御部５４は、ネットワーク３５を介してホストコンピュータ３１〜３４から画像データを受信したり、あるいはネットワーク３５を介して他のホストコンピュータ３１〜３４へ画像データを送信する。通信制御部５５は、外部に接続したモデム３７などを介して画像データをＦＡＸ送信する。図２６に示したように、モデム３７にはさらに通信のために一般電話回線などの通信回線が接続されており、これらを介して画像データをＦＡＸ送信することができる。画像蓄積部５６は、画像データを蓄積する。なお、図２４に示した上述の本発明の画像処理装置の第６の実施の形態における構成を搭載する場合には、入力画像蓄積部２１および圧縮画像蓄積部２４をこの画像蓄積部５６によって構成することが可能である。画像処理部５７には、上述の本発明の画像処理装置の第１ないし第６の実施の形態が適用され、ネットワーク制御部５４を介して受信した画像データをストライプ領域に分割し、多層構造のデータに分離し、各データに対して圧縮処理等の画像処理を施した後、所定の画像フォーマットにラッピングする。または受信した画像データを分離した後にストライプ領域に分割し、圧縮処理などの画像処理を施した後、所定の画像フォーマットにラッピングする。ストライプ分割の際には、上述の各実施の形態において説明した種々のストライプ境界あるいはストライプ長の決定方法を用いることができる。バッファメモリ５８は、所定ライン数分の容量を備えており、画像処理部５７で画像処理を行なう際に、画像を所定のライン（ストライプ）単位で処理するために用いられる。インタフェース部５９は、スキャナやデジタルカメラなどの画像入力機器を接続するインタフェースである。これらの画像入力機器は、ネットワーク３５に接続することにより、ネットワーク制御部５４を介して画像を入力するようにしてもよい。
【０１３９】
図２８は、本発明の画像処理装置を備えたシステムの一例における動作の一例を示すフローチャートである。図２８では、実際にホストコンピュータ３１〜３４により画像が作成されてから画像処理を施してＦＡＸ送信するまでの動作を示している。まず、Ｓ１８１において、ネットワーク３５に接続されたホストコンピュータ３１〜３４のうちの１つから送信側装置３６へ画像を送信する旨の要求を出し、画像を送信する。なお、上述の第４、第５の実施の形態で示したモード指定が可能な構成では、モードに関する情報も送信側装置３６へ送信することができる。
【０１４０】
送信側装置３６では、ネットワーク制御部５４を介して送信要求を受け取ると、ＣＰＵ５２により図示しないＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）のレジスタへ所定のパラメータを設定する。パラメータとしてはメモリ５３のデータ格納アドレスや転送レートなどが挙げられる。パラメータの設定が完了すると、ＣＰＵ５２はレディ状態を示すコマンドをネットワーク制御部５４に発行し、その後、Ｓ１８２において、ホストコンピュータ３１〜３４のいずれかより順次送信されてくる画像データをメモリ５３へ格納する。
【０１４１】
画像データがすべてメモリ５３に格納されると、ＣＰＵ２はＤＭＡＣのレジスタへ画像読み出しアドレスや処理後の画像データの書き込みアドレスなどのパラメータを設定し、メモリ５３上の画像データを順次読み出して画像処理部５７へ送る。Ｓ１８３において、画像処理部５７は、上述の第１ないし第６の実施の形態で説明した処理を実行し、さらに第１ないし第３の実施の形態では分離された各画像データに対する圧縮処理等の画像処理およびラッピング処理等が行なわれる。
【０１４２】
Ｓ１８４において、画像処理後のフォーマット化された画像データは、予めＤＭＡＣのレジスタに設定された書き込みアドレスを開始点として、順次、メモリ５３へ格納される。メモリ５３としては、画像処理前と処理後の２つ分の画像データが格納できる容量を準備してもよく、またいずれか多い方の容量だけを準備して書き込みと読み出しをダイナミックに制御してもよい。Ｓ１８５において、メモリ５３に格納された画像データは、保存のために、順次、画像蓄積部５６に蓄積される。
【０１４３】
画像処理後の画像データの蓄積が完了したら、Ｓ１８６において、ＣＰＵ５２は予め指定された受信側システムへの通信を開始する。詳細な通信プロトコルは省略する。なお、受信側システムとのネゴシエーションは、画像処理部７における処理前あるいは処理中に並行して行なうことができる。また、上述の第６の実施の形態において説明したように、通信条件に従ってストライプ長などの処理条件を変化させる場合には、ネゴシエーションによって通信条件が決定された後、通信条件によって送信可能か否かを判断した後、通信条件に合わない場合にはＳ１７３における画像処理部７による画像処理を再度行なう。
【０１４４】
Ｓ１８７において受信側システムへの接続および送信準備が完了したことを確認後、Ｓ１８８においてメモリ５３に格納されている画像処理後の画像データを順次読み出して受信側システムへ送信する。
【０１４５】
以上の処理により、ホストコンピュータ３１〜３４から送られてきた画像データに所定の画像処理を施して受信側システムへＦＡＸ送信することが可能となる。あるいは、ネットワーク制御部５４を介してメモリ５３に格納されている画像処理後の画像データを順次読み出してホストコンピュータ３１〜３４へ送ってもよい。
【０１４６】
なお、例えば画像処理部５７が上述の第２の実施の形態を備えていれば、送信するデータ量は格段に減少しており、通信時間を短縮することが可能である。また、第６の実施の形態を備えていれば、受信側装置４６に応じてストライプ処理を行なうことができるので、たとえ受信側装置４６が小規模な構成であっても画像を送信することができる。
【０１４７】
受信側システムでは、モデム４７で受信したＦＡＸ画像データに基づいて、受信側装置４６は画像を再構成する。フォーマット化された画像データからストライプ領域ごとの画像Ｃ、画像Ｓ、画像Ｉを取り出し、解像度を調整した後、画像Ｓに従って画像Ｃまたは画像Ｉのいずれか一方を選択し、出力する。これによって画像が再構成される。
【０１４８】
受信した画像データによっては、画像Ｉのみ、画像Ｓのみ、あるいは画像Ｃと画像Ｓ、画像Ｓと画像Ｉなどの場合がある。画像Ｉのみの場合にはそのまま出力すればよいし、画像Ｓのみの場合には色情報が付加されていれば画像Ｃを選択する画素を色情報に置き換えて出力すればよい。画像Ｃと画像Ｓの場合には、画像Ｓが画像Ｉを選択する画素では例えば白画素が出力されるようにすればよい。また画像Ｓと画像Ｉの場合には、画像Ｓが画像Ｃを選択する際に、付加されている色情報を出力すればよい。あるいは、存在しないデータについては例えば白画素のみのデータを作成し、合成処理を行なってもよい。各場合とも、出力の際には必要に応じて解像度の調整を行なう。
【０１４９】
そして再構成されたストライプ領域ごとの画像は、ストライプ領域ごとのまま、あるいは１つの画像に連結された後、クライアントコンピュータ４１，４２による制御のもとで、必要に応じて画像処理を施し、プリンタ４３またはプリンタ４４から出力することができる。
【０１５０】
上述の本発明の第１ないし第３の実施の形態を備えた送信側装置３６でストライプ分割していれば、受信側装置４６で復元された画像のストライプ境界にズレなどが生じても目立つことはなく、高画質のまま再生することができる。また、第４、第５の実施の形態を備えた送信側装置３６でストライプ分割していれば、伸長処理によってストライプ境界付近に発生するノイズを低減できるので、高画質を維持したまま再生画像を得ることができる。
【０１５１】
上述の例では送信側装置に本発明の画像処理装置を適用した場合について説明したが、受信側装置に本発明の画像処理装置を配置し、任意のフォーマットで送られてくる画像データを上述のようにストライプ領域ごとに複数データに分離された画像データに変換して、例えば画像データベースなどに蓄積しておき、必要に応じてプリンタ４３，４４に出力したり、あるいは通信回線を介して他のシステムに送信するように構成してもよい。
【０１５２】
システム構成は上述の各例に限定されることはなく、種々の形態のシステムを構成することができる。
【０１５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、また、第１画像データ、第２画像データ、選択データに分離することにより、それぞれのデータに対して最適な処理を行ない、画質の劣化を防止して高品質の画像を蓄積あるいは高速に通信することができる。さらに、ストライプ分割する際に、所定のライン、例えば１ラインのすべての画素が所定の色であるラインの開始ラインまたは終了ラインとすることにより、画像中のオブジェクトが複数のストライプに分割されることがないので、例えば画像の復元時にストライプ境界においてズレなどの不具合が発生しても画質に影響せず、良好な画質を維持して通信あるいは蓄積することができる。
【０１５４】
また、ストライプ分割を上述のようなレイヤタイプの異なるラインとすることにより、第１画像データ、第２画像データ、選択データに分離する際に、処理量を軽減するとともに、データ量を削減することができる。これによって少ないデータ量で蓄積し、あるいは高速に通信を行なうことができる。
【０１５５】
さらに、ストライプ分割を圧縮方式に応じて行なうことによって、伸長時にストライプ境界付近で発生するノイズを低減することができ、良好な画質の画像を再現することができる。
【０１５６】
さらに、ストライプ分割を通信相手先との間で決定した通信条件に従って行なうことによって、通信相手先の条件に従って画像を送信することができ、通信相手先の能力によっては送信不能になる事態を回避することができるなど、本発明によれば種々の効果がある。
【図面の簡単な説明】
【図１】 本発明の画像処理装置の第１の実施の形態を示すブロック図である。
【図２】 入力された画像情報の具体例の説明図である。
【図３】 本発明の画像分離処理の具体例の説明図である。
【図４】 本発明の画像処理装置の第１の実施の形態におけるストライプ境界決定部の動作の一例を示すフローチャートである。
【図５】 画像上の座標系の説明図である。
【図６】 本発明の画像処理装置の本発明の画像処理装置の第１の実施の形態におけるストライプ境界決定部で決定されたストライプ境界の具体例の説明図である。
【図７】 本発明の画像処理装置の第１の実施の形態における画像分離部で分離処理された各データの具体例の説明図である。
【図８】 本発明の画像処理装置の第２の実施の形態を示すブロック図である。
【図９】 １プレーンの時のレイヤタイプの具体例の説明図である。
【図１０】 ２プレーンの時のレイヤタイプの具体例の説明図である。
【図１１】 ２プレーンの時のレイヤタイプの別の具体例の説明図である。
【図１２】 本発明の画像処理装置の第２の実施の形態におけるストライプ境界決定部の動作の一例を示すフローチャートである。
【図１３】 本発明の画像処理装置の第２の実施の形態におけるストライプ境界決定部で決定されたストライプ境界の具体例の説明図である。
【図１４】 本発明の画像処理装置の第２の実施の形態における画像分離部で分離処理された各データの具体例の説明図である。
【図１５】 本発明の画像処理装置の第３の実施の形態を示すブロック図である。
【図１６】 本発明の画像処理装置の第３の実施の形態におけるストライプ境界決定部およびストライプ長判定部の動作の一例を示すフローチャートである。
【図１７】 本発明の画像処理装置の第３の実施の形態におけるストライプ境界決定部およびストライプ長判定部の動作の一例を示すフローチャート（続き）である。
【図１８】 本発明の画像処理装置の本発明の画像処理装置の第３の実施の形態におけるストライプ境界決定部およびストライプ長判定部で決定されたストライプ境界の具体例の説明図である。
【図１９】 本発明の画像処理装置の第３の実施の形態における画像分離部で分離処理された各データの具体例の説明図である。
【図２０】 本発明の画像処理装置の第４の実施の形態を示すブロック図である。
【図２１】 本発明の画像処理装置の第４の実施の形態における動作の一例を示すフローチャートである。
【図２２】 ＪＰＥＧ方式の処理単位の一例の説明図である。
【図２３】 本発明の画像処理装置の第５の実施の形態を示すブロック図である。
【図２４】 本発明の画像処理装置の第６の実施の形態を示すブロック図である。
【図２５】 本発明の画像処理装置の第６の実施の形態における動作の一例を示すフローチャートである。
【図２６】 本発明の画像処理装置を備えたシステムの一例を示す構成図である。
【図２７】 本発明の画像処理装置を備えたシステムの一例における送信側装置の内部構成の一例を示すブロック図である。
【図２８】 本発明の画像処理装置を備えたシステムの一例における動作の一例を示すフローチャートである。
【符号の説明】
１…画像入力部、２…属性判別部、３…ストライプ境界決定部、４…ストライプ生成部、５…画像分離部、６…レイヤ判定部、７…ストライプ長判定部、１１…色空間変換部、１２…ストライプ生成部、１３，１４…解像度変換部、１５〜１７…圧縮部、１８…フォーマットラッピング部、１９…ストライプ長制御部、２１…入力画像蓄積部、２２…解像度変換部、２３…ストライプ長制御部、２４…圧縮画像蓄積部、２５…通信部、、３１〜３４…ホストコンピュータ、３５…送信側ネットワーク、３６…送信側装置、３７…モデム、４１，４２…クライアントコンピュータ、４３，４４…プリンタ、４５…受信側ネットワーク、４６…受信側装置、４７…モデム、５１…内部バス、５２…ＣＰＵ、５３…メモリ、５４…ネットワーク制御部、５５…通信制御部、５６…画像蓄積部、５７…画像処理部、５８…バッファメモリ、５９…インタフェース部。

Claims (23)

1. 入力された画像情報から所定のラインを検出してストライプ境界とするストライプ境界決定手段と、該ストライプ境界決定手段で検出した前記ストライプ境界において前記入力された画像情報を分割するストライプ生成手段と、前記入力された画像情報から特徴量を抽出する属性判別手段と、前記ストライプ生成手段により分割された各画像情報を前記属性判別手段で抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離する分離手段を有することを特徴とする画像処理装置。
2. 前記ストライプ境界決定手段は、前記所定のラインとして１ラインのすべての画素が所定の色であるラインの開始ラインまたは終了ラインを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記ストライプ境界決定手段は、検出した前記所定のラインで前記ストライプ生成手段が前記入力された画像情報を分割した際の各画像情報に関する量が所定量を超える場合に、前記画像情報に関する量が前記所定量以下となるラインを前記所定のラインとともに前記ストライプ境界とすることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 入力された画像情報から特徴量を抽出する属性判別手段と、該属性判別手段で抽出した前記特徴量に基づいて前記入力された画像情報を文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離しようとしたときに実際にいずれのデータに分離されるかを判定してレイヤタイプを生成するレイヤ判定手段と、該レイヤ判定手段で生成された前記レイヤタイプが隣接するライン間で異なるラインを検出してストライプ境界とするストライプ境界決定手段と、該ストライプ境界決定手段で検出した前記ストライプ境界において前記入力された画像情報を分割するストライプ生成手段と、前記ストライプ生成手段により分割された各画像情報を前記属性判別手段で抽出した前記特徴量に基づいて前記第１画像データ、前記第２画像データ、前記選択データのうちの前記レイヤ判定手段で生成した前記レイヤタイプに応じたデータに分離する分離手段を有することを特徴とする画像処理装置。
5. 前記ストライプ境界決定手段は、前記検出したラインで前記ストライプ生成手段が前記入力された画像情報を分割した際の各画像情報に関する量が所定量を超える場合に、前記画像情報に関する量が前記所定量以下となるラインを前記検出したラインとともに前記ストライプ境界とすることを特徴とする請求項４に記載の画像処理装置。
6. 前記ストライプ境界決定手段は、前記レイヤ判定手段で生成された前記レイヤタイプに応じて前記所定量を変化させることを特徴とする請求項５に記載の画像処理装置。
7. 前記ストライプ境界決定手段は、検出したラインで前記ストライプ生成手段が前記入力された画像情報を分割した際の各画像情報に関する量が所定量を下回る場合に、該ラインを前記ストライプ境界から除外することを特徴とする請求項１ないし請求項６のいずれか１項に記載の画像処理装置。
8. 前記画像情報に関する量は、ライン数であることを特徴とする請求項３、６、７のいずれか１項に記載の画像処理装置。
9. 前記画像情報に関する量は、符号量であることを特徴とする請求項３、６、７のいずれか１項に記載の画像処理装置。
10. 入力された画像情報から特徴量を抽出する属性判別手段と、前記入力された画像情報を前記属性判別手段で抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離する分離手段と、前記第１画像データ、前記第２画像データ、前記選択データをそれぞれ所定のラインで分割するストライプ生成手段と、該ストライプ生成手段で分割された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮する圧縮手段と、前記圧縮手段における圧縮手法に基づいて前記ストライプ生成手段において画像を分割するための前記所定のラインを決定するストライプ長制御手段を有することを特徴とする画像処理装置。
11. 入力された画像情報を所定のラインで分割するストライプ生成手段と、前記入力された画像情報から特徴量を抽出する属性判別手段と、前記ストライプ生成手段により分割された各画像情報を前記属性判別手段で抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離する分離手段と、該分離手段で分離された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮する圧縮手段と、前記圧縮手段におけるある圧縮手法に基づいて前記ストライプ生成手段において前記画像情報を分割するための前記所定のラインを決定するストライプ長制御手段を有することを特徴とする画像処理装置。
12. 前記ストライプ長制御手段は、外部より与えられるモード指定に従って前記ストライプ生成手段における前記所定のラインおよび前記圧縮手段における圧縮処理を制御することを特徴とする請求項１０または請求項１１に記載の画像処理装置。
13. 入力された画像情報を所定のラインで分割するストライプ生成手段と、前記入力された画像情報から特徴量を抽出する属性判別手段と、前記ストライプ生成手段により分割された各画像情報を前記属性判別手段で抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離する分離手段と、該分離手段で分離された第１画像データ、第２画像データ、選択データをそれぞれ圧縮する圧縮手段と、通信相手先との通信条件の設定を行なうとともに少なくとも前記圧縮手段で圧縮された第１画像データ、第２画像データ、選択データを送信する通信手段と、該通信手段で設定された前記通信条件に基づいて前記ストライプ生成手段において前記画像情報を分割するための前記所定のラインを決定するストライプ長制御手段を有することを特徴とする画像処理装置。
14. 入力された画像情報から特徴量を抽出する属性判別手段と、前記入力された画像情報を前記属性判別手段で抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離する分離手段と、前記第１画像データ、前記第２画像データ、前記選択データをそれぞれ所定のラインで分割するストライプ生成手段と、該ストライプ生成手段で分割された第１画像データ、第２画像データ、選択データをそれぞれ圧縮する圧縮手段と、通信相手先との通信条件の設定を行なうとともに少なくとも前記圧縮手段で圧縮された第１画像データ、第２画像データ、選択データを送信する通信手段と、該通信手段で設定された前記通信条件に基づいて前記ストライプ生成手段において画像を分割するための前記所定のラインを決定するストライプ長制御手段を有することを特徴とする画像処理装置。
15. さらに、前記圧縮された第１画像データ、第２画像データ、選択データを蓄積する蓄積手段を有し、前記ストライプ長制御手段は、前記通信条件の設定前に予め設定されている条件に従って前記ストライプ生成手段における前記所定のラインを決定し、前記通信条件の設定後は必要に応じて前記通信条件に基づいて前記所定のラインを決定するものであり、前記蓄積手段は、前記ストライプ長制御手段で前記予め設定されている条件に従って決定された前記所定のラインに基づいて前記ストライプ生成手段で分割され前記圧縮手段で圧縮された第１画像データ、第２画像データ、選択データを蓄積し、前記通信手段は、前記ストライプ長制御手段で予め設定されている条件に従って決定した前記所定のラインによる前記ストライプ生成部による分割画像が設定した前記通信条件の許容範囲内である場合には前記蓄積手段に蓄積されている前記圧縮された第１画像データ、第２画像データ、選択データを送信し、前記通信条件の許容範囲外である場合には前記ストライプ長制御手段に前記通信条件に従った前記所定のラインの決定を行なわせ、前記圧縮手段で圧縮された第１画像データ、第２画像データ、選択データを送信することを特徴とする請求項１３または請求項１４に記載の画像処理装置。
16. 入力された画像情報から所定のラインを検出してストライプ境界とし、該ストライプ境界において前記入力された画像情報を分割し、分割された各画像情報を前記入力された画像情報から抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離することを特徴とする画像処理方法。
17. 入力された画像情報から特徴量を抽出し、抽出した前記特徴量に基づいて前記入力された画像情報を文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離しようとしたときに実際にいずれのデータに分離されるかを判定してレイヤタイプとし、該レイヤタイプが隣接するライン間で異なるラインを検出してストライプ境界とし、該ストライプ境界において前記入力された画像情報を分割し、分割された各画像情報を前記特徴量に基づいて前記第１画像データ、前記第２画像データ、前記選択データのうちの前記レイヤタイプに応じたデータに分離することを特徴とする画像処理方法。
18. 入力された画像情報から特徴量を抽出し、抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離し、分離した前記第１画像データ、前記第２画像データ、前記選択データを圧縮手法に基づいた所定のラインで分割し、分割された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により前記圧縮手法で圧縮することを特徴とする画像処理方法。
19. 入力された画像情報を圧縮手法に基づいた所定のラインで分割し、また前記入力された画像情報から特徴量を抽出し、前記分割された各画像情報を抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離し、分離された第１画像データ、第２画像データ、選択データのうちの少なくとも１つは前記圧縮手法を用いてそれぞれのデータについて圧縮することを特徴とする画像処理方法。
20. 通信相手先との通信条件に基づいて画像情報を分割するための所定のラインを決定し、入力された画像情報を前記所定のラインで分割し、また前記入力された画像情報から特徴量を抽出し、前記分割された各画像情報を抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離し、分離された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮し、圧縮された第１画像データ、第２画像データ、選択データを前記通信条件に従って送信することを特徴とする画像処理方法。
21. 通信相手先との通信条件に基づいて画像情報を分割するための所定のラインを決定し、入力された画像情報から特徴量を抽出し、抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離し、分離した前記第１画像データ、前記第２画像データ、前記選択データをそれぞれ前記所定のラインで分割し、分割された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮し、圧縮された第１画像データ、第２画像データ、選択データを前記通信条件にて送信することを特徴とする画像処理方法。
22. 入力された画像情報を所定のラインで分割し、また前記入力された画像情報から特徴量を抽出し、前記分割された各画像情報を抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離し、分離された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮し、圧縮された第１画像データ、第２画像データ、選択データを蓄積しておき、通信相手先との通信条件を決定し、前記所定のラインでの前記画像情報の分割が前記通信条件を満足するか否かを判定し、前記通信条件を満足する場合には蓄積しておいた前記圧縮された第１画像データ、第２画像データ、選択データを送信し、前記通信条件を満足しない場合には前記通信条件を満足する分割すべきラインを決定し、決定された前記分割すべきラインで前記入力された画像情報を分割し、また前記入力された画像情報から特徴量を抽出し、新たに分割された各画像情報を抽出した前記特徴量に基づいて第１画像データ、第２画像データ、および選択データに分離し、分離された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮し、圧縮された第１画像データ、第２画像データ、選択データを送信することを特徴とする画像処理方法。
23. 入力された画像情報から特徴量を抽出し、抽出した前記特徴量に基づいて文字または線画の色情報を示す第１画像データ、中間調情報を示す第２画像データ、および前記文字または線画の形状を示す選択データに分離し、分離した前記第１画像データ、前記第２画像データ、前記選択データをそれぞれ所定のラインで分割し、分割された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮し、圧縮された第１画像データ、第２画像データ、選択データを蓄積しておき、通信相手先との通信条件を決定し、前記所定のラインでの前記第１画像データ、前記第２画像データ、前記選択データの分割が前記通信条件を満足するか否かを判定し、前記通信条件を満足する場合には蓄積しておいた前記圧縮された第１画像データ、第２画像データ、選択データを送信し、前記通信条件を満足しない場合には前記通信条件を満足する分割すべきラインを決定し、決定された前記分割すべきラインで前記第１画像データ、前記第２画像データ、前記選択データを分割し、分割された第１画像データ、第２画像データ、選択データをそれぞれに適した圧縮手法により圧縮し、圧縮された第１画像データ、第２画像データ、選択データを送信することを特徴とする画像処理方法。

Images