JP4721039B2 - 画像処理方法及び装置 - Google Patents

Description

本発明は画像処理方法及び装置に係り、ファイルサイズに容量制限がある環境下で最適な画像ファイルを作成する技術に関する。

一般に、画像データを扱う端末は、扱うことが可能なファイルサイズの最大値が決まっており、そのファイル容量制限を超えたファイルサイズのデータは、通常、表示ができなかったり、処理できないようになっている。殊に、携帯電話や携帯情報端末（ＰＤＡ）などの小型で携帯可能な機器においては、その容量制限が現実に画像処理システムの設計に大きな影響を与えることになる。

例えば、携帯電話では表示する画像データとテキストデータのファイルサイズの合計が５ＫＢ以内でないと表示が不可能な機種も存在する。このような場合は、例えば表示したいテキストデータのファイルサイズが１ＫＢだとすると、表示したい元画像データを圧縮符号化することにより、４ＫＢ以内の画像データファイルを作ることになる。

このとき、完全な可逆符号化では、画像データのファイルサイズを必ずしも４ＫＢ以内に制限するということは不可能なため、元画像データの画質を落とすことにより、ファイルサイズを制限する非可逆符号化が行われることになる。

携帯電話でよく用いられる画像フォーマットには、ＪＰＥＧ(Joint Photographic Experts Group)，ＧＩＦ(Graphics Interchange Format),ＰＮＧ(Portable Network Graphics) などがあり、ＪＰＥＧは非可逆符号化を行う画像フォーマットであるが、ＧＩＦ，ＰＮＧは本来は可逆符号化を行う画像フォーマットである。しかし、上記のような用途で用いる場合には、ＧＩＦやＰＮＧのエンコーダの前段に画質劣化を伴う減色処理を組み込むようにしており、これにより「減色処理→ＧＩＦ／ＰＮＧエンコーダ」が非可逆符号化を行うことになる。従来、このような画像データ符号化装置として、例えば、特許文献１に記載されたものがある。
特開平１０−１３６３６５号公報

しかしながら、画像ファイルのファイルサイズを削減するために、画質を制御するパラメータのみを制御する仕組みの場合、そのパラメータをエンコーダ（例えば、ＪＰＥＧエンコーダ）の規格で許される限度になるまで変更を行っても、容量制限で必要とされるファイルサイズ以下の画像ファイルを作成することができない場合がある。

例えば、元画像データによっては４ＫＢに画像ファイルの容量が制限された環境下では、１２０×１５２画素のＪＰＥＧ画像ファイルを作成することができないことがある。

本発明はこのような事情に鑑みてなされたもので、種々の容量制限が存在するような環境下で任意の元画像から所要の容量制限を満たす画像ファイルを作成することができる画像処理方法及び装置を提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理方法は、
(a）現在設定されている画像サイズにしたがって元画像を縮小するとともに、現在設定されている画質にしたがって前記縮小後の元画像を符号化して送信用の画像ファイルを作成する工程と、
(b）前記作成された画像ファイルのファイルサイズが所定の容量制限以内に入っているか否かを判別する工程と、
(c）前記ファイルサイズが所定の容量制限以内に入っていないと判別されると、画像サイズを縮小するか画質を低下させるかを決定する工程と、
(d）前記決定した画像サイズ又は画質の設定を前記ファイルサイズが減少するように変更して前記工程(a）及び(c）を繰り返す工程と、を含み、
前記工程(c）は、予め画像サイズと画質との最適な関係を示す所定の関数上の点であって、前記所定の容量制限と一致するベストな点に近づくように現在設定されている画質及び画像サイズのうちのいずれか一方を決定することを特徴としている。

即ち、元画像の画像サイズの縮小によるファイルサイズの減少と、画質を低下させる符号化によるファイルサイズの減少とを併用し、元画像の画像サイズや画質に依存することなく該元画像を所定の容量制限内に入るようにしている。特に、現在設定されている画質及び画像サイズのうちのいずれを変更するかを、予め画像サイズと画質との最適な関係を示す所定の関数上の点であって、前記所定の容量制限と一致するベストな点に近づくように決定するようにしている。

請求項２に示すように請求項１に記載の画像処理方法において、前記工程(c）は、前記工程(d）で変更した画質が下限に達している場合には画像サイズを縮小するように決定し、前記工程(d）で変更した画像サイズが下限に達している場合には画質を低下させるように決定することを特徴としている。

請求項３に係る画像処理装置は、現在設定されている画像サイズにしたがって元画像の画像サイズを縮小させる画像縮小手段と、現在設定されている画質のパラメータを使用して前記縮小後の元画像に対して画質を低下させる符号化処理を施して送信用の画像ファイルを作成する画像符号化手段と、前記作成された画像ファイルのファイルサイズが所定の容量制限以内に入っているか否かを判別する判別手段と、前記ファイルサイズが所定の容量制限以内に入っていないと判別されると、前記画像縮小手段での画像縮小量及び前記画像符号化手段での画質低下量を制御すべく前記画像サイズ及び画質のパラメータをそれぞれ制御するパラメータ制御手段と、を備え、前記パラメータ制御手段は、予め画像サイズと画質との最適な関係を示す所定の関数上の点であって、前記所定の容量制限と一致するベストな点に近づくように現在設定されている画質及び画像サイズのパラメータを変更することを特徴としている。

発明によれば、元画像の画像サイズの縮小によるファイルサイズの減少と、画質を低下させる符号化によるファイルサイズの減少とを併用するようにしたため、種々の容量制限が存在するような環境下で任意の元画像から所要の容量制限を満たす画像ファイルを作成することができる。

以下添付図面に従って本発明に係る画像処理方法及び装置の好ましい実施の形態について詳説する。

図１は本発明に係る画像処理装置を含む画像処理システムの概要を示すシステム構成図であり、インターネット１上のサービスサーバ１０と、このサービスサーバにアクセス可能なユーザ端末機２０、３０、及び画像提供用パーソナルコンピュータ（ＰＣ）４０とから構成されている。

ユーザ端末機２０、３０は、画像提供用ＰＣ４０からサービスサーバ１０を介して画像の提供を受けるための端末機で、例えばＰＣ２２、３２、ＰＤＡ２４、３４、携帯電話２６、３６等である。

画像提供用ＰＣ４０は、サービスサーバ１０に対して各ユーザに提供する画像をアップロードするものである。尚、画像提供用ＰＣ４０は、画像を提供する事業者用のサーバでもよいし、個人が知人等に画像を提供するためのＰＣでもよい。

図２はサービスサーバ１０の実施の形態を示すブロック図である。

このサービスサーバ１０は、図２に示すように主としてHTTP(Hypertext Transfer Protocol) 通信部１１と、制御部１２と、画像処理理部１３と、画像データベース（ＤＢ）１４と、ユーザＩＤ、氏名、住所等のユーザ情報、及びユーザが使用しているユーザ端末機の機種情報（あるいはユーザ端末機の容量制限の情報）を管理するユーザ情報ＤＢ１５とから構成されている。

制御部１２は、サービスサーバ１０内の各部を統括、制御するもので、ブラウザを用いる閲覧ソフト、管理ソフト等を含み、HTTP通信部１１を介して受信した画像データ（元画像）を画像ＤＢ１４に保存し、また、ユーザ情報等を受信して、元画像に対してそのユーザ向けの画像処理を画像処理部１３に実施させ、処理後の画像の提供（閲覧やダウンロード等）を可能にする。

画像処理部１３は、画像ＤＢ１４に保存された元画像の出力画像ファイルのファイルサイズを制御するもので、画像ＤＢ１４に保存された任意の元画像を読み出し、その元画像の画像サイズを縮小させる画像縮小手段と、縮小後の元画像に対して画質を低下させる符号化処理を施して送信用の画像ファイル（例えば、ＪＰＥＧファイル）を作成するＪＰＥＧエンコーダと、前記作成された画像ファイルのファイルサイズがユーザ所有のユーザ端末機の容量制限以内に入っているか否かを判別する判別手段と、前記ファイルサイズが前記容量制限以内に入っていないと判別されると、前記画像縮小手段での画像縮小量及び前記ＪＰＥＧエンコーダでの画質低下量を制御すべく画像サイズ及び画質のパラメータをそれぞれ制御するパラメータ制御手段とを備えている。

次に、上記画像処理部１３での画像処理の実施の形態について説明する。

［第１の実施の形態］
図３は画像処理部１３での画像処理方法の第１の実施の形態を示すフローチャートである。

第１の実施の形態の画像処理方法は、元画像から所定の容量制限以内の画像ファイルを作成する際に、画像サイズを優先させ、最初に画質を低下させてファイルサイズを減少させ、画質が下限に達した場合には、続いて画像サイズを縮小させてファイルサイズを減少させるようにしている。

まず、元画像の初期パラメータを設定する（ステップＳ１０）。この初期パラメータは、画像ＤＢ１４に保存された元画像のオリジナルの画像サイズや、エンコーダで符号化処理する際に画質を制御するためのパラメータで、例えば、最高画質に対応するパラメータを設定する。尚、このパラメータは、ＪＰＥＧエンコーダでは、見かけ上の画質に影響のない情報を優先的に捨てていくことで数分の１〜数１０分の１というレベルまで圧縮する圧縮パラメーターに相当する。

続いて、現在設定されている画質を制御するパラメータを使用して元画像をエンコード（符号化処理）し、ユーザ端末機に送信するための送信用の画像ファイルを作成する（ステップＳ１２）。

次に、前記作成された画像ファイルのファイルサイズが、ユーザ端末機で利用可能な所定の容量制限以内か否かを判別する（ステップＳ１４）。尚、この容量制限は、例えば、ユーザ情報ＤＢ１５で管理されているユーザ端末機ごとに設定されている制限値が使用される。

画像ファイルのファイルサイズが所定の容量制限以内の場合には、この画像処理を終了し、一方、容量制限を超えている場合には、現在設定されている画質が下限か否かを判別する（ステップＳ１６）。

画質が下限でない場合には、画質を制御するパラメータを画質を低下する方向に変更し（ステップＳ１８）、ステップＳ１２に戻る。例えば、画質を複数段階に変更するパラメータを有する場合には、現在のパラメータよりも１段階画質を低下させるパラメータに変更する。

上記ステップＳ１２からステップＳ１８の処理を繰り返すことで、徐々に画質を低下させる符号化処理（ＪＰＥＧエンコーダでは徐々に圧縮率を高くする処理）が行われ、画像ファイルのファイルサイズが所定の容量制限以内に入った時点で画像処理を終了させる。

一方、現在設定されている画質が下限に達してもファイルサイズが所定の容量制限を超えている場合には、ステップＳ２０に進む。

ステップＳ２０では、現在設定されている画像サイズを縮小させる。この画像サイズの縮小処理は、現在の画像サイズよりも一定の割合だけ画像サイズを小さくし、又は予め設定されている複数段階の画像サイズのうちの現在の画像サイズよりも１段階画像サイズの小さい画像サイズにする。

続いて、前記縮小した元画像に対して、現在設定されている画質を制御するパラメータを使用してエンコードし、画像ファイルを作成する（ステップＳ２２）。尚、このときの画質は下限値である。

次に、前記作成された画像ファイルのファイルサイズが、所定の容量制限以内か否かを判別し（ステップＳ２４）、所定の容量制限以内の場合には、この画像処理を終了する。

一方、容量制限を超えている場合には、現在の画像サイズが下限か否かを判別する（ステップＳ２６）。そして、画像サイズが下限でない場合には、ステップＳ２０に戻り、画像サイズを縮小させる。

上記ステップＳ２０からステップＳ２６の処理を繰り返すことで、徐々に画像サイズが縮小され、画像ファイルのファイルサイズが徐々に減少する。そして、画像ファイルのファイルサイズが所定の容量制限以内に入った時点で画像処理を終了させる。尚、画像サイズも下限に達する場合には、この時点で画像処理を終了させ、この元画像のユーザ端末機への画像ファイルの作成は不能とする。

［第２の実施の形態］
図４は画像処理部１３での画像処理方法の第２の実施の形態を示すフローチャートである。

第２の実施の形態の画像処理方法は、元画像から所定の容量制限以内の画像ファイルを作成する際に、画質を優先させ、最初に画像サイズを縮小させてファイルサイズを減少させ、画像サイズが下限に達した場合には、続いて画質を低下させてファイルサイズを減少させるようにしている。

まず、第１の実施の形態と同様に元画像の初期パラメータを設定する（ステップＳ３０）。続いて、現在設定されている画質を制御するパラメータを使用して元画像をエンコードし、画像ファイルを作成する（ステップＳ３２）。

次に、前記作成された画像ファイルのファイルサイズが、所定の容量制限以内か否かを判別し（ステップＳ３４）、所定の容量制限以内の場合には、この画像処理を終了し、一方、容量制限を超えている場合には、現在の画像サイズが下限か否かを判別する（ステップＳ３６）。

画像サイズが下限でない場合には、第１の実施の形態と同様に画像サイズを縮小させた後（ステップＳ３８）、ステップＳ３２に戻る。このステップＳ３２からステップＳ３８の処理を繰り返すことで、徐々に画像サイズが縮小され、画像ファイルのファイルサイズが徐々に減少する。そして、画像ファイルのファイルサイズが所定の容量制限以内に入った時点で画像処理を終了させる。

一方、現在の画像サイズが下限に達してもファイルサイズが所定の容量制限を超えている場合には、ステップＳ４０に進む。

ステップＳ４０では、第１の実施の形態と同様にして現在設定されている画質を制御するパラメータを画質を低下する方向に変更し（ステップＳ４０）、縮小されている元画像に対して、前記変更した画質を制御するパラメータを使用してエンコードし、画像ファイルを作成する（ステップＳ４２）。尚、このときの画像サイズは下限である。

次に、前記作成された画像ファイルのファイルサイズが、所定の容量制限以内か否かを判別し（ステップＳ４４）、所定の容量制限以内の場合には、この画像処理を終了する。

一方、容量制限を超えている場合には、現在設定されている画質が下限か否かを判別する（ステップＳ４６）。そして、画質が下限でない場合には、ステップＳ４０に戻り、画質を制御するパラメータを低下する方向に変更する。

上記ステップＳ４０からステップＳ４６の処理を繰り返すことで、徐々に画質を低下させるエンコードが行われ、画像ファイルのファイルサイズが所定の容量制限以内に入った時点で画像処理を終了させる。尚、画質も下限に達する場合には、この時点で画像処理を終了させ、この元画像のユーザ端末機用の画像ファイルの作成は不能とする。

［第３の実施の形態］
図５は画像処理部１３での画像処理方法の第３の実施の形態を示すフローチャートである。

第３の実施の形態の画像処理方法は、元画像から所定の容量制限以内の画像ファイルを作成する際に、画像サイズと画質とがそれぞれ最適な関係になるように変更して所定の容量制限に入るように画像ファイルのサイズを減少させるようにしている。

まず、第１の実施の形態と同様に元画像の初期パラメータを設定する（ステップＳ５０）。続いて、現在設定されている画質を制御するパラメータを使用して元画像をエンコードし、画像ファイルを作成する（ステップＳ５２）。

次に、前記作成された画像ファイルのファイルサイズが、所定の容量制限以内か否かを判別し（ステップＳ５４）、所定の容量制限以内の場合には、この画像処理を終了し、一方、容量制限を超えている場合には、現在設定されている画質が下限か否かを判別する（ステップＳ５６）。

画質が下限でない場合には、更に現在設定されている画像サイズが下限か否かを判別する（ステップＳ５８）。そして、画像サイズも下限でない場合には、画質及び画像サイズのうちのいずれを変更して画像ファイルのファイルサイズを減少させるべきかを判別する（ステップＳ６０）。

図６は予め画像サイズと画質との最適な関係を示す所定の関数（図６上では一次関数）を示すグラフである。

図６上で、Ａは元画像のオリジナルの画像サイズ及び画質を示しており、Ｂは目標とする制限容量一定の曲線を示しており、Ｃは前記関数と曲線Ｂとが交差するベストの点を示している。

そして、画質及び画像サイズのうちのいずれを変更して画像ファイルのファイルサイズを減少させるべきかは、現在設定されている画像サイズと画質との関係が、前記関数に近づくように決定する。

図６に示す例では、最初に画質を徐々に低下してファイルサイズを減少させ、前記関数と交差すると、その後は、画質と画像サイズとを交互に変更してベストな点Ｃに収束させるようにする。尚、所定の関数と交差する前に曲線Ｃと交差する場合には、この曲線Ｃに沿ってベストの点Ｃに近づくように画質と画像サイズとを変更させる。

ステップＳ６０において、画質を変更して画像ファイルのファイルサイズを減少させるべきと判別されると、ステップＳ６０に進み、ここで画質を制御するパラメータを画質が低下する方向に変更し、その後、ステップＳ５２に戻る。一方、ステップＳ６０において、画像サイズを変更して画像ファイルのファイルサイズを減少させるべきと判別されると、ステップＳ６４に進み、ここで画像サイズを縮小し、その後、ステップＳ５２に戻る。

また、ステップＳ５６において、現在設定されている画質が下限に達していることが判別されると、ステップＳ６６に進み、ここで現在設定されている画像サイズが下限か否かを判別する。そして、画像サイズが下限に達していない場合には、ステップＳ６４に進み、画像サイズも下限に達している場合には、この時点で画像処理を終了させ、この元画像のユーザ端末機用の画像ファイルの作成は不能とする。

同様に、ステップＳ５８において、現在設定されている画像サイズが下限に達していることが判別されると、ステップＳ６２に進む。

尚、この実施の形態では、サービスサーバ１０が上記画像処理を行う場合について説明したが、この種の画像処理を行う機器はこの実施の形態に限定されない。また、本発明に係る画像処理は、画像処理ソフトウエアで実現するようにしてもよいし、ハードウエアで実現するようにしてもよい。

更にエンコードはＪＰＥＧエンコードに限らず、画質を制御してファイルサイズの変更が可能なものであれば、いかなるものでもよい。

図１は本発明に係る画像処理装置を含む画像処理システムの概要を示すシステム構成図である。 図２はサービスサーバの実施の形態を示すブロック図である。 図３は画像処理部の処理手順の第１の実施の形態を示すフローチャートである。 図４は画像処理部の処理手順の第２の実施の形態を示すフローチャートである。 図５は画像処理部の処理手順の第３の実施の形態を示すフローチャートである。 図６は図３の第３の実施の形態を説明するために用いたグラフである。

符号の説明

１…インターネット、１０…サービスサーバ、１１…HTTP通信部、１２…制御部、１３…画像処理部、１４…画像ＤＢ、１５…ユーザ情報ＤＢ、２０、３０…ユーザ端末機、４０…画像提供用ＰＣ

Claims (3)

1. (a）現在設定されている画像サイズにしたがって元画像を縮小するとともに、現在設定されている画質にしたがって前記縮小後の元画像を符号化して送信用の画像ファイルを作成する工程と、
   (b）前記作成された画像ファイルのファイルサイズが所定の容量制限以内に入っているか否かを判別する工程と、
   (c）前記ファイルサイズが所定の容量制限以内に入っていないと判別されると、画像サイズを縮小するか画質を低下させるかを決定する工程と、
   (d）前記決定した画像サイズ又は画質の設定を前記ファイルサイズが減少するように変更して前記工程(a）及び(c）を繰り返す工程と、を含み、
   前記工程(c）は、予め画像サイズと画質との最適な関係を示す所定の関数上の点であって、前記所定の容量制限と一致するベストな点に近づくように現在設定されている画質及び画像サイズのうちのいずれか一方を決定することを特徴とする画像処理方法。
2. 前記工程(c）は、前記工程(d）で変更した画質が下限に達している場合には画像サイズを縮小するように決定し、前記工程(d）で変更した画像サイズが下限に達している場合には画質を低下させるように決定することを特徴とする請求項１に記載の画像処理方法。
3. 現在設定されている画像サイズにしたがって元画像の画像サイズを縮小させる画像縮小手段と、
   現在設定されている画質のパラメータを使用して前記縮小後の元画像に対して画質を低下させる符号化処理を施して送信用の画像ファイルを作成する画像符号化手段と、
   前記作成された画像ファイルのファイルサイズが所定の容量制限以内に入っているか否かを判別する判別手段と、
   前記ファイルサイズが所定の容量制限以内に入っていないと判別されると、前記画像縮小手段での画像縮小量及び前記画像符号化手段での画質低下量を制御すべく前記画像サイズ及び画質のパラメータをそれぞれ制御するパラメータ制御手段と、を備え、
   前記パラメータ制御手段は、
   予め画像サイズと画質との最適な関係を示す所定の関数上の点であって、前記所定の容量制限と一致するベストな点に近づくように現在設定されている画質及び画像サイズのパラメータを変更することを特徴とする画像処理装置。

Images