JP5433377B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、データベースに保存された画像データの画像処理を行う画像処理装置、画像処理方法、および、画像処理プログラムの技術分野に関する。

近年、携帯型無線電話機等の携帯端末が普及し、ユーザは、外出先等でも手軽に携帯端末により、Ｗｅｂページや放送番組等の動画を閲覧できるようになった。

これらを閲覧等する場合、携帯端末の表示画面がパーソナルコンピュータやテレビジョン等の画面に比べて小さいため、携帯端末は、表示画面のサイズに基づいて圧縮された画像データ等を表示画面に表示している。例えば、特許文献１には、以下のような携帯端末の技術が開示されている。携帯端末が、受信した原画像データが表示部の画素数よりも多い場合に、原画像データの画素数を表示部の画素数まで減少させて表示する。そして、画像上において、ポインティングデバイスにより位置が指定されると、原画像データにおける対応座標を算出し、この対応座標に基づき、原画像データにおいて表示部の画素数に等しい画像領域を指定し、これらの情報を画像データ配信装置へ送信する。これにより、画像領域に対応する画像データを受信すると、画像データの画素数を変えることなく、一部拡大画像として表示部に表示させる。

特開２０００−１３６５９号公報

ところで、光ファイバー等のブロードバンドインターネット接続の普及と共に、詳細な地図データ等の数メガピクセルからギガピクセルの静止画像や高精細度テレビジョン放送等の動画等の高解像度の画像がＷｅｂ上に公開され、パーソナルコンピュータ等により閲覧できるようになってきている。

しかしながら、携帯型無線電話機等の携帯端末の場合、特に、表示画面の大きさの他に通信速度や記憶容量等の機能的制約が多いため、上記技術を用いても、詳細な地図データ等の高解像度の画像をスムーズに閲覧することが難しく、ユーザの操作性の向上が十分に図られているとは言いがたかった。また、携帯端末の場合、キーボードに比べて、操作性が十分とは言えず、表示画面上の画像に対する操作に対するユーザの利便性が必ずしも高くは無かった。

本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、携帯端末におけるユーザの利便性を図る、画像処理装置、画像処理方法、および、画像処理プログラムを提供することを目的とする。
また、本発明は、１つの画像の中の特徴ある領域を抽出し、ユーザが直接操作することなく、ユーザに対して特徴ある領域を自動的に表示する、画像処理装置、画像処理方法、および、画像処理プログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、画像の領域の特徴量を算出する特徴量算出手段と、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段と、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段と、を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記表示順序に基づき、前記分割画像の画像データおよび前記リンク領域のデータを送信する送信手段を更に備えたことを特徴とする。

請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記表示順序決定手段は、ユーザ情報に基づき、前記表示順序を決定することを特徴とする。

請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の画像処理装置において、前記リンク領域を可視可能に画像処理するリンク領域可視化手段を更に備えたことを特徴とする。

請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の画像処理装置において、前記分割画像に関連した関連商品を前記リンク領域に関連づける関連商品リンク手段を更に備えたことを特徴とする。

請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の画像処理装置において、前記特徴量が、前記画像の色相の値、彩度の値、明度の値、前記色相の方向成分、前記彩度の方向成分、および、前記明度の方向成分の少なくとも１つであることを特徴とする。

請求項７に記載の発明は、画像の領域の特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割ステップと、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定ステップと、を有することを特徴とする。

請求項８に記載の発明は、コンピュータを、画像の領域の特徴量を算出する特徴量算出手段、前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段、それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段、および、前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段として機能させることを特徴とする。

本発明によれば、画像の領域の特徴量を算出し、特徴量に基づき、画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得て、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決め、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定することにより、リンク領域が設定された分割画像を、ユーザが直接操作せず自動的に携帯端末に再生させるため、ユーザが気になるところでクリック等することにより、他の情報にアクセスできるため、端末におけるユーザの利便性の向上を図ることができる。

本発明に係る第１実施形態の画像処理サーバシステムの概要構成例を示す模式図である。 図１の画像処理サーバの概要構成の一例を示すブロック図である。 図１の画像サーバのデータベースにおける解像度の異なる画像データの一例を示す模式図である。 図１の画像処理サーバによるシナリオ再生の一例を示すフローチャートである。 図３の原画像データの画素ごとの特徴量を計算した結果の画像の一例を示す模式図である。 図３の原画像が矩形領域に分割された一例を示す模式図である。 本発明に係る第１実施形態のシナリオ再生の一例を示す模式図である。 図４における特徴量に基づく分割のサブルーチンの一例を示すフローチャートである。 図５の画像を基本単位となる基本矩形領域に分割した様子の一例を示す模式図である。 図８における基本矩形領域拡張のサブルーチンの一例を示すフローチャートである。 （Ａ）から（Ｄ）は、図１０における基本矩形領域の拡張の仕方の一例を示す模式図である。 図１０の処理に従い、画像が矩形領域に分割された一例を示す模式図である。 図１２の矩形領域を更にまとめた矩形領域の一例を示す模式図である。 本発明に係る第２実施形態のシナリオ再生の一例を示すフローチャートである。 本発明に係る第２実施形態のシナリオ再生の一例を示す模式図である。 図６の矩形領域が、特徴量に基づき矩形領域に更に分割された一例を示す模式図である。 第１および第２実施形態の変形例におけるシナリオ再生のためのユーザ履歴取得様子の一例を示す模式図である。

以下、図面を参照して本発明を実施するための最良の形態について説明する。

（第１実施形態）
まず、本発明の第１実施形態に係る画像処理サーバシステムの概略構成および機能について、図に基づき説明する。

図１は、本発明に係る第１実施形態に係る画像処理サーバシステムの概要構成例を示す模式図である。図２は、画像処理サーバの概要構成の一例を示すブロック図である。

図１に示すように、画像処理装置の一例の画像処理サーバシステム１０は、携帯端末２０の要求等に基づき画像処理を行う画像処理サーバ１１と、画像処理サーバ１１の処理結果やＷｅｂサーバ３０からの画像データを記憶させるデータベースサーバ１２と、携帯端末２０やＷｅｂサーバ３０と通信する通信サーバ１３と、を備える。

画像サーバシステム１０は、インターネット等のネットワーク３に接続され、携帯端末２０は、移動体通信網２に接続され、移動体通信網２とネットワーク３とはプロトコル変換やコンテンツを記述する言語の変換等を行うためのゲートウエイ等により接続されている。また、画像サーバシステム１０は、ＨＴＭＬ（HyperText Markup Language）文書や画像等のデータを保持するＷｅｂサーバ３０に、インターネット等のネットワーク３を介して接続されている。そして、携帯端末２０は、閲覧したい画像、すなわち、原画像のＵＲＬ（Uniform Resource Locator）等の情報を画像サーバシステム１０に送信する。

画像サーバシステム１０は、ＵＲＬに対応したＷｅｂサーバ３０から原画像に係る原画像データを受信し、この原画像データから、原画像に係る原画像情報を作成したり、原画像データを携帯端末２０用に加工処理したりして、原画像に関する情報や画像データを携帯端末２０に送信する。例えば、アクセス先としての画像サーバシステム１０のＵＲＬは、携帯端末２０側のソフトウェアに組み込まれていて、携帯端末２０側において、原画像データ先としてのＷｅｂサーバ３０のＵＲＬを、直接入力したり、Ｗｅｂサーバ３０のＵＲＬが埋め込まれた箇所等をクリックしたりすると、リクエスト情報が携帯端末２０から画像サーバシステム１０に送信される。そして、画像サーバシステム１０は、Ｗｅｂサーバ３０から原画像データを取得した後、所定の加工を施した原画像データを携帯端末２０に提供することができる。このように、携帯端末２０は、インストールされたソフトウェアに基づき、画像サーバシステム１０を介して、Ｗｅｂサーバ３０等から情報を取得している。なお、原画像データは、画像サーバシステム１０内のデータでもよい。

図２に示すように、コンピュータとして機能する画像処理サーバ１１は、画像処理サーバ１１全体を制御したり画像処理の演算を行ったりする制御部１１ａと、制御部１１ａの途中結果等を保持する記憶部１１ｂと、データベースサーバ１２や通信サーバ１３との通信を行う通信部１１ｃと、画像やテキスト等を表示する表示部１１ｄと、キーボードやマウス等により構成される操作部１１ｅと、を備え、これらは、バス１１ｆにより接続されている。

制御部１１ａは、ＣＰＵ（Central Processing Unit）を有し、Ｗｅｂサーバ３０からダウンロードした画像データを圧縮して画像の解像度を落としたり、画像データから特徴量を算出する特徴量算出手段として機能したり等各種の画像処理を行う。ＣＰＵは、１つのＣＰＵパッケージの中に複数のＣＰＵコアを有するマルチコア型であり、並列処理ができる。

記憶部１１ｂは、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）やハードディスク等を有し、画像処理のプログラムがロードされたり、画像データを保持するメモリ空間が形成されたりする。

通信部１１ｃは、ローカルエリアネットワークを介してデータベースサーバ１２や通信サーバ１３と通信を行う。また、表示部１１ｄは、ＣＲＴ（Cathode Ray Tube）、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。

データベースサーバ１２は、ハードディスクからなるデータベースを制御する。データベースサーバ１２のデータベースには、Ｗｅｂサーバ３０からダウンロードした画像データやこのデータを画像処理したデータや、携帯端末２０からの要求等が記憶されている。

通信サーバ１３は、移動体通信網２の基地局を介して携帯端末２０と通信をしたり、ネットワーク３を介してＷｅｂサーバ３０と通信したりする。ゲートウエイや認証用サーバとして機能する。

次に、携帯端末２０は、図１に示すように、画像やテキスト等を表示する表示部２１と、表示部２１に表示されたポインタの操作等に使用される操作部２２と、図示しないが、画像サーバシステム１０と送受信を行う無線通信部と、通話のための音声の入出力を行う音声入出力部と、画像サーバシステム１０から送信されたデータ等を記憶する記憶部と、携帯端末２０の各種制御を行う制御部等を備えている。

表示部２１は、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。操作部２２は、各種キーにより構成されている。ユーザは、操作部２２により、表示部２１に表示されたポインタを移動させたり、画像の部分を選択して確定させたりする。

次に、図３に基づき、本実施形態に用いる画像データの一例について説明する。

図３は、画像サーバのデータベースにおける解像度の異なる画像データの一例を示す模式図である。図３に示すように、画像（原画像）４０は、Ｗｅｂサーバ３０または画像処理サーバシステム１０のデータベースに存在する原画像データに対応した原画像の一例を示す模式図である。

Ｗｅｂサーバ３０は、携帯端末２０からユーザが要求した画像のＵＲＬにより示した原画像データを有し、例えば、図３に示すように、原画像４０の画像データを有している。この原画像４０の画像データは、詳細地図データ等、数メガ〜ギガピクセルの大きさの画像データで、携帯端末２０では、そのままでは表示ができないとする。

Ｗｅｂサーバ３０から画像サーバシステム１０にダウンロードされた原画像４０の画像データは、データベースサーバ１２に記憶される。そして、画像処理サーバ１１は、原画像４０の画像データを画像処理して、様々の解像度の画像４１、４２、４５等の画像データや、ユーザが注目しそうな部分画像の画像データ等を作成する。ここで、原画像４０に係る原画像情報として、原画像データや作成された様々の解像度の画像データに関する画素数（解像度）や幅と高さとの比の情報等が挙げられる。

次に、本実施形態の動作について図に基づき説明する。

図４は、画像処理サーバ１１によるシナリオ再生の一例を示すフローチャートである。図５は、図３の原画像データの画素ごとの特徴量を計算した結果の画像の一例を示す模式図である。図６は、原画像が矩形領域に分割された一例を示す模式図である。図７は、シナリオ再生の一例を示す模式図である。

まず、画像処理サーバ１１の制御部１１ａは、あるサイトの画像が存在するＵＲＬの情報や所望の圧縮率（画像の解像度のレベル）の情報等を、携帯端末２０から受信する。このとき、制御部１１ａは、携帯端末２０における表示部２１の画面の大きさや解像度等の携帯端末２０の機能に関する情報も受信する。画像サーバ１１の制御部１１ａは、要求されたＵＲＬに対応したＷｅｂサーバ３０にアクセスして、図３に示したような原画像４０の画像データをダウンロードし、データベースサーバ１２を介してデータベースに原画像４０の画像データとして記憶させる。

次に、図４のフローチャートに基づき本実施形態のシナリオ再生の概要について説明する。

まず、図４に示すように、画像処理サーバ１１の制御部１１ａは、特徴量に基づき画像を部分領域に分割して分割画像を得る（ステップＳ１）。具体的には、まず、図５に示すように、原画像４０に対して特徴量を計算して画像５０を得る。そして、図６に示すように、特徴量に基づき少なくとも１つ大きさの異なる複数の部分領域（分割画像Ｐ１、Ｐ２、Ｐ３）等に分割する。たいていの画像はこの処理により不均等な分割画像になる。

ここで、特徴量とは、人間の視覚による認知において、静止画像中に存在する物体の重要度を表す指標である。この視覚による認知においては、色相や彩度や明度や物体の輪郭線（エッジ）が重要なファクターになることが知られている。なお、特徴量の算出や特徴量に基づく画像の分割の詳細については後述する。

このように画像処理サーバ１１は、画像の領域の特徴量を算出する特徴量算出手段の一例として機能する。また、画像処理サーバ１１は、画像分割方法の一例として、特徴量に基づき、原画像４０等の画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る。

次に、制御部１１ａは、原画像４０に対する画像の解像度の各レベルの画像を作成する（ステップＳ２）。具体的には、原画像４０の画像データのデータ量が携帯端末２０の表示機能等に対して大きい場合、制御部１１ａは、画像圧縮に基づき、原画像４０の各レベルの低解像度画像の画像データを作成する。例えば、制御部１１ａは、原画像４０の画像サイズを縮小して、表示部２１の画面に収まるように画素数を落とした低解像度の画像４５の画像データや、画像４１，４２等を作成する。

ここで、解像度を低下させて画素数を少なくするに際して、一度、制御部１１ａは、原画像４０の原画像データを複数の領域に分割して分割画像とする。そして制御部１１ａは、マルチコアのＣＰＵ等を用いた並列処理により、これら各分割画像の解像度を減少させて低解像度分割画像を得たのち、これらを統合して低解像度統合画像を得る。このように、圧縮して低解像度にする画像を、まず分割して分割画像にし、分割画像の圧縮を、複数の解像度減少手段による並列処理で行っているため、高速に画像の圧縮を実現できる。また、ユーザの要求に応じて、あるメガピクセル画像の画像を携帯端末２０で閲覧させる場合、高速に要求に応え、解像度を減少させた画像を送信できる。

次に、制御部１１ａは、特徴量に基づく各分割画像のランク付けを行う（ステップＳ３）。具体的には、図６に示すように、制御部１１ａは、特徴量に基づき、各分割画像Ｐ１、Ｐ２、Ｐ３等に対して、それぞれの分割画像の特徴量の値が高い順または低い順にランク付けを行う。各分割画像Ｐ１、Ｐ２、Ｐ３等の特徴量の値は、各分割画像の部分領域における特徴量の平均値等を用いる。

次に、制御部１１ａは、特徴量に基づく表示順序を決定する（ステップＳ４）。具体的には、制御部１１ａは、特徴量がある一定以上または、上位の分割画像を取り出し、画像５１において、上方にある分割画像を優先的に表示するように、表示順序を設定する。このように、制御部１１ａは、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決める表示順序決定手段の一例として機能する。

次に、制御部１１ａは、表示する分割画像付近の表示領域を決定する（ステップＳ５）。具体的には、制御部１１ａは、図６に示すように、分割画像Ｐ１、Ｐ２、Ｐ３の一部や全体を含むように、表示領域を示す表示枠４６Ａ、４７Ａ、４８Ａを決定する。この表示枠４６Ａの大きさは、携帯端末２０の表示部２１の大きさと、分割画像Ｐ１を表示部２１に表示させるために必要な解像度等とにより決定される。また、分割画像Ｐ１、Ｐ２、Ｐ３等の大きさは、まちまちであり、分割画像Ｐ２の場合、分割画像Ｐ２を含むように、表示枠４７Ａが決められる。なお、図７の画像４５においては、表示枠４６Ａ、４７Ａ、４８Ａに対応する表示枠は、表示枠４６Ｂ、４７Ｂ、４７Ｃである。

次に、制御部１１ａは、特徴量に基づくリンク領域を決定する（ステップＳ６）。具体的には、制御部１１ａは、ユーザの携帯端末２０に表示させる分割画像Ｐ１、Ｐ２、Ｐ３において、分割画像の全部または一部を含むリンク領域と、そのリンク領域を取り囲むリンク枠５１ａ、５１ｂ、５１ｃを決定する。リンク領及びリンク枠の情報は、例えば、ＨＴＭＬ等のマークアップ言語により記述される。

また、制御部１１ａは分割画像において、特徴量が高いところを中心に、リンク枠５１ａ、５１ｂ、５１ｃを決定している。なお、人間が画像４０の特徴量をサーモグラフにように表した画像５０、５１を参考にして、リンク枠５１ａ、５１ｂ、５１ｃを決定してもよい。ユーザが携帯端末２０において、このリンク枠のリンク領域をクリック等すると、リンク領域に関連づけられた所定のＷｅｂページにジャンプする。このように、制御部１１ａは、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段の一例として機能する。例えば、制御部１１ａは、分割画像付近にリンク領域を設定したり、分割画像内にリンク領域を設定したりする。

次に、制御部１１ａは、リンク領域と商品との関連づけを行う（ステップＳ７）。具体的には、制御部１１ａは、分割画像に関連した関連商品の一例として、分割画像Ｐ１、Ｐ２、Ｐ３の画像に写っているアイテムに関連した商品やサービスの情報（例えば、商品ページのＨＴＭＬデータ）を、データベースサーバ１２のデータベースから取り出す。更に具体的には、分割画像Ｐ１は、顔がメイン画像であるので、制御部１１ａは、顔に関連した商品やサービスのＵＲＬをデータベースサーバ１２に要求し、分割画像Ｐ２は、時計がメインの画像であるので、制御部１１ａは、時計に関連した商品やサービスのＵＲＬをデータベースサーバ１２に要求する。そして、制御部１１ａは、各リンク枠５１ａ、５１ｂ、５１ｃの座標や解像度の情報等に、取り出したＵＲＬに関連づけて、データベースサーバ１２のデータベースに記憶するように、データをデータベースサーバ１２に送信する。

なお、リンク領域と商品との関連づけられた情報は、記憶部１１ｂのハードディスクに記憶してもよい。また、商品を自動的に、画像認識により抽出してもよいが、画像４０や、特徴量を示す画像５０や分割の様子を示す画像５１等と共に、商品やサービス情報を検索して示す表示ソフトウェアを作成して、画像処理サーバ１１の表示部１１ｄに映し出された画像を見ながら、商品やサービスを提供したい情報提供者等が、販売したい商品やサービスを関連づけてもよい。このように、制御部１１ａは、分割画像に関連した関連商品をリンク領域に関連づける関連商品リンク手段の一例として機能する。

次に、制御部１１ａは、表示順位に基づき、画像データを携帯端末２０に送信する（ステップＳ８）。具体的には、制御部１１ａと通信部１１ｃは、通信サーバ１３を通して、図７に示すように、表示枠４６Ｂ、４７Ｂ、４８Ｂのところに対応した、画像４６、画像４７、画像４８の画像データを順に、携帯端末２０に送信する。これらの画像データには、ＨＴＭＬ等のマークアップ言語で記載されたリンク枠５１ａ、５１ｂ、５１ｃ等のリンク領域の情報が含まれる。このように、制御部１１ａは、表示順序に基づき、分割画像の画像データおよびリンク領域のデータを送信する送信手段一例として機能する。

次に、ステップＳ１の特徴量に基づき画像を分割画像に分割するサブルーチンについて図に基づき詳細に説明する。

図８は、特徴量に基づく分割のサブルーチンの一例を示すフローチャートである。図９は、特徴量の画像データの画像を基本単位となる基本矩形領域に分割した様子の一例を示す模式図である。

まず、画像処理サーバ１１の制御部１１ａは、図８に示すように、原画像４０の画像データの画素ごとの特徴量を計算する（ステップＳ１０）。このように、制御部１１ａは、特徴量算出手段の一例として、原画像４０等の領域の特徴量を算出する。

本実施形態においては、特徴量を求めるにあたり、色相の値、彩度の値、明度の値、色相の方向成分、彩度の方向成分、および、明度の方向成分に基づき、視覚的特徴量として特徴量を算出した。なお、色相の値、彩度の値、および明度の値は、ＲＧＢ（Red, Green, Blue）のデータからＨＳＶ（Hue, Saturation, Value）のデータへ変換する一般的な式により求めた。また、色相、彩度および明度の各方向成分は、０°，４５°，９０°，１３５°のガボールフィルタにより得られる最大値を用いた。そして、特徴量は、これらの６成分を重み付けして足し合わせた値とした。なお、特徴量を求める前処理として、画像データを、ガウシアンピラミッドを用い、縮小して更に拡張することにより、雑音等を除去した画像データを用いた。このように特徴量の一例は、原画像４０等の画像の色相の値、彩度の値、明度の値、色相の方向成分、前記彩度の方向成分、および、前記明度の方向成分の少なくとも１つである。

以上のように、制御部１１ａは、特徴量の強弱や大小により、図５に示すようなヒートマップ図の画像５０の画像データを算出する。なお、この図５は、あくまで説明のために、原画像４０のヒートマップ図を模式的に表した図である。

次に、制御部１１ａは、ヒートマップ図の画像５０を、図９に示すように、基本矩形領域に分割する（ステップＳ１１）。ここで、基本単位となる基本矩形領域の大きさは、幅ｗ０、高さｈ０である。そして、幅ｗ０および高さｈ０の自然数倍が、画像５７の辺の長さになる。幅ｗ０と高さｈ０とは同じでもよいし、幅ｗ０と高さｈ０との比が、携帯端末２０の表示部２１の比と同じになるようにしてもよい。なお、原点は図面向かって左上とし、ｘ軸は右方向、ｙ軸は下向きとする。

次に、制御部１１ａは、特徴量に基づき矩形領域を拡張し、矩形領域に分割する（ステップＳ１２）。このステップにより、制御部１１ａは、特徴量の値が近い隣接した基本矩形領域を結合させて、画像を人間が注目しやすい領域に区切る。また、矩形領域にすることで、後の処理や携帯端末２０での処理がしやすいようにしている。

ここで、矩形領域の拡張のサブルーチンについて図１０から図１３に基づき詳細に説明する。

図１０は、単位となる基本矩形領域の拡張のサブルーチンの一例を示すフローチャートである。図１１（Ａ）から（Ｄ）は、基本矩形領域の拡張の仕方の一例を示す模式図である。図１２は、基本矩形領域の拡張の処理に従い、画像が矩形領域に分割された一例を示す模式図である。

図１０に示すように、まず、制御部１１ａは、基本矩形領域に分割された画像５７の中から、任意の基本矩形領域の選択をする（ステップＳ２０）。例えば、図９に示すように、画像５７の中から基本矩形領域Ｒｉを選択する。

次に、制御部１１ａは、矩形領域の拡張方向の算出をする（ステップＳ２１）。具体的には、図１１に示すように、４つの方向に拡張する。まず、第１の拡張方向として、図１１（Ａ）に示すように、基本矩形領域Ｒｉにおいて、方向（−ｘ，０）、方向（０，−ｙ）、および、方向（−ｘ，−ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。また、第２の拡張方向として、図１１（Ｂ）に示すように、方向（ｘ，０）、方向（０，−ｙ）、および、方向（ｘ，−ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。第３の拡張方向として、図１１（Ｃ）に示すように、方向（−ｘ，０）、方向（０，ｙ）、および、方向（−ｘ，ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。第４の拡張方向として、図１１（Ｄ）に示すように、方向（ｘ，０）、方向（０，ｙ）、および、方向（ｘ，ｙ）にそれぞれ隣接した基本矩形領域分、基本矩形領域Ｒｉを拡張する。なお、図１１に示すように、これら拡張された矩形領域の形状は、基本矩形領域の形状と相似である。

次に、制御部１１ａは、拡張方向に基本矩形領域が存在するか否かを判定する（ステップＳ２２）。１つでも拡張方向があれば（ステップＳ２２；ＹＥＳ）、制御部１１ａは、各拡張方向にある基本矩形領域と選択された矩形領域とにおける平均の特徴量を算出する（ステップＳ２３）。具体的には、制御部１１ａは、図１１に示すように、各拡張方向にある基本矩形領域と、ステップＳ２０で選択された矩形領域（基本矩形領域Ｒｉ）とにおける平均の特徴量を算出する。

そして、制御部１１ａは、特徴量が選択された矩形領域に最も近い拡張矩形領域を選択する（ステップＳ２４）。例えば、図１１（Ａ）においては、拡張させた全ての部分領域の特徴量は同じで、図１１（Ｂ）においては、拡張させた１つの部分領域の特徴量は同じで、図１１（Ｃ）においては、拡張させた２つの部分領域の特徴量は同じで、図１１（Ｄ）においては、拡張させた２つの部分領域の特徴量は同じである。従って、図１１（Ａ）に示すような拡張方向に、基本矩形領域を拡張させた拡張矩形領域が、選択された拡張矩形領域となる。なお、図１１において、各基本矩形領域のハッチングパターンが特徴量の値を示している。

次に、制御部１１ａは、選択された矩形領域の特徴量と、選択された拡張矩形領域の特徴量との差を算出する（ステップＳ２５）。具体的には、制御部１１ａは、図１１（Ａ）に示すように、選択された矩形領域（基本矩形領域Ｒｉ）の特徴量と、選択された拡張矩形領域の特徴量との差を算出する。そして、制御部１１ａは、この特徴量の差が、閾値以上であるか否かを判定する（ステップＳ２６）。

特徴量の差が、閾値より小さければ（ステップＳ２６；ＮＯ）、制御部１１ａは、算出した拡張矩形領域を選択矩形領域とし（ステップＳ２７）、ステップＳ２１に戻り、更に拡張させる。

一方、特徴量の差が、閾値以上ならば（ステップＳ２６；ＹＥＳ）、制御部１１ａは、矩形領域の拡張を終了し、未選択の基本矩形領域が存在するか否かを判定する（ステップＳ２８）。なお、この未選択の矩形領域には、拡張に使用された基本矩形領域も含む。また、ステップＳ２６で、特徴量の差が、閾値以上だった場合、選択された拡張矩形領域の拡張した部分も、未選択の基本矩形領域となる。

未選択の基本矩形領域が存在するならば（ステップＳ２８；ＹＥＳ）、制御部１１ａは、ステップＳ２０に戻り、異なる基本矩形領域から拡張を行う。

そして、拡張する方向が無くなり（ステップＳ２２；ＮＯ）、未選択の基本矩形領域も無くなれば（ステップＳ２８；ＮＯ）、すなわち、全ての基本矩形領域を使用したならば、制御部１１ａは、サブルーチンを終了する。このとき、ヒートマップ図の画像５０は、本実施形態の例では、基本矩形領域に相似形の矩形領域に分割されている。なお、基本矩形領域Ｒ１から拡張を始めると、拡張方向に制約があるため、４つの方向について計算を行う必要がない。

そして、基本矩形領域拡張のサブルーチンが終了し、ステップＳ１２が終了する。例えば、図１２に示すように、ヒートマップの画像５０が矩形領域に分割され、図１２に示されるように、サイズの異なる矩形領域を含む複数の矩形領域より構成される画像５８が生成される。これら拡張された矩形領域の大きさは、隣接する基本矩形領域が結合された集合であるので、分割画像単位である基本矩形領域の自然数倍の大きさである。また、拡張された矩形領域は、基本矩形領域の隣接する辺の２つの方向、すなわち、ｘ方向、ｙ方向に自然数倍、基本矩形領域を拡張した矩形の分割画像となっている。

次に、図８に示すように、ステップＳ１２の後、制御部１１ａは、特徴量が近い矩形領域を結合した新たな矩形領域を作成する（ステップＳ１３）。図１２に示すように、隣接した特徴量が近い基本矩形領域または拡張矩形領域を結合させる。具体的には、任意の矩形領域に対して、この矩形領域と同じ大きさの矩形領域で、かつ、特徴量が近い矩形領域であれば、結合させ、画像５９を得る。この画像５９における矩形領域、すなわち部分領域の大きさは、分割画像単位である基本矩形領域の自然数倍の大きさである。また、この部分領域は、基本矩形領域の隣接する辺の２つの方向、すなわち、ｘ方向、ｙ方向に自然数倍、基本矩形領域を拡張して矩形の分割画像に対応している。

以上のように、ヒートマップ図の画像５０に対して、大きさや形の異なる部分領域に不均等に分割よる区分けが完了したならば、図１３に示すような画像５９の区分けを原画像４０の画像データに適用して、図６に示したように、部分領域に分割された画像５１の区分けに対応する画像４０に対する画像を得て、制御部１１ａは、ステップＳ１の特徴量に基づき画像を分割画像に分割するサブルーチン処理を終了する。そして、制御部１１ａは、ステップＳ２の処理を始め、最終的に画像４０の低解像度の画像４５等を算出する。なお、図６と図１３との区分けは、あくまで模式的な例示であるので、一致していない。

次に、図７に基づき、携帯端末２０におけるシナリオ再生について説明する。

なお、図７において、画像４５、画像４６、および、画像４７になるに連れて、解像度が上がる。画像４７と画像４８とは解像度のレベルが同じである。

まず、図７に示すように、携帯端末２０の表示部２１の画面に、リンク領域のリンク枠４５ａ、４５ｂ、４５ｃ、４５ｄが表示された画像４５が表示される。このリンク枠４５ａ、４５ｂ、４５ｃ、４５ｄは、例えば、緑色の点線により表示され、点滅させたり、色を変えたりしてユーザの目につきやすいようになっている。しばらく、この画面が、携帯端末２０の表示部２１に表示される。このように、画像処理サーバ１１は、リンク領域を可視可能に画像処理するリンク領域可視化手段の一例として機能する。なお、表示枠４６Ｂ、４７Ｂ、４８Ｂは、画像４６、４７、４８との関連をわかりやすくするために記載されたに過ぎず、表示部２１の画面には表示されない。

そして、ユーザが携帯端末２０の操作部２２を使用して、ポインタを動かし、リンク枠４５ａ、４５ｂ、４５ｃ、４５ｄのいずれかのリンク領域で確定キー等を押すと、リンク先のＵＲＬにジャンプする。例えば、顔の所のリンク枠４５ａには、顔や目や口等に関する情報や商品やサービスの情報があるＷｅｂページがリンクされている。このように、画像処理サーバ１１は、分割画像に関連した関連商品をリンク領域に関連づける関連商品リンク手段の一例として機能する。分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段の一例として機能する。例えば、制御部１１ａは、分割画像付近にリンク領域を設定したり、分割画像内にリンク領域を設定したりする。

次に、分割画像の表示順序について、画像処理サーバ１１は、特徴量と共に、画像４５の上にある特徴量の値が高い分割画像を優先的に表示する。このように、画像処理サーバ１１は、それぞれの分割画像の特徴量に基づき、複数の分割画像の表示順序を決める表示順序決定手段の一例として機能する。

そして、図７における（１）のように、表示枠４６Ｂのところの画像が拡大されて、携帯端末２０の表示部２１の画面全体に画像４６が表示される。このとき、別のリンク枠４６ａ、４６ｂが表れる。このリンク枠４６ａ、４６ｂも、点滅したり色が変わったりして、ユーザの目を引くようにしてある。表示枠４６Ｂは、特徴量の値が高い部分領域の部分を含み、画像４５において上から１番目の位置にある。

なお、リンク枠４６ａのリンク領域には、目に関する別の商品やサービスに関するＷｅｂページや更に詳細な情報を提供するＷｅｂページをリンクさせてもよい。リンク枠４６ｂのリンク領域には、口や唇や歯に関する商品やサービスの情報があるＷｅｂページがリンクされていてもよい。なお、画像４６が回転したり、画像の大きさが変動したりして、ユーザが注目しやすいように、画像処理サーバ１１が画像データを加工しておいてもよい。

次に、図７における（２）のように、一旦、画像４５に戻り、図７における（３）のように、画像４５から画像４７にズームアップする。表示枠４７Ｂは、特徴量の値が高い部分領域の部分を含み、画像４５において、上から２番目の位置にある。リンク枠４７ａは、時計に関する情報や商品等のＷｅｂページとリンクさせておく。画像４７が回転する等して、しばらく、画像４７が表示された後、図７における（４）のように、表示部２１に表示される画像が、画像４５に戻る。

次に、図７における（５）のように、一旦特徴量の値が高い部分領域の部分を含み、画像４５において上から３番目の位置にある表示枠４８Ｂのところの画像がズームアップされる。画像４８には、衣服のボタンを囲むようにリンク枠４８ａが表示される。リンク枠４８ａは、ボタンに関する情報や商品等のＷｅｂページとリンクさせておく。しばらく、画像４８が表示された後、図７における（６）のように、表示部２１に表示される画像が、画像４５に戻る。そして、（１）から（６）の手順が繰り返される。

なお、表示部２１に表示される画像が、直接、同じ解像度のレベルの画像４７から画像４８に平行移動するように移ってもよい。また、解像度のレベルが異なる画像４６から画像４７に移る場合は、画像４６の解像度で画像４７に対応する場所まで画像が移動してからズームアップされ、表示部２１に表示される画像が、画像４７に移る。このようにユーザに違和感を抱かせないように、画像に連続性を持たせて画像が移るようにすればよい。

このように本実施形態によれば、画像処理サーバ１１は、画像（原画像４０）の領域の特徴量を算出し、特徴量に基づき、画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像Ｐ１、Ｐ２、Ｐ３等を得て、特徴量に基づき、分割画像の表示順序を決め、分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域（５１ａ、５１ｂ、５１ｃ）（４５ａ、４５ｂ、４５ｃ）を設定することにより、リンク領域が設定された分割画像を、ユーザが直接操作せず自動的に携帯端末２０に再生させるため、ユーザが気になるところでクリック等することにより、他の情報にアクセスできるため、端末におけるユーザの利便性の向上を図ることができる。

また、画像処理サーバ１１は、ユーザが注目しやすい順にユーザに画像を提示でき、ユーザの利便性の向上を図ることができる。画像の特徴量の一例としての特徴量を用いることにより、画像処理サーバ１１は、画像に対してユーザが注目しやすいところに、リンク領域を設定することができユーザの利便性の向上を図ることができる。

また、画像処理サーバ１１が、特徴量により決められた、分割画像の表示順序に基づき、分割画像の画像データおよびリンク領域のデータを送信する場合、ユーザが操作せずに自動的に、リンク領域が設定された画像を、注目しやすい順に受信できるので、ユーザの利便性の向上を図ることができる。

また、画像処理サーバ１１が、リンク領域を可視可能に画像処理する場合、例えば、色づけされたり、点滅したり、色が変わったりするリンク枠４５ａ、４５ｂ、４５ｃ等により、ユーザがリンク領域に気づきやすくなることによりクリックしやすくなり、ユーザの利便性の向上を図ることができる。

また、画像処理サーバ１１が、分割画像に関連した関連商品をリンク枠４５ａ、４５ｂ、４５ｃ等のリンク領域に関連づけた場合、ユーザが注目した画像アイテムに対する情報、すなわち、ユーザが関心ある情報を提供できるため、ユーザの利便性の向上を図ることができたり、ユーザが欲しいだろう商品を掘り起こし、購買を促すこともできたりする。

また、画像処理サーバ１１は、原画像４０の特徴量として画像の特徴量を抽出し、特徴量に応じた部分領域の画像を作成することにより、ユーザが注目しそうな領域の単位で、携帯端末２０に画像データを送信できるので、ユーザが見たいであろう範囲を予めカバーし、画像処理のレスポンス性を高め、ユーザの利便性の向上を図ることができる。また、特徴量が、画像の色相の値、彩度の値、明度の値、色相の方向成分、彩度の方向成分、および、明度の方向成分の少なくとも１つである場合、人間の視覚による認知において、静止画像中に存在する物体の重要度を表す指標である特徴量（顕著度）に基づき、画像を分割するため、特徴量が高い解像度減少の処理がさせた低解像度分割画像は、ユーザが閲覧する確率が高い。そのため、ユーザの利便性が高まる。

また、特徴量のような分割画像ごとの特徴量により、分割画像を取り扱うことができ、分割画像の利便性が高まる。例えば、分割画像を特徴量ごとに分類したり、特徴量で特定したりでき、ユーザの利便性や操作性を向上させることができる。

なお、特徴量は、原画像４０等の色相の値、彩度の値、明度の値、色相の方向成分、彩度の方向成分、および、明度の方向成分の６成分で表してもよいし、これらのうち少なくとも１つの成分でもよい。また、特徴量は、周波数成分でもよい。

（第２実施形態）
次に、本発明に係る第２の実施形態に係る画像処理サーバシステムについて説明する。

なお、画像処理サーバシステムの構成は、前記第１実施形態に係る画像処理サーバシステムと同様であり、第１実施形態と同一または対応する部分には、同一の符号を用いて動作等を説明する。その他の実施形態および変形例も同様とする。

本発明に係る第２実施形態の動作について、図に基づき説明する。

図１４は、本発明に係る第２実施形態のシナリオ再生の一例を示すフローチャートである。図１５は、本発明に係る第２実施形態のシナリオ再生の一例を示す模式図である。図１６は、図６の矩形領域が、特徴量に基づき矩形領域に更に分割された一例を示す模式図である。

図１４に示すように、画像処理サーバ１１の制御部１１ａは、第１実施形態のステップＳ１と同じように特徴量に基づき画像を部分領域に分割して分割画像を得る（ステップＳ３０）。なお、画像４０を分割した方法、すなわち、図８や図９に示したフローチャートに従い、画像５５を分割する。

次に、制御部１１ａは、特徴量に基づき、各分割画像のランク付けを行い、上位ランクの部分画像を抽出する（ステップＳ３１）。例えば、図１５に示すように、画像６０において、制御部１１ａは、表示枠６１Ｂや表示枠６４Ｂに対応する分割画像を抽出する。

次に、制御部１１ａは、分割画像を更に分割するか否かを判定する（ステップＳ３２）。具体的には、各分割画像の平均的な特徴量の差が少なくなった場合、制御部１１ａは、分割画像の分割を中止する。

分割画像を更に分割する必要がある場合（ステップＳ３２；ＹＥＳ）、ステップＳ３０に戻り、制御部１１ａは、上位ランクの分割画像を更に分割画像に分割する。具体的には、図１６に示すように、制御部１１ａは、画像５５（図６の分割画像Ｐ１に対応）を更に、部分領域に分割する。制御部１１ａは、また、図１５に示すように、画像５５に対応した画像６１の他に、画像６４に対しても、画像の分割を行う。なお、上位ランクの分割画像に限定したので、制御部１１ａは、更に分割が必要な分割画像に限定ができ、処理速度が向上する。

そして、図１６に示すように、画像５５に対しては、表示枠６２Ａや表示枠６３Ａに対応する分割画像を抽出し（ステップＳ３１）、図１５に示すように、画像６２や画像６３に対しても、特徴量に基づき、分割画像に更に分割する（ステップＳ３０）。

一方、分割画像を更に分割する必要が無い場合（ステップＳ３２；ＮＯ）、制御部１１ａは、特徴量に基づき表示順序を決定する（ステップＳ３３）。具体的には、制御部１１ａは、特徴量や、画像６０や画像６１における表示枠６１Ｂ、６４Ｂ、６２Ｂ、６３Ｂの位置の他に、図１５に示すように、各画像の解像度等にも基づき、表示順序を（１）から（８）に決定する。なお、ステップＳ３３は第１実施形態のステップＳ４に対応する。

次に、制御部１１ａは、第１実施形態のステップＳ５からステップＳ８同様に、表示する分割画像付近の表示領域を決定し（ステップＳ３４）、特徴量に基づくリンク領域を決定し（ステップＳ３５）、リンク領域と商品との関連づけを行い（ステップＳ３６）、表示順位に基づき、画像データを携帯端末２０に送信する（ステップＳ３７）。なお、図１５や図１６に示すように、表示枠６２Ａ、６３Ａや表示枠６２Ｂ、６３Ｂ等も、第１実施形態の同様に決定される。また、リンク枠５５ａ、５５ｂ、５５ｃやリンク枠６１ａ、６１ｂやリンク枠６２ａ、６２ｂやリンク枠６３ａ等は、第１実施形態の場合を同じように設定され、同様の機能を有する。

次に、図１５に基づき、携帯端末２０におけるシナリオ再生について説明する。

図１５における（１）から（８）のように、画像６０、６１、６２、６３、６４が第１実施形態で説明したように表示される。但し、第１実施形態とは異なり、画像６１が更に深くズームアップされる。

このように本実施形態によれば、ズームアップされた画像が更にズームアップされるため、シナリオ性が高まり、ユーザの興味を引きつけたり、ユーザの利便性を高めたりできる。また、原画像４０に存在するアイテムの画像に対して、きめ細かく段階的に対応でき、表示するアイテム画像の段階に応じて、リンク枠にリンクさせる商品やサービスの情報を変化させることができ、ユーザの興味を引きつけたり、ユーザの利便性を高めたりできる。また、分割画像Ｐ１から、特徴量に基づいた部分領域を取り出せるので、特に、画像がギガピクセル級のとき、解像度のレベル毎に、ユーザが注目する部分領域が異なってくることが多いので、ユーザの要求に的確に対応でき、ユーザの利便性の向上を図ることができる。例えば、原画像４０全体を携帯端末２０の表示部２１に表示し、顔全体の部分領域にユーザが着目し、顔全体の部分領域の画像データをダウンロードした後、顔全体から目の部分領域に着目するとき等に有効である。

なお、第１および第２実施形態の変形例として、また、画像処理サーバ１１は、ユーザ情報に基づき、表示順序を決定してもよい。図１７に示すように、画像４９において、ユーザ自身や他のユーザがどの部分をどのような解像度で見たかの統計を取得し、その履歴のランキングや、口コミといった情報により、表示順序を決めてもよい。この場合、ユーザにとってさらに望ましい順序に表示ができ、ユーザの利便性を高めることができる。このように、制御部１１ａは、ユーザ情報に基づき、表示順序を決定する表示順序決定手段の一例として機能する。

また、画像処理サーバシステム１０の画像処理サーバ１１やデータベースサーバ１２や通信サーバ１３の処理は、１台のサーバで行ってもよい。また、マルチコアのＣＰＵの他に、コンピュータを複数台連結して計算させるグリッドコンピュータでもよい。また、携帯型無線電話機のような携帯端末２０限らず、ＰＣ端末でもよい。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１０：画像サーバシステム
１１：画像処理サーバ
１１ａ：制御部
１１ｂ：記憶部
１２：データベースサーバ
１３：通信サーバ
４０：原画像（画像）

Claims (8)

1. 画像の領域の特徴量を算出する特徴量算出手段と、
   前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段と、
   それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、
   前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記表示順序に基づき、前記分割画像の画像データおよび前記リンク領域のデータを送信する送信手段を更に備えたことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記表示順序決定手段は、ユーザ情報に基づき、前記表示順序を決定することを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記リンク領域を可視可能に画像処理するリンク領域可視化手段を更に備えたことを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１項に記載の画像処理装置において、
   前記分割画像に関連した関連商品を前記リンク領域に関連づける関連商品リンク手段を更に備えたことを特徴とする画像処理装置。
6. 請求項１から請求項５のいずれか１項に記載の画像処理装置において、
   前記特徴量が、前記画像の色相の値、彩度の値、明度の値、前記色相の方向成分、前記彩度の方向成分、および、前記明度の方向成分の少なくとも１つであることを特徴とする画像処理装置。
7. 画像の領域の特徴量を算出する特徴量算出ステップと、
   前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割ステップと、
   それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段と、
   前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定ステップと、
   を有することを特徴とする画像処理方法。
8. コンピュータを、
   画像の領域の特徴量を算出する特徴量算出手段、
   前記特徴量に基づき、前記画像を少なくとも１つ大きさの異なる複数の部分領域に分割して分割画像を得る画像分割手段、
   それぞれの前記分割画像の前記特徴量に基づき、複数の前記分割画像の表示順序を決める表示順序決定手段、および、
   前記分割画像に関連付けて、所定のＷｅｂページにリンクするためのリンク領域を設定するリンク領域設定手段として機能させることを特徴とする画像処理プログラム。

Images