JP4952079B2

JP4952079B2 - 画像処理装置、方法及びプログラム

Info

Publication number: JP4952079B2
Application number: JP2006166407A
Authority: JP
Inventors: 健太郎高野
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-06-15
Filing date: 2006-06-15
Publication date: 2012-06-13
Anticipated expiration: 2026-06-15
Also published as: JP2007334670A

Description

本発明は、データベースに登録されたデータから所望とする資料を簡単に選択するための技術に関する。

近年、オフィス等で保有する資料をデータベースに登録して管理するために、ドキュメント・マネージメント・システム（ＤＭＳ）等の資料処理装置が普及しており、大量の電子化された資料が登録されている。

またデータベースからオフィス内の個々の情報処理端末に、ネットワークを通じて大量の資料をダウンロードできるようにもなっている。さらに、資料検索機能の向上により、大量の資料からユーザの要求に適合しそうな幾つかの資料を候補として抽出し、表示できるようにもなっている。

そこで、このような候補として表示された資料の内容を短時間で正確に把握する技術も必要となってきている。例えば、キャノン株式会社製の「ｃ−ｃａｂｉｎｅｔ」（以下、従来製品という）では、サーバ装置に登録した資料のサムネイルとリストを組み合わせた複合表示が可能となっている。

また、特許文献１では、異なる資料ファイルの内容が簡単に分かるように、それぞれの資料ファイルの内容を分割表示領域に表示している。各分割表示領域には、それぞれ個別のスクロールバーが付されており、これらスクロールバーによって各分割表示領域に表示する資料ファイルの内容をスクロール表示できるようにしている。

特開２００１−２２７３４号公報

しかしながら、上記従来製品では、画像のサムネイル表示が可能であるが、表示する資料がもともと図や表のない、又は少ない資料であった場合、サムネイル画像では資料内容の把握が簡単ではない。
また、特許文献１は、テキストによる情報提示技術のため、例えばパワーポイント等の図や表を含むドキュメントの表示には対応できない。

本発明は上記事情に鑑みてなされたものであり、所望の資料を迅速、且つ正確に見つけ出すことができる画像処理装置、方法及びプログラムを提供することを目的とする。

かかる目的を達成するために本発明の画像処理装置は、資料データの画像領域を特定して画像を抽出する画像抽出手段と、前記資料データから当該資料データの特徴を表すキーワードを検出する検出手段と、前記検出手段が検出したキーワードに基づいてデータベースを検索し、前記キーワードに関連付けされた画像を取得する画像取得手段と、前記画像抽出手段と前記画像取得手段とから画像を取得し、取得した画像の所定領域を部分画像として切り出す切出手段と、前記切出手段が切り出した前記部分画像を一覧表示したサマリー画像を生成する画像生成手段とを有し、前記切出手段は、前記検出手段が検出したキーワードが人名であると判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像から、エッジ検出又は目の位置検出により顔画像を検出して、該検出した顔画像を前記部分画像として切り出し、又、前記検出手段が検出したキーワードが人名ではないと判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像にテキストデータ抽出処理を行って、該画像に前記キーワードが含まれるか否かを判定し、前記キーワードが含まれると判定すると、前記部分画像に前記キーワードが含まれるように前記画像から前記部分画像を切り出すことを特徴とする。
本発明によれば、キーワードとの関連性が高い画像をサマリー画像として表示することができる。このため、資料の内容確認に適したサマリー画像をユーザに提供することができる。

上記画像処理装置において、前記画像取得手段は、前記キーワードを検索キーとするウェブ検索を行い、該ウェブ検索により得られた画像を取得する手段を備え、前記画像抽出手段と前記画像取得手段との少なくとも一方から画像を取得し、取得した画像が、前記画像抽出手段から取得した画像である場合には、前記資料において、前記画像の近傍に配置されたテキストを抽出し、前記取得した画像が、前記画像取得手段が前記ウェブ検索により取得した画像である場合には、前記資料において、前記画像の取得に使用したキーワードの近傍に配置されたテキストを抽出するテキスト抽出手段を備え、前記画像生成手段は、前記テキスト抽出手段が抽出したテキストを前記サマリー画像と共に表示させた画像を生成することを特徴とする。
本発明によれば、画像の近傍に配置されたテキストや、キーワードの近傍に配置されたテキストがサマリー画像と共に表示されるので、ユーザの資料の内容理解を補助する表示を提供することができる。

上記画像処理装置において、前記検出手段が検出したキーワードごとに、各キーワードの重要度と、各キーワードの資料における出現位置とを評価する評価値を生成して、各キーワードを評価する評価手段を備え、前記切出手段は、前記評価手段の評価した評価値が所定値以上のキーワードを所定数選択し、該選択したキーワードを使用した前記データベース又は前記ウェブの検索により得られた画像から前記部分画像を切り出すことを特徴とする。
本発明によれば、検出手段が検出した各キーワードの重要度と、各キーワードの資料における出現位置とを評価した評価値を作成してキーワードを選択しているので、資料の内容確認に適した画像をサマリー画像として表示することができる。

上記画像処理装置において、前記評価手段は、キーワードの資料における出現位置に応じた評価値を予め設定しておき、各キーワードに、資料における出現位置に応じた評価値を付与して各キーワードの重要度を評価する評価値を算出するとともに、評価対象のキーワードが出現する前記資料中での位置を示す行数と、各キーワードの前記資料中での出現位置を示す行数の平均値との差の二乗を、前記検出手段が検出したキーワード数で除算した値を各キーワードごとに算出し、算出した各キーワードの値を加算して前記各キーワードの前記資料における出現位置を評価する評価値を算出することを特徴とする。
本発明によれば、検出手段が検出した各キーワードの重要度と、各キーワードの資料における出現位置とを評価した評価値を作成してキーワードを選択しているので、資料の内容確認に適した画像をサマリー画像として表示することができる。

本発明のプログラムは、コンピュータを、資料データの画像領域を特定して画像を抽出する画像抽出手段と、前記資料データから当該資料データの特徴を表すキーワードを検出する検出手段と、前記検出手段が検出したキーワードに基づいてデータベースを検索し、前記キーワードに関連付けされた画像を取得する画像取得手段と、前記画像抽出手段と前記画像取得手段とから画像を取得し、取得した画像の所定領域を部分画像として切り出す手段であって、前記検出手段が検出したキーワードが人名であると判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像から、エッジ検出又は目の位置検出により顔画像を検出して、該検出した顔画像を前記部分画像として切り出し、又、前記検出手段が検出したキーワードが人名ではないと判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像にテキストデータ抽出処理を行って、該画像に前記キーワードが含まれるか否かを判定し、前記キーワードが含まれると判定すると、前記部分画像に前記キーワードが含まれるように前記画像から前記部分画像を切り出す切出手段と、前記切出手段が切り出した前記部分画像を一覧表示したサマリー画像を生成する画像生成手段として機能させることを特徴とする。

本発明は、所望の資料を迅速、且つ正確に見つけ出すことができる。

添付図面を参照しながら本発明の好適な実施例を説明する。

まず、図１を参照しながら本実施例の構成を説明する。本実施例は、資料入力部１、テキスト抽出部２、前処理部３、検索部４、ステンドグラス作成部５、表示制御部６、表示装置７、データベース８を備えている。

資料入力部１は、スキャナ等の入力デバイスによって資料データを読み込んだり、ネットワークを介して資料データを受信する入力部である。

テキスト抽出部２は、資料入力部２で入力した資料データからテキストデータを抽出する。

前処理部３は、資料データから画像データを抽出し、資料データに含まれる画像数をカウントする。資料データ中に画像が少ないと判定すると、資料データの中のテキストに関連のある画像をデータベース８やインターネットを検索して取得する。検索部４は、インターネットを検索して、前処理部３によって指示されたキーワードを含む画像を取得する。

ステンドグラス作成部５は、資料データから抽出した画像データ、データベース８、インターネットを利用して取得した画像データから所定領域の画像を切り出し、複数の画像を一覧表示したサマリー画像（以下、ステンドグラス表示と呼ぶ）を作成する。図２にステンドグラス画像の一例を示す。なお、ステンドグラス作成の詳細については、特開２００５−２９３５７７号公報と、特開２００５−２９３５７６号公報とに開示がある。

表示制御部６は、ステンドグラス作成部５によって作成されたステンドグラス画像や、資料から抽出したテキストをデータベース８から取り出して、表示装置７に表示させる。
また、表示制御部６は、ユーザの操作入力に従って、表示装置７に表示させるステンドグラスの形態を変更する。

なお、図１に示す各機能部は、ソフトウェア制御によって実現することもできる。図３は、このソフトウェア制御を実現する制御装置の構成を示すものであり、ＲＯＭ１１に格納したプログラムをＣＰＵ１０が読み込んで、このプログラムに従った演算をＣＰＵ１０で行うことにより、各部の機能が実現される。ＣＰＵ１０で実行されるプログラムの詳細については、各機能部の詳細を説明する中で、フローチャートを用いて説明する。なお、ＲＡＭ１２には、演算結果のデータが書き込まれ、ＮＶＲＡＭ（Non Volatile RAM）１４には、電源オフ時にバックアップが必要なデータが保存される。

以下、各機能部の詳細について説明する。まず、図４に示すフローチャートを参照しながらテキスト抽出部２について説明する。
テキスト抽出部２は、まず、入力した資料データがスキャナ等によって読み込まれたデータであるか否かを判定する（ステップＳ１）。スキャナによって読み込まれた資料データであった場合には（ステップＳ１／ＹＥＳ）、ＯＣＲ（Optical Character Reader））によってテキストデータを抽出する（ステップＳ２）。
また、資料データがスキャナによって読み込んだデータではなかった場合には（ステップＳ１／ＮＯ）、資料データを電子的に解析して、テキストデータを取り出すことができるかどうかを判定する（ステップＳ３）。電子的に解析可能な資料データであった場合には（ステップＳ３／ＹＥＳ）、資料データからテキストデータを取り出す（ステップＳ４）。例えば、資料データがパワーポイントで作成されていれば、ｐｐｔｅｘｔｒａｃｔｏｒのソフトウェアを用いてテキストデータを抽出することができる。また、電子的に解析可能なデータではなかった場合には（ステップＳ３／ＮＯ）、ＯＣＲを用いてテキストデータを抽出する（ステップＳ５）。

次に、図５に示すフローチャートを参照しながら前処理部３の詳細について説明する。前処理部３は、まず資料データ中から画像データを抽出する（ステップＳ１１）。画像データの抽出には、一般的に知られた方法を用いることができる。例えば、テキスト領域であれば、Ｌａｂデータの明度を表すＬ^*成分は高周波成分を多く含み、画像領域であれば、Ｌ^*成分は低周波成分を多く含む。そこで、ＬａｂデータのうちＬ^*データに対して周波数フィルタ処理を施した結果から、テキスト領域であるか画像領域であるかの属性を判定することができる。
この他に、資料データのエッジ検出を行って、画像領域を検出することもできる。テキスト領域はエッジ領域として検出され、画像領域では濃度一定のベタパターンが含まれることから、非エッジの領域として検出される。

次に、前処理部３は、検出した画像数をカウントし（ステップＳ１２）、しきい値と比較する。画像数がしきい値よりも小さいと、ステンドグラスの作成に使用する画像数が不足しているので、データベース８やインターネットから資料データに関連する画像データを補完する必要があると判定する（ステップＳ１３）。

前処理部３は、画像データの補完が必要であると判定すると（ステップＳ１３／ＹＥＳ）、資料データからキーワードを抽出する（ステップＳ１４）。キーワードの抽出方法も従来から一般的に用いられている方法を適用することができる。例えば、形態素解析を行ってテキストデータを単語に分割し、単語登録辞書を用いてキーワードとなる単語を検出する方法が挙げられる。また、抽出されるキーワードは、資料データの特徴を表すキーワードであって、例えば、資料のタイトル、見出し、人名、社名等を含む。

次に、前処理部３は、抽出したキーワードに関連する画像データをデータベース８又はインターネットから検索する。データベース８には、キーワードと、このキーワードに関連付けされた画像データとが登録されており、キーワードを検索キーとして画像データを検出する。
また、前処理部３は、検索部４にキーワードを通知して、インターネットを利用した画像検索を行う。検索部４は、ブラウザソフトウェアを備えており、取得したキーワードに関連する画像データをインターネットから取得する。例えば、Ｇｏｏｇｌｅのイメージ検索等を利用することができる。
キーワードに関連する画像データを検出すると、検出した画像データの中から、実際に使用する画像を選択する（ステップＳ１６）。この処理の詳細については後述する。

次に、図６に示すフローチャートを参照しながら、データベース８を検索してキーワードに関連付けられた画像データを取得する手順を説明する。
前処理部３は、資料データからキーワードを抽出すると、データベース８を検索して、キーワードに関連付けされた画像データを検出する（ステップＳ２１）。画像データを検出すると（ステップＳ２２／ＹＥＳ）、この画像を格納するデータベースのアドレスを取得する（ステップＳ２３）。この処理をＳ１５のキーワード抽出で抽出されたすべてのキーワードについて行う（ステップＳ２４）。

次に、前処理部３は、データベース８又はインターネットを検索して取得した画像データから、実際に使用する画像データを選択する。この処理を図７に示すフローチャートを参照しながら説明する。
前処理部３は、まずキーワードを評価する評価値をキーワードごとに求める（ステップＳ３１）。評価値Ｗは、以下に示す評価式によって算出される。この評価式は、キーワードを資料の全体から隔たりなく抽出するための評価式である。
Ｗ＝Ａ×キーワード重要度スコア＋Ｂ×（キーワード位置評価値）
なお、変数ＡとＢは重み付けの係数である。キーワード重要度スコアの算出は、例えば、キーワードが出現する資料の各部位に応じたスコアを予め定めておき、出現するキーワードのスコアを資料の部位に基づいて加算して求めることができる。例えば、資料のタイトルにキーワードが出現する場合と、大見出しに出現する場合、中見出しに出現する場合、段落の中の文中に出現する場合では、キーワードの重要度が異なると考えられる。そこで、資料のタイトルに出現した語に対してはより大きなスコアを与え、段落の中の文に出現する語には小さなスコアを与えるようにする。この他に、単純に資料データに出現するキーワードの出現頻度やＴＦ−ＩＤＦ（Term Frequency−Inverse Document Frequency:用語頻度−逆文書頻度アルゴリズム）といった一般的な自然言語処理の指標を用いてもよい。

また、キーワード位置評価値を求める評価式Ｒは、以下に示す式によって算出される。

上式のＸ１、Ｘ２は、各キーワードの資料データ中での出現位置（資料の行数）を示す。また、Ｘは、全キーワードの出現位置の平均値を示し、Ｎは、全キーワード数を示す。なお、全キーワードの出現位置の平均値を示すＸの値は、一度選択され、評価されたキーワードを除いたキーワードの位置の平均値である。例えば、最初にキーワードＸ１が選択された場合、Ｘは、Ｘ２〜Ｘｎ（ｎは全キーワード数）の平均値となる。次にキーワードＸ２が選択されると、Ｘ３〜Ｘｎの平均値となる。

キーワードの評価値が求められると、前処理部３は、評価値がしきい値以上のキーワードを求める（ステップＳ３２）。求めたキーワードからステンドグラスの作成に使用する画像数が所定数以上となるようにキーワードを再度選択し、選択したキーワードに関連付けられた画像をステンドグラス画像の生成に使用する。

前処理部３からステンドグラス作成部５には、選択されたキーワードと、キーワードに関連付けられた画像を格納したデータベース８のアドレスとが通知される。また、インターネットを利用して取得した画像がある場合には、この画像もステンドグラス作成部５に出力される。また前処理部３は、入力した資料データと、資料データから抽出したテキストデータ、画像データとに識別情報を付し、データベース８に登録する。

次に、ステンドグラス作成部５の処理について説明する。ステンドグラス作成部５は、資料データから抽出したキーワードに応じて、ステンドグラスで表示する画像の領域を変更する。
例えば、キーワードが人物名であった場合、図８（Ａ）に示すように画像データから顔画像を切り取る。ステンドグラスの作成の際には、この画像を代表する画像として切り取った顔画像を使用する。
また、キーワードに関連付けられた画像データに文字を含む場合には、図８（Ｂ）に示すように画像データの文字部分を取り出して、文字部分がステンドグラスに含まれるように加工する。

図９に示すフローチャートを参照しながらステンドグラス作成部５の処理手順を説明する。
ステンドグラス作成部５は、キーワードと、キーワードに関連する画像データを取得してステンドグラスを作成する。
まず、ステンドグラス作成部５は、キーワードが人名であるかどうかを判定する（ステップＳ４１）。キーワードが人名であった場合には（ステップＳ４１／ＹＥＳ）、画像データに含まれる人物の顔位置を検出する（ステップＳ４２）。顔位置の検出は、例えば、エッジ検出によって顔のエッジ画像を検出することで求められる。また、顔画像データとエッジ画像から顔の中心線を求め、この中心線に基づき顔領域を決定してもよい。
また、人物の目の位置を検出して顔を判定してもよい。目の位置検出は、目と目の周辺との色差（肌色）、目の特徴（対称性、形状等）、目と他の領域（例えば、鼻、口、眉等）との関係を考慮して求めることができる。
顔位置を検出すると、ステンドグラス作成部５は、顔を中心に画像を切り出して、ステンドグラス画像の所定領域に表示されるように処理を行う（ステップＳ４３）。

また、キーワードが人名ではなかった場合には（ステップＳ４１／ＮＯ）、キーワードに関連付けされた画像データをＯＣＲ処理し、画像データ中にキーワードが含まれているかどうかを判定する（ステップＳ４５）。画像データにキーワードが含まれている場合には（ステップＳ４５／ＹＥＳ）、切り出す画像にキーワードが含まれるように加工処理を行う（ステップＳ４６）。また、画像データにキーワードが含まれていなかった場合には（ステップＳ４５／ＮＯ）、通常のステンドグラス処理を行う（ステップＳ４７）。

なお、ステンドグラスを構成する画像の数は、任意に設定することができる。また、ステンドグラス作成部５は、作成したステンドグラス画像に識別情報を付し、このステンドグラス画像を作成した資料データに関連付けてデータベース８に格納する。

次に、表示制御部６の処理について説明する。表示制御部６は、データベース８からステンドグラス画像と、テキストデータを取得して図１０に示すように表示装置７に表示させる。
ステンドグラス画像と共に表示するテキストデータは、資料データのタイトルであってもよい。また、資料データにもともと含まれる画像データをステンドグラス画像として表示している場合には、この画像データの近傍のテキストデータを表示させてもよい。
さらに、ステンドグラス画像を構成する画像と、テキストデータとの関係を明確にするために、各画像を取り囲む枠の色と、テキストデータの色とを同一の色で表示させてもよい。もしくは、ステンドグラス画像を構成する各画像の位置構成と同じ配置となるように、対応する各テキストデータを配置することもできる。

このような表示を表示装置７に表示させるための前処理部３の処理手順を図１１に示すフローチャートを参照しながら説明する。
前処理部３は、ステンドグラス画像の作成に使用する画像データを選択すると（ステップＳ５１／ＹＥＳ）、この画像データはもともと資料に含まれていた画像であるかどうかを判定する（ステップＳ５２）。画像データが資料に含まれていたものであった場合には（ステップＳ５２／ＹＥＳ）、資料の中で画像データの近傍に配置されたテキストデータを所定数以内で抽出する（ステップＳ５３）。また、画像データが資料データに含まれていたものではなく、データベース８やインターネットを検索して取得したものであった場合には（ステップＳ５２／ＮＯ）、キーワードを中心として、キーワードの近傍のテキストデータを所定数以内で抽出する（ステップＳ５４）。
資料データから抽出した画像データ、データベース８やインターネットから抽出した画像データに対して上述の処理が終了すると（ステップＳ５５／ＹＥＳ）、前処理部３は、抽出したテキストデータを資料データに関連付けて、データベース８に登録する（ステップＳ５６）。以上の処理によって生成されたテキストデータを表示制御部６がデータベース８から読み出して表示装置７に表示させることで、図１０に示す画像が表示される。
なお、図１２には、図１０に示す表示の別形態を示す。ステンドグラス画像を表示した時に、マウス等の入力デバイスによってステンドグラスの１画像が選択されると、図１２に示すように抽出したテキストデータをステンドグラス画像に重ねて表示させる。

表示装置７に表示させる画像は、図１０、１２に示すものだけではなく、この他種々の表示形態が考えられる。図面を参照しながら表示装置７の表示例を説明する。
図１３に示す表示例では、画像中に文字が含まれていた場合に、文字が読み取れるように文字を含む領域の画像を他の領域の画像よりも大きく表示させる。
ステンドグラス作成部５は、ステンドグラス画像を作成する際に、ステンドグラスを構成する画像に文字が含まれていた場合、文字が含まれるように画像を切り取る。

また図１４に示す表示例では、ステンドグラス画像を表示した時に、マウス等の入力デバイスによってステンドグラスの１画像が選択されると、この画像を拡大表示させる。
データベース８には、ステンドグラスの一部に使用した画像と、これを所定倍率に拡大した拡大画像とを用意しておく。表示制御部６は、マウスによって画像が選択されると、選択された画像を拡大処理したステンドグラス画像を表示させる。
また、選択された画像を拡大表示させたステンドグラス画像を表示させるのではなく、図１５に示すように選択された画像だけを拡大表示させてもよい。表示制御部６は、ステンドグラス画像の作成の際に切り取った部分画像ではなく、切り取る前の画像の全体を拡大表示させる。

この他に、図１６に示す表示例では、マウスによって選択された画像に関連する他の画像を表示している。
キーワードごとに複数の画像候補（第１候補、第２候補）を用意し、第１候補の画像データをステンドグラスの一部を構成する画像とする。ステンドグラス画像を表示した時に、マウス等の入力デバイスによって画像が選択されると、この画像の第２候補をステンドグラス画像上に重ねて表示する。この時、画像の第２候補を１枚だけ表示するのではなく、第３候補や第４候補といった複数の候補をまとめてステンドグラス化して表示しても良い。このようにして複数の画像から資料の内容を判断することができ、ユーザの資料再認性を高めることができる。

さらに、マウス等によって画像が選択されると、図１７に示すように選択された画像を含む資料のタイトルをステンドグラス画像に重ねて表示してもよい。
また、ステンドグラス画像から１画像が選択され拡大表示された後に、ユーザが該画像を含む資料データをダウンロードした場合、その画像がユーザのダウンロードをする際の有用な情報であったとみなし、次回、同じ検索キーワードが入力され同資料のステンドグラスを表示する場合には同画像の表示領域を拡大して表示する。
このようにして、履歴を用いることで検索キーワードごとにユーザの情報選択にとって有用な情報を残すことができる。

また、ステンドグラスの作成に使用する資料データの範囲を変更して複数のステンドグラス画像を作成してもよい。例えば、図１８に示すように資料データの各ページから画像データやテキストを抽出して、資料の全内容を反映したステンドグラス画像を作成すると共に、各ページ内の画像データやテキストデータだけを使用したステンドグラス画像を作成しておく。
表示装置７に、まず資料データの全体を反映させたステンドグラス画像を表示して、１つの画像が選択されると、そのページの画像やテキストから作成したステンドグラス画像を表示させる。これによってユーザは、資料データの各ページの内容を簡単に認識することができる。

また、ステンドグラス画像を作成する時に、資料アイコンを表示させて、ユーザによって選択された範囲内のテキストデータや画像データを使用してステンドグラス画像を作成してもよい。図１９（Ａ）に示すように資料アイコンの全体が選択されると、資料の全体からキーワードや画像データを抽出してステンドグラス画像を生成する。また、図１９（Ｂ）に示すように資料アイコンの一部が選択されると、選択された範囲に対応する一部の資料データからキーワードや画像データを抽出してステンドグラス画像を生成する。なお、ステンドグラスを構成する画像の数は、参照する資料データの範囲に応じて変更してもよい。
また、ステンドグラス画像の作成後は、ステンドグラスそれぞれの要素がカバーしている範囲を示すため、ステンドグラス画像の枠線の色と、対応する資料アイコンの範囲を示す表示色とを一致させて表示させても良い。

また、複数のステンドグラス画像を作成した時には、図２０に示すように資料の全体をタイムラインで表示し、資料中のどの部分を用いてステンドグラス画像を作成したのかが分かるようにしてもよい。さらに、この場合もステンドグラスの個々の要素がタイムライン上でカバーしている範囲を明確に示すため、画像の枠線の色とタイムライン上の色を一致させて表示させても良い。

さらに、データベース８に格納した資料を表示装置７でフォルダ表示するときには、図２１に示すようにフォルダに格納した資料内容を反映させたステンドグラスを表示させて、資料が一目で分かるようにしてもよい。

また、複数の資料をまとめて１つのフォルダに保存する時には、これらの資料に共通するキーワードを抽出して、このキーワードに関連する画像を取得してステンドグラスにしてもよい。なお、ステンドグラスに使用する画像を選択するときには、画像の色分散など特徴となる量が大きい画像を選択することで、資料の内容把握が容易になる。

上述した実施例は本発明の好適な実施例である。但しこれに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

例えば、ステンドグラス画像を作成する際に、資料データにもともと付加されていた画像と、データベース８やインターネットから補完した画像との区別がつくように画像を表示してもよい。例えばデータベース８やインターネットから補完した画像を、セピア、斜線、モノクロ等で表示することができる。

また、各ユーザが自身の端末にダウンロードした資料の履歴を記録しておき、この資料の履歴からステンドグラス画像を作成して、各ユーザが、どのような情報に興味があるかを判別できるようにしてもよい。
例えば、ユーザが以前、車の資料をダウンロードしていた場合には、車の画像をステンドグラス画像の一部に含ませる。また、この車の画像に関連付けて、新車情報や、メンテナンス情報などの様々な車に関する情報を登録しておく。ユーザがステンドグラス画像の車を選択すると、車に関する情報がユーザ端末に表示される（情報の推薦）。このようにして情報推薦サービスのユーザインターフェースとしても利用することができる。

また、キーワードに関連する画像がデータベース８に登録されていない場合、他のデータベースを参照して画像データを取得することもできる。また、データベース８の管理者に画像がデータベース８に登録されていない旨を通知してもよい。

また、上述した実施例ではキーワードのみによる画像の取得を行っていたが、キーワードに関連のある文書を入力して、関連文書文書検索による絞込みを行っても良い。具体的には、キーワードと、このキーワードが掲載されている関連文書（例えば、html文書）からキーワード候補を抽出する。キーワード候補は、キーワードとの類似度判定によって検出する。このようにして抽出したキーワードと、キーワード候補とからより適当な画像を選択して、ステンドグラスの要素とする。

画像処理装置の構成を示すブロック図である。ステンドグラス画像の一例を示す図である。プログラム処理によって本発明を実現するためのハードウェア構成を示す図である。テキスト抽出部の処理手順を示すフローチャートである。前処理部の処理手順を示すフローチャートである。データベースを検索して、キーワードに関連する画像データを検出する手順を示すフローチャートである。ステンドグラス作成に使用する画像を選択する手順を示すフローチャートである。ステンドグラス作成部５の処理例を示す図である。ステンドグラス作成部５の処理手順を示すフローチャートである。表示制御部によって表示装置に表示される画像の一例を示す図である。ステンドグラス画像と共に表示されるテキストデータを抽出する前処理部の処理手順を示すフローチャートである。ステンドグラス画像の一例を示す図であって、選択画像に関連するテキストを表示した例である。ステンドグラス画像の一例を示す図であって、テキストを含む画像を拡大表示した例である。ステンドグラス画像の一例を示す図であって、マウスによって選択された画像を拡大表示したステンドグラス画像の例である。ステンドグラス画像の一例を示す図であって、マウスによって選択された画像を拡大表示した例である。ステンドグラス画像の一例を示す図であって、選択された画像に関連する他の画像を表示する例を示す図である。ステンドグラス画像の一例を示す図であって、選択された画像を含む資料のタイトルを表示した例である。ステンドグラス画像の一例を示す図であって、ステンドグラス画像を階層的に構成した例を示す図である。ステンドグラス画像を作成する資料データの領域を選択する例を示す図である。資料の全体をタイムラインで表示し、資料中のどの部分を用いたステンドグラス画像であるのかを表示した図である。フォルダにステンドグラス画像を表示させた状態を示す図である。

符号の説明

１資料入力部
２テキスト抽出部
３前処理部
４検索部
５ステンドグラス作成部
６表示制御部
７表示装置
８データベース

Claims

資料データの画像領域を特定して画像を抽出する画像抽出手段と、
前記資料データから当該資料データの特徴を表すキーワードを検出する検出手段と、
前記検出手段が検出したキーワードに基づいてデータベースを検索し、前記キーワードに関連付けされた画像を取得する画像取得手段と、
前記画像抽出手段と前記画像取得手段とから画像を取得し、取得した画像の所定領域を部分画像として切り出す切出手段と、
前記切出手段が切り出した前記部分画像を一覧表示したサマリー画像を生成する画像生成手段とを有し、
前記切出手段は、前記検出手段が検出したキーワードが人名であると判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像から、エッジ検出又は目の位置検出により顔画像を検出して、該検出した顔画像を前記部分画像として切り出し、又、前記検出手段が検出したキーワードが人名ではないと判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像にテキストデータ抽出処理を行って、該画像に前記キーワードが含まれるか否かを判定し、前記キーワードが含まれると判定すると、前記部分画像に前記キーワードが含まれるように前記画像から前記部分画像を切り出すことを特徴とする画像処理装置。
前記画像取得手段は、前記キーワードを検索キーとするウェブ検索を行い、該ウェブ検索により得られた画像を取得する手段を備え、
前記画像抽出手段と前記画像取得手段との少なくとも一方から画像を取得し、取得した画像が、前記画像抽出手段から取得した画像である場合には、前記資料において、前記画像の近傍に配置されたテキストを抽出し、前記取得した画像が、前記画像取得手段が前記ウェブ検索により取得した画像である場合には、前記資料において、前記画像の取得に使用したキーワードの近傍に配置されたテキストを抽出するテキスト抽出手段を備え、
前記画像生成手段は、前記テキスト抽出手段が抽出したテキストを前記サマリー画像と共に表示させた画像を生成することを特徴とする請求項１記載の画像処理装置。
前記検出手段が検出したキーワードごとに、各キーワードの重要度と、各キーワードの資料における出現位置とを評価する評価値を生成して、各キーワードを評価する評価手段を備え、
前記切出手段は、前記評価手段の評価した評価値が所定値以上のキーワードを所定数選択し、該選択したキーワードを使用した前記データベース又は前記ウェブの検索により得られた画像から前記部分画像を切り出すことを特徴とする請求項２記載の画像処理装置。
前記評価手段は、キーワードの資料における出現位置に応じた評価値を予め設定しておき、各キーワードに、資料における出現位置に応じた評価値を付与して各キーワードの重要度を評価する評価値を算出するとともに、評価対象のキーワードが出現する前記資料中での位置を示す行数と、各キーワードの前記資料中での出現位置を示す行数の平均値との差の二乗を、前記検出手段が検出したキーワード数で除算した値を各キーワードごとに算出し、算出した各キーワードの値を加算して前記各キーワードの前記資料における出現位置を評価する評価値を算出することを特徴とする請求項３記載の画像処理装置。
コンピュータを、
資料データの画像領域を特定して画像を抽出する画像抽出手段と、
前記資料データから当該資料データの特徴を表すキーワードを検出する検出手段と、
前記検出手段が検出したキーワードに基づいてデータベースを検索し、前記キーワードに関連付けされた画像を取得する画像取得手段と、
前記画像抽出手段と前記画像取得手段とから画像を取得し、取得した画像の所定領域を部分画像として切り出す手段であって、前記検出手段が検出したキーワードが人名であると判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像から、エッジ検出又は目の位置検出により顔画像を検出して、該検出した顔画像を前記部分画像として切り出し、又、前記検出手段が検出したキーワードが人名ではないと判定した場合、前記画像抽出手段又は前記画像取得手段から取得した画像にテキストデータ抽出処理を行って、該画像に前記キーワードが含まれるか否かを判定し、前記キーワードが含まれると判定すると、前記部分画像に前記キーワードが含まれるように前記画像から前記部分画像を切り出す切出手段と、
前記切出手段が切り出した前記部分画像を一覧表示したサマリー画像を生成する画像生成手段として機能させることを特徴とするプログラム。