JP5355345B2 - ドキュメント閲覧システム及びその制御方法 - Google Patents

Description

本発明は、文書画像を示す画像ファイルの配信を行うドキュメント配信装置と、文書画像の閲覧を行うドキュメント閲覧装置とからなるドキュメント閲覧システム、及びその制御方法に関する。

社内で作成された文書ファイル（文書作成ソフト、表計算ソフト、プレゼンテーションソフトなどのアプリケーションソフトウェアで作成された電子ファイル）を携帯端末に配信することにより、社内の文書ファイルを社外でも閲覧できるようにするドキュメント閲覧システムが知られている。近年では、企業のコンプライアンス意識の高まりにともない、配信したデータが携帯端末に残らないようにすることによって機密情報の流出を防ぐ、いわゆるシンクライアントなシステムの技術開発が盛んになっている。

こうしたシンクライアントなドキュメント閲覧システムでは、文書ファイルをページ毎の画像ファイルに変換して配信し、この画像ファイルに対応する画像（以下、文書画像と称す）を表示させることにより、文書画像を介して文書ファイルの内容を閲覧させる方法が、よく用いられている。画像ファイルでは、テキスト（文字又は文字列）や図表などの情報を編集することができないため、上記のように文書画像を閲覧させるようにすれば、これらの情報がコピーされ、携帯端末に残ってしまうことを防止することができる。

ところが、文書画像を介して文書ファイルの内容を閲覧させるようにすると、情報の流出を防ぐことができる反面、選択したテキストと同一のテキストを抽出するといった、いわゆるテキスト検索を行うことができなくなり、ドキュメント閲覧システムの使い勝手が悪くなってしまうという問題が生じる。

この問題を解決するため、特許文献１、２では、画像ファイルに含まれるテキストを示すテキスト情報と、その画像ファイルとを予め関連付けて保管し、ユーザが文書画像上で所定の領域を選択した際に、その領域に含まれるテキストをテキスト情報から特定できるようにしている。こうすれば、特定したテキストと同一のテキストをテキスト情報から抽出することで、文書画像を閲覧させた場合にも、テキスト検索を行うことができる。

特開平８−２１２３３１号公報 特開平１１−１０２３７５号公報

しかしながら、特許文献１、２の構成では、テキストを検索キーとした検索は行うことができるものの、テキスト以外では検索を行うことができないという問題がある。企業の資料として作成される文書ファイルには、テキストの他に図やグラフなどの情報も多く含まれる。このため、ドキュメント閲覧システムでは、テキストを検索キーとした検索のみならず、図やグラフなどを検索キーとした検索も行えることが望まれている。

本発明は、上記課題を鑑みてなされたものであり、文書画像の閲覧を行うドキュメント閲覧システムおいて、文書画像上でテキスト以外の領域を選択した際にも、その選択領域を検索キーにした検索を行うことができるようにすることを目的とする。

上記目的を達成するため、本発明は、文書画像を示す画像ファイルを複数保管可能なファイル保管手段を有し、所定の画像ファイルの配信が要求されたことに応答して、その画像ファイルの配信を行うドキュメント配信装置と、ネットワークを介して前記ドキュメント配信装置と接続され、操作指示に応答して所定の画像ファイルの配信を前記ドキュメント配信装置に要求し、配信された画像ファイルの文書画像を表示部に表示するドキュメント閲覧装置とからなるドキュメント閲覧システムにおいて、前記表示部に表示された文書画像の任意の領域を選択する領域選択手段と、前記領域選択手段によって選択された選択領域の座標情報を送信することにより、前記選択領域を検索キーとした検索の実行を前記ドキュメント配信装置に指示する検索指示手段と、前記ドキュメント配信装置から配信される検索結果の報知を行う報知制御手段とを、前記ドキュメント閲覧装置に設け、前記座標情報を基に、前記選択領域のデータ種別を特定し、そのデータ種別に応じた検索キーを設定する検索キー設定手段と、前記検索キーを基に、検索対象となる画像ファイルから該当する箇所を検索する検索手段と、前記検索手段の検索結果を前記ドキュメント閲覧装置に配信する配信制御手段とを、前記ドキュメント配信装置に設けたことを特徴とする。

前記ドキュメント配信装置は、画像ファイルに含まれるテキストと、そのテキストの文書画像上での位置を示す座標情報とを関連付けたテーブルデータを記憶するテーブル記憶手段を有し、前記検索キー設定手段は、前記選択領域の座標情報を基に前記テーブルデータを参照することによって、前記選択領域にテキストが含まれるか否かを判定し、テキストが含まれる場合には、前記選択領域に含まれるテキストを前記検索キーとして設定し、前記検索手段は、テキストが前記検索キーとして設定された場合、前記テーブルデータを参照し、前記検索キーと同一のテキストを検索することが好ましい。

前記検索キー設定手段は、テキストが含まれないと判定した場合、前記選択領域の画像を前記検索キーとして設定し、前記検索手段は、前記選択領域の画像が前記検索キーとして設定された場合、前記検索キーと類似する類似画像を検索することが好ましい。

前記ドキュメント配信装置は、画像から顔の検出を行うとともに、顔を検出した場合に、その顔の顔特徴量を算出する顔検出手段を有し、前記検索キー設定手段は、テキストが含まれないと判定した場合、前記選択領域の画像から前記顔検出手段に顔を検出させ、顔が検出された際には、その顔の顔特徴量を前記検索キーとして設定し、前記検索手段は、顔特徴量が前記検索キーとして設定された場合、前記検索キーの顔特徴量と類似する顔を検索する構成としてもよい。

前記配信制御手段は、該当する箇所の座標情報を検索結果として配信することが好ましい。

前記ドキュメント閲覧装置は、携帯型の端末であり、前記ドキュメント配信装置は、前記ドキュメント閲覧装置の機種を判別する機種判別手段と、前記機種判別手段が判別した機種に応じたデータ形式に画像ファイルを変換する変換手段とを、さらに備え、機種に応じたデータ形式の画像ファイルを前記ドキュメント閲覧装置に配信することが好ましい。

前記ドキュメント配信装置は、前記ファイル保管手段に保管された画像ファイルの座標系と、前記表示部に表示された閲覧中の画像ファイルの座標系との間の座標変換処理を行う座標変換手段を有することが好ましい。

前記検索手段は、前記表示部に表示された閲覧中の画像ファイルを検索対象とすることが好ましい。

前記検索手段は、前記ファイル保管手段に保管された全ての画像ファイルを検索対象とする構成でもよい。

前記報知制御手段は、検索結果に該当する箇所を強調表示することによって検索結果を報知することが好ましい。

また、本発明は、文書画像を示す画像ファイルを複数保管可能なファイル保管手段を有し、所定の画像ファイルの配信が要求されたことに応答して、その画像ファイルの配信を行うドキュメント配信装置と、ネットワークを介して前記ドキュメント配信装置と接続され、操作指示に応答して所定の画像ファイルの配信を前記ドキュメント配信装置に要求し、配信された画像ファイルの文書画像を表示部に表示するドキュメント閲覧装置とからなるドキュメント閲覧システムの制御方法において、前記表示部に表示された文書画像の任意の領域を選択する領域選択ステップと、前記領域選択ステップによって選択された選択領域の座標情報を送信することにより、前記選択領域を検索キーとした検索の実行を前記ドキュメント配信装置に指示する検索指示ステップと、前記座標情報を基に、前記選択領域のデータ種別を特定し、そのデータ種別に応じた検索キーを設定する検索キー設定ステップと、前記検索キーを基に、検索対象となる画像ファイルから該当する箇所を検索する検索ステップと、前記検索ステップの検索結果を前記ドキュメント閲覧装置に配信する配信ステップと、配信された検索結果を報知する報知ステップとを有することを特徴とする。

本発明では、座標情報を基に選択領域のデータ種別を特定し、そのデータ種別に応じた検索キーを設定するようにしたので、文書画像上でテキスト以外の領域を選択した際にも、その選択領域を検索キーにした検索を行うことができる。

ドキュメント閲覧システムの構成を示す説明図である。 文書画像の一例を示す説明図である。 文書画像対応テーブルの一例を示す説明図である。 テキスト画像対応テーブルの一例を示す説明図である。 携帯電話の構成を示すブロック図である。 文書内検索を行う場合の手順を示すフローチャートである。 他文書検索を行う場合の手順を示すフローチャートである。 ファイルに含まれるテキストを１行毎のブロックに分けて記憶するテキスト画像対応テーブルを示す説明図である。

図１に示すように、ドキュメント閲覧システム２は、ドキュメント配信サーバ（ドキュメント配信装置）３と、携帯電話（ドキュメント閲覧装置）４とで構成されている。携帯電話４は、基地局５と無線通信し、基地局５を介してインターネット６にアクセスすることにより、インターネット６を介してドキュメント配信サーバ３と接続される。これにより、ドキュメント配信サーバ３と携帯電話４とは、公衆ネットワークであるインターネット６を介して相互に通信を行うことができる。

ドキュメント配信サーバ３は、企業のネットワーク内に設置されたサーバであり、当該企業の社内で作成された種々の文書ファイル１０を保管するとともに、それらの各文書ファイル１０に対応する画像ファイル１２を保管する。そして、ドキュメント配信サーバ３は、携帯電話４から所定の文書ファイル１０の配信が要求された際に、その文書ファイル１０に対応した画像ファイル１２を携帯電話４に配信する。

携帯電話４には、各種の情報を表示するための液晶ディスプレイ（表示部）７と、各種の操作指示を入力するための操作部（領域選択手段）８とが設けられている。携帯電話４は、操作部８を介して入力されたユーザからの指示に応じてドキュメント配信サーバ３にアクセスし、ドキュメント配信サーバ３から取得した画像ファイル１２を液晶ディスプレイ７に出力する。これにより、図２（ａ）に示すように、ユーザが要求した文書ファイル１０に対応した文書画像１４が、液晶ディスプレイ７に表示される。また、携帯電話４は、ユーザが文書画像１４の閲覧を終了させた後、取得した画像ファイル１２を内部のメモリから消去する。

このように、ドキュメント閲覧システム２は、携帯電話４からの要求に応じて画像ファイル１２を配信し、閲覧後にデータが携帯電話４に残らないようにすることによって、情報漏洩のリスクを抑えつつ、社内で作成された文書ファイル１０の内容を社外でも閲覧できるようにするものである。

また、ドキュメント閲覧システム２は、閲覧中の文書画像１４から所定の検索キーの検索を行う文書内検索機能と、閲覧中の文書画像１４で選択した検索キーを基に他の文書ファイル１０の検索を行う他文書検索機能とを有している。これらの検索は、例えば、文書画像１４が表示された後に、操作部８を操作して液晶ディスプレイ７にメニュー画面を表示させ、そのメニュー画面から選択することによって開始される。

検索を開始すると、図２（ｂ）に示すように、文書画像１４上にポインタ１５が表示される。ユーザは、操作部８を操作し、ポインタ１５を移動させながら任意の２点をクリックすることによって、検索キーにしたい領域を選択する。この際、検索キーにする領域は、テキストでもよいし、図やグラフなどでもよい。ユーザは、所定のテキストを検索キーにしたい場合には、図２（ｂ）に示すように、そのテキストを囲むように領域を選択する。一方、ユーザは、図やグラフあるいは人物の顔などを検索キーにしたい場合には、それらの画像を囲むように領域を選択する。

検索キーにする領域の選択を行うと、図２（ｃ）に示すように、その検索キーに基づく検索の実行を指示するためのアイコン１６が文書画像１４上に表示される。ユーザは、アイコン１６が表示された後、操作部８を操作してポインタ１５を移動させ、このアイコン１６をクリックする。

携帯電話４は、アイコン１６のクリックに応答して、検索処理の実行の指示、及び検索キーの情報をドキュメント配信サーバ３に送信する。ドキュメント配信サーバ３は、検索処理の実行の指示が入力されると、検索キーの情報を基に検索処理を行い、その検索結果を要求元の携帯電話４に配信する。

携帯電話４は、検索結果を受信すると、その検索結果を液晶ディスプレイ７に表示し、ユーザに検索結果を報知する。文書内検索を行った場合には、図２（ｄ）に示すように、検索キーに該当する箇所を強調表示することによって検索結果が報知される。一方、他文書検索を行った場合には、図２（ｅ）に示すように、検索キーに該当する文書ファイル１０のファイル名を一覧表示するリスト画面１７が検索結果として表示される。リスト画面１７において、各ファイル名は、その文書ファイル１０に対応する文書画像１４を表示させるためのリンクになっている。ユーザは、リスト画面１７が表示された後、操作部８を操作してポインタ１５を移動させ、所望の文書ファイル１０のファイル名をクリックする。すると、その文書ファイル１０に対応する画像ファイル１２がドキュメント配信サーバ３から読み出され、対応する文書画像１４が液晶ディスプレイ７に表示される。

ドキュメント配信サーバ３には、ＣＰＵ（検索キー設定手段、検索手段、配信制御手段）２０と、システムメモリ２１と、ＨＤＤ（ファイル保管手段、テーブル記憶手段）２２と、ネットワークインタフェース（Ｉ／Ｆ）２３と、画像ファイル生成部２４と、テキスト抽出部２５と、顔検出部２６と、機種判別部２７と、画像変換部２８と、座標変換部２９とが設けられている。また、これらの各部は、バス３０を介して互いに接続されている。

ＣＰＵ２０は、ドキュメント配信サーバ３の各部を統括的に制御する。システムメモリ２１は、ＣＰＵ２０が制御を行う過程で生じた種々のデータを一時的に記憶する。ＨＤＤ２２には、ドキュメント配信サーバ３を制御するための各種のプログラムやデータが記憶されている。ＣＰＵ２０は、これらのプログラムやデータをＨＤＤ２２から読み出してシステムメモリ２１に展開し、これを逐次処理することによってドキュメント配信サーバ３の制御を行う。

ＨＤＤ２２には、文書ファイル保管部３２と、画像ファイル保管部３３とが設けられている。文書ファイル保管部３２は、社内で作成された各種の文書ファイル１０を保管する。画像ファイル保管部３３は、各文書ファイル１０に対応した画像ファイル１２を保管する。また、ＨＤＤ２２には、文書画像対応テーブル３４と、テキスト画像対応テーブル（テーブルデータ）３５とが記憶されている。

図３に示すように、文書画像対応テーブル３４は、文書ＩＤと、文書ファイル１０のファイル名と、画像ファイル１２のファイル名とを関連付けて記憶している。文書ＩＤは、各文書ファイル１０を一意に識別するために付けられた識別情報であり、所定数の数字あるいは文字列からなる。これにより、文書画像対応テーブル３４を参照することによって、文書ファイル１０に対応した画像ファイル１２を識別することができる。なお、図３では、１つの文書ファイル１０に１つの画像ファイル１２が関連付けられているが、文書ファイル１０が複数のページを有する場合には、１つの文書ファイル１０に各ページに対応する複数の画像ファイル１２が関連付けられる。

図４に示すように、テキスト画像対応テーブル３５は、文書ＩＤと、その文書ＩＤに対応する文書ファイル１０及び画像ファイル１２に含まれる文字と、その文字の文書画像１４上での位置とを関連付けて記憶している。テキスト画像対応テーブル３５では、文書画像１４上における２点の座標によって文字の位置を示している。これらの各座標は、当該文字を囲む矩形状の領域の左上の隅の座標と、右下の隅の座標とからなる。また、これらの各座標には、文書画像１４の左上の隅を原点とし、そこから右方向の画素の変位量を＋Ｘ、下方向の画素の変位量を＋Ｙとした座標系が用いられている。

これにより、テキスト画像対応テーブル３５を参照することによって、文書ファイル１０及び画像ファイル１２に含まれる文字と、その文書画像１４上での位置とを特定することができる。例えば、図４に示すテキスト画像対応テーブル３５の１行目を参照すると、ＫＲ−ｂｅａｔ．ｄｏｃという文書ファイル１０及びＫＲ−ｂｅａｔ．ｊｐｇという画像ファイル１２に「Ｋ」という文字が含まれ、対応する文書画像１４の（０，０）−（１２，１２）の範囲に、「Ｋ」が位置していることを特定することができる。

ネットワークＩ／Ｆ２３は、周知のモデムやルータなどであり、ドキュメント配信サーバ３をインターネット６に接続する。

画像ファイル生成部２４は、ＣＰＵ２０から指示された文書ファイル１０を仮想印刷することにより、文書ファイル１０からページ毎の画像ファイル１２を生成し、生成した画像ファイル１２を画像ファイル保管部３３に保管する。この際、画像ファイル生成部２４は、所定の解像度で画像ファイル１２を生成する。これにより、画像ファイル保管部３３に保管された各画像ファイル１２は、全て同じ解像度に揃えられる。

また、画像ファイル生成部２４は、文書ファイル１０が１ページである場合には、当該文書ファイル１０と同じファイル名で画像ファイル１２を生成する（図２参照）。一方、画像ファイル生成部２４は、文書ファイル１０が複数のページを有する場合には、当該文書ファイル１０と同じファイル名に、ページに対応した通し番号を付与してページ毎の各画像ファイル１２を生成する。

テキスト抽出部２５は、ＣＰＵ２０から所定の文書ファイル１０が指示された際に、その文書ファイル１０から全ての文字を抽出する処理を行うとともに、オペレーションシステムが発行する描画コード（例えば、ウィンドウズ（登録商標）のＧＤＩ）を基に、抽出した各文字の文書画像１４上での位置の特定を行う。

ＣＰＵ２０は、文書ファイル保管部３２に新たな文書ファイル１０が保管された際に、その文書ファイル１０の画像ファイル１２の生成を画像ファイル生成部２４に指示する。この後、ＣＰＵ２０は、当該文書ファイル１０に対して新たな文書ＩＤを発行する。そして、ＣＰＵ２０は、画像ファイル生成部２４が画像ファイル１２を生成した後、新たに発行した文書ＩＤと、当該文書ファイル１０のファイル名と、生成された画像ファイル１２のファイル名とを関連付けて文書画像対応テーブル３４に記憶させる。

また、ＣＰＵ２０は、画像ファイル生成部２４に画像ファイル１２を生成させた後、同じ文書ファイル１０からの文字の抽出及び各文字の位置の特定をテキスト抽出部２５に指示する。そして、ＣＰＵ２０は、文書ＩＤと、抽出された文字と、その文字の文書画像１４上での位置とを関連付けてテキスト画像対応テーブル３５に記憶させる。

このように、文書ファイル保管部３２に新たな文書ファイル１０を保管すると、これに対応する画像ファイル１２が自動的に生成されるとともに、これらの対応関係が文書画像対応テーブル３４に記憶される。さらに、その文書ファイル１０から全ての文字が抽出されるとともに、各文字の文書画像１４上での位置が特定され、それらの対応関係がテキスト画像対応テーブル３５に記憶される。

顔検出部２６は、ＣＰＵ２０から画像が入力された際に、周知のパターン認識技術によって、その画像から人物の顔の検出を行う。また、顔検出部２６は、顔を検出した場合、その顔の顔特徴量を算出する。

機種判別部２７には、携帯電話４の機種を示す機種ＩＤと、その機種が表示可能な画像ファイル１２のデータ形式を示す形式情報とが関連付けられた機種ＤＢ３６が設けられている。機種判別部２７は、携帯電話４から機種ＩＤが送られた際に、その機種ＩＤを基に機種ＤＢ３６を参照することにより、ドキュメント配信サーバ３にアクセスした携帯電話４の形式情報を特定する。なお、形式情報とは、例えば、ＪＰＥＧやビットマップなどの種類、及び液晶ディスプレイ７の解像度や画像サイズなどである。

画像変換部２８は、機種判別部２７によって携帯電話４の形式情報が特定された結果、画像ファイル生成部２４が生成した画像ファイル１２のデータ形式が、携帯電話４に合わないと判定された場合に、機種判別部２７が特定した形式情報に応じたデータ形式に画像ファイル１２を変換する変換処理を行う。

例えば、携帯電話４の液晶ディスプレイ７の解像度よりも、画像ファイル生成部２４が生成した画像ファイル１２の解像度の方が高い場合には、画像ファイル１２を正常に液晶ディスプレイ７に表示させることができない。このような場合、画像変換部２８は、画像ファイル１２の解像度を液晶ディスプレイ７に応じた解像度に変換する解像度変換処理を行う。

これにより、アクセスした携帯電話４の機種に対応した画像ファイル１２が生成される。画像変換部２８によって生成された変換後の画像ファイル１２は、システムメモリ２１に一時的に記憶される。一方、元になった変換前の画像ファイル１２は、画像ファイル保管部３３にそのまま保管される。

座標変換部２９は、画像変換部２８の画像変換によって画像ファイル１２の解像度が変わってしまった場合に、変換前の画像ファイル１２の座標系と、変換後の画像ファイル１２の座標系との間の座標変換処理を行う。前述のように、テキスト画像対応テーブル３５に記憶された各文字の位置を示す座標情報は、画像ファイル１２の解像度と関連している。このため、画像ファイル１２の解像度が変わってしまうと、各文字の位置の対応関係に狂いが生じてしまう。座標変換部２９は、上記のように、画像ファイル１２の解像度が変わった場合に各座標系の間の座標変換を行うことにより、各文字の位置の対応関係の狂いを防ぐものである。

図５に示すように、携帯電話４は、液晶ディスプレイ７及び操作部８の他に、ＣＰＵ（検索指示手段、報知制御手段）５０と、システムメモリ５１と、液晶ドライバ５２と、無線通信部５３とを備えている。これらの各部は、バス５４を介して互いに接続されている。システムメモリ５１には、携帯電話４を制御するための各種のプログラムやデータを記憶したＲＯＭ領域と、制御の過程で生じた種々のデータを一時的に記憶するＲＡＭ領域とが設けられている。ＣＰＵ５０は、システムメモリ５１から各種のプログラムを読み出し、これを逐次処理することによって携帯電話４の各部を統括的に制御する。

ＣＰＵ５０には、操作部８が接続されている。これにより、ユーザからの操作指示が操作部８を介してＣＰＵ５０に入力される。システムメモリ５１のＲＯＭ領域には、当該携帯電話４の機種を示す機種ＩＤ５５が記憶されている。

液晶ドライバ５２は、ＣＰＵ５０からの制御信号に応じて種々の画像データをシステムメモリ５１から読み出し、その画像データをアナログのコンポジット信号に変換して液晶ディスプレイ７に出力する。これにより、液晶ディスプレイ７に画像が表示される。無線通信部５３は、基地局５との間で無線通信を行い、基地局５と各種のデータを送受信する。

次に、図６に示すフローチャートを参照しながら、文書内検索を行う場合の処理の手順について説明する。ユーザは、社外から文書ファイル１０を閲覧したい場合、携帯電話４からドキュメント配信サーバ３にアクセスする。そして、文書ファイル保管部３２から所望の文書ファイル１０を選択し、その文書ファイル１０の閲覧をドキュメント配信サーバ３に要求する。この際、携帯電話４のＣＰＵ５０は、システムメモリ５１から機種ＩＤ５５を読み出し、この機種ＩＤ５５を閲覧要求の信号に付加してドキュメント配信サーバ３に送信する。

ドキュメント配信サーバ３のＣＰＵ２０は、携帯電話４からの閲覧要求の信号を受信すると、これに含まれる機種ＩＤ５５を機種判別部２７に送る。機種判別部２７は、その機種ＩＤ５５を基に機種ＤＢ３６を参照し、当該携帯電話４の形式情報を特定する。ＣＰＵ２０は、機種判別部２７に形式情報を特定させたら、その形式情報を基に、画像ファイル１２のデータ形式が携帯電話４のデータ形式に合っているか否かを判定する。

ＣＰＵ２０は、データ形式が合っていると判定すると、文書画像対応テーブル３４を参照し、要求された文書ファイル１０に対応した画像ファイル１２を特定する。この後、ＣＰＵ２０は、特定した画像ファイル１２を画像ファイル保管部３３から読み出し、その画像ファイル１２を要求元の携帯電話４に配信する。

一方、ＣＰＵ２０は、データ形式が合っていないと判定すると、画像ファイル保管部３３から画像ファイル１２を読み出した後、その画像ファイル１２を画像変換部２８に送る。そして、機種判別部２７が特定した形式情報に応じたデータ形式に画像ファイル１２を変換させ、その変換後の画像ファイル１２を要求元の携帯電話４に配信する。これにより、携帯電話４の機種に応じた適切な文書画像１４が表示されるようになる。

携帯電話４のＣＰＵ５０は、画像ファイル１２を受信すると、その画像ファイル１２をシステムメモリ５１に記憶させるとともに、その画像ファイル１２の表示を液晶ドライバ５２に指示する。液晶ドライバ５２は、ＣＰＵ５０からの指示に応じてシステムメモリ５１から画像ファイル１２を読み出し、その画像ファイル１２を液晶ディスプレイ７に表示させる。これにより、文書画像１４が、液晶ディスプレイ７に表示される（図２（ａ）参照）。ユーザは、この文書画像１４を閲覧することによって、文書ファイル１０の内容を確認することができる。

ユーザは、文書内検索を行う場合、操作部８を操作して液晶ディスプレイ７にメニュー画面を表示させ、そのメニュー画面から文書内検索を選択することによって検索の開始を指示する。ＣＰＵ５０は、文書内検索の開始が指示されると、ポインタ１５を文書画像１４上に表示させる（図２（ｂ）参照）。この後、ユーザは、操作部８を操作してポインタ１５を移動させ、任意の２点をクリックすることによって、検索キーにしたい領域を選択する。ＣＰＵ５０は、領域の選択が行われたら、アイコン１６を文書画像１４上に表示させる（図２（ｃ）参照）。そして、ＣＰＵ５０は、操作部８からの入力によってアイコン１６がクリックされたことを検知すると、これに応答して、文書内検索の実行の指示、及び選択された２点の座標情報をドキュメント配信サーバ３に送信する。

ドキュメント配信サーバ３のＣＰＵ２０は、文書内検索の実行の指示、及び座標情報を受信すると、その座標情報を基にテキスト画像対応テーブル３５を参照し、選択された領域にテキスト（文字又は文字列）が含まれているか否かを判定する。

この際、ＣＰＵ２０は、画像変換部２８による画像変換によって、携帯電話４に配信した画像ファイル１２の解像度が変わっている場合には、受信した座標情報を座標変換部２９に送り、携帯電話４に配信した画像ファイル１２の解像度に対応した座標系から元の画像ファイル１２の解像度に対応した座標系に変換させる。そして、変換後の座標情報を基に、テキスト画像対応テーブル３５を参照し、選択された領域にテキストが含まれているか否かの判定を行う。

ＣＰＵ２０は、テキストが含まれていると判定すると、ユーザが検索キーとして選択した領域のデータ種別がテキストであると特定し、そのテキストを検索キーに設定する。一方、ＣＰＵ２０は、テキストが含まれていないと判定すると、ユーザが図やグラフあるいは人物の顔などの画像を検索キーとして選択したと判断する。ＣＰＵ２０は、ユーザが画像を選択したと判断すると、ユーザが閲覧している文書画像１４に対応する画像ファイル１２から選択された領域に対応する部分を切り出して抽出し、選択領域に応じた部分画像を生成する。この後、ＣＰＵ２０は、生成した部分画像を顔検出部２６に入力し、顔検出部２６に人物の顔の検出を行わせる。

顔検出部２６は、入力された部分画像に対して顔検出を行う。そして、顔を検出した場合には、その顔の顔特徴量を算出し、その顔特徴量をＣＰＵ２０に入力する。他方、顔が検出されなかった場合には、その旨を示す不検出信号をＣＰＵ２０に入力する。

ＣＰＵ２０は、顔検出部２６から顔特徴量が入力された場合には、ユーザが検索キーとして選択した領域のデータ種別が人物の顔であると特定し、その顔特徴量を検索キーとして設定する。一方、ＣＰＵ２０は、顔検出部２６から不検出信号が入力された場合には、ユーザが検索キーとして選択した領域のデータ種別がその他の画像であると特定し、部分画像自体を検索キーとして設定する。

ＣＰＵ２０は、検索キーを設定したら、その検索キーを基に、ユーザが閲覧している文書画像１４に対応する文書ファイル１０及び画像ファイル１２を対象に検索を行う。ＣＰＵ２０は、テキストを検索キーとして設定した場合、テキスト画像対応テーブル３５を参照し、対応する文書ファイル１０に該当する箇所から検索キーのテキストと同一のテキストを検索する。そして、同一のテキストが見付かった場合には、そのテキストの座標情報を検索結果として取得する。

ＣＰＵ２０は、部分画像を検索キーとして設定した場合、対応する画像ファイル１２から部分画像と類似する類似画像を検索する。ＣＰＵ２０は、例えば、画素毎に差分を取って平均二乗誤差やＳＮ比を算出し、所定の閾値を超えない場合に、類似画像であると判断する。そして、類似画像が見付かった場合には、その類似画像の座標情報を検索結果として取得する。

また、ＣＰＵ２０は、顔特徴量を検索キーとして設定した場合、対応する画像ファイル１２から検索キーの顔特徴量と類似する顔を検索する。ＣＰＵ２０は、例えば、対応する画像ファイル１２を顔検出部２６に入力し、画像ファイル１２に含まれる全ての顔を顔検出部２６に検出させる。そして、検索キーの顔特徴量と、それぞれの顔の顔特徴量との差分を算出し、その差分が所定の閾値を超えない場合に、類似する顔であると判断する。ＣＰＵ２０は、類似する顔が見付かった場合、その顔の座標情報を検索結果として取得する。このように、本例では、座標情報を基に、選択領域のデータ種別（テキスト、画像、人物の顔など）を特定し、そのデータ種別に応じた検索キーを設定するようにしたので、テキスト以外の画像などの領域を選択した場合にも、その選択領域を検索キーにした検索を行うことができる。

ＣＰＵ２０は、検索キーを基に検索を行い、該当する箇所の座標情報を検索結果として取得したら、その座標情報を要求元の携帯電話４に配信する。この際、座標変換が必要な場合には、座標情報を座標変換部２９に送る。そして、元の画像ファイル１２の解像度に対応した座標系から携帯電話４に配信した画像ファイル１２の解像度に対応した座標系に変換させ、その変換後の座標情報を要求元の携帯電話４に配信する。

このように、検索を行う際に座標情報のみを送受し、テキストなどのデータをインターネット６に流さないようにすれば、情報漏洩のリスクをより低くすることができる。また、テキストなどを送受する場合に比べてデータ量も少なくなるので、通信コストの低減や通信時間の短縮なども図ることができる。

携帯電話４のＣＰＵ５０は、検索結果としての座標情報を受信したら、その座標情報で示される領域を文書画像１４上で強調表示する（図２（ｄ）参照）。これにより、文書内検索の検索結果がユーザに報知される。

図７のフローチャートに示すように、他文書検索を行う場合には、文書内検索の場合と同様の手順で検索キーを設定した後、文書ファイル保管部３２及び画像ファイル保管部３３に保管された全ての文書ファイル１０及び画像ファイル１２を対象に検索を行う。

ＣＰＵ２０は、テキストを検索キーとして設定した場合、テキスト画像対応テーブル３５を参照して検索キーのテキストと同一のテキストを含む文書ファイル１０を検索し、その文書ファイル１０のファイル名を検索結果として取得する。ＣＰＵ２０は、部分画像を検索キーとして設定した場合、類似画像を含む画像ファイル１２を検索し、その画像ファイル１２に対応する文書ファイル１０のファイル名を検索結果として取得する。また、ＣＰＵ２０は、顔特徴量を検索キーとして設定した場合、類似する顔を含む画像ファイル１２を検索し、その画像ファイル１２に対応する文書ファイル１０のファイル名を検索結果として取得する。

ＣＰＵ２０は、検索キーを基に検索を行い、該当する文書ファイル１０のファイル名を検索結果として取得したら、それらの各ファイル名を基に、リスト画面１７を携帯電話４の液晶ディスプレイ７に表示させるための画面データを生成し、その画面データを携帯電話４に配信する。

携帯電話４のＣＰＵ５０は、画面データを受信したら、その画面データをシステムメモリ５１に記憶させるとともに、その画面データの表示を液晶ドライバ５２に指示する。液晶ドライバ５２は、ＣＰＵ５０からの指示に応じてシステムメモリ５１から画面データを読み出し、その画面データを液晶ディスプレイ７に表示させる。これにより、リスト画面１７が液晶ディスプレイ７に表示され、他文書検索の検索結果がユーザに報知される（図２（ｅ）参照）。

なお、他文書検索の検索結果の報知方法は、文書ファイル１０のファイル名に限ることなく、例えば、検索キーに該当する箇所があるそれぞれの画像ファイル１２から該当する箇所の画像を抽出し、その抽出した画像を検索結果として表示することによって報知してもよい。

上記実施形態では、文書ファイル１０及び画像ファイル１２に含まれる文字と、その文字の文書画像１４上での位置とを関連付けてテキスト画像対応テーブル３５を構成したが、このように一文字ずつ対応付けてテーブルを構成すると、テーブルのデータ量が膨大になるとともに、これにともなって検索に時間が掛かってしまうことが懸念される。

そこで、図８に示すテキスト画像対応テーブル６０のように、文書ファイル１０及び画像ファイル１２に含まれるテキストを１行毎のブロック６２に分け、各ブロック６２と、そのブロック６２の文書画像１４上での位置とを関連付けて記憶することによってテーブルを構成してもよい。この場合には、ブロック６２毎に全文検索を行って検索キーのテキストと同一のテキストを含むブロック６２を特定した後、そのブロック６２から該当する箇所を抽出すればよい。

このように、１行毎のブロック６２に分けてテキスト画像対応テーブル６０を構成すれば、一文字ずつ対応付けて構成する場合よりもテーブルのデータ量が抑えられ、検索時間の短縮も図ることができる。なお、ブロック６２は、１行毎に限ることなく、例えば、単語毎でもよいし、文節毎でもよい。

上記実施形態では、画像変換部２８の画像変換によって画像ファイル１２の解像度が変わってしまった場合に、座標変換処理を行ったが、座標変換部２９による座標変換処理は、これに限ることなく、画像ファイル保管部３３に保管された画像ファイル１２の座標系と、携帯電話４で閲覧中の画像ファイル１２の座標系との間で座標変換が必要な状況のときに行えばよい。例えば、液晶ディスプレイ７に表示された文書画像１４をユーザが拡大又は縮小させた場合にも、座標系に狂いが生じることがある。このような場合には、拡大又は縮小の倍率に応じて座標変換を行えばよい。

上記実施形態では、文書ファイル１０から文字の抽出及び各文字の位置の特定を行ったが、これに限ることなく、周知のＯＣＲ技術を用いることによって、画像ファイル１２から文字の抽出及び各文字の位置の特定を行ってもよい。

上記実施形態では、ドキュメント閲覧装置として携帯電話４を示したが、ドキュメント閲覧装置は、これに限ることなく、例えば、ＰＨＳやＰＤＡ、スマートフォンなどの他の携帯型の端末でもよいし、さらには、携帯型の端末に限ることなく、ＬＡＮなどの有線のネットワークを介して接続されるパーソナルコンピュータなどでもよい。

上記実施形態では、ドキュメント配信装置を１台のドキュメント配信サーバ３で構成したが、これに限ることなく、複数台のサーバを組み合わせてドキュメント配信装置を構成してもよい。

上記実施形態では、検索キーとして特定するデータ種別として、テキスト、画像、人物の顔を示したが、特定するデータ種別は、文書画像１４から抽出される任意の情報でよい。

上記実施形態では、文書ファイル１０を仮想印刷することによって生成される画像ファイル１２を配信する場合に本発明を適用した例を示したが、本発明は、これに限ることなく、例えば、紙に記録された文書をスキャナで読み取ることによって生成される画像ファイルを配信する場合に適用してもよい。

２ ドキュメント閲覧システム
３ ドキュメント配信サーバ（ドキュメント配信装置）
４ 携帯電話（ドキュメント閲覧装置）
６ インターネット（ネットワーク）
７ 液晶ディスプレイ（表示部）
８ 操作部（領域選択手段）
１０ 文書ファイル
１２ 画像ファイル
１４ 文書画像
２０ ＣＰＵ（検索キー設定手段、検索手段、配信制御手段）
２２ ＨＤＤ（ファイル保管手段、テーブル記憶手段）
２６ 顔検出部（顔検出手段）
２７ 機種判別部（機種判別手段）
２８ 画像変換部（変換手段）
２９ 座標変換部（座標変換手段）
３５、６０ テキスト画像対応テーブル（テーブルデータ）
５０ ＣＰＵ（検索指示手段、報知制御手段）

Claims (11)

1. 文書画像を示す画像ファイルを複数保管可能なファイル保管手段を有し、所定の画像ファイルの配信が要求されたことに応答して、その画像ファイルの配信を行うドキュメント配信装置と、
   ネットワークを介して前記ドキュメント配信装置と接続され、操作指示に応答して所定の画像ファイルの配信を前記ドキュメント配信装置に要求し、配信された画像ファイルの文書画像を表示部に表示するドキュメント閲覧装置とからなるドキュメント閲覧システムにおいて、
   前記表示部に表示された文書画像の任意の領域を選択する領域選択手段と、
   前記領域選択手段によって選択された選択領域の座標情報を送信することにより、前記選択領域を検索キーとした検索の実行を前記ドキュメント配信装置に指示する検索指示手段と、
   前記ドキュメント配信装置から配信される検索結果の報知を行う報知制御手段とを、前記ドキュメント閲覧装置に設け、
   前記座標情報を基に、前記選択領域のデータ種別を特定し、そのデータ種別に応じた検索キーを設定する検索キー設定手段と、
   前記検索キーを基に、検索対象となる画像ファイルから該当する箇所を検索する検索手段と、
   前記検索手段の検索結果を前記ドキュメント閲覧装置に配信する配信制御手段とを、前記ドキュメント配信装置に設けたことを特徴とするドキュメント閲覧システム。
2. 前記ドキュメント配信装置は、画像ファイルに含まれるテキストと、そのテキストの文書画像上での位置を示す座標情報とを関連付けたテーブルデータを記憶するテーブル記憶手段を有し、
   前記検索キー設定手段は、前記選択領域の座標情報を基に前記テーブルデータを参照することによって、前記選択領域にテキストが含まれるか否かを判定し、テキストが含まれる場合には、前記選択領域に含まれるテキストを前記検索キーとして設定し、
   前記検索手段は、テキストが前記検索キーとして設定された場合、前記テーブルデータを参照し、前記検索キーと同一のテキストを検索することを特徴とする請求項１記載のドキュメント閲覧システム。
3. 前記検索キー設定手段は、テキストが含まれないと判定した場合、前記選択領域の画像を前記検索キーとして設定し、
   前記検索手段は、前記選択領域の画像が前記検索キーとして設定された場合、前記検索キーと類似する類似画像を検索することを特徴とする請求項２記載のドキュメント閲覧システム。
4. 前記ドキュメント配信装置は、画像から顔の検出を行うとともに、顔を検出した場合に、その顔の顔特徴量を算出する顔検出手段を有し、
   前記検索キー設定手段は、テキストが含まれないと判定した場合、前記選択領域の画像から前記顔検出手段に顔を検出させ、顔が検出された際には、その顔の顔特徴量を前記検索キーとして設定し、
   前記検索手段は、顔特徴量が前記検索キーとして設定された場合、前記検索キーの顔特徴量と類似する顔を検索することを特徴とする請求項２又は３記載のドキュメント閲覧システム。
5. 前記配信制御手段は、該当する箇所の座標情報を検索結果として配信することを特徴とする請求項１から４のいずれか１項に記載のドキュメント閲覧システム。
6. 前記ドキュメント閲覧装置は、携帯型の端末であり、
   前記ドキュメント配信装置は、前記ドキュメント閲覧装置の機種を判別する機種判別手段と、前記機種判別手段が判別した機種に応じたデータ形式に画像ファイルを変換する変換手段とを、さらに備え、機種に応じたデータ形式の画像ファイルを前記ドキュメント閲覧装置に配信することを特徴とする請求項１から５のいずれか１項に記載のドキュメント閲覧システム。
7. 前記ドキュメント配信装置は、前記ファイル保管手段に保管された画像ファイルの座標系と、前記表示部に表示された閲覧中の画像ファイルの座標系との間の座標変換処理を行う座標変換手段を有することを特徴とする請求項１から６のいずれか１項に記載のドキュメント閲覧システム。
8. 前記検索手段は、前記表示部に表示された閲覧中の画像ファイルを検索対象とすることを特徴とする請求項１から７のいずれか１項に記載のドキュメント閲覧システム。
9. 前記検索手段は、前記ファイル保管手段に保管された全ての画像ファイルを検索対象とすることを特徴とする請求項１から７のいずれか１項に記載のドキュメント閲覧システム。
10. 前記報知制御手段は、検索結果に該当する箇所を強調表示することによって検索結果を報知することを特徴とする請求項１から９のいずれか１項に記載のドキュメント閲覧システム。
11. 文書画像を示す画像ファイルを複数保管可能なファイル保管手段を有し、所定の画像ファイルの配信が要求されたことに応答して、その画像ファイルの配信を行うドキュメント配信装置と、
    ネットワークを介して前記ドキュメント配信装置と接続され、操作指示に応答して所定の画像ファイルの配信を前記ドキュメント配信装置に要求し、配信された画像ファイルの文書画像を表示部に表示するドキュメント閲覧装置とからなるドキュメント閲覧システムの制御方法において、
    前記表示部に表示された文書画像の任意の領域を選択する領域選択ステップと、
    前記領域選択ステップによって選択された選択領域の座標情報を送信することにより、前記選択領域を検索キーとした検索の実行を前記ドキュメント配信装置に指示する検索指示ステップと、
    前記座標情報を基に、前記選択領域のデータ種別を特定し、そのデータ種別に応じた検索キーを設定する検索キー設定ステップと、
    前記検索キーを基に、検索対象となる画像ファイルから該当する箇所を検索する検索ステップと、
    前記検索ステップの検索結果を前記ドキュメント閲覧装置に配信する配信ステップと、
    配信された検索結果を報知する報知ステップとを有することを特徴とするドキュメント閲覧システムの制御方法。

Images