JP6011262B2 - 表示制御プログラム、表示制御方法及び表示制御装置 - Google Patents

Description

本発明は、表示制御プログラム、表示制御方法及び表示制御装置に関する。

紙文書の電子化が進んでいる。例えば、医療分野においては、電子カルテシステムの導入が進んでいる。かかる電子カルテシステムが新規に導入される場合には、導入前に業務で生じていた紙文書がページ単位でスキャンされることによって電子化される。このように、紙文書をスキャンすることによって得られた紙文書の画像は、ページ単位で閲覧される。

特開平６−２３１１８４号公報 特開平６−２６６７６６号公報 特開２００３−０４４５１６号公報

しかしながら、上記の技術には、複数のページにわたる紙文書の画像から閲覧の目標とする文字列の所在位置を見つけ出すのが困難であるという問題がある。

１つの側面では、複数のページにわたる紙文書の画像に含まれる閲覧目標の文字列の所在位置を見易く表示できる表示制御プログラム、表示制御方法及び表示制御装置を提供することを目的とする。

一態様の表示制御プログラムは、コンピュータに、複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された、複数のページ画像をオーバーレイ表示させる処理を実行させる表示制御プログラムにおいて、前記オーバーレイ表示において、最前面以外の位置に配置される第１のページ画像に対応する表示データに、所定のデータが含まれることを検出し、前記第１のページ画像のうち、前記オーバーレイ表示において、該第１のページ画像より前側のページ画像によって隠れない部分にマークを表示する、処理を前記コンピュータに実行させる。

一実施形態によれば、複数のページにわたる紙文書の画像に含まれる閲覧目標の文字列の所在位置を見易く表示できるという効果を奏する。

図１は、実施例１に係る文書管理システムの構成を示す図である。 図２は、実施例１に係るサーバ装置の機能的構成を示すブロック図である。 図３は、画像管理データの一例を示す図である。 図４は、インデックスデータの一例を示す図である。 図５は、キーワードデータの一例を示す図である。 図６は、マークデータの一例を示す図である。 図７は、付箋の開始位置および長さの決定方法の一態様を説明する図である。 図８は、付箋の表示例を示す図である。 図９は、実施例１に係る表示制御処理の手順を示すフローチャートである。 図１０は、実施例１及び実施例２に係る表示制御プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る表示制御プログラム、表示制御方法及び表示制御装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係る文書管理システムの構成を示す図である。図１に示す文書管理システム１は、サーバ装置１０が複数の文字情報表示媒体、例えば紙文書のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された、複数のページ画像をクライアント端末３０にオーバーレイ表示させるものである。なお、本実施例では、一例として、電子カルテシステムの導入後に、導入前は書類、書状や書籍等が紙媒体で管理されていた病院の紙文書が電子化された後に病院の関係者によって閲覧される場合を想定して以下の説明を行う。

図１に示すように、文書管理システム１には、サーバ装置１０と、クライアント端末３０Ａ、３０Ｂ及び３０Ｃとが収容される。以下では、クライアント端末３０Ａ〜３０Ｃの各端末を総称して「クライアント端末３０」と記載する場合がある。なお、図１の例では、３つのクライアント端末を図示したが、文書管理システム１が収容可能なクライアント端末の数は図示の数に限定されず、任意の数のクライアント端末を収容できる。

これらサーバ装置１０及びクライアント端末３０の間は、ネットワーク５を介して相互に通信可能に接続される。かかるネットワーク５の一例としては、有線または無線を問わず、インターネット（Internet）を始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の通信網を採用できる。

クライアント端末３０は、上記のオーバーレイ表示に関するサービスを利用する側のコンピュータである。例えば、クライアント端末３０は、電子カルテシステムへのアカウントを持つ病院の関係者、例えば医師、看護師を始め、大学病院であれば講師、准教授や教授等によって使用される。以下では、上記の病院の関係者のことを文書管理システム１の利用者でもあるという一側面から「利用者」と記載する場合がある。かかるクライアント端末３０の一例としては、パーソナルコンピュータを始めとする固定端末の他、スマートフォン、携帯電話機、ＰＨＳ（Personal Handyphone System）やＰＤＡ（Personal Digital Assistants）などの携帯端末も採用できる。

サーバ装置１０は、上記のオーバーレイ表示に関するサービスを利用する側のコンピュータである。かかるサーバ装置１０の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして上記のオーバーレイ表示に関するサービスを提供する表示制御プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記のオーバーレイ表示に関するサービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記のオーバーレイ表示に関するサービスを提供するクラウドとして実装することとしてもかまわない。

ここで、電子カルテシステムの導入前に紙媒体で管理されていた病院の紙文書は、クライアント端末３０及びサーバ装置１０によって電子化される場合がある。例えば、クライアント端末３０は、クライアント端末３０に接続されたスキャナによって読み取られた画像データを受け付ける。このとき、スキャナは、紙文書をページ単位で読み取ることによって複数のページ画像の集合体である紙文書の画像データをクライアント端末３０へ出力する。そして、クライアント端末３０は、紙文書の画像データのファイル名を受け付けた後に当該ファイル名が設定された紙文書の画像データをサーバ装置１０へアップロードする。その後、サーバ装置１０は、アップロードされた紙文書の画像データに対し、各ページ画像に含まれる文字を認識した上で文字コードに変換する文字認識処理、いわゆるＯＣＲ（Optical Character Reader）処理を実行する。このようにＯＣＲ処理が実行されることによって、各ページ画像に含まれる文字のテキストデータが得られるとともに、各ページ画像に含まれる文字列から利用者が指定するキーワードを検索するためのインデックスデータが得られる。かかるインデックスデータの一例としては、ページ画像に含まれる文字列と当該文字列がページ画像上で所在する所在位置とが対応付けられたデータを採用することができる。

なお、本実施例では、ＯＣＲ処理をサーバ装置１０で実行させる場合を例示したが、クライアント端末３０でＯＣＲ処理を実行させることとしてもかまわない。また、本実施例では、クライアント端末３０に接続されたスキャナによって紙文書の画像データを読み取る場合を例示したが、スキャナをサーバ装置１０に接続することもできる。

［サーバ装置１０の構成］
続いて、本実施例に係るサーバ装置１０の機能的構成について説明する。図２は、実施例１に係るサーバ装置１０の機能的構成を示すブロック図である。図２に示すサーバ装置１０は、通信Ｉ／Ｆ（interface）部１１と、記憶部１３と、制御部１５とを有する。なお、サーバ装置１０は、図２に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスやスキャナなどを有することとしてもかまわない。

通信Ｉ／Ｆ部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１は、クライアント端末３０から紙文書の画像データの閲覧要求を受信したり、複数のページ画像がオーバーレイ表示された画面データをクライアント端末３０へ送信したりする。

記憶部１３は、制御部１５で実行されるＯＳ（Operating System）や表示制御プログラムなどの各種プログラムを記憶する記憶デバイスである。記憶部１３の一態様としては、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどの記憶装置が挙げられる。また、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。

記憶部１３は、制御部１５で実行される各種のプログラムに用いられるデータの一例として、テキストデータ１３ａ、画像管理データ１３ｂ、インデックスデータ１３ｃ、キーワードデータ１３ｄ及びマークデータ１３ｅなどを記憶する。なお、図２に図示されたデータ以外にも、他の電子データ、例えば電子カルテシステムで用いられる各種の文書データなども併せて記憶することもできる。

テキストデータ１３ａは、紙文書の画像データがテキスト化されたデータである。かかるテキストデータ１３ａは、クライアント端末３０からアップロードされた各ページ画像に含まれる文字がＯＣＲ処理によってテキストデータへ変換された後にページ画像単位で登録される。

画像管理データ１３ｂは、紙文書が電子化された画像データを管理するためのメタデータである。かかる画像管理データ１３ｂの一態様としては、画像ＩＤ（identifier）、利用者ＩＤ、ファイル名およびパスが対応付けられたデータを採用できる。ここで言う「画像ＩＤ」は、紙文書の画像データを識別する識別情報を指す。また、「利用者ＩＤ」は、利用者を識別する識別情報を指し、ここでは、紙文書を電子化した利用者を意味する。また、「ファイル名」は、紙文書の画像データのファイル名を指す。また、「パス」は、紙文書の画像データが格納されている格納場所を指す。

図３は、画像管理データ１３ｂの一例を示す図である。図３の例では、画像ＩＤ「0000001」〜「0000002」の２つの画像データは、マエダ００１によって電子化されたＡＡＡＡＡ論文及びＢＢＢＢＢ論文のＰＤＦ（Portable Document Format）ファイルであることを意味する。さらに、ＡＡＡＡＡ論文のＰＤＦファイルは、「\C\論文\AAAAA論文.pdf」に格納されており、また、ＢＢＢＢＢ論文のＰＤＦファイルは、「\C\論文\BBBBB論文.pdf」に格納されていることを意味する。また、画像ＩＤ「0000003」〜「0000005」の３つの画像データは、オガタ００１、ヤマダ００１及びカタオカ００１によってそれぞれ電子化された医学学会資料ＡＡＡ、医学学会資料ＢＢＢ及び医学学会資料ＣＣＣのＰＤＦファイルであることを意味する。同様に、医学学会資料ＡＡＡ、医学学会資料ＢＢＢ及び医学学会資料ＣＣＣのＰＤＦファイルも図示のパスに格納されている。なお、ここでは、一例として、紙文書がＰＤＦファイルへ変換される場合を例示したが、他の形式の画像データへ変換されることとしてもよい。例えば、スキャナに紙文書をＴＩＦＦ（Tagged Image File Format）、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphic Interchange Format）などの画像データへ変換されることとしてもかまわない。

インデックスデータ１３ｃは、紙文書の画像データに含まれる文字列を検索するインデックスが定義されたデータである。かかるインデックスデータ１３ｃの一態様としては、画像ＩＤ、ページ番号、文字列、開始位置および文字数が対応付けられたデータを採用できる。ここで言う「ページ番号」は、紙文書の画像データに含まれるページ画像を識別する識別情報であり、ここでは、一例として、番号が用いられている。また、「文字列」は、ＯＣＲ処理によってテキストデータの中から抽出された検索用の文字列を指し、例えば、医学用語を始め、キーワードによる検索への使用が想定される文字列が抽出される。また、「開始位置」とは、文字列が始まるページ画像上の位置を指し、例えば、紙文書の文字のレイアウトが横書きである場合には、文字列の左端の座標が用いられる。また、「文字数」とは、文字列が含む文字の数を指す。なお、以下では、説明の便宜上、ページ画像に含まれる各文字の大きさが同一である場合を想定し、ページ画像の幅方向（Ｘ方向）の座標値「１」が１文字の幅に対応し、ページ画像の高さ方向（Ｙ方向）の座標値「１」が１文字の高さに対応する尺度を想定する。

図４は、インデックスデータ１３ｃの一例を示す図である。図４に示すように、ＡＡＡＡＡ論文のＰＤＦファイルの１ページ目には、文字列１〜文字列Ｎ１のＮ１個の文字列が含まれている。このうち、文字列１は、ＡＡＡＡＡ論文の画像データに含まれる１ページ目のページ画像上の座標（１１，１０）から始まって５文字つづくことを意味する。また、文字列２は、１ページ目のページ画像上の座標（１６，１０）から始まって３文字つづくことを意味する。また、文字列Ｎ１は、１ページ目のページ画像上の座標（３３，５０）から始まって３文字つづくことを意味する。また、図４に示すように、ＡＡＡＡＡ論文のＰＤＦファイルの２ページ目には、文字列１〜文字列Ｎ２のＮ２個の文字列が含まれていることを示す。このうち、文字列１は、ＡＡＡＡＡ論文の画像データに含まれる２ページ目のページ画像上の座標（１，７）から始まって６文字つづくことを意味する。また、文字列２は、２ページ目のページ画像上の座標（７，７）から始まって５文字つづくことを意味する。また、文字列Ｎ２は、２ページ目のページ画像上の座標（３６，５０）から始まって２文字つづくことを意味する。

なお、ここでは、インデックスデータ１３ｃが文字の位置情報を含む場合を例示したが、ＯＣＲ処理によってＸＭＬ形式やＨＴＭＬ形式で文字認識結果が出力される場合にはＸＭＬファイルやＨＴＭＬファイルに文字の位置情報を含ませることとしてもよい。上記の「ＸＭＬ」は、「Extensible Markup Language」の略称であり、また、上記の「ＨＴＭＬ」は、「HyperText Markup Language」の略称である。

キーワードデータ１３ｄは、利用者が検索に用いるキーワードが定義されたデータである。例えば、キーワードデータ１３ｄは、キーワードデータ１３ｄに含まれるキーワードの中から検索に使用するキーワードを選択させることによってキーワードの指定を支援するために使用される。かかるキーワードデータ１３ｄは、クライアント端末３０を介して利用者にキーワードの追加や削除を編集させることとしてもよく、また、検索時に指定された新規のキーワードを登録することとしてもよい。

キーワードデータ１３ｄの一態様としては、キーワードＩＤ、キーワード、利用者ＩＤ、重要度、登録日付及び検索日付などの項目が対応付けられたデータを採用できる。ここで言う「キーワードＩＤ」は、キーワードを識別する識別情報を指す。また、キーワードデータ１３ｄに含まれる利用者ＩＤは、病院の関係者を識別する識別情報であるが、ここではキーワードを用いた利用者を表す。また、「重要度」は、キーワードがどの程度重要であるかを表す度合いを指し、例えば、検索に用いられた頻度、例えば回数が用いられる。また、「登録日付」は、キーワードが登録された日付を指す。また、「検索日付」は、キーワードが検索に使用された日付を指し、例えば、検索に使用された日付の中でも最新の日付が登録される。

図５は、キーワードデータ１３ｄの一例を示す図である。図５の例では、マエダ００１は、「耳下腺がん」、「胃がん」及び「脳腫瘍」の３つのキーワードを検索に用いていることを意味する。このうち、キーワード「脳腫瘍」は、カタオカ００１にも用いられている。このように、キーワードが同一であっても利用者が違えば異なるレコードが生成される場合がある。また、図５の例では、オガタ００１は、キーワード「糖尿病」を検索に用いていることを意味する。また、図５の例では、ヤマダ００１は、キーワード「皮膚がん」を検索に用いていることを意味する。

マークデータ１３ｅは、検索のキーワードに対応するページ画像上の文字列への注目を促すマークに関するデータである。かかるマークの一例としては、付箋を採用することができる。例えば、マークデータ１３ｅは、利用者によって検索に用いるキーワードが指定された場合に、当該キーワードに対応するページ画像上の文字列ごとに生成される。

かかるマークデータ１３ｅの一態様としては、画像ＩＤ、利用者ＩＤ、ページ番号、キーワード、開始位置および長さなどの項目が対応付けられたデータを採用できる。マークデータ１３ｅに含まれる利用者ＩＤは、病院の関係者を識別する識別情報であるが、ここでは検索を実行する利用者を表す。また、「開始位置」は、ページ画像上における付箋の開始位置を指し、例えば、紙文書に含まれる文字のレイアウトが横書きである場合には、付箋の左端の座標が用いられる。また、「長さ」は、付箋の幅方向の長さを指す。なお、マークデータ１３ｅのデータ構造は、上記の項目の例に限定されず、マークの表示色などの項目を併せて持つこととしてもかまわない。

図６は、マークデータ１３ｅの一例を示す図である。図６には、インデックスデータ１３ｃからキーワード「耳下腺がん」に対応する文字列が検索された場合を例示している。図６に示すように、画像ＩＤ「0000001」のＡＡＡＡＡ論文のＰＤＦファイルの１ページ目には、２つの付箋が文字列に付される。すなわち、１ページ目のページ画像には、座標（１２，１０）を付箋の左端とし、左端からの幅方向の長さをＬ１とする付箋と、座標（３４，５０）を付箋の左端とし、左端からの幅方向の長さをＬ２とする付箋とが表示されることを意味する。また、図６に示すように、２ページ目にも、２つの付箋が文字列に付される。すなわち、２ページ目のページ画像には、座標（１２，７）を付箋の左端とし、左端からの幅方向の長さをＬ３とする付箋と、座標（３６，５０）を付箋の左端とし、左端からの幅方向の長さをＬ４とする付箋とが表示されることを意味する。なお、図６の例では、キーワードが１つ指定された場合を例示したが、キーワードが複数指定された場合には、キーワードごとに付箋の開始位置及び長さが設定される。

なお、ここでは、検索が実行される度にマークデータ１３ｅが生成される場合を例示したが、マークデータ１３ｅは検索の前に生成しておくこともできる。例えば、サーバ装置１０は、キーワードデータ１３ｄに含まれる利用者ＩＤ及びキーワードごとにインデックスデータ１３ｃのうち当該利用者ＩＤを含むレコードを対象にキーワードに対応する文字列を検索する。その上で、サーバ装置１０は、文字列別に当該文字列に対する付箋が定義されたマークデータ１３ｅを予め生成しておくことができる。

制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１５は、図２に示すように、画像取得部１５ａと、ＯＣＲ実行部１５ｂと、受付部１５ｃと、検出部１５ｄと、マーク生成部１５ｅと、表示制御部１５ｆとを有する。

このうち、画像取得部１５ａは、クライアント端末３０から画像データを取得する処理部である。一態様としては、画像取得部１５ａは、クライアント端末３０からアップロードされる紙文書の画像データを取得する。すると、画像取得部１５ａは、紙文書の画像データに画像ＩＤを採番するとともに画像データに含まれる各ページ画像にページ番号を採番する。そして、画像取得部１５ａは、紙文書の画像データを記憶部１３へ格納する。その上で、画像取得部１５ａは、画像データの画像ＩＤ、送信元のクライアント端末３０に関連付けられた利用者ＩＤ、画像データのファイル名及び画像データが格納された格納場所を示すパスを対応付けて記憶部１３内の画像管理データ１３ｂへ追加登録する。なお、画像取得部１５ａは、クライアント端末３０から取得した紙文書の画像データをＯＣＲ実行部１５ｂにも出力する。

ＯＣＲ実行部１５ｂは、ＯＣＲソフトウェアを実行する処理部である。一態様としては、ＯＣＲ実行部１５ｂは、紙文書の画像データに対し、各ページ画像に含まれる文字を認識した上で文字コードに変換するＯＣＲ処理を実行する。このようにＯＣＲ処理が実行されることによって、各ページ画像に含まれる文字のテキストデータ１３ａが得られるとともに、各ページ画像に含まれる文字列から利用者が指定するキーワードを検索するためのインデックスデータ１３ｃが得られる。その後、ＯＣＲ実行部１５ｂは、テキストデータ１３ａ及びインデックスデータ１３ｃを記憶部１３へ登録する。なお、ここでは、各ページ画像に含まれる文字をテキストファイルへ変換する場合を例示したが、ＨＴＭＬファイル、ＸＭＬファイルやＲＴＦ（Rich Text Format）ファイルへ変換することとしてもよい。

なお、上記のＯＣＲ処理を実現するソフトウェアには、既知のアルゴリズムのものを任意に適用することができる。例えば、特定の位置に所定の事項が記入されることが定められているカルテ等の紙文書には、帳票用のＯＣＲソフトウェアを適用できる。また、各種の資料や論文などのようにナレッジとして利用される紙文書には、全文テキスト化が得意なＯＣＲソフトウェアを適用することもできる。また、ここでは、サーバ装置１０でＯＣＲ処理を実行させる場合を例示したが、クライアント端末３０に接続されたＯＣＲ機能付きのスキャナにＯＣＲ処理を実行させることもできる。

受付部１５ｃは、紙文書の画像データに対する検索処理を受け付ける処理部である。一態様としては、受付部１５ｃは、クライアント端末３０から利用者が閲覧する紙文書の画像データのファイル名を受け付ける。さらに、受付部１５ｃは、紙文書の画像データから検索に用いるキーワードの指定を受け付ける。このとき、受付部１５ｃは、キーワードデータ１３ｄに含まれるキーワードの中からクライアント端末３０の利用者ＩＤと同一の利用者ＩＤを持つキーワードを自動抽出したり、キーワードの中から選択を受け付けることもできる。あるいは、受付部１５ｃは、クライアント端末３０を介してキーワードの入力を受け付けることとしてもかまわない。なお、受付部１５ｃは、紙文書の画像データを表示している場合に所定のコマンド、例えば「Ctrl＋F」を介してキーワードを受け付けたならば、表示中の画像データのファイル名は受け付けずともよい。

続いて、受付部１５ｃは、先に受け付けたキーワードがキーワードデータ１３ｄに未登録であるか否かを判定する。そして、受付部１５ｃは、未登録のキーワードであった場合には、キーワードＩＤを採番し、キーワードＩＤ、未登録のキーワード及びクライアント端末３０の利用者ＩＤを対応付けて記憶部１３内のキーワードデータ１３ｄに追加登録する。このとき、キーワードデータ１３ｄのレコードのうち重要度には、初期値「０」が設定されるとともに、登録日付には、未登録のキーワードを登録した日付が登録される。なお、受付部１５ｃは、既登録のキーワードであった場合には、記憶部１３への登録は実行されない。その後、受付部１５ｃは、先に受け付けたキーワードに対応付けられている重要度を１つインクリメントする。

検出部１５ｄは、紙文書の画像データに含まれる文字列からキーワードに対応するページ画像上の文字列を検出する処理部である。一態様としては、検出部１５ｄは、テキストデータ１３ａ及びインデックスデータ１３ｄのうち少なくともいずれか１つを用いて、キーワードに対応するページ画像上の文字列を検索する。ここでは、一例として、インデックスデータ１３ｄを用いて、キーワードに対応する文字列を検索する場合を例示する。検出部１５ｄは、インデックスデータ１３ｄに含まれる各ページ番号の全ての文字列を対象に、受付部１５ｃによって受け付けられたキーワードがインデックスデータ１３ｄに含まれる文字列と一致するか否かを繰り返し判定する。なお、ここで言う「一致」とは、キーワードとインデックスデータ１３ｄに含まれる文字列とが完全に一致する完全一致の他、インデックスデータ１３ｄに含まれる文字列にキーワードが包含される部分一致を含む。

マーク生成部１５ｅは、キーワードに対応するページ画像上の文字列へ付すマークに関するマークデータ１３ｅを生成する処理部である。一態様としては、マーク生成部１５ｅは、検出部１５ｄによる検索でキーワードがヒットした場合、すなわちキーワードと文字列が一致する場合に、付箋の開始位置及び長さを決定する。このとき、マーク生成部１５ｅは、当該文字列の開始位置及び文字数から文字列の終了位置を求めてそこから水平方向へ１つシフトさせた位置を付箋の開始位置と決定する。さらに、マーク生成部１５ｅは、キーワードがヒットしたページ番号に設定された付箋の終了位置から付箋の長さを決定する。

ここで、付箋の開始位置および長さの決定方法について説明する。図７は、付箋の開始位置および長さの決定方法の一態様を説明する図である。図７の例では、図３に示した画像管理データ１３ｂに含まれるＡＡＡＡＡ論文の画像データからキーワード「耳下腺がん」を検索中に、キーワードが図４に示したインデックスデータ１３ｃに含まれるページ番号「02」の文字列２と一致した状況を想定している。また、図７の例では、ページ番号が１つ増える度にレイヤが１つずつ下位に設定されるとともに、幅方向および高さ方向に０．５ずつシフトして各ページ画像をオーバーレイ表示させる場合を想定している。なお、本例では、紙文書の文字のレイアウトが横書きで１列４０文字×５０行であり、各ページ画像に含まれる右端の文字からページ画像の右端までの余白は「１」であるものとする。

図７に示すページ番号「０１」のページ画像は、最前面のページ画像に該当し、ページ番号「０２」及びページ番号「０３」から見て前側のページ画像であると言える。また、ページ番号「０２」のページ画像は、ページ番号「０１」のページ画像からみて第１のページ画像に該当し、ページ番号「０３」から見て前側のページ画像であるとも言える。なお、図７の例では、説明の便宜上、第１のページ画像であるページ番号「０２」のページ画像を実線で図示し、前後のページ画像を点線で図示し、第１のページ画像を透過させて図示しているが、実際にはページ番号「０１」のページ画像で遮られている部分は隠れることになる。

図７に示すように、ページ番号「０２」の文字列２の開始位置が座標（７，７）であり、かつ文字数が「５」である場合には、文字列２の開始位置を含めて５文字分の領域に「耳下腺がん」が表示されることになるので、当該文字列２の終了位置は座標（１１，７）と算出できる。このため、文字列２の終了位置（１１，７）から水平方向へ１つシフトさせた位置（１２，７）がページ番号「０２」の文字列２へ付す付箋の開始位置Ｓｔと決定される。

一方、ページ番号「０２」の文字列２へ付す付箋の長さＬは、付箋の開始位置Ｓｔ及びページ番号別に設定された付箋の終了位置Ｅから算出される。ここで、オーバーレイ表示がなされる各ページ画像間でページ画像に含まれる文字列に付される付箋同士が完全に重複して隠れないように、ページ画像間で異なる終了位置が予め定義されている。すなわち、下位のレイヤに表示されるページ画像の付箋ほど付箋の終了位置が右側になり、かつ同じページ画像に付される付箋の終了位置が同一または略同一になるように付箋の終了位置が定義されている。例えば、ページ番号「０１」に付される付箋の終了位置は、ページ番号「０２」の右端と同じ位置とし、ページ番号「０２」に付される付箋の終了位置は、ページ番号「０３」の右端と同じ位置とし、ページ番号が増える度に同じ割合で付箋の終了位置が右側にシフトして設定されている場合を想定する。

この場合には、図７に示すように、ページ番号「０２」の余白までは、紙文書の文字のレイアウトが横書きで１列４０文字×５０行であるので、幅方向に残り「２９」の距離がある。さらに、余白の幅方向の大きさが「１」であり、オーバーレイ表示によってページ番号「０３」のページ画像が幅方向に０．５シフトして表示されるので、付箋の開始位置Ｓｔから付箋の終了位置Ｅまでの長さＬは「３０．５（＝２９＋１＋０．５）」と算出できる。このようにして、付箋の開始位置Ｓｔ及び長さＬが決定されることなる。

付箋の開始位置および長さの決定後に、マーク生成部１５ｅは、付箋の表示色を決定する。一態様としては、マーク生成部１５ｅは、利用者によって指定されたキーワードの重要度が高いほど警告度が高い色を付箋の表示色に選択する。例えば、マーク生成部１５ｅは、重要度が「１」〜「４９」である場合に付箋の表示色を「白色」、重要度が「５０」〜「９９」である場合に付箋の表示色を「黄色」、重要度が「１００」以上である場合に付箋の表示色を「赤色」と決定する。他の一態様としては、マーク生成部１５ｅは、各ページ画像間で付箋の表示部分が重複する場合に、下位のレイヤに位置するページ画像に付される付箋ほど輝度を低く設定することもできる。かかる付箋の重複は、今回に付箋を付すページ画像のレイヤよりも上位のレイヤの付箋との間で開始位置のＹ座標を比較することによって判定する。このとき、オーバーレイ表示によって高さ方向にシフトされる値にレイヤの階層差を乗じたものを上位のレイヤの付箋の開始位置のＹ座標に足し込むか、あるいは今回に付す付箋の開始位置のＹ座標から引き込むことによっていずれかのレイヤのＹ座標の値に換算することによって互いのＹ座標値が比較可能となる。

そして、マーク生成部１５ｅは、画像ＩＤ、利用者ＩＤ、ページ番号、キーワード、付箋の開始位置、長さ及び表示色が対応付けられたマークデータ１３ｅを生成した上で記憶部１３へ登録する。その後、マーク生成部１５ｅは、全ページ番号の文字列について検出部１５ｅによる検索が終了するまで、キーワードがヒットする度にマークデータ１３ｅを生成する処理を実行する。なお、キーワードが複数指定されている場合には、マークデータ１３ｅは、さらにキーワードごとに生成される。

表示制御部１５ｆは、クライアント端末３０に対する表示制御を実行する処理部である。一態様としては、表示制御部１５ｆは、全ページ番号の文字列について検出部１５ｄによる検索が終了した場合に、次のような処理を実行する。すなわち、表示制御部１５ｆは、マーク生成部１５ｅによって生成されたマークデータ１３ｅを用いて、受付部１５ｃによって受け付けられた画像ＩＤの画像データに含まれる各ページ画像をオーバーレイ表示させるとともに、キーワードに対応するページ画像上の文字列に付箋を表示させた画面をクライアント端末３０に表示させる。このとき、表示制御部１５ｆは、既にオーバーレイ表示が実行済みである場合には、付箋の表示だけを実行する。

図８は、付箋の表示例を示す図である。図８に示すように、キーワード「胃がん」に対応する文字列は、赤色、図中では右肩下がりの斜線の塗りつぶしで表示されている。さらに、キーワード「脳腫瘍」に対応する文字列は、黄色、図中では縦線の塗りつぶしで表示されている。さらに、キーワード「耳下腺がん」に対応する文字列は、白色、図中では右肩上がりの斜線の塗りつぶしで表示されている。このため、キーワード「胃がん」、「脳腫瘍」及び「耳下腺がん」の中でも警告度が高い色で表示された「胃がん」の文字列を見つけやすくすることができる。さらに、図８に示すように、下位のレイヤに表示されるページ画像の付箋ほど付箋の終了位置が右側になり、かつ同じページ画像に付される付箋の終了位置が同一または略同一になるように付箋が表示されている。それゆえ、たとえページ画像間で付箋が一部重複したとしても完全重複はしないので、ページ画像間で付箋が重複しない付箋の終了位置を目視することによって各々の付箋を見つけることができる。また、図８に示すように、キーワードに対応する文字列の終了位置から水平方向にシフトした位置に付箋が表示されるので、キーワード直前の文字列を隠さずに付箋を表示できる結果、紙文書におけるキーワードの使い方を把握しやすくできる。

なお、制御部１５には、各種の集積回路や電子回路を採用できる。また、制御部１５が有する機能部の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

［処理の流れ］
図９は、実施例１に係る表示制御処理の手順を示すフローチャートである。この表示制御処理は、クライアント端末３０から閲覧対象とする画像データのファイル名の指定を受け付けた場合に処理が起動される。

図９に示すように、受付部１５ｃは、クライアント端末３０から利用者が閲覧する紙文書の画像データのファイル名の指定を受け付けると（ステップＳ１０１）、紙文書の画像データから検索に用いるキーワードの指定をさらに受け付ける（ステップＳ１０２）。続いて、受付部１５ｃは、ステップＳ１０２で受け付けたキーワードがキーワードデータ１３ｄに未登録であるか否かを判定する（ステップＳ１０３）。

このとき、未登録のキーワードである場合（ステップＳ１０３，Ｙｅｓ）には、受付部１５ｃは、次のような処理を実行する。すなわち、受付部１５ｃは、キーワードＩＤを採番し、キーワードＩＤ、未登録のキーワード及びクライアント端末３０の利用者ＩＤを対応付けて記憶部１３内のキーワードデータ１３ｄに新規登録する（ステップＳ１０４）。なお、既登録のキーワードである場合（ステップＳ１０３，Ｎｏ）には、ステップＳ１０４の処理をとばし、ステップＳ１０５の処理へ移行する。その後、受付部１５ｃは、ステップＳ１０２で受け付けたキーワードに対応付けられている重要度を１つインクリメントする（ステップＳ１０５）。

続いて、検出部１５ｄは、インデックスデータ１３ｄに含まれる文字列のうちステップＳ１０１で指定された画像データが含む文字列から、ステップＳ１０２で受け付けたキーワードに対応するページ画像上の文字列を検索する（ステップＳ１０６）。なお、キーワードがヒットしない場合、すなわちキーワードと文字列が一致しない場合（ステップＳ１０７，Ｎｏ）には、ステップＳ１０８〜ステップＳ１１０までの処理をとばし、ステップＳ１１１の処理へ移行する。

このとき、キーワードがヒットした場合、すなわちキーワードと文字列が一致する場合（ステップＳ１０７，Ｙｅｓ）には、マーク生成部１５ｅは、次のような処理を実行する。すなわち、マーク生成部１５ｅは、当該文字列の開始位置及び文字数から付箋の開始位置を決定するとともに、キーワードがヒットしたページ番号に設定された付箋の終了位置から付箋の長さを決定する（ステップＳ１０８）。

そして、マーク生成部１５ｅは、キーワードデータ１３ｄに設定されたキーワードの重要度に応じて付箋の表示色を決定する（ステップＳ１０９）。その上で、マーク生成部１５ｅは、画像ＩＤ、利用者ＩＤ、ページ番号、キーワード、付箋の開始位置、長さ及び表示色が対応付けられたマークデータ１３ｅを生成した上で記憶部１３へ登録する（ステップＳ１１０）。

その後、インデックスデータ１３ｄに含まれる全ページ番号の文字列に対する検索が終了するまで（ステップＳ１１１，Ｎｏ）、上記のステップＳ１０６〜ステップＳ１１０までの処理を繰り返し実行する。

そして、インデックスデータ１３ｄに含まれる全ページ番号の文字列に対する検索が終了すると（ステップＳ１１１，Ｙｅｓ）、表示制御部１５ｆは、ステップＳ１１０で生成されたマークデータ１３ｅを用いて、次のような表示制御を実行する。すなわち、表示制御部１５ｆは、ステップＳ１０２で受け付けた画像ＩＤの画像データに含まれる各ページ画像をオーバーレイ表示させるとともに、キーワードに対応するページ画像上の文字列に付箋を表示させた画面をクライアント端末３０に表示させ（ステップＳ１１２）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係るサーバ装置１０は、オーバーレイ表示において、最前面以外の位置に配置される第１のページ画像に対応する表示データに、所定のデータが含まれることを検出する。さらに、サーバ装置１０は、第１のページ画像のうち、オーバーレイ表示において、該第１のページ画像より前側のページ画像によって隠れない部分にマークを表示する。このため、本実施例に係るサーバ装置１０では、利用者に各ページ画像に表示されたマークを目視させることができる。したがって、本実施例に係るサーバ装置１０によれば、複数のページにわたる紙文書の画像に含まれる閲覧目標の文字列の所在位置を見易く表示できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像取得部１５ａ、ＯＣＲ実行部１５ｂ、受付部１５ｃ、検出部１５ｄ、マーク生成部１５ｅまたは表示制御部１５ｆをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、画像取得部１５ａ、ＯＣＲ実行部１５ｂ、受付部１５ｃ、検出部１５ｄ、マーク生成部１５ｅまたは表示制御部１５ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。

［表示制御プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例と同様の機能を有する表示制御プログラムを実行するコンピュータの一例について説明する。

図１０は、実施例１及び実施例２に係る表示制御プログラムを実行するコンピュータの一例について説明するための図である。図１０に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１０に示すように、上記の実施例１で示した受付部１５ｃ、検出部１５ｄ、マーク生成部１５ｅ及び表示制御部１５ｆと同様の機能を発揮する表示制御プログラム１７０ａが予め記憶される。この表示制御プログラム１７０ａについては、図２に示した各々の受付部１５ｃ、検出部１５ｄ、マーク生成部１５ｅ及び表示制御部１５ｆの各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、表示制御プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１０に示すように、表示制御プログラム１７０ａは、表示制御プロセス１８０ａとして機能する。この表示制御プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、表示制御プロセス１８０ａは、図２に示した受付部１５ｃ、検出部１５ｄ、マーク生成部１５ｅ及び表示制御部１５ｆにて実行される処理、例えば図９に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の表示制御プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１ 文書管理システム
５ ネットワーク
１０ サーバ装置
１１ 通信Ｉ／Ｆ部
１３ 記憶部
１３ａ テキストデータ
１３ｂ 画像管理データ
１３ｃ インデックスデータ
１３ｄ キーワードデータ
１３ｅ マークデータ
１５ 制御部
１５ａ 画像取得部
１５ｂ ＯＣＲ実行部
１５ｃ 受付部
１５ｄ 検出部
１５ｅ マーク生成部
１５ｆ 表示制御部
３０Ａ，３０Ｂ，３０Ｃ クライアント端末

Claims (6)

1. コンピュータに、複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された複数のページ画像のそれぞれを所定の方向にずらしてオーバーレイ表示させる処理を実行させる表示制御プログラムにおいて、
   前記オーバーレイ表示において、最前面以外の位置に配置される第１のページ画像に対応する表示データに、所定のデータが含まれることを検出し、
   前記第１のページ画像のうち、前記オーバーレイ表示において、前記第１のページ画像より前側のページ画像によって隠れない特定の部分にマークを表示する、
   処理を前記コンピュータに実行させ、
   前記第１のページ画像を前面表示された場合に、前記マークは、前記第１のページ画像のうち、前記特定の部分に対応する位置から前記所定のデータの表示位置まで表示される、
   ことを特徴とする表示制御プログラム。
2. 前記マークは、付箋の形態に対応する表示であることを特徴とする請求項１に記載の表示制御プログラム。
3. 前記マークは、前側のページ画像によって隠れない部分であって、後ろのページ画像の更に後ろのページ画像を隠さない位置に表示されることを特徴とする請求項１または２に記載の表示制御プログラム。
4. 前記マークは、前記第１のページ画像において、前記所定のデータの表示位置と水平な方向に表示されることを特徴とする請求項１、２または３に記載の表示制御プログラム。
5. コンピュータが、複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された複数のページ画像のそれぞれを所定の方向にずらしてオーバーレイ表示させる処理を実行する表示制御方法において、
   前記オーバーレイ表示において、最前面以外の位置に配置される第１のページ画像に対応する表示データに、所定のデータが含まれることを検出し、
   前記第１のページ画像のうち、前記オーバーレイ表示において、前記第１のページ画像より前側のページ画像によって隠れない特定の部分にマークを表示する、
   処理を前記コンピュータが実行し、
   前記第１のページ画像を前面表示された場合に、前記マークは、前記第１のページ画像のうち、前記特定の部分に対応する位置から前記所定のデータの表示位置まで表示される、
   ことを特徴とする表示制御方法。
6. 複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された複数のページ画像のそれぞれを所定の方向にずらしてオーバーレイ表示させる表示制御装置において、
   前記オーバーレイ表示において、最前面以外の位置に配置される第１のページ画像に対応する表示データに、所定のデータが含まれることを検出する検出部と、
   前記第１のページ画像のうち、前記オーバーレイ表示において、前記第１のページ画像より前側のページ画像によって隠れない特定の部分にマークを表示する表示制御部と、
   を有し、
   前記第１のページ画像を前面表示された場合に、前記マークは、前記第１のページ画像のうち、前記特定の部分に対応する位置から前記所定のデータの表示位置まで表示される、
   ことを特徴とする表示制御装置。

Images