JP6011262B2 - 表示制御プログラム、表示制御方法及び表示制御装置 - Google Patents

表示制御プログラム、表示制御方法及び表示制御装置 Download PDF

Info

Publication number
JP6011262B2
JP6011262B2 JP2012251695A JP2012251695A JP6011262B2 JP 6011262 B2 JP6011262 B2 JP 6011262B2 JP 2012251695 A JP2012251695 A JP 2012251695A JP 2012251695 A JP2012251695 A JP 2012251695A JP 6011262 B2 JP6011262 B2 JP 6011262B2
Authority
JP
Japan
Prior art keywords
display
page image
data
display control
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012251695A
Other languages
English (en)
Other versions
JP2014099119A (ja
Inventor
毅 帯刀
毅 帯刀
鉄平 ▲角▼本
鉄平 ▲角▼本
浩二 鶴田
浩二 鶴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012251695A priority Critical patent/JP6011262B2/ja
Publication of JP2014099119A publication Critical patent/JP2014099119A/ja
Application granted granted Critical
Publication of JP6011262B2 publication Critical patent/JP6011262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示制御プログラム、表示制御方法及び表示制御装置に関する。
紙文書の電子化が進んでいる。例えば、医療分野においては、電子カルテシステムの導入が進んでいる。かかる電子カルテシステムが新規に導入される場合には、導入前に業務で生じていた紙文書がページ単位でスキャンされることによって電子化される。このように、紙文書をスキャンすることによって得られた紙文書の画像は、ページ単位で閲覧される。
特開平6−231184号公報 特開平6−266766号公報 特開2003−044516号公報
しかしながら、上記の技術には、複数のページにわたる紙文書の画像から閲覧の目標とする文字列の所在位置を見つけ出すのが困難であるという問題がある。
1つの側面では、複数のページにわたる紙文書の画像に含まれる閲覧目標の文字列の所在位置を見易く表示できる表示制御プログラム、表示制御方法及び表示制御装置を提供することを目的とする。
一態様の表示制御プログラムは、コンピュータに、複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された、複数のページ画像をオーバーレイ表示させる処理を実行させる表示制御プログラムにおいて、前記オーバーレイ表示において、最前面以外の位置に配置される第1のページ画像に対応する表示データに、所定のデータが含まれることを検出し、前記第1のページ画像のうち、前記オーバーレイ表示において、該第1のページ画像より前側のページ画像によって隠れない部分にマークを表示する、処理を前記コンピュータに実行させる。
一実施形態によれば、複数のページにわたる紙文書の画像に含まれる閲覧目標の文字列の所在位置を見易く表示できるという効果を奏する。
図1は、実施例1に係る文書管理システムの構成を示す図である。 図2は、実施例1に係るサーバ装置の機能的構成を示すブロック図である。 図3は、画像管理データの一例を示す図である。 図4は、インデックスデータの一例を示す図である。 図5は、キーワードデータの一例を示す図である。 図6は、マークデータの一例を示す図である。 図7は、付箋の開始位置および長さの決定方法の一態様を説明する図である。 図8は、付箋の表示例を示す図である。 図9は、実施例1に係る表示制御処理の手順を示すフローチャートである。 図10は、実施例1及び実施例2に係る表示制御プログラムを実行するコンピュータの一例について説明するための図である。
以下に添付図面を参照して本願に係る表示制御プログラム、表示制御方法及び表示制御装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成]
図1は、実施例1に係る文書管理システムの構成を示す図である。図1に示す文書管理システム1は、サーバ装置10が複数の文字情報表示媒体、例えば紙文書のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された、複数のページ画像をクライアント端末30にオーバーレイ表示させるものである。なお、本実施例では、一例として、電子カルテシステムの導入後に、導入前は書類、書状や書籍等が紙媒体で管理されていた病院の紙文書が電子化された後に病院の関係者によって閲覧される場合を想定して以下の説明を行う。
図1に示すように、文書管理システム1には、サーバ装置10と、クライアント端末30A、30B及び30Cとが収容される。以下では、クライアント端末30A〜30Cの各端末を総称して「クライアント端末30」と記載する場合がある。なお、図1の例では、3つのクライアント端末を図示したが、文書管理システム1が収容可能なクライアント端末の数は図示の数に限定されず、任意の数のクライアント端末を収容できる。
これらサーバ装置10及びクライアント端末30の間は、ネットワーク5を介して相互に通信可能に接続される。かかるネットワーク5の一例としては、有線または無線を問わず、インターネット(Internet)を始め、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の通信網を採用できる。
クライアント端末30は、上記のオーバーレイ表示に関するサービスを利用する側のコンピュータである。例えば、クライアント端末30は、電子カルテシステムへのアカウントを持つ病院の関係者、例えば医師、看護師を始め、大学病院であれば講師、准教授や教授等によって使用される。以下では、上記の病院の関係者のことを文書管理システム1の利用者でもあるという一側面から「利用者」と記載する場合がある。かかるクライアント端末30の一例としては、パーソナルコンピュータを始めとする固定端末の他、スマートフォン、携帯電話機、PHS(Personal Handyphone System)やPDA(Personal Digital Assistants)などの携帯端末も採用できる。
サーバ装置10は、上記のオーバーレイ表示に関するサービスを利用する側のコンピュータである。かかるサーバ装置10の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして上記のオーバーレイ表示に関するサービスを提供する表示制御プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置10は、上記のオーバーレイ表示に関するサービスを提供するWebサーバとして実装することとしてもよいし、アウトソーシングによって上記のオーバーレイ表示に関するサービスを提供するクラウドとして実装することとしてもかまわない。
ここで、電子カルテシステムの導入前に紙媒体で管理されていた病院の紙文書は、クライアント端末30及びサーバ装置10によって電子化される場合がある。例えば、クライアント端末30は、クライアント端末30に接続されたスキャナによって読み取られた画像データを受け付ける。このとき、スキャナは、紙文書をページ単位で読み取ることによって複数のページ画像の集合体である紙文書の画像データをクライアント端末30へ出力する。そして、クライアント端末30は、紙文書の画像データのファイル名を受け付けた後に当該ファイル名が設定された紙文書の画像データをサーバ装置10へアップロードする。その後、サーバ装置10は、アップロードされた紙文書の画像データに対し、各ページ画像に含まれる文字を認識した上で文字コードに変換する文字認識処理、いわゆるOCR(Optical Character Reader)処理を実行する。このようにOCR処理が実行されることによって、各ページ画像に含まれる文字のテキストデータが得られるとともに、各ページ画像に含まれる文字列から利用者が指定するキーワードを検索するためのインデックスデータが得られる。かかるインデックスデータの一例としては、ページ画像に含まれる文字列と当該文字列がページ画像上で所在する所在位置とが対応付けられたデータを採用することができる。
なお、本実施例では、OCR処理をサーバ装置10で実行させる場合を例示したが、クライアント端末30でOCR処理を実行させることとしてもかまわない。また、本実施例では、クライアント端末30に接続されたスキャナによって紙文書の画像データを読み取る場合を例示したが、スキャナをサーバ装置10に接続することもできる。
[サーバ装置10の構成]
続いて、本実施例に係るサーバ装置10の機能的構成について説明する。図2は、実施例1に係るサーバ装置10の機能的構成を示すブロック図である。図2に示すサーバ装置10は、通信I/F(interface)部11と、記憶部13と、制御部15とを有する。なお、サーバ装置10は、図2に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスやスキャナなどを有することとしてもかまわない。
通信I/F部11は、他の装置、例えばクライアント端末30との間で通信制御を行うインタフェースである。かかる通信I/F部11の一態様としては、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部11は、クライアント端末30から紙文書の画像データの閲覧要求を受信したり、複数のページ画像がオーバーレイ表示された画面データをクライアント端末30へ送信したりする。
記憶部13は、制御部15で実行されるOS(Operating System)や表示制御プログラムなどの各種プログラムを記憶する記憶デバイスである。記憶部13の一態様としては、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどの記憶装置が挙げられる。また、記憶部13は、上記の種類の記憶装置に限定されるものではなく、RAM(Random Access Memory)、ROM(Read Only Memory)であってもよい。
記憶部13は、制御部15で実行される各種のプログラムに用いられるデータの一例として、テキストデータ13a、画像管理データ13b、インデックスデータ13c、キーワードデータ13d及びマークデータ13eなどを記憶する。なお、図2に図示されたデータ以外にも、他の電子データ、例えば電子カルテシステムで用いられる各種の文書データなども併せて記憶することもできる。
テキストデータ13aは、紙文書の画像データがテキスト化されたデータである。かかるテキストデータ13aは、クライアント端末30からアップロードされた各ページ画像に含まれる文字がOCR処理によってテキストデータへ変換された後にページ画像単位で登録される。
画像管理データ13bは、紙文書が電子化された画像データを管理するためのメタデータである。かかる画像管理データ13bの一態様としては、画像ID(identifier)、利用者ID、ファイル名およびパスが対応付けられたデータを採用できる。ここで言う「画像ID」は、紙文書の画像データを識別する識別情報を指す。また、「利用者ID」は、利用者を識別する識別情報を指し、ここでは、紙文書を電子化した利用者を意味する。また、「ファイル名」は、紙文書の画像データのファイル名を指す。また、「パス」は、紙文書の画像データが格納されている格納場所を指す。
図3は、画像管理データ13bの一例を示す図である。図3の例では、画像ID「0000001」〜「0000002」の2つの画像データは、マエダ001によって電子化されたAAAAA論文及びBBBBB論文のPDF(Portable Document Format)ファイルであることを意味する。さらに、AAAAA論文のPDFファイルは、「\C\論文\AAAAA論文.pdf」に格納されており、また、BBBBB論文のPDFファイルは、「\C\論文\BBBBB論文.pdf」に格納されていることを意味する。また、画像ID「0000003」〜「0000005」の3つの画像データは、オガタ001、ヤマダ001及びカタオカ001によってそれぞれ電子化された医学学会資料AAA、医学学会資料BBB及び医学学会資料CCCのPDFファイルであることを意味する。同様に、医学学会資料AAA、医学学会資料BBB及び医学学会資料CCCのPDFファイルも図示のパスに格納されている。なお、ここでは、一例として、紙文書がPDFファイルへ変換される場合を例示したが、他の形式の画像データへ変換されることとしてもよい。例えば、スキャナに紙文書をTIFF(Tagged Image File Format)、JPEG(Joint Photographic Experts Group)やGIF(Graphic Interchange Format)などの画像データへ変換されることとしてもかまわない。
インデックスデータ13cは、紙文書の画像データに含まれる文字列を検索するインデックスが定義されたデータである。かかるインデックスデータ13cの一態様としては、画像ID、ページ番号、文字列、開始位置および文字数が対応付けられたデータを採用できる。ここで言う「ページ番号」は、紙文書の画像データに含まれるページ画像を識別する識別情報であり、ここでは、一例として、番号が用いられている。また、「文字列」は、OCR処理によってテキストデータの中から抽出された検索用の文字列を指し、例えば、医学用語を始め、キーワードによる検索への使用が想定される文字列が抽出される。また、「開始位置」とは、文字列が始まるページ画像上の位置を指し、例えば、紙文書の文字のレイアウトが横書きである場合には、文字列の左端の座標が用いられる。また、「文字数」とは、文字列が含む文字の数を指す。なお、以下では、説明の便宜上、ページ画像に含まれる各文字の大きさが同一である場合を想定し、ページ画像の幅方向(X方向)の座標値「1」が1文字の幅に対応し、ページ画像の高さ方向(Y方向)の座標値「1」が1文字の高さに対応する尺度を想定する。
図4は、インデックスデータ13cの一例を示す図である。図4に示すように、AAAAA論文のPDFファイルの1ページ目には、文字列1〜文字列N1のN1個の文字列が含まれている。このうち、文字列1は、AAAAA論文の画像データに含まれる1ページ目のページ画像上の座標(11,10)から始まって5文字つづくことを意味する。また、文字列2は、1ページ目のページ画像上の座標(16,10)から始まって3文字つづくことを意味する。また、文字列N1は、1ページ目のページ画像上の座標(33,50)から始まって3文字つづくことを意味する。また、図4に示すように、AAAAA論文のPDFファイルの2ページ目には、文字列1〜文字列N2のN2個の文字列が含まれていることを示す。このうち、文字列1は、AAAAA論文の画像データに含まれる2ページ目のページ画像上の座標(1,7)から始まって6文字つづくことを意味する。また、文字列2は、2ページ目のページ画像上の座標(7,7)から始まって5文字つづくことを意味する。また、文字列N2は、2ページ目のページ画像上の座標(36,50)から始まって2文字つづくことを意味する。
なお、ここでは、インデックスデータ13cが文字の位置情報を含む場合を例示したが、OCR処理によってXML形式やHTML形式で文字認識結果が出力される場合にはXMLファイルやHTMLファイルに文字の位置情報を含ませることとしてもよい。上記の「XML」は、「Extensible Markup Language」の略称であり、また、上記の「HTML」は、「HyperText Markup Language」の略称である。
キーワードデータ13dは、利用者が検索に用いるキーワードが定義されたデータである。例えば、キーワードデータ13dは、キーワードデータ13dに含まれるキーワードの中から検索に使用するキーワードを選択させることによってキーワードの指定を支援するために使用される。かかるキーワードデータ13dは、クライアント端末30を介して利用者にキーワードの追加や削除を編集させることとしてもよく、また、検索時に指定された新規のキーワードを登録することとしてもよい。
キーワードデータ13dの一態様としては、キーワードID、キーワード、利用者ID、重要度、登録日付及び検索日付などの項目が対応付けられたデータを採用できる。ここで言う「キーワードID」は、キーワードを識別する識別情報を指す。また、キーワードデータ13dに含まれる利用者IDは、病院の関係者を識別する識別情報であるが、ここではキーワードを用いた利用者を表す。また、「重要度」は、キーワードがどの程度重要であるかを表す度合いを指し、例えば、検索に用いられた頻度、例えば回数が用いられる。また、「登録日付」は、キーワードが登録された日付を指す。また、「検索日付」は、キーワードが検索に使用された日付を指し、例えば、検索に使用された日付の中でも最新の日付が登録される。
図5は、キーワードデータ13dの一例を示す図である。図5の例では、マエダ001は、「耳下腺がん」、「胃がん」及び「脳腫瘍」の3つのキーワードを検索に用いていることを意味する。このうち、キーワード「脳腫瘍」は、カタオカ001にも用いられている。このように、キーワードが同一であっても利用者が違えば異なるレコードが生成される場合がある。また、図5の例では、オガタ001は、キーワード「糖尿病」を検索に用いていることを意味する。また、図5の例では、ヤマダ001は、キーワード「皮膚がん」を検索に用いていることを意味する。
マークデータ13eは、検索のキーワードに対応するページ画像上の文字列への注目を促すマークに関するデータである。かかるマークの一例としては、付箋を採用することができる。例えば、マークデータ13eは、利用者によって検索に用いるキーワードが指定された場合に、当該キーワードに対応するページ画像上の文字列ごとに生成される。
かかるマークデータ13eの一態様としては、画像ID、利用者ID、ページ番号、キーワード、開始位置および長さなどの項目が対応付けられたデータを採用できる。マークデータ13eに含まれる利用者IDは、病院の関係者を識別する識別情報であるが、ここでは検索を実行する利用者を表す。また、「開始位置」は、ページ画像上における付箋の開始位置を指し、例えば、紙文書に含まれる文字のレイアウトが横書きである場合には、付箋の左端の座標が用いられる。また、「長さ」は、付箋の幅方向の長さを指す。なお、マークデータ13eのデータ構造は、上記の項目の例に限定されず、マークの表示色などの項目を併せて持つこととしてもかまわない。
図6は、マークデータ13eの一例を示す図である。図6には、インデックスデータ13cからキーワード「耳下腺がん」に対応する文字列が検索された場合を例示している。図6に示すように、画像ID「0000001」のAAAAA論文のPDFファイルの1ページ目には、2つの付箋が文字列に付される。すなわち、1ページ目のページ画像には、座標(12,10)を付箋の左端とし、左端からの幅方向の長さをL1とする付箋と、座標(34,50)を付箋の左端とし、左端からの幅方向の長さをL2とする付箋とが表示されることを意味する。また、図6に示すように、2ページ目にも、2つの付箋が文字列に付される。すなわち、2ページ目のページ画像には、座標(12,7)を付箋の左端とし、左端からの幅方向の長さをL3とする付箋と、座標(36,50)を付箋の左端とし、左端からの幅方向の長さをL4とする付箋とが表示されることを意味する。なお、図6の例では、キーワードが1つ指定された場合を例示したが、キーワードが複数指定された場合には、キーワードごとに付箋の開始位置及び長さが設定される。
なお、ここでは、検索が実行される度にマークデータ13eが生成される場合を例示したが、マークデータ13eは検索の前に生成しておくこともできる。例えば、サーバ装置10は、キーワードデータ13dに含まれる利用者ID及びキーワードごとにインデックスデータ13cのうち当該利用者IDを含むレコードを対象にキーワードに対応する文字列を検索する。その上で、サーバ装置10は、文字列別に当該文字列に対する付箋が定義されたマークデータ13eを予め生成しておくことができる。
制御部15は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部15は、図2に示すように、画像取得部15aと、OCR実行部15bと、受付部15cと、検出部15dと、マーク生成部15eと、表示制御部15fとを有する。
このうち、画像取得部15aは、クライアント端末30から画像データを取得する処理部である。一態様としては、画像取得部15aは、クライアント端末30からアップロードされる紙文書の画像データを取得する。すると、画像取得部15aは、紙文書の画像データに画像IDを採番するとともに画像データに含まれる各ページ画像にページ番号を採番する。そして、画像取得部15aは、紙文書の画像データを記憶部13へ格納する。その上で、画像取得部15aは、画像データの画像ID、送信元のクライアント端末30に関連付けられた利用者ID、画像データのファイル名及び画像データが格納された格納場所を示すパスを対応付けて記憶部13内の画像管理データ13bへ追加登録する。なお、画像取得部15aは、クライアント端末30から取得した紙文書の画像データをOCR実行部15bにも出力する。
OCR実行部15bは、OCRソフトウェアを実行する処理部である。一態様としては、OCR実行部15bは、紙文書の画像データに対し、各ページ画像に含まれる文字を認識した上で文字コードに変換するOCR処理を実行する。このようにOCR処理が実行されることによって、各ページ画像に含まれる文字のテキストデータ13aが得られるとともに、各ページ画像に含まれる文字列から利用者が指定するキーワードを検索するためのインデックスデータ13cが得られる。その後、OCR実行部15bは、テキストデータ13a及びインデックスデータ13cを記憶部13へ登録する。なお、ここでは、各ページ画像に含まれる文字をテキストファイルへ変換する場合を例示したが、HTMLファイル、XMLファイルやRTF(Rich Text Format)ファイルへ変換することとしてもよい。
なお、上記のOCR処理を実現するソフトウェアには、既知のアルゴリズムのものを任意に適用することができる。例えば、特定の位置に所定の事項が記入されることが定められているカルテ等の紙文書には、帳票用のOCRソフトウェアを適用できる。また、各種の資料や論文などのようにナレッジとして利用される紙文書には、全文テキスト化が得意なOCRソフトウェアを適用することもできる。また、ここでは、サーバ装置10でOCR処理を実行させる場合を例示したが、クライアント端末30に接続されたOCR機能付きのスキャナにOCR処理を実行させることもできる。
受付部15cは、紙文書の画像データに対する検索処理を受け付ける処理部である。一態様としては、受付部15cは、クライアント端末30から利用者が閲覧する紙文書の画像データのファイル名を受け付ける。さらに、受付部15cは、紙文書の画像データから検索に用いるキーワードの指定を受け付ける。このとき、受付部15cは、キーワードデータ13dに含まれるキーワードの中からクライアント端末30の利用者IDと同一の利用者IDを持つキーワードを自動抽出したり、キーワードの中から選択を受け付けることもできる。あるいは、受付部15cは、クライアント端末30を介してキーワードの入力を受け付けることとしてもかまわない。なお、受付部15cは、紙文書の画像データを表示している場合に所定のコマンド、例えば「Ctrl+F」を介してキーワードを受け付けたならば、表示中の画像データのファイル名は受け付けずともよい。
続いて、受付部15cは、先に受け付けたキーワードがキーワードデータ13dに未登録であるか否かを判定する。そして、受付部15cは、未登録のキーワードであった場合には、キーワードIDを採番し、キーワードID、未登録のキーワード及びクライアント端末30の利用者IDを対応付けて記憶部13内のキーワードデータ13dに追加登録する。このとき、キーワードデータ13dのレコードのうち重要度には、初期値「0」が設定されるとともに、登録日付には、未登録のキーワードを登録した日付が登録される。なお、受付部15cは、既登録のキーワードであった場合には、記憶部13への登録は実行されない。その後、受付部15cは、先に受け付けたキーワードに対応付けられている重要度を1つインクリメントする。
検出部15dは、紙文書の画像データに含まれる文字列からキーワードに対応するページ画像上の文字列を検出する処理部である。一態様としては、検出部15dは、テキストデータ13a及びインデックスデータ13dのうち少なくともいずれか1つを用いて、キーワードに対応するページ画像上の文字列を検索する。ここでは、一例として、インデックスデータ13dを用いて、キーワードに対応する文字列を検索する場合を例示する。検出部15dは、インデックスデータ13dに含まれる各ページ番号の全ての文字列を対象に、受付部15cによって受け付けられたキーワードがインデックスデータ13dに含まれる文字列と一致するか否かを繰り返し判定する。なお、ここで言う「一致」とは、キーワードとインデックスデータ13dに含まれる文字列とが完全に一致する完全一致の他、インデックスデータ13dに含まれる文字列にキーワードが包含される部分一致を含む。
マーク生成部15eは、キーワードに対応するページ画像上の文字列へ付すマークに関するマークデータ13eを生成する処理部である。一態様としては、マーク生成部15eは、検出部15dによる検索でキーワードがヒットした場合、すなわちキーワードと文字列が一致する場合に、付箋の開始位置及び長さを決定する。このとき、マーク生成部15eは、当該文字列の開始位置及び文字数から文字列の終了位置を求めてそこから水平方向へ1つシフトさせた位置を付箋の開始位置と決定する。さらに、マーク生成部15eは、キーワードがヒットしたページ番号に設定された付箋の終了位置から付箋の長さを決定する。
ここで、付箋の開始位置および長さの決定方法について説明する。図7は、付箋の開始位置および長さの決定方法の一態様を説明する図である。図7の例では、図3に示した画像管理データ13bに含まれるAAAAA論文の画像データからキーワード「耳下腺がん」を検索中に、キーワードが図4に示したインデックスデータ13cに含まれるページ番号「02」の文字列2と一致した状況を想定している。また、図7の例では、ページ番号が1つ増える度にレイヤが1つずつ下位に設定されるとともに、幅方向および高さ方向に0.5ずつシフトして各ページ画像をオーバーレイ表示させる場合を想定している。なお、本例では、紙文書の文字のレイアウトが横書きで1列40文字×50行であり、各ページ画像に含まれる右端の文字からページ画像の右端までの余白は「1」であるものとする。
図7に示すページ番号「01」のページ画像は、最前面のページ画像に該当し、ページ番号「02」及びページ番号「03」から見て前側のページ画像であると言える。また、ページ番号「02」のページ画像は、ページ番号「01」のページ画像からみて第1のページ画像に該当し、ページ番号「03」から見て前側のページ画像であるとも言える。なお、図7の例では、説明の便宜上、第1のページ画像であるページ番号「02」のページ画像を実線で図示し、前後のページ画像を点線で図示し、第1のページ画像を透過させて図示しているが、実際にはページ番号「01」のページ画像で遮られている部分は隠れることになる。
図7に示すように、ページ番号「02」の文字列2の開始位置が座標(7,7)であり、かつ文字数が「5」である場合には、文字列2の開始位置を含めて5文字分の領域に「耳下腺がん」が表示されることになるので、当該文字列2の終了位置は座標(11,7)と算出できる。このため、文字列2の終了位置(11,7)から水平方向へ1つシフトさせた位置(12,7)がページ番号「02」の文字列2へ付す付箋の開始位置Stと決定される。
一方、ページ番号「02」の文字列2へ付す付箋の長さLは、付箋の開始位置St及びページ番号別に設定された付箋の終了位置Eから算出される。ここで、オーバーレイ表示がなされる各ページ画像間でページ画像に含まれる文字列に付される付箋同士が完全に重複して隠れないように、ページ画像間で異なる終了位置が予め定義されている。すなわち、下位のレイヤに表示されるページ画像の付箋ほど付箋の終了位置が右側になり、かつ同じページ画像に付される付箋の終了位置が同一または略同一になるように付箋の終了位置が定義されている。例えば、ページ番号「01」に付される付箋の終了位置は、ページ番号「02」の右端と同じ位置とし、ページ番号「02」に付される付箋の終了位置は、ページ番号「03」の右端と同じ位置とし、ページ番号が増える度に同じ割合で付箋の終了位置が右側にシフトして設定されている場合を想定する。
この場合には、図7に示すように、ページ番号「02」の余白までは、紙文書の文字のレイアウトが横書きで1列40文字×50行であるので、幅方向に残り「29」の距離がある。さらに、余白の幅方向の大きさが「1」であり、オーバーレイ表示によってページ番号「03」のページ画像が幅方向に0.5シフトして表示されるので、付箋の開始位置Stから付箋の終了位置Eまでの長さLは「30.5(=29+1+0.5)」と算出できる。このようにして、付箋の開始位置St及び長さLが決定されることなる。
付箋の開始位置および長さの決定後に、マーク生成部15eは、付箋の表示色を決定する。一態様としては、マーク生成部15eは、利用者によって指定されたキーワードの重要度が高いほど警告度が高い色を付箋の表示色に選択する。例えば、マーク生成部15eは、重要度が「1」〜「49」である場合に付箋の表示色を「白色」、重要度が「50」〜「99」である場合に付箋の表示色を「黄色」、重要度が「100」以上である場合に付箋の表示色を「赤色」と決定する。他の一態様としては、マーク生成部15eは、各ページ画像間で付箋の表示部分が重複する場合に、下位のレイヤに位置するページ画像に付される付箋ほど輝度を低く設定することもできる。かかる付箋の重複は、今回に付箋を付すページ画像のレイヤよりも上位のレイヤの付箋との間で開始位置のY座標を比較することによって判定する。このとき、オーバーレイ表示によって高さ方向にシフトされる値にレイヤの階層差を乗じたものを上位のレイヤの付箋の開始位置のY座標に足し込むか、あるいは今回に付す付箋の開始位置のY座標から引き込むことによっていずれかのレイヤのY座標の値に換算することによって互いのY座標値が比較可能となる。
そして、マーク生成部15eは、画像ID、利用者ID、ページ番号、キーワード、付箋の開始位置、長さ及び表示色が対応付けられたマークデータ13eを生成した上で記憶部13へ登録する。その後、マーク生成部15eは、全ページ番号の文字列について検出部15eによる検索が終了するまで、キーワードがヒットする度にマークデータ13eを生成する処理を実行する。なお、キーワードが複数指定されている場合には、マークデータ13eは、さらにキーワードごとに生成される。
表示制御部15fは、クライアント端末30に対する表示制御を実行する処理部である。一態様としては、表示制御部15fは、全ページ番号の文字列について検出部15dによる検索が終了した場合に、次のような処理を実行する。すなわち、表示制御部15fは、マーク生成部15eによって生成されたマークデータ13eを用いて、受付部15cによって受け付けられた画像IDの画像データに含まれる各ページ画像をオーバーレイ表示させるとともに、キーワードに対応するページ画像上の文字列に付箋を表示させた画面をクライアント端末30に表示させる。このとき、表示制御部15fは、既にオーバーレイ表示が実行済みである場合には、付箋の表示だけを実行する。
図8は、付箋の表示例を示す図である。図8に示すように、キーワード「胃がん」に対応する文字列は、赤色、図中では右肩下がりの斜線の塗りつぶしで表示されている。さらに、キーワード「脳腫瘍」に対応する文字列は、黄色、図中では縦線の塗りつぶしで表示されている。さらに、キーワード「耳下腺がん」に対応する文字列は、白色、図中では右肩上がりの斜線の塗りつぶしで表示されている。このため、キーワード「胃がん」、「脳腫瘍」及び「耳下腺がん」の中でも警告度が高い色で表示された「胃がん」の文字列を見つけやすくすることができる。さらに、図8に示すように、下位のレイヤに表示されるページ画像の付箋ほど付箋の終了位置が右側になり、かつ同じページ画像に付される付箋の終了位置が同一または略同一になるように付箋が表示されている。それゆえ、たとえページ画像間で付箋が一部重複したとしても完全重複はしないので、ページ画像間で付箋が重複しない付箋の終了位置を目視することによって各々の付箋を見つけることができる。また、図8に示すように、キーワードに対応する文字列の終了位置から水平方向にシフトした位置に付箋が表示されるので、キーワード直前の文字列を隠さずに付箋を表示できる結果、紙文書におけるキーワードの使い方を把握しやすくできる。
なお、制御部15には、各種の集積回路や電子回路を採用できる。また、制御部15が有する機能部の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ASIC(Application Specific Integrated Circuit)が挙げられる。また、電子回路としては、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などが挙げられる。
[処理の流れ]
図9は、実施例1に係る表示制御処理の手順を示すフローチャートである。この表示制御処理は、クライアント端末30から閲覧対象とする画像データのファイル名の指定を受け付けた場合に処理が起動される。
図9に示すように、受付部15cは、クライアント端末30から利用者が閲覧する紙文書の画像データのファイル名の指定を受け付けると(ステップS101)、紙文書の画像データから検索に用いるキーワードの指定をさらに受け付ける(ステップS102)。続いて、受付部15cは、ステップS102で受け付けたキーワードがキーワードデータ13dに未登録であるか否かを判定する(ステップS103)。
このとき、未登録のキーワードである場合(ステップS103,Yes)には、受付部15cは、次のような処理を実行する。すなわち、受付部15cは、キーワードIDを採番し、キーワードID、未登録のキーワード及びクライアント端末30の利用者IDを対応付けて記憶部13内のキーワードデータ13dに新規登録する(ステップS104)。なお、既登録のキーワードである場合(ステップS103,No)には、ステップS104の処理をとばし、ステップS105の処理へ移行する。その後、受付部15cは、ステップS102で受け付けたキーワードに対応付けられている重要度を1つインクリメントする(ステップS105)。
続いて、検出部15dは、インデックスデータ13dに含まれる文字列のうちステップS101で指定された画像データが含む文字列から、ステップS102で受け付けたキーワードに対応するページ画像上の文字列を検索する(ステップS106)。なお、キーワードがヒットしない場合、すなわちキーワードと文字列が一致しない場合(ステップS107,No)には、ステップS108〜ステップS110までの処理をとばし、ステップS111の処理へ移行する。
このとき、キーワードがヒットした場合、すなわちキーワードと文字列が一致する場合(ステップS107,Yes)には、マーク生成部15eは、次のような処理を実行する。すなわち、マーク生成部15eは、当該文字列の開始位置及び文字数から付箋の開始位置を決定するとともに、キーワードがヒットしたページ番号に設定された付箋の終了位置から付箋の長さを決定する(ステップS108)。
そして、マーク生成部15eは、キーワードデータ13dに設定されたキーワードの重要度に応じて付箋の表示色を決定する(ステップS109)。その上で、マーク生成部15eは、画像ID、利用者ID、ページ番号、キーワード、付箋の開始位置、長さ及び表示色が対応付けられたマークデータ13eを生成した上で記憶部13へ登録する(ステップS110)。
その後、インデックスデータ13dに含まれる全ページ番号の文字列に対する検索が終了するまで(ステップS111,No)、上記のステップS106〜ステップS110までの処理を繰り返し実行する。
そして、インデックスデータ13dに含まれる全ページ番号の文字列に対する検索が終了すると(ステップS111,Yes)、表示制御部15fは、ステップS110で生成されたマークデータ13eを用いて、次のような表示制御を実行する。すなわち、表示制御部15fは、ステップS102で受け付けた画像IDの画像データに含まれる各ページ画像をオーバーレイ表示させるとともに、キーワードに対応するページ画像上の文字列に付箋を表示させた画面をクライアント端末30に表示させ(ステップS112)、処理を終了する。
[実施例1の効果]
上述してきたように、本実施例に係るサーバ装置10は、オーバーレイ表示において、最前面以外の位置に配置される第1のページ画像に対応する表示データに、所定のデータが含まれることを検出する。さらに、サーバ装置10は、第1のページ画像のうち、オーバーレイ表示において、該第1のページ画像より前側のページ画像によって隠れない部分にマークを表示する。このため、本実施例に係るサーバ装置10では、利用者に各ページ画像に表示されたマークを目視させることができる。したがって、本実施例に係るサーバ装置10によれば、複数のページにわたる紙文書の画像に含まれる閲覧目標の文字列の所在位置を見易く表示できる。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像取得部15a、OCR実行部15b、受付部15c、検出部15d、マーク生成部15eまたは表示制御部15fをサーバ装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、画像取得部15a、OCR実行部15b、受付部15c、検出部15d、マーク生成部15eまたは表示制御部15fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置10の機能を実現するようにしてもよい。
[表示制御プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図10を用いて、上記の実施例と同様の機能を有する表示制御プログラムを実行するコンピュータの一例について説明する。
図10は、実施例1及び実施例2に係る表示制御プログラムを実行するコンピュータの一例について説明するための図である。図10に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
HDD170には、図10に示すように、上記の実施例1で示した受付部15c、検出部15d、マーク生成部15e及び表示制御部15fと同様の機能を発揮する表示制御プログラム170aが予め記憶される。この表示制御プログラム170aについては、図2に示した各々の受付部15c、検出部15d、マーク生成部15e及び表示制御部15fの各構成要素と同様、適宜統合又は分離しても良い。すなわち、HDD170に格納される各データは、常に全てのデータがHDD170に格納される必要はなく、処理に必要なデータのみがHDD170に格納されれば良い。
そして、CPU150が、表示制御プログラム170aをHDD170から読み出してRAM180に展開する。これによって、図10に示すように、表示制御プログラム170aは、表示制御プロセス180aとして機能する。この表示制御プロセス180aは、HDD170から読み出した各種データを適宜RAM180上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、表示制御プロセス180aは、図2に示した受付部15c、検出部15d、マーク生成部15e及び表示制御部15fにて実行される処理、例えば図9に示す処理を含む。また、CPU150上で仮想的に実現される各処理部は、常に全ての処理部がCPU150上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
なお、上記の表示制御プログラム170aについては、必ずしも最初からHDD170やROM160に記憶させておく必要はない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ100がこれらから各プログラムを取得して実行するようにしてもよい。
1 文書管理システム
5 ネットワーク
10 サーバ装置
11 通信I/F部
13 記憶部
13a テキストデータ
13b 画像管理データ
13c インデックスデータ
13d キーワードデータ
13e マークデータ
15 制御部
15a 画像取得部
15b OCR実行部
15c 受付部
15d 検出部
15e マーク生成部
15f 表示制御部
30A,30B,30C クライアント端末

Claims (6)

  1. コンピュータに、複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された複数のページ画像のそれぞれ所定の方向にずらしてオーバーレイ表示させる処理を実行させる表示制御プログラムにおいて、
    前記オーバーレイ表示において、最前面以外の位置に配置される第1のページ画像に対応する表示データに、所定のデータが含まれることを検出し、
    前記第1のページ画像のうち、前記オーバーレイ表示において、前記第1のページ画像より前側のページ画像によって隠れない特定の部分にマークを表示する、
    処理を前記コンピュータに実行させ
    前記第1のページ画像を前面表示された場合に、前記マークは、前記第1のページ画像のうち、前記特定の部分に対応する位置から前記所定のデータの表示位置まで表示される、
    とを特徴とする表示制御プログラム。
  2. 前記マークは、付箋の形態に対応する表示であることを特徴とする請求項1に記載の表示制御プログラム。
  3. 前記マークは、前側のページ画像によって隠れない部分であって、後ろのページ画像の更に後ろのページ画像を隠さない位置に表示されることを特徴とする請求項1または2に記載の表示制御プログラム。
  4. 前記マークは、前記第1のページ画像において、前記所定のデータの表示位置水平な方向に表示されることを特徴とする請求項1、2または3に記載の表示制御プログラム。
  5. コンピュータが、複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された複数のページ画像のそれぞれ所定の方向にずらしてオーバーレイ表示させる処理を実行する表示制御方法において、
    前記オーバーレイ表示において、最前面以外の位置に配置される第1のページ画像に対応する表示データに、所定のデータが含まれることを検出し、
    前記第1のページ画像のうち、前記オーバーレイ表示において、前記第1のページ画像より前側のページ画像によって隠れない特定の部分にマークを表示する、
    処理を前記コンピュータが実行し、
    前記第1のページ画像を前面表示された場合に、前記マークは、前記第1のページ画像のうち、前記特定の部分に対応する位置から前記所定のデータの表示位置まで表示される、
    とを特徴とする表示制御方法。
  6. 複数の文字情報表示媒体のそれぞれに表示された表示内容を読み取って得られた表示データに基づいて生成された複数のページ画像のそれぞれ所定の方向にずらしてオーバーレイ表示させる表示制御装置において、
    前記オーバーレイ表示において、最前面以外の位置に配置される第1のページ画像に対応する表示データに、所定のデータが含まれることを検出する検出部と、
    前記第1のページ画像のうち、前記オーバーレイ表示において、前記第1のページ画像より前側のページ画像によって隠れない特定の部分にマークを表示する表示制御部と、
    を有し、
    前記第1のページ画像を前面表示された場合に、前記マークは、前記第1のページ画像のうち、前記特定の部分に対応する位置から前記所定のデータの表示位置まで表示される、
    とを特徴とする表示制御装置。
JP2012251695A 2012-11-15 2012-11-15 表示制御プログラム、表示制御方法及び表示制御装置 Active JP6011262B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012251695A JP6011262B2 (ja) 2012-11-15 2012-11-15 表示制御プログラム、表示制御方法及び表示制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012251695A JP6011262B2 (ja) 2012-11-15 2012-11-15 表示制御プログラム、表示制御方法及び表示制御装置

Publications (2)

Publication Number Publication Date
JP2014099119A JP2014099119A (ja) 2014-05-29
JP6011262B2 true JP6011262B2 (ja) 2016-10-19

Family

ID=50941061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012251695A Active JP6011262B2 (ja) 2012-11-15 2012-11-15 表示制御プログラム、表示制御方法及び表示制御装置

Country Status (1)

Country Link
JP (1) JP6011262B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7377046B2 (ja) * 2019-09-26 2023-11-09 キヤノン株式会社 情報処理装置およびその制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05165595A (ja) * 1991-12-12 1993-07-02 Hitachi Ltd 文書管理検索方法及びこれを用いたデータ処理システム
JPH08292861A (ja) * 1995-04-20 1996-11-05 Fuji Xerox Co Ltd 付箋表示制御装置
JP4385770B2 (ja) * 2004-01-14 2009-12-16 富士ゼロックス株式会社 電子付箋管理装置
JP5415736B2 (ja) * 2008-10-01 2014-02-12 キヤノン株式会社 文書処理システム及びその制御方法、プログラム、記憶媒体
JP5532740B2 (ja) * 2009-08-19 2014-06-25 富士ゼロックス株式会社 文書処理装置、及び文書処理プログラム

Also Published As

Publication number Publication date
JP2014099119A (ja) 2014-05-29

Similar Documents

Publication Publication Date Title
US7715625B2 (en) Image processing device, image processing method, and storage medium storing program therefor
JP4945813B2 (ja) 印刷構造化文書
TWI536798B (zh) 影像分檔方法
JP2009301335A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2009169536A (ja) 情報処理装置、画像形成装置、ドキュメント生成方法、ドキュメント生成プログラム
JP2014010722A (ja) 検索装置および検索方法、ならびに、プログラム
JP5962449B2 (ja) 判定プログラム、判定方法及び判定装置
JP6262708B2 (ja) 深い検索性を有するオブジェクト化及びハードコピーからオリジナルの電子ファイルを検出するドキュメント検出方法
US9864750B2 (en) Objectification with deep searchability
JP6011262B2 (ja) 表示制御プログラム、表示制御方法及び表示制御装置
JP7208608B2 (ja) 書類処理装置、書類処理方法、およびプログラム
JP2009075678A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2009093389A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4934181B2 (ja) 付加画像処理システム、画像形成装置及び付加画像追加方法
JP2006252455A (ja) ファイル管理装置、ファイル管理方法及びファイル管理プログラム
JP2017037437A (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP5310206B2 (ja) 文書処理装置、文書処理方法および文書処理プログラム
JPH10162024A (ja) 電子ファイリング方法及び電子ファイリング装置
JP2008305089A (ja) 文書処理方法、文書処理プログラム、および文書処理装置
JP6303742B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2004280514A (ja) Pdfファイル及びpdfファイル作成システム
JP5345049B2 (ja) 検索サーバ及びその制御方法、並びに検索システム
JP5414615B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5298484B2 (ja) 文書処理装置
JP6175414B2 (ja) 文書処理装置および文書処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160905

R150 Certificate of patent or registration of utility model

Ref document number: 6011262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150