JPH09204444A

JPH09204444A - 情報処理システム及びこのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記録媒体

Info

Publication number: JPH09204444A
Application number: JP8306871A
Authority: JP
Inventors: Toru Okawa; 徹大川; Yasuo Sato; 泰雄佐藤; Ryuichi Matsukura; 隆一松倉
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-11-22
Filing date: 1996-11-18
Publication date: 1997-08-05
Anticipated expiration: 2016-11-18
Also published as: JP4388142B2

Abstract

(57)【要約】【課題】本発明の課題は、画像データや音声データ等の
非コード化データに基づいた検索処理を行なうことので
きる情報処理システムを提供することである。【解決手段】文書に含まれる非コード化データを抽出す
る抽出手段と、抽出された非コード化データから該非コ
ード化データの特徴を表すラベル情報を生成するラベル
情報生成手段と、上記文書を生成されたラベル情報に対
応付けて管理する管理手段と、検索キーとしてラベル情
報が指定されたときに、指定されたラベル情報に実質的
に同一となるラベル情報に対応付けられるように管理さ
れる文書を上記管理手段にて管理される文書群から検索
する検索手段とを有する情報処理システムにて上記課題
が解決される。

Description

【発明の詳細な説明】

【０００１】

【発明の技術分野】本発明は、画像データ、音声データ
等のコード化されない非コード化データを含む文書を処
理する情報処理システムに係り、詳しくは、このような
非コード化データに基づいた検索処理を可能とする情報
処理システムに関する。また、そのようなシステムでの
処理をコンピュータに行なわせるためのプログラムを格
納した記録媒体に関する。

【０００２】

【従来の技術】文書の作成、編集、検索等の処理を行な
う情報処理システムでは、文字、記号列等のコード化さ
れたコード化データ、及び画像、音声等のコード化され
ない非コード化データを処理の対象としている。このよ
うなシステムでの検索処理は、ある文書においてその文
書を構成するコード化された文字、記号列からある特定
の文字、記号（列）を検索したり、蓄積した文書群から
ある特定のコード化された文字、記号（列）（キーワー
ド）を含む文書を検索するものである。

【０００３】

【発明が解決しようとする課題】しかし、従来の情報処
理システムでは、画像データや音声データ等の非コード
化データに基づいた検索処理を行なうことができない。
例えば、ある文書から特定の画像、音声を検索したり、
また、蓄積された文書群からある特定の画像や音声を含
む文書を検索することができない。

【０００４】そこで、本発明の第一の課題は、画像デー
タや音声データ等の非コード化データに基づいた検索処
理を行なうことのできる情報処理システムを提供するこ
とである。また、本発明の第二の課題は、そのような情
報処理システムでの処理をコンピュータに行なわせるた
めのプログラムを格納した記録媒体を提供することであ
る。

【０００５】

【課題を解決するための手段】上記第一の課題を解決す
るため、本発明は、請求項１に記載されるように、コー
ド化されていない非コード化データを含む文書を処理す
る情報処理システムにおいて、文書に含まれる非コード
化データを抽出する抽出手段と、該抽出手段にて抽出さ
れた非コード化データから該非コード化データの特徴を
表すラベル情報を生成するラベル情報生成手段と、上記
文書をラベル情報生成手段にて生成されたラベル情報に
対応付けて管理する管理手段と、検索キーとしてラベル
情報が指定されたときに、指定されたラベル情報に一致
するラベル情報に対応付けられるように管理される文書
を上記管理手段にて管理される文書群から検索する検索
手段とを有するように構成される。

【０００６】このような情報処理システムでは、各文書
が、当該文書から抽出された非コード化データを表すラ
ベル情報と関連付けられて管理される。そして、その検
索キーとしてあるラベル情報が提供されると、このラベ
ル情報と実質的に同一となるラベル情報に対応付けられ
るように管理された文書が文書群から検索される。

【０００７】上記非コード化データは、画像データ、音
声データを含む。実質的に同一であるとは、完全に同一
である場合と、所定の基準に従って同一であるとみなせ
る程度類似する場合とを含む。上記情報処理システムに
ついて上記第二の課題を解決するため、本発明は、請求
項６に記載されるように、コード化されていない非コー
ド化データを含む文書を処理する情報処理システムでの
処理をコンピュータに行なわせるためのプログラムを格
納した記録媒体において、該プログラムは、文書に含ま
れる非コード化データを抽出するための抽出プログラム
手段と、該抽出プログラム手段に従った処理にて抽出さ
れた非コード化データから該非コード化データの特徴を
表すラベル情報を生成するためのラベル情報生成プログ
ラム手段と、上記文書とラベル情報生成プログラム手段
に従った処理にて生成されたラベル情報との対応関係
を、文書をラベル情報に対応付けて管理する管理手段に
提供するためのプログラム手段と、検索キーとしてラベ
ル情報が指定されたときに、指定されたラベル情報に実
質的に同一となるラベル情報に対応付けられるように管
理される文書を上記管理手段にて管理される文書群から
検索するための検索プログラム手段とを有するように構
成される。

【０００８】また、上記情報処理システムにおいて、実
際の文書に対応付けられたラベル情報を容易に検索キー
として指定できるようにするという観点から、本発明
は、請求項２に記載されるように、更に、管理手段にて
管理される各文書に対応したラベル情報の一覧表を表示
手段に表示させるラベル一覧表示制御手段を有し、該表
示手段に表示されたラベル情報の一覧表から選択された
ラベル情報を検索キーとして指定されたラベル情報とす
るように構成できる。

【０００９】このような情報処理システムでは、現在管
理手段にて管理される各文書に対応したラベル情報の一
覧表が表示手段に表示される。そして、例えば、ユーザ
がその一覧表から１つのラベル情報を選択すると、その
ラベル情報が検索キーとして上記検索手段での処理に用
いられる。

【００１０】このような情報処理システムについて上記
第二の課題を解決するため、本発明は、請求項７に記載
されるように、請求項６記載の記録媒体において、該プ
ログラムは、更に、管理手段にて管理される各文書に対
応したラベル情報の一覧表を表示手段に表示させるため
のラベル一覧表示制御プログラム手段を有し、該表示手
段に表示されたラベル情報の一覧表から選択されたラベ
ル情報を検索キーとして指定されたラベル情報とするよ
うに構成される。

【００１１】更に、上記第一の課題を解決するため、本
発明は、請求項３に記載されるように、コード化されて
いない非コード化データを含む文書を処理する情報処理
システムにおいて、検索指令がなされたときに、指定さ
れた文書に含まれる非コード化データを抽出する抽出手
段と、該抽出手段にて抽出された非コード化データから
該非コード化データの特徴をを表すラベル情報を生成す
るラベル情報生成手段と、上記検索指令と供に提供され
る検索キーとしてのラベル情報と上記ラベル情報生成手
段にて生成されたラベル情報とが実質的に同一であるか
否かを判定する判定手段とを有し、該判定手段が両ラベ
ル情報が実質的に同一であると判定したときに、その判
定結果に基づいた検索結果が得られるように構成され
る。

【００１２】このような情報処理システムでは、検索指
令がなされたときに、指定された文書から非コード化デ
ータが抽出され、その抽出された非コード化データから
ラベル情報が生成される。そして、その生成されたラベ
ル情報が検索キーとして提供されたラベル情報と実質的
に同一であると判定されると、その判定結果に基づいた
検索結果が得られる。

【００１３】この判定結果に基づいた検索結果とは、そ
の判定結果から合理的に得られる検索結果である。例え
ば、検索キーとして提供されたラベル情報と実質的に同
一となるラベル情報の元となる非コード化データ（画像
データ等）や、その非コード化データ（画像データ等）
を含む当該指定された文書が検索結果として得られる。

【００１４】上記のような情報処理システムについて上
記第二の課題を解決するめ、本発明は、請求項８に記載
されるように、コード化されていない非コード化データ
を含む文書を処理する情報処理システムでの処理をコン
ピュータに行なわせるためのプログラムを格納した記録
媒体において、該プログラムは、検索指令がなされたと
きに、指定された文書に含まれる非コード化データを抽
出するための抽出プログラム手段と、該抽出プログラム
手段に従った処理にて抽出された非コード化データから
該非コード化データの特徴を表すラベル情報を生成する
ためのラベル情報生成プログラム手段と、上記検索指令
と供に提供される検索キーとしてのラベル情報と上記ラ
ベル情報生成プログラム手段に従った処理にて生成され
たラベル情報とが実質的に同一であるか否かを判定する
ための判定プログラム手段とを有し、該判定プログラム
手段に従った処理において両ラベル情報が実質的に同一
であると判定されたときに、当該判定結果に基づいた検
索結果が得られるよう構成される。

【００１５】上述した各情報処理システムにおいて、特
に、画像データに基づいた検索処理を可能にするという
観点から、本発明は、請求項４に記載されるように、上
記抽出手段は、画像データを非コード化データとして抽
出するように構成される。この情報処理システムについ
て上記第二の課題を解決するため、本発明は、請求項９
に記載されるように、請求項６乃至８いずれか記載の記
録媒体において、上記プログラムにおける抽出プログラ
ム手段が画像データを非コード化データとして抽出する
ように構成される。

【００１６】更に、文書の所定の領域に記述した非コー
ド化データに基づいて分類された文書を検索することが
できるという観点から、本発明は、請求項５に記載され
るように、上記抽出手段は、文書の予め定めた領域に記
述された非コード化データを抽出するように構成され
る。

【００１７】このような情報処理システムでは、常に、
文書の予め定めた領域から非コード化データが抽出され
る。その抽出された非コード化データからラベル情報が
生成される。そして、そのラベル情報が検索キーとして
提供されるラベル情報と実質的に同一の場合、その文書
を検索結果として得ることができる。従って、同じ分類
に属する文書の当該予め定めた領域に同じ非コード化デ
ータを記述しておけば、検索結果として、当該同じ分類
に属する文書を得ることができる。

【００１８】この情報処理システムについて上記第二の
課題を解決するため、本発明は、請求項１０に記載され
るように、請求項６乃至９いずれか記載の記録媒体にお
いて、上記プログラムにおける抽出プログラム手段が文
書の予め定めた領域に記述された非コード化データを抽
出するように構成される。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。本発明の実施の一形態に係る情報
処理システムは、コンピュータシステムにて構築され、
その機能的な構成は、例えば、図１に示すようになる。
この情報処理システムでは、画像データ及び音声データ
の少なくとも一方で構成されるメディアデータを含む文
書が処理（作成、編集、検索等）される。図１におい
て、情報処理システム１は、文書管理ユニット１０、管
理ユニット１１、表示ユニット１２、音声出力ユニット
１３、入力ユニット１４、入出力制御ユニット１５、特
徴抽出ユニット１６、圧縮ユニット１７、表示制御ユニ
ット１８及び検索ユニット１９を有している。

【００２０】文書管理ユニット１０は、当該システムに
て扱われる文書（メディアデータを含む）を管理する。
管理ユニット１１は、文書管理ユニット１０にて管理さ
れる文書と後述するようなラベル情報との関係を管理す
る。表示ユニット１２は、文書管理ユニット１０によっ
て管理される文書等を表示する。音声出力ユニット１３
は、文書管理ユニット１０によって管理される文書に含
まれるメディアデータが音声データにて構成される場
合、その音声データに基づいた音声を出力する。入力ユ
ニット１４は、メディアデータを含む文書や、検索キー
となるデータを当該システムに入力する。

【００２１】入出力制御ユニット１５は、表示ユニット
１２、音声出力ユニット１３及び入力ユニット１４との
間のインタフェース処理を行なう。文書管理ユニット１
０にて管理される文書が入出力制御ユニット１５を介し
て表示ユニット１２に提供され、該文書が表示ユニット
１２に表示される。文書管理ユニット１０にて管理され
る文書に含まれる音声データ（メディアデータ）が入出
力制御ユニット１５を介して音声出力ユニット１３に提
供され、該音声データに基づいた音声が音声出力ユニッ
ト１３から出力される。また、入力ユニット１４によっ
て入力された文書が入出力制御ユニット１５を介して文
書管理ユニット１０に提供され、その提供された文書が
文書管理ユニット１０にて管理される。

【００２２】特徴抽出ユニット１６は、文書管理ユニッ
ト１０にて管理される文書からメディアデータを抽出
し、そのメディアデータから更にそのメディアデータの
特徴を表す特徴データを抽出する。その特徴データがラ
ベル情報として管理ユニット１１に提供される。例え
ば、あるパターンを有するメディアデータの場合、その
パターンの持つ周波数成分量が特徴データとして算出さ
れる。また、例えば、メディアデータが画像データにて
構成される場合、その画像に含まれる画像の塊（文字、
記号等）の数で定義されるブロック数が特徴データとし
て抽出される。更にまた、例えば、メディアデータが音
声データにて構成される場合、その音声データの主周波
数成分値（例えば、８ＫＨｚ等）が特徴データとして抽
出される。

【００２３】文書管理ユニット１０にて管理される文書
から抽出されるメディアデータが画像データにて構成さ
れる場合、圧縮ユニット１７は、その抽出された画像デ
ータの一部または全部を縮小（所定の大きさに正規化）
した縮小データを生成し、または、画像データを単純化
して表す骨組みデータを算出する。この骨組みデータ
は、例えば、画像データを単純化した、三角形、四角
形、丸等を表す。そして、圧縮ユニット１７にて生成ま
たは算出された縮小データまたは骨組みデータは、ラベ
ル情報として管理ユニット１１に提供される。

【００２４】上記特徴抽出ユニット１６や圧縮ユニット
１７からのラベル情報の提供を受ける管理ユニット１１
は、そのラベル情報の元となるメディアデータを含む文
書と当該ラベル情報との対応関係を管理する。即ち、ラ
ベル情報を指定すると、管理ユニット１１にて管理され
る対応関係に基づいて、その指定されたラベル情報に対
応する文書が特定される。

【００２５】表示制御ユニット１８は、管理ユニット１
１にて各文書との関係が管理されるラベル情報の一覧表
を作成し、そのラベル情報の一覧表を表示ユニット１２
に表示させる。この表示ユニット１２に表示されたラベ
ル情報の一覧表は、検索処理において検索キーを選択す
るために用いられる。

【００２６】検索ユニット１９は、入力ユニット１４か
ら入力される検索キーに対応した文書を文書管理ユニッ
ト１０にて管理される文書群から検索する。具体的に
は、検索キーと実質的に同一なラベル情報を管理ユニッ
ト１１にて文書との対応関係が管理されているラベル情
報から検索し、検索されたラベル情報と対応関係のある
文書を特定する。そして、その特定された文書が検索結
果として得られる。

【００２７】上述したように、表示制御ユニット１８の
制御に基づいて表示ユニット１２に管理ユニット１１に
おいて文書との対応関係が管理されるラベル情報の一覧
表を表示させてもよい。この場合、入力ユニット１２に
よって、その一覧表から１つのラベル情報を選択する操
作を行なうと、そのラベル情報が検索ユニット１９に提
供される。検索ユニット１９は、この提供されたラベル
情報を検索キーとして上記と同様の処理を行なう。

【００２８】上記のように文書管理ユニット１０にて管
理される文書とラベル情報との対応関係を管理する管理
ユニット１１を特に設けなくてもよい。この場合、検索
ユニット１９は、文書管理ユニット１０にて管理される
文書を特定し、その特定された文書から抽出されるメデ
ィアデータから特徴抽出ユニット１６または圧縮ユニッ
ト１７にて生成されるラベル情報を得る。そして、検索
ユニット１９は、更に、このラベル情報と入力された検
索キーとが実質的に同一であるか否かを判定する。

【００２９】これらが実質的に同一である場合、検索ユ
ニット１９は、このラベル情報の元となるメディアデー
タを検索結果として出力することができる。この処理
は、特定された文書から検索キーに一致するメディアデ
ータを検索する処理に対応する。また、このラベル情報
の元となるメディアデータを含む文書を検索結果として
出力することができる。この処理は、検索キーに一致す
るラベル情報の元となるメディアデータを含む文書を文
書管理ユニット１０にて管理される文書の中から検索す
る処理に対応する。

【００３０】上述したような機能を有する情報処理シス
テムによれば、コード化されていないメディアデータの
特徴を表すラベル情報が該メディアデータを含む文書と
対応付けられるので、該ラベル情報に基づいた検索処理
が可能となる。その結果、該ラベル情報の元となるメデ
ィアデータ（非コード化データ）に基づいた検索処理が
実質的に可能となる。

【００３１】次に、更に具体的なシステムについて説明
する。図２は、情報処理システムのハードウエア構成を
示す。このシステムは、例えば、手書き入力可能な携帯
用コンピュータ端末装置内に構成される。図２におい
て、システムは、それぞれバスに接続されたＣＰＵ（中
央演算処理ユニッ）２０、ＲＯＭ（読み出し専用メモ
リ）２１、メモリユニット２２、手書き入力装置２３、
キーボード装置２４、表示装置２５及びファイル格納ユ
ニット２６を有している。

【００３２】ＲＯＭ２１には、種々のプログラムが格納
されている。ＲＯＭ２１内に格納されたプログラムに
は、本発明にかかるシステムでの処理を行うためのプロ
グラムが含まれている。即ち、このＲＯＭ２１は、本発
明に係る記録媒体に対応する。ＣＰＵ２１は、ＲＯＭ２
０に格納されたプログラムに従って、文書作成処理、文
書編集処理、文書管理処理、文書検索処理等の種々の処
理を実行する。

【００３３】メモリユニット２２は、ＣＰＵ２０での処
理にて得られたデータを格納したり、作業メモリ等とし
て使用される。手書き入力装置２３は、タッチペンを用
いて手書き線画像や手書き文字等の入力に使用される。
キーボード装置２４は、キー操作によって文字、記号の
コード入力を行うために使用される。表示装置２５は、
例えば、液晶表示パネルで構成され、システム内で作
成、編集される文書等を表示する。ファイル格納ユニッ
ト２６は、例えば、ＥＥＰＲＯＭや、バックアップ付き
のＲＡＭ等で構成され、システム内で作成された文書、
テーブル等を格納する。

【００３４】上記のようなシステムでは、手書き入力装
置２３から入力される手書き線画像及び手書き文字や、
キーボード装置２４からコード入力される文字、記号に
よって文書が作成、編集される。そして、更に、作成、
編集された文書の特定領域に手書き入力装置２３を用い
てマークが記述される。文書の特定領域は、例えば、図
３（ａ）に示すように文書の先頭部分に予め定められ
る。このマークは、例えば、文書の大まかな分類（重要
度のランク等）のために用いることができ、図５に示す
ように、１個の○印（５図（ａ））、２個の○印（５図
（ｂ））、３個の○印（５図（ｃ））等で表される。

【００３５】上記のようにして、文書の作成、編集及び
マークの記入が終了すると、ＣＰＵ２０は、図４の手順
に従って文書（画像データを含み、以下、画像データ文
書という）の保存処理を行なう。図４において、ＣＰＵ
２０は、画像データ文書の特定領域にある画像データを
取り出し（Ｓ１）、その表示画像が所定の大きさとなる
ように、その画像データの正規化処理を行なう（Ｓ
２）。そして、ＣＰＵ２０は、更に、正規化された画像
データから特徴を抽出する（Ｓ３）（図１に示す特徴抽
出手段１６に対応）。例えば、正規化された画像データ
で表される画像に含まれる塊の数、即ち、ブロック数が
特徴として抽出される。

【００３６】図５（ａ）、（ｂ）、（ｃ）でそれぞれ示
されるマークが記述された場合、抽出されるブロック数
は、それぞれ「１」、「２」、「３」である。そして、
ＣＰＵ２０は、そのブロック数を当該画像データ文書に
対応したラベル情報として生成する（Ｓ４）。その後、
ＣＰＵ２０は、作成、編集した画像データ文書をファイ
ル格納ユニット２６に格納する（Ｓ５）。画像データ文
書（文書名）と格納位置との関係を表すテーブルがファ
イル格納ユニット２６内に構築され、両者の関係がシス
テム内で管理される（図１に示す文書管理手段１０に対
応）。

【００３７】また、例えば、図７に示すように、ラベル
情報（この例の場合、ブロック数（ａ、ｂ、．．．））
と画像データ文書（文書名、ＡＡＡ、ＢＢＢ等）との関
係を記述したラベル管理テーブルがファイル格納ユニッ
ト２６内に構築されている。上記のようにラベル情報が
作成されると、その作成されたラベル情報が当該作成、
編集された画像データ文書に対応するように、ラベル管
理テーブル内に記述される（Ｓ６）。このラベル管理テ
ーブルを用いて、画像データ文書とラベル情報との関係
が管理される（図１に示す管理手段１１に対応）。

【００３８】上記のように、画像データ文書の作成、編
集がなされる毎に、その特定領域に記述された画像デー
タ（マーク）に基づいてラベル情報が作成され、当該画
像データ文書がファイル格納ユニット２６に格納される
と供に、当該画像データ文書とラベル情報との関係がラ
ベル管理テーブルに記述される。

【００３９】ユーザが、例えば、最も重要度の高い文書
と決めた、３個の○印が付された文書（図５（ｃ）参
照）を検索するため、検索キーとして、ブロック数”
３”をキーボード装置２４または、手書き入力装置２３
から入力すると、ＣＰＵ２０は、例えば、図８に示す手
順に従って検索処理を実行する（図１に示す検索手段１
９に対応）。

【００４０】ＣＰＵ２０は、内部係数等の初期化を行な
った後に（Ｓ１１）、入力された検索キー（ブロック
数”３”）を取得する（Ｓ１２）。更に、ＣＰＵ２０
は、”０”に初期化されたカウンタ値ｉをインクリメン
ト（ｉ＝１）して（Ｓ１３）、ｉ番目（１番目）の文書
に対応するラベル情報を上記ラベル管理テーブル（図７
参照）から読みだす（Ｓ１４）。

【００４１】そして、ＣＰＵ２０は、取得した検索キー
と読みだしたラベル情報とを比較し（Ｓ１５）、それら
が一致しているか否かを判定する（Ｓ１６）。それらが
一致している場合、ＣＰＵ２０は、そのｉ番目（１番
目）の画像データ文書のＩＤ（文書番号）を所定のレジ
スタにセットする（Ｓ１７）。検索キーと読みだしたラ
ベル情報が一致しなかった場合、または、画像データ文
書のＩＤをレジスタにセットした後に、ＣＰＵ２０は、
カウンタ値ｉがファイル格納ユニット２６に格納される
全ての文書数ｉ₀に達したか否か（ｉ≧ｉ₀）を判定し
（Ｓ１８）、達していない場合、次の文書に対応するラ
ベル情報と検索キーとの比較を行なう。

【００４２】以後、カウンタ値ｉが全文書数ｉ₀に達す
るまで、上述した処理を繰り返し、カウンタ値ｉが全文
書数ｉ₀に達すると（全文書に対応するラベル情報と検
索キーとの比較が終わると）、ＣＰＵ２０は、その時点
で、レジスタにセットされている画像データ文書のＩＤ
を表示装置２５に一覧表として表示させる（Ｓ１９）。
即ち、表示装置２５には、例えば、検索キーで指定され
るブロック数”３”の文書（特定領域に３つの○印が記
述された文書）の一覧表が表示される。

【００４３】ユーザは、その一覧表内の文書群から１つ
の文書を、手書き入力装置２３を用いて指定すると、そ
の指定された文書がファイル格納ユニット２６から読み
だされて、表示装置２５に表示される。上記のようなシ
ステムでは、文書に含まれる画像データ（手書き○印）
の特徴からラベル情報が作成され、そのラベル情報と文
書との対応関係が管理される。そして、検索キーとして
ラベル情報が提供された時に、管理されている対応関係
に基づいて文書が検索される。その結果、画像データ
（手書き○印）に基づいた文書の検索処理が可能とな
る。

【００４４】なお、取得した画像データからブロック数
を特徴として抽出する場合、塊が抽出できるものであれ
ば、同一のシステムにおいて、種々の画像を用いること
ができる。例えば、図６（ａ）、（ｂ）、（ｃ）に示す
ように、１個の△印、２個の△印、３個の△印を用いる
ことができる。この場合、夫々のブロック数は、○印の
場合と同様に、「１」、「２」、「３」である。

【００４５】また、次のような画像データの特徴を抽出
してラベル情報を作成することも可能である。即ち、特
定領域の画像データに二次元フーリエ解析を施して、そ
の時に求まる周波数成分量や、特定領域の画像データの
持つ色成分等を画像データの特徴として抽出し、この特
徴に基づいてラベル情報を作成することができる。

【００４６】上記例では、取得した画像データから特徴
を抽出してラベル情報を作成したが、画像データを縮小
等して得られる縮小画像をラベル情報として用いること
ができる。特定領域に記述される画像として、例えば、
図９に示すような○、×、△、□が用いられる例を説明
する。

【００４７】文書の作成、編集の終了時に、上記４種類
のいずれかのマークが手書き文字入力装置２３によって
当該文書の特定領域（先頭領域）に記入される。この場
合、ＣＰＵ２０は、実質的に図４に示す手順を同様の手
順に従って、処理を実行する。即ち、特定領域の画像デ
ータ（○、×、△、□のいずれか）を取り出した後（Ｓ
１）に、その画像データの正規化処理を実行して（Ｓ
２）、所定の大きさの画像データ（一般に縮小画像デー
タ）を生成する（サムネール処理）（図１に示す圧縮ユ
ニット１７に対応）。そして、その正規化された画像デ
ータに基づいてラベル画像情報が作成される（Ｓ４）。
作成、編集された文書は、ファイル格納ユニット２６に
格納される（Ｓ５）。

【００４８】ラベル画像情報と文書との関係は、次のよ
うにして管理される。作成されたラベル画像情報（縮小
画像データ）そのものがファイル格納ユニット２６に格
納される。そして、このラベル画像情報の格納位置（ポ
インタ値）が、例えば、図１０に示すように、ラベル画
像情報とその格納位置との関係を表すラベル格納位置テ
ーブルに記述される。このラベル格納位置テーブルは、
ファイル格納ユニット２６に構築されている。

【００４９】上記のように、ラベル画像情報の格納位置
がラベル格納テーブルに記述された後に、更に、作成、
編集された文書（ＡＡＡ、ＢＢＢ等）とラベル画像情報
の関係が、例えば、図１１に示すようなラベル管理テー
ブルに記述される（図４に示すＳ６）。

【００５０】上記のようにしてラベル画像情報との対応
が付けられながらファイル格納ユニット２６内に蓄積さ
れた文書の検索処理は、例えば、図１２に示す手順に従
って行なわれる。ユーザが、例えば、○、×、△、□の
うちのいずれかのマークを付けた文書を検索するため
に、手書き入力装置２３を用いてそのマークを検索キー
として手書き入力すると、ＣＰＵ２０は、各係数値の初
期化を行なった（Ｓ２１）後に、入力されたマークの画
像データを取得する（Ｓ２２）。そして、ＣＰＵ２０
は、取得した画像データの正規化処理を行ない（Ｓ２
３）、その結果得られた正規化画像データから検索すべ
きラベル画像情報に対応した検索データを生成する（Ｓ
２４）。

【００５１】このように検索データが生成されると、Ｃ
ＰＵ２０は、ラベル格納位置テーブル（図１０参照）を
参照して、ラベル画像情報をファイル格納ユニット２６
から読み出す（Ｓ２５）。そして、ＣＰＵ２０は、上記
のように生成された検索データと読み出したラベル画像
情報を比較し（Ｓ２６）、それらが一致するか否かを判
定する（Ｓ２７）。この比較及び一致判定は、一般的な
画像認識処理により行なわれ、検索データに対して所定
の類似度を有する（実質的に同一な）ラベル画像情報
は、当該検索データに一致するラベル画像情報と判定さ
れる。

【００５２】一致しない場合、ラベル格納位置テーブル
にて管理されるラベル画像情報について、上記と同様に
検索データとの比較及び一致判定の処理が繰り返し行な
われる（Ｓ３６、Ｓ２５、Ｓ２６、Ｓ２７）。そして、
検索データに一致するラベル画像情報があると、ＣＰＵ
２０は、そのラベル画像情報のＩＤを検索すべきラベル
画像情報（検索ラベル）のＩＤとして所定のレジスタに
セットする（Ｓ２８）。

【００５３】その後、ＣＰＵ２０は、初期化されたカウ
ンタ値ｉ（ｉ＝０）をインクリメント（ｉ＝１）して
（Ｓ２９）、ｉ番目（１番目）の文書に対応するラベル
画像情報のＩＤを上記ラベル管理テーブル（図１１参
照）から読みだす（Ｓ３０）。そして、ＣＰＵ２０は、
上記所定のレジスタにセットした検索ラベルのＩＤと読
みだしたラベル画像情報のＩＤとを比較し（Ｓ３１）、
それらが一致しているか否かを判定する（Ｓ３２）。そ
れらが一致している場合、ＣＰＵ２０は、そのｉ番目
（１番目）の画像データ文書のＩＤ（文書番号、文書名
等）を所定のレジスタにセットする（Ｓ３３）。検索ラ
ベルのＩＤと読みだしたラベル画像情報のＩＤが一致し
なかった場合、または、画像データ文書のＩＤをレジス
タにセットした後に、ＣＰＵ２０は、カウンタ値ｉがフ
ァイル格納ユニット２６に格納される全ての文書数ｉ₀
に達したか否か（ｉ≧ｉ₀）を判定し（Ｓ３４）、達し
ていない場合、次の文書に対応するラベル画像情報のＩ
Ｄと検索ラベルのＩＤとの比較を行なう。

【００５４】以後、カウンタ値ｉが全文書数ｉ₀に達す
るまで、上述した処理を繰り返し、カウンタ値ｉが全文
書数ｉ₀に達すると（全文書に対応するラベル画像情報
と検索ラベルとの比較が終わると）、ＣＰＵ２０は、そ
の時点で、レジスタにセットされている画像データ文書
のＩＤを表示装置２５に一覧表として表示させる（Ｓ３
５）。即ち、表示装置２５には、例えば、○印が特定領
域に記述された文書の一覧表が表示される。

【００５５】ユーザは、その一覧表内の文書群から１つ
の文書を、手書き入力装置２３を用いて指定すると、そ
の指定された文書がファイル格納ユニット２６から読み
だされて、表示装置２５に表示される。なお、上記図１
２に示す手順に従った処理において、全てのラベル画像
情報が検索データに一致しなかった場合（Ｓ３６、ＹＥ
Ｓ）、ＣＰＵ２０は、該当する画像データ文書が存在し
ない旨のメッセージを表示装置２５に表示させた後に
（Ｓ３７）、検索処理を終了する。

【００５６】上記のようなシステムでは、文書に含まれ
る画像データ（手書き○印、×印、△印、□印）を縮小
したラベル画像情報が作成され、そのラベル画像情報と
文書との対応関係が管理される。そして、検索キーとし
て手書きの画像データが提供されたときに、管理されて
いる対応関係に基づいて、その画像データに対応した文
書が検索される。

【００５７】上記の例では、検索すべき文書に記述した
画像データ（マーク等）をユーザが直接入力したが、そ
の画像データの種類が多くなると、それらの画像データ
をユーザが覚えておくことが難しくなる。このような場
合、容易に画像データの指定を行なえるようにするた
め、上述したような検索処理を行なう前に、ＣＰＵ２０
は、例えば、図１３に示すような手順に従った処理を行
なう。

【００５８】図１３において、ＣＰＵ２０は、ラベル格
納位置テーブル（図１０参照）を参照して、各ラベル画
像情報をファイル格納ユニット２６から読みだし、各ラ
ベル画像情報（縮小画像）の一覧表を表示装置２５に表
示させる（Ｓ４１）。そして、ユーザが手書き入力装置
２３を用いて、表示されたラベル画像情報群から１つの
ラベル画像情報を指定する操作を行なうと、ＣＰＵ２０
は、その指定されたラベル画像情報を取得する（Ｓ４
２）。以後、ＣＰＵ２０は、その取得したラベル画像情
報を検索データとして、図１２に示す手順と同様の手順
に従った検索処理Ｐ₁₀₀を実行する。

【００５９】また、上述した各例においては、画像デー
タ文書の先頭部分を特定領域として、その部分に記述さ
れた画像データからラベル情報を作成したが、これに限
られることはない。例えば、図３（ｂ）に示すように、
画像データ文書の先頭の行や、図３（ｃ）に示すよう
に、画像データ文書に含まれる画像実データの先頭部分
を特定領域として予め設定してもよい。

【００６０】更に、上述した各例においては、ラベル情
報の元となる画像は、ユーザが例えば、文書の分類に使
用するためにわざわざ記述したマークであったが、これ
に限られることはない。例えば、ユーザが作成した文書
そのものの所定領域に含まれる画像データ（イメージと
してメモリユニット２２に展開された文書データの所定
領域部分）を縮小したり、文書全体（１頁分）を表す画
像データ（イメージとしてメモリユニット２２に展開さ
れた文書データ）を縮小することで、ラベル情報を作成
することも可能である。

【００６１】このような場合、作成される文書に応じて
種々のラベル情報が作成されるので、文書検索に際し
て、ラベル情報に対応した検索データを指定することが
難しい。それを解決するために、検索処理の前に、前述
したような、図１３に示す手順に従った処理が実行され
る。即ち、作成されたラベル情報（縮小画像）の一覧表
が表示装置２５に表示され、その一覧表のラベル情報群
から選択されたラベル情報を検索データとして、対応す
る文書の検索が行なわれる。

【００６２】上記各例においては、一つの文書に対応し
て一つのラベル情報が作成されたが、これに限られな
い。一つの文書に対して複数のラベル情報を作成し、そ
れらのラベル情報を一つの文書に対応付けられるように
管理することも可能である。例えば、図１４に示すよう
に、作成した画像データ文書（ＡＡＡ）において、画像
データ部分α₁、α₂、．．．α_nを指定すると、指定
された画像データ部分の縮小、正規化処理（サムネール
処理）がなされて、対応するラベル情報ａ₁、
ａ₂、．．．、ａ_nが作成される。この作成されたラベ
ル情報は、作成された文書と供にファイル格納ユニット
２６に格納される。そして、例えば、図１５に示すよう
なラベル管理テーブルに、画像データ文書（ＡＡＡ、Ｂ
ＢＢ等）とラベル情報との関係が記述される。

【００６３】この場合も、前記と同様の処理に従って
（図１２参照）、あるラベル情報が検索データとして指
定されたときに、該ラベル管理テーブルを参照して、対
応する画像データ文書が検索される。上記各例において
は、ラベル情報を用いて文書検索を行なうものであっ
た。次に、各文書内の画像データの検索処理について説
明する。

【００６４】このような検索処理は、例えば、図１６に
示す手順に従って行なわれる。図１６において、ユーザ
が手書き入力装置２３を用いて検索キーとなる画像デー
タ（α）を入力すると、ＣＰＵ２０は、種々の係数の初
期化を行なった後に（Ｓ５１）、入力された画像データ
（α）を取得する（Ｓ５２）。そして、ＣＰＵ２０は、
取得した画像データ（α）の正規化処理を行ない（Ｓ５
３）、その結果得られた正規化画像データ（縮小画像）
から検索すべきラベル画像情報に対応した検索データを
生成する（Ｓ５４）。

【００６５】その後、ＣＰＵ２０は、ファイル格納ユニ
ット２６から画像データ文書を読みだし、メモリユニッ
ト２２に展開する（Ｓ５５）。そして、ＣＰＵ２０は、
メモリユニット２２に展開された画像データ文書を走査
して（Ｓ５６）画像データ部分が存在するか否かを判定
する（Ｓ５７）。読みだした文書の最終端に達する前に
（Ｓ５８）、画像データ部分が存在することを判定する
と、ＣＰＵ２０は、その画像データ部分を抽出する（Ｓ
５９）。

【００６６】このように画像データ部分が抽出される
と、ＣＰＵ２０は、その抽出された画像データ部分の正
規化処理を行ない（Ｓ６０）、その結果得られる正規化
画像データからラベル情報（ａ）（縮小画像）を作成す
る（Ｓ６１）。そして、ＣＰＵ２０は、上記のようにし
て手書き入力画像から生成した検索データとラベル情報
（ａ）が一致するか否かを判定する（Ｓ６２）。この一
致判定の処理では、前述した例（図１２参照）と同様
に、検索データと所定の類似度を有する（実質的に同
一）ラベル情報は、当該検索データと一致するものと判
定される。

【００６７】当該検索データとラベル情報（ａ）が一致
していると判定した場合、ＣＰＵ２０は、抽出された画
像データ部分が検索データに該当することを表示装置２
５表示させる（Ｓ６４）。その後、ＣＰＵ２０は、処理
中断のための操作入力があったか否かを判定する（Ｓ６
５）。そのような処理中断のための操作入力がなけれ
ば、再度、画像データ文書の走査を開始して、画像デー
タ部分を抽出するための処理及び抽出された画像データ
部分が検索データに一致するか否かの判定処理を続行す
る（Ｓ５６乃至Ｓ６５）。

【００６８】なお、抽出された画像データ部分が検索デ
ータと一致しなかった場合、そのまま、画像データ文書
の走査を続行する（Ｓ６３→Ｓ５６）。上記の処理を繰
り返し、読みだした文書の最終端まで走査が終了する
と、ＣＰＵ２０は、更に、前述した処理の過程で、検索
データに一致する画像データ部分が存在したかどうかを
判別し（Ｓ６６）、一致する画像データが読みだした文
書内に存在しなかった場合には、ＣＰＵ２０は、該当文
書データ部分が存在したなかった旨のメッセージを表示
装置２５に表示させる（Ｓ６７）。

【００６９】その後、ＣＰＵ２０は、次の文書について
の処理の要求がなされているか否かを判定し、そのよう
な要求がなされている場合には、次の画像データ文書
を、新たな検索対象の文書として、ファイル格納ユニッ
ト２６から読み出してメモリユニット２２に展開する
（Ｓ６８→Ｓ５５）。以後、新たな画像データ文書に対
して、上述したのと同様の処理が実行される。

【００７０】なお、抽出された画像データ部分が検索デ
ータに該当することが表示装置２５表示された後に、中
断操作がなされたことを判定すると、ＣＰＵ２０は、当
該文書についての検索処理を終了し、次の文書について
の検索処理を行なうべきか否かの判定を行なう（Ｓ６
８）。

【００７１】上記のような検索処理によれば、手書き入
力装置２３から入力された画像ータと一致する画像デー
タが各画像データ文書から検索される。上述したラベル
情報に基づいて文書検索処理を行なうシステムでは、ラ
ベル情報と画像データ文書との関係を記述したラベル管
理テーブルを用いて検索処理を行なっていたが、これに
限定されない。特にラベル管理テーブルを用いることな
しに、検索データが与えられる毎に、図１６に示す手順
と同様の手順に従って、文書の所定領域の画像データを
読み出して、この読みだした画像データと検索データと
の比較処理、一致判定処理を行なってもよい。

【００７２】上述したように、例えば、図１７に示すよ
うに、画像データが「富士山」を表す場合、図１８
（ａ）に示すように、その「富士山」の縮小データをラ
ベル情報とするほか、図１８（ｂ）に示すように、「富
士山」の骨組みデータである台形の線画をラベル情報と
して登録する（ラベル管理テーブルに記述する）ことも
可能である。

【００７３】また、上述した各実施例は、画像データか
らラベル情報を作成するものであったが、これに限定さ
れない。音声データや、音声データと画像データとの複
合データ等からラベル情報を作成することもできる。ま
た更に、本発明に係るシステムが携帯用コンピュータ端
末装置内に構築した例を説明したが、これに限られな
い。通常のデスクトップ型、ラップトップ型のパーソナ
ルコンピュータ内に構築することもできる。この場合、
ファイル格納ユニット２６は、例えば、ハードディスク
装置で構成される。そして、各種プログラムは、ＣＤ−
ＲＯＭ、フロッピーディスク、各種メモリカード等の記
録媒体によって、当該システムに提供することができ
る。

【００７４】なお、上記各例において、図４に示すステ
ップＳ１の処理は抽出手段（抽出プログラム手段）に対
応し、ステップＳ２乃至ステップＳ４での処理はラベル
情報生成手段（ラベル情報生成プログラム手段）に対応
し、図７、図１０及び図１１、更に、図１５に夫々示さ
れるテーブルは、管理手段に対応する。図８及び図１２
の各手順に従った処理は、検索手段（検索プログラム手
段）に対応する。

【００７５】また、図１６に示すステップＳ５６乃至Ｓ
５９の処理は抽出手段（抽出プログラム手段）（請求項
３及び８）に対応し、図１６に示すステップＳ６０及び
Ｓ６１の処理はラベル情報生成手段（ラベル情報生成プ
ログラム手段）（請求項３及び８）に対応し、図１６に
示すステップＳ６２及びＳ６３の処理は判定手段（判定
プログラム手段）（請求項３及び８）に対応する。

【００７６】更に、図４に示すステップＳ６の処理は、
文書とラベル情報の対応関係を管理手段に提供するため
のプログラム手段に対応し、図１３に示す手順の処理は
ラベル一覧表示制御手段に対応する。

【００７７】

【発明の効果】以上、説明してきたように、請求項１乃
至５記載の本願発明によれば、文書の一部の非コード化
データからラベル情報を作成し、そのラベル情報と文書
との対応関係に基づいて文書検索等を行なうようにした
ため、画像データや音声データ等の非コード化データに
基づいた検索処理を行なうことができるシステムが実現
できる。

【００７８】また、請求項６乃至１０記載の本願発明に
よれば、上記システムでの処理をコンピュータに行なわ
せるためのプログラムを格納した記録媒体を提供するこ
とができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るシステムの機能的な
構成を示すブロック図である。

【図２】本発明の実施の形態に係るシステムのハードウ
エア構成の一例を示すブロック図である。

【図３】画像データを抽出すべき画像データ文書の特定
領域の例を示す図である。

【図４】作成した文書を保存する際の処理手順の一例を
示すフローチャートである。

【図５】文書の特定領域に記述すべき画像の例を示す図
である。

【図６】文書の特定領域に記述すべき画像の他の例を示
す図である。

【図７】文書とラベル情報との関係を記述したラベル管
理テーブルを示す図である。

【図８】文書検索処理の手順の例を示すフローチャート
である。

【図９】文書の特例領域に記述すべき画像の更に他の例
を示す図である。

【図１０】ラベル情報とその格納位置との関係を記述し
たラベル格納位置テーブルを示す図である。

【図１１】ラベル情報と文書との対応関係を記述したラ
ベル管理テーブルを示す図である。

【図１２】文書検索処理の手順の一例を示すフローチャ
ートである。

【図１３】ラベル情報の一覧表を表示するための処理の
手順の一例を示すフローチャートである。

【図１４】作成、編集された画像データ文書内の画像デ
ータとラベル情報の対応を示す図である。

【図１５】文書とラベル情報との対応関係を記述したラ
ベル管理テーブルを示す図である。

【図１６】画像データの検索処理の手順の一例を示すフ
ローチャートである。

【図１７】画像データの一例を示す図である。

【図１８】ラベル情報の例を示す図である。

【符号の説明】

１情報処理システム１０文書管理ユニット１１管理ユニット１２表示ユニット１３音声出力ユニット１４入力ユニット１５入出力制御ユニット１６特徴抽出ユニット１７圧縮ユニット１８表示制御ユニット１９検索ユニット２０ＣＰＵ２１ＲＯＭ２２メモリユニット２３手書き入力装置２４キーボード２５表示装置２６ファイル格納ユニット

Claims

【特許請求の範囲】

【請求項１】コード化されていない非コード化データを
含む文書を処理する情報処理システムにおいて、文書に含まれる非コード化データを抽出する抽出手段
と、該抽出手段にて抽出された非コード化データから該非コ
ード化データの特徴を表すラベル情報を生成するラベル
情報生成手段と、上記文書をラベル情報生成手段にて生成されたラベル情
報に対応付けて管理する管理手段と、検索キーとしてラベル情報が指定されたときに、指定さ
れたラベル情報に実質的に同一となるラベル情報に対応
付けられるように管理される文書を上記管理手段にて管
理される文書群から検索する検索手段とを有する情報処
理システム。
【請求項２】請求項１記載の情報処理システムにおい
て、更に、管理手段にて管理される各文書に対応したラベル
情報の一覧表を表示手段に表示させるラベル一覧表示制
御手段を有し、該表示手段に表示されたラベル情報の一覧表から選択さ
れたラベル情報を検索キーとして指定されたラベル情報
とするようにした情報処理システム。
【請求項３】コード化されていない非コード化データを
含む文書を処理する情報処理システムにおいて、検索指令がなされたときに、指定された文書に含まれる
非コード化データを抽出する抽出手段と、該抽出手段にて抽出された非コード化データから該非コ
ード化データの特徴を表すラベル情報を生成するラベル
情報生成手段と、上記検索指令と供に提供される検索キーとしてのラベル
情報と上記ラベル情報生成手段にて生成されたラベル情
報とが実質的に同一であるか否かを判定する判定手段と
を有し、該判定手段が両ラベル情報が実質的に同一であると判定
したときに、その判定結果に基づいた検索結果が得られ
るようにした情報処理システム。
【請求項４】請求項１乃至３いずれか記載の情報処理シ
ステムにおいて、上記抽出手段は、画像データを非コード化データとして
抽出するようにした情報処理システム。
【請求項５】請求項１乃至４いずれか記載の情報処理シ
ステムにおいて、上記抽出手段は、文書の予め定めた領域に記述された非
コード化データを抽出するようにした情報処理システ
ム。
【請求項６】コード化されていない非コード化データを
含む文書を処理する情報処理システムでの処理をコンピ
ュータに行なわせるためのプログラムを格納した記録媒
体において、該プログラムは、文書に含まれる非コード化データを抽出するための抽出
プログラム手段と、該抽出プログラム手段に従った処理にて抽出された非コ
ード化データから該非コード化データの特徴を表すラベ
ル情報を生成するためのラベル情報生成プログラム手段
と、上記文書とラベル情報生成プログラム手段に従った処理
にて生成されたラベル情報との対応関係を、文書をラベ
ル情報に対応付けて管理する管理手段に提供するための
プログラム手段と、検索キーとしてラベル情報が指定されたときに、指定さ
れたラベル情報に実質的に同一となるラベル情報に対応
付けられるように管理される文書を上記管理手段にて管
理される文書群から検索するための検索プログラム手段
とを有する記録媒体。
【請求項７】請求項６記載の記録媒体において、該プログラムは、更に、管理手段にて管理される各文書
に対応したラベル情報の一覧表を表示手段に表示させる
ためのラベル一覧表示制御プログラム手段を有し、該表示手段に表示されたラベル情報の一覧表から選択さ
れたラベル情報を検索キーとして指定されたラベル情報
とするようにしたプログラムを格納する記録媒体。
【請求項８】コード化されていない非コード化データを
含む文書を処理する情報処理システムでの処理をコンピ
ュータに行なわせるためのプログラムを格納した記録媒
体において、該プログラムは、検索指令がなされたときに、指定された文書に含まれる
非コード化データを抽出するための抽出プログラム手段
と、該抽出プログラム手段に従った処理にて抽出された非コ
ード化データから該非コード化データの特徴を表すラベ
ル情報を生成するためのラベル情報生成プログラム手段
と、上記検索指令と供に提供される検索キーとしてのラベル
情報と上記ラベル情報生成プログラム手段に従った処理
にて生成されたラベル情報とが実質的に同一であるか否
かを判定するための判定プログラム手段とを有し、該判定プログラム手段に従った処理において両ラベル情
報が実質的に同一であると判定されたときに、当該判定
結果に基づいた検索結果が得られるようにしたプログラ
ムを格納する記録媒体。
【請求項９】請求項６乃至８いずれか記載の記録媒体に
おいて、上記抽出プログラム手段が画像データを非コード化デー
タとして抽出するようにしたプログラムを格納する記録
媒体。
【請求項１０】請求項６乃至９いずれか記載の記録媒体
において、上記抽出プログラム手段が文書の予め定めた領域に記述
された非コード化データを抽出するようにしたプログラ
ムを格納する記録媒体。