JP5661663B2

JP5661663B2 - 情報抽出装置

Info

Publication number: JP5661663B2
Application number: JP2012025664A
Authority: JP
Inventors: 貴博南
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2012-02-09
Filing date: 2012-02-09
Publication date: 2015-01-28
Anticipated expiration: 2032-02-09
Also published as: JP2013161463A

Description

本発明は、教科書等の学習教材の画像データーから情報を抽出し、抽出した情報に基づいて問題を生成する情報抽出装置に関する。

学校等の学習現場において、補助教材として教材出版社等から出版されたドリルや問題集が用いられているが、使用する問題集によっては、教科書の内容に即していないことがある。そこで、教科書等の学習教材から簡単に問題を生成する技術が提案されている。例えば特許文献１には、問題の解答となる文字列をマーキングで指定した問題原稿の画像を読み取り、抽出した文字列を用いて作成した解答集の電子データーと、マーキングの位置の文字列を消去した問題文の電子データーとを生成する技術が提案されている。

特開２００７−４５２３号公報

近年の学習教材には、グラフや写真等の図面が多く採用されており、各種試験においても図面を用いたものが多くなっている。しかしながら、特許文献１の従来技術においては、文字列のみを対象に問題文を生成しているため、学習教材内にレイアウトされている図面に関する問題を生成することができないという問題点があった。また、従来技術においては、作成者が事前に文字列をマーキングしておかなければならず、繁雑な作業が必要となってしまう。

本発明の目的は、上記問題点に鑑み、従来技術の問題を解決し、学習教材にマーキング等の準備することなく、図面がレイアウトされている学習教材の画像データーを用いて、図面に関する問題を生成することができる情報抽出装置を提供することにある。

本発明の情報抽出装置は、学習教材の画像データーから情報を抽出し、抽出した情報にも基づいて問題を生成する情報抽出装置であって、前記画像データーを解析することで、図面領域と文字領域とを特定すると共に、前記図面領域の周辺に配置された前記文字領域を図面周辺領域として特定する画像データー解析手段と、前記図面領域、前記図面周辺領域及び前記文字領域のそれぞれについて、文字認識処理を行い、前記図面領域、前記図面周辺領域及び前記文字領域のそれぞれに含まれている文字列をテキストデーターに変換する文字認識手段と、前記図面領域及び前記図面周辺領域のテキストデーターから図番及びキーワードを抽出するキーワード抽出手段と、前記図番と関連づけて前記図面領域を前記画像データーから図面イメージとして抽出する図面イメージ抽出手段と、前記図面イメージ内の前記キーワードに対応する領域を消去する図面イメージ内キーワード消去手段と、前記文字領域のテキストデーターを検索し、前記図番が含まれる文を図面説明文として特定する文字領域検索手段と、前記図番と関連づけて前記図面説明文に対応する文字列イメージを前記画像データーの前記文字領域から抽出する文字列イメージ抽出手段と、前記図面説明文に前記キーワードが存在する場合、前記文字列イメージから前記キーワードに対応する領域を消去する文字列イメージ内キーワード消去手段と、前記図面領域内のテキストデーターと前記図面説明文とのいずれかに前記キーワードが存在する前記図番の前記図面イメージ及び前記文字列イメージを用いて、前記図面イメージ及び前記文字列イメージを前記図番毎にレイアウトした穴埋め問題を生成するレイアウト手段とを具備することを特徴とする。
さらに、本発明の情報抽出装置において、前記レイアウト手段は、前記図面領域内のテキストデーターと前記図面説明文とのいずれにも前記キーワードが存在しない前記図番の前記図面イメージ及び前記文字列イメージを用い、複数の前記図面イメージ及び複数の前記文字列イメージをランダムな順序でレイアウトした選択問題を生成しても良い。
さらに、本発明の情報抽出装置において、前記文字領域検索手段は、前記図番が含まれる文と、該図番が含まれた文の前後の一文で且つ前記キーワードが含まれている文とを前記図面説明文として特定しても良い。

本発明によれば、画像データーを解析することで、図面領域、図面周辺領域及び文字領域をそれぞれ特定し、図面領域、図面周辺領域及び文字領域のそれぞれに含まれている文字列をテキストデーターに変換し、図面領域及び図面周辺領域のテキストデーターから図番及びキーワードを抽出し、図面領域を画像データーから図面イメージとして抽出し、図面イメージ内のキーワードに対応する領域を消去し、文字領域のテキストデーターから図番が含まれる文を図面説明文として特定し、図面説明文に対応する文字列イメージを画像データーの文字領域から抽出し、文字列イメージからキーワードに対応する領域を消去し、図面イメージ及び文字列イメージをレイアウトした穴埋め問題を生成するように構成することにより、学習教材にマーキング等の準備をすることなく、図面がレイアウトされている学習教材の画像データーを用いて、図面に関する問題を生成することができるという効果を奏する。

本発明に係る情報抽出装置の実施の形態の構成を示すブロック図である。本発明に係る情報抽出装置の実施の形態の問題頁生成動作を説明するためのフローチャートである。本発明に係る情報抽出装置の実施の形態の問題頁生成動作を説明するための説明図である。本発明に係る情報抽出装置の実施の形態の問題頁生成動作を説明するための説明図である。本発明に係る情報抽出装置の実施の形態の問題頁生成動作を説明するための説明図である。本発明に係る情報抽出装置の実施の形態の問題頁生成動作を説明するための説明図である。

次に、本発明の実施の形態を、図面を参照して具体的に説明する。
本実施の形態の情報抽出装置１００は、パーソナルコンピュータ等の情報処理装置であり、図１を参照すると、問題頁生成制御部１と、操作部２と、画像データー読み取り部３と、記憶部４と、印字部５とがシステムバス６によって接続されている。

操作部２は、キーボード等の入力手段であり、画像データー読み取り部３による原稿の読み取り動作に係る各種指示入力、問題頁生成制御部１による問題頁生成動作に係る各種指示入力、印字部５による印字動作に係る各種指示入力等が行われる。

画像データー読み取り部３は、原稿をスキャンして画像データーを取得するスキャナー装置である。画像データー読み取り部３によって取得された画像データーは、記憶部４に記憶される。なお、画像データーを取得する手段は、上記に限られず、インターネット等のネットワークと接続可能なインターフェース部経由で画像データーを取得する手段であっても良く、フラッシュメモリやＤＶＤ等の各種記録媒体経由で画像データーを取得する手段であっても良い。

記憶部４は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段であり、画像データー読み取り部３によって取得された画像データーが記憶されると共に、各種の管理情報が記憶されている。

印字部５は、問題頁生成制御部１によって生成された問題頁を記録紙に印字して出力するプリンタ等の出力手段である。なお、本実施の形態では、問題頁の出力手段として印字部５を採用したが、出力手段としてディスプレイ等の表示画面を採用してもよい。

問題頁生成制御部１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ等の情報処理部である。ＲＯＭには情報抽出装置１００の動作制御を行うための制御プログラムが記憶されている。そうして、問題頁生成制御部１は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、操作部２から指示入力に応じて問題頁生成動作を実行する。

問題頁生成制御部１の機能ブロックは、画像データー解析部１１と、文字認識部１２と、キーワード抽出部１３と、図面イメージ抽出部１４と、図面イメージ内キーワード消去部１５と、文字領域検索部１６と、文字列イメージ抽出部１７と、文字列イメージ内キーワード消去部１８と、レイアウト部１９とからなる。

画像データー解析部１１は、画像データーを解析することで、図面領域、図面周辺領域及び文字領域をそれぞれ特定する。画像データー解析部１１では、まず、画像データーを図面領域と文字領域とに分割する。当該分割方法としては、各種の方法が提案されているが、例えば、図面と文字の大きさの違いや輪郭の形状によって図面領域と文字領域とを分割することができる。次に、画像データー解析部１１は、図面領域に隣接する比較的面積が狭い文字領域を特定し、当該文字領域を各図面領域に対応する図面周辺領域とする。

文字認識部１２は、画像データー解析部１１によって特定された図面領域、図面周辺領域及び文字領域のそれぞれについて、文字認識（ＯＣＲ）処理を行い、図面領域、図面周辺領域及び文字領域のそれぞれに含まれている文字列をテキストデーターに変換する。

キーワード抽出部１３は、文字認識部１２によって認識された図面領域及び図面周辺領域内のテキストデーターに対し、形態素解析を行うことで、図番と、キーワードとを抽出する。図番は、図面を示す「図」、「グラフ」、「写真」、「ｆｉｇ」等の単語に検索ことで抽出される。また、文字列内の「固有名詞」や「普通名詞」がキーワードとして抽出される。

図面イメージ抽出部１４は、キーワード抽出部１３によって抽出された図番と関連づけして、該当する図面イメージ（図面領域）を画像データーから図番毎にそれぞれ抽出する。

図面イメージ内キーワード消去部１５は、図面領域内のテキストデーターにキーワード抽出部１３によって抽出されたキーワードが存在する場合、図面イメージ抽出部１４によって抽出された図面イメージからキーワードに対応する領域を消去する。

文字領域検索部１６は、文字認識部１２によって認識された文字領域内のテキストデーターを検索することで、キーワード抽出部１３によって抽出された図番及びキーワードが含まれた文を図面説明文として特定する。図面説明文は、図番毎に特定される。まず、文字領域検索部１６は、文字領域内の文字列（テキストデーター）を検索することで、キーワード抽出部１３によって抽出された図番が含まれた文を図面説明文として特定する。次に、文字領域検索部１６は、図番が含まれた文の前後の文にキーワード抽出部１３によって抽出されたキーワードが含まれているか否かを検索し、キーワードが含まれている場合には、当該文も図面説明文として特定する。なお、キーワードが含まれているか否かを検索する範囲は、例えば図番が含まれた文の前後一文というように予め設定しておくようにしても良く、ユーザーが操作部２から設定できるようにしても良い。

文字列イメージ抽出部１７は、キーワード抽出部１３によって抽出された図番と関連づけして、文字領域検索部１６によって特定された図面説明文に対応する文字列イメージを画像データーから図番毎にそれぞれ抽出する。

文字列イメージ内キーワード消去部１８は、文字領域検索部１６によって特定された図面説明文にキーワード抽出部１３によって抽出されたキーワードが存在する場合、文字列イメージ抽出部１７によって抽出された文字列イメージからキーワードに対応する領域を消去する。

レイアウト部１９は、図面領域内のテキストデーターと、文字領域検索部１６によって特定された図面説明文とのいずれかにキーワード抽出部１３によって抽出されたキーワードが存在する図番の図面イメージ及び文字列イメージを用い、穴埋め問題頁を生成する。この場合には、図面イメージと文字列イメージとのいずれか又は両方において、キーワードに対応する領域が消去されている。また、レイアウト部１９は、図面領域内のテキストデーターと、文字領域検索部１６によって特定された図面説明文との両方にキーワード抽出部１３によって抽出されたキーワードが存在しない図番の図面イメージ及び文字列イメージを用い、選択問題頁を生成する。

次に、問題頁生成制御部１による問題頁生成動作について図２乃至図６を参照して詳細に説明する。なお、図３乃至図６において、イメージデーター内の文字は、ゴシック体で示し、テキストデーターに変換されている文字は、行書体で示している。

図２を参照すると、画像データー解析部１１は操作部２によって指示された画像データー２０を記憶部４から取得し（ステップＡ１）、取得した、画像データー２０を解析することで、図面領域２１、図面周辺領域２２及び文字領域２３をそれぞれ特定する（ステップＡ２）。図３（ａ）に示す画像データー２０の場合には、図３（ｂ）に点線で示す領域が、それぞれ図面領域２１、図面周辺領域２２及び文字領域２３として特定される。

次に、文字認識部１２は、図面領域２１、図面周辺領域２２及び文字領域２３のそれぞれについて、文字認識（ＯＣＲ）処理を行い、図４（ａ）に示すように、図面領域２１、図面周辺領域２２及び文字領域２３のそれぞれに含まれている文字列（イメージデーター）をテキストデーター２４に変換する（ステップＡ３）。なお、文字認識部１２によって変換されたテキストデーター２４には、図面領域２１及び文字領域２３内の位置情報が含まれている。すなわち、テキストデーター２４内の特定の文字列から、当該文字列に対応する図面領域２１及び文字領域２３内の領域を特定することができるようになっている。

次に、キーワード抽出部１３は、図面領域２１及び図面周辺領域２２内のテキストデーター２４に対し、形態素解析を行うことで、図番と、キーワードとを抽出する（ステップＡ４）。図４（ａ）に示すテキストデーターの場合には、図４（ｂ）に示すように、図番として「グラフ１」、「図２」、「写真３」が抽出される。また、図番「グラフ１」に対応するキーワードとして「大阪」、「東京」、「広島」が、図番「図２」に対応するキーワードとして「日経平均株価」がそれぞれ抽出される。なお、図番「写真３」には、キーワードとなる文字列が図面領域２１及び図面周辺領域２２内のテキストデーター２４に含まれといないため、キーワードが抽出されない。

次に、図面イメージ抽出部１４は、ステップＡ４で抽出された図番と関連づけして、図３（ｂ）に示す画像データー２０の図面領域２１を図面イメージ２５としてそれぞれ抽出する（ステップＡ５）。図４（ｃ）には、図番「グラフ１」、「図２」、「写真３」にそれぞれ対応する図面イメージ２５がそれぞれ抽出された例が示されている。

次に、図面イメージ内キーワード消去部１５は、図４（ａ）に示す図面領域２１内のテキストデーター２４にステップＡ４で抽出されたキーワードが存在する場合、図４（ｄ）に示すように、ステップＡ５で抽出された図面イメージ２５からキーワードに対応する領域を消去する（ステップＡ６）。図４（ｄ）には、図番「グラフ１」に対応する図面イメージ２５において、キーワード「大阪」、「東京」、「広島」に対応する領域が消去された例が示されている。なお、図４（ｄ）では、消去された領域に枠が生成されている。このように、消去された領域に目印（枠、アンダーライン、色分け等）を施すことで、ユーザーはキーワードが消去されていることを容易に把握することができる。

次に、文字領域検索部１６は、図４（ａ）に示す文字領域２３内のテキストデーター２４を検索することで、ステップＡ４で抽出された図番及びキーワードが含まれた文を図面説明文として特定する（ステップＡ７）。次に、文字列イメージ抽出部１７は、図５（ａ）に示すように、キーワード抽出部１３によって抽出された図番と関連づけして、ステップＡ７で特定された図面説明文に対応する文字列イメージ２６を、図３（ｂ）に示す画像データー２０の文字領域２３から図番毎にそれぞれ抽出する（ステップＡ８）。図５（ａ）には、図番「グラフ１」、「図２」、「写真３」にそれぞれ対応する文字列イメージ２６がそれぞれ抽出された例が示されている。

次に、文字列イメージ内キーワード消去部１８は、ステップＡ７で抽出された特定された図面説明文に、ステップＡ４で抽出されたキーワードが存在する場合、図５（ｂ）に示すように、ステップＡ８で抽出された文字列イメージ２６からキーワードに対応する領域を消去する（ステップＡ９）。図５（ｂ）には、図番「グラフ１」に対応する文字列イメージ２６において、キーワード「大阪」、「東京」に対応する領域が、図番「図２」に対応する文字列イメージ２６において、キーワード「日経平均株価」に対応する領域がそれぞれ消去された例が示されている。

次に、レイアウト部１９は、図面領域２１内のテキストデーター２４と、ステップＡ７で特定された図面説明文とのいずれかに若しくは両方に、ステップＡ４で抽出されたキーワードが存在する図番の場合には、当該図番の図面イメージ２５及び文字列イメージ２６を用い、図６（ａ）に示すような、穴埋め問題頁２７をイメージデーターとして生成する（ステップＡ１０）。穴埋め問題頁２７には、図面イメージ２５及び文字列イメージ２６が図番毎にレイアウトされている。図番「グラフ１」においては、図面領域２１内のテキストデーター２４と、ステップＡ７で特定された図面説明文との両方にステップＡ４で抽出されたキーワードが存在する。従って、ステップＡ６でキーワードに対応する領域が消去されている図面イメージ２５と、ステップＡ９でキーワードに対応する領域が消去されている文字列イメージ２６とが穴埋め問題頁２７にレイアウトされる。図番「図２」においては、ステップＡ７で特定された図面説明文にのみステップＡ４で抽出されたキーワードが存在する。従って、ステップＡ５で抽出された図面イメージ２５と、ステップＡ９でキーワードに対応する領域が消去されている文字列イメージ２６とが穴埋め問題頁２７にレイアウトされる。

また、レイアウト部１９は、図面領域２１内のテキストデーター２４と、ステップＡ７で特定された図面説明文との両方に、ステップＡ４で抽出されたキーワードが存在しない図番の場合、当該図番の図面イメージ２５及び文字列イメージ２６を用い、図６（ｂ）に示すような、選択問題頁２８をイメージデーターとして生成する（ステップＡ１１）。選択問題頁２８は、図面イメージ２５と文字列イメージ２６との整合を問う問題であり、複数の図面イメージ２５がレイアウトされる図面レイアウト領域２９と、複数の文字列イメージ２６がレイアウトされる説明文レイアウト領域３０とが区別されており、それぞれのレイアウト領域において、複数の図面イメージ２５と複数の文字列イメージ２６とがランダムな順序でレイアウトされる。図番「写真３」においては、図面領域２１内のテキストデーター２４と、ステップＡ７で特定された図面説明文との両方にステップＡ４で抽出されたキーワードが存在しない。従って、選択問題頁２８をレイアウトされる。図６（ｂ）では、図番「写真３」の図面イメージ２５が図面レイアウト領域２９の４番目「（Ｄ）」に、文字列イメージ２６が説明文レイアウト領域３０の１番目「（Ａ）」にそれぞれレイアウトされている。

レイアウト部１９よって生成された穴埋め問題頁２７及び選択問題頁２８とは、印字部５によって記録紙に印字されて出力される。なお、穴埋め問題頁２７の解答として、キーワードに対応する領域が消去されていない図面イメージ２５及び文字列イメージ２６をレイアウトした穴埋め解答頁を生成するようにしても良い。また、選択問題頁２８の解答として、同じ順序で図面イメージ２５及び文字列イメージ２６をレイアウトした選択解答頁を生成するようにしても良い。これらの穴埋め解答頁及び選択解答頁は、纏めノートとしても活用することができる。

また、本実施の形態では、図面領域２１及び図面周辺領域２２内のテキストデーター２４に基づいて、キーワードを特定するように構成したが、文字認識部１２において、同時に文字の属性も認識させ、文字領域２３内のテキストデーター２４から強調箇所に関する検索を行い、強調箇所をキーワードとするようにしても良い。なお、強調箇所とは、色文字や、太字等の文中の他の記述と比べて属性が異なっている箇所である。この場合には、文字列イメージ内キーワード消去部１８によってキーワードに対応する領域が消去された文字列イメージ２６のみが穴埋め問題頁２７にレイアウトされることになる。

以上説明したように本実施の形態においては、画像データー２０を解析することで、図面領域２１と文字領域２３とを特定すると共に、図面領域２１の周辺に配置された文字領域２３を図面周辺領域２２として特定する画像データー解析部１１と、図面領域２１、図面周辺領域２２及び文字領域２３のそれぞれについて、文字認識処理を行い、図面領域２１、図面周辺領域２２及び文字領域２３のそれぞれに含まれている文字列をテキストデーター２４に変換する文字認識部１２と、図面領域２１及び図面周辺領域２２のテキストデーター２４から図番及びキーワードを抽出するキーワード抽出部１３と、図番と関連づけて図面領域２１を画像データー２０から図面イメージ２５として抽出する図面イメージ抽出部１４と、図面イメージ２５内のキーワードに対応する領域を消去する図面イメージ内キーワード消去部１５と、文字領域２３のテキストデーター２４を検索し、図番が含まれる文を図面説明文として特定する文字領域検索部１６と、図番と関連づけて図面説明文に対応する文字列イメージ２６を画像データー２０の文字領域２３から抽出する文字列イメージ抽出部１７と、図面説明文にキーワードが存在する場合、文字列イメージ２６からキーワードに対応する領域を消去する文字列イメージ内キーワード消去部１８と、図面領域２１内のテキストデーター２４と図面説明文とのいずれかにキーワードが存在する図番の図面イメージ２５及び文字列イメージ２６を用いて、図面イメージ２５及び文字列イメージ２６を図番毎にレイアウトした穴埋め問題頁２７を生成するレイアウト部１９とを備えている。これにより、学習教材にマーキング等の準備をしなくても、図番及びキーワードを抽出し、抽出した図番及びキーワードに基づいて、図面がレイアウトされている学習教材の画像データーから図面に関する穴埋め問題を簡単に生成することができるという効果を奏する。

さらに、本実施の形態では、レイアウト部１９において、図面領域２１内のテキストデーター２４と図面説明文とのいずれにもキーワードが存在しない図番の図面イメージ２５及び文字列イメージ２６を用い、複数の図面イメージ２５及び複数の文字列イメージ２６をランダムな順序でレイアウトした選択問題頁２８を生成するように構成されている。これにより、図面がレイアウトされている学習教材の画像データーから図面に関する選択問題を簡単に生成することができるという効果を奏する。

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。

１問題頁生成制御部
２操作部
３画像データー読み取り部
４記憶部
５印字部
６システムバス
１１画像データー解析部
１２文字認識部
１３キーワード抽出部
１４図面イメージ抽出部
１５図面イメージ内キーワード消去部
１６文字領域検索部
１７文字列イメージ抽出部
１８文字列イメージ内キーワード消去部
１９レイアウト部
２０画像データー
２１図面領域
２２図面周辺領域
２３文字領域
２４テキストデーター
２５図面イメージ
２６文字列イメージ
２７穴埋め問題頁
２８選択問題頁
２９図面レイアウト領域
３０説明文レイアウト領域
１００情報抽出装置

Claims

学習教材の画像データーから情報を抽出し、抽出した情報に基づいて問題を生成する情報抽出装置であって、
前記画像データーを解析することで、図面領域と文字領域とを特定すると共に、前記図面領域の周辺に配置された前記文字領域を図面周辺領域として特定する画像データー解析手段と、
前記図面領域、前記図面周辺領域及び前記文字領域のそれぞれについて、文字認識処理を行い、前記図面領域、前記図面周辺領域及び前記文字領域のそれぞれに含まれている文字列をテキストデーターに変換する文字認識手段と、
前記図面領域及び前記図面周辺領域のテキストデーターから図番及びキーワードを抽出するキーワード抽出手段と、
前記図番と関連づけて前記図面領域を前記画像データーから図面イメージとして抽出する図面イメージ抽出手段と、
前記図面イメージ内の前記キーワードに対応する領域を消去する図面イメージ内キーワード消去手段と、
前記文字領域のテキストデーターを検索し、前記図番が含まれる文を図面説明文として特定する文字領域検索手段と、
前記図番と関連づけて前記図面説明文に対応する文字列イメージを前記画像データーの前記文字領域から抽出する文字列イメージ抽出手段と、
前記図面説明文に前記キーワードが存在する場合、前記文字列イメージから前記キーワードに対応する領域を消去する文字列イメージ内キーワード消去手段と、
前記図面領域内のテキストデーターと前記図面説明文とのいずれかに前記キーワードが存在する前記図番の前記図面イメージ及び前記文字列イメージを用いて、前記図面イメージ及び前記文字列イメージを前記図番毎にレイアウトした穴埋め問題を生成するレイアウト手段とを具備することを特徴とする情報抽出装置。
前記レイアウト手段は、前記図面領域内のテキストデーターと前記図面説明文とのいずれにも前記キーワードが存在しない前記図番の前記図面イメージ及び前記文字列イメージを用い、複数の前記図面イメージ及び複数の前記文字列イメージをランダムな順序でレイアウトした選択問題を生成することを特徴とする請求項１記載の情報抽出装置。
前記文字領域検索手段は、前記図番が含まれる文と、該図番が含まれた文の前後の一文で且つ前記キーワードが含まれている文とを前記図面説明文として特定することを特徴とする請求項１又は２記載の情報抽出装置。