JP5263825B2 - 情報クリッピング装置、情報クリッピング方法、および、情報クリッピングプログラム - Google Patents

Description

本発明は、情報クリッピング装置、情報クリッピング方法、および、情報クリッピングプログラムに関し、特に、情報の切り抜きをするように情報を項目分類するのに適した情報クリッピング装置、情報クリッピング方法、および、情報クリッピングプログラムに関する。

従来より、カメラやスキャナなどの画像入力装置により文書の画像を取り込み、文字認識を行い、文字認識した結果を利用する装置が用いられている。たとえば、携帯電話のカメラにより名刺を認識し、名刺の内容を携帯電話のアドレス帳に登録する名刺読み取り装置や、携帯電話のカメラにより英単語を認識し、単語を辞書引きする単語認識装置などがある。

たとえば、特許文献１に開示されている名刺読み取り装置においては、項目に特有の単語、つまり、住所辞書、姓名辞書、および、キーワード辞書（会社名、部署名、肩書、郵便、電話、ファックスに関するキーワードの辞書）に含まれる単語が含まれるか否かにより、文字認識装置により生成された文字列が項目分類されていた。

また、特許文献２には、雑誌・新聞等の紙面上のインターネットのホームページアドレスや電子メールアドレス等を文字認識して入力する情報端末のアドレス検索装置において、「http」,「ftp」,「WWW」などのスキーム名、「co」,「jp」などのドメイン名、「html」などのメッセージ・言語種類名、「:」、「/」、「.」などの区切り記号をキー文字として用いて、所望のアドレス文字列を抽出する項目分類手法が開示されている。
特開平５−８９２９２号公報 特開平１０−１７１７５７号公報

しかし、雑誌などの情報媒体に記載された商業施設（たとえば、店、大型商業施設）などの施設の情報においては、記載項目、記載内容、記載方法、および、記載場所などについて、名刺やフォームなどに比べ、多様性がある。このため、特許文献１および特許文献２のそれぞれに記載の装置では、雑誌などに記載された施設の情報を項目分類することは難しいといった課題があった。

この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、多様性がある情報媒体に記載された施設の情報を項目分類することが可能な情報クリッピング装置、情報クリッピング方法、および、情報クリッピングプログラムを提供することである。

上述の目的を達成するために、この発明のある局面によれば、情報クリッピング装置は、施設に関する情報が含まれる画像を取得する画像取得部と、画像取得部によって取得された画像から文字領域を抽出する文字領域抽出部と、文字領域抽出部によって抽出された文字領域に含まれる文字列を文字認識する文字認識部と、文字認識部によって文字認識された文字列から施設の種別を判定する施設種別判定部と、施設種別判定部によって判定された種別に基づいて、文字列を、施設の種別に関して予め定められた項目に分類する項目分類部と、項目分類部によって分類された文字列を、分類された項目に対応付けて蓄積する分類結果蓄積部と、情報クリッピング装置は、施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とを対応付けて予め記憶する種別関連単語記憶部とを備え、施設種別判定部は、文字列認識部によって文字認識された文字列に、種別関連単語記憶部に記憶された単語が含まれる場合、当該単語に対応付けて種別関連単語記憶部に記憶された種別を、施設の種別と判定する。

この発明に従えば、情報クリッピング装置によって、多様性がある情報媒体等に記載された施設に関する情報が含まれる画像が取得され、取得された画像から文字領域が抽出され、抽出された文字領域に含まれる文字列が文字認識され、文字認識された文字列から施設の種別が判定され、判定された種別に基づいて、文字列が、施設の種別に関して予め定められた項目に分類され、分類された文字列が、分類された項目に対応付けて蓄積される。また、情報クリッピング装置によって、施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とが対応付けて予め記憶され、文字認識された文字列に、予め記憶された単語が含まれる場合、当該単語に対応付けて予め記憶された種別が、施設の種別と判定される。

一般的に、施設の種別によって施設に関する情報の項目が異なる。このため、予め記載されている情報がどのような項目の情報であるか分かり難い施設に関する情報であっても、文字領域に含まれる文字認識された文字列から判定された施設の種別に基づいて分類されるので、より正確に項目に分類することができる。また、施設の種別に関して予め定められた項目に分類されるので、項目を作成することが不能であるために項目分類できなかったり、再利用し難い恣意的な項目が作成されてその項目に項目分類されたりすることを防止することができる。その結果、多様性がある情報媒体等に記載された施設の情報を項目分類することが可能な情報クリッピング装置を提供することができる。
また、予め定められた施設の種別と単語との関連に基づいて、文字認識された文字列に当該単語が含まれるか否かに応じて、施設の種別が判定される。その結果、施設の種別をより正確に判定することができる。

好ましくは、情報クリッピング装置は、文字領域抽出部によって抽出された文字領域の属性を取得する属性取得部と、属性取得部によって取得された文字領域の属性に基づいて、当該文字領域が施設に関する情報を含む領域でないことを判定する施設領域判定部とをさらに備え、項目分類部は、施設領域判定部によって施設に関する情報を含む領域でないと判定された文字領域以外の文字領域の文字列を分類する。

この発明に従えば、情報クリッピング装置によって、抽出された文字領域の属性が取得され、取得された文字領域の属性に基づいて、当該文字領域が施設に関する情報を含む領域でないことが判定され、施設に関する情報を含む領域でないと判定された文字領域以外の文字領域の文字列が項目に分類される。

このため、施設に関する情報を含む領域でない文字領域については、項目の分類が行なわれないようにすることができるので、項目の分類において無駄な処理を減らすことができる。その結果、効率良く項目の分類をすることができる。

さらに好ましくは、施設領域判定部は、属性のうち所定の１または複数の属性が所定の条件を満たすときに、施設に関する情報を含む領域でないと判定する。

さらに好ましくは、情報クリッピング装置は、種別と当該種別に関して予め定められた分類のための項目とを対応付けて予め記憶する種別対応項目記憶部をさらに備え、項目分類部は、文字列を、施設種別判定部によって判定された種別に対応付けて種別対応項目記憶部に記憶された項目に分類する。

この発明に従えば、情報クリッピング装置によって、種別と当該種別に関して予め定められた分類のための項目とが対応付けて予め記憶され、文字列が、判定された種別に対応付けて予め記憶された項目に分類される。

このため、施設の種別に関して予め定められた項目に分類される。その結果、項目を作成することが不能であるために項目分類できなかったり、再利用し難い恣意的な項目が作成されてその項目に項目分類されたりすることを、より防止することができる。

好ましくは、情報クリッピング装置は、項目分類部による項目の分類の結果、施設に関する情報のうち施設名称が分類できなかった場合、項目に分類できなかった文字列から施設名称を検索する施設名称検索部をさらに備え、項目分類部は、施設名称検索部によって文字列から施設名称が検索された場合、検索された文字列を施設名称の項目に分類する。

この発明に従えば、情報クリッピング装置によって、項目の分類の結果、施設に関する情報のうち施設名称が分類できなかった場合、項目に分類できなかった文字列から施設名称が検索され、文字列から施設名称が検索された場合、検索された文字列が施設名称の項目に分類される。

このため、施設名称が一度、分類できない場合であっても、他の項目が分類された後の残った文字列から、再度、項目分類される結果、より少ない文字列から分類することができる。その結果、施設名称が項目分類される可能性を向上させることができる。

さらに好ましくは、施設名称検索部は、項目分類部が施設名称を分類するために用いた判断基準と異なる判断基準を用いて施設名称を検索する。

この発明に従えば、最初に用いられた判断基準とは異なる判断基準が用いられて施設名称が検索される。その結果、施設名称が項目分類される可能性をさらに向上させることができる。

さらに好ましくは、施設名称検索部は、分類された項目の文字列との位置関係に基づいて、施設名称を検索する。

一般的に、施設名称の位置は、他の項目の位置とある程度、相関がある場合が多い。この発明に従えば、施設名称の位置を、他の項目の位置から特定できる可能性を高めることができる。その結果、施設名称が項目分類される可能性をさらに向上させることができる。

さらに好ましくは、施設名称検索部は、分類された項目のうち、電話番号の項目の文字列の前後の行または前後の文字列を、施設名称の項目として検索する。

一般的に、施設名称の位置は、電話番号の項目の位置の前後である場合が多い。この発明に従えば、施設名称の位置を、電話番号の項目の位置から特定できる可能性を高めることができる。その結果、施設名称が項目分類される可能性をさらに向上させることができる。

好ましくは、分類結果蓄積部は、画像取得部によって取得された画像のうち、含まれる文字列が項目分類部によって項目に分類された項目分類可能画像と関連して取得された画像が、項目分類部によって分類される項目の文字列を含まない項目分類不能画像である場合、項目分類可能画像の分類された項目の関連情報として、当該項目分類不能画像を記憶する。

この発明に従えば、情報クリッピング装置によって、取得された画像のうち、含まれる文字列が項目に分類された項目分類可能画像と関連して取得された画像が、分類される項目の文字列を含まない項目分類不能画像である場合、項目分類可能画像の分類された項目の関連情報として、当該項目分類不能画像が記憶される。

このため、項目分類が不能な画像に含まれる情報も情報クリッピング装置に蓄積される。その結果、取得された画像に含まれる情報を無駄にせず、整理して記憶することができる。

さらに好ましくは、文字認識部は、項目分類不能画像に含まれる文字列を文字認識し、分類結果蓄積部は、文字認識部によって文字認識された項目分類不能画像に含まれる文字列を関連情報として記憶する。

この発明に従えば、情報クリッピング装置によって、項目分類不能画像に含まれる文字列が文字認識され、文字認識された項目分類不能画像に含まれる文字列が関連情報として記憶される。

このため、項目分類不能画像に含まれる文字列を、より利用し易く、整理して記憶することができる。

好ましくは、分類結果蓄積部に蓄積された項目に対応付けられた文字列を、当該文字列を利用可能な外部装置に出力する出力部をさらに備える。

この発明に従えば、情報クリッピング装置によって、蓄積された項目に対応付けられた文字列が、当該文字列を利用可能な外部装置に出力される。

このため、項目分類された施設に関する情報を外部装置でより有効に活用することを可能とすることができる。その結果、情報クリッピング装置の有用性をさらに向上させることができる。

この発明の他の局面によれば、情報クリッピング方法は、制御部と記憶部とを備える装置が情報の切り抜きをするように情報を項目分類する方法であって、制御部が、施設に関する情報が含まれる画像を取得するステップと、取得された画像から文字領域を抽出するステップと、抽出された文字領域に含まれる文字列を文字認識するステップと、文字認識された文字列から施設の種別を判定するステップと、判定された種別に基づいて、文字列を、施設の種別に関して予め定められた項目に分類するステップと、分類された文字列を、分類された項目に対応付けて記憶部に蓄積するステップと、施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とを対応付けて予め記憶するステップとを含み、施設の種別を判定するステップは、文字認識された文字列に、予め記憶された単語が含まれる場合、当該単語に対応付けて予め記憶された種別を、施設の種別と判定するステップを含む。

この発明に従えば、多様性がある情報媒体等に記載された施設の情報を項目分類することが可能な情報クリッピング方法を提供することができる。

この発明のさらに他の局面によれば、情報クリッピングプログラムは、情報処理装置によって実行されるプログラムであって、施設に関する情報が含まれる画像を取得するステップと、取得された画像から文字領域を抽出するステップと、抽出された文字領域に含まれる文字列を文字認識するステップと、文字認識された文字列から施設の種別を判定するステップと、判定された種別に基づいて、文字列を、施設の種別に関して予め定められた項目に分類するステップと、分類された文字列を、分類された項目に対応付けて記憶部に蓄積するステップと、施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とを対応付けて予め記憶するステップとを情報処理装置に実行させ、施設の種別を判定するステップは、文字認識された文字列に、予め記憶された単語が含まれる場合、当該単語に対応付けて予め記憶された種別を、施設の種別と判定するステップを含む。

この発明に従えば、多様性がある情報媒体等に記載された施設の情報を項目分類することが可能な情報クリッピングプログラムを提供することができる。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

［第１の実施の形態］
本発明の実施の形態のおいては、印刷物（たとえば、雑誌、新聞、広告チラシ）などの情報媒体、コンピュータなどの表示画面、または、看板に記載された「施設」に関する情報の切り抜きをするように、「施設」に関する情報を読取って項目分類して蓄積する装置である情報クリッピング装置が、携帯電話１００であることとして説明する。しかし、情報クリッピング装置は、これに限定されず、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistants）のような他の情報処理装置であってもよい。また、カーナビゲーションシステムなどの蓄積された「施設」に関する情報を利用する装置の機能の一部として、情報クリッピング装置の機能が組込まれるようにしてもよい。

ここで、「施設」とは、「店」「大型商業施設」などの「商業施設」、「レストラン」「喫茶店」などの「飲食施設」、「遊園地」「公園」「劇場」などの「娯楽施設」、「ホテル」「旅館」などの「宿泊施設」、「駅」「空港」「港湾（施設）」などの「公共施設」、「学校」「幼稚園」などの「教育施設」、「寺」「神社」などの「宗教施設」、「役所」「警察署」「消防署」などの「行政施設」、「病院」「薬局」などの「医療機関」などを含む概念である。

図２は、本発明の実施の形態における情報クリッピング装置としての携帯電話１００によって項目分類された分類結果の一例を示す図である。図２を参照して、たとえば、飲食施設に関する情報の項目としては、「施設名称」、「電話番号」、「住所」、「ＦＡＸ番号」、「ＵＲＬ（Uniform Resource Locator）」、「営業時間」、「定休日」、「交通手段」、「席数」、「ラストオーダー時間」、および、「その他」の項目が含まれる。

図２においては、「施設名称」として「レストラン亜唖」、「電話番号」として「03-1111-1111」、「住所」として「東京都千代田区有楽町０００ ××ビル」、「ＵＲＬ」として「http://www.restaurant.htm」、「営業時間」として「ＡＭ１１：３０〜ＰＭ４：００」、「定休日」として「水」、「交通手段」として「東京地下鉄千代田線日比谷駅Ａ１出口、または、ＪＲ有楽町駅より徒歩１０分」、および、「その他」として「ひとりで訪れる客も多い。アットホームな雰囲気。パンが焼きたて、静かな場所にあり、ランチが人気」が、それぞれ、項目分類された分類結果が示されている。

図１は、本発明の実施の形態における情報クリッピング装置としての携帯電話１００の構成の概略を示すブロック図である。図１を参照して、携帯電話１００は、制御部１１０と、記憶部１２０と、データ入力部１３０と、表示部１４０と、音声入出力部１５０と、無線通信部１６０と、アンテナ１６１と、赤外線通信部１８０と、カメラ部１９０とを含む。

記憶部１２０は、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの不揮発性メモリやＲＡＭ（Random Access Memory）などの揮発性メモリなどの半導体メモリで構成される。記憶部１２０は、携帯電話１００の各種機能を制御部１１０に実行させるためのアプリケーションプログラムなどのプログラムやデータを記憶する。

データ入力部１３０は、電話番号や各種データなどの数字やアルファベットやその他の文字などを入力するためのダイヤルキーや十字操作キーやその他のファンクションキーで構成される。データ入力部１３０は、ユーザからデータの入力を受付けて、入力されたデータを制御部１１０に受渡す。

表示部１４０は、液晶表示装置（Liquid Crystal Display、以下「ＬＣＤ」という）で構成される。なお、表示部１４０は、ＥＬ（Electro Luminescence）ディスプレイなど他の表示装置で構成されてもよい。表示部１４０は、制御部１１０から受けた文字データおよび画像データを表示する。

音声入出力部１５０は、マイクおよびスピーカで構成される。音声入出力部１５０は、外部からマイクに入力された音声を電気信号に変えて、制御部１１０に受渡し、制御部１１０からの電気信号を音声に変換して、スピーカで外部に出力する。

無線通信部１６０は、他の携帯電話またはサーバからアンテナ１６１で受信した信号を制御部１１０に受渡し、制御部１１０から他の携帯電話またはサーバへ送信する信号をアンテナ１６１から出力させる。

赤外線通信部１８０は、他の携帯電話または赤外線通信部を備えた装置（たとえば、カーナビゲーションシステム）から赤外線で受信した信号を制御部１１０に受渡し、他の携帯電話または赤外線通信部を備えた装置へ送信する信号を、制御部１１０から受取り、赤外線で送信する。

カメラ部１９０は、雑誌１９１などの情報媒体に記載された施設に関する情報１９２などの被写体を撮像して、撮像された画像を画像データに変換して、変換された画像データを制御部１１０に出力する。

制御部１１０は、ＣＰＵ（Central Processing Unit）およびその補助回路で構成される。制御部１１０は、記憶部１２０に記憶されたアプリケーションプログラムなどのプログラムに従って、記憶部１２０、データ入力部１３０、無線通信部１６０、音声入出力部１５０、赤外線通信部１８０、または、カメラ部１９０から入力されたデータを処理して、記憶部１２０、表示部１４０、無線通信部１６０、音声入出力部１５０、または、赤外線通信部１８０に出力する。

図３は、本実施の形態における情報クリッピング装置としての携帯電話１００の機能の概略を示す機能ブロック図である。図３を参照して、携帯電話１００の制御部１１０によって所定のプログラムが実行されることによって、制御部１１０には、画像取得部１１１と、文字領域抽出部１１２と、文字認識部１１３と、項目分類部１１４と、分類結果蓄積部１１５と、出力制御部１１６とが構成される。

画像取得部１１１は、施設に関する情報が含まれる画像を取得する。具体的には、画像取得部１１１は、カメラ部１９０によって撮像された画像データを取込んだり、赤外線通信部１８０から画像データを受信したり、無線通信部１６０から画像データを受信したり、記憶部１２０に記憶された画像データ１２５を読出したりすることによって、画像データで示される画像を取得する。

図４から図８までは、本実施の形態における携帯電話１００によって取得された画像の第１の例から第５の例までをそれぞれ示す図である。図４から図８までを参照して、雑誌などの情報媒体などに記載された施設に関する情報の記載フォーマットは、名刺の記載フォーマットと比較して、多様性がある。

たとえば、図４に示すように、施設名称である店名が、他の項目の文字と比較して大きいゴシック体の反転文字になっていたり、図５に示すように、店名が縦書となっていたり、図６に示すように、電話番号、住所などの情報も縦書となっていたり、図７に示すように、店名が他の項目の文字と同じ大きさで同じ書体であったり、図８に示すように、店名が上端または右端以外の位置に記載されていたりする。

図３に戻って、文字領域抽出部１１２は、取得された画像から文字領域を抽出する。具体的には、文字領域抽出部１１２は、取得された画像を２値化して、２値化画像から従来の手法で文字領域を抽出する。

図９は、本実施の形態における携帯電話１００によって取得された画像が２値化された例を示す図である。図９を参照して、この画像は、図４で示した取得画像を２値化した画像である。２値化する際に、２値化してしまうと、濃淡反転している反転文字の文字領域の位置、および、フォントや背景の色の情報がなくなってしまうために、文字領域抽出部１１２は、そのような文字領域の位置を示す座標情報、濃淡反転している領域であることを示す情報、および、フォントや背景の色情報を認識して記憶部１２０に記憶させる。

たとえば、図９の場合、施設名称である「レストラン亜唖」の文字領域が濃淡反転しているので、文字領域抽出部１１２は、この文字領域の座標（１２３２，３７５）−（２１８０，５０８）を記憶させるようにする。

図１０は、本実施の形態における携帯電話１００によって取得された画像の文字領域の抽出結果を示す図である。図１０を参照して、文字領域抽出部１１２は、取得画像に含まれる分離された文字領域をそれぞれ抽出する。

たとえば、図１０の場合、文字領域抽出部１１２は、「レストラン亜唖」の文字が含まれる文字領域を、「領域１」として、「ひとりで訪れる・・・ランチが人気。」の文字が含まれる文字領域を、「領域２」として、「電話03-1111-1111・・・http://www.restaurant.html」の文字が含まれる文字領域を、「領域３」として抽出する。

図３に戻って、文字認識部１１３は、抽出された文字領域に含まれる文字列を文字認識する。具体的には、文字認識部１１３は、文字の種類の認識結果の複数の候補だけでなく、その文字の領域番号、その文字がその領域内の何行目にあるかを示す行番号、その文字が縦書か横書かを示す情報、その文字の位置の座標とその文字のサイズ、その文字の書体（明朝体、ゴシック体、楷書体など）、および、その文字の太さなどのその文字の属性を認識する。

図１１は、本実施の形態における携帯電話１００によって抽出された文字領域の文字認識結果を示す図である。図１１を参照して、文字認識部１１３は、それぞれの文字領域について、文字認識された各文字について正解候補マトリクスで、行ごとに並べたものを、すべての文字領域について、横書と縦書とを統一した向き（ここでは横書）にして繋げる。

たとえば、図１１の場合、文字認識部１１３は、「領域１」については、「れすとらん亜唖」の文字を正解候補マトリクスとして認識し、「領域２」については、「ひとりで訪れる客も多い。」、「アットフォームな雰囲気。」、「パンが焼きたて、静かな」、「場所にあり、ランチが人」、および、「気。」のそれぞれの行の文字を正解候補マトリクスとして認識し、「領域３」については、「電話03-1111-1111京都」、「千代田区有楽町ｏｏｏＸＸ」、「ビル 営ＡＭ11:30-Ph44:00」、「（１８）（丸付き数字の１８）（６）（丸付き数字の６）アクセス凍京地下鉄」、「千代田線日比谷駅Ａ１出口、」、「または、ＪＲ有楽町駅より徒」、「歩１０分」、および、「http://www.restaurant.html」のそれぞれの行の文字を正解候補マトリクスとして認識し、それぞれを、行ごとに並べたものを、すべての文字領域である「領域１」から「領域３」までについて、横書きに統一して繋げる。

図３に戻って、項目分類部１１４は、文字認識された文字列が含まれる文字領域の属性または当該文字列に含まれる単語もしくは文字もしくは記号に基づいて、当該文字列を、施設の種別に関して予め定められた項目に分類する。項目分類部１１４の属性取得部１１４１は、文字認識部１１３による文字認識の結果から文字の属性を取得して記憶部１２０に記憶させる。

図１２は、本実施の形態における携帯電話１００によって文字認識の結果としての文字の属性に関する情報を示す図である。図１２を参照して、認識される文字の属性としては、その文字の認識結果候補マトリックス、その文字の領域番号、その文字がその領域内の何行目にあるかを示す行番号、その文字が縦書か横書かを示す情報、その文字の位置の座標とその文字のサイズ、その文字の書体（明朝体、ゴシック体、楷書体など）、および、その文字の太さに加えて、文字領域抽出部１１２によって認識された濃淡判定しているか否かを示す反転非反転情報、および、フォント、背景の色を示す文字、背景の色情報が含まれる。

たとえば、図１２に示されるように、「領域１」の「行１」の１番目の文字の場合、「認識結果候補マトリックス」が「(0)れ82ea_14754」「(1)牲90b5_11881」「(2)札8e44_11861」「(3)壮9173_11713」であり、「縦書か横書かを示す情報」が「横書」であり、「文字座標と文字サイズ」が「(1269-412)-(1345,484)(幅=74,高さ=76)」であり、「反転非反転情報」が「反転」であり、「文字の色情報」が「青」であり、背景の色情報が「白」であり、「フォント」が「ゴシック」であり、「文字太さ」が「10dot」である。

なお、認識結果候補マトリックスにおいて、たとえば、「(0)れ82ea_14754」の場合、最初の括弧付き数字である「(0)」は、その候補文字の優先順位であり、次の文字である「れ」は、その候補文字であり、次の１６進数の４桁の数字列である「82ea」は、その文字の文字コード（ここでは、シフトＪＩＳコード）であり、次の１０進数の５桁の数字である「14754」は、その文字の類似度である。ここで、類似度は、その文字の辞書パターンと入力パターンとが適合する程度を数値化した値である。

項目分類部１１４の施設領域判定部１１４２は、属性取得部１１４１によって取得された文字の属性のいずれかが所定の条件を満たす場合、その文字領域が、施設に関する情報を含む施設情報領域でないと判定する。

ここで、所定の条件は、当該文字領域の文字サイズが他の文字領域の平均文字サイズに対して５倍以上である条件、および、当該文字領域の文字高さが、取得画像の短辺長さの１／５以上である条件である。このような条件により、図形領域または写真領域が誤って文字領域と認識されたような文字領域を除外することができる。

また、所定の条件は、当該文字領域が取得画像の端にしか文字が存在しない文字領域である条件、当該文字領域が取得画像の端と接している条件である。たとえば、図１においては、取得画像に含まれる、他の施設に関する情報１９２Ａ、および、雑誌の当該ページの見出し１９３が、これらの条件を満たす文字領域である。携帯電話１００のカメラ部１９０を利用して、施設に関する情報１９２を取込んで項目分類させたいユーザは、取込みたい施設に関する情報１９２が取込む画像の中程に配置されるように取得することが期待される。このような条件により、施設に関する情報１９２などの項目分類の対象となる情報以外の情報を除外することができる。

なお、ここでは、文字サイズおよび文字の位置の１つの属性が所定の条件を満たすときに、施設に関する情報を含む文字領域でないと判定するようにしたが、複数の属性が所定の条件を満たすときに、そのように判定するようにしてもよい。

項目分類部１１４の施設種別判定部１１４３は、記憶部１２０に予め記憶された種別関連単語テーブル１２２を用いて、文字認識された文字列から施設の種別を判定する。

図１３は、本実施の形態における携帯電話１００によって施設の種別が判定されるときに用いられる種別関連単語テーブル１２２を示す図である。図１３を参照して、記憶部１２０には、施設の種別と当該施設の種別に関連のある単語とが対応付けられた種別関連単語テーブル１２２が予め記憶される。

たとえば、「施設種別」である「飲食」施設に対応付けて、「単語」として「グルメ」、「料理」、「ランチ」、「鮨」、「刺身」、「日本酒」、「ビール」および「ウイスキー」などが、種別関連単語テーブル１２２として記憶される。

図３に戻って、施設種別判定部１１４３は、文字認識された文字列に、種別関連単語テーブル１２２に記憶された単語が含まれる場合、当該単語に対応付けて記憶された施設種別を、施設の種別と判定する。

たとえば、文字認識された文字列に「グルメ」の単語が含まれる場合、施設種別判定部１１４３によって、「グルメ」に対応付けて記憶された施設種別「飲食」が、施設の種別と判定される。

項目分類部１１４は、施設種別判定部１１４３によって判定された種別に基づいて、文字列を項目に分類する。

また、項目分類部１１４は、文字列を、施設種別判定部１１４３によって判定された種別に対応付けて記憶部１２０の種別対応項目テーブル１２３に予め記憶された項目に分類する。

図１４は、本実施の形態における携帯電話１００によって種別に対応する項目が特定されるときに用いられる種別対応項目テーブル１２３を示す図である。図１４を参照して、記憶部１２０には、種別と当該種別に関して予め定められた分類のための項目セットとが対応付けられた種別対応項目テーブル１２３が予め記憶される。

たとえば、「施設種別」である「飲食」施設に対応付けて、「項目セット」として「店名」、「住所」、「電話」、「ラストオーダー」、「交通」、「定休日」、「席数」、および、「ＵＲＬ」が、種別対応項目テーブル１２３として記憶される。

図３に戻って、たとえば、施設種別判定部１１４３によって判定された種別が「飲食」施設である場合、項目分類部１１４によって、「飲食」に対応付けて予め記憶された「項目セット」である「店名」、「住所」、「電話」、「ラストオーダー」、「交通」、「定休日」、「席数」、および、「ＵＲＬ」の各項目に、文字列が分類される。

そして、項目分類部１１４は、記憶部１２１に予め記憶されたキーワード・姓名・住所辞書および種別対応キーワードテーブル１２４を用いて、項目分類する。項目分類の詳細は、第２の実施の形態で説明する。

項目分類部１１４の施設名称検索部１１４４は、項目分類部１１４による項目の分類の結果、施設に関する情報のうち施設名称が分類できなかった場合、項目に分類できなかった文字列から施設名称を検索する。

そして、項目分類部１１４は、施設名称検索部１１４４によって文字列から施設名称が検索された場合、検索された文字列を施設名称の項目に分類する。

分類結果蓄積部１１５は、項目分類部１１４によって分類された文字列を、分類された項目に対応付けて記憶部１２０に分類結果情報１２５として蓄積する。

出力制御部１１６は、分類結果蓄積部１１５によって分類結果情報１２５として蓄積された項目に対応付けられた文字列を、当該文字列を利用可能な外部装置（たとえば、カーナビゲーションシステム）などに出力する。具体的には、出力制御部１１６は、表示部１４０に表示させたり、無線通信部１６０で送信したり、赤外線通信部１８０で送信したりすることによって、文字列を出力する。

携帯電話１００から出力された項目に対応付けられた文字列が入力されることによって、当該文字列を利用可能な外部装置においては、当該文字列を利用して、施設に関する情報が設定される。

たとえば、カーナビゲーションシステムにおいては、項目に対応付けられた文字列が、携帯電話１００から入力されることによって、目的地の施設の住所や名称などの設定が行なわれる。

なお、本実施の形態においては、制御部１１０によってソフトウェアが実行されることによって、画像取得部１１１と、文字領域抽出部１１２と、文字認識部１１３と、項目分類部１１４と、分類結果蓄積部１１５と、出力制御部１１６とが構成されるようにした。しかし、これに限定されず、画像取得部１１１と、文字領域抽出部１１２と、文字認識部１１３と、項目分類部１１４と、分類結果蓄積部１１５と、出力制御部１１６とが、制御部１１０に含まれるハードウェア回路で構成されるようにしてもよい。

［第２の実施の形態］
第１の実施の形態においては、携帯電話１００の制御部１１０によって所定のプログラムが実行されることによって構成される画像取得部１１１と、文字領域抽出部１１２と、文字認識部１１３と、項目分類部１１４と、分類結果蓄積部１１５と、出力制御部１１６とによって、情報クリッピング処理が行なわれる場合について説明した。

第２の実施の形態においては、携帯電話１００の制御部１１０によって後述する図１５から図２２までで説明する情報クリッピングプログラムが実行されることによって情報クリッピング処理が行なわれる場合について説明する。

図１５は、本実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのメインルーチンの処理の流れを示すフローチャートである。

図１５を参照して、まず、ステップＳ１０１で、携帯電話１００の制御部１００は、ユーザによってデータ入力部１３０が操作されることによって、情報クリッピングプログラムのメニュー画面で、施設に関する情報を取得して項目分類する旨の「情報取得」の選択肢が選択されたか否かを判断する。選択されていないと判断した場合（ステップＳ１０１でＮＯと判断したの場合）、制御部１１０は、実行する処理をステップＳ１０７の処理に進める。

一方、「情報取得」の選択肢が選択されたと判断した場合（ステップＳ１０１でＹＥＳと判断した場合）、ステップＳ１０２で、制御部１１０は、ユーザによってデータ入力部１３０が操作されることによって、施設に関する情報を含む画像の携帯電話１００への入力方法が選択されたか否かを判断する。選択されていないと判断した場合（ステップＳ１０２でＮＯと判断した場合）、制御部１１０は、ステップＳ１０２の処理を繰返す。

入力方法としては、画像の入力元として、カメラ部１９０、赤外線通信部１８０、無線通信部１６０、および、記憶部１２０のいずれかを選択することができる。

画像の入力方法が選択されたと判断した場合（ステップＳ１０２でＹＥＳと判断した場合）、ステップＳ１０３で、制御部１１０は、選択された入力方法で、施設に関する情報が含まれる画像を取得する。

次に、ステップＳ１０４で、制御部１１０は、文字領域抽出処理を実行する。文字領域抽出処理については、第１の実施の形態における文字領域抽出部１１２によって実行される処理と同様であるので、重複する説明は繰返さない。

次のステップＳ１０５では、制御部１１０は、文字認識処理を実行する。文字認識処理については、第１の実施の形態における文字認識部１１３によって実行される処理と同様であるので、重複する説明は繰返さない。

次いで、ステップＳ１０６で、制御部１１０は、項目分類処理を実行する。項目分類処理については、後述する図１６で詳細に説明する。項目分類処理が実行されることによって、第１の実施の形態で説明したような分類結果情報１２５が記憶部１２０に蓄積される。その後、制御部１１０は、実行する処理をステップＳ１０１の処理に戻す。

ステップＳ１０７に処理が進められた場合、制御部１１０は、ユーザによってデータ入力部１３０が操作されることによって、情報クリッピングプログラムのメニュー画面で、記憶部１２０に分類結果情報１２５として蓄積された施設に関する情報を外部装置へ出力する旨の「情報出力」の選択肢が選択されたか否かを判断する。選択されていないと判断した場合（ステップＳ１０１でＮＯと判断したの場合）、制御部１１０は、実行する処理をステップＳ１０１の処理に戻す。

一方、「情報出力」の選択肢が選択されたと判断した場合（ステップＳ１０７でＹＥＳと判断した場合）、ステップＳ１０８で、制御部１１０は、ユーザによってデータ入力部１３０が操作されることによって、施設に関する情報の携帯電話１００からの出力方法が選択されたか否かを判断する。選択されていないと判断した場合（ステップＳ１０８でＮＯと判断した場合）、制御部１１０は、ステップＳ１０８の処理を繰返す。

出力方法としては、施設に関する情報の出力先として、赤外線通信部１８０、無線通信部１６０、および、表示部１４０のいずれかを選択することができる。

施設に関する情報の出力方法が選択されたと判断した場合（ステップＳ１０８でＹＥＳと判断した場合）、ステップＳ１０９で、制御部１１０は、ユーザが所望する施設に関する情報を外部装置または表示部１４０に出力する。その後、制御部１１０は、実行する処理をステップＳ１０１の処理に戻す。

図１６は、本実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのサブルーチンである項目分類処理の流れを示すフローチャートである。

図１６を参照して、まず、ステップＳ１１１で、携帯電話１００の制御部１１０は、図１３で示した種別関連単語テーブル１２２を用いて、文字認識結果から施設種別を特定する。この処理については、第１の実施の形態における施設種別判定部１１４３によって実行される処理と同様であるので、重複する説明は繰返さない。

そして、ステップＳ１１２で、制御部１１０は、施設種別に対応して図１４で示した種別対応項目テーブルに記憶されている項目セットを読出す。この処理については、第１の実施の形態における項目分類部１１４によって実行される処理と同様であるので、重複する説明は繰返さない。

次に、ステップＳ１１３、ステップＳ１１４、および、ステップＳ１１５で、それぞれ、制御部１１０は、電話番号分類処理、住所分類処理、および、施設名称分類処理を実行する。電話番号分類処理、住所分類処理、および、施設名称分類処理については、後述する図１７、図１８、図２０で詳細に説明する。

図１７は、本実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのサブルーチンである電話番号分類処理の流れを示すフローチャートである。

図１７を参照して、まず、ステップＳ１２１で、制御部１１０は、文字認識された文字の中に、キーワード・姓名・住所辞書１２１に記憶された、電話番号に関する電話キーワード（たとえば、ＴＥＬ，電話番号など）、または、電話に関する記号文字（たとえば、受話器記号，電話マーク，●や■などの区切り記号など）が含まれるか否かを判断する。

電話キーワードまたは電話に関する記号文字が含まれると判断した場合（ステップＳ１２１でＹＥＳと判断した場合）、ステップＳ１２２で、制御部１１０は、その後ろの数字列を電話番号の項目として抽出する。その後、制御部１１０は、実行する処理をステップＳ１２５の処理に進める。

一方、電話キーワードまたは電話に関する記号文字が含まれないと判断した場合（ステップＳ１２１でＮＯと判断した場合）、ステップＳ１２３で、制御部１１０は、文字認識された文字の中に、電話番号の桁数（たとえば、１０，１１桁）の数字列があるか否かを判断する。ないと判断した場合（ステップＳ１２３でＮＯと判断した場合）、制御部１１０は、この処理を終了して、実行する処理をこの処理の呼出元の処理に戻す。

一方、電話番号の桁数の数字列があると判断した場合（ステップＳ１２３でＹＥＳと判断した場合）、ステップＳ１２４で、制御部１１０は、当該数字列を電話番号の項目として抽出する。その後、制御部１１０は、実行する処理をステップＳ１２５の処理に進める。

ステップＳ１２５では、制御部１１０は、抽出された文字列を、分類結果情報１２５の電話番号の項目として記憶部１２０に蓄積する。その後、制御部１１０は、この処理を終了して、実行する処理をこの処理の呼出元の処理に戻す。

図１８は、本実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのサブルーチンである住所分類処理の流れを示すフローチャートである。

図１８を参照して、まず、ステップＳ１３１で、制御部１１０は、文字認識された文字の中に、キーワード・姓名・住所辞書１２１に記憶された、住所に関する住所キーワード（たとえば、ＡＤＤＲＥＳＳ、住所など）が含まれるか否かを判断する。

住所キーワードが含まれないと判断した場合（ステップＳ１３１でＮＯと判断した場合）、ステップＳ１３２で、制御部１１０は、文字認識された文字の中に、キーワード・姓名・住所辞書１２１に記憶された、地名が含まれるか否かを判断する。地名が含まれないと判断した場合（ステップＳ１３２でＮＯと判断した場合）、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

一方、住所キーワードが含まれると判断した場合（ステップＳ１３１でＹＥＳと判断した場合）、および、地名が含まれると判断した場合（ステップＳ１３２でＹＥＳと判断した場合）、ステップＳ１３３で、制御部１１０は、後述する図１９で説明する住所文字列抽出処理を実行する。

図１９は、本実施の形態における携帯電話１００によって実行される住所分類処理のサブルーチンである住所文字列抽出処理の流れを示すフローチャートである。

図１９を参照して、まず、ステップＳ１４１で、制御部１１０は、地名に続く数字があるか否かを判断する。地名に続く数字がないと判断した場合（ステップＳ１４１でＮＯと判断した場合）、ステップＳ１４２で、制御部１１０は、地名の終端を、住所の文字列の末端に設定して、実行する処理をステップＳ１４８の処理に進める。

一方、地名に続く数字があると判断した場合（ステップＳ１４１でＹＥＳと判断した場合）、ステップＳ１４３で、制御部１１０は、当該数字の後に番地関連の文字列（たとえば、丁目，番地，番，号など）があるか否かを判断する。当該数字の後に番地関連の文字列がないと判断した場合（ステップＳ１４３でＮＯと判断した場合）、ステップＳ１４４で、制御部１１０は、当該数字列の終端を、住所の文字列の末端に設定して、実行する処理をステップＳ１４８の処理に進める。

一方、当該数字の後に番地関連の文字列があると判断した場合（ステップＳ１４３でＹＥＳと判断した場合）、ステップＳ１４５で、制御部１１０は、番地関連の文字列の後に建物名称の末尾の文字列（たとえば、ビル、タワーなど）があるか否かを判断する。番地関連の文字列の後に建物名称の文字列がないと判断した場合（ステップＳ１４５でＮＯと判断した場合）、ステップＳ１４６で、制御部１１０は、当該番地関連の文字列の終端を、住所の文字列の末端に設定して、実行する処理をステップＳ１４８の処理に進める。

一方、番地関連の文字列の後に建物名称の文字列があると判断した場合（ステップＳ１４５でＹＥＳと判断した場合）、ステップＳ１４７で、制御部１１０は、当該建物名称の文字列の終端を、住所の文字列の末端に設定して、実行する処理をステップＳ１４８の処理に進める。

ステップＳ１４８では、制御部１１０は、住所キーワードの後、または、地名の始端から、設定された末端までの文字列を、住所の文字列として抽出する。その後、制御部１１０は、この処理を終了して、実行する処理をこの処理の呼出元の処理に戻す。

図１８に戻って、ステップＳ１３４で、制御部１１０は、抽出された文字列を、分類結果情報１２５の住所の項目として記憶部１２０に蓄積する。その後、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

図２０は、本実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのサブルーチンである施設名称分類処理の流れを示すフローチャートである。

図２０を参照して、まず、ステップＳ１５１で、制御部１１０は、文字認識された行のうち、最初の対象行について、ステップＳ１５２からステップＳ１５５までの処理を実行させるための処理を行なう。

ステップＳ１５２では、制御部１１０は、「（１）対象行に種別対応キーワードテーブル１２４に含まれるキーワードがある」、「（２）対象行の平均文字高さ≧対象行以外のそれぞれの行の平均文字高さのうちの最大値×１．１」、「（３）対象行が明暗反転」、「（４）対象行のみ対象行以外の他の行と縦書・横書が異なる」、「（５）対象行が施設情報領域の上端または右端」のいずれかの条件を、当該行が満たすか否かを判別する。

なお、施設情報領域は、第１の実施の形態において説明した施設領域判定部１１４２による処理と同様の処理で判定される。

図２１は、本実施の形態における携帯電話１００によって施設名称が分類されるときに用いられる種別対応キーワードテーブル１２４を示す図である。図２１を参照して、記憶部１２０には、施設の種別と当該種別の施設の施設名称に含まれることが多いキーワードとが対応付けられた種別対応キーワードテーブル１２４が予め記憶される。

たとえば、「施設種別」である「飲食」施設に対応付けて、「キーワード」として、「飲食」に関わる、「レストラン」、「庵」、「焼肉」、「楼」、「居酒屋」、「中華料理」、「イタリア料理」、「フランス料理」および「れすとらん」などが、種別対応キーワードテーブル１２４として記憶される。

そして、ステップＳ１５３で、制御部１１０は、ステップＳ１５２での判別の結果、当該行が１つ以上の条件を満たすか否かを判断する。満たすと判断した場合（ステップＳ１５３でＹＥＳと判断した場合）、ステップＳ１５４で、制御部１１０は、当該行を候補行とする。

当該行が１つも条件を満たさないと判断した場合（ステップＳ１５３でＮＯと判断した場合）、および、ステップＳ１５４の後、ステップＳ１５５で、制御部１１０は、条件を未判別の行が残っているか否かを判断する。未判別の行が残っていると判断した場合（ステップＳ１５５でＹＥＳと判断した場合）、ステップＳ１５６で、制御部１１０は、次の対象行について、ステップＳ１５２からステップＳ１５５までの処理を実行させるための処理を行なう。

一方、未判別の行が残っていないと判断した場合（ステップＳ１５５でＮＯと判断した場合）、ステップＳ１６１で、制御部１１０は、候補行が複数であるか否かを判断する。候補行が複数であると判断した場合（ステップＳ１６１でＹＥＳと判断した場合）、ステップＳ１６２で、制御部１１０は、最も多くの条件を満たす候補行の文字列を、分類結果情報１２５の施設名称の項目として記憶部１２０に蓄積する。

一方、候補行が複数でないと判断した場合（ステップＳ１６１でＮＯと判断した場合）、ステップＳ１６３で、制御部１１０は、候補行が１つであるか否かを判断する。候補行が１つであると判断した場合（ステップＳ１６３でＹＥＳと判断した場合）、ステップＳ１６４で、制御部１１０は、候補行の文字列を、分類結果情報１２５の施設名称の項目として記憶部１２０に蓄積する。

一方、候補行が１つもないと判断した場合（ステップＳ１６３でＮＯと判断した場合）、および、ステップＳ１６２，ステップＳ１６４の後、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

なお、この施設名称分類処理においては、ステップＳ１５３で１つ以上の条件を満たすか否かを判断するようにした。しかし、これに限定されず、最初は、２つ以上やそれ以上の条件を満たすか否かを判断するようにして、徐々に条件を緩くして判断するようにしてもよい。

図１６に戻って、ステップＳ１１６では、制御部１１０は、ステップＳ１１２で読出された項目セットに、施設名称、電話番号、および、住所以外の他の項目が含まれるか否かを判断する。含まれると判断した場合（ステップＳ１１６でＹＥＳと判断した場合）、ステップＳ１１７で、制御部１１０は、種別毎項目分類処理を実行する。

種別毎項目分類処理においては、制御部１１０は、その項目の名称に関するキーワード（たとえば、「ＦＡＸ」，「ファックス番号」，「ＵＲＬ」，「ホームページ」，「営業時間」，「定休日」，「休」，「交通手段」，「アクセス」，「Ａｃｃｅｓｓ」，「席数」，「ラストオーダー時間」など）があれば、その後から次の区切りまでの文字列を、その項目に分類する。

また、制御部１１０は、その項目の内容に関するキーワード（たとえば、http://，www，htm，（時刻を示す文字列）〜（時刻を示す文字列），（曜日を示す文字列），（鉄道，バスなどの会社名），（鉄道，バスなどの路線を示す文字列），徒歩など）があれば、その文字列の前の区切りからその文字列の後の区切りまでの文字列を、その項目に分類する。

一方、項目セットに他の項目が含まれないと判断した場合（ステップＳ１１６でＮＯと判断した場合）、および、ステップＳ１１７の後、ステップＳ１１８で、制御部１１０は、ステップＳ１１５で説明した施設名称分類処理で、施設名称が分類済みであるか否かを判断する。具体的には、制御部１１０は、記憶部１２０に記憶されている分類結果情報１２５に、処理の対象となっている取得画像について、施設名称の項目が蓄積されているか否かを確認することによって、施設名称が分類済みであるか否かを判断する。

施設名称が分類済みでないと判断した場合（ステップＳ１１８でＮＯと判断した場合）、ステップＳ１１９で、制御部１１０は、後述する図２２で説明する施設名称再分類処理を実行する。

一方、施設名称が分類済みであると判断した場合（ステップＳ１１８でＹＥＳと判断した場合）、および、ステップＳ１１９の後、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

図２２は、本実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのサブルーチンである施設名称再分類処理の流れを示すフローチャートである。

図２２を参照して、まず、ステップＳ１７１で、制御部１１０は、未分類の行があるか否かを判断する。未分類の行がないと判断した場合（ステップＳ１７１でＮＯと判断した場合）、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

一方、未分類の行があると判断した場合（ステップＳ１７１でＹＥＳと判断した場合）、ステップＳ１７２で、制御部１１０は、電話番号の行の直前の行があるか否かを判断する。

電話番号の行の直前の行がないと判断した場合（ステップＳ１７２でＮＯと判断した場合）、ステップＳ１７３で、制御部１１０は、電話番号の行の直後の行があるか否かを判断する。

電話番号の行の直前の行があると判断した場合（ステップＳ１７２でＹＥＳと判断した場合）、および、電話番号の行の直後の行があると判断した場合（ステップＳ１７３でＹＥＳと判断した場合）、ステップＳ１７４で、制御部１１０は、当該行の文字列を、分類結果情報１２５の施設名称の項目として記憶部１２０に蓄積する。その後、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

一方、電話番号の行の直後の行がないと判断した場合（ステップＳ１７３でＮＯと判断した場合）、最初の未分類行について、ステップＳ１８２からステップＳ１８５までの処理を実行させるための処理を行なう。

ステップＳ１８２では、制御部１１０は、「（１）対象行の文字数が最も少ない」、「（２）対象行の平均文字高さ≧対象行以外のそれぞれの行の平均文字高さのうちの最大値×１．０５」、「（３）対象行以外の他の行の文字列と対象行の文字列との色差のうち最も小さい値が所定値以上」、および、「（４）対象行に記号や数字がない」のいずれかの条件を、当該行が満たすか否かを判別する。

そして、ステップＳ１８３で、制御部１１０は、ステップＳ１８２での判別の結果、当該行が２つ以上の条件を満たすか否かを判別する。満たすと判断した場合（ステップＳ１８３でＹＥＳと判断した場合）、ステップＳ１８４で、制御部１１０は、当該行を候補行とする。

当該行が２つ以上の条件を満たさないと判断した場合（ステップＳ１８３でＮＯと判断した場合）、および、ステップＳ１８４の後、ステップＳ１８５で、制御部１１０は、条件を未判別の行が残っているか否かを判断する。未判別の行が残っていると判断した場合（ステップＳ１８５でＹＥＳと判断した場合）、ステップＳ１８６で、次の未分類行について、ステップＳ１８２からステップＳ１８５までの処理を実行させるための処理を行なう。

一方、未判別の行が残っていないと判断した場合（ステップＳ１８５でＮＯと判断した場合）、ステップＳ１９１で、制御部１１０は、候補行が複数であるか否かを判断する。候補行が複数であると判断した場合（ステップＳ１９１でＹＥＳと判断した場合）、ステップＳ１９２で、制御部１１０は、最も多くの条件を満たす候補行の文字列を、分類結果情報１２５の施設名称の項目として記憶部１２０に蓄積する。

一方、候補行が複数でないと判断した場合（ステップＳ１９１でＮＯと判断した場合）、ステップＳ１９３で、制御部１１０は、候補行が１つであるか否かを判断する。候補行が１つであると判断した場合（ステップＳ１９３でＹＥＳと判断した場合）、ステップＳ１９４で、制御部１１０は、候補行の文字列を、分類結果情報１２５の施設名称の項目として記憶部１２０に蓄積する。

一方、候補行が１つもないと判断した場合（ステップＳ１９３でＮＯと判断した場合）、ステップＳ１９５で、制御部１１０は、ステップＳ１８２での判別の結果、１つの条件を満たす行があるか否かを判断する。

１つの条件を満たす行があると判断した場合（ステップＳ１９５でＹＥＳと判断した場合）、ステップＳ１９６で、制御部１１０は、当該行の文字列を、分類結果情報１２５の施設名称の項目として記憶部１２０に蓄積する。

一方、１つの条件を満たす行がないと判断した場合（ステップＳ１９５でＮＯと判断した場合）、および、ステップＳ１９２，ステップＳ１９４，ステップＳ１９６の後、制御部１１０は、実行する処理をこの処理の呼出元の処理に戻す。

このように、施設名称再分類処理においては、施設名称分類処理よりも緩い条件で施設名称の分類が行われる。また、施設名称再分類処理においても、徐々に緩い条件にすることで、施設名称の分類が行われるようにする。最初から緩い条件で分類を行なうようにすると、誤分類する可能性が高くなるが、このように徐々に緩い条件にすることによって、誤分類する可能性を減らしつつ、施設名称が正しく分類される可能性を向上させることができる。

［第３の実施の形態］
第２の実施の形態においては、施設に関する情報を含む最初に取得される画像は１つであることとした。第３の実施の形態においては、施設に関する情報を含む最初に取得される画像は１つとは限らないこととする。

図２３は、第３の実施の形態における携帯電話１００によって実行される情報クリッピングプログラムのメインルーチンの処理の流れを示すフローチャートである。

図２３を参照して、この処理は、図１５で説明した第２の実施の形態におけるメインルーチンを変更したものである。図２３において、図１５と同じ処理については、図１５と同じステップ番号で示し、重複する説明は繰返さない。

ステップＳ１０３Ａでは、制御部１１０は、ステップＳ１０２で選択された入力方法で、施設に関する情報が含まれる画像を少なくとも１つ取得する。

そして、ステップＳ２０１で、取得された少なくとも１つの画像のうち最初の画像について、ステップＳ１０４からステップＳ１０６までの処理、および、ステップＳ２０２からステップＳ２０６までの処理を実行させるための処理を行なう。

ステップＳ１０４からステップＳ１０６までの処理については、図１５で説明した処理と同様である。

次のステップＳ２０２では、ステップＳ１０６での項目分類の結果、施設名称が分類されたか否かを判断する。

施設名称が分類されていないと判断した場合（ステップＳ２０２でＮＯと判断した場合）、ステップＳ２０３で、制御部１１０は、前の画像の項目分類の結果、施設名称が分類されていたか否かを判断する。

前の画像では施設名称が分類されていたと判断した場合（ステップＳ２０３でＹＥＳと判断した場合）、ステップＳ２０４で、制御部１１０は、ステップＳ１０６での項目分類の結果、対象の画像に分類済みの項目があるか否かを判断する。

分類済みの項目があると判断した場合（ステップＳ２０４でＹＥＳと判断した場合）、ステップＳ２０５で、制御部１１０は、前画像の施設の分類結果情報１２５の関連情報として、当該分類済みの項目を記憶部１２０に蓄積する。

一方、分類済みの項目がないと判断した場合（ステップＳ２０４でＮＯと判断した場合）、ステップＳ２０６で、制御部１１０は、前画像の施設の分類結果情報１２５の関連情報として、当該画像の画像データを記憶部１２０に蓄積する。

施設名称が分類されたと判断した場合（ステップＳ２０２でＹＥＳと判断した場合）、前の画像では施設名称が分類されていなかったと判断した場合（ステップＳ２０３でＮＯと判断した場合）、および、ステップＳ２０５，ステップＳ２０６の後、ステップＳ２０７で、制御部１１０は、次の取得画像があるか否かを判断する。

次の取得画像があると判断した場合（ステップＳ２０７でＹＥＳと判断した場合）、ステップＳ２０８で、制御部１１０は、次の画像について、ステップＳ１０４からステップＳ１０６までの処理、および、ステップＳ２０２からステップＳ２０６までの処理を実行させるための処理を行なう。

一方、次の取得画像がないと判断した場合（ステップＳ２０７でＮＯと判断した場合）、制御部１１０は、実行する処理をステップＳ１０１の処理に戻す。

以上説明したように、本実施の形態における情報クリッピング装置としての携帯電話１００によれば、文字領域の属性情報、および、施設の種別固有の標識（単語，キーワード）と種別とを対応付けた種別関連単語テーブル１２２、種別対応項目テーブル１２３および種別対応キーワードテーブル１２４などのテーブルに基づいて、施設に関する情報を抽出しているので、記載項目、記載内容、記載方法、記載場所などが名刺やフォームなどに比べ多様性がある、雑誌等に記載された施設に関する情報であっても、施設に関する情報を含む画像を、携帯電話１００などで取得後、文字認識し、その中から施設に関する情報を的確に抽出し、予め定められた項目に分類して保存する簡便な情報クリッピング装置を提供することができる。

また、施設種別ごとに種別対応キーワードテーブル１２４を持ち、選択された施設種別に基づいて、種別対応キーワードテーブル１２４を切替えているので、対象とする施設の属する種別に拘わらず、施設に関する情報の記載に関する多様性を吸収し、再利用できるように自動的に統一して、項目分類して整理して記録することが可能となる。

また、施設種別ごとに種別対応キーワードテーブル１２４を持ち、選択された施設種別に基づいて、種別対応キーワードテーブル１２４を切替えているので、項目分類して整理する方法が、ユーザによって、まちまちにならず、他のユーザや異なる情報機器間で、施設に関する情報を共有することが可能になる。

さらに、施設名称の抽出に失敗した場合、異なる基準に基づいて、施設名称を再抽出しているので、施設に関する情報における施設名称のような、抽出する情報の中で最も重要な情報の抽出に失敗した場合であっても、カバー処理が働き、その他の取得した情報が無駄にならないようにすることができる。

また、取得した画像の品質が悪かったり、取得画像と文字認識処理の相性が良くなかったりして、施設に関する情報が抽出されない場合においても、せっかく取得され、認識された画像を無駄にせず、整理して記憶させることができる。

このように、今まで煩雑で、時間が掛かり、間違いの多かった施設に関する情報の取得の負担を軽減し、簡便で、どこでもいつでも使える情報クリッピング装置を提供することができる。

また、２次元コードのようなシンボル記載された施設に関する情報を読取るような場合は、確実に施設に関する情報を取得することができるが、２次元コードの場合、ユーザが施設に関する情報を全く読取れず、また、余計に紙面のスペースを必要とする。しかし、本実施の形態のような情報クリッピング装置を用いれば、紙面に余計なスペースを必要とせず、ユーザも判別可能な施設に関する情報を項目分類することが可能となる。

次に前述した実施の形態の変形例などを説明する。
（１） 前述した実施の形態においては、赤外線通信部１８０および無線通信部１６０で項目分類された施設に関する情報が外部装置に出力されるようにした。しかし、これに限定されず、内部バス、ＵＳＢメモリなどの取外し可能なメモリカードなどを用いて、外部装置に出力するようにしてもよい。

（２） 前述した実施の形態における情報クリッピング装置から地図ソフトウェアを実行する情報処理装置やカーナビゲーションシステムに入力された施設に関する情報に基づいて、それらの装置で、地図上に、施設に関する情報を取込むことが可能なように構成してもよい。

（３） 前述した実施の形態における情報クリッピング装置は、名刺に記載された情報も取得することが可能である。この場合、施設名称は、氏名であるため、「キーワード」になるのは、姓名辞書に登録されている姓名文字列である。

（４） 前述した実施の形態で述べたように施設に関する情報は、たとえば、施設名称、電話番号、住所などの情報等の一塊の情報であると定義した。また、施設に関する情報には、記載のスタイル、フォント、サイズ、色などが、施設、記載媒体、見る人の種別によって多様性があるという特整があることについて述べた。これより、施設に関する情報というのは、比較的狭い範囲に記載されたメッセージ性の強い情報の塊が記載表現上で多様性を持ったものと再定義できる。

したがって、前述した実施の形態で述べた施設に関する情報は、単なる施設に関する情報に留まらず、たとえば、広告、病院情報、各種学校情報等であっても構わない。そのような場合は、たとえば、病院情報であれば、施設名称として店名の代わりに病院名、時間の代わりに、診療日や診療時間などが対応して、本願発明の情報クリッピング装置で項目分類することができる。他の場合も同様である。

（５） 前述した実施の形態においては、雑誌から施設に関する情報を取得する例について述べた。しかし、これに限定されず、薬袋、診察券、会員カード、看板、チラシ、または、テレビやディスプレイの画面に表示された情報など、前述した実施の形態と同様、携帯電話１００のカメラ１９０などで取込み可能なものであれば、本願発明を適用することができる。

（６） 前述した実施の形態における図２０のステップＳ１５２および図２２のステップＳ１８２で用いられる条件は、当該条件を満たす行が施設名称の項目に属するかを実験的に統計を取ることによって定めるようにしてもよい。たとえば、当該条件を満たす行が施設名称の項目に属する割合が、５０％以上の条件が、ステップＳ１５２のような最初の分類で用いられ、２５％以上５０％未満の条件が、ステップＳ１８２のような再分類に用いられるようにしてもよい。

（７） 前述した実施の形態は、情報クリッピング装置としての携帯電話１００の発明、携帯電話１００で実行される情報クリッピング方法の発明、携帯電話１００で実行される情報クリッピングプログラムの発明として捉えることができる。

（８） 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態における情報クリッピング装置としての携帯電話の構成の概略を示すブロック図である。 本発明の実施の形態における情報クリッピング装置としての携帯電話によって項目分類された分類結果の一例を示す図である。 本実施の形態における情報クリッピング装置としての携帯電話の機能の概略を示す機能ブロック図である。 本実施の形態における携帯電話によって取得された画像の第１の例を示す図である。 本実施の形態における携帯電話によって取得された画像の第２の例を示す図である。 本実施の形態における携帯電話によって取得された画像の第３の例を示す図である。 本実施の形態における携帯電話によって取得された画像の第４の例を示す図である。 本実施の形態における携帯電話によって取得された画像の第５の例を示す図である。 本実施の形態における携帯電話によって取得された画像が２値化された例を示す図である。 本実施の形態における携帯電話によって取得された画像の文字領域の抽出結果を示す図である。 本実施の形態における携帯電話によって抽出された文字領域の文字認識結果を示す図である。 本実施の形態における携帯電話によって文字認識の結果としての文字の属性に関する情報を示す図である。 本実施の形態における携帯電話によって施設の種別が判定されるときに用いられる種別関連単語テーブルを示す図である。 本実施の形態における携帯電話によって種別に対応する項目が特定されるときに用いられる種別対応項目テーブルを示す図である。 本実施の形態における携帯電話によって実行される情報クリッピングプログラムのメインルーチンの処理の流れを示すフローチャートである。 本実施の形態における携帯電話によって実行される情報クリッピングプログラムのサブルーチンである項目分類処理の流れを示すフローチャートである。 本実施の形態における携帯電話によって実行される情報クリッピングプログラムのサブルーチンである電話番号分類処理の流れを示すフローチャートである。 本実施の形態における携帯電話によって実行される情報クリッピングプログラムのサブルーチンである住所分類処理の流れを示すフローチャートである。 本実施の形態における携帯電話によって実行される住所分類処理のサブルーチンである住所文字列抽出処理の流れを示すフローチャートである。 本実施の形態における携帯電話によって実行される情報クリッピングプログラムのサブルーチンである施設名称分類処理の流れを示すフローチャートである。 本実施の形態における携帯電話によって施設名称が分類されるときに用いられる種別対応キーワードテーブルを示す図である。 本実施の形態における携帯電話によって実行される情報クリッピングプログラムのサブルーチンである施設名称再分類処理の流れを示すフローチャートである。 第３の実施の形態における携帯電話によって実行される情報クリッピングプログラムのメインルーチンの処理の流れを示すフローチャートである。

符号の説明

１００ 携帯電話、１１０ 制御部、１１１ 画像取得部、１１２ 文字領域抽出部、１１３ 文字認識部、１１４ 項目分類部、１１４１ 属性取得部、１１４２ 施設領域判定部、１１４３ 施設種別判定部、１１４４ 施設名称検索部、１１５ 分類結果蓄積部、１１６ 出力制御部、１２０ 記憶部、１２１ キーワード・姓名・住所辞書、１２２ 種別関連単語テーブル、１２３ 種別対応項目テーブル、１２４ 種別対応キーワードテーブル、１２５ 分類結果情報、１３０ データ入力部、１４０ 表示部、１５０ 音声入出力部、１６０ 無線通信部、１６１ アンテナ、１８０ 赤外線通信部、１９０ カメラ部、１９１ 雑誌、１９２ 施設に関する情報。

Claims (13)

1. 施設に関する情報が含まれる画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記画像から文字領域を抽出する文字領域抽出手段と、
   前記文字領域抽出手段によって抽出された前記文字領域に含まれる文字列を文字認識する文字認識手段と、
   前記文字認識手段によって文字認識された前記文字列から前記施設の種別を判定する施設種別判定手段と、
   前記施設種別判定手段によって判定された前記種別に基づいて、前記文字列を、前記施設の種別に関して予め定められた項目に分類する項目分類手段と、
   前記項目分類手段によって分類された前記文字列を、分類された前記項目に対応付けて蓄積する分類結果蓄積手段と、
   前記施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とを対応付けて予め記憶する種別関連単語記憶手段とを備え、
   前記施設種別判定手段は、前記文字列認識手段によって文字認識された前記文字列に、前記種別関連単語記憶手段に記憶された前記単語が含まれる場合、当該単語に対応付けて前記種別関連単語記憶手段に記憶された前記種別を、前記施設の種別と判定する、情報クリッピング装置。
2. 前記文字領域抽出手段によって抽出された文字領域の属性を取得する属性取得手段と、
   前記属性取得手段によって取得された前記文字領域の属性に基づいて、当該文字領域が前記施設に関する情報を含む領域でないことを判定する施設領域判定手段とをさらに備え、
   前記項目分類手段は、前記施設領域判定手段によって前記施設に関する情報を含む領域でないと判定された前記文字領域以外の前記文字領域の前記文字列を分類する、請求項１に記載の情報クリッピング装置。
3. 前記施設領域判定手段は、前記属性のうち所定の１または複数の属性が所定の条件を満たすときに、前記施設に関する情報を含む領域でないと判定する、請求項２に記載の情報クリッピング装置。
4. 前記種別と当該種別に関して予め定められた分類のための前記項目とを対応付けて予め記憶する種別対応項目記憶手段をさらに備え、
   前記項目分類手段は、前記文字列を、前記施設種別判定手段によって判定された前記種別に対応付けて前記種別対応項目記憶手段に記憶された前記項目に分類する、請求項１から請求項３までのいずれかに記載の情報クリッピング装置。
5. 前記項目分類手段による前記項目の分類の結果、前記施設に関する情報のうち施設名称が分類できなかった場合、前記項目に分類できなかった文字列から前記施設名称を検索する施設名称検索手段をさらに備え、
   前記項目分類手段は、前記施設名称検索手段によって前記文字列から前記施設名称が検索された場合、検索された文字列を前記施設名称の項目に分類する、請求項１から請求項４までのいずれかに記載の情報クリッピング装置。
6. 前記施設名称検索手段は、前記項目分類手段が前記施設名称を分類するために用いた判断基準と異なる判断基準を用いて前記施設名称を検索する、請求項５に記載の情報クリッピング装置。
7. 前記施設名称検索手段は、分類された項目の文字列との位置関係に基づいて、前記施設名称を検索する、請求項５に記載の情報クリッピング装置。
8. 前記施設名称検索手段は、分類された項目のうち、電話番号の項目の文字列の前後の行または前後の文字列を、前記施設名称の項目として検索する、請求項７に記載の情報クリッピング装置。
9. 前記分類結果蓄積手段は、前記画像取得手段によって取得された画像のうち、含まれる文字列が前記項目分類手段によって項目に分類された項目分類可能画像と関連して取得された画像が、前記項目分類手段によって分類される項目の文字列を含まない項目分類不能画像である場合、前記項目分類可能画像の分類された項目の関連情報として、当該項目分類不能画像を記憶する、請求項１から請求項８までのいずれかに記載の情報クリッピング装置。
10. 前記文字認識手段は、前記項目分類不能画像に含まれる文字列を文字認識し、
    前記分類結果蓄積手段は、前記文字認識手段によって文字認識された前記項目分類不能画像に含まれる文字列を前記関連情報として記憶する、請求項９に記載の情報クリッピング装置。
11. 前記分類結果蓄積手段に蓄積された前記項目に対応付けられた前記文字列を、当該文字列を利用可能な外部装置に出力する出力手段をさらに備える、請求項１から請求項１０までのいずれかに記載の情報クリッピング装置。
12. 制御部と記憶部とを備える装置が情報の切り抜きをするように情報を項目分類する情報クリッピング方法であって、
    前記制御部が、施設に関する情報が含まれる画像を取得するステップと、
    前記制御部が、取得された前記画像から文字領域を抽出するステップと、
    前記制御部が、抽出された前記文字領域に含まれる文字列を文字認識するステップと、
    前記制御部が、文字認識された前記文字列から前記施設の種別を判定するステップと、
    前記制御部が、判定された前記種別に基づいて、前記文字列を、前記施設の種別に関して予め定められた項目に分類するステップと、
    前記制御部が、分類された前記文字列を、分類された前記項目に対応付けて前記記憶部に蓄積するステップと、
    前記施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とを対応付けて予め記憶するステップとを含み、
    前記施設の種別を判定するステップは、文字認識された前記文字列に、予め記憶された前記単語が含まれる場合、当該単語に対応付けて予め記憶された前記種別を、前記施設の種別と判定するステップを含む、情報クリッピング方法。
13. 情報処理装置によって実行される情報クリッピングプログラムであって、
    施設に関する情報が含まれる画像を取得するステップと、
    取得された前記画像から文字領域を抽出するステップと、
    抽出された前記文字領域に含まれる文字列を文字認識するステップと、
    文字認識された前記文字列から前記施設の種別を判定するステップと、
    判定された前記種別に基づいて、前記文字列を、前記施設の種別に関して予め定められた項目に分類するステップと、
    分類された前記文字列を、分類された前記項目に対応付けて前記記憶部に蓄積するステップと、
    前記施設の複数の種別のそれぞれと、それぞれの種別に関連する単語とを対応付けて予め記憶するステップとを前記情報処理装置に実行させ、
    前記施設の種別を判定するステップは、文字認識された前記文字列に、予め記憶された前記単語が含まれる場合、当該単語に対応付けて予め記憶された前記種別を、前記施設の種別と判定するステップを含む、情報クリッピングプログラム。

Images