JP4116852B2 - 抽出文字列辞書検索装置及び方法並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、抽出文字列辞書検索装置及び方法並びにプログラムに関し、特に、カメラ付き携帯電話で撮影した画像についての文字認識により得た文字列で辞書を検索してその結果を返信する抽出文字列辞書検索装置及び方法並びにプログラムに関する。
【０００２】
【従来の技術】
いわゆる電子辞書の発達により、ごく小型の電子辞書に、国語辞典、漢和辞典、英和辞典、和英辞典等の多くの辞書を収納することが可能となっている。従って、何冊もの辞書を持ち歩くことなく、出先で単語の意味、漢字の意味、英単語の意味，専門用語の意味等を知ることができる。例えば、海外旅行先等で新聞、雑誌、看板、広告等を見て判らない単語があれば、これを電子辞書に入力することにより、当該単語の意味を知ることができる。
【０００３】
また、インターネットの発達により、ネットワーク上での種々の翻訳サービスを利用することができる。これによれば、同様に、海外旅行先等でインターネットに接続さえできれば、前述の新聞等における判らない単語の意味を知ることができる。
【０００４】
【発明が解決しようとする課題】
前述の電子辞書によると、知りたい分野の電子辞書を持ち歩く必要があるが、予め当該知りたい分野が判っているとは限らない。また、中国語や韓国語等の電子辞書は、容易には入手できない。また、辞書を引くことに変わりはないので、辞書を引く手間がかかり、煩わしい。更に、利用者にとって、自分が詳しくない分野の辞書を引く場合、当該辞書の使い方が判らない場合が殆どである。
【０００５】
また、電子辞書やインターネットによると、文字入力が必須である。しかし、携帯電話や携帯情報端末（ＰＤＡ、以下、両者を単に携帯情報端末という）からの文字の入力は、キーが小さいので、入力が面倒であり、誤入力も多くなる。もっともパーソナルコンピュータの持ち歩きは更に面倒である。また、携帯情報端末では、入力できない文字も多く存在する。例えば、機種によって入力できない文字や、英語以外の言語例えばハングル等は、入力できないのが通常である。
【０００６】
そこで、本発明者は、出先で看板等を見て判らない単語があったら、その写真（画像）を撮影して送信するのみで、その単語の意味等を応答として得ることができれば、極めて便利であると考えた。
【０００７】
本発明は、カメラ付き携帯電話で撮影した画像についての文字認識により得た文字列で辞書を検索してその結果を返信する抽出文字列辞書検索装置を提供することを目的とする。
【０００８】
また、本発明は、カメラ付き携帯電話で撮影した画像についての文字認識により得た文字列で辞書を検索してその結果を返信する抽出文字列辞書検索方法を提供することを目的とする。
【０００９】
また、本発明は、カメラ付き携帯電話で撮影した画像についての文字認識により得た文字列で辞書を検索してその結果を返信する抽出文字列辞書検索プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の抽出文字列辞書検索装置は、カメラ付き携帯電話から、当該カメラ付き携帯電話で撮影した画像と当該電子メールの本文として記載された補助情報とを含む電子メールを受信する受信手段と、画像を解析して、各々が文字列を含み同色又は同明度の背景で囲まれた領域からなる複数の部分画像を抽出した場合、当該複数の部分画像の中から画像の中央よりの部分画像又は大きな部分画像を、文字認識の処理対象として特定する画像解析対象特定手段と、特定された文字認識の処理対象について文字認識を行なって文字列を得る文字列認識手段と、文字列に対応して、その概要と、説明文と、閲覧情報部における説明文のアドレスであるＵＲＬとを含む辞書データを格納する、予め用意された１又は複数の辞書と、１又は複数の辞書の中から、補助情報に基づいて検索する辞書を特定し、得られた文字列で特定された辞書を検索して、概要と説明文とＵＲＬとを含む検索結果を得る辞書検索手段と、得られた説明文からなる情報を得られたＵＲＬに格納する閲覧情報部と、検索結果に基づいて電子メールである応答であって、得られた概要とＵＲＬとを含む応答を作成してカメラ付き携帯電話に送信する送信手段と、応答に含まれたＵＲＬをカメラ付き携帯電話から受信すると、ＵＲＬを用いて閲覧情報部からＵＲＬに格納された説明文を取出して、これをカメラ付き携帯電話に返信する閲覧部とを備える。
【００１１】
本発明の抽出文字列辞書検索方法は、受信手段と、画像解析対象特定手段と、文字列認識手段と、１又は複数の辞書と、閲覧情報部と、辞書検索手段と、送信手段と、閲覧部とを備える抽出文字列辞書検索装置において実行される抽出文字列辞書検索方法であって、受信手段が、カメラ付き携帯電話から、当該カメラ付き携帯電話で撮影した画像と当該電子メールの本文として記載された補助情報とを含む電子メールを受信し、画像解析対象特定手段が、画像を解析して、各々が文字列を含み同色又は同明度の背景で囲まれた領域からなる複数の部分画像を抽出した場合、当該複数の部分画像の中から画像の中央よりの部分画像又は大きな部分画像を、文字認識の処理対象として特定し、文字列認識手段が、特定された文字認識の処理対象について文字認識を行なって文字列を得て、辞書検索手段が、文字列に対応して、その概要と、説明文と、閲覧情報部における説明文のアドレスであるＵＲＬとを含む辞書データを格納する、予め用意された１又は複数の辞書の中から、補助情報に基づいて検索する辞書を特定し、得られた文字列で特定された辞書を検索して、概要と説明文とＵＲＬとを含む検索結果を得て、閲覧情報部が、得られた説明文からなる情報を得られたＵＲＬに格納し、送信手段が、検索結果に基づいて電子メールである応答であって、得られた概要とＵＲＬとを含む応答を作成してカメラ付き携帯電話に送信し、閲覧部が、応答に含まれたＵＲＬをカメラ付き携帯電話から受信すると、ＵＲＬを用いて閲覧情報部からＵＲＬに格納された説明文を取出して、これをカメラ付き携帯電話に返信する。
【００１２】
本発明の抽出文字列辞書検索装置及び方法によれば、カメラ付き携帯電話で文字列を含み同色又は同明度の背景で囲まれた領域からなる知りたい単語（文字列）の写真（画像）を撮影してその画像と補助情報とを送信するのみで、その単語の意味の概要と意味の詳細（即ち、説明文）を得るためのＵＲＬとを応答として得ることができる。そして、当該ＵＲＬを選択することにより、その単語の意味の詳細である説明文を得ることができる。従って、電子辞書のように知りたい分野の電子辞書を持ち歩く必要がなく、単語を入力する（電子辞書を引く）手間も必要なく、辞書の使い方を知っている必要もない。また、文字入力の必要がないので、入力の手間を不要にでき、誤入力もなく、更に、入力できない文字についてもその意味を知ることができる。
【００１３】
本発明の抽出文字列辞書検索プログラムは、カメラ付き携帯電話とネットワークを介して接続された抽出文字列辞書検索装置において抽出文字列辞書検索処理を実行するプログラムである。前記プログラムは、コンピュータに、カメラ付き携帯電話から、当該カメラ付き携帯電話で撮影した画像と当該電子メールの本文として記載された補助情報とを含む電子メールを受信する処理と、画像を解析して、各々が文字列を含み同色又は同明度の背景で囲まれた領域からなる複数の部分画像を抽出した場合、当該複数の部分画像の中から画像の中央よりの部分画像又は大きな部分画像を、文字認識の処理対象として特定する処理と、特定された文字認識の処理対象について文字認識を行なって文字列を得る処理と、文字列に対応して、その概要と、説明文と、閲覧情報部における説明文のアドレスであるＵＲＬとを含む辞書データを格納する、予め用意された１又は複数の辞書の中から、補助情報に基づいて検索する辞書を特定し、得られた文字列で特定された辞書を検索して、概要と説明文とＵＲＬとを含む検索結果を得る処理と、得られた説明文からなる情報を得られたＵＲＬに格納する処理と、検索結果に基づいて電子メールである応答であって、得られた概要とＵＲＬとを含む応答を作成してカメラ付き携帯電話に送信する処理と、応答に含まれたＵＲＬをカメラ付き携帯電話から受信すると、ＵＲＬを用いて閲覧情報部からＵＲＬに格納された説明文を取出して、これをカメラ付き携帯電話に返信する処理と、を実行させる。
【００１４】
本発明の抽出文字列辞書検索プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ等のコンピュータ読取可能な記録媒体に格納して提供することができるので、抽出文字列辞書検索装置及び方法を容易に実現することができる。
【００１５】
【発明の実施の形態】
図１（Ａ）は、抽出文字列辞書検索システム構成図であり、 本発明の抽出文字列辞書検索装置を含む抽出文字列辞書検索システムの構成を示す。
【００１６】
抽出文字列辞書検索システムは、図１（Ａ）に示すように、カメラ付き携帯情報端末１と、カメラ付き携帯情報端末１とネットワーク２を介して接続された抽出文字列辞書検索装置又は抽出文字列辞書検索サーバ（以下、抽出検索装置という）３とからなる。ネットワーク２は、例えばインターネット２からなる。カメラ付き携帯情報端末１は、例えば使用者である旅行者により海外等に携帯される。抽出検索装置３は、例えば使用者の母国（これに限られない）に存在するＩＳＰ（インターネットサービスプロバイダ）又はＡＳＰ（アプリケーションサービスプロバイダ）に設けられる。カメラ付き携帯情報端末１は、写真付きの電子メール１００を抽出検索装置３に送信し、これから応答２００である情報ＵＲＬを受信する。
【００１７】
カメラ付き携帯情報端末１は、この例では周知のカメラ付きの携帯電話であり、通常の携帯電話としての機能の他に、電子メール（この例では、インターネットメール）通信の機能を含むインターネット通信の機能を有する。カメラ付き携帯情報端末１は、カメラ付きの携帯電話の他に、カメラ付きのＰＤＡ、カメラ付きの小型の専用端末等を含む。以下の説明においては、カメラ付き携帯情報端末１を、単に携帯電話１ということとする。携帯電話１は、当該携帯電話１で撮影した写真（の画像）を含む電子メール１００を、インターネット２を介して、抽出検索装置３に送信する。
【００１８】
このために、携帯電話１は、図１（Ｂ）に示すように、カメラ１１、インターネット通信部１２、表示画面１３を備える。インターネット通信部１２は、当該携帯電話１のカメラ１１で撮影した写真（の画像又は画像データ）を含む電子メール１００を作成して、指定された宛先に送信する。この場合、宛先は抽出検索装置３のメールアドレスである。
【００１９】
インターネット通信部１２の送信する電子メール１００の一例を図２に示す。即ち、電子メール１００は、題名、宛先、本文、画像１０１からなる。題名は、電子メール１００の題名であり、利用者により当該携帯電話１の入力部（図示せず）から入力される。例えば、この例では、利用者が当該写真に付す写真の名前である。宛先は、電子メール１００の送信先であり、この例では抽出検索装置３のメールアドレスである。本文は、電子メール１００の本文であり、この例では補助情報（後述する）が当該携帯電話１の入力部から入力される。画像１０１は、電子メール１００に添付される写真であり、当該携帯電話１のカメラ１１で撮影した写真の画像（画像データ）１０１からなる。
【００２０】
画像１０１は、図２に示すように、通常、１又は複数の文字列を含む（含んでよい）。従って、利用者はあまり写真の構図を意識する必要がなく、負担が少ない。文字列は、通常、種々の看板、旗、ドア、紙等に描かれていることが多いので、同色（又は、同明度）の背景で囲まれている。従って、本発明においては、同色（又は、同明度）の背景で囲まれた領域が、後述するように、部分画像として抽出される。
【００２１】
画像１０１に含まれる文字列は、外国語又は専門用語であることが多い。そこで、当該外国語又は専門用語の分野を示す情報として、補助情報を入力する。補助情報は、後述するように、抽出検索装置３における文字認識（ＯＣＲ処理）及び辞書検索のための参考情報であり、認識すべき文字の種類（即ち、言語の種類）を特定し、また、当該検索の分野（即ち、辞書の種類）を特定するための情報である。補助情報としては、例えば当該旅行している国の言語名、当該撮影した店舗の種類（飲食店であれば、料理）、動物等を入力すればよい。従って、利用者の負担は殆どない。図２に示す例の場合、補助情報は「韓国」「韓国語」「ハングル」等と入力すればよい。なお、補助情報は必ずしも入力する必要はない。補助情報が入力されない場合、電子メール１００の本文の部分は空とされる。
【００２２】
なお、補助情報としては、位置情報（例えば、中央、下、右上等）、色情報（例えば、赤、黒等）、大きさ情報（例えば、大きい方、小さい方等）を入力するようにしてもよい。この場合の補助情報は、対象特定部４３における複数の部分画像の中から文字認識の処理対象とする１個の部分画像を特定するための参考情報として用いられる。例えば、位置情報が「下」であれば、後述する複数の部分画像から、図５（Ｂ）に示す部分画像ではなく、当該位置情報に該当する図５（Ｃ）に示す部分画像が特定される。特定させたい看板の文字が例えば「赤」であれば、色情報として「赤」を入力すれば当該部分画像が文字認識の処理対象として特定される。例えば、大きさ情報が「小さい方」であれば、後述する複数の部分画像から、図５（Ｂ）に示す部分画像ではなく、当該位置情報に該当する図５（Ｃ）に示す部分画像が特定される。
【００２３】
更に、補助情報として「インターネット検索」と入力するようにしてもよい。この場合の補助情報は、辞書検索のための参考情報として用いられる。但し、辞書検索部４５は、検索対象を抽出検索装置３（自サーバ）の辞書記憶部３５に用意された辞書と共に、他のサーバ（図示せず）上のＷｅｂ（ウェブ）ページとする。即ち、抽出検索装置３の辞書を検索すると共に、インターネット２を介して周知の検索サイト（例えば、Ｇｏｏｇｌｅ、ｇｏｏ等、登録商標）をアクセスして、他のサーバ上のＷｅｂページ検索の結果を得る。又は、抽出検索装置３に用意された辞書ではなく、他のサーバ上のＷｅｂページのみを検索するようにしてもよい。これらにより、抽出文字列そのものの情報のみでなく、関連情報も得ることができる。
【００２４】
抽出検索装置３は、写真を含む電子メール１００に対する応答２００を当該携帯電話１に送信する。このために、抽出検索装置３は、図３に示すように、受信部３１、送信部３２、Ｗｅｂ閲覧部（Ｗｅｂサーバ）３３、抽出文字列辞書検索処理部３４、辞書記憶部３５を備える。抽出文字列辞書検索処理部（以下、抽出検索処理部）３４は、メール解析部４１、画像解析部４２、対象特定部４３、文字列認識部４４、辞書検索部４５、メール作成部４６からなる。辞書記憶部３５は、ディスク装置等の補助記憶からなり、辞書部５１と閲覧情報部５２とからなる。辞書部５１は、種々の辞書、事典、辞典等（この明細書では、単に辞書という）を格納する。閲覧情報部５２は、Ｗｅｂサーバ３３により閲覧される情報を格納する。
【００２５】
抽出検索処理部３４は、主記憶上に存在し当該処理を実行する抽出文字列辞書検索プログラムを、当該ＣＰＵ上で実行することにより実現される。抽出文字列辞書検索プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ等のコンピュータ読取可能な記録媒体に格納して提供することができるので、抽出検索装置３を容易に実現することができる。
【００２６】
受信部３１は、周知の電子メール受信部であり、メール解析部４１と共に前述の受信手段を構成し、携帯電話１から当該携帯電話１で撮影した画像を含む電子メール１００を受信する。受信部３１は、受信した電子メール１００をメール解析部４１に送る。
【００２７】
受信した電子メール１００の一例を図４に示す。図２に示す電子メール１００は、実際には、図４に示すフォーマットで送信され受信される。図４に示すように、電子メール１００は、ヘッダ部１０２、ボディ部１０３からなる。
【００２８】
ヘッダ部１０２は、返信先のメールアドレス、送信元のメールアドレス、宛先のメールアドレス、題名を含む。返信先のメールアドレスは、当該電子メール１００に対する応答２００を返信すべきアドレスであり、利用者の携帯電話１のメールアドレスである。送信元のメールアドレスは、当該電子メール１００を送信してきた利用者の携帯電話１のメールアドレスである。宛先のメールアドレスは、当該電子メール１００の宛先のアドレスであり、当該抽出検索装置３のメールアドレスである。
【００２９】
ボディ部１０３は、本文、画像１０１を含み、主として、テキスト文書である本文と、所定のエンコーディングされた画像データである画像１０１とからなるマルチパート（２パート）からなる。本文はスペース又は改行で区切られた単語の集合である。各々の単語は補助情報である。画像１０１は１個のみとされる。
【００３０】
メール解析部４１は、周知の電子メール解析部であり、受信部３１と共に前述の受信手段を構成し、受信部３１から電子メール１００を受け取ると、受信した電子メール１００を解析して、当該電子メール１００から返信先のメールアドレス、補助情報、画像を取り出し、メール検索データ１５０を例えば辞書記憶部３５の所定の記憶領域（図示せず）に作成する。
【００３１】
メール検索データ１５０の一例を図５（Ａ）に示す。メール検索データ１５０は、ＩＤ、画像（１０１）、補助情報、メールアドレス、（特定された）部分画像、文字列、辞書を引いた結果（検索結果）の数、（辞書を引いた）結果＃１〜結果＃ｎからなる。ＩＤは、受信した電子メール１００毎にメール解析部４１により付与され、ユニークなものとされる。電子メール１００はこのＩＤにより管理される。画像及び補助情報は、各々、図４に示すように、メール解析部４１により、ボディ部１０３から取り出された画像１０１及び本文の内容である。即ち、携帯電話１から送信されたものである。メールアドレスは、図４に示すように、メール解析部４１により、ヘッダ部１０２の返信先から取り出されたメールアドレスである。即ち、電子メール１００を送信してきた携帯電話１のメールアドレスである。なお、画像及び部分画像は、当該画像及び部分画像を格納するアドレスを示すようにしてもよい。
【００３２】
メール検索データ１５０を作成した時点では、部分画像、文字列、検索結果の数、結果＃１〜結果＃ｎは空である。部分画像は、文字認識の処理対象として特定された部分画像であり、ＯＣＲ処理の対象となる画像である。文字列は、文字認識処理の結果である認識した文字列であり、当該部分画像から読み取られた文字列である。検索結果の数は、当該文字列をキーワードとして辞書を検索した結果の数であり、何個の結果があるかを示す。結果＃１〜結果＃ｎは、当該文字列をキーワードとして辞書を検索した結果であり、辞書データへのポインタ（ＵＲＬ）である。これらについては後述する。
【００３３】
画像解析部４２は、対象特定部４３と共に前述の画像解析対象特定手段を構成し、メール検索データ１５０が作成されると、その画像（以下、区別のために、全体画像という）１０１を参照して、当該全体画像１０１を解析して文字列を含む１又は複数の部分画像を抽出する。文字列を含む部分画像は、前述のように、当該全体画像１０１の中で、同色（又は、同明度）の背景で囲まれた領域である。画像解析部４２は、全体画像１０１から１又は複数の当該領域を切り出して、これらを部分画像とする。図２に示す全体画像１０１の例から判るように、文字列を含む部分画像は、１個の全体画像１０１の中に複数存在する場合がある。抽出された部分画像の一例を図５（Ｂ）及び図５（Ｃ）に示す。これらは図２に示す全体画像１０１から抽出された部分画像である。
【００３４】
画像解析部４２は、抽出した部分画像が１個である場合、当該部分画像をメール検索データ１５０の部分画像（の格納領域）に格納し、この旨を文字列認識部４４に通知する。抽出した部分画像が複数である場合、画像解析部４２は、当該複数の部分画像を対象特定部４３に送る。なお、複数の部分画像をメール検索データ１５０の部分画像に格納し、この旨を対象特定部４３に通知するようにしてもよい。
【００３５】
対象特定部４３は、画像解析部４２と共に前述の画像解析対象特定手段を構成し、抽出された部分画像が複数存在する場合、当該複数の部分画像の中から、文字認識の処理対象とすべき部分画像を特定する。文字認識の処理対象とされる部分画像は、全体画像１０１における当該部分画像の位置又は当該部分画像の大きさにより特定される。即ち、全体画像１０１において中央よりの部分画像又は大きな部分画像が文字認識の処理対象とされる。例えば、図５（Ｂ）及び図５（Ｃ）に示す部分画像についてみると、図５（Ｂ）の部分画像が、図５（Ｃ）の部分画像よりも、全体画像１０１において、中央よりに存在しかつ大きい。従って、この場合、図５（Ｂ）の部分画像が文字認識の処理対象とされる。対象特定部４３は、特定した文字認識の処理対象の部分画像をメール検索データ１５０の部分画像に格納し、この旨を文字列認識部４４に通知する。
【００３６】
文字列認識部４４は、前述の文字列認識手段であって、画像解析部４２又は対象特定部４３からメール検索データ１５０への部分画像の格納を通知されると、当該文字認識の処理対象の部分画像について文字認識処理を行なって文字列を得る。文字列認識部４４における文字認識処理は、例えば周知のＯＣＲ（Optical Character Reader）処理である。文字認識処理により得られた文字列の一例を図５（Ｄ）に示す。この文字列は、図５（Ｂ）の部分画像から得たものであり、ハングルからなる文字列である。文字列認識部４４は、文字認識処理の結果である認識した文字列をメール検索データ１５０の文字列（の格納領域）に格納し、この旨を辞書検索部４５に通知する。
【００３７】
この文字認識処理において、文字列認識部４４は、文字認識に先立って、メール検索データ１５０の補助情報を参照して、これを用いて文字認識をすべき文字の種類を特定する。即ち、文字認識すべき言語の種類を特定する。文字又は言語の種類は複数存在する。従って、複数の文字又は言語について、各々の文字認識（ＯＣＲ）処理プログラムが予め用意される。図２に示す例の場合、補助情報は「韓国」「韓国語」又は「ハングル」等であるから、例えばハングルについての文字認識処理プログラムによる文字認識処理が行われる。
【００３８】
メール検索データ１５０の補助情報が予め用意された文字又は言語の種類と異なる場合、文字列認識部４４は、文字又は言語の種類の特定において推論処理を行う。例えば、補助情報が「韓国」であり、用意された文字又は言語が「韓国語」又は「ハングル」である場合、文字列認識部４４は、当該補助情報に基づいて、文字認識をすべき文字の種類は「韓国語」又は「ハングル」であると判断する。このために、文字列認識部４４は、例えば推論テーブル（図示せず）を備える。推論テーブルは、例えば同一の文字又は言語の種類とすべき補助情報（例えば「韓国」「韓国語」「ハングル」等）を１個のグループとして格納し、これらのいずれかが入力された場合、当該文字又は言語の種類を示すと判断する。これは、言語に限らず、専門用語についても同様である。例えば、「料理」「クッキング」等を１個のグループとして、推論テーブルに格納するようにすればよい。
【００３９】
メール検索データ１５０の補助情報が空である場合、文字列認識部４４は、当該補助情報に基づいて、文字認識をすべき文字の種類は「日本語」であると判断する。これにより、漢字、平仮名、片仮名の文字認識処理が行われる。なお、これは、利用者の母国において最も多く使用されると考えられるためである。従って、補助情報が空である場合、利用者の母国語（例えば、韓国語）又はその文字（例えば、ハングル）について文字認識を行なうようにすればよい。
【００４０】
辞書検索部４５は、前述の辞書検索手段であって、文字列認識部４４からメール検索データ１５０への文字列の格納を通知されると、当該文字列で辞書部５１の辞書を検索して、その結果を得る。辞書検索部４５は、辞書を検索した結果をメール検索データ１５０に格納し、この旨をメール作成部４６に通知する。即ち、当該検索結果に基づいて、メール検索データ１５０において、その検索結果の数（の格納領域）に当該検索した結果の数ｎを格納し、結果＃１〜結果＃ｎ（の格納領域）に当該検索した結果を格納する。当該検索した結果は、前述のように、辞書を検索した結果である辞書データを示すＵＲＬである。なお、検索の結果、該当するデータが存在しない場合、結果の数ｎに「０」が格納される。
【００４１】
前述のように、辞書部５１の辞書は、予め用意された１又は複数の辞書からなる。辞書は、例えば国語辞典、英和辞典、和英辞典、韓日（ハングル）辞典、中国語辞典、百科事典、料理辞典、植物図鑑、地図、人名辞典等、種々の辞書からなる。文字列のみでは、検索する辞書の数が多くなるので処理時間が長くなり、また、例えばアルファベットからなる文字列で国語辞典を検索しても正しい結果は得られない。そこで、補助情報が利用される。
【００４２】
個々の辞書は、各項目毎の辞書データを、複数格納してなる。個々の辞書データは、図６（Ａ）に示すように、キーワード、分野、概要、詳細（ＨＴＭＬ文書）、ＵＲＬからなる。キーワードは、当該辞書を引くためのキーであり、当該項目である文字列（単語）である。分野は、当該辞書がどの分野の辞書のデータであるかを示す。例えば、「日本語」又は「国語」であれば「国語辞典」のデータであることを示す。概要は、当該キーワードに対応する意味の概要である。詳細は、当該キーワードに対応する意味の詳細であり、例えばＨＴＭＬ形式で記述された説明文（ＨＴＭＬ文書）である。ＵＲＬは、当該説明文（のコピー）の存在するアドレスを示し、実際には、閲覧情報部５２内において当該説明文の存在するアドレスを示す。
【００４３】
この辞書検索処理において、辞書検索部４５は、辞書検索に先立って、メール検索データ１５０の補助情報を参照して、これを用いて検索する分野を特定する。即ち、検索する辞書を特定する。検索する対象として特定される辞書の数は、１とは限らず、複数であってもよい。従って、検索の結果も（１又は）複数得られる場合がある。
【００４４】
図２に示す例の場合、補助情報は「韓国」「韓国語」「ハングル」等であるから、韓日辞典が検索対象として特定される。そして、図５（Ｄ）に示す文字列をキーワードとして当該辞書を検索する。この結果、例えば、図６（Ｂ）に示すように、当該キーワードを持つ辞書データから、読み「サムゲタン」を含む概要「韓国の代表的なスープです。」と、詳細のＨＴＭＬ文書「一匹の鶏の・・・・の料理。」と、そのアドレスを示すＵＲＬ＃１とが取り出される。この検索結果に基づいて、メール検索データ１５０において、その検索結果の数に「１」を格納し、結果＃１に概要「サムゲタン」及び「韓国の代表的なスープです。」とＵＲＬ＃１とを格納する。また、閲覧情報部５２内において、当該ＵＲＬ＃１に詳細のＨＴＭＬ文書「一匹の鶏の・・・・の料理。」のコピーが格納される。
【００４５】
メール検索データ１５０の補助情報が予め用意された辞書の種類と異なる場合、辞書検索部４５は、文字列認識部４４と同様に、検索する辞書の特定において推論テーブルを用いた推論処理を行う。また、メール検索データ１５０の補助情報が空である場合にも、辞書検索部４５は、文字列認識部４４と同様に、当該補助情報に基づいて、検索すべき辞書は「国語辞典」であると判断する。
【００４６】
メール作成部４６は、周知の電子メール作成部であり、送信部３２と共に前述の送信手段を構成し、辞書検索部４５からメール検索データ１５０への検索結果等の格納を通知されると、当該メール検索データ１５０に基づいて応答２００を作成する。メール作成部４６は、作成した応答２００を送信部３２に送る。
【００４７】
応答２００の一例を図７に示す。応答２００も、電子メール１００と同様に、ヘッダ部２０２とボディ部２０３とからなる。ヘッダ部２０２は、送信元のメールアドレス、宛先のメールアドレス、題名を含む。送信元のメールアドレスは、当該応答２００を送信する抽出検索装置３のメールアドレスである。宛先のメールアドレスは、当該応答２００を受信する携帯電話１のメールアドレスである。ボディ部２０３は、本文、ＵＲＬ（ＵＲＬ＃１）を含む。これらは、予め用意されたテンプレート２５０を利用して作成される。テンプレート２５０において、メール検索データ１５０の結果＃１の概要「サムゲタン」が題名及び本文に対応する部分に嵌め込まれ、「韓国の代表的なスープです」が本文に対応する部分に嵌め込まれ、ＨＴＨＬ文書のＵＲＬ＃１が＜詳細＞に対応するように嵌め込まれる。メール検索データ１５０において結果＃ｎまでが存在する場合、本文及びＵＲＬの組がｎ個作成される。
【００４８】
メール検索データ１５０において結果の数ｎが「０」である場合、メール作成部４６は、応答２００としてエラーメッセージを作成する。エラーメッセージは、例えば、「サムゲタン」に代えて「判りませんでした」とされ、「韓国の代表・・・」に代えて「写真は対象物を真中に大きく写して下さい。補助情報を入れると認識率が上がります。」とされる。
【００４９】
送信部３２は、周知の電子メール送信部であり、メール作成部４６と共に前述の送信手段を構成し、メール作成部４６の作成した応答２００を、インターネット２を介して、携帯電話１に送信する。携帯電話１は、これをそのインターネット通信部１２で受信し、当該応答２００の内容を表示画面１３に表示する。応答２００の表示の一例を図８（Ａ）に示す。これを見た携帯電話１の利用者は、詳細を知りたければ、＜詳細＞を選択する（クリックする）。
【００５０】
これに応じて、携帯電話１は、＜詳細＞に対応して埋め込まれているＵＲＬ（ＵＲＬ＃１）により、抽出検索装置３のＷｅｂサーバ３３にアクセスする。アクセスされたＷｅｂサーバ３３は、閲覧情報部５２の中から当該ＵＲＬ＃１の情報「一匹の鶏の・・・・の料理。」を取り出して、携帯電話１に返信する。携帯電話１は、これを受信してその内容を表示画面１３に表示する。当該ＵＲＬの情報の表示の一例を図８（Ｂ）に示す。これにより、図２に示す看板を撮影するのみで、その概略及び詳細な意味を知ることができる。なお、実際には、図８（Ｂ）に示すように、当該ＵＲＬ＃１の情報に加えて、当該文字列の概要の中の読み（例えば、サムゲタン）も同時に表示される。Ｗｅｂサーバ３３に多くのアクセスが集中する場合、Ｗｅｂサーバ３３を複数設けて、これらで分散処理を行なうようにしてもよい。
【００５１】
図９は、辞書検索結果受信処理フローであり、携帯電話１における辞書検索結果受信処理を示す。
【００５２】
携帯電話１が、そのカメラ１１で撮影した写真の画像を添付した図２に示すような電子メール１００をインターネット通信部１２で作成して、抽出検索装置３に送信する（ステップＳ１１）。従って、インターネット通信部１２は、抽出検索装置３における受信部３１、メール解析部４１、メール作成部４６、送信部３２と同様の機能を備えると考えてよい。この後、携帯電話１が、抽出検索装置３から応答２００を受信して、図８（Ａ）に示すように、これを表示画面１３に表示する（ステップＳ１２）。これを見た携帯電話１の利用者が当該画面の＜詳細＞を選択すると、携帯電話１が、当該ＵＲＬにより抽出検索装置３のＷｅｂサーバ３３にアクセスする（ステップＳ１３）。この後、携帯電話１が、Ｗｅｂサーバ３３から当該ＵＲＬの内容を受信して、図８（Ｂ）に示すように、これを表示画面１３に表示する（ステップＳ１４）。
【００５３】
図１０は、抽出文字列辞書検索処理フローであり、本発明の抽出検索装置３における抽出文字列辞書検索処理を示す。
【００５４】
抽出検索装置３において、受信部３１が携帯電話１から当該携帯電話１で撮影した画像１０１を含む電子メール１００を受信する（ステップＳ２１）。この電子メール１００をメール解析部４１が解析して、画像１０１を含むメール検索データ１５０を作成する（ステップＳ２２）。この後、画像解析部４２が、メール検索データ１５０の画像１０１を解析して、文字列を含む１又は複数の部分画像を抽出し（ステップＳ２３）、部分画像が複数存在する場合、対象特定部４３がその中から文字認識の処理対象を特定する（ステップＳ２４）。この後、文字列認識部４４が、補助情報により文字認識の文字又は言語を特定した上で、文字認識の処理対象について文字認識処理を行なって文字列を得ると（ステップＳ２５）、辞書検索部４５が、補助情報により辞書を特定した上で、前記文字列を用いて辞書を検索してその結果を得る（ステップＳ２６）。この検索の結果に基づいて、メール作成部４６が応答２００を作成して（ステップＳ２７）、送信部３２が応答２００を辞書の検索の結果として、携帯電話１に送信する（ステップＳ２８）。
【００５５】
図１１は、抽出文字列辞書検索処理フローであり、本発明の抽出検索装置３における処理を示す。
【００５６】
抽出検索装置３において、Ｗｅｂサーバ３３が携帯電話１からＵＲＬを受信（ＨＴＴＰを受信）すると（ステップＳ３１）、閲覧情報部５２の中から当該ＵＲＬの情報を取り出して、携帯電話１に返信（ＨＴＴＰで結果送信）する（ステップＳ３２）。
【００５７】
以上、本発明をその実施の態様に従って説明したが、本発明は、その主旨の範囲内において、種々の変形が可能である。
【００５８】
例えば、応答２００において、どの電子メール１００に対する回答であるかを判りやすくするために、当該電子メール１００に含まれていた画像１０１を添付するようにしてもよい。また、画像１０１に代えて、文字認識の処理対象となった部分画像を添付するようにしてもよい。また、抽出検索装置３を複数のサーバで構成するようにしてもよい。例えば、送受信サーバで電子メール１００を受信し応答２００を送信し、画像処理サーバで電子メール１００から画像１０１を取り出して更に部分画像を抽出し、文字認識処理サーバで部分画像から文字列を抽出し、辞書検索サーバで文字列により辞書を検索するようにしてもよい。
【００５９】
以上から判るように、本発明の実施の形態の特徴を列記すると、以下の通りである。
（付記１） カメラ付き携帯情報端末から当該カメラ付き携帯情報端末で撮影した画像を受信する受信手段と、
前記画像を解析して文字列を含む１又は複数の部分画像を抽出し、前記部分画像の中から文字認識の処理対象を特定する画像解析対象特定手段と、
前記文字認識の処理対象について文字認識を行なって文字列を得る文字列認識手段と、
予め用意された１又は複数の辞書と、
前記文字列で前記辞書を検索してその結果を得る辞書検索手段と、
前記辞書の検索の結果に基づいて応答を作成して前記カメラ付き携帯情報端末に送信する送信手段とを備える
ことを特徴とする抽出文字列辞書検索装置。
（付記２）前記画像解析対象特定手段が、前記画像から同色又は同明度の背景で囲まれた領域を部分画像として抽出する
ことを特徴とする付記１に記載の抽出文字列辞書検索装置。
（付記３）前記画像解析対象特定手段が、複数の部分画像を抽出した場合、当該複数の部分画像の中から前記画像の中央よりの部分画像又は大きな部分画像を、前記文字認識の処理対象として特定する
ことを特徴とする付記１に記載の抽出文字列辞書検索装置。
（付記４）前記辞書は、キーワード毎に、その分野、概要、詳細情報、ＵＲＬからなる辞書データを格納する
ことを特徴とする付記１に記載の抽出文字列辞書検索装置。
（付記５）前記受信手段が前記カメラ付き携帯情報端末から前記画像と共に補助情報を受信し、
前記辞書検索手段が、前記補助情報に基づいて、検索する辞書を特定する
ことを特徴とする付記１に記載の抽出文字列辞書検索装置。
（付記６）前記受信手段が前記カメラ付き携帯情報端末から前記画像と共に補助情報を受信しない場合、前記辞書検索手段が、検索する辞書を国語辞典と特定する
ことを特徴とする付記５に記載の抽出文字列辞書検索装置。
（付記７）前記補助情報が、前記画像解析対象特定手段が、複数の部分画像を抽出した場合、複数の部分画像の中から文字認識の処理対象とする１個の文字列を特定するための参考情報となる位置情報、色情報、大きさ情報からなる
ことを特徴とする付記５に記載の抽出文字列辞書検索装置。
（付記８）前記補助情報が、インターネットを介してアクセスしてＷｅｂページ検索の結果を得ることを指示する情報からなる
ことを特徴とする付記５に記載の抽出文字列辞書検索装置。
（付記９） カメラ付き携帯情報端末から当該カメラ付き携帯情報端末で撮影した画像を受信し、
前記画像を解析して文字列を含む１又は複数の部分画像を抽出し、前記部分画像の中から文字認識の処理対象を特定し、
前記文字認識の処理対象について文字認識を行なって文字列を得て、
前記文字列で予め用意された１又は複数の辞書を検索してその結果を得て、
前記辞書の検索の結果に基づいて応答を作成して前記カメラ付き携帯情報端末に送信する
ことを特徴とする抽出文字列辞書検索方法。
（付記１０） カメラ付き携帯情報端末と、
前記カメラ付き携帯情報端末とネットワークを介して接続された抽出文字列辞書検索装置とからなり、
前記抽出文字列辞書検索装置は、更に、
前記カメラ付き携帯情報端末から当該カメラ付き携帯情報端末で撮影した画像を受信する受信手段と、
前記画像を解析して文字列を含む１又は複数の部分画像を抽出し、前記部分画像の中から文字認識の処理対象を特定する画像解析対象特定手段と、
前記文字認識の処理対象について文字認識を行なって文字列を得る文字列認識手段と、
予め用意された１又は複数の辞書と、
前記文字列で前記辞書を検索してその結果を得る辞書検索手段と、
前記辞書の検索の結果に基づいて応答を作成して前記カメラ付き携帯情報端末に送信する送信手段とを備える
ことを特徴とする抽出文字列辞書検索システム。
（付記１１）カメラ付き携帯情報端末とネットワークを介して接続された抽出文字列辞書検索装置において抽出文字列辞書検索処理を実行するプログラムであって、
前記プログラムは、コンピュータに、
カメラ付き携帯情報端末から当該カメラ付き携帯情報端末で撮影した画像を受信させ、
前記画像を解析して文字列を含む１又は複数の部分画像を抽出させ、前記部分画像の中から文字認識の処理対象を特定させ、
前記文字認識の処理対象について文字認識を行なって文字列を得させ、
前記文字列で予め用意された１又は複数の辞書を検索させ、
前記辞書の検索の結果に基づいて応答を作成して前記カメラ付き携帯情報端末に送信させる
ことを特徴とする抽出文字列辞書検索プログラム。
（付記１２）カメラ付き携帯情報端末とネットワークを介して接続された抽出文字列辞書検索装置において抽出文字列辞書検索処理を実行するプログラムを記録するコンピュータ読取可能な記録媒体であって、
前記プログラムは、コンピュータに、
カメラ付き携帯情報端末から当該カメラ付き携帯情報端末で撮影した画像を受信させ、
前記画像を解析して文字列を含む１又は複数の部分画像を抽出させ、前記部分画像の中から文字認識の処理対象を特定させ、
前記文字認識の処理対象について文字認識を行なって文字列を得させ、
前記文字列で予め用意された１又は複数の辞書を検索させ、
前記辞書の検索の結果に基づいて応答を作成して前記カメラ付き携帯情報端末に送信させる
ことを特徴とする抽出文字列辞書検索プログラム記録媒体。
【００６０】
【発明の効果】
本発明によれば、抽出文字列辞書検索装置及び方法において、カメラ付き携帯電話で文字列を含み同色又は同明度の背景で囲まれた領域からなる知りたい単語（文字列）の写真（画像）を撮影してその画像と補助情報とを送信するのみで、その単語の意味の概要と意味の詳細（即ち、説明文）を得るためのＵＲＬとを応答として得ることができ、また、当該ＵＲＬを選択することにより、説明文を得ることができる。従って、電子辞書のように知りたい分野の電子辞書を持ち歩く必要がなく、単語を入力する（電子辞書を引く）手間も必要なく、辞書の使い方を知っている必要もない。また、文字入力の必要がないので、入力の手間を不要にでき、誤入力もなく、入力できない文字についてもその意味を知ることができる。
【００６１】
また、本発明によれば、抽出文字列辞書検索プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ等のコンピュータ読取可能な記録媒体に格納して提供することができるので、前述の抽出文字列辞書検索装置及び方法を容易に実現することができる。
【図面の簡単な説明】
【図１】抽出文字列辞書検索システム及びカメラ付き携帯情報端末構成図である。
【図２】電子メールの一例を示す図である。
【図３】抽出文字列辞書検索装置構成図である。
【図４】電子メールの一例を示す図である。
【図５】メール検索データの一例、部分画像の一例、文字列の一例を示す図である。
【図６】辞書データ、メール検索データの一例を示す図である。
【図７】応答の一例を示す図である。
【図８】応答の表示の一例、ＵＲＬの情報の表示の一例を示す図である。
【図９】辞書検索結果受信処理フローであり、カメラ付き携帯情報端末における辞書検索結果受信処理を示す。
【図１０】抽出文字列辞書検索処理フローであり、抽出文字列辞書検索装置における抽出文字列辞書検索処理を示す。
【図１１】抽出文字列辞書検索処理フローであり、抽出文字列辞書検索装置における処理を示す。
【符号の説明】
３ 抽出文字列辞書検索装置
３１ 受信部
３２ 送信部
３３ Ｗｅｂ閲覧部（Ｗｅｂサーバ）
３４ 抽出文字列辞書検索処理部
３５ 辞書記憶部
４１ メール解析部
４２ 画像解析部
４３ 対象特定部
４４ 文字列認識部
４５ 辞書検索部
４６ メール作成部
５１ 辞書部
５２ 閲覧情報部

Claims (4)

1. カメラ付き携帯電話から、当該カメラ付き携帯電話で撮影した画像と当該電子メールの本文として記載された補助情報とを含む電子メールを受信する受信手段と、
   前記画像を解析して、各々が文字列を含み同色又は同明度の背景で囲まれた領域からなる複数の部分画像を抽出した場合、当該複数の部分画像の中から前記画像の中央よりの部分画像又は大きな部分画像を、文字認識の処理対象として特定する画像解析対象特定手段と、
   特定された前記文字認識の処理対象について文字認識を行なって文字列を得る文字列認識手段と、
   文字列に対応して、その概要と、説明文と、閲覧情報部における前記説明文のアドレスであるＵＲＬとを含む辞書データを格納する、予め用意された１又は複数の辞書と、
   前記１又は複数の辞書の中から、前記補助情報に基づいて検索する辞書を特定し、前記得られた文字列で特定された前記辞書を検索して、前記概要と説明文とＵＲＬとを含む検索結果を得る辞書検索手段と、
   前記得られた説明文からなる情報を前記得られたＵＲＬに格納する閲覧情報部と、
   前記検索結果に基づいて電子メールである応答であって、前記得られた概要とＵＲＬとを含む応答を作成して前記カメラ付き携帯電話に送信する送信手段と、
   前記応答に含まれた前記ＵＲＬを前記カメラ付き携帯電話から受信すると、前記ＵＲＬを用いて前記閲覧情報部から前記ＵＲＬに格納された説明文を取出して、これを前記カメラ付き携帯電話に返信する閲覧部とを備える
   ことを特徴とする抽出文字列辞書検索装置。
2. 前記送信手段が、前記検索結果の数が０である場合に、エラーメッセージを前記応答として前記カメラ付き携帯電話に返す
   ことを特徴とする請求項１に記載の抽出文字列辞書検索装置。
3. 受信手段と、画像解析対象特定手段と、文字列認識手段と、１又は複数の辞書と、閲覧情報部と、辞書検索手段と、送信手段と、閲覧部とを備える抽出文字列辞書検索装置において実行される抽出文字列辞書検索方法であって、
   前記受信手段が、カメラ付き携帯電話から、当該カメラ付き携帯電話で撮影した画像と当該電子メールの本文として記載された補助情報とを含む電子メールを受信し、
   前記画像解析対象特定手段が、前記画像を解析して、各々が文字列を含み同色又は同明度の背景で囲まれた領域からなる複数の部分画像を抽出した場合、当該複数の部分画像の中から前記画像の中央よりの部分画像又は大きな部分画像を、文字認識の処理対象として特定し、
   前記文字列認識手段が、特定された前記文字認識の処理対象について文字認識を行なって文字列を得て、
   前記辞書検索手段が、文字列に対応して、その概要と、説明文と、前記閲覧情報部における前記説明文のアドレスであるＵＲＬとを含む辞書データを格納する、予め用意された前記１又は複数の辞書の中から、前記補助情報に基づいて検索する辞書を特定し、前記得られた文字列で特定された前記辞書を検索して、前記概要と説明文とＵＲＬとを含む検索結果を得て、
   前記閲覧情報部が、前記得られた説明文からなる情報を前記得られたＵＲＬに格納し、
   前記送信手段が、前記検索結果に基づいて電子メールである応答であって、前記得られた概要とＵＲＬとを含む応答を作成して前記カメラ付き携帯電話に送信し、
   前記閲覧部が、前記応答に含まれた前記ＵＲＬを前記カメラ付き携帯電話から受信すると、前記ＵＲＬを用いて前記閲覧情報部から前記ＵＲＬに格納された説明文を取出して、これを前記カメラ付き携帯電話に返信する
   ことを特徴とする抽出文字列辞書検索方法。
4. カメラ付き携帯電話とネットワークを介して接続された抽出文字列辞書検索装置において抽出文字列辞書検索処理を実行するプログラムであって、
   前記プログラムは、コンピュータに、
   カメラ付き携帯電話から、当該カメラ付き携帯電話で撮影した画像と当該電子メールの本文として記載された補助情報とを含む電子メールを受信する処理と、
   前記画像を解析して、各々が文字列を含み同色又は同明度の背景で囲まれた領域からなる複数の部分画像を抽出した場合、当該複数の部分画像の中から前記画像の中央よりの部分画像又は大きな部分画像を、文字認識の処理対象として特定する処理と、
   特定された前記文字認識の処理対象について文字認識を行なって文字列を得る処理と、
   文字列に対応して、その概要と、説明文と、前記閲覧情報部における前記説明文のアドレスであるＵＲＬとを含む辞書データを格納する、予め用意された１又は複数の辞書の中から、前記補助情報に基づいて検索する辞書を特定し、前記得られた文字列で特定された前記辞書を検索して、前記概要と説明文とＵＲＬとを含む検索結果を得る処理と、
   前記得られた説明文からなる情報を前記得られたＵＲＬに格納する処理と、
   前記検索結果に基づいて電子メールである応答であって、前記得られた概要とＵＲＬとを含む応答を作成して前記カメラ付き携帯電話に送信する処理と、
   前記応答に含まれた前記ＵＲＬを前記カメラ付き携帯電話から受信すると、前記ＵＲＬを用いて前記閲覧情報部から前記ＵＲＬに格納された説明文を取出して、これを前記カメラ付き携帯電話に返信する処理と、を実行させる
   ことを特徴とする抽出文字列辞書検索プログラム。

Images