JP4269811B2 - 携帯電話 - Google Patents
携帯電話 Download PDFInfo
- Publication number
- JP4269811B2 JP4269811B2 JP2003194007A JP2003194007A JP4269811B2 JP 4269811 B2 JP4269811 B2 JP 4269811B2 JP 2003194007 A JP2003194007 A JP 2003194007A JP 2003194007 A JP2003194007 A JP 2003194007A JP 4269811 B2 JP4269811 B2 JP 4269811B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- mobile phone
- unit
- recognition
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3266—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of text or character information, e.g. text accompanying an image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、携帯電話、PHS（Personal Handy-phone System）、PDA（Personal Digital Assistant）やPC（Personal Computer）等の情報処理装置に関するものである。
【０００２】
【従来の技術】
特開２００２−２５２６９１号公報には、OCR（Optical Character Recognition）機能により、撮像した画像情報に含まれる文字を文字情報に変換し、印刷物に掲載された住所や名前、電話番号、URL（Uniform Resource Locator）などを入力できる携帯電話が提案されている。また、特開平５−２７４３４６号公報には、紙面上に印刷された文字列のイメージを読み取り、OCR機能を利用してそのイメージから文字列を認識して文字情報に変換し、翻訳辞書を参照してその文字列に対応する翻訳を表示部に表示する電子辞書が提案されている。
【０００３】
【特許文献１】
特開２００２−２５２６９１
【特許文献２】
特開平５−２７４３４６
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特許文献１では、印刷物に掲載された住所等の情報を入力できるＯＣＲ機能を搭載した携帯電話が開示されているものの、その入力された情報をどのように使うかといった使い勝手の面での検討が不十分であった。また、上記特許文献２では、例えば、ＯＣＲ機能により入力された単語の翻訳を表示する際、簡単な翻訳しか表示されず、より詳しい翻訳やその単語の使い方などを知りたい場合は、別途英和辞書を引き直さなければならず、使い勝手が悪いといった問題があった。
【０００５】
そこで、本発明は、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明にかかる携帯電話は、第１の筐体と第２の筐体とを閉じることが可能なように連結した携帯電話であって、文字あるいは記号により構成された識別情報に関連する詳細情報を複数記憶したサーバと通信可能な通信部と、文字あるいは記号により構成された識別情報と前記識別情報に関連する概要情報とを対応させて複数記憶するとともに、前記サーバから詳細情報を取得するために識別情報ごとに設定された複数の接続情報の共通部分である共通接続情報を記憶する記憶部と、画像情報を出力する撮像部と、前記撮像部により出力された画像情報あるいは前記記憶部に記憶された情報を表示する表示部と、前記携帯電話が閉じた状態で前記携帯電話のユーザが操作可能な位置に配置された操作部と、前記携帯電話が閉じた状態で前記操作部を介して前記表示部に表示された画像情報に含まれる識別情報の認識を行うように指示が入力された場合、前記表示部に表示された画像情報に含まれる識別情報に関連する概要情報を前記記憶部から読み出し、読み出された概要情報を前記表示部に表示するように制御する制御部と、を備える。前記制御部は、前記概要情報が前記表示部に表示された後に前記携帯電話が閉じた状態から開いた状態になったとき、前記記憶部に記憶された前記共通接続情報と前記識別情報とを用いて、前記識別情報の詳細情報を取得するための接続情報を作成し、前記通信部により前記サーバから前記識別情報の詳細情報を取得するように制御する。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。なお、以下の図面において、同一の構成部については同符号を用いる。
【０００８】
図１は、本実施例（第1の実施例）に係る携帯電話の構成ブロック図である。本実施例においては、携帯電話に搭載された画像認識機能（ＯＣＲ機能）を利用して、紙面等に掲載された英単語の日本語訳を出力する場合を想定する。
【０００９】
携帯電話１００は、入力部１０１、ＣＰＵ１０２、撮像部１０３、記憶部１０４、画像認識部１０５、辞書データ１０６、表示部１０７、通信部１０８、検索部１０９などを含んだものとして構成される。
【００１０】
入力部１０１は、電話番号その他の情報を入力する入力部であり、携帯電話の電源をＯＮ/ＯＦＦするとき、被写体を撮像するときなど、ユーザが携帯電話に入力を与える際に使用するものである。ＣＰＵ１０２は、記憶部１０４に記憶されたプログラムに基づいて動作し、例えば、入力部１０１からの入力に応じて各部を制御するものである。
【００１１】
撮像部１０３は、例えば、カメラなどで構成されたものであり、被写体である人の顔や、景色、文字などを撮像し、ＣＰＵ１０２で扱える画像情報に変換し、変換された画像情報は必要に応じて表示部１０７等に出力する。ユーザは、表示部１０７に出力された画像情報をモニタしながら撮像したい画像を選んでシャッター等により撮像の指示を行う。シャッターが押下されれば、撮像された画像情報は記憶部１０４に記憶される。また、記憶部１０４は、携帯電話１００で扱うデータやソフトウェアなども記憶する。
【００１２】
画像認識部１０５は、画像情報に含まれる文字や記号等の識別情報を認識する。ここで、識別情報とは、文字、記号等で表された情報であり、例えば、ホームページのアドレス、メールアドレス、住所、電話番号、地図情報あるいは英語の単語等のように文字や記号等で表現されたものであり、事物を識別できる情報であれば上記例以外のものでも構わない。
【００１３】
また、ここで、認識とは、撮像部１０３により撮像された画像情報に含まれる識別情報を抽出し、その識別情報を所定の領域ごとに分割し、分割された領域を所定のパラメータ値に変換し、そのパラメータ値に基づいて分割された領域がどのような情報であるかを決定することをいう。
【００１４】
より具体的にいえば、例えば、画像情報内の「abc」という文字を「認識」する場合を考えると、まず、「abc」が画像情報内のどの位置の情報であるかを特定し、次に、「a」「b」「c」に分割し、「a」を所定のパラメータ値（例えば、その文字を縦、横、斜めからの見た線分の構成を、文字の白色部分を「０」、黒色部分を「１」としてパラメータ化された値）に変換する。そして、変換されたパラメータ値に最も類似したパラメータ値と対応付けされた文字を文字パターンデータ表より選び出す。文字パターンデータ表とは、パラメータ値とそのパラメータ値に対応したアルファベット等の文字とが記述されている表であり、予め記憶されているものである。なお、画像認識部１０５はOCR機能を備えており、OCR機能を実現する具体的な構成は、例えば、特許文献１に記されている。
【００１５】
記憶部１０４に記憶された辞書データ１０６には、例えば、外国語の単語等といった識別情報、該識別情報の日本語訳及び該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL等が含まれる。なお、翻訳言語としては、日本語訳に限定されるものではなく、英語やフランス語などでもよい。さらに、識別情報の説明であることがわかれば、絵や音などのデータでもよい。
【００１６】
表示部１０７は、撮像部１０３により撮像された画像や画像認識部１０５により認識された識別情報を表示する。その他、表示部１０７に、例えば、電源状態、電波強度、電池残量、サーバ接続状態、未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データの表示、また、携帯電話の機能を利用するために必要な画面を表示する。通信部１０８は、携帯電話１００がインターネットや他の情報処理装置などにアクセスするための通信処理を行う。検索部１０９は、辞書データ１０６を参照し、画像認識部１０５により得られた識別情報と一致する識別情報を検索する。
【００１７】
また、ＣＰＵ１０２は、モード判定フラグを利用して、撮像モードが通常の静止画又は動画を撮像する通常撮像モードであるか、画像認識部１０５を利用して識別情報を認識するモードである認識モードであるかを判定する。ここで、モード判定フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数で、認識モードの場合と通常撮像モードとでは異なる値になるようにし、ＣＰＵ１０２はこの変数に基づいて認識モードと通常撮像モードと、例えば、入力部１０１による操作により切り換える。以下、実施例では、「認識モード」と「通常撮像モード」との２種類を有する場合を考えるが、これに限定されるものではなく、それ以外にモードがあっても構わない。
【００１８】
図２は、辞書データ１０６の例を示している。列２０１は、外国語の単語が書かれた列であり、列２０２は、２０１の単語に対応した翻訳の概要が書かれた列である。列２０３は、列２０１の単語に対応した関連情報、例えば、翻訳の詳細が掲載されているホームページのURLが書かれた列である。なお、ここで、列２０１の列には例として英単語を記述したが、フランス語やドイツ語などどんな言語でもよいのは言うまでもない。 また、ここでは、列２０３にはURL全体を記述したが、URLの一部だけを記述してもよい。
【００１９】
図３は、URLの一部だけが記述された場合の辞書データ１０６の例である。図２の場合は、”http://www.○○○.com”が共通であるので、この共通部分はURL共通部分２０４に記述しておき、”a”や”abacus”などのような固有の部分だけは列２０６にURL固有部分として記述しておく。また、URL作成方法２０５には、URL共通部分２０４とURL固有部分２０６とを組み合わせて、詳細翻訳が掲載されたホームページのURLを作成する方法を記述しておく。このように、URLの共通部分を辞書データ１０６内の予め定められた場所に代表して記述し、異なる部分だけを各英単語に対応して記述するようにしておくことで、辞書データ１０６のデータサイズを減らすことができ、携帯電話で保持すべきデータ量が削減できるというメリットがある。
【００２０】
さらに、図３のように、列２０６に記述される情報と列２０１の列に記述された単語と同じである場合は、URL固有部分が記述された列２０６を辞書データ１０６から省略するようにしても構わない。これにより、更に辞書データのデータサイズを減らすことができる。
【００２１】
次に、図４のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。まず、「認識モード」が入力部１０１を介してユーザにより選択された後、入力部１０１のうち撮像部１０３に撮像するように指示を出すスイッチ（以下、これをシャッターボタンと呼ぶ）が押下されれば、ＣＰＵ１０２が撮像部１０３に対して撮像するように指示を出す（ステップS401）。そして、撮像部１０３により撮像（変換）された被写体である対象物の画像情報はＣＰＵ１０２を介して記憶部１０４に保存する（ステップS402）。
【００２２】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS403）。この結果を、検索部１０９が読み取り、記憶部１０４により記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する（ステップS404）。
【００２３】
検索する方法としては、まず識別情報が完全に一致するものを探し出し、完全に一致するものがなかった場合は一文字だけ異なるがその他の文字は一致している単語を探し出すという方法が好ましい。この方法を採用することで、画像認識部１０５が紙面上の文字を誤って認識した場合でも、その文字列に一番近い単語を探し出すことができ、何度も撮像して文字認識をやり直す手間が省くことができ、使い勝手がよい。
【００２４】
また、一文字だけ異なる単語もない場合は、二文字異なる単語、三文字異なる単語、というふうに異なる文字数をだんだん増やして検索してもよく、この場合は認識率が低くても該当する単語を探し出すことができる。
【００２５】
ステップS405において、該当する単語が見つかった場合はステップS406に進む。もし該当する単語が見つからなかった場合はステップS410に進み、該当する単語が見つからなかったことをユーザに通知する画面を表示部１０７に表示して終了する。
【００２６】
ステップS406では、ステップS404において検索部１０９により辞書データから検索され、当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が読み取り、表示部１０７に表示する（ステップS406）。
【００２７】
この後、ＣＰＵ１０２は、入力部１０１や表示部１０７を介して、より詳細な翻訳の要求が指示されたか否かを判断し（ステップS407）、要求指示がされた場合はステップS408に進む。
【００２８】
ステップS408では、ステップS404において検索部１０９により検索された単語に対応するURLをＣＰＵ１０２が読み取り、ＣＰＵ１０２は、通信部１０８に対して該URLに接続するように指示信号を出力する。
【００２９】
ステップS409で、ＣＰＵ１０２が通信部１０８を介して上記ホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【００３０】
以上のように、簡単な翻訳だけでなく詳細な翻訳を参照したい場合に、詳細な翻訳が記載されたホームページ等を表示させることができるため、わざわざ英和辞書等を引き直さなくてもその単語の詳細な意味を知ることができ、使い勝手がよい。
【００３１】
また、携帯電話などの携帯端末では、大容量のメモリを搭載することができないため、本実施例のように、端末内では必要最低限の情報（簡単な訳や代表的な訳等）を記憶させて置き、詳細な情報が欲しいときはインターネットなどのような別の情報処理装置上に保存された情報を取得して参照できるようにすることは非常に有効である。
【００３２】
図５は、本実施例の表示画面例であり、紙面などの上に書かれた文字列が撮像され、その画像を文字認識により文字情報に変換し、辞書データ１０６の保持する概要翻訳を表示部に表示した後、詳細翻訳の表示を要求する入力があった場合は、辞書データ１０６の保持するURLに接続し、そのURLに記された内容を表示部１０７に表示する際の表示画面の例を示している。なお、表示部１０７の下部に表示された「メニュー」等の機能に対応したボタンは、入力部１０１のうち、例えば、上部に配置されたボタンなどであり、当該ボタン等がユーザにより押下されると、「メニュー」等の機能に対応した表示画面が表示部１０７に表示される。同様に、表示画面が遷移される度に、当該ボタン等は各表示画面の下部に表示された機能を実行するためのボタンとして割り当てられる。以下、表示画面の下部に表示された機能を実行するためのボタンは、本明細書において便宜上、当該表示された機能名と対応付けて呼ぶことにする。例えば、「メニュー」機能に対応したボタンを「メニューボタン」、あるいは、「戻る」機能に対応したボタンを「戻るボタン」と呼ぶ。なお、上述した実行ボタンは、右下や左下等の各機能が表示される位置に応じて各ボタンを割り当てるようにしても構わないし、一つのボタンで実現しても構わない。
【００３３】
画面５０１は、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている画面例である。なお、ここで、上記英単語「「Recognition」を特定する手段として、例えば、表示部１０７の中心に表示された「＋」マークを識別情報である「Recognition」の上に持っていけば、「＋」マークの位置から近傍のスペース情報からスペース情報までの部分を一区切りの単語として「Recognition」という単語を自動的に特定するようにしてもよいし、ユーザが入力部１０４を利用して、例えば、上記メールアドレス情報等の認識部分をカーソル等で指定できるようにしても構わない。認識対象を決定する方法が複数ある場合に、選択できるようにしても構わない。また、動画の場合は、動画を静止画でコマ送りできるように設定しておき、そのコマ送り画面で認識対象部を選択できるようにしても構わない。
【００３４】
また、ここでは、認識対象である英単語「Recognition」を点線等で囲み明確化したが、画像編集部において認識対象となる「Recognition」を拡大または縮小した画像を作成し、その画像を表示してもよい。拡大するには、例えば、１×１画素で表示していたところを２×２画素で表示する。さらに、画像編集部で認識対象となる文字の画像部分を白黒に変換したものやセピア色に変換したり、または、白黒反転したものを作成しその画像を表示したりしてもよく、画像内でどれが認識対象であるかが明確に分かるように表示すれば、上記例に限定されるものではない。
【００３５】
待受状態からこの画面５０１の状態にするには、例えば、「認識モード」ボタンを押下したり、または待受状態からメニュー画面に進み、そのメニュー画面に沿ってボタン操作を行うことにより画面５０１に移行してもよい。画面５０１において、画面下部の「認識」ボタンを押下すると、画面５０２に遷移する。
【００３６】
画面５０２は、撮像した画像の中でURLなどの認識可能な部分を文字認識部１０３が検出し、認識処理を行っている最中であることを表す画面である。認識処理が終了すると、画面５０３に遷移する。
【００３７】
画面５０３は、画像認識部１０５が認識した結果と、その文字列に対応した概要翻訳２０２を表示部１０７に表示した画面である。認識対象となる文字以外の部分の画像は、例えば、認識対象が何であるかを明確化するために、黒色で塗りつぶしたり、撮像した画像やアイコンなどが表示されていない部分の色と同じ色で塗りつぶしたりしている。ユーザが、単語の意味や使い方をもっと詳しく知りたい場合は、画面５０３の左下部に表示された詳細表示に対応したボタンを押すと、画面５０４に遷移する。
【００３８】
画面５０４は、通信部１０８が列２０３に接続する処理を実行していることを表した画面である。列２０３に接続できると、画面５０５に遷移する。
【００３９】
画面５０５は、列２０３のホームページの内容を表示した画面を表している。
【００４０】
以上のような表示画面を利用することで、ユーザは簡単な翻訳を知った後、簡単な操作で、単語の詳細な意味やその使い方・用例を知ることができ、使い勝手がよい。
【００４１】
なお、上記実施例では、詳細な単語の意味や使い方を参照するために1種類のホームページのURLを利用することを想定したが、特段これに限定するものではなく、例えば、複数のURL情報を記憶部１０４に記憶させておき、詳細な訳等を要求する際にその複数のURLの中から好みのURLを選択できるようにしても構わない。これにより、ユーザは、単語に関する詳細な訳等を豊富な情報源から選択することができ、使い勝手がよい。当然、単語に関して詳細な情報を参照するための情報としてURL情報に限定する必要もない。
更にまた、上記例において、英単語の翻訳に関する詳細な情報として、単語の翻訳に関して詳細に記載されたホームページのURLを想定したが、これに限定するものではなく、単語の訳に関して詳細な情報を参照できるものであれば、なんでもよい。
【００４２】
また、上記例では詳細な情報を入手するためにホームページを利用したが、携帯電話の記憶部１０４に訳の詳細な情報を記憶しておくようにすればよい。この場合、単語の簡単な訳と詳細な訳とで区別して記憶するようにし、通常の認識結果は簡単な訳で表示し、更に、ユーザにより詳細な情報の要求指示がなされた場合は、記憶部１０４に記憶された詳細な情報を表示する。これにより、携帯電話内に訳の詳細な情報が記憶されているためにホームページと接続することなく、速やかに該詳細な情報を表示することができるため、無駄な時間を節約することができ、また、通信圏外においても詳細情報を参照できる。
【００４３】
また、詳細な情報が蓄えられたＰＣ（Personal computer）等の装置を利用して
詳細な情報を取得できるようにしても構わない。
【００４４】
この場合、携帯電話と辞書データ１０６の列２０６には、ＰＣに記憶された翻訳等の詳細情報を読み取るために必要な情報を記載しておく。ここで、翻訳の詳細な情報を参照するために必要な情報（以下、参照必要情報）とは、例えば、翻訳の詳細情報を保持するPCを特定するための情報（IPアドレスなどの識別子）、翻訳の詳細が記載されたファイルのパス名及びファイル名、あるいは、ＰＣの記憶部における詳細翻訳が記載された部分を示すアドレスなどである。
【００４５】
そして、例えば、「abalone」という単語を認識する場合に、より詳細な翻訳情報が欲しいときは、ユーザは図５（３）のような表示画面例等を利用して詳細情報の要求指示を行い、要求指示信号を受信したＣＰＵ１０２は、記憶部１０４に記憶された辞書データの「abalone」に対応した参照必要情報を通信部１０８を介してＰＣに送信する。ＰＣが参照必要情報を受信すれば、参照必要情報に基づいて外部情報処理装置の記憶部に蓄えられた単語の訳等の詳細な情報を携帯電話に送信する。単語の訳等の詳細な情報を受信した携帯電話のＣＰＵ１０２は、それを表示部１０７に表示する。なお、携帯電話とＰＣとを接続する手段としては、有線であっても無線であっても構わない。
【００４６】
これによれば、携帯電話内に単語訳等の詳細な情報をＰＣの記憶部を利用して参照できるため、記憶部１０４における記憶容量を低減できる。また、通信圏外においても詳細な情報を参照でき、使い勝手がよい。また、同様に、詳細な情報が記憶されている記憶媒体を介して参照できるようにしても構わない。この場合は、携帯電話に記録媒体の情報を読み取るための記録媒体読取部を設けるようにする。処理は前述と同様にすればよい。
【００４７】
また、英単語等の詳細な情報自体をユーザ自らが作成や編集ができるようにしても構わない。この場合、詳細な情報をユーザが作成や編集（追加や削除等）するための設定画面などを表示部１０７に表示させる。そうした設定画面を介して入力された情報は、辞書データの列２０３に記憶されるようにする。そして、認識した単語の詳細な情報を参照する際には、詳細情報要求指示を受けたＣＰＵ１０２は、記憶部１０４に記憶された辞書データに基づいて詳細な情報を表示部１０７に表示する。
【００４８】
これにより、自分オリジナルの辞書を作成や編集することができ、さらに、作成されたオリジナル辞書で単語の詳細な情報を参照することができるため、予め設定された詳細な情報には記載されていない情報を追加もしくは削除等することができ、更に使い勝手が向上する。
【００４９】
更にまた、上記では、簡易な情報を知りたい場合は携帯電話内に記憶された情報を利用し、詳細な情報を知りたい場合はＰＣや記憶媒体を利用するようにしたが、簡易な情報を参照する際もＰＣや記憶媒体に記憶された情報を利用するようにしても構わない。
【００５０】
次に、第２の実施例について説明する。上記第１の実施例は、英単語を認識して日本語訳を表示する例であるが、これだと、フランス語やドイツ語などの他言語は翻訳できないといった問題がある。本実施例は、この点に留意してなされた実施例である。
【００５１】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００５２】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００５３】
辞書フラグは、ＣＰＵ１０２がどの辞書データを使用するかを選択するために使うフラグである。辞書フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数であり、辞書データに割り当てられた識別番号を代入するようにし、ＣＰＵ１０２はこの変数に基づいて使用する辞書データを選択する。辞書フラグの値は、入力部１０１を介したユーザの操作によって変更が可能となるようにしておくことで、ユーザは多言語の単語に対して翻訳を得ることができ、使い勝手がよい。
【００５４】
図６は、ユーザが使用する辞書を選択する際の、携帯電話１００の画面表示例を示している。画面６０１は、携帯電話が撮像部１０３による撮像を行なえる状態を表した画面である。待ち受け状態からこの状態にするには、例えば携帯電話の側面についているスイッチを押下したり、または待ち受け状態からメニュー画面に進みボタンを数回押下するといった操作を行なう。画面６０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面６０２に遷移する。
【００５５】
画面６０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「▲１▼辞書選択」が入力部１０１を介して選択されると画面６０３に遷移する。
【００５６】
画面６０３は、使用する辞書を選択する画面である。この状態で、「▲３▼△△△和英」が入力部１０１を介して選択されると画面６０４に遷移する。
【００５７】
画面６０４は、使用する辞書が△△△和英辞書になったことをユーザに知らせる画面である。ここで「確認」に対応したボタンを押下すると画面６０５に遷移し、再び携帯電話が撮像部１０３による撮像を行なえる状態になる。
【００５８】
このように、辞書データを複数持つことで、多言語に対応した電子辞書機能を有することができ、使い勝手よい。
【００５９】
また、使用する辞書データが、例えば、英和辞書に設定されている場合、ドイツ語の単語を認識したときは、該当する単語を見つけることができない。こういった場合に、携帯電話が保持する辞書データ全てを検索させるように構成することで、英和辞書以外に独和辞書を保持していればドイツ語の単語に対しても翻訳を表示することが可能となる。全ての辞書データを検索する方法としては、全ての辞書データの識別番号を入れた配列を用意し、ＣＰＵ１０２が辞書フラグに設定された辞書データを検索した後、該配列の第１番目の要素に格納された識別番号に対応する辞書データを検索し、この中でも見つからない場合は、第２番目、第３番目といったように辞書データを変更して検索していく。このようにすることで、ユーザがわざわざ辞書データを選択する手間を省け、使い勝手のよい辞書機能を実現できる。
【００６０】
また、上記第２の実施例は、辞書データを複数保持することで多言語の翻訳を出力できるようにした例であるが、これは画像認識部１０５が認識できる言語に限られてしまう。例えば、英語だけを認識できる画像認識部１０５では、タイ語やアラビア語は認識できない。よって、タイ語やアラビア語の辞書データを保持しても、認識ができないために翻訳を出力できないという問題がある。
【００６１】
こうした問題を解決するために、通信部１０８を介してインターネットに接続し、多言語の文字パターンデータをダウンロードし、上記文字パターンデータ表に追加するようにすればよい。この場合の処理を以下に説明する。
【００６２】
図１０のフローチャートを用いて、本実施例に係る携帯電話がインターネットから文字パターンデータをダウンロードする際の処理手順を説明する。
【００６３】
まず、文字パターンデータ表のダウンロード指示を受けたＣＰＵ１０２は、通信部１０８を介してインターネット上に存在する上記文字パターンデータが書かれたサイトに接続する（ステップS1001）。このサイトを表示した状態で、ユーザが文字パターンのダウンロードを指示するために入力部１０１のボタンを押下する（S1002）。これを受けてＣＰＵ１０２は、通信部１０８を介して、上記サイトから文字パターンデータをダウンロードし、記憶部１０４に保存する（ステップS1003）。
【００６４】
この後、ＣＰＵ１０２は、上記文字パターンデータを文字パターンデータ表に追加する（ステップS1004）。
【００６５】
図１１は、本実施形態の携帯電話帯が、文字パターンデータをダウンロードできるサイトに接続し、アラビア語の文字パターンデータをダウンロードする画面の例を示している。
【００６６】
画面１１０１は、文字パターンをダウンロードできるインターネット上のサイトを表示した画面である。ここで、「アラビア語」を選択すると、画面１１０２に遷移する。画面１１０２は、アラビア語の文字パターンデータをダウンロードするかどうかをユーザに確認する画面である。ここで、「はい」を選択すると、画面１１０３に遷移する。画面１１０３は、アラビア語の文字パターンをダウンロードしていることを表す画面である。この状態でしばらく待ち、ダウンロードが終了すると画面１１０４に遷移する。画面１１０４は、アラビア語の文字パターンデータをダウンロードしたことを表す画面である。同様にして、各言語の文字パターンに対応した辞書データをダウンロードする。
【００６７】
このように、文字パターンデータ及び種々の言語の辞書をダウンロードできるように構成したことにより、多言語に対して文字認識及び翻訳参照を行うことができるため、使い勝手が向上する。
【００６８】
なお、予め記憶部１０４に記憶されていた文字パターンデータ表以外の文字を認識する際に、認識不可能であることをユーザに通知し、その場合に文字パターンデータ表のダウンロードをするように促す画面を表示部１０７に表示させるようにしてもよい。これにより、たとえ認識対象の文字が認識不可能であったとしても、速やかに認識できるようになり、使い勝手が向上する。
【００６９】
更に、例えば、辞書データとして英単語に関するものしかない場合に英単語以外の単語を認識しようとしたときに、翻訳不可能であることをユーザに通知し、その場合に辞書データをダウンロードするように促す画面を表示部１０７に表示させるようにしてもよい。
【００７０】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００７１】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００７２】
また、インターネット上には英和辞書などのホームページが複数あり、誰でも閲覧可能なホームページと、登録されたユーザのみが閲覧できるホームページがある。登録されたユーザのみが閲覧できるホームページは、ユーザＩＤとパスワードをユーザが入力することで閲覧できる。詳細な翻訳の要求が指示された場合に、登録されたユーザのみが閲覧できるサイトを表示してもよい。しかし、この場合は詳細な翻訳を表示するたびにユーザがユーザＩＤとパスワードを入力しなければならず、使い勝手が悪い。そこで、ユーザＩＤとパスワードを辞書データの予め定められた部分に記載しておく、という工夫を施す。図１２に、複数の辞書データを保持し、その辞書データに含まれる詳細な翻訳のホームページがユーザ認証の必要なものである場合の具体例を示す。携帯端末は、辞書提供者から辞書データを取得することができる。その辞書データには、ＩＤとパスワードが付属している。そのＩＤとパスワードは、辞書データに記載された詳細な翻訳が書かれたホームページにアクセスする際、ユーザ認証に使用する。
【００７３】
図１３に、本実施例の辞書データを用いて詳細な翻訳が記載されたホームページを表示する際のフローチャートを示す。
【００７４】
ステップS1301で、携帯電話が辞書データを取得する。その方法としては、インターネット上に存在する辞書データファイルを、通信部１０８を介してダウンロードしてもよいし、記憶媒体に記憶された辞書データを携帯電話に接続させることで取得してもよい。
【００７５】
このように辞書データを保持した状態で、文字認識を行ない（ステップS1302）、概要翻訳を表示する（ステップS1303）。
【００７６】
詳細翻訳を表示するように要求する信号をＣＰＵ１０２が受信すると（ステップS1304）、ＣＰＵ１０２は辞書データからサーバにアクセスするために必要なユーザＩＤとパスワードを取得する。取得する方法としては、辞書データの中のユーザＩＤとパスワードが記載されている場所を予め定めておき、ＣＰＵ１０２がその場所を読み取るという方法が考えられる。また、ユーザＩＤとパスワードが記載されている場所を辞書データのヘッダ部分に記載しておき、ＣＰＵ１０２がヘッダ部分を読み取ってユーザＩＤとパスワードの記載された場所を取得し、ユーザＩＤとパスワードを読み取る、という方法も考えられる
ステップS1306では、ＣＰＵ１０２が通信部１０８を介してサーバにアクセス信号を送信する。この際、ユーザＩＤとパスワードも一緒に送信する。アクセス信号、ユーザＩＤ、パスワードを受信したサーバでは、ユーザ認証を行ない、認証が成功すると詳細翻訳データを端末に送信する。
【００７７】
ステップS1307では、ＣＰＵ１０２が通信部１０８を介して詳細翻訳データを取得し、記憶部に記憶する。ステップS1308では、ＣＰＵ１０２が記憶部に記憶された詳細翻訳データを読み取り、表示部に表示させる。
【００７８】
このように、ユーザＩＤとパスワードが必要なホームページにアクセスする際にも、ユーザは入力操作をせずにユーザ認証が行われ、使い勝手がよい。
【００７９】
次に、第３の実施例について説明する。人間の記憶容量には限界があり、以前調べた英語の単語でも時間が経てばその意味等を忘れてしまうことも多いにあり得る。そうした場合に再度認識し直すのは手間がかかって面倒である。
【００８０】
本実施例は、こうした問題に対して検討されたものであり、認識された単語の翻訳等の履歴情報を残す点に特徴がある。以下、このような履歴情報を作成していく処理と、履歴情報を利用する処理に分けて説明する。
【００８１】
まず、履歴情報を作成する処理について説明する。図7は、検索された結果が履歴情報として記憶部１０４に記憶される場合の１例であり、例えば、図７のように、検索部１０９により検索された単語、検索したときの時刻などの履歴が記されてある。
【００８２】
列７０１は、辞書データの列２０１のうち文字認識された単語である。列７０２は、各単語が認識された回数を表している。列７０３は、今までに認識された時刻のうちで最新の時刻を表している。列７０４は、履歴情報を利用して英単語等の意味を確認した回数を示すものであり、列７０５は、最後に確認した時刻を表している。
【００８３】
図８は、本発明の第３の実施例に係る携帯電話が、文字認識をした後、例えば、図７のような履歴表を作成する際のフローチャートを表した図である。ステップS406、ステップS407はそれぞれ図４のステップS406、ステップS407を表しており、その間にステップS801〜ステップS804の処理がなされるフローになる。
【００８４】
ステップS406は、辞書データ１０６の概要翻訳、すなわち代表的な訳や簡単な訳を表示した状態である。ここで、検索部１０９が検索した結果の単語が記憶部１０４に記憶された履歴情報に存在するかどうかを判定し（ステップS801）、存在した場合はステップS802に進む。ステップS802では、ＣＰＵ１０２は、履歴情報の認識回数７０２を１つ増やす更新処理を行う。ステップS803では、ＣＰＵ１０２によりなされる処理がステップS803に到達した時点の時刻を時刻取得部９０２が取得し、その時刻を履歴情報の最終認識時刻７０３に記載する。
【００８５】
ステップS801で単語が履歴情報に存在しなかった場合は、ステップS804に進み、履歴情報に単語、最終認識時刻を追加記載する。最終認識時刻は、ステップS804に処理が到達した時点の時刻を記憶部１０４に記載する。以上の処理を経ることにより、履歴表に新たな認識結果の履歴情報を更新していく。なお、この場合、後述するように、履歴を利用して単語の意味等を再度確認するようなことを考えると、記憶部１０４に記憶された履歴表データと辞書データとを対応付けて記憶するのが望ましい。対応付けて記憶する方法としては、例えば、辞書データ内に履歴情報を追加できるスペースを設けて、そのスペースに履歴情報を次々書き込む方法などが考えられる。
【００８６】
次に、作成された履歴情報を利用する場合の処理を説明する。まず、記憶部１０４により記憶された履歴情報の参照指示がユーザの入力部１０１による操作を介してなされれば、履歴参照指示信号がＣＰＵ１０２に入力される。履歴参照指示信号が入力されたＣＰＵ１０２は、記憶部１０４に記憶された履歴表データや辞書データに基づいて英単語の意味を表示部１０７に表示するように処理する。
【００８７】
図９は、本実施形態の携帯電話が、履歴情報を用いて文字認識をせずに単語の翻訳を表示する画面の例を示している。
【００８８】
画面９０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面９０２に遷移する。画面９０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「▲５▼履歴表」を選択すると画面９０３に遷移する。画面９０３は、履歴情報のうち、単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。この状態で、“recognition”を選択すると画面９０４に遷移する。
【００８９】
画面９０４は、“recognition”の翻訳を表示した画面である。この状態で、「確認」に対応したボタンを押下すると、画面９０５に遷移する。
【００９０】
画面９０５は、画面９０３と同じく、履歴表９０１のうちの単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。画面９０３では“recognition”に対する確認回数が０であったのに対し、画面９０４で“recognition”の訳を確認したため、画面９０５では“recognition”に対する確認回数が１に増えている。
【００９１】
以上により、ユーザは、一度認識した単語の意味等を再度認識する操作を行うことなくいつでも、どこでも、更に何度でも確認できるために使い勝手が向上する。
【００９２】
また、図９のような表示画面を表示することにより、認識回数、確認回数をユーザは容易に通知することができる。さらに、ユーザが何度も調べた単語が一目瞭然となるために、この認識回数や確認回数が多い順に上から表示すれば、なかなか覚えられない単語が容易に理解できるため、意識して覚えることができ、更に使い勝手がよい。
【００９３】
なお、第1の実施例のように、更なる操作で訳や用例などの詳細な情報（例えば、詳細な情報が記載されたホームページのアドレス等）を参照できるように構成した場合には、簡単な訳と詳細な訳とを区別するように記憶部１０４に履歴情報として記憶し、ユーザが履歴情報を利用して英単語等の意味を確認する場合に、「簡単な訳」と「詳細な訳」とのいずれかを選択できるようにすれば、使い勝手は更に向上する。また、ここで履歴情報としては、図７に列挙されるような情報に限定されるものではなく、履歴に関する情報であれば何でもよい。
【００９４】
更にまた、撮像部１０３により表示部１０７に出力された画像情報のうち画像認識部１０５により識別情報を認識する際に、履歴情報があるか否かをユーザに通知するように構成してもよい。例えば、認識対象を決定するためにひとまず対象を決定する仮決定と仮決定された対象でいい場合に本決定を行うように構成した場合では、仮決定の段階で、記憶部１０４に記憶された履歴情報の有無を表示部１０７に表示するようにすれば、わざわざ再度認識することなく、履歴情報を参照して識別情報の意味等を確認することができるため、使い勝手がよい。また、カーソルを認識対象の上に移動させるだけで、例えば、「履歴あり」といった簡易な表示でユーザに通知しても構わない。認識対象の英単語等の識別情報が今までに認識された情報である場合にその履歴の有無を通知する形態としては、文字、アイコンあるいはマークなどを用いた表示だけでなく、音声出力部（図示せず）などを介して音で通知してもよいのは言うまでもない。
【００９５】
更にまた、ＧＰＳなどの携帯電話に位置情報取得部を備えて、当該位置取得部により取得された位置情報を履歴情報として記憶部１０４に記憶するように構成してもよい。これによれば、どこで単語を認識したかを容易に確認できる。
【００９６】
また、履歴情報として記憶された場所に再度訪れた場合に、その旨及びそのときに認識した単語やその意味をユーザに通知するようにしても構わない。
【００９７】
次に、第４の実施例について説明する。図１４は、第４の実施例に係る携帯電話の外観を表した図である。本実施例の携帯電話は、図１４に示されるように、表示部１０７を有する筐体２００と入力部１０１を有する筐体３００とがヒンジ部１４０３を介して折畳み可能であり、ヒンジ部に回転可能な撮像部を備えた携帯電話を考える。
【００９８】
本実施例の携帯電話は、携帯電話が図１４（１）のように開いた状態であるか図１４（２）のように閉じた状態であるかを検出する折畳検出部を備えている。折畳検出部は、例えば、筐体２００に磁石、筐体３００にホール素子を備え、磁石により磁界を加えられたホール素子の電圧値のHiレベル or Lowレベルに基づいて開閉状態の検出を行う。なお、折畳検出部は、開閉状態の検出ができれば、センサー又は凹凸係合等を利用したものであっても構わない。なお、表示部１０７は、主に開いた状態で利用される表示部（メイン表示部）であるが、本実施例の携帯電話は、メイン表示部以外に携帯電話が折り畳まれた（閉じた）状態においても視認可能なサブ表示部１４０７を備える。
【００９９】
撮像モードの選択を容易にするために、通常撮像ボタン１４０１と認識撮像ボタン１４０２とが、例えば、筐体の側面に備えている。
【０１００】
通常撮像ボタン１４０１が押下されると、撮像部１０４で撮像対象物を撮像し、撮像した画像を記憶部１０４に保存し、必要に応じて撮像画像を表示する。認識撮像ボタン１４０２を押下すると、撮像部１０４で撮像対象物を撮像し、画像認識部１０５が文字認識を行った後、ＣＰＵ１０２は、認識結果を表示部１０７もしくはサブ表示部１４０７に表示する処理を行う。
【０１０１】
以上のように、認識モードと通常撮像モードのそれぞれ専用ボタンを設けることで、ユーザは簡単に各モードを選択でき、使い勝手がよい。また、図１４（１）に示すように、筐体３００の側面に配置すれば、携帯電話が開いた状態でも折畳まれた状態でも操作が同様なものとなり、わざわざ開閉時で操作を変えることがないため使い勝手が向上する。更に、図１４のように、筐体の側面等の携帯電話が閉じた状態で視認できる位置に操作キーを配置すると、閉じた状態においても認識モードを実行可能になるため、わざわざ携帯電話を開くことなく文字認識等を行うことができ、使い勝手はよい。
【０１０２】
なお、通常撮像ボタン１４０１と認識撮像ボタン１４０２とは異なるボタンであることが好ましいが、同一のボタンでもよい。ただし、この場合、同一のボタンである場合は、撮像するためのボタン操作と認識するためのボタン操作を区別させる必要がある。この場合、例えば、ボタンを押下する時間に応じて、あるいは、ボタンを押下する回数に応じて（ダブルクリック等）撮像モードと認識モードとを切り換えたりして区別すればよい。また、このようにボタンを同一にすることで、スペースを取らず、携帯電話を小さくすることができる。通常撮像ボタン１４０１と認識撮像ボタン１４０２とは、携帯電話１００に付属するセンサのうち、ユーザが取り扱うことのできるものならばどれでもよい。
【０１０３】
また、上記では、通常撮像ボタン１４０１と認識撮像ボタン１４０２とを筐体側面に備える場合について説明したが、これに限定するものではなく、閉じた状態で操作可能な位置に配置されたボタンであれば、例えば、携帯電話の背面に配置されているような構成をとっても構わない。ここで、携帯電話の背面とは、図１４（２）の１４０７に示されているように、携帯電話が折り畳まれた（閉じた）状態で視認可能な表示部１０７に対向するような面であり、主としてバッテリにより構成される面とは異なる面である。
【０１０４】
次に、第５の実施例について説明する。本実施例の携帯電話の外観は、第４の実施例と同様に図１４のように折畳み可能な携帯電話を考える。以下、認識結果に対する概要翻訳等をメインの表示部１０７に表示しておき、携帯電話が開かれた場合には、該認識結果に対する詳細翻訳等をサブ表示部１４０７に表示する例について説明する。
【０１０５】
図１５のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１０６】
まず、ステップS1501は、携帯電話が入力部１０１からのキー入力を待ち受けている状態である。この状態で、携帯電話のカメラ機能を起動させるための信号をＣＰＵ１０２が検出する（ステップS1502）と、携帯電話が折畳み状態であるかどうかを折畳検出部によって検出する。
【０１０７】
携帯電話が折畳み状態であった場合には、折畳検出部によって携帯電話が折畳み状態であることを伝える信号がＣＰＵ１０２に入力され（ステップS1503）、これを受けてＣＰＵ１０２は静止画モニタ表示をサブ表示部１４０７に表示する（ステップS1504）。次に、ユーザなどによってシャッターボタンが押下されると、撮像を指示する信号がＣＰＵ１０２に入力され（ステップS1505）、撮像部１０３により撮像（変換）された被写体の画像情報がＣＰＵ１０２を介して記憶部１０４に保存される（ステップS1506）。
【０１０８】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS1507）。この結果を、検索部１０９が読み取り、記憶部１０４に記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する。再び、携帯電話が折畳み状態であるかどうかを折畳検出部が検出し、ＣＰＵ１０２に開閉状態の情報を信号として入力する。該開閉状態情報をＣＰＵ１０２が参照し（ステップS1508）、ステップS1509において、携帯電話が閉じた状態であると判断された場合は、ステップS1510に進む。ステップS1510では当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が辞書データから読み取り、サブ表示部１４０７に表示する。
【０１０９】
また、ステップS1509において、携帯電話が開いた状態であると判断された場合は、当該検索された単語に対応するURLをＣＰＵ１０２が辞書データから読み取り（ステップS1511）、ＣＰＵ１０２は通信部１０８に対して該URLに接続するように指示信号を出す。ステップS1512で、ＣＰＵ１０２が通信部１０８を介して上記URLのホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【０１１０】
図１６は、本実施例の表示画面例であり、ユーザによって携帯電話が閉じた状態から開いた状態になった場合に、辞書データ１０６の保持する詳細な翻訳が記載されたURLのホームページの内容（記載情報）を表示部１０７に表示する画面の例を示している。なお、画面１６０１〜１６０３では、画面左下に表示された「メニュー」などといった表示はボタン１４０８ａ、画面右下に表示された「認識」などといった表示はボタン１４０８ｂに関連付けされ、ユーザが携帯電話に入力をする際にはそれぞれ関連付けされたボタンを押下することにより、画面が遷移する。これらのボタンを、例えば、画面左下に「メニュー」と表示されていた場合は、ボタン１４０８ａのことを「メニュー」ボタンと呼ぶことにする。
【０１１１】
画面１６０１は、携帯電話が折畳まれた状態において、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている場合の、サブ表示部１４０７に表示された画面例である。この状態で、「認識」ボタンを押下すると、画面１６０２に遷移する。
【０１１２】
画面１６０２は、認識対象として「Recognition」が選択されたことを示している。この画面では、画面中の「Recognition」以外の画像部分が黒く塗りつぶされて表示されており、「Recognition」が強調される。また、文字以外の部分を黒く塗りつぶすことで、盗撮も防止できる。この状態で「決定」ボタンを押下すると、画面１６０３に遷移する。
【０１１３】
画面１６０３は、認識対象となった「Recognition」の概要翻訳がサブ表示部１４０７に表示されている画面を表している。この状態で携帯電話を開くと、表示部１０７に画面１６０４が表示される。
【０１１４】
画面１６０４は、携帯電話を開いた状態で表示部１０７に詳細な翻訳を表示した画面例である。
【０１１５】
このように、携帯電話を折畳んだ状態でも文字認識ができるため、いちいち携帯電話を開く手間も省け、手軽に文字認識ができる。さらに、ユーザが詳細な翻訳を知りたい場合は、概要翻訳が表示されている状態で携帯電話を開くだけで、詳細な翻訳を表示部１０７に表示できるため、非常に使い勝手がよい。
【０１１６】
次に、第６の実施例について説明する。本実施例の携帯電話は、撮像部１０３が撮像した画像や、該画像に含まれる文字などの識別情報を画像認識部１０５が認識した結果や、該認識結果に対する概要翻訳等を表示部１０７に表示した場合、認識結果の各文字を異なる文字に変換する認識結果編集手段を備えたものとする。
図１７は、本実施例の携帯電話が、例えば、紙面上に書かれた“Recognition”という文字列を撮像し、画像認識部１０５が認識した結果が“Reconifiom”であった場合に、該認識結果を編集する画面例を表したものである。
【０１１７】
画面１７０１は、撮像部１０３が被写体である対象物を撮像し、該画像に含まれる文字列“Recognition”を画像認識部１０５が誤って、例えば“Reconifiom”と認識してしまい、“Reconifiom”に一番近い単語を検索部１０９が辞書データ１０６から検索し、検索した結果が“reconfirm”であった場合に、認識結果である“Reconifiom”、検索結果である“reconfirm”と、その概要翻訳“[動詞] 再確認する”を表示部１０７に表示した画面例である。ここで、「メニュー」ボタンを押下すると、画面１７０２に遷移する。
【０１１８】
画面１７０２は、撮像機能や認識機能に関するメニューを表示した画面である。ここで、「▲１▼結果編集」を選択して「決定」ボタンを押下すると、認識結果を編集できる画面に遷移する。
【０１１９】
画面１７０３は、認識結果を編集できる画面において、“Reconifiom”の“Reco”と“nifiom”の間に“g”を追記した画面を表している。認識結果を編集できる画面では、認識結果の文字が表示される領域１７０５内に、カーソル１７０６が表示される。このカーソル１７０６を使って編集する位置を選択し、入力部１０１のうち文字を入力に関するボタンを数回押下することで、文字を入力・削除することができる。このようにして編集した認識結果の文字は、ＣＰＵ１０２によって記憶部１０４に記憶される。この状態で、「検索」ボタンを押下すると、入力部１０１によりＣＰＵ１０２に検索するように指示する入力信号が入力される。これを受けてＣＰＵ１０２は、記憶部１０４を参照して編集された認識結果文字を読み取り、検索部１０９に渡す。検索部１０９はこれを受けて、辞書データ１０６の中から一致する単語を検索し、検索結果表示領域に表示する。
【０１２０】
その画面例が画面１７０４である。画面１７０４は、認識結果を編集できる画面において、認識結果の文字を“Recognitiom”に編集した後、「検索」ボタンを押下した場合に表示される画面例である。検索結果として“Recognition”が表示されている。
【０１２１】
このようにして、認識結果が誤認識であり、ユーザが認識させたかった英単語とは異なる文字が検索結果として表示されてしまった場合、もう一度撮像し直して認識させる必要がなく、使い勝手がよい。
【０１２２】
なお、上記では、「検索」ボタンが押下されたことで、認識結果と一番近い単語を辞書データ１０６から検索部１０９が検索するようにしたが、認識結果を編集できる画面において、認識結果の文字を編集したら、認識結果編集手段がＣＰＵ１０２に検索をするように指示する入力信号を入力し、検索部１０９によって検索をするようにしてもよい。この場合、ユーザは検索結果を表示させたいときにいちいち「検索」ボタンを押さなくて済み、使い勝手がよい。
【０１２３】
次に、第７の実施例について説明する。本実施例は、携帯電話等に予め備わっているメール機能等を利用して画像認識部１０５により認識された結果、つまり、簡易情報あるいは詳細情報を送信する場合を想定する。
【０１２４】
この場合、例えば、入力部１０１により所定の操作がなされ、その入力信号を受信したＣＰＵ１０２は、認識モードに移行するように処理する。ユーザが認識モードにおいて、認識対象である文字等を認識した後にメール機能を起動するための操作を入力部１０１を介して行えば（例えば、メール起動キーを押下）、その入力信号を受信したＣＰＵ１０２は、表示部１０７に記憶部１０４に予め記憶されているメールソフトを起動し、メール送信できるようにメール作成画面を表示する。その際、ＣＰＵ１０２は、認識され、例えば、「abalone」といった英単語の代表的な訳「あわび」を表示する場合、「abalone→あわび」といったようにメール作成の本文欄に自動的に挿入するように処理する。また、第１の実施例のように、簡易な情報のみならず、詳細な情報、例えば、用例や類似後のような詳細な情報が記載されたＵＲＬ情報などを取得できる場合には、その詳細な情報を自動的に本文欄に挿入するように処理する。
【０１２５】
また、記憶部１０４に記憶されたアドレス情報（名前、電話番号あるいはメールアドレスの情報）からユーザが選択して送信相手の宛先欄に挿入できるように構成しても構わない。
【０１２６】
以上により、画像認識部１０５による認識結果を簡単な操作で送信したい相手に伝えることができ、使い勝手が向上する。さらに、件名の欄も「ＯＣＲ結果」等の件名を自動的に挿入記載するようにすれば、更に入力の手間が省け、使い勝手がよい。
【０１２７】
また、認識結果を利用してメールを作成する際に、メールアドレスを認識した場合は自動的に当該メールアドレスを宛先として宛先欄に設定する方法も考えられる。しかし、この方法では、例えば、メールアドレスを認識してそのメールアドレスをメールの本文欄に記載したい場合においても、メールの宛先として設定されてしまうため、認識結果を利用することはできない。
【０１２８】
こういった問題を解決するために、例えば、メール作成の場合は、メールの宛先、件名、本文欄等といった項目うち、どの項目に認識結果を挿入するかを選択できるようにする。この機能を、図１８を使って説明する。
【０１２９】
画面（１）は、認識対象である“yamazaki@xxx.jp”を認識した際に、認識画像と認識結果を表示した画面である。この状態で「メニュー」ボタンを押下すると、画面（２）に遷移する。画面（２）は、認識結果である“yamazaki@xxx.jp”を使ってどの機能に利用するかを選択する画面である。メールを作成する場合は、「▲２▼メール作成」を選択すると、画面（３）に遷移する。画面（３）は、認識結果をメール作成の項目のうちどの項目に挿入するかを選択する画面である。この画面で、「▲３▼本文」を選択すると、メールの本文に“yamazaki@xxx.jp”が代入されたメールの作成画面へと遷移する（画面（４））。
【０１３０】
このように、認識結果をメールのどの項目に挿入するかをユーザが選択できるようにすれば、認識結果を表示してから数回の入力操作を行うだけで、メールの本文中に認識結果を挿入したメールの作成画面へと移行することができ、使い勝手が向上する。
【０１３１】
さらに、画面（２）のメニューを表示する際に、認識結果である文字列の種類によってカーソルの位置を決定することもできる。その方法は、例えば、認識結果に“＠”が含まれていればメールアドレス、“http”が含まれていればURLであるとＣＰＵ１０２によって判定させ、メールアドレスであると判定された場合は、画面（２）を表示する際にカーソルの位置を「▲２▼メール作成」、URLであると判定された場合はカーソルの位置を「▲１▼インターネット」等に合わせて表示部１０７に表示させればよい。このようにすれば、画面（２）においてメニューを選択する操作が省けるので、使い勝手がさらに向上する。
【０１３２】
また、認識結果がメールアドレスであった場合に、当該メールアドレスをアドレス帳に登録したいときは、画面（２）で「▲４▼アドレス帳登録」を選択すればよい。この場合も同様に、認識結果のメールアドレスをアドレス帳のどの項目に挿入するかを選択できるようにすれば、上述と同じ効果が得られる。
【０１３３】
なお、上記では、メールソフトの作成画面の欄として、「宛先」「件名」「本文」欄を考えたが、これに限定されるものではない。そのほかに欄を設けたとしても自動的に関係した情報を挿入するようにすれば、入力手間が省け、使い勝手がよい。
【０１３４】
また、上記では、自動的にメール作成画面欄に認識結果（例：ＵＲＬ情報）が挿入されるような構成をとったが、それだけでなく、ユーザ自らが入力部１０１を介してコメント等を入力できるようにしても構わない。これにより、ＯＣＲ機能を行い、その結果を通話相手先に送信する際に、ユーザが単に結果のみを送信するだけでなく、その結果に対するコメント等を添えることができる。なお、その際に、予め記憶部１０４に記憶された定型文や絵文字等を利用すれば更に使い勝手はよくなる。
【０１３５】
なお、上記実施例においては、英語等の単語に関して、意味や用例等を詳細に知りたいといった利用シーンを想定したが、これに限定されるものではなく、例えば、スポーツ、映画、歴史、レストラン、科学、恐竜、動植物、芸能人等といった様々なジャンルの単語に関する情報を参照できるようにしても構わない。これにより、参照可能なカテゴリが増えて、ユーザの使い勝手は向上する。このように、参照可能である情報が多いと、例えば、ユーザが雑誌や新聞等の記事を見ているときや、街を何気なく歩いている場合に、興味のある単語が目にとまり、その詳細な情報を参照したいと思った状況などにおいても、速やかにその単語の意味等を参照できるため非常に使い勝手がよい。
【０１３６】
また、例えば、「ガメラン」といった恐竜の詳細情報を参照したいのに、植物の「ガメラン」の詳細情報を取得したところでユーザの満足度は低い。そこで、詳細情報の要求を行う際に、例えば、表示部１０７に「どのジャンルの詳細情報が欲しいですか？」などの通知がされ、ユーザが表示画面等を介して種々のジャンルを選択できるようにすれば、更に使い勝手はよい。
【０１３７】
次に、第８の実施例について説明する。本実施例は、認識した英単語の的確な意味を通知するために、単語の共起関係を利用するものである。共起とは、複数の単語が同一の文書に出現することである。
【０１３８】
そもそも単語は、同一の単語でも複数の異なる意味を持っている場合が多く、予め用意された辞書の日本語訳をそのまま表示させた場合、認識させた英単語がどの意味で使われているのかを、ユーザが文脈を読み取る等して考えなければならない。その際、もし間違った意味で捉えてしまうと、その英単語を含んだ文章自体も間違った意味で捉えてしまう、という問題がある。本実施例は、この点に留意してなされた実施例である。
【０１３９】
図１９は、本発明の第８の実施例に係る構成例を示す図である。本実施例は、携帯電話１００、サーバ１９００で構成される。
【０１４０】
サーバ１９００は、SV-ＣＰＵ１９０２、共起関係データベース１９０３、SV記憶部１９０４、SV画像認識部１９０５、SV辞書データ１９０６、SV通信部１９０８、SV検索部１９０９、ユーザ登録データベース１９１０などを含んだものとして構成される。
【０１４１】
SV通信部１９０８は、サーバ１９００がインターネットや他の情報処理装置などとアクセスするための通信処理を行う。
【０１４２】
SV-ＣＰＵ１９０２は、SV記憶部１９０４に記憶されたプログラムに基づいて動作し、例えば、SV通信部１９０８からの信号に応じて各部を制御するものである。
【０１４３】
共起関係データベースは、共起関係に関するデータであり、例えば、図２０に示すように、単語、その単語の訳、共起する単語（以下、共起単語と呼ぶ）及び共起されている単語に対応した訳になる割合等を含んだものとして構成される。なお、図２０は、単語が「character」であり、その「character」の訳として「文字」、「登場人物」を想定した例である。
【０１４４】
共起関係データベース１９０３は複数の単語に対するデータを保持し、それぞれの単語についてその訳とその訳として使われる確率値などを保持するものとする。
【０１４５】
認識した単語と当該単語と共起する単語があった場合に、共起関係データベース１９０３を使って、当該単語に対する値a、値bを比べることで、認識した単語に対する最も適切な訳を得ることができる。例えば、「character」の日本語訳には「文字」や「登場人物」などがあるが、「recognition」という単語が共起した場合、「character」の日本語訳として「文字」が適切である割合が0.95、また、「登場人物」が適切である割合が0.05とする。この場合、「character」の日本語訳としてはその適切な割合を表す値が大きい「文字」を選択すればよい。
【０１４６】
SV記憶部１９０４は、通信部から受信するデータなど、サーバ１９００で扱うデータを記憶しておく。SV画像認識部１９０５は、画像情報に含まれる文字や記号等の識別情報を認識する。
【０１４７】
記憶部１０４に記憶されたSV辞書データ１９０６には、例えば、外国語の単語等といった識別情報、当該識別情報の日本語訳及び当該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL、当該識別情報に関する画像や音声等が含まれる。
【０１４８】
SV検索部１９０９は、単語および当該単語と共起する単語を用い、共起関係データベース１９０３を参照して、単語２００１の適切な日本語訳を選択する。
【０１４９】
ユーザ登録データベース１９１０は、サーバ１９００に接続できるユーザであることを証明するためのユーザIDやパスワードを記録しているデータベースである。
【０１５０】
次に、図２１のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１５１】
図１５のステップS1501〜ステップS1507と同様の処理を行うことにより、モニタ表示をしている状態（ステップS2101）から、画像を撮像して文字認識した結果を記憶部１０４に保存した状態になる（ステップS1502〜ステップS1504）。ステップS2105では、記憶された認識結果から認識位置データ及び認識単語データを抽出する。ここで、認識位置データとは、撮像部１０３により撮像された画像に含まれる認識対象となる単語の画像上の位置に関するデータのことであり、また、認識単語データとは、ステップS2105において検索部１０９により検索された結果見つけられた単語のことである。
【０１５２】
次に、サーバ１９００と接続するように指示を出すアクセス信号が入力部１０１などを介してＣＰＵ１０２に入力されると、ＣＰＵ１０２は、通信部１０８を介して所定のサーバにアクセス信号を送信する（ステップＳ2107）。
【０１５３】
次に、アクセス信号を受信したサーバ１９００よりユーザＩＤ及びユーザＩＤに対応したパスワードの入力要求信号が送信される。その要求信号を携帯電話１００が受信すれば（ステップＳ2108）、ＣＰＵ１０２は、表示部１０７にユーザＩＤ及びパスワードの入力用画面を表示する。入力画面等を介してユーザＩＤ及びパスワードが入力されれば、それをサーバ１９００に送信する（ステップＳ2109）。ここで、ユーザＩＤ及びパスワードをユーザが入力する認証する形態を考えたが、ユーザの認証が行うことができればこれに限定されるものではない。例えば、声紋、指紋、虹彩などを用いて認証を行ってもよい。
【０１５４】
ＣＰＵ１０２は、サーバから受信した信号が認証成功データか認証失敗データのいずれであるかを判定し（ステップＳ2110）、当該信号が認証失敗データの場合は、入力用画面を再度表示部１０７に表示し、当該信号が認証成功データの場合は、撮像部１０３により撮像された画像、認識位置データ及び認識単語データなどをサーバ１９００に送信する（ステップS2111）。
【０１５５】
その後、サーバ１９００から認識単語データに対する訳を示す最適翻訳データを受信すると、ＣＰＵ１０２は（ステップS2112）、最適翻訳データを表示部１０７に表示する（ステップS2113）。
【０１５６】
次に、図２２のフローチャートを用いて、本実施例におけるサーバ１９００の処理手順を説明する。
【０１５７】
サーバ１９００が携帯電話１００などの端末からのアクセス信号を受信する（ステップS2201）と、続いて携帯電話１００にユーザＩＤとパスワードの入力を要求する（ステップＳ2201）、携帯電話１００からユーザＩＤとパスワードを受信すると（ステップS2202）、SV-ＣＰＵ１９０２がユーザ登録データ１９１０を参照する。ユーザ登録データ１９１０に登録されているユーザＩＤとパスワードに一致するものが見つかれば、SV-ＣＰＵ１９０２は、SV通信部１９０８を介してユーザ認証が確認できたことを携帯電話１００に通知し（ステップS2204）、携帯電話１００から画像、認識位置データ及び認識単語データを受信する（ステップS2205）。
【０１５８】
次に、SV画像認識部１９０５は、受信した画像に含まれる文字を認識する。図２３は、受信した画像の例を示している。SV画像認識部１９０５は認識処理を行う際に、まず、画像に含まれる全部の単語を抽出し、その認識位置データを求める。このうち、抽出領域の一辺が画像の端にかかる単語は認識対象外の単語としてみなされる。
【０１５９】
図２３の画像例では、単語２３０１のように網掛けの四角で囲んだ単語は認識対象外の単語としてみなされる。それ以外の単語、図２３の画像例では、単語２３０３「The」のように抽出領域が画像の端にかからない単語を認識し、認識結果と一致する、もしくは、一番類似する単語をSV辞書データ１９０６からSV検索部１９０９が検索する（ステップS2206）。
【０１６０】
ここで、ユーザが認識したい単語を「認識対象単語」、実際に携帯電話が認識した対象の単語を「認識単語」と定義する。通常は、認識対象単語と認識単語は一致するが、認識精度が低いなどの理由で両者が異なる場合がある。例えば、「abalone」の翻訳をユーザが欲する場合に「abalone」ではなく誤って認識してしまい、認識対象単語は「abalone」、認識単語は「abalome」となる場合がある。その場合は、誤って認識された「abalome」が辞書データにあるかどうかが検索され、もし無ければ辞書データが有する単語の中で一番類似した単語（例えば、abalone）を認識単語とみなすような処理が行われる。
【０１６１】
次に、携帯電話から受信した認識位置データおよび認識単語データに基づいて確定される単語（以後、翻訳対象単語）以外の認識対象単語（以後、共起単語）の数ｎを計測する（ステップS2207）。ステップS2208において、共起単語数ｎが１つ以上ある場合は、共起関係データベース１９０３に翻訳対象単語があるかどうかを判定し（ステップS2209）、あった場合は、共起関係データベース１９０３の列２００４に共起単語と一致する単語があるかどうかを判定する（ステップS2210）。
【０１６２】
共起単語と一致した単語が共起関係データベースにあった場合は、翻訳対象単語の訳のうちで最も適切な訳を決定する（ステップＳ2211）。
【０１６３】
決定方法としては、共起関係データベース１９０３の共起単語に対するそれぞれの訳に基づいて確率を計算する。例えば、翻訳対象単語が「character」、共起単語が「string」と「recognition」であった場合を考える。共起単語に「string」が存在した場合の訳が「文字」となる割合は0.90、また共起単語に「recognition」が存在した場合の訳が「文字」となる割合は0.95、これらの値を足し合わせると1.85となる。また、同様の計算を訳「登場人物」に対して行なうと、合計の値は0.08となる。これらの値が最大となる訳を、最も適切な訳として扱うことができる。なお、上記では、割合値を足し合わせて最適な訳を決定したが、これに限定するものではなく、乗算、割算又は除算等を組合せたりして決定してもよい。最後に、最適翻訳データを端末に送信するステップ（S2212）。
【０１６４】
また、ステップS2208において共起単語数ｎが０であった場合、ステップS2213に進み、代表となる訳をSV辞書データ１９０６から検索する。ステップS2214で、その訳を端末に送信する。
【０１６５】
また、ステップS2209において共起関係データベース１９０３に翻訳対象単語がなかった場合と、ステップS2210において共起関係データベース１９０３に共起単語と一致する単語がなかった場合は、同様にステップS2213に進み、代表訳を端末に送信する。
【０１６６】
なお、上記フローではステップS2211で最適翻訳データを決定したが、複数の訳の候補を決定してもよい。共起単語に対応した割合の合計値を、大きい順に、例えば、６個求める。このデータを翻訳表示順序データと呼ぶ。図２５（１）は、「character」の訳を並び替える前の状態であり、（２）は訳の意味として適切な順に並び替えた後の状態である。
【０１６７】
この翻訳表示順序データに基づいて訳を端末に送信する。翻訳表示順序データを受信した携帯電話のＣＰＵ１０２は、当該翻訳表示順序データに基いて翻訳を並び替えて表示部１０７に表示するように制御する。
【０１６８】
これにより、ユーザは、認識対象単語の意味を知ることができるうえ、その認識対象単語が文脈上どのような意味を持つ可能性が高いかを容易に知ることができ、使い勝手がよい
また、サーバにより選択された最適な訳が間違っている場合も想定されるが、そうした場合でも、図２５のように最適な訳だけでなく、その他の訳の候補を並べて列挙することにより、ユーザ自身が文脈上から判断する際の大きな手助けとなり得る。
【０１６９】
次に、携帯電話とサーバとのやり取りに係る処理例を図２４を用いて説明する。ここでは、携帯電話である単語を文字認識してその最適な訳をサーバから受信する場合を想定する。
【０１７０】
まず、ある単語（以下、認識対象単語）を撮像部１０３及び画像認識部１０５により認識すると（ステップS2401）、ＣＰＵ１０２は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データを抽出する（ステップS2402）。次に、ユーザが当該認識対象単語の詳細な訳を参照する指示を入力部１０１等を介して行うと、ＣＰＵ１０２は、サーバと接続するためのアクセス信号を送信する（ステップS2403）。
【０１７１】
アクセス信号を受信したサーバは、携帯電話にユーザＩＤとパスワードを要求するためにＩＤ・パスワード要求信号を送信し（ステップＳ2404、ステップＳ2405）、ＩＤ・パスワード要求信号を受信した携帯電話のＣＰＵ１０２は、ユーザによりＩＤ及びパスワードを入力画面等を介して入力された後にサーバにＩＤ及びパスワードを送信する（ステップＳ2406）。
【０１７２】
次に、サーバは受信したユーザＩＤ及びパスワードに基づいて正規の登録者か否かの認証を行う。認証を行った結果、正規の登録者と認められた場合（有効）には、サーバ１９００は認証成功データを送信し、正規の登録者と認められない場合（無効）には認証失敗データを送信する（ステップＳ2407〜ステップＳ2409）。ここでは、認証が有効であった場合を考える。
【０１７３】
認証成功データを受信した携帯電話は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データをサーバに送信する（ステップＳ2410、ステップＳ2411）。
【０１７４】
画像データ、認識単語データ及び認識位置データを受信したサーバは、前述したように、認識単語データから画像データ内に含まれる認識対象単語を特定し（ステップＳ2413）、画像データ内に含まれる認識単語データ以外の単語で、かつ、画像データの上下左右の端などで単語の途中で途切れて画像データの枠からはみ出した単語（共起単語）を抽出し、認識処理を行う（ステップＳ2412〜ステップＳ2414）。その後、サーバが所有する共起関係データベースを参照して、認識対象単語の最適な訳を示す最適翻訳データを携帯電話に送信する（ステップＳ2415、ステップＳ2416）。
【０１７５】
最適翻訳データを受信した携帯電話は、最適翻訳データを表示部１０７に表示する（ステップＳ2417、ステップＳ2418）。
【０１７６】
以上により、ユーザは、ある単語の翻訳をその文脈に沿った最適な訳を参照することができ、使い勝手がよい。また、処理能力及び記憶容量が通常携帯電話より優れているサーバに共起関係データベースの蓄積及び共起データベースから最適な翻訳を決定する処理等を負担させることにより、携帯電話の処理負担及び記憶容量の軽減に貢献するとともに、処理能力や記憶容量の面でバランスのとれたシステムを実現できる。
【０１７７】
更に、サーバの立場から見ると、上述したような情報処理を行うサーバを利用して、「最適翻訳サービス」等のサービスを想定すれば、例えば、毎月定額の収入を得られて経済的な面でも効果的である。
【０１７８】
また、ユーザには無料又は低額で提供する代わりに広告会社と契約してその広告会社から広告代としての収入を得るようにしても構わない。この場合、サーバは、その広告に関するデータを最適翻訳データに付加して携帯電話に送信し、その広告データ及び最適翻訳データを受信した携帯電話は、最適翻訳データとともに広告データも表示するようにすればよい。その際に、広告データを最適翻訳データと重ならないように両者を表示するための位置データもサーバが送信し、その位置データを受信した携帯電話がその位置データに基いて表示するようにすれば、ユーザは、最適な翻訳と広告が混在せずに見ることができる。
【０１７９】
なお、上述してきた種々の機能をソフトウェアで実現してもよく、ユーザは、例えば、記録媒体やサーバから当該ソフトウェアを受信して当該種々の機能を実現できる。これにより、必要な機能だけを搭載したり、また、好みに応じて色々な機能を追加もしくは削除、あるいは更新することが容易となる。
【０１８０】
なお、携帯電話及びサーバが有する画像認識部および検索部はＣＰＵで構成してもよい。更に、上述してきた実施例を組み合わせて構成することができることは言うまでもない。
【０１８１】
また、本発明は、上記に示された実施例に限定されるものではなく、ここに開示された原理及び新しい特性は広範囲の技術的範囲を含むものである。
【０１８２】
【発明の効果】
本発明によれば、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することができる。
【図面の簡単な説明】
【図１】第１の実施例に係る携帯電話の構成ブロック図である。
【図２】辞書データの内容例を示した図である。
【図３】辞書データの内容例を示した図である。
【図４】第１の実施例における処理手順を示すフローチャートである。
【図５】第１の実施例における表示画面例である。
【図６】第２の実施例における表示画面例である。
【図７】第３の実施例に係る履歴表の例である。
【図８】第３の実施例における処理手順を示すフローチャートである。
【図９】第３の実施例における表示画面例である。
【図１０】文字パターンデータをダウンロードする実施例の処理フロー図である。
【図１１】文字パターンデータをダウンロードする実施例の表画面例である。
【図１２】辞書データにＩＤ・パスワードが関連付けされている実施例のイメージ図である。
【図１３】辞書データにＩＤ・パスワードが関連付けされている実施例の処理フロー図である。
【図１４】第４又は第５の実施例における携帯電話の概観図である。
【図１５】第５の実施例における処理手順を示すフローチャートである。
【図１６】第５の実施例における携帯電話の表示画面例である。
【図１７】第６の実施例における携帯電話の表示画面例である。
【図１８】第７の実施例における携帯電話の表示画面例である。
【図１９】第８の実施例における全体システム図である。
【図２０】共起関係データベース例である。
【図２１】第８の実施例の携帯電話の処理手順を示すフローチャートである。
【図２２】第８の実施例のサーバの処理手順を示すフローチャートである。
【図２３】第８の実施例において撮像画像、認識対象単語、共起単語との位置関係を説明する図である。
【図２４】第８の実施例における携帯電話とサーバの処理シーケンス図である
【図２５】第８の実施例における携帯電話の表示画面例である。
【符号の説明】
１００ 携帯電話
１０１ 入力部
１０２ ＣＰＵ
１０３ 撮像部
１０４ 記憶部
１０５ 画像認識部
１０６ 辞書データ
１０７ 表示部
１０８ 通信部
１０９ 検索部
１１０ 辞書フラグ
２００ メイン表示部を有する筐体
３００ 入力部を有する筐体
２０１ 外国語
２０２ 概要翻訳
２０３ 詳細翻訳URL
２０４ URL共通部分
２０５ URL作成方法
７０１ 単語
７０２ 認識回数
７０３ 最終認識時刻
７０４ 確認回数
７０５ 最終確認時刻
１４０１ 通常撮像ボタン
１４０２ 認識撮像ボタン
１４０３ ヒンジ部
１４０７ サブ表示部
１４０８a 入力部
１４０８b 入力部
１９００ サーバ
１９０２ SV-ＣＰＵ
１９０３ 共起関係データベース
１９０４ SV記憶部
１９０５ SV画像認識部
１９０６ SV辞書データ
１９０８ SV通信部
１９０９ SV検索部
１９１０ ユーザ登録データベース
２３０１ 認識対象外の単語
２３０３ 認識対象単語
【発明の属する技術分野】
本発明は、例えば、携帯電話、PHS（Personal Handy-phone System）、PDA（Personal Digital Assistant）やPC（Personal Computer）等の情報処理装置に関するものである。
【０００２】
【従来の技術】
特開２００２−２５２６９１号公報には、OCR（Optical Character Recognition）機能により、撮像した画像情報に含まれる文字を文字情報に変換し、印刷物に掲載された住所や名前、電話番号、URL（Uniform Resource Locator）などを入力できる携帯電話が提案されている。また、特開平５−２７４３４６号公報には、紙面上に印刷された文字列のイメージを読み取り、OCR機能を利用してそのイメージから文字列を認識して文字情報に変換し、翻訳辞書を参照してその文字列に対応する翻訳を表示部に表示する電子辞書が提案されている。
【０００３】
【特許文献１】
特開２００２−２５２６９１
【特許文献２】
特開平５−２７４３４６
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特許文献１では、印刷物に掲載された住所等の情報を入力できるＯＣＲ機能を搭載した携帯電話が開示されているものの、その入力された情報をどのように使うかといった使い勝手の面での検討が不十分であった。また、上記特許文献２では、例えば、ＯＣＲ機能により入力された単語の翻訳を表示する際、簡単な翻訳しか表示されず、より詳しい翻訳やその単語の使い方などを知りたい場合は、別途英和辞書を引き直さなければならず、使い勝手が悪いといった問題があった。
【０００５】
そこで、本発明は、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明にかかる携帯電話は、第１の筐体と第２の筐体とを閉じることが可能なように連結した携帯電話であって、文字あるいは記号により構成された識別情報に関連する詳細情報を複数記憶したサーバと通信可能な通信部と、文字あるいは記号により構成された識別情報と前記識別情報に関連する概要情報とを対応させて複数記憶するとともに、前記サーバから詳細情報を取得するために識別情報ごとに設定された複数の接続情報の共通部分である共通接続情報を記憶する記憶部と、画像情報を出力する撮像部と、前記撮像部により出力された画像情報あるいは前記記憶部に記憶された情報を表示する表示部と、前記携帯電話が閉じた状態で前記携帯電話のユーザが操作可能な位置に配置された操作部と、前記携帯電話が閉じた状態で前記操作部を介して前記表示部に表示された画像情報に含まれる識別情報の認識を行うように指示が入力された場合、前記表示部に表示された画像情報に含まれる識別情報に関連する概要情報を前記記憶部から読み出し、読み出された概要情報を前記表示部に表示するように制御する制御部と、を備える。前記制御部は、前記概要情報が前記表示部に表示された後に前記携帯電話が閉じた状態から開いた状態になったとき、前記記憶部に記憶された前記共通接続情報と前記識別情報とを用いて、前記識別情報の詳細情報を取得するための接続情報を作成し、前記通信部により前記サーバから前記識別情報の詳細情報を取得するように制御する。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。なお、以下の図面において、同一の構成部については同符号を用いる。
【０００８】
図１は、本実施例（第1の実施例）に係る携帯電話の構成ブロック図である。本実施例においては、携帯電話に搭載された画像認識機能（ＯＣＲ機能）を利用して、紙面等に掲載された英単語の日本語訳を出力する場合を想定する。
【０００９】
携帯電話１００は、入力部１０１、ＣＰＵ１０２、撮像部１０３、記憶部１０４、画像認識部１０５、辞書データ１０６、表示部１０７、通信部１０８、検索部１０９などを含んだものとして構成される。
【００１０】
入力部１０１は、電話番号その他の情報を入力する入力部であり、携帯電話の電源をＯＮ/ＯＦＦするとき、被写体を撮像するときなど、ユーザが携帯電話に入力を与える際に使用するものである。ＣＰＵ１０２は、記憶部１０４に記憶されたプログラムに基づいて動作し、例えば、入力部１０１からの入力に応じて各部を制御するものである。
【００１１】
撮像部１０３は、例えば、カメラなどで構成されたものであり、被写体である人の顔や、景色、文字などを撮像し、ＣＰＵ１０２で扱える画像情報に変換し、変換された画像情報は必要に応じて表示部１０７等に出力する。ユーザは、表示部１０７に出力された画像情報をモニタしながら撮像したい画像を選んでシャッター等により撮像の指示を行う。シャッターが押下されれば、撮像された画像情報は記憶部１０４に記憶される。また、記憶部１０４は、携帯電話１００で扱うデータやソフトウェアなども記憶する。
【００１２】
画像認識部１０５は、画像情報に含まれる文字や記号等の識別情報を認識する。ここで、識別情報とは、文字、記号等で表された情報であり、例えば、ホームページのアドレス、メールアドレス、住所、電話番号、地図情報あるいは英語の単語等のように文字や記号等で表現されたものであり、事物を識別できる情報であれば上記例以外のものでも構わない。
【００１３】
また、ここで、認識とは、撮像部１０３により撮像された画像情報に含まれる識別情報を抽出し、その識別情報を所定の領域ごとに分割し、分割された領域を所定のパラメータ値に変換し、そのパラメータ値に基づいて分割された領域がどのような情報であるかを決定することをいう。
【００１４】
より具体的にいえば、例えば、画像情報内の「abc」という文字を「認識」する場合を考えると、まず、「abc」が画像情報内のどの位置の情報であるかを特定し、次に、「a」「b」「c」に分割し、「a」を所定のパラメータ値（例えば、その文字を縦、横、斜めからの見た線分の構成を、文字の白色部分を「０」、黒色部分を「１」としてパラメータ化された値）に変換する。そして、変換されたパラメータ値に最も類似したパラメータ値と対応付けされた文字を文字パターンデータ表より選び出す。文字パターンデータ表とは、パラメータ値とそのパラメータ値に対応したアルファベット等の文字とが記述されている表であり、予め記憶されているものである。なお、画像認識部１０５はOCR機能を備えており、OCR機能を実現する具体的な構成は、例えば、特許文献１に記されている。
【００１５】
記憶部１０４に記憶された辞書データ１０６には、例えば、外国語の単語等といった識別情報、該識別情報の日本語訳及び該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL等が含まれる。なお、翻訳言語としては、日本語訳に限定されるものではなく、英語やフランス語などでもよい。さらに、識別情報の説明であることがわかれば、絵や音などのデータでもよい。
【００１６】
表示部１０７は、撮像部１０３により撮像された画像や画像認識部１０５により認識された識別情報を表示する。その他、表示部１０７に、例えば、電源状態、電波強度、電池残量、サーバ接続状態、未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データの表示、また、携帯電話の機能を利用するために必要な画面を表示する。通信部１０８は、携帯電話１００がインターネットや他の情報処理装置などにアクセスするための通信処理を行う。検索部１０９は、辞書データ１０６を参照し、画像認識部１０５により得られた識別情報と一致する識別情報を検索する。
【００１７】
また、ＣＰＵ１０２は、モード判定フラグを利用して、撮像モードが通常の静止画又は動画を撮像する通常撮像モードであるか、画像認識部１０５を利用して識別情報を認識するモードである認識モードであるかを判定する。ここで、モード判定フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数で、認識モードの場合と通常撮像モードとでは異なる値になるようにし、ＣＰＵ１０２はこの変数に基づいて認識モードと通常撮像モードと、例えば、入力部１０１による操作により切り換える。以下、実施例では、「認識モード」と「通常撮像モード」との２種類を有する場合を考えるが、これに限定されるものではなく、それ以外にモードがあっても構わない。
【００１８】
図２は、辞書データ１０６の例を示している。列２０１は、外国語の単語が書かれた列であり、列２０２は、２０１の単語に対応した翻訳の概要が書かれた列である。列２０３は、列２０１の単語に対応した関連情報、例えば、翻訳の詳細が掲載されているホームページのURLが書かれた列である。なお、ここで、列２０１の列には例として英単語を記述したが、フランス語やドイツ語などどんな言語でもよいのは言うまでもない。 また、ここでは、列２０３にはURL全体を記述したが、URLの一部だけを記述してもよい。
【００１９】
図３は、URLの一部だけが記述された場合の辞書データ１０６の例である。図２の場合は、”http://www.○○○.com”が共通であるので、この共通部分はURL共通部分２０４に記述しておき、”a”や”abacus”などのような固有の部分だけは列２０６にURL固有部分として記述しておく。また、URL作成方法２０５には、URL共通部分２０４とURL固有部分２０６とを組み合わせて、詳細翻訳が掲載されたホームページのURLを作成する方法を記述しておく。このように、URLの共通部分を辞書データ１０６内の予め定められた場所に代表して記述し、異なる部分だけを各英単語に対応して記述するようにしておくことで、辞書データ１０６のデータサイズを減らすことができ、携帯電話で保持すべきデータ量が削減できるというメリットがある。
【００２０】
さらに、図３のように、列２０６に記述される情報と列２０１の列に記述された単語と同じである場合は、URL固有部分が記述された列２０６を辞書データ１０６から省略するようにしても構わない。これにより、更に辞書データのデータサイズを減らすことができる。
【００２１】
次に、図４のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。まず、「認識モード」が入力部１０１を介してユーザにより選択された後、入力部１０１のうち撮像部１０３に撮像するように指示を出すスイッチ（以下、これをシャッターボタンと呼ぶ）が押下されれば、ＣＰＵ１０２が撮像部１０３に対して撮像するように指示を出す（ステップS401）。そして、撮像部１０３により撮像（変換）された被写体である対象物の画像情報はＣＰＵ１０２を介して記憶部１０４に保存する（ステップS402）。
【００２２】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS403）。この結果を、検索部１０９が読み取り、記憶部１０４により記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する（ステップS404）。
【００２３】
検索する方法としては、まず識別情報が完全に一致するものを探し出し、完全に一致するものがなかった場合は一文字だけ異なるがその他の文字は一致している単語を探し出すという方法が好ましい。この方法を採用することで、画像認識部１０５が紙面上の文字を誤って認識した場合でも、その文字列に一番近い単語を探し出すことができ、何度も撮像して文字認識をやり直す手間が省くことができ、使い勝手がよい。
【００２４】
また、一文字だけ異なる単語もない場合は、二文字異なる単語、三文字異なる単語、というふうに異なる文字数をだんだん増やして検索してもよく、この場合は認識率が低くても該当する単語を探し出すことができる。
【００２５】
ステップS405において、該当する単語が見つかった場合はステップS406に進む。もし該当する単語が見つからなかった場合はステップS410に進み、該当する単語が見つからなかったことをユーザに通知する画面を表示部１０７に表示して終了する。
【００２６】
ステップS406では、ステップS404において検索部１０９により辞書データから検索され、当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が読み取り、表示部１０７に表示する（ステップS406）。
【００２７】
この後、ＣＰＵ１０２は、入力部１０１や表示部１０７を介して、より詳細な翻訳の要求が指示されたか否かを判断し（ステップS407）、要求指示がされた場合はステップS408に進む。
【００２８】
ステップS408では、ステップS404において検索部１０９により検索された単語に対応するURLをＣＰＵ１０２が読み取り、ＣＰＵ１０２は、通信部１０８に対して該URLに接続するように指示信号を出力する。
【００２９】
ステップS409で、ＣＰＵ１０２が通信部１０８を介して上記ホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【００３０】
以上のように、簡単な翻訳だけでなく詳細な翻訳を参照したい場合に、詳細な翻訳が記載されたホームページ等を表示させることができるため、わざわざ英和辞書等を引き直さなくてもその単語の詳細な意味を知ることができ、使い勝手がよい。
【００３１】
また、携帯電話などの携帯端末では、大容量のメモリを搭載することができないため、本実施例のように、端末内では必要最低限の情報（簡単な訳や代表的な訳等）を記憶させて置き、詳細な情報が欲しいときはインターネットなどのような別の情報処理装置上に保存された情報を取得して参照できるようにすることは非常に有効である。
【００３２】
図５は、本実施例の表示画面例であり、紙面などの上に書かれた文字列が撮像され、その画像を文字認識により文字情報に変換し、辞書データ１０６の保持する概要翻訳を表示部に表示した後、詳細翻訳の表示を要求する入力があった場合は、辞書データ１０６の保持するURLに接続し、そのURLに記された内容を表示部１０７に表示する際の表示画面の例を示している。なお、表示部１０７の下部に表示された「メニュー」等の機能に対応したボタンは、入力部１０１のうち、例えば、上部に配置されたボタンなどであり、当該ボタン等がユーザにより押下されると、「メニュー」等の機能に対応した表示画面が表示部１０７に表示される。同様に、表示画面が遷移される度に、当該ボタン等は各表示画面の下部に表示された機能を実行するためのボタンとして割り当てられる。以下、表示画面の下部に表示された機能を実行するためのボタンは、本明細書において便宜上、当該表示された機能名と対応付けて呼ぶことにする。例えば、「メニュー」機能に対応したボタンを「メニューボタン」、あるいは、「戻る」機能に対応したボタンを「戻るボタン」と呼ぶ。なお、上述した実行ボタンは、右下や左下等の各機能が表示される位置に応じて各ボタンを割り当てるようにしても構わないし、一つのボタンで実現しても構わない。
【００３３】
画面５０１は、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている画面例である。なお、ここで、上記英単語「「Recognition」を特定する手段として、例えば、表示部１０７の中心に表示された「＋」マークを識別情報である「Recognition」の上に持っていけば、「＋」マークの位置から近傍のスペース情報からスペース情報までの部分を一区切りの単語として「Recognition」という単語を自動的に特定するようにしてもよいし、ユーザが入力部１０４を利用して、例えば、上記メールアドレス情報等の認識部分をカーソル等で指定できるようにしても構わない。認識対象を決定する方法が複数ある場合に、選択できるようにしても構わない。また、動画の場合は、動画を静止画でコマ送りできるように設定しておき、そのコマ送り画面で認識対象部を選択できるようにしても構わない。
【００３４】
また、ここでは、認識対象である英単語「Recognition」を点線等で囲み明確化したが、画像編集部において認識対象となる「Recognition」を拡大または縮小した画像を作成し、その画像を表示してもよい。拡大するには、例えば、１×１画素で表示していたところを２×２画素で表示する。さらに、画像編集部で認識対象となる文字の画像部分を白黒に変換したものやセピア色に変換したり、または、白黒反転したものを作成しその画像を表示したりしてもよく、画像内でどれが認識対象であるかが明確に分かるように表示すれば、上記例に限定されるものではない。
【００３５】
待受状態からこの画面５０１の状態にするには、例えば、「認識モード」ボタンを押下したり、または待受状態からメニュー画面に進み、そのメニュー画面に沿ってボタン操作を行うことにより画面５０１に移行してもよい。画面５０１において、画面下部の「認識」ボタンを押下すると、画面５０２に遷移する。
【００３６】
画面５０２は、撮像した画像の中でURLなどの認識可能な部分を文字認識部１０３が検出し、認識処理を行っている最中であることを表す画面である。認識処理が終了すると、画面５０３に遷移する。
【００３７】
画面５０３は、画像認識部１０５が認識した結果と、その文字列に対応した概要翻訳２０２を表示部１０７に表示した画面である。認識対象となる文字以外の部分の画像は、例えば、認識対象が何であるかを明確化するために、黒色で塗りつぶしたり、撮像した画像やアイコンなどが表示されていない部分の色と同じ色で塗りつぶしたりしている。ユーザが、単語の意味や使い方をもっと詳しく知りたい場合は、画面５０３の左下部に表示された詳細表示に対応したボタンを押すと、画面５０４に遷移する。
【００３８】
画面５０４は、通信部１０８が列２０３に接続する処理を実行していることを表した画面である。列２０３に接続できると、画面５０５に遷移する。
【００３９】
画面５０５は、列２０３のホームページの内容を表示した画面を表している。
【００４０】
以上のような表示画面を利用することで、ユーザは簡単な翻訳を知った後、簡単な操作で、単語の詳細な意味やその使い方・用例を知ることができ、使い勝手がよい。
【００４１】
なお、上記実施例では、詳細な単語の意味や使い方を参照するために1種類のホームページのURLを利用することを想定したが、特段これに限定するものではなく、例えば、複数のURL情報を記憶部１０４に記憶させておき、詳細な訳等を要求する際にその複数のURLの中から好みのURLを選択できるようにしても構わない。これにより、ユーザは、単語に関する詳細な訳等を豊富な情報源から選択することができ、使い勝手がよい。当然、単語に関して詳細な情報を参照するための情報としてURL情報に限定する必要もない。
更にまた、上記例において、英単語の翻訳に関する詳細な情報として、単語の翻訳に関して詳細に記載されたホームページのURLを想定したが、これに限定するものではなく、単語の訳に関して詳細な情報を参照できるものであれば、なんでもよい。
【００４２】
また、上記例では詳細な情報を入手するためにホームページを利用したが、携帯電話の記憶部１０４に訳の詳細な情報を記憶しておくようにすればよい。この場合、単語の簡単な訳と詳細な訳とで区別して記憶するようにし、通常の認識結果は簡単な訳で表示し、更に、ユーザにより詳細な情報の要求指示がなされた場合は、記憶部１０４に記憶された詳細な情報を表示する。これにより、携帯電話内に訳の詳細な情報が記憶されているためにホームページと接続することなく、速やかに該詳細な情報を表示することができるため、無駄な時間を節約することができ、また、通信圏外においても詳細情報を参照できる。
【００４３】
また、詳細な情報が蓄えられたＰＣ（Personal computer）等の装置を利用して
詳細な情報を取得できるようにしても構わない。
【００４４】
この場合、携帯電話と辞書データ１０６の列２０６には、ＰＣに記憶された翻訳等の詳細情報を読み取るために必要な情報を記載しておく。ここで、翻訳の詳細な情報を参照するために必要な情報（以下、参照必要情報）とは、例えば、翻訳の詳細情報を保持するPCを特定するための情報（IPアドレスなどの識別子）、翻訳の詳細が記載されたファイルのパス名及びファイル名、あるいは、ＰＣの記憶部における詳細翻訳が記載された部分を示すアドレスなどである。
【００４５】
そして、例えば、「abalone」という単語を認識する場合に、より詳細な翻訳情報が欲しいときは、ユーザは図５（３）のような表示画面例等を利用して詳細情報の要求指示を行い、要求指示信号を受信したＣＰＵ１０２は、記憶部１０４に記憶された辞書データの「abalone」に対応した参照必要情報を通信部１０８を介してＰＣに送信する。ＰＣが参照必要情報を受信すれば、参照必要情報に基づいて外部情報処理装置の記憶部に蓄えられた単語の訳等の詳細な情報を携帯電話に送信する。単語の訳等の詳細な情報を受信した携帯電話のＣＰＵ１０２は、それを表示部１０７に表示する。なお、携帯電話とＰＣとを接続する手段としては、有線であっても無線であっても構わない。
【００４６】
これによれば、携帯電話内に単語訳等の詳細な情報をＰＣの記憶部を利用して参照できるため、記憶部１０４における記憶容量を低減できる。また、通信圏外においても詳細な情報を参照でき、使い勝手がよい。また、同様に、詳細な情報が記憶されている記憶媒体を介して参照できるようにしても構わない。この場合は、携帯電話に記録媒体の情報を読み取るための記録媒体読取部を設けるようにする。処理は前述と同様にすればよい。
【００４７】
また、英単語等の詳細な情報自体をユーザ自らが作成や編集ができるようにしても構わない。この場合、詳細な情報をユーザが作成や編集（追加や削除等）するための設定画面などを表示部１０７に表示させる。そうした設定画面を介して入力された情報は、辞書データの列２０３に記憶されるようにする。そして、認識した単語の詳細な情報を参照する際には、詳細情報要求指示を受けたＣＰＵ１０２は、記憶部１０４に記憶された辞書データに基づいて詳細な情報を表示部１０７に表示する。
【００４８】
これにより、自分オリジナルの辞書を作成や編集することができ、さらに、作成されたオリジナル辞書で単語の詳細な情報を参照することができるため、予め設定された詳細な情報には記載されていない情報を追加もしくは削除等することができ、更に使い勝手が向上する。
【００４９】
更にまた、上記では、簡易な情報を知りたい場合は携帯電話内に記憶された情報を利用し、詳細な情報を知りたい場合はＰＣや記憶媒体を利用するようにしたが、簡易な情報を参照する際もＰＣや記憶媒体に記憶された情報を利用するようにしても構わない。
【００５０】
次に、第２の実施例について説明する。上記第１の実施例は、英単語を認識して日本語訳を表示する例であるが、これだと、フランス語やドイツ語などの他言語は翻訳できないといった問題がある。本実施例は、この点に留意してなされた実施例である。
【００５１】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００５２】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００５３】
辞書フラグは、ＣＰＵ１０２がどの辞書データを使用するかを選択するために使うフラグである。辞書フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数であり、辞書データに割り当てられた識別番号を代入するようにし、ＣＰＵ１０２はこの変数に基づいて使用する辞書データを選択する。辞書フラグの値は、入力部１０１を介したユーザの操作によって変更が可能となるようにしておくことで、ユーザは多言語の単語に対して翻訳を得ることができ、使い勝手がよい。
【００５４】
図６は、ユーザが使用する辞書を選択する際の、携帯電話１００の画面表示例を示している。画面６０１は、携帯電話が撮像部１０３による撮像を行なえる状態を表した画面である。待ち受け状態からこの状態にするには、例えば携帯電話の側面についているスイッチを押下したり、または待ち受け状態からメニュー画面に進みボタンを数回押下するといった操作を行なう。画面６０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面６０２に遷移する。
【００５５】
画面６０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「▲１▼辞書選択」が入力部１０１を介して選択されると画面６０３に遷移する。
【００５６】
画面６０３は、使用する辞書を選択する画面である。この状態で、「▲３▼△△△和英」が入力部１０１を介して選択されると画面６０４に遷移する。
【００５７】
画面６０４は、使用する辞書が△△△和英辞書になったことをユーザに知らせる画面である。ここで「確認」に対応したボタンを押下すると画面６０５に遷移し、再び携帯電話が撮像部１０３による撮像を行なえる状態になる。
【００５８】
このように、辞書データを複数持つことで、多言語に対応した電子辞書機能を有することができ、使い勝手よい。
【００５９】
また、使用する辞書データが、例えば、英和辞書に設定されている場合、ドイツ語の単語を認識したときは、該当する単語を見つけることができない。こういった場合に、携帯電話が保持する辞書データ全てを検索させるように構成することで、英和辞書以外に独和辞書を保持していればドイツ語の単語に対しても翻訳を表示することが可能となる。全ての辞書データを検索する方法としては、全ての辞書データの識別番号を入れた配列を用意し、ＣＰＵ１０２が辞書フラグに設定された辞書データを検索した後、該配列の第１番目の要素に格納された識別番号に対応する辞書データを検索し、この中でも見つからない場合は、第２番目、第３番目といったように辞書データを変更して検索していく。このようにすることで、ユーザがわざわざ辞書データを選択する手間を省け、使い勝手のよい辞書機能を実現できる。
【００６０】
また、上記第２の実施例は、辞書データを複数保持することで多言語の翻訳を出力できるようにした例であるが、これは画像認識部１０５が認識できる言語に限られてしまう。例えば、英語だけを認識できる画像認識部１０５では、タイ語やアラビア語は認識できない。よって、タイ語やアラビア語の辞書データを保持しても、認識ができないために翻訳を出力できないという問題がある。
【００６１】
こうした問題を解決するために、通信部１０８を介してインターネットに接続し、多言語の文字パターンデータをダウンロードし、上記文字パターンデータ表に追加するようにすればよい。この場合の処理を以下に説明する。
【００６２】
図１０のフローチャートを用いて、本実施例に係る携帯電話がインターネットから文字パターンデータをダウンロードする際の処理手順を説明する。
【００６３】
まず、文字パターンデータ表のダウンロード指示を受けたＣＰＵ１０２は、通信部１０８を介してインターネット上に存在する上記文字パターンデータが書かれたサイトに接続する（ステップS1001）。このサイトを表示した状態で、ユーザが文字パターンのダウンロードを指示するために入力部１０１のボタンを押下する（S1002）。これを受けてＣＰＵ１０２は、通信部１０８を介して、上記サイトから文字パターンデータをダウンロードし、記憶部１０４に保存する（ステップS1003）。
【００６４】
この後、ＣＰＵ１０２は、上記文字パターンデータを文字パターンデータ表に追加する（ステップS1004）。
【００６５】
図１１は、本実施形態の携帯電話帯が、文字パターンデータをダウンロードできるサイトに接続し、アラビア語の文字パターンデータをダウンロードする画面の例を示している。
【００６６】
画面１１０１は、文字パターンをダウンロードできるインターネット上のサイトを表示した画面である。ここで、「アラビア語」を選択すると、画面１１０２に遷移する。画面１１０２は、アラビア語の文字パターンデータをダウンロードするかどうかをユーザに確認する画面である。ここで、「はい」を選択すると、画面１１０３に遷移する。画面１１０３は、アラビア語の文字パターンをダウンロードしていることを表す画面である。この状態でしばらく待ち、ダウンロードが終了すると画面１１０４に遷移する。画面１１０４は、アラビア語の文字パターンデータをダウンロードしたことを表す画面である。同様にして、各言語の文字パターンに対応した辞書データをダウンロードする。
【００６７】
このように、文字パターンデータ及び種々の言語の辞書をダウンロードできるように構成したことにより、多言語に対して文字認識及び翻訳参照を行うことができるため、使い勝手が向上する。
【００６８】
なお、予め記憶部１０４に記憶されていた文字パターンデータ表以外の文字を認識する際に、認識不可能であることをユーザに通知し、その場合に文字パターンデータ表のダウンロードをするように促す画面を表示部１０７に表示させるようにしてもよい。これにより、たとえ認識対象の文字が認識不可能であったとしても、速やかに認識できるようになり、使い勝手が向上する。
【００６９】
更に、例えば、辞書データとして英単語に関するものしかない場合に英単語以外の単語を認識しようとしたときに、翻訳不可能であることをユーザに通知し、その場合に辞書データをダウンロードするように促す画面を表示部１０７に表示させるようにしてもよい。
【００７０】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００７１】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００７２】
また、インターネット上には英和辞書などのホームページが複数あり、誰でも閲覧可能なホームページと、登録されたユーザのみが閲覧できるホームページがある。登録されたユーザのみが閲覧できるホームページは、ユーザＩＤとパスワードをユーザが入力することで閲覧できる。詳細な翻訳の要求が指示された場合に、登録されたユーザのみが閲覧できるサイトを表示してもよい。しかし、この場合は詳細な翻訳を表示するたびにユーザがユーザＩＤとパスワードを入力しなければならず、使い勝手が悪い。そこで、ユーザＩＤとパスワードを辞書データの予め定められた部分に記載しておく、という工夫を施す。図１２に、複数の辞書データを保持し、その辞書データに含まれる詳細な翻訳のホームページがユーザ認証の必要なものである場合の具体例を示す。携帯端末は、辞書提供者から辞書データを取得することができる。その辞書データには、ＩＤとパスワードが付属している。そのＩＤとパスワードは、辞書データに記載された詳細な翻訳が書かれたホームページにアクセスする際、ユーザ認証に使用する。
【００７３】
図１３に、本実施例の辞書データを用いて詳細な翻訳が記載されたホームページを表示する際のフローチャートを示す。
【００７４】
ステップS1301で、携帯電話が辞書データを取得する。その方法としては、インターネット上に存在する辞書データファイルを、通信部１０８を介してダウンロードしてもよいし、記憶媒体に記憶された辞書データを携帯電話に接続させることで取得してもよい。
【００７５】
このように辞書データを保持した状態で、文字認識を行ない（ステップS1302）、概要翻訳を表示する（ステップS1303）。
【００７６】
詳細翻訳を表示するように要求する信号をＣＰＵ１０２が受信すると（ステップS1304）、ＣＰＵ１０２は辞書データからサーバにアクセスするために必要なユーザＩＤとパスワードを取得する。取得する方法としては、辞書データの中のユーザＩＤとパスワードが記載されている場所を予め定めておき、ＣＰＵ１０２がその場所を読み取るという方法が考えられる。また、ユーザＩＤとパスワードが記載されている場所を辞書データのヘッダ部分に記載しておき、ＣＰＵ１０２がヘッダ部分を読み取ってユーザＩＤとパスワードの記載された場所を取得し、ユーザＩＤとパスワードを読み取る、という方法も考えられる
ステップS1306では、ＣＰＵ１０２が通信部１０８を介してサーバにアクセス信号を送信する。この際、ユーザＩＤとパスワードも一緒に送信する。アクセス信号、ユーザＩＤ、パスワードを受信したサーバでは、ユーザ認証を行ない、認証が成功すると詳細翻訳データを端末に送信する。
【００７７】
ステップS1307では、ＣＰＵ１０２が通信部１０８を介して詳細翻訳データを取得し、記憶部に記憶する。ステップS1308では、ＣＰＵ１０２が記憶部に記憶された詳細翻訳データを読み取り、表示部に表示させる。
【００７８】
このように、ユーザＩＤとパスワードが必要なホームページにアクセスする際にも、ユーザは入力操作をせずにユーザ認証が行われ、使い勝手がよい。
【００７９】
次に、第３の実施例について説明する。人間の記憶容量には限界があり、以前調べた英語の単語でも時間が経てばその意味等を忘れてしまうことも多いにあり得る。そうした場合に再度認識し直すのは手間がかかって面倒である。
【００８０】
本実施例は、こうした問題に対して検討されたものであり、認識された単語の翻訳等の履歴情報を残す点に特徴がある。以下、このような履歴情報を作成していく処理と、履歴情報を利用する処理に分けて説明する。
【００８１】
まず、履歴情報を作成する処理について説明する。図7は、検索された結果が履歴情報として記憶部１０４に記憶される場合の１例であり、例えば、図７のように、検索部１０９により検索された単語、検索したときの時刻などの履歴が記されてある。
【００８２】
列７０１は、辞書データの列２０１のうち文字認識された単語である。列７０２は、各単語が認識された回数を表している。列７０３は、今までに認識された時刻のうちで最新の時刻を表している。列７０４は、履歴情報を利用して英単語等の意味を確認した回数を示すものであり、列７０５は、最後に確認した時刻を表している。
【００８３】
図８は、本発明の第３の実施例に係る携帯電話が、文字認識をした後、例えば、図７のような履歴表を作成する際のフローチャートを表した図である。ステップS406、ステップS407はそれぞれ図４のステップS406、ステップS407を表しており、その間にステップS801〜ステップS804の処理がなされるフローになる。
【００８４】
ステップS406は、辞書データ１０６の概要翻訳、すなわち代表的な訳や簡単な訳を表示した状態である。ここで、検索部１０９が検索した結果の単語が記憶部１０４に記憶された履歴情報に存在するかどうかを判定し（ステップS801）、存在した場合はステップS802に進む。ステップS802では、ＣＰＵ１０２は、履歴情報の認識回数７０２を１つ増やす更新処理を行う。ステップS803では、ＣＰＵ１０２によりなされる処理がステップS803に到達した時点の時刻を時刻取得部９０２が取得し、その時刻を履歴情報の最終認識時刻７０３に記載する。
【００８５】
ステップS801で単語が履歴情報に存在しなかった場合は、ステップS804に進み、履歴情報に単語、最終認識時刻を追加記載する。最終認識時刻は、ステップS804に処理が到達した時点の時刻を記憶部１０４に記載する。以上の処理を経ることにより、履歴表に新たな認識結果の履歴情報を更新していく。なお、この場合、後述するように、履歴を利用して単語の意味等を再度確認するようなことを考えると、記憶部１０４に記憶された履歴表データと辞書データとを対応付けて記憶するのが望ましい。対応付けて記憶する方法としては、例えば、辞書データ内に履歴情報を追加できるスペースを設けて、そのスペースに履歴情報を次々書き込む方法などが考えられる。
【００８６】
次に、作成された履歴情報を利用する場合の処理を説明する。まず、記憶部１０４により記憶された履歴情報の参照指示がユーザの入力部１０１による操作を介してなされれば、履歴参照指示信号がＣＰＵ１０２に入力される。履歴参照指示信号が入力されたＣＰＵ１０２は、記憶部１０４に記憶された履歴表データや辞書データに基づいて英単語の意味を表示部１０７に表示するように処理する。
【００８７】
図９は、本実施形態の携帯電話が、履歴情報を用いて文字認識をせずに単語の翻訳を表示する画面の例を示している。
【００８８】
画面９０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面９０２に遷移する。画面９０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「▲５▼履歴表」を選択すると画面９０３に遷移する。画面９０３は、履歴情報のうち、単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。この状態で、“recognition”を選択すると画面９０４に遷移する。
【００８９】
画面９０４は、“recognition”の翻訳を表示した画面である。この状態で、「確認」に対応したボタンを押下すると、画面９０５に遷移する。
【００９０】
画面９０５は、画面９０３と同じく、履歴表９０１のうちの単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。画面９０３では“recognition”に対する確認回数が０であったのに対し、画面９０４で“recognition”の訳を確認したため、画面９０５では“recognition”に対する確認回数が１に増えている。
【００９１】
以上により、ユーザは、一度認識した単語の意味等を再度認識する操作を行うことなくいつでも、どこでも、更に何度でも確認できるために使い勝手が向上する。
【００９２】
また、図９のような表示画面を表示することにより、認識回数、確認回数をユーザは容易に通知することができる。さらに、ユーザが何度も調べた単語が一目瞭然となるために、この認識回数や確認回数が多い順に上から表示すれば、なかなか覚えられない単語が容易に理解できるため、意識して覚えることができ、更に使い勝手がよい。
【００９３】
なお、第1の実施例のように、更なる操作で訳や用例などの詳細な情報（例えば、詳細な情報が記載されたホームページのアドレス等）を参照できるように構成した場合には、簡単な訳と詳細な訳とを区別するように記憶部１０４に履歴情報として記憶し、ユーザが履歴情報を利用して英単語等の意味を確認する場合に、「簡単な訳」と「詳細な訳」とのいずれかを選択できるようにすれば、使い勝手は更に向上する。また、ここで履歴情報としては、図７に列挙されるような情報に限定されるものではなく、履歴に関する情報であれば何でもよい。
【００９４】
更にまた、撮像部１０３により表示部１０７に出力された画像情報のうち画像認識部１０５により識別情報を認識する際に、履歴情報があるか否かをユーザに通知するように構成してもよい。例えば、認識対象を決定するためにひとまず対象を決定する仮決定と仮決定された対象でいい場合に本決定を行うように構成した場合では、仮決定の段階で、記憶部１０４に記憶された履歴情報の有無を表示部１０７に表示するようにすれば、わざわざ再度認識することなく、履歴情報を参照して識別情報の意味等を確認することができるため、使い勝手がよい。また、カーソルを認識対象の上に移動させるだけで、例えば、「履歴あり」といった簡易な表示でユーザに通知しても構わない。認識対象の英単語等の識別情報が今までに認識された情報である場合にその履歴の有無を通知する形態としては、文字、アイコンあるいはマークなどを用いた表示だけでなく、音声出力部（図示せず）などを介して音で通知してもよいのは言うまでもない。
【００９５】
更にまた、ＧＰＳなどの携帯電話に位置情報取得部を備えて、当該位置取得部により取得された位置情報を履歴情報として記憶部１０４に記憶するように構成してもよい。これによれば、どこで単語を認識したかを容易に確認できる。
【００９６】
また、履歴情報として記憶された場所に再度訪れた場合に、その旨及びそのときに認識した単語やその意味をユーザに通知するようにしても構わない。
【００９７】
次に、第４の実施例について説明する。図１４は、第４の実施例に係る携帯電話の外観を表した図である。本実施例の携帯電話は、図１４に示されるように、表示部１０７を有する筐体２００と入力部１０１を有する筐体３００とがヒンジ部１４０３を介して折畳み可能であり、ヒンジ部に回転可能な撮像部を備えた携帯電話を考える。
【００９８】
本実施例の携帯電話は、携帯電話が図１４（１）のように開いた状態であるか図１４（２）のように閉じた状態であるかを検出する折畳検出部を備えている。折畳検出部は、例えば、筐体２００に磁石、筐体３００にホール素子を備え、磁石により磁界を加えられたホール素子の電圧値のHiレベル or Lowレベルに基づいて開閉状態の検出を行う。なお、折畳検出部は、開閉状態の検出ができれば、センサー又は凹凸係合等を利用したものであっても構わない。なお、表示部１０７は、主に開いた状態で利用される表示部（メイン表示部）であるが、本実施例の携帯電話は、メイン表示部以外に携帯電話が折り畳まれた（閉じた）状態においても視認可能なサブ表示部１４０７を備える。
【００９９】
撮像モードの選択を容易にするために、通常撮像ボタン１４０１と認識撮像ボタン１４０２とが、例えば、筐体の側面に備えている。
【０１００】
通常撮像ボタン１４０１が押下されると、撮像部１０４で撮像対象物を撮像し、撮像した画像を記憶部１０４に保存し、必要に応じて撮像画像を表示する。認識撮像ボタン１４０２を押下すると、撮像部１０４で撮像対象物を撮像し、画像認識部１０５が文字認識を行った後、ＣＰＵ１０２は、認識結果を表示部１０７もしくはサブ表示部１４０７に表示する処理を行う。
【０１０１】
以上のように、認識モードと通常撮像モードのそれぞれ専用ボタンを設けることで、ユーザは簡単に各モードを選択でき、使い勝手がよい。また、図１４（１）に示すように、筐体３００の側面に配置すれば、携帯電話が開いた状態でも折畳まれた状態でも操作が同様なものとなり、わざわざ開閉時で操作を変えることがないため使い勝手が向上する。更に、図１４のように、筐体の側面等の携帯電話が閉じた状態で視認できる位置に操作キーを配置すると、閉じた状態においても認識モードを実行可能になるため、わざわざ携帯電話を開くことなく文字認識等を行うことができ、使い勝手はよい。
【０１０２】
なお、通常撮像ボタン１４０１と認識撮像ボタン１４０２とは異なるボタンであることが好ましいが、同一のボタンでもよい。ただし、この場合、同一のボタンである場合は、撮像するためのボタン操作と認識するためのボタン操作を区別させる必要がある。この場合、例えば、ボタンを押下する時間に応じて、あるいは、ボタンを押下する回数に応じて（ダブルクリック等）撮像モードと認識モードとを切り換えたりして区別すればよい。また、このようにボタンを同一にすることで、スペースを取らず、携帯電話を小さくすることができる。通常撮像ボタン１４０１と認識撮像ボタン１４０２とは、携帯電話１００に付属するセンサのうち、ユーザが取り扱うことのできるものならばどれでもよい。
【０１０３】
また、上記では、通常撮像ボタン１４０１と認識撮像ボタン１４０２とを筐体側面に備える場合について説明したが、これに限定するものではなく、閉じた状態で操作可能な位置に配置されたボタンであれば、例えば、携帯電話の背面に配置されているような構成をとっても構わない。ここで、携帯電話の背面とは、図１４（２）の１４０７に示されているように、携帯電話が折り畳まれた（閉じた）状態で視認可能な表示部１０７に対向するような面であり、主としてバッテリにより構成される面とは異なる面である。
【０１０４】
次に、第５の実施例について説明する。本実施例の携帯電話の外観は、第４の実施例と同様に図１４のように折畳み可能な携帯電話を考える。以下、認識結果に対する概要翻訳等をメインの表示部１０７に表示しておき、携帯電話が開かれた場合には、該認識結果に対する詳細翻訳等をサブ表示部１４０７に表示する例について説明する。
【０１０５】
図１５のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１０６】
まず、ステップS1501は、携帯電話が入力部１０１からのキー入力を待ち受けている状態である。この状態で、携帯電話のカメラ機能を起動させるための信号をＣＰＵ１０２が検出する（ステップS1502）と、携帯電話が折畳み状態であるかどうかを折畳検出部によって検出する。
【０１０７】
携帯電話が折畳み状態であった場合には、折畳検出部によって携帯電話が折畳み状態であることを伝える信号がＣＰＵ１０２に入力され（ステップS1503）、これを受けてＣＰＵ１０２は静止画モニタ表示をサブ表示部１４０７に表示する（ステップS1504）。次に、ユーザなどによってシャッターボタンが押下されると、撮像を指示する信号がＣＰＵ１０２に入力され（ステップS1505）、撮像部１０３により撮像（変換）された被写体の画像情報がＣＰＵ１０２を介して記憶部１０４に保存される（ステップS1506）。
【０１０８】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS1507）。この結果を、検索部１０９が読み取り、記憶部１０４に記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する。再び、携帯電話が折畳み状態であるかどうかを折畳検出部が検出し、ＣＰＵ１０２に開閉状態の情報を信号として入力する。該開閉状態情報をＣＰＵ１０２が参照し（ステップS1508）、ステップS1509において、携帯電話が閉じた状態であると判断された場合は、ステップS1510に進む。ステップS1510では当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が辞書データから読み取り、サブ表示部１４０７に表示する。
【０１０９】
また、ステップS1509において、携帯電話が開いた状態であると判断された場合は、当該検索された単語に対応するURLをＣＰＵ１０２が辞書データから読み取り（ステップS1511）、ＣＰＵ１０２は通信部１０８に対して該URLに接続するように指示信号を出す。ステップS1512で、ＣＰＵ１０２が通信部１０８を介して上記URLのホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【０１１０】
図１６は、本実施例の表示画面例であり、ユーザによって携帯電話が閉じた状態から開いた状態になった場合に、辞書データ１０６の保持する詳細な翻訳が記載されたURLのホームページの内容（記載情報）を表示部１０７に表示する画面の例を示している。なお、画面１６０１〜１６０３では、画面左下に表示された「メニュー」などといった表示はボタン１４０８ａ、画面右下に表示された「認識」などといった表示はボタン１４０８ｂに関連付けされ、ユーザが携帯電話に入力をする際にはそれぞれ関連付けされたボタンを押下することにより、画面が遷移する。これらのボタンを、例えば、画面左下に「メニュー」と表示されていた場合は、ボタン１４０８ａのことを「メニュー」ボタンと呼ぶことにする。
【０１１１】
画面１６０１は、携帯電話が折畳まれた状態において、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている場合の、サブ表示部１４０７に表示された画面例である。この状態で、「認識」ボタンを押下すると、画面１６０２に遷移する。
【０１１２】
画面１６０２は、認識対象として「Recognition」が選択されたことを示している。この画面では、画面中の「Recognition」以外の画像部分が黒く塗りつぶされて表示されており、「Recognition」が強調される。また、文字以外の部分を黒く塗りつぶすことで、盗撮も防止できる。この状態で「決定」ボタンを押下すると、画面１６０３に遷移する。
【０１１３】
画面１６０３は、認識対象となった「Recognition」の概要翻訳がサブ表示部１４０７に表示されている画面を表している。この状態で携帯電話を開くと、表示部１０７に画面１６０４が表示される。
【０１１４】
画面１６０４は、携帯電話を開いた状態で表示部１０７に詳細な翻訳を表示した画面例である。
【０１１５】
このように、携帯電話を折畳んだ状態でも文字認識ができるため、いちいち携帯電話を開く手間も省け、手軽に文字認識ができる。さらに、ユーザが詳細な翻訳を知りたい場合は、概要翻訳が表示されている状態で携帯電話を開くだけで、詳細な翻訳を表示部１０７に表示できるため、非常に使い勝手がよい。
【０１１６】
次に、第６の実施例について説明する。本実施例の携帯電話は、撮像部１０３が撮像した画像や、該画像に含まれる文字などの識別情報を画像認識部１０５が認識した結果や、該認識結果に対する概要翻訳等を表示部１０７に表示した場合、認識結果の各文字を異なる文字に変換する認識結果編集手段を備えたものとする。
図１７は、本実施例の携帯電話が、例えば、紙面上に書かれた“Recognition”という文字列を撮像し、画像認識部１０５が認識した結果が“Reconifiom”であった場合に、該認識結果を編集する画面例を表したものである。
【０１１７】
画面１７０１は、撮像部１０３が被写体である対象物を撮像し、該画像に含まれる文字列“Recognition”を画像認識部１０５が誤って、例えば“Reconifiom”と認識してしまい、“Reconifiom”に一番近い単語を検索部１０９が辞書データ１０６から検索し、検索した結果が“reconfirm”であった場合に、認識結果である“Reconifiom”、検索結果である“reconfirm”と、その概要翻訳“[動詞] 再確認する”を表示部１０７に表示した画面例である。ここで、「メニュー」ボタンを押下すると、画面１７０２に遷移する。
【０１１８】
画面１７０２は、撮像機能や認識機能に関するメニューを表示した画面である。ここで、「▲１▼結果編集」を選択して「決定」ボタンを押下すると、認識結果を編集できる画面に遷移する。
【０１１９】
画面１７０３は、認識結果を編集できる画面において、“Reconifiom”の“Reco”と“nifiom”の間に“g”を追記した画面を表している。認識結果を編集できる画面では、認識結果の文字が表示される領域１７０５内に、カーソル１７０６が表示される。このカーソル１７０６を使って編集する位置を選択し、入力部１０１のうち文字を入力に関するボタンを数回押下することで、文字を入力・削除することができる。このようにして編集した認識結果の文字は、ＣＰＵ１０２によって記憶部１０４に記憶される。この状態で、「検索」ボタンを押下すると、入力部１０１によりＣＰＵ１０２に検索するように指示する入力信号が入力される。これを受けてＣＰＵ１０２は、記憶部１０４を参照して編集された認識結果文字を読み取り、検索部１０９に渡す。検索部１０９はこれを受けて、辞書データ１０６の中から一致する単語を検索し、検索結果表示領域に表示する。
【０１２０】
その画面例が画面１７０４である。画面１７０４は、認識結果を編集できる画面において、認識結果の文字を“Recognitiom”に編集した後、「検索」ボタンを押下した場合に表示される画面例である。検索結果として“Recognition”が表示されている。
【０１２１】
このようにして、認識結果が誤認識であり、ユーザが認識させたかった英単語とは異なる文字が検索結果として表示されてしまった場合、もう一度撮像し直して認識させる必要がなく、使い勝手がよい。
【０１２２】
なお、上記では、「検索」ボタンが押下されたことで、認識結果と一番近い単語を辞書データ１０６から検索部１０９が検索するようにしたが、認識結果を編集できる画面において、認識結果の文字を編集したら、認識結果編集手段がＣＰＵ１０２に検索をするように指示する入力信号を入力し、検索部１０９によって検索をするようにしてもよい。この場合、ユーザは検索結果を表示させたいときにいちいち「検索」ボタンを押さなくて済み、使い勝手がよい。
【０１２３】
次に、第７の実施例について説明する。本実施例は、携帯電話等に予め備わっているメール機能等を利用して画像認識部１０５により認識された結果、つまり、簡易情報あるいは詳細情報を送信する場合を想定する。
【０１２４】
この場合、例えば、入力部１０１により所定の操作がなされ、その入力信号を受信したＣＰＵ１０２は、認識モードに移行するように処理する。ユーザが認識モードにおいて、認識対象である文字等を認識した後にメール機能を起動するための操作を入力部１０１を介して行えば（例えば、メール起動キーを押下）、その入力信号を受信したＣＰＵ１０２は、表示部１０７に記憶部１０４に予め記憶されているメールソフトを起動し、メール送信できるようにメール作成画面を表示する。その際、ＣＰＵ１０２は、認識され、例えば、「abalone」といった英単語の代表的な訳「あわび」を表示する場合、「abalone→あわび」といったようにメール作成の本文欄に自動的に挿入するように処理する。また、第１の実施例のように、簡易な情報のみならず、詳細な情報、例えば、用例や類似後のような詳細な情報が記載されたＵＲＬ情報などを取得できる場合には、その詳細な情報を自動的に本文欄に挿入するように処理する。
【０１２５】
また、記憶部１０４に記憶されたアドレス情報（名前、電話番号あるいはメールアドレスの情報）からユーザが選択して送信相手の宛先欄に挿入できるように構成しても構わない。
【０１２６】
以上により、画像認識部１０５による認識結果を簡単な操作で送信したい相手に伝えることができ、使い勝手が向上する。さらに、件名の欄も「ＯＣＲ結果」等の件名を自動的に挿入記載するようにすれば、更に入力の手間が省け、使い勝手がよい。
【０１２７】
また、認識結果を利用してメールを作成する際に、メールアドレスを認識した場合は自動的に当該メールアドレスを宛先として宛先欄に設定する方法も考えられる。しかし、この方法では、例えば、メールアドレスを認識してそのメールアドレスをメールの本文欄に記載したい場合においても、メールの宛先として設定されてしまうため、認識結果を利用することはできない。
【０１２８】
こういった問題を解決するために、例えば、メール作成の場合は、メールの宛先、件名、本文欄等といった項目うち、どの項目に認識結果を挿入するかを選択できるようにする。この機能を、図１８を使って説明する。
【０１２９】
画面（１）は、認識対象である“yamazaki@xxx.jp”を認識した際に、認識画像と認識結果を表示した画面である。この状態で「メニュー」ボタンを押下すると、画面（２）に遷移する。画面（２）は、認識結果である“yamazaki@xxx.jp”を使ってどの機能に利用するかを選択する画面である。メールを作成する場合は、「▲２▼メール作成」を選択すると、画面（３）に遷移する。画面（３）は、認識結果をメール作成の項目のうちどの項目に挿入するかを選択する画面である。この画面で、「▲３▼本文」を選択すると、メールの本文に“yamazaki@xxx.jp”が代入されたメールの作成画面へと遷移する（画面（４））。
【０１３０】
このように、認識結果をメールのどの項目に挿入するかをユーザが選択できるようにすれば、認識結果を表示してから数回の入力操作を行うだけで、メールの本文中に認識結果を挿入したメールの作成画面へと移行することができ、使い勝手が向上する。
【０１３１】
さらに、画面（２）のメニューを表示する際に、認識結果である文字列の種類によってカーソルの位置を決定することもできる。その方法は、例えば、認識結果に“＠”が含まれていればメールアドレス、“http”が含まれていればURLであるとＣＰＵ１０２によって判定させ、メールアドレスであると判定された場合は、画面（２）を表示する際にカーソルの位置を「▲２▼メール作成」、URLであると判定された場合はカーソルの位置を「▲１▼インターネット」等に合わせて表示部１０７に表示させればよい。このようにすれば、画面（２）においてメニューを選択する操作が省けるので、使い勝手がさらに向上する。
【０１３２】
また、認識結果がメールアドレスであった場合に、当該メールアドレスをアドレス帳に登録したいときは、画面（２）で「▲４▼アドレス帳登録」を選択すればよい。この場合も同様に、認識結果のメールアドレスをアドレス帳のどの項目に挿入するかを選択できるようにすれば、上述と同じ効果が得られる。
【０１３３】
なお、上記では、メールソフトの作成画面の欄として、「宛先」「件名」「本文」欄を考えたが、これに限定されるものではない。そのほかに欄を設けたとしても自動的に関係した情報を挿入するようにすれば、入力手間が省け、使い勝手がよい。
【０１３４】
また、上記では、自動的にメール作成画面欄に認識結果（例：ＵＲＬ情報）が挿入されるような構成をとったが、それだけでなく、ユーザ自らが入力部１０１を介してコメント等を入力できるようにしても構わない。これにより、ＯＣＲ機能を行い、その結果を通話相手先に送信する際に、ユーザが単に結果のみを送信するだけでなく、その結果に対するコメント等を添えることができる。なお、その際に、予め記憶部１０４に記憶された定型文や絵文字等を利用すれば更に使い勝手はよくなる。
【０１３５】
なお、上記実施例においては、英語等の単語に関して、意味や用例等を詳細に知りたいといった利用シーンを想定したが、これに限定されるものではなく、例えば、スポーツ、映画、歴史、レストラン、科学、恐竜、動植物、芸能人等といった様々なジャンルの単語に関する情報を参照できるようにしても構わない。これにより、参照可能なカテゴリが増えて、ユーザの使い勝手は向上する。このように、参照可能である情報が多いと、例えば、ユーザが雑誌や新聞等の記事を見ているときや、街を何気なく歩いている場合に、興味のある単語が目にとまり、その詳細な情報を参照したいと思った状況などにおいても、速やかにその単語の意味等を参照できるため非常に使い勝手がよい。
【０１３６】
また、例えば、「ガメラン」といった恐竜の詳細情報を参照したいのに、植物の「ガメラン」の詳細情報を取得したところでユーザの満足度は低い。そこで、詳細情報の要求を行う際に、例えば、表示部１０７に「どのジャンルの詳細情報が欲しいですか？」などの通知がされ、ユーザが表示画面等を介して種々のジャンルを選択できるようにすれば、更に使い勝手はよい。
【０１３７】
次に、第８の実施例について説明する。本実施例は、認識した英単語の的確な意味を通知するために、単語の共起関係を利用するものである。共起とは、複数の単語が同一の文書に出現することである。
【０１３８】
そもそも単語は、同一の単語でも複数の異なる意味を持っている場合が多く、予め用意された辞書の日本語訳をそのまま表示させた場合、認識させた英単語がどの意味で使われているのかを、ユーザが文脈を読み取る等して考えなければならない。その際、もし間違った意味で捉えてしまうと、その英単語を含んだ文章自体も間違った意味で捉えてしまう、という問題がある。本実施例は、この点に留意してなされた実施例である。
【０１３９】
図１９は、本発明の第８の実施例に係る構成例を示す図である。本実施例は、携帯電話１００、サーバ１９００で構成される。
【０１４０】
サーバ１９００は、SV-ＣＰＵ１９０２、共起関係データベース１９０３、SV記憶部１９０４、SV画像認識部１９０５、SV辞書データ１９０６、SV通信部１９０８、SV検索部１９０９、ユーザ登録データベース１９１０などを含んだものとして構成される。
【０１４１】
SV通信部１９０８は、サーバ１９００がインターネットや他の情報処理装置などとアクセスするための通信処理を行う。
【０１４２】
SV-ＣＰＵ１９０２は、SV記憶部１９０４に記憶されたプログラムに基づいて動作し、例えば、SV通信部１９０８からの信号に応じて各部を制御するものである。
【０１４３】
共起関係データベースは、共起関係に関するデータであり、例えば、図２０に示すように、単語、その単語の訳、共起する単語（以下、共起単語と呼ぶ）及び共起されている単語に対応した訳になる割合等を含んだものとして構成される。なお、図２０は、単語が「character」であり、その「character」の訳として「文字」、「登場人物」を想定した例である。
【０１４４】
共起関係データベース１９０３は複数の単語に対するデータを保持し、それぞれの単語についてその訳とその訳として使われる確率値などを保持するものとする。
【０１４５】
認識した単語と当該単語と共起する単語があった場合に、共起関係データベース１９０３を使って、当該単語に対する値a、値bを比べることで、認識した単語に対する最も適切な訳を得ることができる。例えば、「character」の日本語訳には「文字」や「登場人物」などがあるが、「recognition」という単語が共起した場合、「character」の日本語訳として「文字」が適切である割合が0.95、また、「登場人物」が適切である割合が0.05とする。この場合、「character」の日本語訳としてはその適切な割合を表す値が大きい「文字」を選択すればよい。
【０１４６】
SV記憶部１９０４は、通信部から受信するデータなど、サーバ１９００で扱うデータを記憶しておく。SV画像認識部１９０５は、画像情報に含まれる文字や記号等の識別情報を認識する。
【０１４７】
記憶部１０４に記憶されたSV辞書データ１９０６には、例えば、外国語の単語等といった識別情報、当該識別情報の日本語訳及び当該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL、当該識別情報に関する画像や音声等が含まれる。
【０１４８】
SV検索部１９０９は、単語および当該単語と共起する単語を用い、共起関係データベース１９０３を参照して、単語２００１の適切な日本語訳を選択する。
【０１４９】
ユーザ登録データベース１９１０は、サーバ１９００に接続できるユーザであることを証明するためのユーザIDやパスワードを記録しているデータベースである。
【０１５０】
次に、図２１のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１５１】
図１５のステップS1501〜ステップS1507と同様の処理を行うことにより、モニタ表示をしている状態（ステップS2101）から、画像を撮像して文字認識した結果を記憶部１０４に保存した状態になる（ステップS1502〜ステップS1504）。ステップS2105では、記憶された認識結果から認識位置データ及び認識単語データを抽出する。ここで、認識位置データとは、撮像部１０３により撮像された画像に含まれる認識対象となる単語の画像上の位置に関するデータのことであり、また、認識単語データとは、ステップS2105において検索部１０９により検索された結果見つけられた単語のことである。
【０１５２】
次に、サーバ１９００と接続するように指示を出すアクセス信号が入力部１０１などを介してＣＰＵ１０２に入力されると、ＣＰＵ１０２は、通信部１０８を介して所定のサーバにアクセス信号を送信する（ステップＳ2107）。
【０１５３】
次に、アクセス信号を受信したサーバ１９００よりユーザＩＤ及びユーザＩＤに対応したパスワードの入力要求信号が送信される。その要求信号を携帯電話１００が受信すれば（ステップＳ2108）、ＣＰＵ１０２は、表示部１０７にユーザＩＤ及びパスワードの入力用画面を表示する。入力画面等を介してユーザＩＤ及びパスワードが入力されれば、それをサーバ１９００に送信する（ステップＳ2109）。ここで、ユーザＩＤ及びパスワードをユーザが入力する認証する形態を考えたが、ユーザの認証が行うことができればこれに限定されるものではない。例えば、声紋、指紋、虹彩などを用いて認証を行ってもよい。
【０１５４】
ＣＰＵ１０２は、サーバから受信した信号が認証成功データか認証失敗データのいずれであるかを判定し（ステップＳ2110）、当該信号が認証失敗データの場合は、入力用画面を再度表示部１０７に表示し、当該信号が認証成功データの場合は、撮像部１０３により撮像された画像、認識位置データ及び認識単語データなどをサーバ１９００に送信する（ステップS2111）。
【０１５５】
その後、サーバ１９００から認識単語データに対する訳を示す最適翻訳データを受信すると、ＣＰＵ１０２は（ステップS2112）、最適翻訳データを表示部１０７に表示する（ステップS2113）。
【０１５６】
次に、図２２のフローチャートを用いて、本実施例におけるサーバ１９００の処理手順を説明する。
【０１５７】
サーバ１９００が携帯電話１００などの端末からのアクセス信号を受信する（ステップS2201）と、続いて携帯電話１００にユーザＩＤとパスワードの入力を要求する（ステップＳ2201）、携帯電話１００からユーザＩＤとパスワードを受信すると（ステップS2202）、SV-ＣＰＵ１９０２がユーザ登録データ１９１０を参照する。ユーザ登録データ１９１０に登録されているユーザＩＤとパスワードに一致するものが見つかれば、SV-ＣＰＵ１９０２は、SV通信部１９０８を介してユーザ認証が確認できたことを携帯電話１００に通知し（ステップS2204）、携帯電話１００から画像、認識位置データ及び認識単語データを受信する（ステップS2205）。
【０１５８】
次に、SV画像認識部１９０５は、受信した画像に含まれる文字を認識する。図２３は、受信した画像の例を示している。SV画像認識部１９０５は認識処理を行う際に、まず、画像に含まれる全部の単語を抽出し、その認識位置データを求める。このうち、抽出領域の一辺が画像の端にかかる単語は認識対象外の単語としてみなされる。
【０１５９】
図２３の画像例では、単語２３０１のように網掛けの四角で囲んだ単語は認識対象外の単語としてみなされる。それ以外の単語、図２３の画像例では、単語２３０３「The」のように抽出領域が画像の端にかからない単語を認識し、認識結果と一致する、もしくは、一番類似する単語をSV辞書データ１９０６からSV検索部１９０９が検索する（ステップS2206）。
【０１６０】
ここで、ユーザが認識したい単語を「認識対象単語」、実際に携帯電話が認識した対象の単語を「認識単語」と定義する。通常は、認識対象単語と認識単語は一致するが、認識精度が低いなどの理由で両者が異なる場合がある。例えば、「abalone」の翻訳をユーザが欲する場合に「abalone」ではなく誤って認識してしまい、認識対象単語は「abalone」、認識単語は「abalome」となる場合がある。その場合は、誤って認識された「abalome」が辞書データにあるかどうかが検索され、もし無ければ辞書データが有する単語の中で一番類似した単語（例えば、abalone）を認識単語とみなすような処理が行われる。
【０１６１】
次に、携帯電話から受信した認識位置データおよび認識単語データに基づいて確定される単語（以後、翻訳対象単語）以外の認識対象単語（以後、共起単語）の数ｎを計測する（ステップS2207）。ステップS2208において、共起単語数ｎが１つ以上ある場合は、共起関係データベース１９０３に翻訳対象単語があるかどうかを判定し（ステップS2209）、あった場合は、共起関係データベース１９０３の列２００４に共起単語と一致する単語があるかどうかを判定する（ステップS2210）。
【０１６２】
共起単語と一致した単語が共起関係データベースにあった場合は、翻訳対象単語の訳のうちで最も適切な訳を決定する（ステップＳ2211）。
【０１６３】
決定方法としては、共起関係データベース１９０３の共起単語に対するそれぞれの訳に基づいて確率を計算する。例えば、翻訳対象単語が「character」、共起単語が「string」と「recognition」であった場合を考える。共起単語に「string」が存在した場合の訳が「文字」となる割合は0.90、また共起単語に「recognition」が存在した場合の訳が「文字」となる割合は0.95、これらの値を足し合わせると1.85となる。また、同様の計算を訳「登場人物」に対して行なうと、合計の値は0.08となる。これらの値が最大となる訳を、最も適切な訳として扱うことができる。なお、上記では、割合値を足し合わせて最適な訳を決定したが、これに限定するものではなく、乗算、割算又は除算等を組合せたりして決定してもよい。最後に、最適翻訳データを端末に送信するステップ（S2212）。
【０１６４】
また、ステップS2208において共起単語数ｎが０であった場合、ステップS2213に進み、代表となる訳をSV辞書データ１９０６から検索する。ステップS2214で、その訳を端末に送信する。
【０１６５】
また、ステップS2209において共起関係データベース１９０３に翻訳対象単語がなかった場合と、ステップS2210において共起関係データベース１９０３に共起単語と一致する単語がなかった場合は、同様にステップS2213に進み、代表訳を端末に送信する。
【０１６６】
なお、上記フローではステップS2211で最適翻訳データを決定したが、複数の訳の候補を決定してもよい。共起単語に対応した割合の合計値を、大きい順に、例えば、６個求める。このデータを翻訳表示順序データと呼ぶ。図２５（１）は、「character」の訳を並び替える前の状態であり、（２）は訳の意味として適切な順に並び替えた後の状態である。
【０１６７】
この翻訳表示順序データに基づいて訳を端末に送信する。翻訳表示順序データを受信した携帯電話のＣＰＵ１０２は、当該翻訳表示順序データに基いて翻訳を並び替えて表示部１０７に表示するように制御する。
【０１６８】
これにより、ユーザは、認識対象単語の意味を知ることができるうえ、その認識対象単語が文脈上どのような意味を持つ可能性が高いかを容易に知ることができ、使い勝手がよい
また、サーバにより選択された最適な訳が間違っている場合も想定されるが、そうした場合でも、図２５のように最適な訳だけでなく、その他の訳の候補を並べて列挙することにより、ユーザ自身が文脈上から判断する際の大きな手助けとなり得る。
【０１６９】
次に、携帯電話とサーバとのやり取りに係る処理例を図２４を用いて説明する。ここでは、携帯電話である単語を文字認識してその最適な訳をサーバから受信する場合を想定する。
【０１７０】
まず、ある単語（以下、認識対象単語）を撮像部１０３及び画像認識部１０５により認識すると（ステップS2401）、ＣＰＵ１０２は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データを抽出する（ステップS2402）。次に、ユーザが当該認識対象単語の詳細な訳を参照する指示を入力部１０１等を介して行うと、ＣＰＵ１０２は、サーバと接続するためのアクセス信号を送信する（ステップS2403）。
【０１７１】
アクセス信号を受信したサーバは、携帯電話にユーザＩＤとパスワードを要求するためにＩＤ・パスワード要求信号を送信し（ステップＳ2404、ステップＳ2405）、ＩＤ・パスワード要求信号を受信した携帯電話のＣＰＵ１０２は、ユーザによりＩＤ及びパスワードを入力画面等を介して入力された後にサーバにＩＤ及びパスワードを送信する（ステップＳ2406）。
【０１７２】
次に、サーバは受信したユーザＩＤ及びパスワードに基づいて正規の登録者か否かの認証を行う。認証を行った結果、正規の登録者と認められた場合（有効）には、サーバ１９００は認証成功データを送信し、正規の登録者と認められない場合（無効）には認証失敗データを送信する（ステップＳ2407〜ステップＳ2409）。ここでは、認証が有効であった場合を考える。
【０１７３】
認証成功データを受信した携帯電話は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データをサーバに送信する（ステップＳ2410、ステップＳ2411）。
【０１７４】
画像データ、認識単語データ及び認識位置データを受信したサーバは、前述したように、認識単語データから画像データ内に含まれる認識対象単語を特定し（ステップＳ2413）、画像データ内に含まれる認識単語データ以外の単語で、かつ、画像データの上下左右の端などで単語の途中で途切れて画像データの枠からはみ出した単語（共起単語）を抽出し、認識処理を行う（ステップＳ2412〜ステップＳ2414）。その後、サーバが所有する共起関係データベースを参照して、認識対象単語の最適な訳を示す最適翻訳データを携帯電話に送信する（ステップＳ2415、ステップＳ2416）。
【０１７５】
最適翻訳データを受信した携帯電話は、最適翻訳データを表示部１０７に表示する（ステップＳ2417、ステップＳ2418）。
【０１７６】
以上により、ユーザは、ある単語の翻訳をその文脈に沿った最適な訳を参照することができ、使い勝手がよい。また、処理能力及び記憶容量が通常携帯電話より優れているサーバに共起関係データベースの蓄積及び共起データベースから最適な翻訳を決定する処理等を負担させることにより、携帯電話の処理負担及び記憶容量の軽減に貢献するとともに、処理能力や記憶容量の面でバランスのとれたシステムを実現できる。
【０１７７】
更に、サーバの立場から見ると、上述したような情報処理を行うサーバを利用して、「最適翻訳サービス」等のサービスを想定すれば、例えば、毎月定額の収入を得られて経済的な面でも効果的である。
【０１７８】
また、ユーザには無料又は低額で提供する代わりに広告会社と契約してその広告会社から広告代としての収入を得るようにしても構わない。この場合、サーバは、その広告に関するデータを最適翻訳データに付加して携帯電話に送信し、その広告データ及び最適翻訳データを受信した携帯電話は、最適翻訳データとともに広告データも表示するようにすればよい。その際に、広告データを最適翻訳データと重ならないように両者を表示するための位置データもサーバが送信し、その位置データを受信した携帯電話がその位置データに基いて表示するようにすれば、ユーザは、最適な翻訳と広告が混在せずに見ることができる。
【０１７９】
なお、上述してきた種々の機能をソフトウェアで実現してもよく、ユーザは、例えば、記録媒体やサーバから当該ソフトウェアを受信して当該種々の機能を実現できる。これにより、必要な機能だけを搭載したり、また、好みに応じて色々な機能を追加もしくは削除、あるいは更新することが容易となる。
【０１８０】
なお、携帯電話及びサーバが有する画像認識部および検索部はＣＰＵで構成してもよい。更に、上述してきた実施例を組み合わせて構成することができることは言うまでもない。
【０１８１】
また、本発明は、上記に示された実施例に限定されるものではなく、ここに開示された原理及び新しい特性は広範囲の技術的範囲を含むものである。
【０１８２】
【発明の効果】
本発明によれば、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することができる。
【図面の簡単な説明】
【図１】第１の実施例に係る携帯電話の構成ブロック図である。
【図２】辞書データの内容例を示した図である。
【図３】辞書データの内容例を示した図である。
【図４】第１の実施例における処理手順を示すフローチャートである。
【図５】第１の実施例における表示画面例である。
【図６】第２の実施例における表示画面例である。
【図７】第３の実施例に係る履歴表の例である。
【図８】第３の実施例における処理手順を示すフローチャートである。
【図９】第３の実施例における表示画面例である。
【図１０】文字パターンデータをダウンロードする実施例の処理フロー図である。
【図１１】文字パターンデータをダウンロードする実施例の表画面例である。
【図１２】辞書データにＩＤ・パスワードが関連付けされている実施例のイメージ図である。
【図１３】辞書データにＩＤ・パスワードが関連付けされている実施例の処理フロー図である。
【図１４】第４又は第５の実施例における携帯電話の概観図である。
【図１５】第５の実施例における処理手順を示すフローチャートである。
【図１６】第５の実施例における携帯電話の表示画面例である。
【図１７】第６の実施例における携帯電話の表示画面例である。
【図１８】第７の実施例における携帯電話の表示画面例である。
【図１９】第８の実施例における全体システム図である。
【図２０】共起関係データベース例である。
【図２１】第８の実施例の携帯電話の処理手順を示すフローチャートである。
【図２２】第８の実施例のサーバの処理手順を示すフローチャートである。
【図２３】第８の実施例において撮像画像、認識対象単語、共起単語との位置関係を説明する図である。
【図２４】第８の実施例における携帯電話とサーバの処理シーケンス図である
【図２５】第８の実施例における携帯電話の表示画面例である。
【符号の説明】
１００ 携帯電話
１０１ 入力部
１０２ ＣＰＵ
１０３ 撮像部
１０４ 記憶部
１０５ 画像認識部
１０６ 辞書データ
１０７ 表示部
１０８ 通信部
１０９ 検索部
１１０ 辞書フラグ
２００ メイン表示部を有する筐体
３００ 入力部を有する筐体
２０１ 外国語
２０２ 概要翻訳
２０３ 詳細翻訳URL
２０４ URL共通部分
２０５ URL作成方法
７０１ 単語
７０２ 認識回数
７０３ 最終認識時刻
７０４ 確認回数
７０５ 最終確認時刻
１４０１ 通常撮像ボタン
１４０２ 認識撮像ボタン
１４０３ ヒンジ部
１４０７ サブ表示部
１４０８a 入力部
１４０８b 入力部
１９００ サーバ
１９０２ SV-ＣＰＵ
１９０３ 共起関係データベース
１９０４ SV記憶部
１９０５ SV画像認識部
１９０６ SV辞書データ
１９０８ SV通信部
１９０９ SV検索部
１９１０ ユーザ登録データベース
２３０１ 認識対象外の単語
２３０３ 認識対象単語
Claims (3)
- 第１の筐体と第２の筐体とを閉じることが可能なように連結した携帯電話であって、
文字あるいは記号により構成された識別情報に関連する詳細情報を複数記憶したサーバと通信可能な通信部と、
文字あるいは記号により構成された識別情報と前記識別情報に関連する概要情報とを対応させて複数記憶するとともに、前記サーバから詳細情報を取得するために識別情報ごとに設定された複数の接続情報の共通部分である共通接続情報を記憶する記憶部と、
画像情報を出力する撮像部と、
前記撮像部により出力された画像情報あるいは前記記憶部に記憶された情報を表示する表示部と、
前記携帯電話が閉じた状態で前記携帯電話のユーザが操作可能な位置に配置された操作部と、
前記携帯電話が閉じた状態で前記操作部を介して前記表示部に表示された画像情報に含まれる識別情報の認識を行うように指示が入力された場合、前記表示部に表示された画像情報に含まれる識別情報に関連する概要情報を前記記憶部から読み出し、読み出された概要情報を前記表示部に表示するように制御する制御部と、を備え、
前記制御部は、前記概要情報が前記表示部に表示された後に前記携帯電話が閉じた状態から開いた状態になったとき、前記記憶部に記憶された前記共通接続情報と前記識別情報とを用いて、前記識別情報の詳細情報を取得するための接続情報を作成し、前記通信部により前記サーバから前記識別情報の詳細情報を取得するように制御することを特徴とする携帯電話。 - 前記識別情報は単語であり、前記概要情報は前記単語の訳あるいは用例を示す情報であり、前記接続情報はホームページアドレスであることを特徴とする請求項１に記載の携帯電話。
- 請求項１または２に記載の携帯電話は、前記操作部を介して前記表示部に表示された画像情報に含まれる識別情報の認識を行うように指示が入力された場合に認識された識別情報を履歴情報として記憶する履歴記憶部とを備えることを特徴とする携帯電話。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003194007A JP4269811B2 (ja) | 2003-07-09 | 2003-07-09 | 携帯電話 |
| KR1020040052958A KR100699372B1 (ko) | 2003-07-09 | 2004-07-08 | 정보 처리 장치, 정보 처리 방법 및 소프트웨어 |
| CNA2004100635190A CN1578348A (zh) | 2003-07-09 | 2004-07-09 | 信息处理装置、信息处理方法及软件产品 |
| US10/886,727 US20050007444A1 (en) | 2003-07-09 | 2004-07-09 | Information processing apparatus, information processing method, and software product |
| CNA2008100922348A CN101267492A (zh) | 2003-07-09 | 2004-07-09 | 信息处理系统、信息处理方法及服务器 |
| KR1020060048505A KR100698986B1 (ko) | 2003-07-09 | 2006-05-30 | 정보 처리 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003194007A JP4269811B2 (ja) | 2003-07-09 | 2003-07-09 | 携帯電話 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007335602A Division JP2008160852A (ja) | 2007-12-27 | 2007-12-27 | 情報処理装置、情報処理方法及びソフトウェア |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005031827A JP2005031827A (ja) | 2005-02-03 |
| JP4269811B2 true JP4269811B2 (ja) | 2009-05-27 |
Family
ID=33562495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003194007A Expired - Fee Related JP4269811B2 (ja) | 2003-07-09 | 2003-07-09 | 携帯電話 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20050007444A1 (ja) |
| JP (1) | JP4269811B2 (ja) |
| KR (2) | KR100699372B1 (ja) |
| CN (2) | CN1578348A (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060095504A1 (en) * | 2004-08-24 | 2006-05-04 | Gelsey Jonathan I | System and method for optical character information retrieval (OCR) via a thin-client user interface |
| JP4040619B2 (ja) * | 2004-11-08 | 2008-01-30 | キヤノン株式会社 | 画像出力装置およびその制御方法ならびに画像出力システム |
| US20060204098A1 (en) * | 2005-03-07 | 2006-09-14 | Gaast Tjietse V D | Wireless telecommunications terminal comprising a digital camera for character recognition, and a network therefor |
| JP4669730B2 (ja) * | 2005-04-18 | 2011-04-13 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 携帯端末装置及びプログラム |
| KR100754656B1 (ko) * | 2005-06-20 | 2007-09-03 | 삼성전자주식회사 | 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기 |
| US20070124330A1 (en) * | 2005-11-17 | 2007-05-31 | Lydia Glass | Methods of rendering information services and related devices |
| KR100716818B1 (ko) * | 2005-12-29 | 2007-05-09 | 삼성전기주식회사 | 카메라 위치 감지 장치 및 이를 포함하는 휴대폰 |
| JP2007188291A (ja) * | 2006-01-13 | 2007-07-26 | Casio Hitachi Mobile Communications Co Ltd | 携帯通信端末、コンテンツ管理装置およびプログラム |
| US7787693B2 (en) * | 2006-11-20 | 2010-08-31 | Microsoft Corporation | Text detection on mobile communications devices |
| US9015029B2 (en) * | 2007-06-04 | 2015-04-21 | Sony Corporation | Camera dictionary based on object recognition |
| US20090177733A1 (en) * | 2008-01-08 | 2009-07-09 | Albert Talker | Client application localization |
| JP5241345B2 (ja) | 2008-07-01 | 2013-07-17 | キヤノン株式会社 | ジョブ処理装置及び当該ジョブ処理装置のジョブログの管理方法及びジョブ履歴管理システム |
| EP2189926B1 (en) * | 2008-11-21 | 2012-09-19 | beyo GmbH | Method for providing camera-based services using a portable communication device of a user and portable communication device of a user |
| JP5511450B2 (ja) * | 2010-03-16 | 2014-06-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2012144124A1 (ja) * | 2011-04-19 | 2012-10-26 | 日本電気株式会社 | 撮影画像処理システム、撮影画像処理方法、携帯端末及び情報処理装置 |
| US9082035B2 (en) * | 2011-08-29 | 2015-07-14 | Qualcomm Incorporated | Camera OCR with context information |
| WO2014064897A1 (ja) * | 2012-10-25 | 2014-05-01 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JP6733662B2 (ja) * | 2015-03-31 | 2020-08-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
| CN105260381A (zh) * | 2015-09-08 | 2016-01-20 | 百度在线网络技术（北京）有限公司 | 基于图像识别的数据维护方法和装置 |
| CN107360322B (zh) * | 2017-06-30 | 2020-03-03 | 北京小米移动软件有限公司 | 信息提示方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7051086B2 (en) * | 1995-07-27 | 2006-05-23 | Digimarc Corporation | Method of linking on-line data to printed documents |
| TW347503B (en) * | 1995-11-15 | 1998-12-11 | Hitachi Ltd | Character recognition translation system and voice recognition translation system |
| EP0810534B1 (en) * | 1996-05-13 | 2003-03-19 | Oki Electric Industry Co., Ltd. | Document display system and electronic dictionary |
| GB9809679D0 (en) * | 1998-05-06 | 1998-07-01 | Xerox Corp | Portable text capturing method and device therefor |
| JP3506081B2 (ja) * | 1999-12-27 | 2004-03-15 | 日本電気株式会社 | 情報提供方法 |
| US20010032070A1 (en) * | 2000-01-10 | 2001-10-18 | Mordechai Teicher | Apparatus and method for translating visual text |
| US20010056342A1 (en) * | 2000-02-24 | 2001-12-27 | Piehn Thomas Barry | Voice enabled digital camera and language translator |
| US20010053252A1 (en) * | 2000-06-13 | 2001-12-20 | Stuart Creque | Method of knowledge management and information retrieval utilizing natural characteristics of published documents as an index method to a digital content store |
| JP2002024762A (ja) * | 2000-06-30 | 2002-01-25 | Toshiba Corp | 文書認識装置及びその方法 |
| US6823084B2 (en) * | 2000-09-22 | 2004-11-23 | Sri International | Method and apparatus for portably recognizing text in an image sequence of scene imagery |
| KR20020057202A (ko) * | 2000-12-30 | 2002-07-11 | 송문섭 | 차세대 이동통신 단말기의 전자수첩 및 전자사전 장치 |
| WO2002065303A1 (fr) * | 2001-02-13 | 2002-08-22 | Fujitsu Limited | Terminal de reseau a mode d"economie d"energie |
| US20020165801A1 (en) * | 2001-05-02 | 2002-11-07 | Stern Edith H. | System to interpret item identifiers |
| JP4240859B2 (ja) * | 2001-09-05 | 2009-03-18 | 株式会社日立製作所 | 携帯端末装置及び通信システム |
| US6922487B2 (en) * | 2001-11-02 | 2005-07-26 | Xerox Corporation | Method and apparatus for capturing text images |
| US20030120478A1 (en) * | 2001-12-21 | 2003-06-26 | Robert Palmquist | Network-based translation system |
| KR20020068308A (ko) * | 2002-07-18 | 2002-08-27 | 나중열 | 휴대폰스캐너전자사전 |
-
2003
- 2003-07-09 JP JP2003194007A patent/JP4269811B2/ja not_active Expired - Fee Related
-
2004
- 2004-07-08 KR KR1020040052958A patent/KR100699372B1/ko not_active IP Right Cessation
- 2004-07-09 CN CNA2004100635190A patent/CN1578348A/zh active Pending
- 2004-07-09 CN CNA2008100922348A patent/CN101267492A/zh active Pending
- 2004-07-09 US US10/886,727 patent/US20050007444A1/en not_active Abandoned
-
2006
- 2006-05-30 KR KR1020060048505A patent/KR100698986B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005031827A (ja) | 2005-02-03 |
| KR100699372B1 (ko) | 2007-03-27 |
| US20050007444A1 (en) | 2005-01-13 |
| KR100698986B1 (ko) | 2007-03-26 |
| CN1578348A (zh) | 2005-02-09 |
| KR20050007160A (ko) | 2005-01-17 |
| KR20060067942A (ko) | 2006-06-20 |
| CN101267492A (zh) | 2008-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100698986B1 (ko) | 정보 처리 장치 | |
| JP4924721B2 (ja) | 携帯端末、及び、素材バンク管理システム | |
| CN101094301B (zh) | 图像形成设备和图像处理方法 | |
| US8279319B2 (en) | Information processing apparatus, information processing method, and information processing system | |
| JP5611829B2 (ja) | 情報処理装置の動作制御システム及び動作制御方法 | |
| JP4803373B2 (ja) | 操作履歴ブログ自動生成システム、携帯端末、及びプログラム | |
| US9361135B2 (en) | System and method for outputting and selecting processed content information | |
| KR20050101415A (ko) | 전자 명함 관리 방법 | |
| US20070192702A1 (en) | Document processing apparatus, document processing system and data structure of document file | |
| WO2005083579A1 (ja) | 所定のアクセス方法でデータ送信を行なうことのできるデータ処理装置 | |
| KR101871779B1 (ko) | 사진 촬영 및 관리 어플리케이션을 구비한 단말기 | |
| CN100426827C (zh) | 便携式无线通信终端及其表现风格的处理方法 | |
| KR20060096943A (ko) | 정보 처리 장치 및 방법, 및 프로그램 | |
| JP2008160852A (ja) | 情報処理装置、情報処理方法及びソフトウェア | |
| US20080239363A1 (en) | Copier device capable of electronically storing and recalling copied documents | |
| JP2018072985A (ja) | イメージスキャンシステム、イメージスキャナ、情報取得方法及び情報取得プログラム | |
| JP2003122771A (ja) | 情報処理装置及び情報処理方法、並びに情報処理プログラム | |
| JPH11122589A (ja) | テレビ電話装置 | |
| JP3968544B2 (ja) | 情報処理端末および情報処理方法 | |
| JP4173827B2 (ja) | 携帯情報端末、スケジュール管理プログラムおよびスケジュール管理方法 | |
| JPH10326279A (ja) | 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体 | |
| JP2012014332A (ja) | 文書編集装置 | |
| JP2020047227A (ja) | フォトブック作製システム及びサーバ装置 | |
| JP2011170546A (ja) | 文書生成装置及びプログラム | |
| JP2018011240A (ja) | システム、登録装置、アクセス装置、および、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050726 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070404 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |