JP3990253B2 - 携帯電話装置 - Google Patents

携帯電話装置 Download PDF

Info

Publication number
JP3990253B2
JP3990253B2 JP2002302798A JP2002302798A JP3990253B2 JP 3990253 B2 JP3990253 B2 JP 3990253B2 JP 2002302798 A JP2002302798 A JP 2002302798A JP 2002302798 A JP2002302798 A JP 2002302798A JP 3990253 B2 JP3990253 B2 JP 3990253B2
Authority
JP
Japan
Prior art keywords
character
image
mobile phone
phone device
size adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002302798A
Other languages
English (en)
Other versions
JP2004140555A (ja
Inventor
繁 黒沢
Original Assignee
埼玉日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 埼玉日本電気株式会社 filed Critical 埼玉日本電気株式会社
Priority to JP2002302798A priority Critical patent/JP3990253B2/ja
Priority to US10/686,526 priority patent/US20040141644A1/en
Priority to CNB200310101415XA priority patent/CN100505771C/zh
Priority to EP03090355A priority patent/EP1411460A3/en
Publication of JP2004140555A publication Critical patent/JP2004140555A/ja
Application granted granted Critical
Publication of JP3990253B2 publication Critical patent/JP3990253B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/2753Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content
    • H04M1/2755Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content by optical scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • Character Discrimination (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は携帯電話装置に関し、特に、画像を撮影する機能を有する携帯電話装置に関する。
【0002】
【従来の技術】
これまでに、画像を撮影する機能を有する携帯電話装置は数多く提案されている(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開2002−232544号公報
【0004】
【発明が解決しようとする課題】
一般に、携帯電話装置には電話番号、メールアドレスその他のデータを格納するためのメモリが内蔵されている。
【0005】
従来は、そのメモリに電話番号、メールアドレスその他のデータを格納するためには、携帯電話装置に設けられている各種キーその他の入力手段を介して一つ一つの文字を入力することが必要であった。
【0006】
このため、メモリへのデータの格納には少なからず時間を要するとともに、データの誤読またはキーの選択の過誤によるデータ入力ミスは避けられなかった。
【0007】
本発明は、このような点に鑑みてなされたものであり、画像を撮影する機能を有する携帯電話装置において、その画像撮影機能を利用して、データ入力を容易に、かつ、過誤なく行うことを可能にする携帯電話装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
この目的を達成するため、本発明は、第一の態様として、画像を撮影する撮影手段と、前記撮影手段により撮影された画像を表示する画像表示画面と、前記撮影手段により撮影された画像に含まれる文字を認識する機能を有する制御手段と、を備え、撮影される文字を前記制御手段により認識されやすい大きさで撮影するための文字サイズ調整用インジケータが前記画像表示画面に設けられ、前記制御手段は、認識すべき文字列の種類に応じて異なる認識判定基準を有し、複数種類の文字認識モードのなかからユーザにより選択された文字認識モードと対応する認識判定基準に従って、前記撮影手段により撮影された画像に含まれる文字を認識する携帯電話装置を提供する。
【0009】
さらに、本発明は、第二の態様として、画像を撮影する撮影手段と、前記撮影手段により撮影された画像を表示する画像表示画面と、前記撮影手段により撮影された画像に含まれる文字を認識する機能を有する制御手段と、を備え、撮影される文字を前記制御手段により認識されやすい大きさで撮影するための文字サイズ調整用インジケータが前記画像表示画面に設けられ、前記制御手段は、前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する携帯電話装置を提供する。
【0010】
本発明に係る携帯電話装置においては、ユーザが撮影手段を用いて画像撮影すると、制御手段は、撮影された画像の中に含まれる文字を認識し、認識した文字を、例えば、携帯電話装置の画像表示画面に表示し、あるいは、携帯電話装置に内蔵されているメモリに格納する。必要があれば、制御手段は、さらに、その文字の種類に応じた機能を携帯電話装置に実行させることが可能である。例えば、認識された文字がメールアドレスである場合には、メーラーを自動的に起動させることができる。あるいは、認識された文字がURL(Uniform Resource Locator)である場合には、メーラーを自動的に起動させることができる。あるいは、認識された文字が電話番号である場合には、自動的にその電話番号に対して発呼を行わせることができる。
【0011】
このように、本発明に係る携帯電話装置によれば、ユーザは、携帯電話装置のメモリに、キーその他の入力手段を介して、データを構成する一つ一つの文字を入力する必要はなくなり、さらに、短時間でメモリにデータを格納することができるとともに、データの誤読またはキーの選択の過誤によるデータ入力ミスを回避することができる。
【0012】
なお、画像中の文字を認識する機能を有する手段としては、例えば、特開2002−74266号公報または特開2002−133367号公報に記載されているような既存の手段を用いることができる。
【0013】
また、制御手段は、認識すべき文字列の種類に応じて異なる認識判定基準を有し、複数種類の文字認識モードのなかからユーザにより選択された文字認識モード(例えば、電話番号専用認識モード)と対応する認識判定基準に従って文字認識を行う。これにより、文字認識率及び文字認識速度を向上させることができる。
【0014】
また、制御手段が撮影手段により撮影された画像の中の文字を読み取る場合、その文字が大きすぎても、あるいは、小さすぎても、文字の読み取りに要する時間が多くなるとともに、読み取りの正確性に欠けることがあり得る。すなわち、制御手段が画像中の文字を読み取る場合、読み取りに適した文字サイズが存在する。この文字サイズは、画像表示画面の大きさ、画像処理における解像度、制御手段の文字認識機能の程度など種々の要因に依存する。
【0015】
そこで、本発明に係る携帯電話装置においては、制御手段が文字を認識する際に、認識しやすいサイズで文字が撮影されるように、文字サイズ調整用インジケータを画像表示画面に設けた。
【0016】
ユーザが文字を含む画像を撮影する際、画像表示画面中に文字サイズ調整用インジケータが表示される。この文字サイズ調整用インジケータは、例えば、所定の大きさの長方形形状をなしている。ユーザは画像中の文字がこの文字サイズ調整用インジケータの中に納まるように、被写体と携帯電話装置との間の距離を調整した後、撮影手段によりその画像を撮影する。
【0017】
画像内の文字は文字サイズ調整用インジケータの中に納まるような大きさで撮影されるため、制御手段が認識する文字のサイズとしては、最適なサイズになっている。
【0018】
前記文字サイズ調整用インジケータは、前記制御手段が前記機能を実行するモードに設定されている場合にのみ、前記画像表示画面に現れるようにすることが可能である。
【0019】
携帯電話装置には、発呼、着呼及び会話を行うモード、画像を撮影するモード、メールの送信を行うモードなどの種々のモードを設定することができる。文字サイズ調整用インジケータは、携帯電話装置が、制御手段が画像内の文字を認識する機能を実行するモードに設定されている場合にのみ、画像表示画面に現れるようにすることができる。これにより、携帯電話装置が他のモードに設定されている場合に、文字サイズ調整用インジケータが画像表示画面に現れることがなくなる。
【0020】
あるいは、前記文字サイズ調整用インジケータは前記画像表示画面上に予め形成しておくことも可能である。
【0021】
この場合には、携帯電話装置がどのモードに設定されている場合であっても、前記文字サイズ調整用インジケータは画像表示画面上に常時現れていることになるが、携帯電話装置が、制御手段が画像内の文字を認識する機能を実行するモードに設定されている場合にのみ、文字サイズ調整用インジケータが画像表示画面に現れるようにするためのプログラムを作成することが不要になり、制御手段に対する負荷を減らすことができる。
【0022】
例えば、プリント、彫刻、モールド、シールの貼り付けなどの手段により、文字サイズ調整用インジケータを画像表示画面上に予め形成しておくことができる。
【0023】
前記文字サイズ調整用インジケータは長辺が前記画像表示画面の横方向に延びる矩形形状をなしていることが好ましい。
【0024】
文字サイズ調整用インジケータを、例えば、矩形形状に形成する場合、撮影手段により撮影された画像内の文字は文字サイズ調整用インジケータ内において長手方向、すなわち、長辺方向に配列される。
【0025】
仮に、文字サイズ調整用インジケータの長辺を縦方向に配置すると、撮影された文字は横書きの状態で縦方向に配列されることになり、ユーザからは極めて読みにくくなる。このため、文字サイズ調整用インジケータを矩形形状に形成する場合には、その長辺が画像表示画面の横方向(ユーザから見て水平方向)に延びるように文字サイズ調整用インジケータを設定することにより、ユーザにとって見やすい状態で、認識された文字を配列することが可能になる。
【0026】
前記携帯電話装置はタイマー手段をさらに備えることができる。このタイマー手段は、シャッターに対する付勢が解除されたときから前記撮影手段による撮影が行われるまでの間に遅延時間を発生させる。
【0027】
携帯電話装置は一般に軽量であるため、ユーザが撮影手段のシャッターキーを押したときに、そのシャッターキーを押した力で手ブレを生じやすい。このため、本発明に係る携帯電話装置においては、そのような手ブレを防止するためのタイマー手段が設けられている。
【0028】
タイマー手段は、ユーザがシャッターキーを押した後、ユーザがそのシャッターキーを離したときから、撮影手段が撮影を開始するまでの間に遅延時間を発生させる。この遅延時間はデフォルト値として携帯電話装置のメモリに予め設定しておくことが可能であり、例えば、約0.5秒に設定される。
【0029】
このように、タイマー手段により、遅延時間を発生させることにより、手ブレのない状態で画像を撮影することができる。
【0030】
また、タイマー手段が発生させる遅延時間はデフォルト値として予め携帯電話装置に設定しておくことに代えて、ユーザが前記画像表示画面を介して設定可能であるようにすることも可能である。
【0031】
これにより、デフォルト値の遅延時間が適当でないとユーザが判断した場合には、ユーザが最適の遅延時間を設定することができる。
【0032】
前記制御手段により認識された文字列がメールアドレスを構成するものであるときには、前記制御手段は、前記携帯電話装置に内蔵されているメーラーを起動させることができる。
【0033】
このように、認識された文字列がメールアドレスである場合には、直ちにメーラーを起動させるように構成することにより、ユーザがそのつどメーラーを起動させるための操作を行うことが不要になる。
【0034】
前記制御手段により認識された文字列がURLを構成するものであるときには、前記制御手段は、前記携帯電話装置に内蔵されているブラウザを起動させることができる。
【0035】
このように、認識された文字列がURLである場合には、直ちにブラウザを起動させるように構成することにより、ユーザがそのつどブラウザを起動させるための操作を行うことが不要になる。
【0036】
前記制御手段により認識された文字列が数字列を構成するものであるときには、前記制御手段は、その数字列が示す電話番号に対して発呼を行うことができる。
【0037】
このように、認識された文字列が電話番号である場合には、直ちに発呼を行うように構成することにより、ユーザがそのつど発呼のための操作を行うことが不要になる
【0038】
た、本発明は、第の態様として、画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法であって、文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の過程と、前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像全体に対して画像処理を施す第二の過程と、前記画像処理が施された画像から前記文字サイズ調整用インジケータの内部の画像のみを切り出す第三の過程と、前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第四の過程と、前記第四の過程において認識された前記文字を前記画像表示画面に表示する第五の過程と、前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する過程と、を備える携帯電話装置における文字認識方法を提供する。
【0039】
本方法によれば、上述の第二の態様における携帯電話装置と同様の効果を得ることができる他に、次の効果が得られる。すなわち、一回の撮影では、一つの文字列に含まれる全ての文字を撮影できないことがある。このような場合には、その文字列を数回の撮影により分けて全体を撮影し、一回目の撮影により撮影された文字列の後に、二回目の撮影により撮影された文字列を結合させ、以後、このような操作を任意の回数だけ繰り返すことが 可能である。
【0040】
さらに、本発明は、第の態様として、画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法であって、文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の過程と、前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像のうち、前記文字サイズ調整用インジケータの内部の画像に対してのみ画像処理を施す第二の過程と、前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第三の過程と、前記第三の過程において認識された前記文字を前記画像表示画面に表示する第四の過程と、前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する過程と、を備える携帯電話装置における文字認識方法を提供する。
【0041】
上述の第の態様における携帯電話装置においては、撮影された画像全体に対して画像処理を施した後、画像処理が施された画像から文字サイズ調整用インジケータの内部の画像のみを切り出し、その後、文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する。
【0042】
これに対して第の態様における携帯電話装置においては、撮影された画像全体のうち、文字サイズ調整用インジケータの内部の画像に対してのみ画像処理を施し、その後、文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する。このように、本態様における携帯電話装置によれば、撮影された画像全体に対して画像処理を施すことをせず、文字サイズ調整用インジケータの内部の画像に対してのみ画像処理を施す。このため、画像処理に要する時間を短縮することができ、ひいては、文字認識に要する時間を短縮することもできる
【0043】
文字認識方法は、前記画像が撮影される際に、シャッターに対する付勢が解除されたときから撮影が行われるまでの間に遅延時間を発生させる過程をさらに備えることが好ましい。
【0044】
本文字認識方法は、認識された文字列がメールアドレスを構成するものであるときには、前記携帯電話装置に内蔵されているメーラーを起動させる過程をさらに備えることができる。
【0045】
本文字認識方法は、認識された文字列がURLを構成するものであるときには、前記携帯電話装置に内蔵されているブラウザを起動させる過程をさらに備えることができる。
【0046】
本文字認識方法は、認識された文字列が数字列を構成するものであるときには、その数字列が示す電話番号に対して発呼を行う過程をさらに備えることができる。
【0047】
本文字認識方法は、認識すべき文字列の種類に応じて、異なる認識判定基準が設定される過程をさらに備えることができる。
【0048】
さらに、本発明は上述の文字認識方法を制御手段に実行させるためのプログラムを提供する。
【0049】
具体的には、本発明は、画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法をコンピュータに実行させるためのプログラムであって、前記プログラムが行う処理は、文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の処理と、前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像全体に対して画像処理を施す第二の処理と、前記画像処理が施された画像から前記文字サイズ調整用インジケータの内部の画像のみを切り出す第三の処理と、前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第四の処理と、前記第四の処理において認識された前記文字を前記画像表示画面に表示する第五の処理と、前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する処理と、からなるものであるプログラムを提供する。
【0050】
さらに、本発明は、画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法をコンピュータに実行させるためのプログラムであって、前記プログラムが行う処理は、文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の処理と、前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像のうち、前記文字サイズ調整用インジケータの内部の画像に対してのみ画像処理を施す第二の処理と、前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第三の処理と、前記第三の処理において認識された前記文字を前記画像表示画面に表示する第四の処理と、前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する処理と、からなるものであるプログラムを提供する
【0051】
のプログラムは、前記画像が撮影される際に、シャッターに対する付勢が解除されたときから撮影が行われるまでの間に遅延時間を発生させる処理をさらに行うことが好ましい。
【0052】
このプログラムは、認識された文字列がメールアドレスを構成するものであるときには、前記携帯電話装置に内蔵されているメーラーを起動させる処理をさらに行うことが好ましい。
【0053】
このプログラムは、認識された文字列がURLを構成するものであるときには、前記携帯電話装置に内蔵されているブラウザを起動させる処理をさらに行うことが好ましい。
【0054】
このプログラムは、認識された文字列が数字列を構成するものであるときには、その数字列が示す電話番号に対して発呼を行う処理をさらに行うことが好ましい。
【0055】
このプログラムは、認識すべき文字列の種類に応じて、異なる認識判定基準を設定する処理をさらに備えることが好ましい。
【0056】
【発明の実施の形態】
(第一の実施形態)
図1乃至図4は本発明の第一の実施形態に係る携帯電話装置10を表している。図1は、開いた状態における携帯電話装置10の斜視図であり、図2は、閉じた状態における携帯電話装置10の斜視図であり、図3は、開いた状態における携帯電話装置10の背面図である。図4は、携帯電話装置10の内部構造を示す機能ブロック図である。
【0057】
本実施形態に係る携帯電話装置10は、後述するように、電話機としての通常の機能の他に、カメラとしての機能を内蔵している。
【0058】
図1乃至図3に示すように、本実施形態に係る携帯電話装置10は、第一の筐体11と、第二の筐体12とを備えている。第一の筐体11と第二の筐体12とはそれらの一端においてヒンジ機構13を介して接続されており、第一の筐体11と第二の筐体12とはヒンジ機構13を中心として相互に回転可能に結合されている。
【0059】
すなわち、第一の筐体11と第二の筐体12とは、図1に示すような相互に開いた状態と、図2に示すような相互に閉じた状態とをとることができる。
【0060】
第一の筐体11及び第二の筐体12を相互に折り畳んだときに内側になる第二の筐体12の表面121には、データ入力手段として、通信操作あるいは撮影を行うために必要な複数個の操作用キー14が配列されている。
【0061】
また、第一の筐体11及び第二の筐体12を相互に折り畳んだときに内側になる第一の筐体11の表面111の中央には画像表示画面としての液晶表示ディスプレイ15が配置されている。液晶表示ディスプレイ15には、携帯電話装置10の通信操作時には、発着呼の電話番号や電子メールの内容が表示され、あるいは、画像の撮影時には、撮影された画像が表示される。
【0062】
また、図3に示すように、第一の筐体11の背面側には伸縮可能なアンテナ16が配置されている。
【0063】
本実施形態に係る携帯電話装置10は、前述のように、電話機としての機能の他に、カメラとしての機能を内蔵している。カメラは携帯電話装置10に内蔵されており、後述するカメラ機構23のレンズ17が第一の筐体11の表面111の液晶表示ディスプレイ15の上方に露出している。
【0064】
次いで、図4を参照して、本実施形態に係る携帯電話装置10の内部構造を説明する。
【0065】
本実施形態に係る携帯電話装置10は、音声データ及び通信データを送受信するアンテナ16と、音声データまたは通信データの送受信を行う無線送受信部18と、音声データの処理を行うベースバンド処理部19と、受話器及び送話器20と、制御手段としての中央処理装置21と、データ入力手段としての複数個の操作用キー14と、液晶表示ディスプレイからなる画像表示画面15と、着信音を鳴らすとともに、通話の相手方の音声を出力するスピーカ22と、画像を撮影するカメラ機構23と、カメラ機構23が撮影した画像のデータが格納される画像データメモリ25Aと、電話番号、メールアドレス及びURLが格納されるメモリ25Bと、各種アプリケーションソフトが格納されているアプリケーションメモリ26と、携帯電話装置10を構成する上記の各構成要素に対して電流の供給を行う電源制御回路27と、電源制御回路27に対して電流を供給する電源28と、から構成されている。
【0066】
中央処理装置21は、携帯電話装置10を構成する上記の各構成要素の作動を制御するとともに、カメラ機構23により撮影された画像に含まれる文字を認識する機能を有している。
【0067】
本実施形態におけるアプリケーションメモリ26は、電子メールの送受信を実行するソフトウェアとしてのメーラー29と、ウェブへのアクセスを実行するソフトウェアとしてのブラウザ30とを格納している。
【0068】
以上のような構造を有する本実施形態に係る携帯電話装置10は次のように作動する。
【0069】
図5は、本実施形態に係る携帯電話装置10を用いて被写体としての文字を撮影する場合の各過程を示すフローチャートである。以下、図5を参照して、被写体撮影時における携帯電話装置10の文字サイズ調整機能を説明する。
【0070】
本実施形態に係る携帯電話装置10は種々のモードに設定することができ、例えば、次のようなモードに設定することができる。
【0071】
(1)発呼、着呼及び通話を行うための通話モード
(2)画像を撮影し、その画像に含まれる文字を認識する画像撮影モード
(3)電子メールの送信を行う電子メール送信モード
(4)ウェブにアクセスするウェブ閲覧モード
画像表示画面15にはモード設定を行うための画面が常時表示されている。ユーザがこの画面に基づいてモード設定を行い(ステップS100)、画像撮影モードを選択したものとする(ステップS110)。
【0072】
画像撮影モードが選択されると、中央処理装置21は、画像表示画面15に文字サイズ調整用インジケータ31を表示する(ステップS120)。
【0073】
文字サイズ調整用インジケータ31は、被写体としての文字が文字サイズ調整用インジケータ31の中に過不足なく納まった場合に、その文字が中央処理装置21により最も認識されやすいサイズになるように、大きさが予め定められている。
【0074】
文字サイズ調整用インジケータ31の一例を図6に示す。
【0075】
図6に示すように、文字サイズ調整用インジケータ31は全体として横に長い長方形形状をなしており、長方形の四隅を示す記号31a、31b、31c、31dと、各長辺の中点を示す記号31e、31fと、長方形の中心を示す記号31gとから構成されている。
【0076】
画像表示画面15内における文字サイズ調整用インジケータ31の位置は任意である。図6のように画像表示画面15の中央に位置してもよく、あるいは、画像表示画面15の上方側または下方側に位置してもよい。
【0077】
画像表示画面15内に文字サイズ調整用インジケータ31が表示されると、ユーザは被写体に含まれている文字のサイズが文字サイズ調整用インジケータ31のサイズと一致するように、携帯電話装置10(すなわち、カメラ機構23あるいはユーザ自身)と被写体である文字との間の距離を調整する。
【0078】
具体的には、図7に示すように、被写体としての文字が文字サイズ調整用インジケータ31の内部に過不足なく納まるように、携帯電話装置10と被写体である文字との間の距離を調整する。
【0079】
仮に、図8に示すように、被写体としての文字が文字サイズ調整用インジケータ31よりも大きい場合には、携帯電話装置10(すなわち、カメラ機構23)を持っているユーザが被写体から離れればよく、逆に、図9に示すように、被写体としての文字が文字サイズ調整用インジケータ31に対して小さすぎる場合には、ユーザが被写体に近づけばよい。
【0080】
このように、ユーザが文字サイズ調整用インジケータ31を用いて被写体としての文字のサイズを文字認識に最も適したサイズに調整した後(ステップS130)、ユーザがカメラ機構23のシャッターキー(操作用キー14の中の一つ)を押すことにより、被写体としての文字が撮影される(ステップS140)。
【0081】
このようにして撮影された文字は中央処理装置21により認識されるのに最も適したサイズになっているため、中央処理装置21が文字を認識する際の文字認識率を向上させることができる。
【0082】
また、不要な領域の読み取りを行わない点でも文字の認識率及び読み取り時間の向上を図ることができる。
【0083】
図6に示したように、長方形形状の文字サイズ調整用インジケータ31はその長辺が画像表示画面15の横方向Xに延びるように配置される。
【0084】
仮に、文字サイズ調整用インジケータ31の長辺を画像表示画面15の縦方向Yに配置すると、撮影された文字は横書きの状態でありながら縦方向に配列されることになり、ユーザにとっては極めて読みにくくなる。このため、文字サイズ調整用インジケータ31を長方形形状に形成する場合には、その長辺が画像表示画面15の横方向、すなわち、ユーザから見て水平方向に延びるように文字サイズ調整用インジケータ31を設定することが好ましい。
【0085】
なお、文字サイズ調整用インジケータ31の形状は長方形形状に限定されるものではなく、その内部に撮影した文字を配列できるような形状であれば、いかなる形状をも選択することが可能である。例えば、文字サイズ調整用インジケータ31は正方形、横に長い菱形、横に長い長円形状などに設定することができる。
【0086】
本実施形態においては、文字サイズ調整用インジケータ31は、ユーザが画像撮影モードを選択した場合にのみ、画像表示画面15に表示される。このようにすることによって、ユーザが他のモードを設定した場合に、文字サイズ調整用インジケータ31によって画像表示画面15に表示された画像が見にくくなることを防止することができる。
【0087】
あるいは、文字サイズ調整用インジケータ31は画像表示画面15上に固定的に配置しておくことも可能である。例えば、文字サイズ調整用インジケータ31を画像表示画面15上に予めプリントしておくことも可能である。
【0088】
この場合には、携帯電話装置10がどのモードに設定されている場合であっても、文字サイズ調整用インジケータ31は画像表示画面15上に常時現れていることになる。しかしながら、携帯電話装置10が画像撮影モードに設定されている場合にのみ、文字サイズ調整用インジケータ31が画像表示画面15に現れるようにするためのプログラムを作成することが不要になるとともに、中央処理装置21はそのような制御を行うことが不要になるため、中央処理装置21に対する負荷を減らすことができる。
【0089】
なお、図6に示すように、画像表示画面15の最下端には、中央処理装置21により認識された文字を表示するための認識文字表示部15aが設けられている。
【0090】
図10及び図11は、画像撮影後における携帯電話装置10の動作を示すフローチャートである。以下、図10及び図11を参照して、画像撮影後の携帯電話装置10の動作を説明する。
【0091】
被写体としての文字が撮影されると(ステップS140)、中央処理装置21はその画像に対して必要な画像処理を施す(ステップS150)。
【0092】
次いで、中央処理装置21は、必要に応じて、画像処理を施した画像を画像データメモリ25Aに格納する(ステップS160)。
【0093】
次いで、中央処理装置21は、撮影された画像から文字サイズ調整用インジケータ31の内部の画像のみを切り出す(ステップS170)。
【0094】
次いで、中央処理装置21は、切り出された文字サイズ調整用インジケータ31の内部の画像内に含まれている文字を認識する(ステップS180)。
【0095】
次いで、中央処理装置21は、認識した文字を画像データメモリ25A(または、他のメモリ)に保存するとともに(ステップS190)、認識した文字を画像表示画面15の認識文字表示部15aに表示する(ステップS200)。
【0096】
次いで、中央処理装置21は、ユーザに対して、再度の撮影を行うか否かの問い合わせを画像表示画面15に表示する(ステップS210)。
【0097】
被写体としての文字の列が文字サイズ調整用インジケータ31の横方向の長さよりも長い場合には、一回の撮影では、全ての文字を文字サイズ調整用インジケータ31内に納めることができない。このため、そのような場合には、必要な回数の撮影を行い、中央処理装置21は、撮影され、さらに、認識した文字を順次画像表示画面15に表示する。
【0098】
例えば、被写体としての文字列が「http://www.biglobe.ne.jp」であり、一回の撮影で文字サイズ調整用インジケータ31に納まる文字の数は6であるとする。
【0099】
この場合、一回目の撮影では「http:/」の部分が撮影され、さらに、中央処理装置21により文字認識され、その後、画像表示画面15の認識文字表示部15aに表示される。
【0100】
二回目の撮影では「/www.b」の部分が撮影され、さらに、中央処理装置21により文字認識され、その後、「http:/」の後に続けて画像表示画面15の認識文字表示部15aに表示される。
【0101】
三回目の撮影では「iglobe」の部分が撮影され、さらに、中央処理装置21により文字認識され、その後、「/www.b」の後に続けて画像表示画面15の認識文字表示部15aに表示される。
【0102】
四回目の撮影では「.ne.jp」の部分が撮影され、さらに、中央処理装置21により文字認識され、その後、「iglobe」の後に続けて画像表示画面15の認識文字表示部15aに表示される。
【0103】
このようにして、文字サイズ調整用インジケータ31の長さよりも長い文字列は数回に分けて撮影され、最終的には、画像表示画面15の認識文字表示部15aに全てが結合された状態で表示される。
【0104】
以上のように、二回目以降の撮影が必要な場合には(ステップS210のYES)、必要な回数の撮影が行われる。
【0105】
一回の撮影で全ての文字を撮影できた場合、あるいは、必要な回数の撮影が終了した場合には(ステップS210のNO)、中央処理装置21は、ユーザに対して、画像表示画面15の認識文字表示部15aに表示された文字列の編集を行うか否かの問い合わせを画像表示画面15に表示する(ステップS220)。
【0106】
ここに、「文字列の編集」とは、画像表示画面15の認識文字表示部15aに表示された文字列に誤り(すなわち、中央処理装置21の認識の誤り)がある場合に、ユーザが操作用キー14を介してその誤りを訂正する作業を指す。
【0107】
文字列の編集を行う場合には(ステップS220のYES)、ユーザは操作用キー14を介して文字列に対して必要な修正または追加を施す(ステップS230)。
【0108】
文字列の編集を行う必要がない場合(ステップS220のNO)または文字列の編集が終了した場合には、中央処理装置21は、以上のようにして確定された文字列が電話番号を表すものであるか否かを判定する(ステップS240)。
【0109】
文字列が電話番号を表すものである場合には(ステップS240のYES)、中央処理装置21は、ユーザに対して、その電話番号を登録するか否かの問い合わせを画像表示画面15に表示する(ステップS250)。
【0110】
ユーザから「登録する」の回答が得られた場合には(ステップS250のYES)、中央処理装置21はその電話番号をメモリ25Bに記憶させる(ステップS260)。
【0111】
その電話番号を登録する必要がない場合(ステップS250のNO)またはメモリ25Bへの登録が終了した場合、中央処理装置21は、ユーザに対して、その電話番号に対して発呼を行うか否かの問い合わせを画像表示画面15に表示する(ステップS270)。
【0112】
ユーザが「発呼を行う」を選択した場合には(ステップS270のYES)、その電話番号に対して発呼を行う(ステップS280)。以後、通常の通話が行われる。
【0113】
ユーザが「発呼を行わない」を選択した場合には(ステップS270のNO)、または、確定した文字列が電話番号を表すものではない場合(ステップS240のNO)、中央処理装置21は、確定された文字列がメールアドレスを表すものであるか否かを判定する(ステップS290)。
【0114】
文字列がメールアドレスを表すものである場合には(ステップS290のYES)、中央処理装置21は、ユーザに対して、そのメールアドレスを登録するか否かの問い合わせを画像表示画面15に表示する(ステップS300)。
【0115】
ユーザから「登録する」の回答が得られた場合には(ステップS300のYES)、中央処理装置21はそのメールアドレスをメモリ25Bに記憶させる(ステップS310)。
【0116】
そのメールアドレスを登録する必要がない場合(ステップS300のNO)またはメモリ25Bへの登録が終了した場合、中央処理装置21は、ユーザに対して、そのメールアドレスに対して電子メールの送信を行うか否かの問い合わせを画像表示画面15に表示する(ステップS320)。
【0117】
ユーザが「電子メールの送信を行う」を選択した場合には(ステップS320のYES)、中央処理装置21は、アプリケーションメモリ26に格納されているメーラー29を呼び出し、メーラー29を起動させる(ステップS330)。以後、ユーザがメール用文章を作成すると、その文章が上記のメールアドレスに送信される。
【0118】
ユーザが「電子メールの送信を行わない」を選択した場合には(ステップS320のNO)、または、確定した文字列がメールアドレスを表すものではない場合(ステップS290のNO)、中央処理装置21は、確定された文字列がURLを表すものであるか否かを判定する(ステップS340)。
【0119】
文字列がURLを表すものである場合には(ステップS340のYES)、中央処理装置21は、ユーザに対して、そのURLを登録するか否かの問い合わせを画像表示画面15に表示する(ステップS350)。
【0120】
ユーザから「登録する」の回答が得られた場合には(ステップS350のYES)、中央処理装置21はそのメールアドレスをメモリ25Bに記憶させる(ステップS360)。
【0121】
そのURLを登録する必要がない場合(ステップS350のNO)またはメモリ25Bへの登録が終了した場合、中央処理装置21は、ユーザに対して、そのURLに対してアクセスを行うか否かの問い合わせを画像表示画面15に表示する(ステップS370)。
【0122】
ユーザが「アクセスを行う」を選択した場合には(ステップS370のYES)、中央処理装置21は、アプリケーションメモリ26に格納されているブラウザ30を呼び出し、ブラウザ30を起動させる(ステップS380)。
【0123】
ブラウザ30が起動されると、そのURLにより特定されるウェブに自動的にアクセスされる。このため、ユーザは、特別な操作を行うことなく、そのウェブを閲覧することができる。
【0124】
ユーザが「アクセスを行わない」を選択した場合には(ステップS370のNO)、または、確定した文字列がURLを表すものではない場合(ステップS340のNO)、中央処理装置21は、確定された文字列は電話番号、メールアドレス及びURL以外のデータ、例えば、住所、氏名、地名などのデータと判定し、ユーザに対して、それらのデータを保存するか否かの問い合わせを画像表示画面15に表示する(ステップS390)。
【0125】
ユーザが「保存する」を選択した場合には(ステップS390のYES)、中央処理装置21は、それらのデータをメモリ25Bに記憶する。
【0126】
ユーザが「保存しない」を選択した場合には(ステップS390のNO)、中央処理装置21は、それらのデータを消去し、文字認識作業を終了する(ステップS410)。
【0127】
以上のように、本実施形態に係る携帯電話装置10によれば、画像表示画面15に設けられた文字サイズ調整用インジケータ31により、被写体としての文字は中央処理装置21が認識しやすいサイズで撮影される。このため、中央処理装置21による文字の認識率を向上させることができる。
【0128】
(第二の実施形態)
図12は、本発明の第二の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【0129】
第二の実施形態に係る携帯電話装置の構造は、図4に示した第一の実施形態に係る携帯電話装置10の構造と同一である。第二の実施形態に係る携帯電話装置は動作に関して第一の実施形態に係る携帯電話装置10と異なっている。
【0130】
被写体としての文字が撮影されると(ステップS500)、中央処理装置21はその画像のうち、文字サイズ調整用インジケータ31の内部の画像のみに対して必要な画像処理を施す(ステップS510)。
【0131】
次いで、中央処理装置21は、必要に応じて、画像処理を施した画像を画像データメモリ25Aに格納する(ステップS520)。
【0132】
次いで、中央処理装置21は、文字サイズ調整用インジケータ31の内部の画像内に含まれている文字を認識する(ステップS530)。
【0133】
次いで、中央処理装置21は、認識した文字を画像データメモリ25A(または、他のメモリ)に保存するとともに(ステップS540)、認識した文字を画像表示画面15の認識文字表示部15aに表示する(ステップS550)。
【0134】
以後、図5に示したステップS210以後の各過程が実施される。
【0135】
上述の第一の実施形態においては、撮影された画像全体に対して画像処理が施されていた。その後、画像処理が施された画像から文字サイズ調整用インジケータ31の内部の画像のみを切り出し文字サイズ調整用インジケータ31の内部の画像に含まれる文字を認識する作業が行われていた。
【0136】
これに対して、本実施形態においては、撮影された画像全体のうち、文字サイズ調整用インジケータ31の内部の画像に対してのみ画像処理を施す。その後、その画像に含まれる文字を認識する。このように、本実施形態によれば、撮影された画像全体に対して画像処理を施すことをせず、文字サイズ調整用インジケータ31の内部の画像に対してのみ画像処理を施す。このため、画像処理に要する時間を短縮することができ、ひいては、文字認識に要する時間を短縮することもできる。
【0137】
(第三の実施形態)
図13は、本発明の第三の実施形態に係る携帯電話装置40の構造を示す機能ブロック図である。
【0138】
本実施形態に係る携帯電話装置40は、音声データ及び通信データを送受信するアンテナ16と、音声データまたは通信データの送受信を行う無線送受信部18と、音声データの処理を行うベースバンド処理部19と、受話器及び送話器20と、中央処理装置21と、データ入力手段としての複数個の操作用キー14と、液晶表示ディスプレイからなる画像表示画面15と、着信音を鳴らすとともに、通話の相手方の音声を出力するスピーカ22と、画像を撮影するカメラ機構23と、タイマー24と、カメラ機構23が撮影した画像のデータが格納される画像データメモリ25Aと、電話番号、メールアドレス及びURLが格納されるメモリ25Bと、各種アプリケーションソフトが格納されているアプリケーションメモリ26と、携帯電話装置10を構成する上記の各構成要素に対して電流の供給を行う電源制御回路27と、電源制御回路27に対して電流を供給する電源28と、から構成されている。
【0139】
第一の実施形態に係る携帯電話装置10と比較して、本実施形態に係る携帯電話装置40はタイマー24を追加して備えている。
【0140】
タイマー24は、画像が撮影される際に、シャッターに対する付勢が解除されたときから撮影が行われるまでの間に遅延時間を発生させる。
【0141】
図14は、本実施形態に係る携帯電話装置40の動作を示すフローチャートである。
【0142】
先ず、ユーザがモード設定を行い(ステップS100)、画像撮影モードを選択したものとする(ステップS110)。
【0143】
画像撮影モードが選択されると、中央処理装置21は、画像表示画面15に文字サイズ調整用インジケータ31を表示する(ステップS120)。
【0144】
次いで、ユーザが、被写体との間の距離を調整することによって、文字サイズ調整用インジケータ31を用いて被写体としての文字のサイズを文字認識に最も適したサイズに調整する(ステップS130)。
【0145】
このようにしてユーザと被写体としての文字との間の距離が最適化された後、ユーザがシャッターキーを押し(ステップS600)、次いで、シャッターキーを離す(ステップS610)。
【0146】
中央処理装置21は、ユーザがシャッターキーを離した瞬間からタイマー24を作動させ、計時を開始する(ステップS620)。
【0147】
予め設定されている遅延時間N秒が経過した時点において(ステップS630)、中央処理装置21は、カメラ機構23のシャッターを開け、被写体としての文字の画像を取り込む(ステップS640)。
【0148】
携帯電話装置は一般に軽量であるため、ユーザがシャッターキーを押したときに、そのシャッターキーを押した力でいわゆる手ブレを生じやすい。本実施形態におけるタイマー24は、ユーザがシャッターキーを押した後、ユーザがそのシャッターキーを離したときから、カメラ機構23が撮影を開始するまでの間に遅延時間N秒を発生させる。このように、タイマー24により、遅延時間を発生させることにより、手ブレによる画像のぼやけを生じることなく、被写体の画像を撮影することができる。
【0149】
遅延時間N秒はデフォルト値として携帯電話装置のメモリに予め設定しておくことが可能である。例えば、本実施形態においては、約0.5秒に設定されている。
【0150】
また、遅延時間N秒はユーザが画像表示画面15を介して任意の値に設定することができるようにしてもよい。
【0151】
これにより、デフォルト値の遅延時間が適当でないとユーザが判断した場合には、ユーザが最適の遅延時間を設定することができる。
【0152】
(第四の実施形態)
図15は、本発明の第四の実施形態に係る携帯電話装置の動作の一部を示すフローチャートである。
【0153】
本実施形態に係る携帯電話装置においては、中央処理装置21が文字列の認識を行う際に、文字列の種類に応じて、予め判定基準が設定される。以下、図15を参照して、本実施形態に係る携帯電話装置における文字認識の方法について説明する。
【0154】
本実施形態においては、中央処理装置21が文字認識(図10のステップS180または図12のステップS530)を行おうとする際、中央処理装置21は次の4種類の文字認識モードのリストを画像表示画面15に表示し、ユーザに何れか一つの文字認識モードを選択させる(ステップS700)。
【0155】
(1)電話番号専用認識モード
(2)メールアドレス専用認識モード
(3)URL専用認識モード
(4)自動設定モード
以下に述べるように、ユーザが、例えば、電話番号専用認識モードを選択すると、中央処理装置21は撮影した文字から電話番号のみを認識することとなる。このため、認識率及び認識速度を向上させることが可能である。
【0156】
ユーザが電話番号専用認識モードを選択すると(ステップS710)、中央処理装置21はメモリ(図4では図示せず)に記憶されている電話番号用判定基準を読み出す(ステップS720)。
【0157】
この電話番号用判定基準に従って、中央処理装置21は、次のようにして、撮影された文字列の中から電話番号を認識する(ステップS730)。
【0158】
撮影された文字列の中に「−」(ハイフン)または「(」(左括弧)及び「)」(右括弧)が存在することが判定された場合には、0から9までの10個の数字のみを検索の対象とし、他の文字は検索の対象外とする。
【0159】
これは、一般に、電話番号の市外局番と市内局番との区別には「−」(ハイフン)や「( )」(括弧)が使用されることが多いという事実に基づくものである。
【0160】
具体的には、撮影された文字列の中に0から9までの10個の数字からなる文字列が存在した場合には、その前後の文字は認識の対象とはせずに、全て削除する。
【0161】
ただし、被写体としての文字を数回に分けて撮影した場合であって、2回目以降に撮影した文字列の先頭の文字が「)」(右括弧)であるときには、1回目に撮影した文字列の中に「(」(左括弧)が含まれていれば、それらの「)」(右括弧)及び「(」(左括弧)は削除しない。
【0162】
例えば、被写体としての文字列が「090(1234)5678」からなる電話番号である場合を想定する。
【0163】
ここで、1回目の撮影で「090(1234」を撮影し、2回目の撮影で残りの「)5678」を撮影したものとする。
【0164】
この場合、電話番号専用認識モードにおいては0から9までの数字のみが認識の対象とされているので、2回目に撮影された文字列の先頭の「)」は数字ではないと認識される。しかしながら、1回目に撮影された文字列の中には「(」が存在するため、「)」は「(」とともに有効な文字として認識される。
【0165】
この結果、中央処理装置21は、1回目の撮影により認識された文字列「090(1234」と2回目の撮影により認識された文字列「)5678」とを合わせて、「090(1234)5678」という文字列からなる電話番号を認識する。
【0166】
なお、仮に、上記のような電話番号用判定基準を設けないと、中央処理装置21が認識する電話番号は「090(12345678」となり、文字認識の正確性に欠けることになる。
【0167】
ユーザがメールアドレス専用認識モードを選択すると(ステップS740)、中央処理装置21はメモリ(図4では図示せず)に記憶されているメールアドレス用判定基準を読み出す(ステップS750)。
【0168】
このメールアドレス用判定基準に従って、中央処理装置21は、次のようにして、撮影された文字列の中からメールアドレスを認識する(ステップS730)。
【0169】
撮影された文字列の先頭の5文字以内に始まる「il」の文字列が存在し、かつ、「il」の文字列の次の文字が「:」である場合、あるいは、撮影された文字列の中に「@」の文字が存在する場合、中央処理装置21は、次の67種類の文字のみを検索の対象とし、他の文字は検索の対象外とする。
【0170】
(1)0から9までの10個の数字
(2)aからzまでの26個のアルファベットの小文字
(3)AからZまでの26個のアルファベットの大文字
(4)「−」(ハイフン)
(5)「@」
(6)「_」
(7)「:」
(8)「.」
一般に、電子メール、名刺その他の通知において、自己のメールアドレスを他人に知らせる場合、次のように記述することが多い。
【0171】
「e−mail:abc@def.ghij.ne.jp」
このような場合、中央処理装置21が「e−mail:」の文字列もメールアドレスの一部として認識してしまうと、正しいメールアドレスとはならない。このため、「e−mail:」の文字列に必ず含まれる「il:」が撮影した文字列中に存在する場合には、「e−mail:」の文字列そのものを削除する。
【0172】
また、メールアドレスは必ず「@」を含むので、撮影された文字列中に「@」が含まれている場合には、その文字列がメールアドレスであることが即座に判明する。従って、この場合においても、撮影された文字列から「e−mail:」の文字列を削除する。
【0173】
このように、メールアドレス専用認識モードに従うことにより、メールアドレスを正しく認識することが可能になる。
【0174】
なお、上記のようにして認識されたメールアドレスの登録時またはそのメールアドレスに発信を行う際には、中央処理装置21、「:」(コロン)は自動的に削除する。
【0175】
ユーザがURL専用認識モードを選択すると(ステップS760)、中央処理装置21はメモリ(図4では図示せず)に記憶されているURL用判定基準を読み出す(ステップS770)。
【0176】
このURL用判定基準に従って、中央処理装置21は、次のようにして、撮影された文字列の中からURLを認識する(ステップS730)。
【0177】
撮影された文字列の先頭から7文字以内において始まる次の何れかの文字列が存在する場合には、中央処理装置21は、撮影された文字列はURLであると判定する。
【0178】
(a)https://
(b)http://
(c)s://
(d)://
(e)www.
これらは何れもURLを記述する際には欠くことのできない文字列であるため、これらの文字列の何れかが撮影された文字列中に含まれている場合には、撮影された文字列はURLであると判定することが可能である。
【0179】
この場合、中央処理装置21は、次の72種類の文字のみを検索の対象とし、他の文字は検索の対象外とする。
【0180】
(1)0から9までの10個の数字
(2)aからzまでの26個のアルファベットの小文字
(3)AからZまでの26個のアルファベットの大文字
(4)「−」(ハイフン)
(5)「%」
(6)「&」
(7)「=」
(8)「~」
(9)「?」
(10)「/」
(11)「:」
(12)「.」
(13)「_」
撮影された文字列がURLであると判定された場合には、中央処理装置21は、上記の(a)から(e)までの文字列以前の文字は全て削除する。
【0181】
以上のようにして、中央処理装置21は撮影された文字列の中からURLを判定する。
【0182】
ユーザが自動設定モードを選択すると(ステップS780)、中央処理装置21は、上述のような判定基準を設けることなく、撮影された文字列の中から電話番号、メールアドレス、URLまたはその他のデータを認識する(ステップS730)。
【0183】
自動設定モードが選択された場合は、具体的な判定基準を用いないため、判定基準を用いる場合と比較して認識速度は下がるが、撮影された文字列が電話番号、メールアドレスまたはURLの何れであるか見当がつかない場合には、自動設定モードは有用である。
【0184】
上述の第一乃至第四の実施形態に係る携帯電話装置における中央処理装置21の動作は、コンピュータが読み取り可能な言語で記述されたコンピュータプログラムによっても実行可能である。
【0185】
コンピュータプログラムにより中央処理装置21を動作させる場合には、例えば、中央処理装置21にプログラム記憶用のメモリーを設け、そのメモリーにコンピュータプログラムを格納する。中央処理装置21はメモリーからそのコンピュータプログラムを読み出すことにより、そのコンピュータプログラムに従って、上述のような動作を実行する。
【0186】
さらには、そのようなコンピュータプログラムを格納した記憶媒体を中央処理装置21にセットすることにより、中央処理装置21がその記憶媒体からそのコンピュータプログラムを読み出し、そのコンピュータプログラムに従って、上述のような動作を実行するようにすることも可能である。
【0187】
また、このようなコンピュータプログラムは、コンピュータによって読み取り可能な記憶媒体を介して提供することが可能である。
【0188】
ここで、「記憶媒体」の語は、データを記録することができるあらゆる媒体を含むものとする。
【0189】
記憶媒体としては、例えば、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリーチップ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、スマートメディア(登録商標)、フラッシュメモリー、コンパクトフラッシュ(登録商標)カードなどの書き換え可能なメモリーカードなどがある。
【0190】
場合によっては、CD−ROM(Compact Disk−ROM)やPDなどのディスク型の記憶媒体、磁気テープ、MO(Magneto Optical Disk)、DVD−ROM(Digital Video Disk−Read Only Memory)、DVD−RAM(Digital Video Disk−Random Access Memory)、フレキシブルディスク、ハードディスクなどの外部媒体を使用することも可能である。
【0191】
いずれにしても、その他プログラムの格納に適していれば、いかなる手段をも用いることができる。
【0192】
この記憶媒体は、コンピュータが読み取り可能なプログラム用言語を用いて上述の中央処理装置21の各機能をプログラミングし、そのプログラムをプログラムの記録が可能な上記の記憶媒体に記録することにより、作成することができる。
【0193】
【発明の効果】
本発明に係る携帯電話装置は、ユーザが撮影手段を用いて画像を撮影すると、制御手段は、撮影された画像の中に含まれる文字を認識し、認識した文字を、例えば、携帯電話装置の画像表示画面に表示し、あるいは、携帯電話装置に内蔵されているメモリに格納する。必要があれば、制御手段は、さらに、その文字の種類に応じた機能を携帯電話装置に実行させることが可能である。このように、本発明に係る携帯電話装置によれば、ユーザは、携帯電話装置のメモリに、キーその他の入力手段を介して、データを構成する一つ一つの文字を入力する必要はなくなり、さらに、短時間でメモリにデータを格納することができるとともに、データの誤読またはキーの選択の過誤によるデータ入力ミスを回避することができる。
【0194】
また、本発明に係る携帯電話装置によれば、文字サイズ調整用インジケータによって、制御手段が文字を認識する際に、認識しやすいサイズで文字が撮影される。このため、制御手段による文字の認識率を向上させることができる。
【図面の簡単な説明】
【図1】 本発明の第一の実施形態に係る携帯電話装置の開いた状態における斜視図である。
【図2】 本発明の第一の実施形態に係る携帯電話装置の閉じた状態における斜視図である。
【図3】 本発明の第一の実施形態に係る携帯電話装置の開いた状態における背面図である。
【図4】 本発明の第一の実施形態に係る携帯電話装置の内部構造を示す機能ブロック図である。
【図5】 本発明の第一の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【図6】 画像表示画面に示された文字サイズ調整用インジケータの一例を示す平面図である。
【図7】 画像表示画面に示された文字サイズ調整用インジケータと被写体としての文字との大きさに関する相互関係を示す平面図である。
【図8】 画像表示画面に示された文字サイズ調整用インジケータと被写体としての文字との大きさに関する相互関係を示す平面図である。
【図9】 画像表示画面に示された文字サイズ調整用インジケータと被写体としての文字との大きさに関する相互関係を示す平面図である。
【図10】 本発明の第一の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【図11】 本発明の第一の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【図12】 本発明の第二の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【図13】 本発明の第三の実施形態に係る携帯電話装置の内部構造を示す機能ブロック図である。
【図14】 本発明の第三の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【図15】 本発明の第四の実施形態に係る携帯電話装置の動作を示すフローチャートである。
【符号の説明】
10 第一の実施形態に係る携帯電話装置
11 第一の筐体
12 第二の筐体
13 ヒンジ機構
14 操作用キー
15 画像表示画面
16 アンテナ
17 レンズ
18 無線送受信部
19 ベースバンド処理部
20 送話器/受話器
21 中央処理装置
22 スピーカ
23 カメラ機構
24 タイマー
25A 画像データメモリ
25B メモリ
26 アプリケーションメモリ
27 電源制御回路
28 電源
29 メーラー
30 ブラウザ
31 文字サイズ調整用インジケータ
40 第二の実施形態に係る携帯電話装置

Claims (23)

  1. 画像を撮影する撮影手段と、
    前記撮影手段により撮影された画像を表示する画像表示画面と、
    前記撮影手段により撮影された画像に含まれる文字を認識する機能を有する制御手段と、
    を備え、
    撮影される文字を前記制御手段により認識されやすい大きさで撮影するための文字サイズ調整用インジケータが前記画像表示画面に設けられ、
    前記制御手段は、前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する携帯電話装置。
  2. 前記文字サイズ調整用インジケータは、前記制御手段が前記機能を実行するモードに設定されている場合にのみ、前記画像表示画面に現れるものであることを特徴とする請求項1に記載の携帯電話装置。
  3. 前記文字サイズ調整用インジケータは前記画像表示画面上に予め形成されているものであることを特徴とする請求項1に記載の携帯電話装置。
  4. 前記文字サイズ調整用インジケータは長辺が前記画像表示画面の横方向に延びる矩形形状をなしていることを特徴とする請求項1乃至3の何れか一項に記載の携帯電話装置。
  5. 前記携帯電話装置はタイマー手段をさらに備えており、
    前記タイマー手段は、シャッターに対する付勢が解除されたときから前記撮影手段による撮影が行われるまでの間に遅延時間を発生させるものであることを特徴とする請求項1乃至4の何れか一項に記載の携帯電話装置。
  6. 前記遅延時間は前記画像表示画面を介してユーザが設定可能であることを特徴とする請求項5に記載の携帯電話装置。
  7. 前記制御手段により認識された文字列がメールアドレスを構成するものであるときには、前記制御手段は、前記携帯電話装置に内蔵されているメーラーを起動させることを特徴とする請求項1乃至6の何れか一項に記載の携帯電話装置。
  8. 前記制御手段により認識された文字列がURLを構成するものであるときには、前記制御手段は、前記携帯電話装置に内蔵されているブラウザを起動させることを特徴とする請求項1乃至6の何れか一項に記載の携帯電話装置。
  9. 前記制御手段により認識された文字列が数字列を構成するものであるときには、前記制御手段は、その数字列が示す電話番号に対して発呼を行うことを特徴とする請求項1乃至6の何れか一項に記載の携帯電話装置。
  10. 画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法であって、
    文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の過程と、
    前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像全体に対して画像処理を施す第二の過程と、
    前記画像処理が施された画像から前記文字サイズ調整用インジケータの内部の画像のみを切り出す第三の過程と、
    前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第四の過程と、
    前記第四の過程において認識された前記文字を前記画像表示画面に表示する第五の過程と、
    前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する過程と、
    を備える携帯電話装置における文字認識方法。
  11. 画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法であって、
    文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の過程と、
    前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像のうち、前記文字サイズ調整用インジケータの内部の画像に対してのみ画像処理を施す第二の過程と、
    前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第三の過程と、
    前記第三の過程において認識された前記文字を前記画像表示画面に表示する第四の過程と、
    前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する過程と、
    を備える携帯電話装置における文字認識方法。
  12. 前記画像が撮影される際に、シャッターに対する付勢が解除されたときから撮影が行われるまでの間に遅延時間を発生させる過程をさらに備えることを特徴とする請求項10又は11に記載の携帯電話装置における文字認識方法。
  13. 認識された文字列がメールアドレスを構成するものであるときには、前記携帯電話装置に内蔵されているメーラーを起動させる過程をさらに備えることを特徴とする請求項10乃至12の何れか一項に記載の携帯電話装置における文字認識方法。
  14. 認識された文字列がURLを構成するものであるときには、前記携帯電話装置に内蔵されているブラウザを起動させる過程をさらに備えることを特徴とする請求項10乃至12の何れか一項に記載の携帯電話装置における文字認識方法。
  15. 認識された文字列が数字列を構成するものであるときには、その数字列が示す電話番号に対して発呼を行う過程をさらに備えることを特徴とする請求項10乃至12の何れか一項に記載の携帯電話装置における文字認識方法。
  16. 認識すべき文字列の種類に応じて、異なる認識判定基準が設定される過程をさらに備えることを特徴とする請求項10乃至15の何れか一項に記載の携帯電話装置における文字認識方法。
  17. 画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法をコンピュータに実行させるためのプログラムであって、
    前記プログラムが行う処理は、
    文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の処理と、
    前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像全体に対して画像処理を施す第二の処理と、
    前記画像処理が施された画像から前記文字サイズ調整用インジケータの内部の画像のみを切り出す第三の処理と、
    前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第四の処理と、
    前記第四の処理において認識された前記文字を前記画像表示画面に表示する第五の処理と、
    前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する処理と、
    からなるものであるプログラム。
  18. 画像を撮影する機能と前記画像内の文字を認識する機能とを有する携帯電話装置における文字認識方法をコンピュータに実行させるためのプログラムであって、
    前記プログラムが行う処理は、
    文字の認識を行うモードが選択された場合に、撮影される文字を前記携帯電話装置により認識されやすい大きさで撮影するための文字サイズ調整用インジケータを画像表示画面に設ける第一の処理と、
    前記文字が前記文字サイズ調整用インジケータの内部に納まるように撮影された画像のうち、前記文字サイズ調整用インジケータの内部の画像に対してのみ画像処理を施す第二の処理と、
    前記文字サイズ調整用インジケータの内部の画像に含まれる文字を認識する第三の処理と、
    前記第三の処理において認識された前記文字を前記画像表示画面に表示する第四の処理と、
    前記文字サイズ調整用インジケータの内部に納まるように新たに撮影された文字をその前に撮影された文字の後に続けて表示する処理と、
    からなるものであるプログラム。
  19. 前記画像が撮影される際に、シャッターに対する付勢が解除されたときから撮影が行われるまでの間に遅延時間を発生させる処理をさらに行うことを特徴とする請求項17又は18に記載のプログラム。
  20. 認識された文字列がメールアドレスを構成するものであるときには、前記携帯電話装置に内蔵されているメーラーを起動させる処理をさらに行うことを特徴とする請求項17乃至19の何れか一項に記載のプログラム。
  21. 認識された文字列がURLを構成するものであるときには、前記携帯電話装置に内蔵されているブラウザを起動させる処理をさらに行うことを特徴とする請求項17乃至19の何れか一項に記載のプログラム。
  22. 認識された文字列が数字列を構成するものであるときには、その数字列が示す電話番号に対して発呼を行う処理をさらに行うことを特徴とする請求項17乃至19の何れか一項に記載のプログラム。
  23. 認識すべき文字列の種類に応じて、異なる認識判定基準を設定する処理をさらに備えることを特徴とする請求項17乃至22の何れか一項に記載のプログラム。
JP2002302798A 2002-10-17 2002-10-17 携帯電話装置 Expired - Fee Related JP3990253B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002302798A JP3990253B2 (ja) 2002-10-17 2002-10-17 携帯電話装置
US10/686,526 US20040141644A1 (en) 2002-10-17 2003-10-16 Portable communication apparatus having a character recognition function
CNB200310101415XA CN100505771C (zh) 2002-10-17 2003-10-17 具有字符识别功能的便携式通信设备
EP03090355A EP1411460A3 (en) 2002-10-17 2003-10-17 Portable communication apparatus having a character recognition function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002302798A JP3990253B2 (ja) 2002-10-17 2002-10-17 携帯電話装置

Publications (2)

Publication Number Publication Date
JP2004140555A JP2004140555A (ja) 2004-05-13
JP3990253B2 true JP3990253B2 (ja) 2007-10-10

Family

ID=32040831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002302798A Expired - Fee Related JP3990253B2 (ja) 2002-10-17 2002-10-17 携帯電話装置

Country Status (4)

Country Link
US (1) US20040141644A1 (ja)
EP (1) EP1411460A3 (ja)
JP (1) JP3990253B2 (ja)
CN (1) CN100505771C (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558595B2 (en) 2004-06-25 2009-07-07 Sony Ericsson Mobile Communications Ab Mobile terminals, methods, and program products that generate communication information based on characters recognized in image data
US7433711B2 (en) * 2004-12-27 2008-10-07 Nokia Corporation Mobile communications terminal and method therefor
JP4453016B2 (ja) * 2005-01-31 2010-04-21 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末、文字読取方法および文字読取プログラム
DE102005033001A1 (de) * 2005-07-14 2007-01-25 Siemens Ag Verfahren zur Optimierung von Kontrollvorgängen beim Einsatz mobiler Endgeräte
US20080094496A1 (en) * 2006-10-24 2008-04-24 Kong Qiao Wang Mobile communication terminal
EP2189926B1 (en) * 2008-11-21 2012-09-19 beyo GmbH Method for providing camera-based services using a portable communication device of a user and portable communication device of a user
JP4809462B2 (ja) * 2009-07-10 2011-11-09 京セラ株式会社 携帯端末装置
CN101609365B (zh) * 2009-07-21 2012-10-31 上海合合信息科技发展有限公司 字符输入方法及系统、电子设备及其键盘
CN101639760A (zh) * 2009-08-27 2010-02-03 上海合合信息科技发展有限公司 联系信息输入方法及系统
US8374646B2 (en) * 2009-10-05 2013-02-12 Sony Corporation Mobile device visual input system and methods
US8515185B2 (en) * 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
RU2010149510A (ru) * 2010-12-06 2011-06-27 Владимир Витальевич Мирошниченко (RU) Способ телефонного вызова абонента телефонной связи
FR2979027A1 (fr) * 2011-08-12 2013-02-15 Epic Dream Procede de compensation d'une offre de remboursement dematerialisee et application logicielle pour la mise en oeuvre du procede
US9916514B2 (en) 2012-06-11 2018-03-13 Amazon Technologies, Inc. Text recognition driven functionality
JP5561331B2 (ja) * 2012-09-12 2014-07-30 オムロン株式会社 携帯端末装置用のプログラムおよび携帯端末装置
JP6080586B2 (ja) * 2013-02-13 2017-02-15 株式会社ファインデックス 文字認識システム、文字認識プログラム及び文字認識方法
US8908021B2 (en) * 2013-03-15 2014-12-09 Orcam Technologies Ltd. Systems and methods for automatic control of a continuous action
CN104142774B (zh) * 2013-05-06 2019-02-26 腾讯科技(深圳)有限公司 页面内容的处理方法及装置
JP6361090B2 (ja) * 2013-05-16 2018-07-25 ヤマハ株式会社 中継装置
US9342533B2 (en) 2013-07-02 2016-05-17 Open Text S.A. System and method for feature recognition and document searching based on feature recognition
EP2821934B1 (en) * 2013-07-03 2024-02-14 Open Text S.A. System and method for optical character recognition and document searching based on optical character recognition
US10002449B2 (en) * 2015-04-16 2018-06-19 Sap Se Responsive and adaptive chart controls
CN105376412A (zh) * 2015-12-01 2016-03-02 小米科技有限责任公司 信息处理的方法及装置
JP6448696B2 (ja) 2017-03-22 2019-01-09 株式会社東芝 情報処理装置、方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69435282D1 (de) * 1993-07-16 2010-04-29 Sharp Kk Bilddatenprozessor
JP3307075B2 (ja) * 1994-04-06 2002-07-24 キヤノン株式会社 撮影装置
JPH07288722A (ja) * 1994-04-15 1995-10-31 Canon Inc 撮像装置
US6639626B1 (en) * 1998-06-18 2003-10-28 Minolta Co., Ltd. Photographing apparatus with two image sensors of different size
JP4128275B2 (ja) * 1998-07-06 2008-07-30 オリンパス株式会社 翻訳機能付カメラ
GB9922214D0 (en) * 1999-09-20 1999-11-17 Ncr Int Inc Creation transmission and retrieval of information
JP3895892B2 (ja) * 1999-09-22 2007-03-22 株式会社東芝 マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP2002152696A (ja) * 2000-11-10 2002-05-24 Hitachi Ltd 携帯端末
JP2002252691A (ja) * 2001-02-26 2002-09-06 Seiko Epson Corp OCR(OpticalCharacterRecognition:光学的文字読み取り)機能付き携帯電話端末
JP4240859B2 (ja) * 2001-09-05 2009-03-18 株式会社日立製作所 携帯端末装置及び通信システム
US6922487B2 (en) * 2001-11-02 2005-07-26 Xerox Corporation Method and apparatus for capturing text images

Also Published As

Publication number Publication date
US20040141644A1 (en) 2004-07-22
CN100505771C (zh) 2009-06-24
JP2004140555A (ja) 2004-05-13
CN1498016A (zh) 2004-05-19
EP1411460A2 (en) 2004-04-21
EP1411460A3 (en) 2005-11-16

Similar Documents

Publication Publication Date Title
JP3990253B2 (ja) 携帯電話装置
JP3808089B2 (ja) 携帯端末装置及び撮影画像認識方法
JP4932159B2 (ja) 通信端末、通信端末の表示方法、及び、コンピュータプログラム
JP4140499B2 (ja) 通信端末、及び、プログラム
JP2004187273A (ja) 携帯電話端末、及び、発信履歴表示方法
JP4284309B2 (ja) 緊急動作実行方法及び電子機器
KR100692005B1 (ko) 사진별 메모 입력 기능을 갖는 이동통신 단말기 및 그제어 방법
JP4258546B2 (ja) 電話端末、及び、プログラム
EP1656785B1 (en) Electronic device having image capture and radio communication functions, operation control method and computer readable medium for an operation control program
JP2007067783A (ja) 情報通信端末
JP4618356B2 (ja) 電子機器、及び、プログラム
JP4476198B2 (ja) 端末装置
KR20050042852A (ko) 터치 스크린을 이용한 휴대용 단말기의 디스플레이방법
JP4569459B2 (ja) 情報表示端末、情報表示方法及びプログラム
JP4446242B2 (ja) データ送信装置、メールデータ送信方法、および、メールデータ送信プログラム
JP2005010903A (ja) 電子機器
JP2006191343A (ja) 画像処理方法及び撮像装置
JP2005012296A (ja) カメラ付き携帯電話端末
JP4583719B2 (ja) 携帯端末装置
KR100582909B1 (ko) 휴대통신단말 및 화상표시방법
JP2006093914A (ja) カメラ付き携帯端末装置およびプログラム
JP2009218808A (ja) 携帯端末
JP2008167471A (ja) 携帯端末装置
JP2008125098A (ja) 携帯端末装置
KR20050082196A (ko) 이동통신단말기에서 전화번호부에 사진을 입력하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070404

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070507

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees