JP3808088B2

JP3808088B2 - 合焦状態表示装置及び合焦状態表示方法

Info

Publication number: JP3808088B2
Application number: JP2005347920A
Authority: JP
Inventors: 良雄萩野
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-02-07
Filing date: 2005-12-01
Publication date: 2006-08-09
Anticipated expiration: 2023-06-03
Also published as: JP2006246492A; JP2006238459A; JP2006180476A; CN100588230C; CN1956500A; JP3704143B2; JP2006180468A; JP2005094782A; JP3799364B2; CN100544405C; JP2006094561A; CN1956499A; JP3799365B1; JP2006157976A; JP2006166451A; CN100451803C; JP2006101544A; JP2006157934A; JP3808087B2; JP3766431B1

Description

本発明は、カメラの合焦状態を表示する装置及びその表示方法に関し、特に、小型の携帯型カメラ、撮影機能付き携帯電話等カメラ付き携帯端末装置に備えられた固定焦点カメラの合焦状態を表示する技術に関するものである。

近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、ＰＤＡ（Personal Digital Assistants）や携帯電話機、ポータブルPC（パーソナルコンピュータ）などの携帯型装置にカメラを内蔵したものが普及している。

これらの携帯型装置は、内蔵しているCCD等のカメラにより、画像を撮影したり、メモ代わりに印刷物を撮影したりして、撮影した画像を携帯型装置内に記憶しておくことや、携帯型装置の電子メール機能によりインターネット等を通じて他の携帯型装置やPCなどに送信することができる。

このような携帯型装置に内蔵されるカメラは、できるだけ小型及び軽量であるように作られており、一般的には、有効画素数が10万〜30万画素程度の、通常のデジタルカメラよりも解像度が低いものが用いられている。

また、携帯端末装置に内蔵されるカメラは、筐体のサイズやコスト面での制限が厳しいため、自動合焦装置を内蔵していないものが一般的である。ユーザがこのような内蔵カメラを用いて画像を撮影する際には、携帯端末装置に備えられたLCD（液晶ディスプレイ）等の表示画面に内蔵カメラの撮影範囲内の画像が表示されるようになっているので、この表示画面を確認しながら、ピントを合わせて撮影を行うことができる。

撮影時にピントを合わせるには、上記のようにユーザが表示画面を確認しながら行うようにしてもよいが、携帯端末装置により合焦状態を表示してユーザが表示画面とともにこの合焦状態の表示を確認しながらピントを合わせるようにすることもできる。携帯端末装置は、内蔵カメラが受像する画像の信号成分に基づいて合焦状態の表示を行う機能を備えることができる。

特許文献１に記載の撮像装置は、ビューファインダ及びフォーカス制御手段を有するビデオカメラ等の撮像装置に関するものであり、この装置は、マニュアルフォーカス時に、撮像映像信号の高い周波数成分と低い周波数成分との比により合焦状態を表示する合焦状態表示装置を備えている。

特許文献２に記載のピント状態表示装置および顕微鏡装置は、画像データの空間周波数の高域成分を抽出して微分画像データを生成し、このデータの高域成分を示す画素値に応じて配色を変え、色の違いによりピント状態を知らせる合焦状態表示装置を備えている。
特開平３−１１８８４号公報特開２００２−１９６２２５号公報

ところで、このようなカメラ内蔵型携帯端末装置に備えられているLCD等の表示装置は、小型で画素数も少ないため、表示される画像は粗くなってしまう。このため、撮像画像のぼけ等を肉眼で判断しながら合焦させることが容易ではなかった。また、特許文献１及び２に示すような合焦状態表示装置を備えていても、ユーザにとっては表示された合焦状態が分かりにくく、ピントを合わせるのが困難である場合があった。

本発明は、このような課題に鑑みてなされたものであって、カメラ内蔵型携帯端末装置のサイズや解像度が制限された表示装置においても、ユーザがカメラの合焦状態の判断、ピントの確認及び調節を精確かつ容易に行うことができるような合焦状態表示装置、及び合焦状態表示方法を提供することを目的とするものである。

本発明の一観点によれば、画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段と、前記認識手段によって得られた認識結果を記憶する認識結果記憶手段とを備えることを特徴とする携帯端末装置が提供される。

本発明の他の観点によれば、画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、前記撮影対象設定手段によって撮影対象を設定することに応じて通常モードと接写モードとを切換える撮影モード切換え手段と、撮像画像を表示する表示手段と、前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段と、前記認識手段によって得られた認識結果を記憶する認識結果記憶手段とを備えることを特徴とする携帯端末装置が提供される。前記合焦状態判定手段が起動され、前記認識手段により撮像された文字又はバーコードの認識を行うことが好ましい。前記合焦状態判定手段により、撮像された文字又はバーコードの認識が可能な合焦状態を判定し、前記認識手段により、撮像された文字又はバーコードの認識を行うことが好ましい。

本発明の他の観点によれば、画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段と、前記認識手段によって得られた認識結果を記憶する認識結果記憶手段とを備えることを特徴とする携帯電話機が提供される。前記認識手段により、撮像されたバーコードの認識を行うことにより得られた認識結果に応じて、認識結果に対応する通信準備状態に遷移可能なことが好ましい。

前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてＵＲＬが得られた場合に、当該ＵＲＬにインターネット接続可能な状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてメールアドレスが得られた場合に、当該メールアドレス宛のメール作成可能な状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果として電話番号が得られた場合に、当該電話番号宛に電話の発呼可能な状態に遷移可能なことが好ましい。

本発明の別の観点によれば、画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、撮像された前記文字又はバーコードの認識を行う認識手段と、前記認識手段によって得られた認識結果を記憶する認識結果記憶手段と、通信を行う通信手段と、を備えることを特徴とする携帯端末装置が提供される。前記認識手段により、撮像されたバーコードの認識を行うことにより得られた認識結果に応じて、認識結果に対応する通信準備状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてＵＲＬが得られた場合に、当該ＵＲＬにインターネット接続可能な状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてメールアドレスが得られた場合に、当該メールアドレス宛のメール作成可能な状態に遷移可能なことが好ましい。前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果として電話番号が得られた場合に、当該電話番号宛に電話の発呼可能な状態に遷移可能なことが好ましい。

本発明の別の観点によれば、画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定ステップと、撮像画像を表示する表示ステップと、前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定ステップと、撮像された前記文字又はバーコードの認識を行う認識ステップと、前記認識ステップによって得られた認識結果を記憶する認識結果記憶ステップと、からなることを特徴とする撮影画像認識方法が提供される。

以上、説明したように、本発明の合焦状態表示装置及び合焦状態表示方法によれば、合焦情報の表示を視覚的又は聴覚的に行うことができ、ユーザが容易に合焦の確認及び調節を行うことができるようになる。

このような優れた特徴を有する合焦状態表示装置を、撮像装置を備える携帯電話機や携帯情報端末など、モニタが小さい携帯端末装置に適用すれば、ユーザは、合焦状態の確認が容易となり、正確に合焦した画像を撮ることができる。

また、撮像装置を備える携帯電話機や携帯情報端末の撮像画像から文字認識やバーコード、QRコードなどの２値化された画像のピントを合わせることが容易となり、文字認識や、バーコード、QRコードなどの認識の精度向上にもつながる。
また、合焦表示機能とＯＣＲ機能とを利用することにより、長い文字列などを精度良く認識することができる。

本発明者は、合焦状態表示装置内に、撮像した画像信号の合焦状態を判別するとともに、判別された合焦状態に応じてユーザに分かりやすい視覚的・聴覚的表示を行う合焦状態表示手段を設けることに想到した。

以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。
図１〜図１３は、本発明の合焦状態表示装置及び合焦状態表示方法を実施する形態の一例を示すものであり、図中、同一の符号を付した部分は同一物を表わし、基本的な構成は同様であるものとする。

第1実施形態
本発明の第1実施形態は、合焦状態表示装置を備えたカメラ内蔵型携帯電話機／ＰＨＳ（Personal Handy-Phone System）である（以下、説明を簡略化するため、単に「携帯電話機」と略記する）。図１は、合焦状態表示装置を備えたカメラ内蔵型携帯電話機の外観を示す図である。図１（Ａ）は本実施形態の携帯電話機の背面斜視図、図１（Ｂ）はその正面斜視図である。図１４は、本実施の形態による携帯電話機の概略構成例を示す機能ブロック図である。

図１において、カメラ内蔵型携帯電話機10は、本体部10aと、無線通信を行うためのアンテナ111とからなり、本体部10a背面においては、画像を撮像するためのカメラ112（撮像手段）、点滅又は点灯により合焦状態を知らせるためのＬＥＤ（発光ダイオード）113（発光手段）、音声又は音により合焦状態を知らせるためのスピーカ114（発音手段）、サブ画面を表示するための小型ＬＣＤ（液晶ディスプレイ）表示部116（表示手段）を備えている。

また、本体部10a正面においては、メイン画面を表示するためのＬＣＤ表示部115（表示手段）、電源のＯＮ／ＯＦＦを行うための電源キー117、着信、発信、電話機能切り替え、動作決定等の操作を行うための電話機能キー118、各種機能を切り替えるためのモードキー119、選択対象を上下左右方向に移動させるためのカーソルキー120、カメラ112から入力される画像の撮像を決定するためのシャッターキー121、電話番号の入力等ダイヤルするためのメンブレンキー（Membrane key）からなるダイヤルキー122、受話を行うための拡声用スピーカ123、及び音声を入力するためのマイク124を備えている。

ここで、カメラ112は、携帯装置内蔵用の小型軽量カメラであり、例えば、30万画素のＣＣＤ（Charge Coupled Device、エリア型固体撮像素子）カメラとすることができる。

また、ＬＣＤ表示部115及び116は、ドットマトリクス構成のＬＣＤディスプレイ、バックライトであるＰＤＰ（プラズマディスプレイパネル）、有機ＥＬ（Electron Luminescence）等の装置と、これらの装置と携帯電話機10の内部システムとの間のインターフェイスである各種ドライバとから構成されている。

携帯電話機10を操作時には、ＬＣＤ表示部115及び116には、各種操作を行うためのガイダンスや受信情報、画像やテキスト情報、アイコンなどを表示する。

カメラ112により撮影を行うときには、ＬＣＤ表示部115及び116には、カメラ112から入力される画像とともに、合焦状態を表示するようになっている。ユーザがカメラ112の位置を調整すると、これに合わせて変化する撮影対象の合焦状態を認識できるようになっており、ピントが合うとそのことがＬＣＤ表示部115及び116に表示されるとともに、スピーカ114又は拡声用スピーカ123により所定の音を発生してユーザに通知されるものとする。

尚、本実施形態の携帯電話機おいて、上記の合焦状態の表示及びピントが合ったことの通知は、ＬＣＤ表示部115及び116、ＬＥＤ113、スピーカ114、又は拡声用スピーカ123のいずれかにより、あるいはこれらの組み合わせにより行うようにすることができる。

図１４に示すように、本実施の形態による携帯電話機１０は、装置全体を制御するＣＰＵ（制御部）２３１（例えば、撮影手順切替手段、文字・コード等認識手段（ＯＣＲ機能）と、情報処理手段、フレームレート制御手段、タイマ設定手段等を含む）、制御プログラムや固定データ等を記憶するＲＯＭ、ＣＰＵの作業用記憶領域であるＲＡＭ等の半導体メモリ及びハードディスクなどからなり、受信又は入力された文字情報、画像情報、音声信号を記憶する記憶メモリ２３２と、対象となる画像情報を入力するカメラ１１２（撮像手段）と、撮像時等にユーザ操作により発光するライト２３４（照明手段）と、文字情報や画像情報をユーザに表示するＬＣＤ表示部１１５（表示手段、出力（報知）手段の一部）と、ユーザからのキー操作情報を入力生成するキー入力部１２２と、電波を送受信するためのアンテナ１１１と、無線通信の送受信を制御する無線部２３８と、音声信号を出力するスピーカ１１４（出力（報知）手段の一部）と、ユーザから音声信号を入力するマイク１２４とを備えている。

制御部２３１は、携帯電話機１０全体を制御するとともに、ＯＣＲ機能を有し、キー操作に基づいて、カメラ１１２による文字等の撮影、画像情報の表示、文字等の認識、認識した内容に基づく処理を行う。

特に、制御部２３１は、自然画などを撮影する場合と、文字認識（ＯＣＲ）、取り込みなどを目的として文字やバーコードなどを撮影するＯＣＲ機能モードにおける撮影の場合とで少なくとも処理の一部を切り替える撮影手順切替手段と、ＯＣＲ機能モードに切り替えられた場合、文字・バーコード等の認識を行うＯＣＲ機能と、ＯＣＲ機能により認識された結果などをユーザに報知する報知手段と、ＯＣＲ機能により認識された内容に基づいて所定の処理を行う情報処理手段としての機能を有する。

また、ＯＣＲ機能モードに切り替えた時に、ＯＣＲ機能を起動するまではカメラ１１２から得られる高速なフレームレートにて表示部１１５に画像を表示し、ＯＣＲ機能の起動後はＯＣＲ機能にとって必要なフレームレートにより画像を撮像・表示するフレームレート制御手段としての機能を有する。

ＲＯＭは、制御部２３１が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリである。ＲＡＭは、バーコード認識や通信に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。携帯電話機１０で処理されるプログラムは、このＲＡＭに展開されて実行される。

図１５は、カメラ１１２のレンズ焦点深度切換機構の構成例を模式的に示す図であり、通常撮影時とＯＣＲ機能モードとの焦点深度切換機構の例を示す図である。図１５に示すように、レンズ焦点深度切換機構は、ＣＣＤ等の固体撮像素子とその信号出力回路とを有するカメラモジュール２５０と、内部にレンズ２５１を有し、カメラモジュール２５０上に例えばネジ嵌合されるレンズユニット２５２と、レンズユニット２５２外周部に取り付けられ、このレンズユニット２５２を回動させるカメラレバー２５３とを備えている。レンズユニット２５２は、カメラモジュール２５０にネジで嵌合されており、カメラレバー２５３のツマミ２５３ａをＡ←→Ｂ方向に動かすと、レンズユニット２５２は、カメラモジュール２５０に対してＸ←→Ｙ方向に移動する。これにより、レンズユニット２５２に装着されたレンズ２５１とカメラモジュール２５０との焦点距離が切換えられ、通常撮影とＯＣＲ機能動作時の焦点深度が切換えられる。本実施の形態では、ＯＣＲ機能動作時に、制御部２３１（図１４）からの駆動信号を受けたソレノイド等からなる駆動部（図示略）によりカメラレバー２５３ａがスライドし、自動的に焦点深度が切換わる。尚、カメラ本体にカメラレバー２５３のツマミ２５３ａに連動するスライドツマミを設け、ＯＣＲ機能動作時等のマクロ撮影時にユーザが手動により切換える構成としてもよい。

図２は、本実施形態の携帯電話機10に備えられる合焦状態表示装置の構成を示す機能ブロック図である。

図２において、本実施形態の合焦状態表示装置は、撮像装置20（携帯電話機10のカメラ112に相当する）、フォーカス領域抽出部21、エッジ強調処理部22、ヒストグラム処理部23、分散値算出処理部24、時間積算値算出処理部25、合焦状態判別手段26、合焦状態表示手段31及び表示画像合成部32を備えている。

撮像装置20から取り込んだ画像は、フォーカス領域抽出部21、エッジ強調処理部22、ヒストグラム処理部23、分散値算出処理部24、時間積算値算出処理部25、合焦状態判別手段26及び合焦状態表示手段31において処理されて、合焦状態の表示画像が生成される。この合焦状態の表示画像と撮像装置20から取り込んだ画像とが表示画像合成部32において合成されてＬＣＤ表示部115及び116に出力されるようになっている。

尚、本実施形態の合焦状態表示装置及びこれを備えたカメラ内蔵型携帯電話機において、上記で説明した以外の構成部分については、従来のものと同様に構成されているものとし、ここでは説明を省略する。

次に、図２を参照しながら、上記した本実施形態の携帯電話機10及びこれに備えられた合焦状態表示装置の動作について説明する。

本実施形態の携帯電話機10のカメラ112により画像を撮像すると、撮像装置20において取り込まれた画像は、フォーカス領域抽出部21において、すなわちフォーカス領域が設定され、このフォーカス領域の範囲内に含まれる画像信号の輝度信号が取り出される。

図３は、このときのフォーカス領域の設定及び画像の抽出を概略的に示す図である。図３において、撮像装置20により取り込んだ画像41の中央部分に長方形のフォーカス領域42を設定し、フォーカス領域42に含まれる画像信号を抽出する。

尚、このフォーカス領域の寸法、形状、位置等については、任意に変更することができ、ユーザが任意に設定することができるようにしてもよい。

フォーカス領域抽出部21において取り出された画像の輝度信号は、エッジ強調処理部22において、空間微分オペレータを用いた局所積和演算を施され、絶対値処理されて、エッジ強調された画像信号データが生成される。図４に、エッジ強調処理部22において用いる空間微分オペレータを例示する。

この後、本実施形態の合焦状態表示装置において、上記エッジ強調された画像信号データに基づいて合焦状態を判別するには、以下の2つの方法がある。

第1の方法では、時間積算値算出処理部25において、エッジ強調をされた信号を一定時間積算した時間積算値を算出する。ここで、一定時間とは、上記信号の値の一時的な変動による影響を抑え、画像信号を平均化するのに必要な時間として設定するものとする。これにより、合焦状態の判別を安定させることができる。

続いて、合焦状態判別手段26において、時間積算値算出処理部25において算出した時間積算値を所定の値で割り算しオフセット値を加算することにより、合焦状態の値を算出する。合焦状態の値が大きければ合焦と判断し、合焦状態の値が小さければ合焦していないと判断する。

第2の方法では、ヒストグラム処理部23において、エッジ強調をされた信号の値に対して、エッジ強度と度数との関係について図１３に示すようなヒストグラムを生成する。その後、分散値算出処理部24において、上記ヒストグラムのある閾値以上のみの信号を利用して信号の分散値を算出する。

続いて、時間積算値算出処理部25において、上記算出した分散値を一定時間積算した時間積算値を算出する。ここで、一定時間とは、上記同様、画像信号の値の一時的な変動による影響を抑え、画像信号を平均化するのに必要な時間であるが、第１の方法における一定時間より長い時間を設定するものとする。

続いて、合焦状態判別手段26において、時間積算値算出処理部25において算出した画像信号の時間積算値を所定の値で割り算しオフセット値を加算することにより、合焦状態の値を算出する。合焦状態の値が大きければ合焦と判断し、合焦状態の値が小さければ合焦していないと判断する。

上記第2の方法において、ヒストグラムのある閾値以上のみを利用するのは、図３に示すフォーカス領域42内の高周波ノイズやユーザの手ブレ等によりできたエッジを除去し、それらの影響を抑制するためである。

また、ヒストグラムから分散値を算出するときに、ある閾値以上、ある閾値以下のみの値を利用して分散値を求める方法を採用してもよい。これは、暗いところで撮影した場合に起こるランダム雑音により検出されるエッジを除去する効果がある。

通常、マニュアルカメラでピントを合わせる場合、フォーカスリングを移動させることでピントを合わせるが、携帯端末装置などの固定焦点カメラの場合、ユーザが携帯端末を上下に動かして決められた焦点距離に合わせる必要がある。このため、本実施形態の撮像装置20では、図３に示すフォーカス領域42内の画像が上下方向に大きく変化し、画像信号の時間積算値が大きく変動してしまう。

上記したように、分散値算出処理部24において算出した分散値を利用して時間積算値を算出することにより、フォーカス領域内の画像の変化による影響を抑制して、安定した値を算出することができる。

上記第1の方法と第2の方法とを比較すると、第1の方法は、第2の方法よりも算出される合焦状態の値の精度は低いが、処理にかかる時間が早いという利点がある。逆に、第2の方法は、第1の方法よりも処理に長い時間がかかるものの、算出される合焦状態の値の精度は高いという利点がある。

尚、本実施形態では、上記第1の方法及び第2の方法のいずれを用いてもよい。あるいは、両方の方法により時間積算値を求めておき、精度のよい方（高い方）の値を採用するようにしてもよい。

又、本実施形態では、上記第１の方法及び第２の方法において、フォーカス領域抽出部21により撮像装置20において取り込まれた画像からフォーカス領域の範囲内に含まれる画像信号の輝度信号を取り出すことにより、後段の演算処理にかかる時間の短縮及び不要な画像部分の影響による合焦状態の判定精度の低下防止を図るようにしたが、これに限定されるものではなく、高速演算処理の可能なＣＰＵを用いたり、不要な画像部分が存在しない場合には、フォーカス領域抽出部21による切り出しを行うことなく、撮像装置20において取り込まれた全ての画像について画像信号の輝度信号を取り出すようにしても良い。

又、本実施形態では、上記第１の方法及び第２の方法において、エッジ強調処理部22によりエッジ強調を行うことにより、エッジ部分が不明瞭な画像における合焦状態の判定精度の向上を図るようにしたが、これに限定されるものではなく、エッジ部分が不明瞭な画像が存在しない場合には、エッジ強調処理部22によるエッジ強調を行うことなく、フォーカス領域抽出部21により抽出された輝度信号又は撮像装置20において取り込まれた全ての画像についての画像信号の輝度信号を以後の処理に用いるようにしても良い。

更に、本実施形態では、上記第２の方法において、分散値算出処理部24により算出した分散値を、時間積算値算出処理部25により一定時間積算して時間積算値を算出することにより、信号の値の一時的な変動による影響を抑え、合焦状態の判定精度の向上を図るようにしたが、これに限定されるものではなく、分散値算出処理部24により算出した分散値を以後の処理に用いるようにしても良い。

上記において、合焦状態判別手段26で算出された合焦状態の値は、合焦状態表示手段31に入力される。合焦状態表示手段31は、合焦状態の値に基づいて、ユーザに合焦状態を表示及び通知するための処理を行う。

合焦状態表示手段31は、合焦状態の値に応じた合焦状態表示画像を生成し、これを表示画像合成部32に出力する。また、合焦状態表示手段31は、所定の場合には、LED点滅点灯装置113を点灯又は点滅させる信号を出力し、あるいはスピーカ114及び123を発音させる信号を出力することができる。

ここで、上記所定の場合とは、例えば、合焦状態の値が最高値となった場合であり、このとき撮像装置20においてピントが合っていることになる。これを、LED点滅点灯装置113を点灯又は点滅させ、あるいはスピーカ114及び123に所定の音を発音させることによりユーザに知らせることができる。

以下に、図５〜図１１を参照しながら、ＬＣＤ表示部115及び116上での合焦状態の表示例について具体的に説明する。合焦状態表示手段31は、予めこれらの表示を行うことができるように設定されているものとする。

図５〜図１１は、上記のような合焦状態表示装置を備えた本実施形態の携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図である。

図５に示す表示形態では、合焦状態を棒グラフにより表示している。図５において、ＬＣＤ表示部115又は116上の表示画面53には、合焦状態表示グラフ51が表示されており、ゲージが右に上がるほど合焦状態の値が高いことを示している。また、バー52は、これまでの合焦状態の最大値を示している。

このような合焦状態表示により、ユーザは、表示画面53を見ながら本実施形態の携帯電話機10を上下に動かして、合焦状態表示グラフ51のゲージが最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。

図６に示す表示形態では、合焦状態をレベルメータにより表示している。図６において、ＬＣＤ表示部115又は116上の表示画面63には、合焦状態表示レベルメータ61が表示されており、レベルメータの表示レベルがminからmaxに向かって時計回り方向に上がるほど合焦状態の値が高いことを示している。また、バー62は、これまでの合焦状態の最大値を示している。

このような合焦状態表示により、ユーザは、表示画面63を見ながら本実施形態の携帯電話機10を上下に動かして、合焦状態表示レベルメータ61の表示レベルが最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。

図７に示す表示形態では、合焦状態を数値により表示している。図７において、ＬＣＤ表示部115又は116上の表示画面73には、表示ウィンドウ71において合焦状態に対応した数値が表示されており、この数値の値が高いほど合焦状態の値が高いことを示している。また、表示ウィンドウ72には、これまでの合焦状態の最大値が表示されている。

このような合焦状態表示により、ユーザは、表示画面73を見ながら本実施形態の携帯電話機10を上下に動かして、表示ウィンドウ71に表示される合焦状態に対応した数値が最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。

図８に示す表示形態では、合焦状態を図形の個数により表示している。図８において、ＬＣＤ表示部115又は116上の表示画面83には、合焦状態に対応した個数の図形81が表示されており、この図形81の個数が大きいほど合焦状態の値が高いことを示している。このような表示を行うには、例えば、合焦状態の値を所定の値で割った商の個数分、図形を表示させるようにすればよい。また、図形82は、これまでの合焦状態の最大値に対応する図形の個数を表示している。

尚、図８では、例として短冊状の四角形を表示しているが、これ以外にも任意の形状の図形を用いて表示することができる。

このような合焦状態表示により、ユーザは、表示画面83を見ながら本実施形態の携帯電話機10を上下に動かして、表示される図形81の個数が最大になったところがカメラ112の合焦位置であると判断して撮影を行うことができる。

図９に示す表示形態では、合焦状態を色の変化により表示している。図９において、ＬＣＤ表示部115又は116上の表示画面93には、合焦状態に対応した色のブロック91が表示されており、このブロック91の色が合焦状態の値と対応している。

図１０は、このときのブロック91の色と合焦状態の値との関係を記録するカラーテーブルの構成例を示す図である。通常、表示画面93に表示されるブロック91の色は、RGBの色要素により決定されるが、これらの色要素の値と合焦状態の値とを関連付けてカラーテーブルに記録しておけばよい。

図１０に示す例では、ブロック91の色が緑色に近づくほど合焦状態の値が高く、赤色に近づくほど合焦状態の値が低くなるように構成されている。もちろん、本実施形態の合焦状態表示装置による表示形態はこれに限定されるわけではなく、任意の構成のカラーテーブルを利用することができる。

このような合焦状態表示により、ユーザは、表示画面93を見ながら本実施形態の携帯電話機10を上下に動かして、表示されるブロック91の色が最も緑色に近づいたところがカメラ112の合焦位置であると判断して撮影を行うことができる。

図１１に示す表示形態では、合焦状態を表示される文字の濃度により表示している。図１１において、ＬＣＤ表示部115又は116上の表示画面103には、「ピントが合っています。」という文字101が、合焦状態の値に対応した濃度で表示されている。

ここで、文字101の濃度は、合焦状態の値に応じて所定の範囲内で変動するように構成されており、例えば、0（黒）〜255（白）の範囲で表示することができる。

このような合焦状態表示により、ユーザは、表示画面103を見ながら本実施形態の携帯電話機10を上下に動かして、表示される文字101が最も濃く表示されるところがカメラ112の合焦位置であると判断して撮影を行うことができる。

第2実施形態
本実施形態において、合焦状態表示装置及びこれを備えた携帯電話機10の構成は、図１及び図２に示す第1実施形態のものと同様であるため、説明を省略する。

第1実施の形態では、図５〜図１１に示すように、ＬＣＤ表示部115及び116の表示画面に合焦状態を表示するよう構成しているが、本発明の第2実施形態では、ＬＣＤ表示部115及び116上での表示に代えて、あるいはこれに加えて、携帯電話機10に備えたＬＥＤ113を所定の方法で点滅又は点灯させることにより、合焦状態をユーザに通知することを特徴とする。

上記ＬＥＤ113を所定の方法で点滅させる態様としては、例えば、図２において、合焦状態表示手段31は、所定の値を合焦状態の値で割った値を随時算出し、この値をピッチとしてＬＥＤ113を点滅させるように構成することができる。これにより、合焦状態の値が高くなるほどＬＥＤ113の点滅のピッチが早くなり、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。

また、上記ＬＥＤ113を所定の方法で点灯させる態様としては、例えば、図２において、合焦状態表示手段31は、合焦状態の値が所定の値より大きいかどうかを判断し、所定の値より大きい場合には、ＬＥＤ113を点灯させるように構成することができる。これにより、合焦状態の値が所定の値を超えるとＬＥＤ113が点灯するので、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。

第3実施形態
本実施形態において、合焦状態表示装置及びこれを備えた携帯電話機10の構成は、図１及び図２に示す第1実施形態のものと同様であるため、説明を省略する。

第1実施形態では、図５〜図１１に示すように、ＬＣＤ表示部115及び116の表示画面に合焦状態を表示するよう構成しているが、本発明の第3実施形態では、ＬＣＤ表示部115及び116上での表示に代えて、あるいはこれに加えて、携帯電話機10に備えたスピーカ114又は123に所定の発音をさせることにより、合焦状態をユーザに通知することを特徴とする。

上記スピーカ114又は123に所定の発音をさせる態様としては、例えば、図２において、合焦状態表示手段31は、所定の値を合焦状態の値で割った値を随時算出し、スピーカ114又は123においてこの値に対応する周波数の音を発生させるように構成することができる。これにより、合焦状態の値が高くなるほどスピーカ114又は123により発せられる音の周波数が高くなり、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。

また、スピーカ114又は123に所定の発音をさせる他の態様としては、例えば、図２において、合焦状態表示手段31は、合焦状態の値が所定の値より大きいかどうかを判断し、所定の値より大きい場合には、スピーカ114又は123に所定の発音をさせるように構成することができる。これにより、合焦状態の値が所定の値を超えるとスピーカ114又は123に所定の発音をするので、ユーザはこれをもとにカメラ112の合焦状態を判断することができる。

第4実施形態
本発明の第4実施形態は、第1実施形態と同様、合焦状態表示装置を備えたカメラ内蔵型携帯電話機である。図１２は、この携帯電話機に備えられる合焦状態表示装置の構成を示す機能ブロック図である。図中、図２と同一の符号を付した構成部分は、同一のものを示しており、これらについては説明を省略する。

図１２において、本実施形態の合焦状態表示装置は、図２に示す表示画像合成部32に代えて、画像データ信号の空間周波数成分の高域成分を除去するＢＰＦ（バンドパスフィルタ）80（フィルタ手段）を備えている。

ＢＰＦ80は、撮像装置20から出力された画像データ信号に対して、８×８、１６×１６等の画素ブロックごとにＦＦＴ（高速フーリエ変換）、ＤＣＴ（離散コサイン変換）、アダマール変換などの直交変換を適用し、各ブロックの所定範囲の周波数成分のみを用いて逆変換した後、この画像信号データをＬＣＤ表示部115及び116に出力することができる。

合焦状態表示手段31は、合焦状態判別手段26から出力される合焦状態の値が低くなるほど、ＢＰＦ80において画像データ信号から除去する周波数成分の範囲（高域成分）を広げるようＢＰＦ80を制御する。

上記において、合焦状態の値に応じてＢＰＦ80により画像データ信号から除去する周波数成分の範囲を変化させる態様としては、例えば、以下のようにすればよい。

合焦状態表示手段31は、合焦状態の値を所定の値で割った値を算出する。ＢＰＦ80は画像データ信号を画素ブロックごとに直交変換した後、合焦状態表示手段31が算出した上記値を取得し、画像データ信号に含まれる空間周波数成分の全周波数範囲のうち、上記値に対応する割合（パーセンテージ等）を周波数の低い方から取り出し、これを逆変換するとともに、その他の周波数範囲の成分を０にして、ＬＣＤ表示部115及び116に出力する。

このような合焦状態表示により、ユーザは、ＬＣＤ表示部115及び116の表示画面を見ながら本実施形態の携帯電話機10を上下に動かして、表示される画像のボケが小さいところがカメラ112の合焦位置であると直感的に判断して撮影を行うことができる。

上記各実施形態のカメラ内蔵型携帯電話機及びこれに備えられた合焦状態表示装置によれば、カメラ112から取り込んだ画像データ信号に対して、フォーカス領域抽出部21、エッジ強調処理部22、ヒストグラム処理部23、分散値算出処理部24、時間積算値算出処理部25等において所定の処理を行った後、その合焦状態を合焦状態判別手段26により判別し、合焦状態表示手段31によって、ＬＣＤ表示部115及び116、ＬＥＤ113、スピーカ114及び123を通じて、ユーザに分かりやすい直感的な方法で合焦状態を表示又は通知することができる。

これにより、携帯電話機10により画像を撮影しようとするユーザは、視覚的又は聴覚的に表示される合焦状態を参照することにより、容易に合焦の確認及び調節を行うことができる。

第5実施形態
本実施の形態において、撮影対象に文字が含まれる。ここでいう「文字」とは、一般的な言語、文字とともに、バーコードなどのコードも含む。要するに、その撮影対象自体が一般的又は普遍的な意味を有するように取り決めされている表示を意味する。

最近、カメラ内蔵型携帯電話機の機能向上は著しいものがあり、例えば、１０万画素レベルの画素数を有する携帯電話機も開発が進んでいる。また、画素数の向上により従来は難しかった種々の応用が可能となる。その１つとして携帯電話機にＯＣＲ機能を搭載することが考えられる。ところが、従来の携帯電話機では、画素数が１０万程度であったため、例えば名刺に記載されている事項、例えば、氏名、会社名、電話・ＦＡＸ番号やメールアドレスなどの文字を携帯電話機に設けられたカメラにより直接撮影して携帯電話機内に取得することは難しかった。

本実施の形態による携帯電話機は、上記各実施の形態による合焦状態表示装置を適用したものである。カメラ内蔵型の携帯電話機において、デジタルカメラの画素数を１００万画素レベルにまで向上させると、小型のデジタルスチルカメラと同等の画素数レベルとなり、ユーザにとって満足できる画質の撮像が可能となる。発明者は、このような高画素化されたカメラ内蔵携帯電話機にＯＣＲ機能を設けることにより、従来の携帯電話機では困難であった、例えば名刺に記載されている事項、例えば、氏名、会社名、電話・ＦＡＸ番号やメールアドレスなどの文字を携帯電話機に設けられたカメラにより直接撮影して携帯電話機内に取得してメモリに記憶させたり、取得した電話番号やメールアドレスに基づいて、直接、電話をかけたりかけ、メールを送ったりすることができると考えた。その際、画素数が大きくなると、合焦距離を離して長い文字列（ＵＲＬなど）を撮影することが可能になる。但し、長い文字列を一括して認識しようとすると、文字自体は小さくなるため、一般撮影モードから接写モードへの変更が簡単にできるのが好ましいが、従来の装置ではこの点に関する技術的配慮がなかった。また、小さい文字列を良好な状態で撮影しこれを正確に認識させるためには、撮影時における撮像対象である文字列を表示画面上において正確に位置合わせすることが好ましいが、従来の装置ではこの点に関する技術的配慮もなされていない。

図３２は、名刺上に印刷されているＵＲＬなどを本実施の形態によるカメラ内蔵型携帯電話機を用いて撮影する様子を例示的に示した図である。図３２に示すように、レンズＬＳの画角を４０°とし、接写状態での合焦状態となる距離Ｈを１０ｃｍとすると、撮像可能な被写体の幅Ｗは７.２８ｃｍであり、この幅であれば、名刺ＮＣに印刷されているＵＲＬなどを一括して撮影可能である。但し、表示手段（メインＬＣＤ、サブＬＣＤのいずれであっても）に表示される文字列が小さくなるため、合焦状態であるか否かの確認が非常にとりにくくなる。そこで、上記の各実施の形態による合焦状態表示手段を有効に機能させることができる。

以下に、本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機について図面を参照しつつ説明を行う。図１６から図２０までは、本実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをＯＣＲ機能に焦点を当てて説明したフローチャート図である。図２１から図３１までは、処理の流れに沿って表示手段に表示される内容を示す図である。

待受画面３０１において、カメラモードに設定しステップＳ１においてカメラ起動処理を行うと、表示画面３０２にカメラ起動中の表示が行われる（ステップＳ２）。ステップＳ３においてカメラ起動が完了すると、表示手段にスルー画像が表示され（図２１、３０３）る。この画面から、シャッタ押下、メニュー表示、キャンセルを選択することができる。ステップＳ４において撮影画像を第１メモリに上書き保存する。ここで、第１メモリとは、いわゆるバッファメモリのことであり、撮像動作中において撮像対象の画像信号を常に上書きして一時保存している。ステップＳ５において、第１メモリに保存した撮影画像を表示手段に表示させる（３０９）。撮影をキャンセルする場合には、キャンセルを選択することにより、ステップＳ１５の待受画面（待受モード）（３１０）に戻る。ここで実際に通常の撮影を行う場合には、ステップＳ７をスルーし（メニューボタン押下でＮｏ）、ステップＳ８においてシャッタボタン押下動作を行う（Ｙｅｓ）。シャッタボタン押下を行うまでは、ステップＳ４からステップＳ８までの処理を繰り返す。

ステップＳ８においてシャッタボタンを押下すると、ステップＳ９において、確認画面が表示される（図２１、３０４）。ここで、キャンセルを選択すると（ステップＳ１０）、ステップＳ４に戻る。キャンセルを選択せずに、ステップＳ１１において保存を選択すると、保存中の表示が行われる（図２１の３０６、図２２の３１１〜３１２）。保存中の所定時間内にキャンセルを選択すると（ステップＳ１１のＮｏ）、ステップＳ９に戻る。保存を選択して所定時間が経過すると、実際に撮影画像全体の画像データを保存することができる。すなわち、ステップＳ１２において第１メモリに保存した撮影画像を例えばＪＰＥＧ圧縮し、ステップＳ１３において圧縮された画像データを第２メモリ（例えば不揮発性メモリカードなど）に保存する（ステップＳ１３、図２２の３１３〜３１４）。次いで、ステップＳ１４に進みカメラ機能を停止させると、ステップＳ１５において待受モードとなりその旨の表示がなされる（ステップＳ１５、図２１の３０１、図２２の３１０）。

ステップＳ７において、メニューボタン押下を選択すると（Ｙｅｓ）、ステップＳ１６に進み、撮影サブメニュー画面が表示される（図２１、３０５）。サブメニューには、例えば、1)から9)までの撮影に関する項目が表示される。ステップＳ１８において、表示されたサブメニュー中から所望の項目を選択し、ステップＳ１８において撮影モードの切替を行うか否かを決定する。撮影モードの切替を行わない場合には、選択された項目の設定となる。撮影モードの切替を行う場合（Ｙｅｓ）には、ステップＳ１９に進み、撮影モードメニュー画面を表示させる（図２１、３０７）。撮影モードメニューには、例えば１）〜４）までの項目が表示され、いずれを選択し決定処理を行うかにより、ステップＳ２１からステップＳ２４までのいずれかに進むことができる（図１６のＡ〜Ｄ）。ステップＳ２２の静止画を選択し、さらにＹｅｓを選択すると、ステップＳ４に戻って処理を行う。

ステップＳ２３の動画が選択されると、図１７に示すようにステップＳ２５に進み、撮影画像を第１メモリに上書き保存する。次に、ステップＳ２６において第１メモリに保存した撮影画像を表示させ、ステップＳ２７においてキャンセルボタンを押下するか否かを判断し、キャンセルボタンを押すと（Ｙｅｓ）ステップＳ１５の待受モードに戻る。キャンセルボタンを押さない場合には（Ｎｏ）、ステップＳ２８に進み、メニューボタンを押下するか否かを判断する。以後、ステップＳ２９からステップＳ３８までは、図１６のステップＳ１１からＳ１４までとほぼ同様の処理を動画撮影に関して行うものであり、フローチャート図に沿った説明は省略する。

ステップＳ２４において文字読取を選択すると（Ｙｅｓ、図２３の３１５）、図１８のステップＳ３９に進み、文字読取メニュー画面表示を行う（図２３、３１６）。文字読取の項目としては、１）ＵＲＬ、２）メールアドレス、３）電話番号、４）英数字などが挙げられる。その他の項目が設けられていても良い。

ステップＳ４１において、ＵＲＬが文字読取対象項目であるか否かを判断し、ＹｅｓであればステップＳ４２に進み、メモリ内の領域Ｘに１を格納する。ステップＳ４１においてＮｏであれば、メールアドレスが文字読取対象項目であるか否かを判断し、ＹｅｓであればステップＳ４３に進み、メモリ領域Ｘに２を格納する。ステップＳ４３においてＮｏであればステップＳ４５に進み、電話番号が文字読取対象項目であるか否かを判断し、ＹｅｓであればステップＳ４６に進み、メモリ領域Ｘに３を格納する。ステップＳ４５においてＮｏであればステップＳ４７に進み、英数字が文字読取対象項目であるか否かを判断し、ＹｅｓであればステップＳ４８に進み、メモリ領域Ｘに４を格納する。ステップＳ４７においてＮｏであればステップＳ４９に進む。

ステップＳ４９において撮影画像を第１メモリに上書き保存し、ステップＳ５０において第１メモリに保存した撮影画像を表示手段に表示させる。この際、図２３の表示画面３１７に示すように、例えば、撮影対象であるＡｂｃｄｅｆのホームページのＵＲＬである“Ａｂｃｄｅｆ.ｃｏｍ”をスルー画像として表示されるとともに、合焦バーが表示される。例えば、「合焦バーの色が最も青色に近い時に撮影して下さい。」との表示がなされ、ユーザは、この表示に従って合焦状態を確認することができる。すなわち、ステップＳ５１以下において合焦判定を行い、ステップＳ５２において合焦判定結果を表示する。合焦判定及びその結果表示は、上記の各実施の形態において説明した処理を行えば良い。合焦が確認されれば、シャッタボタンを押下するか否かを判断する（ステップＳ５３）。ステップＳ５３においてＮｏであれば、ステップＳ５４においてメニューボタン押下を行うか否かを判断する。メニューボタン押下を行う場合には（Ｙｅｓ）、図１６のステップＳ１９に戻り、撮影モードメニュー画面表示を行う。メニューボタン押下を行わない場合には（Ｎｏ）、ステップＳ５５において、キャンセルボタンを押下するか否かを判断する。ステップＳ５５においてＮｏであれば、ステップＳ４９に戻る。Ｙｅｓであれば、ステップＳ１５に戻り待受モードとなる。

ステップＳ５３においてＹｅｓであれば、ステップＳ５６に進み、図２３の表示画面３１８に示すように、矩形のエリア３１８ａ内に“Ａｂｃｄｅｆ.ｃｏｍ”の影画像が表示される。

次いで、ステップＳ５７においてキャンセルボタンを押下するか否かを判断し、ＹｅｓであればステップＳ４９に戻る。Ｎｏであれば、ステップＳ５８に進み認識ボタン押下を行うか否かを判断し、ＮｏであればステップＳ５６に戻り、ＹｅｓであればステップＳ５９においてＯＣＲ機能により文字認識処理を行い、ステップＳ６０において文字認識結果を表示手段に表示させる。次いで、ステップＳ６１に進み、認識結果に応じて再認識が必要か否かを判断し、ＹｅｓであればステップＳ４９に、ＮｏであればステップＳ６２に進む。ステップＳ６２においてメニューボタンを押下するか否かを判断し、Ｙｅｓであれば図１９のステップＳ７１に進む。Ｎｏであれば、ステップＳ６３に進み、決定ボタンを押下するか否かを判断し、ＮｏであればステップＳ６０に戻り、ＹｅｓであればステップＳ６４に進む。ステップＳ６４において、上記メモリ領域Ｘに“１”が格納されているか否かを判断する。Ｙｅｓであれば、ステップＳ６７のＵＲＬ入力モードに進む。Ｎｏであれば、ステップＳ６５に進み、上記メモリ領域Ｘに“２”が格納されているか否かを判断する。Ｙｅｓであれば、ステップＳ６８のメール作成モードに進む。Ｎｏであれば、ステップＳ６６に進み上記メモリ領域Ｘに“３”が格納されているか否かを判断する。Ｙｅｓであれば、ステップＳ６９の電話発信モードに進む。Ｎｏであれば、ステップＳ７０のメモ帳登録モードに進む。

図１９に示すように、ステップＳ７１において、文字認識サブメニュー画面表示を行う（図２３、３２３）。ステップＳ７２において、文字認識サブメニュー１）〜７）の中からステップＳ７３〜ステップＳ７８で上記１）から６）までのいずれかの項目を選択する。例えば、ステップＳ７３の続き認識において１）続き認識を選択すると、ステップＳ４９に進む。選択しない場合にはステップＳ７４の追加認識において２）追加認識を選択すると、ステップＳ３９に進む。ステップＳ７５の電話帳新規選択において、３）電話帳新規登録を選択すると、ステップＳ７９の電話帳登録モードに進む。選択しない場合にはステップＳ７６の電話帳追加登録選択において４）電話帳追加登録を選択すると、ステップＳ８０の電話帳編集モードに進む。選択しない場合にはステップＳ７７のＢｏｏｋｍａｒｋ登録においてＢｏｏｋｍａｒｋ登録を選択するとＢｏｏｋｍａｒｋ登録モードに進む。選択しない場合にはステップＳ７８の編集選択に進み、編集を選択するとステップＳ８２の入力編集モードに進み、編集選択をしない場合には、選択された項目のモードに進む。上記1)から3)までの具体的な処理と表示については後述する。

図２０に示すように、図１６のコード読取選択ステップからステップＳ８３において、コード読取メニュー画面表示を行う（図２７、３５２）。項目としては、例えば、１）１次元バーコード、２）２次元バーコード（ＱＲコード）の２通りが例示されている。ステップＳ８５において１次元バーコード読取を選択するか否かを判断する。１次元バーコード読取を選択する場合には、メモリＹに“１”を記憶させる。その後、又は、１次元バーコード読取を選択しない場合は、ステップＳ８７に進み、２次元バーコード読取を選択するか否かを判断する。２次元バーコード読取を選択する場合には、ステップＳ８８においてメモリＹに“２”を記憶させ、２次元バーコード読取を選択しない場合にはステップＳ８８を経ずに、いずれもステップＳ８９に進む。

次いで、ステップＳ８９において撮影画像を第１メモリに上書き保存し、ステップＳ９０において第１メモリに保存した撮影画像を表示手段に表示させる。ステップＳ９１において合焦判定を行う。ステップＳ９２において合焦しているか否かを判断し、合焦していない場合にはステップＳ８９に戻る。合焦していると判断された場合には、ステップＳ９３に進み、コード認識を行う。ＯＣＲ機能によるコード認識がうまくいったか否かをステップＳ９４において判定し、コード認識がうまくいっていれば、ステップＳ９５においてコード認識結果を表示し、ステップＳ９６に進む。このように、コード認識が可能な合焦状態においてコード認識処理を実行させることにより、常にコード認識処理を実行させる場合に比べてＣＰＵの処理負担を軽減することができると共に、コード認識処理に伴うフレームレートの低下をも最小限に抑制することができる。

次いで、ステップＳ９６において再認識ボタンを押下するか否かを判断する。
すなわち、コード認識がうまくいっていなければ、再認識ボタンを押して（Ｙｅｓ）ステップＳ８９に戻る。表示手段に表示されたコード認識結果がうまくいっていれば（Ｎｏ）、ステップＳ９７に進み、決定ボタンを押下するか否かを判断する。決定ボタンを押下しない場合は、ステップＳ９５に戻る。決定ボタンを押下する場合は、ステップＳ９８に進み、コード認識結果にＵＲＬであることを識別する情報が含まれている場合には、ステップＳ６７のＵＲＬ入力モードに進むことができる。

例えば、ステップＳ５６においては、図２３の表示画面３１７において［］内にＵＲＬの大まかな位置合わせを行い、合焦バーにより合焦処理を行った後にシャッタを押す処理を行うと、表示画面３１８に示すように、矩形のエリア３１８ａ内に“Ａｂｃｄｅｆ.ｃｏｍ”の影画像が表示される。複数行存在する場合には、その中から認識処理の対象となる行を、キー操作などにより選択することができる。認識処理を確定する処理を行うことにより、文字読み取り（ＵＲＬ）のＯＣＲ認識処理を行い（３１９）認識が完了すると、表示画面３２０に示すように、［ＵＲＬ］の項目に上記の手順により取得したＵＲＬ“ｈｔｔｐ：／／Ａｂｃｄｅｆ.ｃｏｍ”が表示され、決定ボタンを押すことによりこのＵＲＬに対するインターネット接続処理を開始することもできる（３２２）。

メールアドレスを作成した場合には、ステップＳ９９からメール作成モード（ステップＳ６８）に進むことができる。例えば、ステップＳ６８においては、図２４の表示画面３２６において［］内にメールアドレスの大まかな位置合わせを行い、合焦バーにより合焦処理を行いシャッタを押す処理を行うと、表示画面３２７に示すように、矩形のエリア３２７ａ内に“Ｔａｒｏ.○○＠ａｂｃ.ｃｏｍ”が影画像が表示される。複数行存在する場合には、その中から認識処理の対象となる行を、キー操作などにより選択することができる。認識処理を確定する処理を行うことにより、文字読み取り（メールアドレス）のＯＣＲ認識処理を行い（３２８）、認識が完了すると、表示画面３２９に示すように、［メールアドレス］の項目に上記の手順により取得したメールアドレスが表示され、決定ボタンを押すことによりこのメールアドレスを有する相手に対するメール作成画面が表示される（３３０）。ここで、送信を押すとメールアドレスに対するインターネット接続処理を開始し、電子メールを送信することもできる（３３１）。

電話番号を表示した場合には、ステップＳ１００から電話発信モードＳ６９に進むことができる。さらに、ステップＳ７０のメモ帳登録モードに進むこともできる。

例えば、ステップＳ６９においては、図２５の表示画面３３５において［］内に電話番号の大まかな位置合わせを行い、合焦バーにより合焦処理を行い、シャッタを押す処理を行うと、表示画面３３６に示すように、矩形のエリア３３６ａ内に“０１２３４５６７８９”のように電話番号の影画像が表示される。複数行存在する場合には、その中から認識処理の対象となる行を、キー操作などにより選択することができる。認識処理を確定する処理を行うことにより、文字読み取り（電話番号）のＯＣＲ認識処理を行い（３３７）、認識が完了すると、表示画面３３８に示すように、［電話番号］の項目に上記の手順により取得した電話番号が表示され、決定ボタンを押すことによりこの電話番号を有する相手に対する電話発信確認画面が表示される（３３９）。ここで、発信を押すと電話発信処理を開始する（３４０）。

図２６に示す英数字のメモ帳への記録処理も上記の処理と同様の手順により行うことができる（表示画面３４４〜３４９）。詳細な説明は省略する。図２７に示す１次元バーコードに基づくＵＲＬ入力（表示画面３５２〜３５７）、図２８に示す２次元バーコードに基づくＵＲＬ入力（表示画面３６０〜３６６）も同様である。

次に、ＵＲＬを入力した場合（図２３の３２１又は図２８の３６４）において、実際には、ＵＲＬがさらに長い文字列から構成されている場合には、続きの文字列を入力する必要がある。このような場合には、ステップＳ７１において、文字認識サブメニュー画面表示を表示し（図２９、符号３６７）、ここで1)続き認識を選択し決定する。表示画面３６８に示すように、続きの文字列“ｔｏｄａｙ／ｉｎｄｅｘ.ｈｔｍｌ”を撮像し、合焦バーにより合焦を確認した後にシャッタを押すことで、表示画面３６９に示すように“ｔｏｄａｙ／ｉｎｄｅｘ.ｈｔｍｌ”の文字列をＯＣＲ認識することができる（符号３７０）。認識が完了すると、表示画面３７１に示すように、“ｈｔｔｐ：／／Ａｂｃｄｅｆ.ｃｏｍ／ｔｏｄａｙ／ｉｎｄｅｘ.ｈｔｍｌ”と続きの文字列がつなげられた文字列が表示され、ここで内容を確認した後に決定ボタンを押すと、上記ＵＲＬを携帯電話機内に取得、記憶させることができる（３７２）。ここで決定ボタンを押すと、上記ＵＲＬに対してインターネット接続を行うことができる（３７４）。表示画面３７２において、メニューの表示をさせると、再度サブメニューを表示させることもできる。

次に、ＵＲＬを取得した後に、サブメニュー表示から２）追加登録を選択することにより、ＵＲＬの次に１）〜４）までのいずれかの項目を追加登録することができる。例えば、図３０における表示画面３７６からメールアドレスを登録する場合には、２）メールアドレスを選択して決定することにより、表示画面３７７に示すように、名刺上の○○太郎のメールアドレスを撮像する。この場合にも合焦バーにより合焦状態を確認し、表示画面３７８に示すように、“Ｔａｒｏ.○○＠ａｂｃ.ｃｏｍ”を撮影する。この場合もキー操作により選択行を変更することもできる。ＯＣＲ認識を行わせる選択を行うと認識処理が行われ（３７９）、メールアドレスとして“Ｔａｒｏ.○○＠ａｂｃ.ｃｏｍ”を取得することができる（３８０）。

表示画面３８０において、決定を選択すると新規メール作成画面が表示され（３８１）、表示画面３８２に示すようにメールアドレスからＵＲＬの行に移動させ、例えばそのＵＲＬにインターネット接続することもできる。また、メニュー表示をさせると（表示画面３８３）、１）〜３）と６）、７）の項目が選択可能な項目として、又４）、５）の項目が選択できない項目として表示される。尚、４）の項目が選択できない項目として表示されている理由は、追加認識が行われたためであり、又５）の項目が選択できない項目として表示されている理由は、メールアドレスが選択された状態でメニュー表示させたためである。

その後、図３１の表示画面３８４において例えば２）追加認識を選択すると、表示画面３８５に示すように１）から４）までの文字読みとりのいずれかを選択することができる。ここで、例えば３）の電話番号を選択すると、表示画面３８６に示すように○○太郎の電話番号“０１２３４５６７８９”が撮像されるとともに、合焦バーが表示される。合焦バーにより合焦状態を確認した後、シャッタを押すことで電話番号を撮影することができる（３８７）。ここで、複数行を上下に移動させて選択行を変更することも可能である。次いで、ＯＣＲ認識処理を行うことにより（３８５）、表示画面３８９に示すように電話番号の表示位置に取得した電話番号を登録することができる。ここで、決定を選択すると表示画面３９０に示すように電話発信確認画面が表示され発信を選択すると実際に電話を発信する処理を行うことができる。メニューを選択すると、サブメニューが表示され（３９１）、電話帳新規登録を選択すると表示画面３９２に示すように電話番号を登録することができる。表示画面３９２に示すように、名前、読み、電話番号、メールアドレス、パーソナルＵＲＬなどを一覧表示することができるアドレス帳を一枚の名刺から簡単に作成することができる。尚、2)の追加認識機能を利用すると、例えば、ＵＲＬ、メールアドレス、電話番号などを順次認識させた後、認識した全てのデータを一括して電話帳などに登録させることができる。

以上に説明したように、本実施の形態による携帯電話機によれば、名刺などに記載されている文字データをカメラを利用して撮像する際に、合焦手段を用いることでユーザに合焦状態を報知することにより合焦状態を容易に知ることができ、その後に合焦状態で文字データなどを撮像し、良好な状態で撮像された文字データをＯＣＲ機能により認識させることにより、名刺などに記載された比較的小さな文字列であって、かつ、長い文字列であるＵＲＬやメールアドレスなどを、簡単に携帯電話機内に取得することができる。以上、本発明の合焦状態表示装置及び合焦状態表示方法について、カメラ内蔵型携帯電話機において用いられる各実施形態を例示して説明した。しかしながら、本発明の本発明の合焦状態表示装置及び合焦状態表示方法は、これら実施形態の範囲に限定されるものではない。
当業者であれば、本発明の要旨を逸脱しない範囲内において、本発明の合焦状態表示装置及び合焦状態表示方法に様々な変更・改良を加えることが可能である。

例えば、色で表示したり、色の濃淡で表示したり、その他のグラフ表示又は文字・絵文字などにより表示したり、音や振動などにより報知したりする場合を含む。

尚、上記の各実施形態では、合焦状態表示装置を携帯電話機に適用した例を示しているが、ＰＤＡ等の携帯情報端末、携帯型パソコン等の情報処理装置など、カメラ（内蔵／外付け）を備えた装置であればどのような装置にも適用可能である。また、撮像対象となる画像データはどのようなものであってもよい。

また、上記の各実施形態では、合焦状態表示装置、携帯電話機という名称を用いたが、これは説明の便宜上であり、ピント状態表示装置、通信端末装置、ピント状態表示方法などの名称を用いてもよいことは勿論である。

また、上記の各実施形態において、合焦状態の表示又は通知手段として、ＬＣＤ表示部115及び116における図形、記号、文字等の表示、及びスピーカ114及び123による発音を行う例について説明したが、通知方法にはこれら以外の視覚的、聴覚的その他の方法を用いてもよい。上記携帯電話機及び合焦状態表示装置を構成する各種装置及び各回路部、例えば記憶部や表示部の種類、数及び接続方法などは上記した実施の形態に限定されるものではなく、従来知られている如何なる構成をとってもよい。

本発明の合焦状態表示装置及び合焦状態表示方法、並びにこれを備えた携帯電話機等の装置は、上記した合焦状態表示のための機能を実行させるためのプログラムとしても実現される。このプログラムは、上記各装置内部に予め組み込まれているように構成してもよいが、上記各装置とは別に、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。

本発明では、この記録媒体として、メインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。

ここで、上記プログラムメディアは、携帯端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード（登録商標）、スマートメディア（登録商標）、ＩＣカード、ＳＤカード（登録商標）、メモリースティック（登録商標）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。

さらに、インターネット接続プロバイダ又はサーバ端末等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。

このように、装置本体と分離可能な記録媒体に上記プログラムを記録しておけば、本発明の合焦状態表示装置及び合焦状態表示方法を備えた各種装置に対して、プログラムのバージョンアップや新たな表示形態を追加するアップデート等を自在に行うことが可能となり、ユーザにとって一層利便性の高い装置を提供することが可能となる。

本発明の第1実施形態として、合焦状態表示装置を備えたカメラ内蔵型携帯端末装置の外観を示す図である。図１に示す携帯電話機10に備えられる合焦状態表示装置の構成を示す機能ブロック図である。図２に示すフォーカス領域抽出部21におけるフォーカス領域の設定及び画像の抽出を概略的に示す図である。図２に示すエッジ強調処理部22において、画像信号のエッジ強調処理に用いる空間微分オペレータを例示する図である。本発明の第1実施形態にかかる携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図であり、合焦状態の値を棒グラフにより表示している。本発明の第1実施形態にかかる携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図であり、合焦状態の値をレベルメータにより表示している。本発明の第1実施形態にかかる携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図であり、合焦状態の値を数値により表示している。本発明の第1実施形態にかかる携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図であり、合焦状態の値を所定の図形の数により表示している。本発明の第1実施形態にかかる携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図であり、合焦状態の値をカラー表示されたブロックにより表示している。図９に示す表示形態において、ブロック91の色と合焦状態の値との関係を記録するカラーテーブルの構成例を示す図である。本発明の第1実施形態にかかる携帯電話機10のＬＣＤ表示部115及び116上で合焦状態を表示する形態を示す図であり、合焦状態の値を表示される文字の濃度により表示している。本発明の第4実施形態として、合焦状態表示装置を備えたカメラ内蔵型携帯端末装置の外観を示す図である。図２のヒストグラム処理部23において、エッジ強調をされた画像データ信号の値に対して、エッジ強度と度数との関係について生成されるヒストグラムを示すグラフである。本発明の実施の形態による携帯電話機の概略構成例を示す機能ブロック図である。カメラ１１２のレンズ焦点深度切換機構の構成例を模式的に示す図であり、通常撮影時とＯＣＲ機能モードとの焦点深度切換機構の例を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをＯＣＲ機能に焦点を当てて説明したフローチャート図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをＯＣＲ機能に焦点を当てて説明したフローチャート図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをＯＣＲ機能に焦点を当てて説明したフローチャート図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをＯＣＲ機能に焦点を当てて説明したフローチャート図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れをＯＣＲ機能に焦点を当てて説明したフローチャート図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。本発明の第５の実施の形態による合焦状態表示装置を備えたカメラ内蔵型携帯電話機における処理の流れに沿って表示手段に表示される内容を示す図である。名刺上に印刷されているＵＲＬなどを本実施の形態によるカメラ内蔵型携帯電話機を用いて撮影する様子を例示的に示した図である。

符号の説明

10 カメラ内蔵型携帯電話機
10a 携帯電話機本体部
111 アンテナ
112 カメラ
113 LED点滅点灯装置
114 スピーカ
115, 116 LCD表示部
117 電源キー
118 電話機能キー
119 モードキー
120 カーソルキー
121 シャッターキー
122 ダイヤルキー
123 拡声用スピーカ
124 マイク
20 撮像装置
21 フォーカス領域抽出部
22 エッジ強調処理部
23 ヒストグラム処理部
24 分散値算出処理部
25 時間積算値算出処理部
26 合焦状態判別手段
31 合焦状態表示手段
32 表示画像合成部
41 撮像装置により取り込んだ画像
42 フォーカス領域
53, 63, 73, 83, 93, 103 表示画面
51 合焦状態表示グラフ
52 最大値表示バー
61 合焦状態表示レベルメータ
62 最大値表示バー
71, 72 表示ウィンドウ
81 合焦状態表示図形
82 最大値表示図形
91 合焦状態表示ブロック
101 合焦状態表示文字
80 ＢＰＦ（バンドパスフィルタ）

Claims

画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、
撮像画像を表示する表示手段と、
前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段と、
前記認識手段によって得られた認識結果を記憶する認識結果記憶手段と
を備えることを特徴とする携帯端末装置。
画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、
前記撮影対象設定手段によって撮影対象を設定することに応じて通常モードと接写モードとを切換える撮影モード切換え手段と、
撮像画像を表示する表示手段と、
前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段と、
前記認識手段によって得られた認識結果を記憶する認識結果記憶手段と
を備えることを特徴とする携帯端末装置。
前記合焦状態判定手段が起動され、前記認識手段により撮像された文字又はバーコードの認識を行うことを特徴とする請求項１又は２のいずれか一項に記載の携帯端末装置。
前記合焦状態判定手段により、撮像された文字又はバーコードの認識が可能な合焦状態を判定し、前記認識手段により、撮像された文字又はバーコードの認識を行うことを特徴とする請求項１又は２に記載の携帯端末装置。
前記合焦状態判定手段による合焦状態判定結果を報知する報知手段を有することを特徴とする請求項１又は２に記載の携帯端末装置。
前記合焦状態判定手段による合焦状態判定結果を報知し、撮像された文字又はコードを認識することを特徴とする請求項１又は２に記載の携帯端末装置。
画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、
撮像画像を表示する表示手段と、
前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段と、
前記認識手段によって得られた認識結果を記憶する認識結果記憶手段と
を備えることを特徴とする携帯電話機。
前記認識手段により、撮像されたバーコードの認識を行うことにより得られた認識結果に応じて、認識結果に対応する通信準備状態に遷移可能なことを特徴とする請求項７に記載の携帯電話機。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてＵＲＬが得られた場合に、当該ＵＲＬにインターネット接続可能な状態に遷移可能なことを
特徴とする請求項７に記載の携帯電話機。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてメールアドレスが得られた場合に、当該メールアドレス宛のメール作成可能な状態に遷移可能なことを特徴とする請求項７に記載の携帯電話機。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果として電話番号が得られた場合に、当該電話番号宛に電話の発呼可能な状態に遷移可能なことを特徴とする請求項７に記載の携帯電話機。
画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、
撮像画像を表示する表示手段と、
前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、
撮像された前記文字又はバーコードの認識を行う認識手段と、
前記認識手段によって得られた認識結果を記憶する認識結果記憶手段と、
通信を行う通信手段と
を備えることを特徴とする携帯端末装置。
前記認識手段により、撮像されたバーコードの認識を行うことにより得られた認識結果に応じて、認識結果に対応する通信準備状態に遷移可能なことを特徴とする請求項１２に記載の携帯端末装置。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてＵＲＬが得られた場合に、当該ＵＲＬにインターネット接続可能な状態に遷移可能なことを特徴とする請求項１２に記載の携帯端末装置。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果としてメールアドレスが得られた場合に、当該メールアドレス宛のメール作成可能な状態に遷移可能なことを特徴とする請求項１２に記載の携帯端末装置。
前記認識手段により、撮像されたバーコードの認識を行うことにより認識結果として電話番号が得られた場合に、当該電話番号宛に電話の発呼可能な状態に遷移可能なことを特徴とする請求項１２に記載の携帯端末装置。
画像を撮影対象とする通常撮影モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定ステップと、
撮像画像を表示する表示ステップと、
前記ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定ステップと、
撮像された前記文字又はバーコードの認識を行う認識ステップと、
前記認識ステップによって得られた認識結果を記憶する認識結果記憶ステップと
からなることを特徴とする撮影画像認識方法。