JP4369926B2 - デジタル撮影装置、デジタル撮影装置に用いるエッジ強調度の調整方法、及びデジタル撮影装置に用いるエッジ強調度の調整用のプログラム - Google Patents

Description

本発明はデジタル撮影装置に関し、より詳しくは、デジタル撮影装置のピント調節方法に関する。

近年、携帯電話やＰＤＡなどの携帯情報機器に、カメラが搭載されることが多くなった。このような目的に使用されるカメラは、小型のレンズとＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラモジュールとして市場に提供されている。初期のころは解像度の低いカメラモジュールが載せられるにすぎなかったが、最近では１メガピクセルを超える解像度を持つカメラモジュールが搭載される例もでてきた。将来は、さらに解像度の高いカメラモジュールが携帯情報機器に搭載されることは、ほぼ確実である。

ところで、鮮明な写真を撮影するためには、ピントを合わせなくてはならない。すなわち、レンズを通った光が撮像素子の上で正しく像を結ぶように、カメラと被写体の距離によってレンズと撮像素子の距離を調節しなくてはならない。ピント合わせの方法として、撮像素子の解像度が低いカメラモジュールにおいては、あらかじめ被写界深度を深くとることによって、レンズを動かさなくとも広い範囲でピントが合うように設計した、固定焦点方式を用いることが多い。しかし、撮像素子の解像度が高くなると、ピント合わせをより精密に行なわなくてはならなくなるため、カメラと被写体の距離によってレンズと撮像素子の距離を積極的に調節することが望ましい。

写真撮影専用機である一般のカメラやデジタルカメラの分野では、古くからピントを自動的に合わせるオートフォーカス機能が発達してきた。オートフォーカス機能は、レンズの位置を少しずつ移動しながら、ピントに関する適当な評価値を求め、最も良いピント評価値を得たレンズ位置を、最適なピントが得られるレンズ位置とするものである。この評価値を求める方法として、フィルム一眼レフで用いられてきた位相差検知方式や、デジタルカメラで用いられるコントラスト方式などがある。

精密にピントを合わせるには、レンズを移動する位置間隔を狭めて、多数のレンズ位置においてピント評価値を得ることが望ましい。しかし、それではピントを合わせるまでに長い時間がかかり、またレンズを移動するために必要な電力消費も大きくなってしまう。そこで、短時間でピントを合わせるための時間を短縮するために、いくつかの提案がなされている。

特開２００２−２８７０１２号公報には、レンズの位置を動かしながらピント評価値を求め、ピント評価値が所定のしきい値以上であればレンズを動かす速度を速め、そのしきい値以下であればレンズを動かす速度を遅くすることで、高速に合焦位置を見つけようとする発明が記載されている。

特開２００２−４８９６７号公報では、レンズの位置を動かしながらピント評価値を求め、そのピント評価値の大小に応じてレンズの移動ステップ幅を変えることで、高速に合焦位置を見つけようとする発明が記載されている。

特開２００２−２８７０１２号公報 特開２００２−４８９６７号公報

しかし、これらの先行技術を用いても、合焦までの時間がまだ十分でない場合がある。特に、カメラ内蔵型の携帯電話やＰＤＡなどにおいては、シングルアクション方式で撮影を行なう場合があり、ダブルアクション方式で撮影を行なうカメラ専用機より、さらに素早く合焦制御を完了せねばならない。

ダブルアクション方式とは、撮影ボタンを半押しすると、撮影準備が行なわれ、撮影ボタンを最後まで押すと、写真が撮影される方式である。撮影準備には、自動露出制御や自動ピント合わせ（オートフォーカス）、ホワイトバランス合わせがある。通常、利用者は撮影準備が完了するのを待って、撮影を行なうため、カメラ専用機は撮影準備に十分な時間をかけることができると言える。

これに対し、シングルアクション方式とは、撮影ボタンを１度押すだけで、撮影準備と撮影を両方行なう方式である。撮影ボタンを押してから実際に撮影が行なわれるまでに時間がかかり過ぎると、撮影者や被写体が動いてボケた写真になりやすく、また操作感も悪い。このため撮影準備を素早く完了する必要があり、シングルアクション方式ではダブルアクション方式よりも、ピント合わせの速度への要求が厳しい。

上記課題を解決するため、本発明では、デジタル撮影装置であって、光軸方向に移動可能なレンズと、前記レンズを動かすためのモータと、前記レンズを通じて入射した光を電気信号に変換するセンサと、前記センサの出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器と、デジタル化された前記センサの出力信号から画像データを構築するデータ構築部と、前記画像データのエッジを強調するエッジ強調部と、デジタル化された前記センサの出力信号から輝度又は色成分を抽出する抽出部と、撮影に関する制御を行なう撮影制御部と、ユーザーが前記デジタル撮影装置を操作するために使用するユーザーインタフェースと、を備え、前記撮影制御部は、前記抽出部により抽出された前記成分を用いて、ピント評価値を求めるピント評価部と、前記モータを制御することにより前記レンズを所定の移動量ずつ動かすレンズ制御部を備え、前記所定の移動量として第１の移動量と前記第１の移動量より移動量の小さい第２の移動量とを有し、前記ピント評価値に応じて選択された前記第１の移動量と前記第２の移動量のいずれかによって前記レンズを移動させ、前記ピント評価部は、前記抽出部により抽出された前記成分のみからなる画像データにフィルタを用いて微分演算を行なって輝度又は色値の変化を検出し、フィルタ後の画像データの全ての画素について絶対値をとり、全ての画素の絶対値を加算して、上記の加算値が大きい場合はピントが合っていると判断し、小さい場合はピントが合っていないと判断し、前記レンズの移動の回数が所定の回数を超えた後もピントが合っていないと判断した場合、前記撮影制御部は、直近のレンズ移動量が前記第２の移動量であれば、それ以上レンズを動かさずに、エッジ強調度の調節を行い、直近のレンズ移動量が前記第１の移動量であれば、前記第１の移動量と前記第２の移動量のいずれかを選択してレンズの位置を移動し、もし移動できなければ、エッジ強調度の調節を行うことを特徴とするデジタル撮像装置を提供する。

上記装置において、前記ピント評価値の計算を、前記センサの中心領域から得られるデータに対してのみ行なうものであってもよい。

本発明によるデジタル撮影装置は、前記ピント評価値に応じて前記所定の移動量の大きさを変化させる構成を採ることができる。この場合、前記所定の移動量としてステップ１と前記ステップ１より移動量の小さいステップ２とを有し、前記所定の回数を超える前は以下の式により前記ステップ１と前記ステップ２から前記レンズの移動量を定める構成を採ることができる。

ここで、f_n+1, f_n, f_n-1は、それぞれ前記レンズ位置n+1, n, n-1における前記ピント評価値である。Focus_Level_Target_Ratioは、前記レンズの移動を終了するためのしきい値である。Step_Change_Thresholdは、前記ステップ１と前記ステップ２を切り替えるためのしきい値である。

さらに当該デジタル撮影装置は、前記所定の移動量としてステップ１と前記ステップ１より移動量の小さいステップ２とを有し、前記所定の回数を超えた後は以下の式により前記ステップ１と前記ステップ２から前記レンズの移動量を定める構成を採ることができる。

ここで、f_n+1, f_n, f_n-1は、それぞれ前記レンズ位置n+1, n, n-1における前記ピント評価値である。Step_Change_Thresholdは、前記ステップ１と前記ステップ２を切り替えるためのしきい値である。

本発明により提供されるデジタル撮影装置は、一の操作でエッジ強調部のエッジ強調度合いを調節すると共に撮影を行なうことを特徴とする構成を採ることができる。また該デジタル撮影装置は、電話機能を有する構成を採ることができる。さらに該デジタル撮影装置は、携帯情報機器に内蔵されるカメラモジュールである構成を採ることができる。

ここに提供される発明は次のような側面を含む。上記装置において、前記エッジ強調部は、コピーされた原画像に適当な平滑化フィルタをかけて、ぼかした画像にし、原画像から前記ぼかした画像を引き算し、引き算の結果により得られた画像を元の画像に、適当な係数を乗じて加算することによりエッジ強調処理を行うように構成されており、前記係数αが大きければ、エッジ強調度が強くなり、前記係数αが小さければエッジ強調度は弱くなるものであってもよい。

また、本発明は、デジタル撮影装置に用いるエッジ強調度の調整方法であって、前記デジタル撮影装置は、光軸方向に移動可能なレンズと、前記レンズを動かすためのモータと、前記レンズを通じて入射した光を電気信号に変換するセンサと、前記センサの出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器と、デジタル化された前記センサの出力信号から画像データを構築するデータ構築部と、前記画像データのエッジを強調するエッジ強調部と、デジタル化された前記センサの出力信号から輝度又は色成分を抽出する抽出部と、撮影に関する制御を行なう撮影制御部と、ユーザーが前記デジタル撮影装置を操作するために使用するユーザーインタフェースと、を備え、前記撮影制御部は、前記抽出部により抽出された前記成分を用いて、ピント評価値を求めるピント評価部と、前記モータを制御することにより前記レンズを所定の移動量ずつ動かすレンズ制御部を備え、前記所定の移動量として第１の移動量と前記第１の移動量より移動量の小さい第２の移動量とを有し、前記ピント評価値に応じて選択された前記第１の移動量と前記第２の移動量のいずれかによって前記レンズを移動させ、前記ピント評価部を用いて、前記抽出部により抽出された前記成分のみからなる画像データにフィルタを用いて微分演算を行なって輝度又は色値の変化を検出し、フィルタ後の画像データの全ての画素について絶対値をとり、全ての画素の絶対値を加算して、上記の加算値が大きい場合はピントが合っていると判断し、小さい場合はピントが合っていないと判断し、前記レンズの移動の回数が所定の回数を超えた後もピントが合っていないと判断した場合、前記撮影制御部を用いて、直近のレンズ移動量が前記第２の移動量であれば、それ以上レンズを動かさずに、エッジ強調度の調節を行い、直近のレンズ移動量が前記第１の移動量であれば、前記第１の移動量と前記第２の移動量のいずれかを選択してレンズの位置を移動し、もし移動できなければ、エッジ強調度の調節を行うこと、を備える方法を特徴とする。

上記方法において、前記デジタル撮像装置の撮影動作は、前記ユーザーインタフェースの一部である撮影ボタンを押下して設定モードを開始させ（ステップ１）、前記レンズを所定の位置へ移動し（ステップ２）、前記センサを駆動して前記ピント評価値を得るための撮像を行ない（ステップ３）、前記抽出部によってステップ３で得られたデータから輝度又は色成分を抽出し（ステップ４）、抽出された前記成分から前記ピント評価値を求める（ステップ５）を含んでいてもよい。

また、上記方法において、前記ステップ２から５までの動作を１回か２回しか行なっていなければ、ステップ２に戻り、レンズを所定の移動量だけ動かして新たに撮像・ピント評価値計算を行ない、ステップ２から５までの動作が２回以下の場合は前記第１の移動量を用いるものであってもよい。

本発明は更に、デジタル撮影装置に用いるエッジ強調度の調整用のプログラムであって、前記デジタル撮影装置は、光軸方向に移動可能なレンズと、前記レンズを動かすためのモータと、前記レンズを通じて入射した光を電気信号に変換するセンサと、前記センサの出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器と、デジタル化された前記センサの出力信号から画像データを構築するデータ構築部と、前記画像データのエッジを強調するエッジ強調部と、デジタル化された前記センサの出力信号から輝度又は色成分を抽出する抽出部と、撮影に関する制御を行なう撮影制御部と、ユーザーが前記デジタル撮影装置を操作するために使用するユーザーインタフェースと、を備え、前記撮影制御部は、前記抽出部により抽出された前記成分を用いて、ピント評価値を求めるピント評価部と、前記モータを制御することにより前記レンズを所定の移動量ずつ動かすレンズ制御部を備え、前記所定の移動量として第１の移動量と前記第１の移動量より移動量の小さい第２の移動量とを有し、前記ピント評価値に応じて選択された前記第１の移動量と前記第２の移動量のいずれかによって前記レンズを移動させ、前記デジタル撮影装置に、前記ピント評価部を用いて、前記抽出部により抽出された前記成分のみからなる画像データにフィルタを用いて微分演算を行なって輝度又は色値の変化を検出し、フィルタ後の画像データの全ての画素について絶対値をとり、全ての画素の絶対値を加算して、上記の加算値が大きい場合はピントが合っていると判断し、小さい場合はピントが合っていないと判断する手順と、前記レンズの移動の回数が所定の回数を超えた後もピントが合っていないと判断した場合、前記撮影制御部を用いて、直近のレンズ移動量が前記第２の移動量であれば、それ以上レンズを動かさずに、エッジ強調度の調節を行い、直近のレンズ移動量が前記第１の移動量であれば、前記第１の移動量と前記第２の移動量のいずれかを選択してレンズの位置を移動し、もし移動できなければ、エッジ強調度の調節を行う手順と、を実行させるプログラムを特徴としている。

以下、添付図面を参照して、本発明の好適な実施態様を説明する。図１は本発明によるデジタル撮影装置の概略を示す機能ブロック図である。デジタル撮影装置１００１は、レンズ１、レンズ１を図中Ａ−Ｂ方向に動かすためのステッピングモータ２、レンズ１を通じて入射した光を電気信号に変換するＣＣＤセンサ３、ＣＣＤセンサ３の出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器４、デジタル化されたＣＣＤセンサ３の出力信号から色補間処理によりパソコンで表示したりプリンタで印刷可能な画像データを構築する色補間部７、ＲＧＢ形式の画像データをＹＵＶ形式に変換するＹＵＶ変換部８、画像データのエッジを強調するエッジ強調部９、画像データを圧縮する画像データ圧縮部１０、圧縮された画像データを保存するデータ記憶装置１１などを備える。またデジタル撮影装置１００１は、デジタル化されたＣＣＤセンサ３の出力信号から輝度成分を抽出する輝度抽出部１２、撮影に関する様々な制御を行なう撮影制御部１５、ユーザーがデジタル撮影装置１００１を操作するために使用するユーザーインタフェース２７などを備える。撮影制御部１５は、ピントの良し悪しを評価するピント評価部１６、エッジ強調部９を制御するエッジ協調制御部１７、ＣＣＤセンサ３によるデータ収集を制御するＣＣＤ制御部１８、レンズ位置の移動を制御するレンズ制御部１９、メモリ２０などを備える。好適な実施形態において、色補間部７、ＹＵＶ変換部８、エッジ強調部９、画像データ圧縮部１０、輝度抽出部１２は、それぞれ専用のハードウエア回路で実現され、撮影制御部１５の各機能は、ＣＰＵなどの汎用処理装置とメモリ及びそのメモリに保存されるソフトウエアにより実現されることが望ましい。これらのハードウエア回路、ＣＰＵ、メモリは、統合されたカメラエンジン２４として独立して提供することもできる。ユーザーインタフェース２７は撮影ボタンやメニューボタンなどであって、ユーザーはユーザーインタフェース２７を操作することにより、写真撮影や撮影解像度の変更、撮影した写真の表示などを行なうことができる。

ピント評価部１６は、輝度抽出部１２により抽出されたＣＣＤセンサ３の出力信号の輝度成分を用いて、合焦の良否すなわちピントが合っているか否かの指標となるピント評価値を求める。ピント評価値の一例として、画像のエッジ成分の量を利用することができる。ピントが合っていれば画像の起伏が激しくなり、ピントが合っていなければ起伏がなだらかになる。従って、エッジ成分の量は、ピントが合っているか否かの評価値として用いることができる。

図２はピント評価部１６におけるピント評価値計算の概略を示すフローチャートである。まず、輝度成分のみからなる画像データのエッジ検出を行なう（ステップｓ２１）。エッジ検出は、微分演算を行なって輝度値の変化を検出すればよい。このような演算を行なうためのフィルタがいくつか開発されており、例としてＳｏｂｅｌフィルタ・Ｒｏｂｅｒｔｓフィルタ、Ｌａｐｌａｃｅフィルタなどがある。ステップｓ２２では、フィルタ後の画像データの全ての画素について絶対値をとり、ステップｓ２３において全ての画素の絶対値を加算する。ピントが合っている場合は画像の起伏が激しいため、上記の加算値は大きくなり、合っていない場合は小さくなる。そこで上記の加算値はピントの良し悪しを判定する指標となりうる。かかる処理は、専用の回路で実現することもできるが、汎用処理装置とソフトウエアの組み合わせでも実現することができる。

なお、合焦の良否を調べるには、カラー画像データを用いなくとも、単色の画像データを用いるだけで十分な場合が多いため、本実施例では画像データの輝度成分のみを用いて調べている。しかし他の実施例においては、ＣＣＤセンサ３の出力信号に含まれる特定の色成分、例えば緑色成分のみを用いて、同様のピント評価を行なうこともできる。この場合は輝度抽出部１２は不要となり、代わりにＣＣＤセンサ３の出力信号から緑色成分を取り出してピント評価部１６へ供給する回路が必要になる。

ピント評価値の計算は、ＣＣＤセンサ３の全体から得られるデータに対して行なうように構成してもよいが、ＣＣＤセンサ３の一部から得られるデータに対してのみ行なうように構成してもよい。例えば、ＣＣＤセンサ３の中心領域から得られるデータに対してのみ行なうように構成すれば、ピント評価値を求めるために必要な計算量が減少して時間短縮効果が得られると共に、構図の中心に位置する被写体にピントが合った写真を撮影することができる。構図のどの領域にピントを合わせるかを、ユーザーに選択できるように構成しても良い。また、ピント評価値の計算に使う画像データを撮影する際は、ＣＣＤセンサ３の解像度を予め下げることにして、ピント評価値の計算量を減少させるようにしても良い。

レンズ制御部１９は、ステッピングモータ２を制御することにより、レンズ１を図のＡ−Ｂ方向に、所定の移動量ずつ動かす。レンズ移動量は一定でもよいが、可変でもよく、ピント評価部１６により計算されたピント評価値に応じて変化させても良い。一つの実施態様においては、所定の移動量としてStep1と前記Step1より移動量の小さいStep2とを備え、ピント評価値に応じて以下の式により、Step1とStep2のいずれかを選択する。

・・・数式１

ここでf_n+1, f_n, f_n-1は、それぞれレンズ位置n+1, n, n-1におけるピント評価値であり、Focus_Level_Target_Ratioは、レンズの移動を終了するためのしきい値であり、Step_Change_Thresholdは、Step1とStep2を切り替えるためのしきい値である。

本発明によるデジタル撮影装置は、一の操作でピント合わせとエッジ強調度調節と撮影を行なうように構成することが好ましい。即ち、撮影ボタンなど撮影用のユーザーインタフェースを一度操作するだけで、これら一連の動作を連続的に行なうように構成することが好ましい。このように構成した場合、撮影ボタンを押してから実際に撮影が行なわれるまでに時間がかかり過ぎると、撮影者や被写体が動いてボケた写真になりやすく、また操作感も悪い。そのため、ピント合わせに要する時間はできるだけ短くなるようにすべきである。そこで、移動量の小さいStep2でのレンズ移動は一度だけに止め、後はエッジ強調処理による画像の鮮明化によって、合焦の甘さを補うことが好ましい。このように構成すれば、ピント合わせに要する時間をより短く抑えることができる。この場合のレンズ移動量の制御は以下の式で行なわれる。

・・・数式２

エッジ強調部９は、画像のエッジを強調する。またエッジ強調部９は、エッジ強調制御部１７に制御されて、エッジの強調度を変えることができる。エッジ強調にはいくつかの方法を用いることができるが、本実施例では、エッジ強調部９は、アンシャープ・マスキングと呼ばれる方法を用いてエッジ強調を行なう。図３と図４を用いてエッジ強調処理の一例を示す。

図３は、エッジ強調部９におけるエッジ強調処理の概略を示すフローチャートである。まずステップｓ２５で、原画像データのコピーを作成する。ステップｓ２６では、コピーされた原画像に適当な平滑化フィルタをかけて、ぼかした画像にする。このとき使用される平滑化フィルタには、メジアンフィルタ、バターワースフィルタ、ガウシアンフィルタなどがある。ステップｓ２７では、原画像からぼかした画像を引き算する。引き算の結果により得られた画像は、エッジ部分が取り出されている。ステップｓ２８では、元の画像に上記引き算の結果得られた画像を、適当な係数αを乗じて加算する。αが大きければ、エッジ強調度が強くなり、αが小さければエッジ強調度は弱くなる。このような処理は、専用の回路で実現することができるが、汎用処理装置とソフトウエアの組み合わせでも実現することができる。

図４は、上記αの上限を決める方法の一例を説明するための図である。４１は原画像データを示したものであるが、この画像データの高輝度部の値をL_hi、低輝度部の値をL_lowとする。４２は図３のステップｓ２６で説明した、原画像に適当な平滑化フィルタをかけてぼかした画像である。４３は図３のステップｓ２７で説明した、原画像からぼかした画像を引いて、エッジ部分を取り出したものである。４３で示したデータにおいて、大きい部分の値をE_hi、小さい部分の値をE_lowとする。すると、図３のステップｓ２８で示したように、エッジが強調された画像は４１に示したデータに４３で示したデータを適当な係数αを乗じて加算したものであるから、エッジ強調後のデータの高輝度部の値は(L_hi+αE_hi)、低輝度部の値は(L_low+αE_low)となる。そこで、(L_hi+αE_hi)や(L_low+αE_low)がデータの解像度を超えないことという制約条件の元でαを決めれば、エッジ強調された画像が白くつぶれたり黒くつぶれたりすることがなくなる。例えば、画像データの解像度が８ビットである場合、制約条件は(L_hi+αE_hi <= 255)及び(L_low+αE_low >= 0)のようになる。

図１に戻ってエッジ強調制御部１７の説明を続ける。エッジ強調制御部１７は、上記の係数αや、エッジ強調部９で用いる平滑化フィルタのパラメータを調節することにより、エッジ強調部９によるエッジ強調度を調節する。エッジ強調部９で用いるフィルタがメジアンフィルタの場合、パラメータとしてMedian Filter HeightとMedian Filter Widthの２つがある。フィルタがバターワースフィルタの場合は、CutoffとOrderの２つがある。フィルタがガウシアンフィルタの場合は、Row Spread FactorとColumn Spread Factorの２つがある。エッジ強調部９とエッジ強調制御部１７は、これらのパラメータの少なくとも１つを調節できるように構成される。

エッジ強調制御部１７は、最もピント評価値の良いレンズ位置におけるピント評価値のみならず、１又は２以上の他のレンズ位置におけるピント評価値をも勘案して、エッジ強調の度合いを調節してもよい。ある実施態様においては、最もピント評価値の良いレンズ位置におけるピント評価値１と、次にピント評価値の良いレンズ位置におけるピント評価値２の、２つのピント評価値の大小関係から、エッジ強調の度合いを決定するように構成される。例えば、ピント評価値１とピント評価値２がほぼ同じ値であれば、最もピント評価値の良いレンズ位置でも最適レンズ位置から遠いと考えられるので、エッジ強調を強めに行なうように、上記αを大きくする（図５ａ）。これに対し、ピント評価値１とピント評価値２が大きく異なれば、最もピント評価値の良いレンズ位置は最適レンズ位置に近いと考えられるので、上記αを小さくしてエッジ強調を強くかけないように制御する（図５ｂ）。もちろん、αの代わりに平滑化フィルタのパラメータを調節してもよい。

次に、図６を用いて撮影に関する流れを説明する。図５は本発明によるデジタル撮像装置の撮影動作の概略を示すフローチャートである。ユーザーインタフェース２７の一部である撮影ボタンが押下されると（ステップｓ３１）、ピント合わせなどを行なう設定モードが開始する（ステップｓ３２）。まずレンズ１を所定の位置へ移動し（ステップｓ３３）、ＣＣＤセンサ３を駆動してピント評価値を得るための撮像を行なう（ステップｓ３４）。このステップにおける撮像は、ピント合わせに係るデータ処理時間を短縮するため、ＣＣＤセンサ３を間引き走査することにより解像度を減少させて撮像を行なっても良い。次に、輝度抽出部１２によってステップｓ３４で得られたデータから輝度成分を抽出し（ステップｓ３５）、抽出された輝度成分から前記の方法によりピント評価値を求める（ステップｓ３６）。

ステップｓ３３からｓ３６までの動作を１回か２回しか行なっていなければ、ステップｓ３３に戻り、レンズを所定の移動量だけ動かして新たに撮像・ピント評価値計算を行なう（ステップｓ３７のＮｏ）。なお、この実施例においてレンズの移動量には（大）と（小）の２つがあり、ステップｓ３３からｓ３６までの動作が２回以下の場合は移動量（大）を用いる。ステップｓ３３からｓ３６までの動作が３回以上であれば、次に進む（ステップｓ３７のＹｅｓ）。

ステップｓ３８では、直近のレンズ移動量が（大）か（小）かによって、以下の処理を分岐する。もし（小）であれば、ステップｓ４１に進んでエッジ強調度の調節に進む。移動量が（小）であればそれ以上レンズを動かさないのは、上に述べたように、ピント合わせにかかる時間を短縮するためである。もし直近のレンズ移動量が（大）であれば、前記数式２に従って、レンズの移動量を（大）と（小）から選択し（ステップｓ３９）、レンズがまだ移動できるか否かを判定する（ステップｓ４０）。もしまだレンズを移動できるのであれば、ステップｓ３３に戻り、ステップｓ３９で選択した移動量でレンズの位置を移動する。もし移動できなければ、ステップｓ４１に進む。

ステップｓ４１では、エッジ強調制御部１７が、ステップｓ３６で求められたピント評価値を元に、エッジ強調部９のパラメータを調節することにより、エッジ強調度の調節が行なわれる。それと共に、最良のピント評価値を与えるレンズ位置に、レンズを移動する（ステップｓ４２）。エッジ強調度の調節とレンズ位置の移動が終わると、設定モードが終了する（ステップｓ４３）。

なお図示してはいないが、設定モードにおいては、ピント合わせの他に、露出量やホワイトバランスの調整も行なわれる。

設定モードが終了すると、直ちに実際に写真を作成する撮影モードが開始する（ステップｓ４４）。まずＣＣＤセンサ３を駆動して撮影を行ない、得られたデータから色補間処理によりパソコンで表示可能な画像データを構築する（ステップｓ４６）。次に、先に定めた度合いでこの画像データのエッジを強調する（ステップｓ４７）。最後にＪＰＥＧ等の方法で画像データを圧縮し（ステップｓ４８）、データ記憶装置１１に保存する（ステップｓ４９）。

このように本発明では、レンズの位置が合焦点から多少ずれていても、そのずれに応じてエッジ強調処理の度合いを変化させることで、ピントの甘さをエッジ強調処理によって補うことができる。そのため、シングルアクション方式で撮影する場合のように、レンズの位置調整を厳密に行なう時間がない場合のピント調節方法として、特に好適と言える。

また、カメラ内蔵型の携帯電話やＰＤＡでは、撮影機能の他にも電話機能やメール機能など、様々な機能を備えているため、撮影装置の電力消費はできるだけ少ないことが望ましい。ところが、オートフォーカス機構は消費電力が大きい。なぜなら、ピント合わせはレンズを移動しながら合焦に最も近いレンズ位置を探すのだが、レンズを動かすために必要なステッピングモータの消費電力は、撮影装置の様々な動作の中でもかなり大きい方だからである。本発明では、ピント合わせのためのレンズの位置調整に多少の甘さがあっても、その甘さに応じたエッジ強調処理を行なうことにより、ピントの甘さを補うことができる。そこで本発明は、ピント合わせのためのレンズ位置調整の電力を節約したい場合においても有益である。

図７を用いて本発明の別の実施態様を説明する。図７は、本発明の別の実施態様におけるデジタル撮影装置１００２のハードウエア構成の概略を示す図である。本実施態様は図１に示した実施態様と同じ構成要素を多数備えているが、本実施態様において図１の撮影制御部１５に相当する撮影制御部１１５は、エッジ強調がされた画像データの輝度成分を用いてピント評価値の計算を行なう。

デジタル撮影装置１００２は、図１に示したデジタル撮影装置１００１と異なり、レンズ位置を調節することによるピント合わせ機能を有しない。その代わりデジタル撮影装置１００２は、エッジ強調がされた画像に対して合焦の良否を判定し、その判定結果に応じてエッジ強調の度合いを変えるように構成される。以下にその動作を説明する。

まずＣＣＤ制御部１１８によりＣＣＤセンサ３を駆動して試験撮像を行ない、得られたデータを色補間部７とＹＵＶ変換部８でＹＵＶ形式の画像データに構築する。得られた画像データはエッジ強調部９によりエッジが強調される。ここで撮影制御部１１５のピント評価部１１６は、エッジ強調された画像の輝度成分を取得し、取得した輝度成分に対してピント評価値を計算する。次にエッジ強調制御部１１７は、そのピント評価値の良否に応じて、前に説明したエッジ強調部９の各種パラメータを変更する。この後再び試験撮像を行ない、ピント評価を行なって、エッジ強調部９の各種パラメータの調節を行なう。これを繰り返すことにより、最適なピント評価値が得られるエッジ強調パラメータを定めることができる。

本実施態様では、レンズ移動によるピント合わせ機構を有さない場合でも、合焦の良否に応じてエッジ強調の度合いを変えることで、ピントの甘さを補うことができる。このような実施態様は、レンズ移動によるピント合わせ機構を設けることのできない、安価な撮像装置に向いている。

（実施例１）
次に、本発明をカメラ内蔵型携帯電話に適用した実施例を示す。図８は、本発明を用いたカメラ内蔵型携帯電話の外観を示す模式図である。

カメラ内蔵型携帯電話１００３は、表面にディスプレイ５２、キーパッド５３、機能ボタン５４、アンテナ５５等を備える。裏面にはカメラ部６１、バッテリーカバー５９等を備える。さらにこれらを一体に保持する筐体５６を備える。カメラ内蔵型携帯電話１００３は小型軽量であり、片手で保持したりハンドバッグに入れて持ち運んだりするのに適した大きさと重さを有する。機能ボタン５４は電話の発着信や、撮影時のシャッターボタン等として用いられる。カメラ付携帯電話５１に着信があった場合、機能ボタン５４を押すことにより着信に応答できる。また写真を撮影する場合は、利用者はレンズ５７を対象へ向けた状態でカメラ内蔵型携帯電話１００３を持ち、カメラモジュール６１で撮影されたプレビュー画像をディスプレイ５２で確認する。そこで機能ボタン５４を押すと撮影が行なわれ、撮影により作成された画像データがカメラ付携帯電話１００３に備えられた記録装置に保存される。

カメラ部６１は、入光部５７とＬＥＤ照明５８を備え、独立の筐体６０を備えたカメラモジュールとして構成される。従って、カメラ付携帯電話１００３は、カメラモジュール６１とその残りの部分（ホストモジュール）とに分けることができる。このようにカメラ部を独立のモジュールとすることにより、カメラモジュールに汎用性を持たせ、他の携帯電話やＰＤＡと容易に組み合わせることができる。そのため、カメラモジュールを独立した製品として販売することが可能となる。

図９は、カメラ内蔵型携帯電話１００３のハードウエア構成の概略を示す図である。カメラ内蔵型携帯電話１００３は、撮像を行なって画像データを提供するカメラモジュール６１と、その画像データを保存する記録媒体を有すると共に電話機能やＰＤＡ機能を有するホストモジュール９１から構成される。カメラモジュール６１は、レンズ３１、レンズ３１を図中Ａ−Ｂ方向に動かすためのステッピングモータ３２、レンズ１を通じて入射した光を電気信号に変換するＣＣＤセンサ３３、ＣＣＤセンサ３３の出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器３４、デジタル化されたＣＣＤセンサ３３の出力信号から色補間処理によりパソコンで表示したりプリンタで印刷可能な画像データを構築する色補間部３７、ＲＧＢ形式の画像データをＹＵＶ形式に変換するＹＵＶ変換部３８、画像データのエッジを強調するエッジ強調部３９、画像データを圧縮する画像データ圧縮部４０、デジタル化されたＣＣＤセンサ３３の出力信号から輝度成分を抽出する輝度抽出部４２、画像データをホストモジュール９１に送信するデータＩ／Ｆ４７などを備える。またカメラモジュール６１は、図１の撮影制御部１５に相当するカメラ制御部４５と、カメラ制御部４５とホストモジュールとの間で制御情報をやり取りするための制御Ｉ／Ｆ４８を備える。カメラ制御部４５は汎用処理装置とメモリ及びそのメモリに格納されるソフトウエアから構成され、撮影やピント調節、エッジ強調部３９の調節などに関する機能を統括すると共に、ホストモジュール９１との通信に関する制御も行なう。好適な実施形態において、色補間部３７、ＹＵＶ変換部３８、エッジ強調部３９、画像データ圧縮部４０、輝度抽出部４２は、それぞれ専用のハードウエア回路で実現され、カメラ制御部４５の各機能は、ＣＰＵなどの汎用処理装置とメモリ及びそのメモリに保存されるソフトウエアにより実現されることが望ましい。これらのハードウエア回路とカメラ制御部は、統合されたカメラエンジン４９として独立して提供することもできる。

ホストモジュール９１は、アプリケーションエンジン９２、アプリケーションエンジン９２を動作させるためのソフトウエアを格納するソフトウエア記憶部９３、電話機能を統括するベースバンド処理部９４、アンテナ部５５を備える。アプリケーションエンジン９２は、ＣＰＵ９６、カメラモジュール６１から送信される画像データを受け取るデータＩ／Ｆ９７、カメラモジュール６１との間で制御情報をやり取りするための制御Ｉ／Ｆ９８、バス９９を備え、バス９９を通じて一時記憶装置１０１、主記憶装置１０１、キーバッド１０２、ディスプレイ５２が接続されている。

図１０を用いて、カメラ内蔵型携帯電話１００３の動作を説明する。ステップｓ８７で、撮影ボタンが押下されると、ＣＰＵ９６とソフトウエア記憶部９３に記憶されたソフトウエアが協働して、制御Ｉ／Ｆ９８を通じてカメラモジュール６１に撮影命令を送信する（ステップｓ８８）。なお撮影ボタンは、キーパッド１０２のいずれかのキーがその役割を負う。

ステップｓ８９においては、ホストモジュール９１からの撮影命令を、制御Ｉ／Ｆ４８を通じて受け取ったカメラ制御部４５が、設定モードを開始する。設定モードにおける動作は図５のステップｓ３２からステップｓ４２と同様である。ステップｓ９０で設定モードが終了すると、カメラ制御部４５は、直ちに撮影モードを開始する。ステップｓ９２ではＣＣＤセンサ３３を駆動して撮像が行なわれる。ステップｓ９３ではＣＣＤセンサ３の出力信号から写真データを構築し、さらに構築した写真データを圧縮する。ステップｓ９３における動作は、図５のステップｓ４６からステップｓ４８において、詳しく説明されている。ステップｓ９４ではカメラモジュール６１が写真データをデータＩ／Ｆ４７を通じてホストモジュール９１に送信する。

ステップｓ９５では、ホストモジュール９１がデータＩ／Ｆ９７を通じて圧縮された写真データを受信する。受信した写真データは一時記憶装置１００に格納される。ステップｓ９６では、ＣＰＵ９６とソフトウエア記憶部９３に記憶されたソフトウエアが協働して、一時記憶装置１００に格納された圧縮写真データを主記憶装置１０１に保存する。ステップｓ９７では一時記憶装置１００に格納された圧縮写真データを解凍し、ステップｓ９８では解凍した写真データからサムネールを作成し、ステップｓ９９においてサムネールをディスプレイ５２に表示する。ステップｓ９７からｓ９９にかけての動作は、ＣＰＵ９６とソフトウエア記憶部９３に記憶されたソフトウエアが協働して制御する。

本発明では、レンズの位置が合焦点から多少ずれていても、そのずれに応じてエッジ強調処理の度合いを変化させることで、ピントの甘さをエッジ強調処理によって補う。そのため本発明によれば、レンズの位置調整を厳密に行なう時間がない場合であっても、エッジのはっきりした写真を得ることができるので、ピント合わせに必要な時間を短縮することができる。

以上にて本発明の好適な実施形態の説明を終わる。ここに説明した実施態様は、本発明を実施するための単なる一例に過ぎず、本発明はこれらの実施形態に限られることなく、本発明の範囲内で種々の実施形態を取ることができるのは言うまでもない。

本発明の一実施態様におけるデジタル撮影装置の機能ブロックの概略を示す図である。 ピント評価値計算のフローチャートを示す図である。 エッジ強調処理を説明するための図である。 エッジ強調処理を説明するための図である。 エッジ強調処理を説明するための図である。 エッジ強調処理を説明するための図である。 本実施態様における撮影のフローチャートを示す図である。 本発明の別の実施態様におけるデジタル撮影装置の機能ブロックの概略を示す図である。 本発明を適用したカメラ内蔵型携帯電話の外観を示す図である。 本発明によるカメラ内蔵型携帯電話のハードウエア概略図である。 本発明を適用したカメラ内蔵型携帯電話による撮影のフローチャートである。

Claims (10)

1. デジタル撮影装置（１００１）であって、
   光軸方向に移動可能なレンズ（１）と、前記レンズ（１）を動かすためのモータ（２）と、前記レンズ（１）を通じて入射した光を電気信号に変換するセンサ（３）と、前記センサ（３）の出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器（４）と、デジタル化された前記センサ（３）の出力信号から画像データを構築するデータ構築部（７）と、前記画像データのエッジを強調するエッジ強調部（９）と、デジタル化された前記センサ（３）の出力信号から輝度又は色成分を抽出する抽出部（１２）と、撮影に関する制御を行なう撮影制御部（１５）と、ユーザーが前記デジタル撮影装置（１００１）を操作するために使用するユーザーインタフェース（２７）と、を備え、
   前記撮影制御部（１５）は、前記抽出部（１２）により抽出された前記成分を用いて、ピント評価値を求めるピント評価部（１６）と、前記モータ（２）を制御することにより前記レンズ（１）を所定の移動量ずつ動かすレンズ制御部（１９）を備え、前記所定の移動量として第１の移動量と前記第１の移動量より移動量の小さい第２の移動量とを有し、前記ピント評価値に応じて選択された前記第１の移動量と前記第２の移動量のいずれかによって前記レンズを移動させ、
   前記ピント評価部（１６）は、前記抽出部（１２）により抽出された前記成分のみからなる画像データにフィルタを用いて微分演算を行なって輝度又は色値の変化を検出し、フィルタ後の画像データの全ての画素について絶対値をとり、全ての画素の絶対値を加算して、上記の加算値が大きい場合はピントが合っていると判断し、小さい場合はピントが合っていないと判断し、
   前記レンズの移動の回数が所定の回数を超えた後もピントが合っていないと判断した場合、前記撮影制御部（１５）は、直近のレンズ移動量が前記第２の移動量であれば、それ以上レンズを動かさずに、エッジ強調度の調節を行い、直近のレンズ移動量が前記第１の移動量であれば、前記第１の移動量と前記第２の移動量のいずれかを選択してレンズの位置を移動し、もし移動できなければ、エッジ強調度の調節を行うことを特徴とするデジタル撮影装置。
2. 前記ピント評価値の計算を、前記センサ（３）の中心領域から得られるデータに対してのみ行なう請求項１に記載のデジタル撮影装置。
3. 前記所定の回数を超える前は以下の式により前記第１の移動量と前記第２の移動量から前記レンズの移動量を定める、請求項１又は２に記載のデジタル撮影装置。
   

   

   f_n+1, f_n, f_n-1は、それぞれ前記レンズ位置n+1, n, n-1における前記ピント評価値。
   Focus_Level_Target_Ratioは、前記レンズの移動を終了するためのしきい値。
   Step_Change_Thresholdは、前記第１の移動量と前記第２の移動量を切り替えるためのしきい値。
4. 前記所定の回数を超えた後は以下の式により前記第１の移動量と前記第２の移動量から前記レンズの移動量を定める、請求項１又は２に記載のデジタル撮影装置。
   

   

   f_n+1, f_n, f_n-1は、それぞれ前記レンズ位置n+1, n, n-1における前記ピント評価値。
   Step_Change_Thresholdは、前記第１の移動量と前記第２の移動量を切り替えるためのしきい値。
5. 前記エッジ強調部（９）は、コピーされた原画像に適当な平滑化フィルタをかけて、ぼかした画像にし、原画像から前記ぼかした画像を引き算し、引き算の結果により得られた画像を元の画像に、適当な係数を乗じて加算することによりエッジ強調処理を行うように構成されており、前記係数αが大きければ、エッジ強調度が強くなり、前記係数αが小さければエッジ強調度は弱くなる請求項１乃至４のいずれかに記載のデジタル撮影装置。
6. 前記デジタル撮影装置は携帯情報機器に内蔵されるカメラモジュールである、請求項１から５のいずれかに記載のデジタル撮影装置。
7. デジタル撮影装置（１００１）に用いるエッジ強調度の調整方法であって、
   前記デジタル撮影装置は、
   光軸方向に移動可能なレンズ（１）と、前記レンズ（１）を動かすためのモータ（２）と、前記レンズ（１）を通じて入射した光を電気信号に変換するセンサ（３）と、前記センサ（３）の出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器（４）と、デジタル化された前記センサ（３）の出力信号から画像データを構築するデータ構築部（７）と、前記画像データのエッジを強調するエッジ強調部（９）と、デジタル化された前記センサ（３）の出力信号から輝度又は色成分を抽出する抽出部（１２）と、撮影に関する制御を行なう撮影制御部（１５）と、ユーザーが前記デジタル撮影装置（１００１）を操作するために使用するユーザーインタフェース（２７）と、を備え、
   前記撮影制御部（１５）は、
   前記抽出部（１２）により抽出された前記成分を用いて、ピント評価値を求めるピント評価部（１６）と、前記モータ（２）を制御することにより前記レンズ（１）を所定の移動量ずつ動かすレンズ制御部（１９）を備え、前記所定の移動量として第１の移動量と前記第１の移動量より移動量の小さい第２の移動量とを有し、前記ピント評価値に応じて選択された前記第１の移動量と前記第２の移動量のいずれかによって前記レンズを移動させ、
   前記ピント評価部（１６）を用いて、前記抽出部（１２）により抽出された前記成分のみからなる画像データにフィルタを用いて微分演算を行なって輝度又は色値の変化を検出し、フィルタ後の画像データの全ての画素について絶対値をとり、全ての画素の絶対値を加算して、上記の加算値が大きい場合はピントが合っていると判断し、小さい場合はピントが合っていないと判断し、
   前記レンズの移動の回数が所定の回数を超えた後もピントが合っていないと判断した場合、前記撮影制御部（１５）を用いて、直近のレンズ移動量が前記第２の移動量であれば、それ以上レンズを動かさずに、エッジ強調度の調節を行い、直近のレンズ移動量が前記第１の移動量であれば、前記第１の移動量と前記第２の移動量のいずれかを選択してレンズの位置を移動し、もし移動できなければ、エッジ強調度の調節を行うこと、
   を備えることを特徴とする方法。
8. 前記デジタル撮像装置の撮影動作は、前記ユーザーインタフェース（２７）の一部である撮影ボタンを押下して設定モードを開始させ（ステップ１）、前記レンズ（１）を所定の位置へ移動し（ステップ２）、前記センサ（３）を駆動して前記ピント評価値を得るための撮像を行ない（ステップ３）、前記抽出部（１２）によってステップ３で得られたデータから輝度又は色成分を抽出し（ステップ４）、抽出された前記成分から前記ピント評価値を求める（ステップ５）を含む請求項７に記載の方法。
9. 前記ステップ２から５までの動作を１回か２回しか行なっていなければ、ステップ２に戻り、レンズを所定の移動量だけ動かして新たに撮像・ピント評価値計算を行ない、ステップ２から５までの動作が２回以下の場合は前記第１の移動量を用いる、請求項８に記載の方法。
10. デジタル撮影装置（１００１）に用いるエッジ強調度の調整用のプログラムであって、
    前記デジタル撮影装置は、
    光軸方向に移動可能なレンズ（１）と、前記レンズ（１）を動かすためのモータ（２）と、前記レンズ（１）を通じて入射した光を電気信号に変換するセンサ（３）と、前記センサ（３）の出力信号をデジタル形式の信号に変換するＡ／Ｄ変換器（４）と、デジタル化された前記センサ（３）の出力信号から画像データを構築するデータ構築部（７）と、前記画像データのエッジを強調するエッジ強調部（９）と、デジタル化された前記センサ（３）の出力信号から輝度又は色成分を抽出する抽出部（１２）と、撮影に関する制御を行なう撮影制御部（１５）と、ユーザーが前記デジタル撮影装置（１００１）を操作するために使用するユーザーインタフェース（２７）と、を備え、
    前記撮影制御部（１５）は、
    前記抽出部（１２）により抽出された前記成分を用いて、ピント評価値を求めるピント評価部（１６）と、前記モータ（２）を制御することにより前記レンズ（１）を所定の移動量ずつ動かすレンズ制御部（１９）を備え、前記所定の移動量として第１の移動量と前記第１の移動量より移動量の小さい第２の移動量とを有し、前記ピント評価値に応じて選択された前記第１の移動量と前記第２の移動量のいずれかによって前記レンズを移動させ、
    前記デジタル撮影装置に、
    前記ピント評価部（１６）を用いて、前記抽出部（１２）により抽出された前記成分のみからなる画像データにフィルタを用いて微分演算を行なって輝度又は色値の変化を検出し、フィルタ後の画像データの全ての画素について絶対値をとり、全ての画素の絶対値を加算して、上記の加算値が大きい場合はピントが合っていると判断し、小さい場合はピントが合っていないと判断する手順と、
    前記レンズの移動の回数が所定の回数を超えた後もピントが合っていないと判断した場合、前記撮影制御部（１５）を用いて、直近のレンズ移動量が前記第２の移動量であれば、それ以上レンズを動かさずに、エッジ強調度の調節を行い、直近のレンズ移動量が前記第１の移動量であれば、前記第１の移動量と前記第２の移動量のいずれかを選択してレンズの位置を移動し、もし移動できなければ、エッジ強調度の調節を行う手順と、
    を実行させることを特徴とするプログラム。

Images