JP4462305B2 - 撮像装置、方法、およびプログラム - Google Patents

撮像装置、方法、およびプログラム Download PDF

Info

Publication number
JP4462305B2
JP4462305B2 JP2007213109A JP2007213109A JP4462305B2 JP 4462305 B2 JP4462305 B2 JP 4462305B2 JP 2007213109 A JP2007213109 A JP 2007213109A JP 2007213109 A JP2007213109 A JP 2007213109A JP 4462305 B2 JP4462305 B2 JP 4462305B2
Authority
JP
Japan
Prior art keywords
unnecessary image
image
unnecessary
processing unit
image detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007213109A
Other languages
English (en)
Other versions
JP2009049659A (ja
Inventor
実 石嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007213109A priority Critical patent/JP4462305B2/ja
Priority to US12/228,219 priority patent/US8026974B2/en
Priority to CN2008101462568A priority patent/CN101370086B/zh
Publication of JP2009049659A publication Critical patent/JP2009049659A/ja
Application granted granted Critical
Publication of JP4462305B2 publication Critical patent/JP4462305B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、固体撮像素子により画像を撮像する撮像装置、その撮像方法、および撮像プログラムに関し、特に、撮像画像に写り込んだ不要な画像を検出することが可能な撮像装置、方法、およびプログラムに関する。
近年、デジタルスチルカメラ、デジタルビデオカメラなどのデジタル方式の撮像装置が広く普及している。また、最近では、携帯電話機を初めとする様々な携帯型機器にも、撮像機能を搭載しているものが多くなっている。
また、このような撮像装置や携帯型機器に対しては、常に小型化や薄型化が強く要求されている。そのため、撮像のための各種機能ブロック自体を小型化したり、それらの機能ブロックを操作性を損なうことなく効率よく配置することが必要とされている。例えば、カメラモジュールを搭載した携帯電話機において、カメラモジュールを受話筐体内の送話筐体との連結部付近に配設し、閉状態において送話筐体の窪みにカメラモジュールの配設部が入り込むことで、閉状態での筐体を薄型化したものがあった(例えば、特許文献1参照)。
しかしながら、小型化や薄型化の要求に応えるために、撮像のための機能ブロックの配置に対する制約が厳しくなると、撮像時に使用者の指などが撮像レンズに掛かってしまうことがある。例えば、上記の制約により、使用者がその撮像装置を手で保持する位置と同じ方向に撮像レンズが配設されることがある。あるいは、特に携帯電話機において、レリーズボタンと撮像レンズとが近接して配設されることもある。このような場合、撮像した画像に使用者の指が写り込んでしまうことがあった。
このような事態を防止するために、あらかじめ不要な画像を示すパターン画像を記憶しておき、赤外モードで撮像した画像にパターン画像が含まれていると判定すると、撮影者に対して不要な画像の写り込みを警告するようにしたカメラ装置が考えられていた(例えば、特許文献2参照)。
特開2007−67744号公報(段落番号〔0045〕〜〔0052〕、図6) 特開2005−191948号公報(段落番号〔0033〕〜〔0041〕、図2)
上記のように、撮像機能を備えた携帯型機器では、小型化や薄型化に伴って撮像レンズなどを配設する位置の制約が厳しくなり、撮像時に使用者の指などが撮像レンズに掛かりやすくなることがあった。また、この問題点を解消するための特許文献2の技術では、あらかじめ指などのパターン画像を撮像して登録しておく必要があり、操作が煩雑になるという問題があった。さらに、撮像の直前に可視光を遮断して赤外線を検出する必要があるため、そのための制御機構が必要となって、装置の大型化や製造コストの増大化の要因になるという問題もあった。
本発明はこのような課題に鑑みてなされたものであり、撮影者の指などの写り込みによる不要な画像が撮像されたことを簡易な処理により撮影者に警告できるようにした撮像装置、方法、およびプログラムを提供することを目的とする。
本発明では上記課題を解決するために、固体撮像素子により画像を撮像する撮像装置において、前記固体撮像素子により得られる撮像画像上の周縁部に沿った位置に、不要画像が含まれ得る不要画像検出領域を設定する領域設定部と、フォーカスレンズを徐々に移動させながら取得した前記撮像画像の画像信号を基に、合焦度合いを示すフォーカス評価値を演算するフォーカス評価値演算部と、前記不要画像検出領域における画像信号を基に演算された第1のフォーカス評価値が、前記フォーカスレンズが所定の位置に配置されているときにピークを持ち、なおかつ、前記不要画像検出領域以外の領域である非検出領域における画像信号を基に演算された第2のフォーカス評価値が、前記フォーカスレンズを移動させている間にピークを持つ場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第1の不要画像検出処理部と、前記不要画像検出領域と前記非検出領域とで、特定の色成分の信号レベルを平均した平均色成分レベルをそれぞれ個別に演算する色成分検出部と、前記非検出領域での前記平均色成分レベルに対する前記不要画像検出領域での前記平均色成分レベルの比が、所定の色成分しきい値より大きい場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第2の不要画像検出処理部と、前記第1の不要画像検出処理部および前記第2の不要画像検出処理部の各判定結果に基づき、前記不要画像が写り込んでいることを撮影者に対して警告するための警告処理を行う警告処理部と、を有することを特徴とする撮像装置が提供される。
このような撮像装置では、固体撮像素子により得られる撮像画像上の周縁部に沿った位置に、不要画像が含まれ得る不要画像検出領域が領域設定部によって設定される。また、フォーカス評価値演算部では、フォーカスレンズを徐々に移動させながら取得した撮像画像の画像信号を基に、合焦度合いを示すフォーカス評価値が演算される。そして、第1の不要画像検出処理部は、不要画像検出領域における画像信号を基に演算された第1のフォーカス評価値が、フォーカスレンズが所定の位置に配置されているときにピークを持ち、なおかつ、非検出領域における画像信号を基に演算された第2のフォーカス評価値が、フォーカスレンズを移動させている間にピークを持つ場合に、撮像画像に不要画像が写り込んでいると判定する。また、色成分検出部は、不要画像検出領域と非検出領域とで、特定の色成分の信号レベルを平均した平均色成分レベルを個別に演算する。そして、第2の不要画像検出処理部は、非検出領域での平均色成分レベルに対する不要画像検出領域での平均色成分レベルの比が、所定の色成分しきい値より大きい場合に、撮像画像に不要画像が写り込んでいると判定する。警告処理部は、第1の不要画像検出処理部および第2の不要画像検出処理部の各判定結果に基づき、不要画像が写り込んでいることを撮影者に対して警告するための警告処理を行う。
本発明の撮像装置によれば、撮像画像上に設定された不要画像検出領域および非検出領域における画像信号を用いて演算されたフォーカス評価値と、不要画像検出領域および非検出領域における平均色成分レベルの比とを基に、不要画像が写り込んでいるか否かが判定されるので、不要画像を簡易な処理で検出でき、そのことを撮影者に対して短時間で確実に警告できるようになる。
以下、本発明の実施の形態を、デジタルスチルカメラなどの静止画撮像機能を備えた撮像装置に適用した場合を例に、図面を参照して詳細に説明する。
図1は、実施の形態に係る撮像装置の内部構成を示すブロック図である。
図1に示す撮像装置1は、光学ブロック11、ドライバ11a、撮像素子12、タイミングジェネレータ(TG)12a、アナログフロントエンド(AFE)回路13、カメラ信号処理回路14、画像エンコーダ15、記録装置16、グラフィック処理回路17、ディスプレイ18、システムコントローラ19、および入力部20を具備する。
光学ブロック11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ11aは、システムコントローラ19からの制御信号に基づいて、光学ブロック11内の各機構の駆動を制御する。
撮像素子12は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型などの固体撮像素子であり、TG12aから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。TG12aは、システムコントローラ19の制御の下でタイミング信号を出力する。
AFE回路13は、撮像素子12から出力された画像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドを行い、さらにAGC(Auto Gain Control)処理により利得を制御し、A/D変換を行ってデジタル画像データを出力する。
カメラ信号処理回路14は、AFE回路13からの画像データに対して、AF(Auto Focus)、AE(Auto Exposure)、各種画質補正処理のための検波処理や、検波情報を基にシステムコントローラ19から出力される信号に応じた画質補正処理を施す。このカメラ信号処理回路14は、例えば、検波機能として、画像上の領域ごとの輝度成分や各色成分のレベル検出機能、領域ごとのAF評価値(例えばコントラスト)の検出機能などを備えている。また、画質補正機能として、例えば、ホワイトバランス(WB)の調整機能などを備えている。
画像エンコーダ15は、カメラ信号処理回路14から出力された画像データを圧縮符号化し、符号化データを記録装置16に出力する。具体的には、カメラ信号処理回路14で処理された1フレーム分の画像データを、JPEG(Joint Photographic Experts Group)などの符号化方式に従って圧縮符号化し、静止画像の符号化データを出力する。なお、静止画像だけでなく、動画像のデータを圧縮符号化できるようにしてもよい。
記録装置16は、画像エンコーダ15からの符号化データを画像ファイルとして記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはHDD(Hard Disk Drive)などとして実現される。
グラフィック処理回路17は、カメラ信号処理回路14から出力された画像データを、ディスプレイ18に表示するための信号に変換して、ディスプレイ18に供給する。また、後述する警告画像など、システムコントローラ19から要求された画像を、カメラ信号処理回路14からの画像上に合成して表示させる機能も備える。ディスプレイ18は、例えばLCD(Liquid Crystal Display)などからなり、グラフィック処理回路17からの画像信号を基に画像を表示する。
システムコントローラ19は、CPU(Central Processing Unit)や、ROM(Read Only Memory)、RAM(Random Access Memory)などのメモリを備えるマイクロコンピュータとして構成され、メモリに格納されたプログラムを実行することで、この撮像装置1を統括的に制御する。また、例えば、カメラ信号処理回路14による検波結果を基に、光学ブロック11内の各種機構や撮像素子12の駆動タイミング、AFE回路13でのゲインなどを制御し、AFやAEの制御を実行する。さらに、上記の検波結果を基に、WBを自動調整(オートホワイトバランス:AWB)するなど、カメラ信号処理回路14での画質補正機能の動作を制御する。
入力部20は、例えばシャッタレリーズボタンなどの各種の入力スイッチを備え、これらの入力スイッチに対するユーザによる操作入力に応じた制御信号を、システムコントローラ19に出力する。
このような構成の撮像装置1では、撮像素子12によって受光されて光電変換された信号が、順次AFE回路13に供給され、CDS処理やAGC処理が施された後、デジタル画像データに変換される。カメラ信号処理回路14は、AFE回路13から供給された画像データを画質補正処理し、処理後の画像データはグラフィック処理回路17に供給されて表示用の画像信号に変換される。これによりディスプレイ18には、現在撮像中の画像(プレビュー画像)が表示され、撮影者はこの画像を視認して画角を確認できるようになる。
また、この状態から、入力部20のシャッタレリーズボタン(図示せず)が押下されることなどにより、システムコントローラ19に対して画像の記録が指示されると、カメラ信号処理回路14からの画像データは画像エンコーダ15に供給され、圧縮符号化処理が施されて、圧縮後の画像データが記録装置16に記録される。静止画像の記録の際には、カメラ信号処理回路14からは1フレーム分の画像データが画像エンコーダ15に供給され、動画像の記録の際には、処理された画像データが画像エンコーダ15に連続的に供給される。
次に、上記の撮像装置1において、静止画撮像時に不要画像を検出した際の警告処理について説明する。まず、図2は、撮像装置の使用状態の例を示す図である。
図2の例では、撮影者が右手2と左手3とで撮像装置1を保持して、撮影を行っている際の状態を示している。図2(B)に示すように、撮像装置1には、その撮影者側の面にプレビュー画像などの確認用のディスプレイ18が配設されている。そして、ディスプレイ18の右上方向にシャッタレリーズボタン20aが配設され、撮影者はこのシャッタレリーズボタン20aを右手2の指で押下する。
一方、図2(A)に示すように、この例では、被写体の方向から見たときに、撮像レンズ11bが右側の端部に近い位置に配設されている。このため、撮像装置1を保持している左手3の指の一部(図中矢印Lで示す位置)が、撮像レンズ11bを覆い隠してしまう場合があり、このときにシャッタレリーズボタン20aが押下されると、撮像画像に指が写り込んでしまう。
図3は、指が写り込んだ場合の画像の例を示す図である。
図3(A)は、被写体を撮像したときに、指が写り込んでいない場合の画像の例を示す。また、図3(B)は、同じ被写体を撮像したときに、左手3の指3aが写り込んだ場合の画像の例を示す。
本実施の形態の撮像装置1は、図3(B)のように撮像画像に不要画像が写り込んでいる状態を検出する機能を備える。ここでは特に、撮影者の指など、撮像レンズ11bに近接した物体が写り込んだ場合に、これを不要画像として検出する。そして、不要画像を検出すると、そのことを画像などを用いて撮影者に警告する。図3(C)の例では、ディスプレイ18において、指3aが写り込んでいる領域に対応する位置に、所定の色の警告画像81を表示することで、不要画像が検出されたことを撮影者に通知している。この警告画像81は、例えば点滅されてもよい。また、不要画像検出の警告手法としては、画像などの視覚的に警告する手法に限らず、例えば、音声などによって警告してもよい。
図4は、不要画像検出のために撮像装置に設けられた機能を示すブロック図である。
撮像装置1は、不要画像検出のための機能として、輝度成分検出部31、赤成分検出部32、コントラスト検出部33、AF制御部41、ピーク検出部42、不要画像検出処理部43、および警告処理部44を具備している。本実施の形態では、これらの機能のうち、輝度成分検出部31、赤成分検出部32、およびコントラスト検出部33の機能は、カメラ信号処理回路14に搭載されたハードウェア回路として実現され、AF制御部41、ピーク検出部42、不要画像検出処理部43、および警告処理部44の機能は、システムコントローラ19におけるソフトウェア処理によって実現される。
輝度成分検出部31は、撮像素子12によって得られた画像信号から変換して生成された輝度信号のレベル(輝度レベル)を検出する。また、赤成分検出部32は、画像信号のRGB(Red,Green,Blue)成分のうちの赤成分の信号レベル(赤成分レベル)を検出する。これらの輝度成分検出部31および赤成分検出部32は、検出した輝度レベルおよび赤成分レベルを用いて、それぞれ所定の領域ごとに平均値を演算する機能を備えている。具体的には、輝度成分検出部31および赤成分検出部32は、後述する不要画像検出エリアとそれ以外のエリアとで、それぞれ個別に輝度レベルおよび赤成分レベルの平均値を演算することが可能になっている。
コントラスト検出部33は、フォーカスの合焦度合いを評価するためのAF評価値として、コントラストの値を演算するブロックである。コントラストは、画像内の所定の領域における輝度レベルの最小値と最大値との差分として求められる。コントラスト検出部33では、このようなコントラストを不要画像検出エリアとそれ以外のエリアとで個別に求めることが可能となっている。
なお、これらの輝度成分検出部31、赤成分検出部32、およびコントラスト検出部33の各機能あるいはそれらの機能の一部は、システムコントローラ19におけるソフトウェア処理によって実現されてもよい。
AF制御部41は、光学ブロック11内のフォーカスレンズを駆動して、AFのための動作を制御するブロックである。シャッタレリーズボタン20aがおよそ半分の深さまで押下される(半押しされる)と、AF制御部41は、フォーカスレンズを移動域の全域に亘って徐々に移動させながら、コントラスト検出部33に対してコントラストを検出させる。そして、コントラストの値が最大となる位置にフォーカスレンズを移動させることで、フォーカスを自動的に合わせる。
ピーク検出部42は、AF制御部41の制御の下で、フォーカスレンズが徐々に移動されながらコントラスト検出部33でコントラストが検出されたときに、コントラストの値が最大となる位置(ピーク位置)を検出し、AF制御部41に検出結果を通知する。また、ピーク検出部42は、このようなピーク位置を、不要画像検出エリアとそれ以外のエリアとで個別に検出できるようになっている。
不要画像検出処理部43は、輝度成分検出部31および赤成分検出部32からの検出結果と、ピーク検出部42からの検出結果とを基に、撮像された画像の中から不要画像を検出し、検出結果を警告処理部44に出力する。
なお、これらのピーク検出部42や不要画像検出処理部43の処理機能あるいはそれらの機能の一部は、カメラ信号処理回路14に搭載されたハードウェア回路によって実現されてもよい。
警告処理部44は、不要画像検出処理部43によって不要画像が検出されると、そのことを撮影者に通知するための警告画像の信号をグラフィック処理回路17に出力し、撮像された画像に対して合成表示させる。
図5は、不要画像検出エリアの設定例を示す図である。
上記の撮像装置1には、指などの不要画像の検出対象とする不要画像検出エリアが、あらかじめ設定されている。この不要画像検出エリアとしては、撮像領域の周縁部に沿った領域とされ、例えば、図5(A)の領域A1〜A4のように、撮像領域の一辺に沿った領域とされてもよいし、あるいは、図5(B)の領域A5〜A8のように、撮像領域の頂点を略中心とした領域とされてもよい。
実際の撮像時においては、上記の領域A1〜A8のうち1つの領域が、不要画像検出エリアとして選択されて、輝度成分検出部31および赤成分検出部32に対して設定されればよい。ここで、カメラ信号処理回路14では、例えば、上記の領域A1〜A8のような複数の領域が、不要画像検出エリアとして設定可能な状態とされている。そして、製品の出荷前の段階で、これらのうちの1つの領域がシステムコントローラ19内のROMなどに記憶される。このとき、筐体上の撮像レンズ11bの位置や、撮像レンズ11bとシャッタレリーズボタン20aとの位置関係など、その撮像装置1の仕様に応じて、指などが写り込みやすい領域があらかじめ選択される。そして、撮像装置1の使用時には、例えば電源投入直後のイニシャライズの際に、選択された1つの領域が、システムコントローラ19から輝度成分検出部31および赤成分検出部32に対して、不要画像検出エリアとして設定される。なお、この不要画像検出エリアを、撮影者の操作入力に応じて任意に設定可能としてもよい。
図6は、分割領域の中から不要画像検出エリアを選択する場合の設定例を示す図である。
図6の例では、撮像領域をあらかじめ複数の領域(ここでは水平方向12、垂直方向9の領域)に分割している。上記の撮像装置1では、このような分割領域から1つ以上の任意の領域を選択し、不要画像検出エリアとして設定できるようにしてもよい。図6では、網掛けを施した分割領域を不要画像検出エリアとして設定している。図6(A)は、図5(A)の領域A4にほぼ対応する領域を不要画像検出エリアとして設定した例を示し、また、図6(B)は、図5(B)の領域A7にほぼ対応する領域を不要画像検出エリアとして設定した例を示している。このような手法により、設定可能な不要画像検出エリアのパターンを簡単に増やすことができ、撮像レンズ11bの位置などの仕様が異なる多品種の撮像装置1に対して、不要画像の検出機能を適用可能になる。
なお、上記の分割領域では、それぞれの領域内のすべての画素の信号から輝度レベルや赤成分レベルを検出してもよいが、各領域内で画素を間引いて検出を行うことで、検出精度は低下するものの、検出処理を高速化することが可能になる。また、撮像領域中の分割領域の数を増加させることで、処理速度は低下するものの、検出精度を向上させることができる。
次に、不要画像検出の処理手順について、具体的に説明する。まず、図7は、電源投入から撮像動作が行われるまでの撮像装置における基本的な処理の流れを示すフローチャートである。
まず、撮像装置1では、電源が投入されると、撮像装置1全体のイニシャライズ処理が実行される(ステップS11)。この処理では、後述するように、不要画像検出エリアの設定や、その検出の度合いを示す検出レベルの設定も行われる。
イニシャライズ処理が完了して、撮像可能な状態になると、撮像装置1では、プレビュー画像の撮像が開始される(ステップS12)。プレビュー画像はディスプレイ18に随時表示される。この状態から、撮影者によってシャッタレリーズボタン20aに対する半押し操作が行われると(ステップS13)、システムコントローラ19により、オートフォーカス、AE、およびAWBの制御処理が実行され、これらの各制御値が適正な値で固定される(ステップS14)。
この状態で、さらにプレビュー画像の撮像が継続され(ステップS15)、撮影者によってシャッタレリーズボタン20aが完全に押下される(全押しされる)と(ステップS16)、撮像した画像信号の記録処理が実行される(ステップS17)。このとき、カメラ信号処理回路14から出力された画像信号は、画像エンコーダ15により記録用のエンコード処理が施された後、記録装置16に記録される。
この後、再びプレビュー画像の撮像が開始されるとともに(ステップS18)、ステップS14での制御値の固定状態が解除される。このとき、システムコントローラ19の制御により、フォーカスレンズが初期位置に戻される(ステップS19)。
図8および図9は、不要画像検出に関する処理の流れを示すフローチャートである。
図8のステップS21〜S23の処理は、図7のステップS11におけるイニシャライズ処理の一部として実行される。まず、システムコントローラ19は、不要画像検出処理の実行の要否を判定する(ステップS21)。この処理では、例えば、不要画像検出および警告を行う動作モードが現在設定されているか否かによって判定が行われる。
ここで、不要画像検出処理を実行するように設定されていない場合には、ステップS22およびS23の処理は実行されない。一方、不要画像検出処理の実行が必要である場合には、システムコントローラ19は、ROMの設定情報を参照して、輝度成分検出部31および赤成分検出部32に対して、不要画像検出エリアを設定する(ステップS22)。さらに、ROMの設定情報から、不要画像を検出する度合いを示す検出レベルYa,Raを読み出し、不要画像検出処理部43の設定情報として設定する(ステップS23)。
なお、検出レベルYa,Raは、不要画像検出の際にそれぞれ輝度レベル、赤成分レベルを基に判定処理を行うためのしきい値であり、ここでは撮像装置1の仕様に応じて適正な値があらかじめROMに記憶されるものとする。後述するように、検出レベルYa,Raは、ともに1以上の値である必要がある。
以上のステップS21〜S23の処理は、イニシャライズ処理において自動的に実行され、これにより、不要画像検出エリアや検出レベルYa,Raとして撮像装置1の仕様に応じた適正な値が設定される。なお、これらの処理ステップは、例えば、撮像装置1の動作中に、不要画像検出および警告を行う動作モードに遷移されたときに実行されてもよい。
イニシャライズ処理が完了すると、プレビュー画像の撮像が開始され(ステップS24)、その撮像の間、シャッタレリーズボタン20aに対する半押し操作が行われたか否かが判定される(ステップS25)。なお、これらのステップS24,S25は、図7のステップS12,S13に対応する。
シャッタレリーズボタン20aに対する半押し操作が行われると、AF制御部41は、フォーカスレンズを移動域の全域に亘って順次移動させ、移動位置の段階ごとにAF評価値を算出させるように制御する(ステップS26)。本実施の形態では、AF評価値として、輝度成分に基づくコントラストが用いられる。従って、このステップでは、フォーカスレンズの移動位置の段階ごとに、輝度成分検出部31で輝度レベルが検出され、その検出結果を基に、コントラスト検出部33でコントラストが検出される。ここで、輝度成分検出部31は、ステップS22で設定された不要画像検出エリアと、それ以外のエリアとで、それぞれ個別に輝度レベルを検出し、コントラスト検出部33も、それらのエリアごとにコントラストを検出する。移動位置の段階ごとのコントラストの検出結果は、ピーク検出部42に順次出力される。
次に、システムコントローラ19は、ステップS21と同様に、不要画像検出処理の実行の要否を判定する(ステップS27)。ここで、不要画像検出処理の実行が必要でない場合、ピーク検出部42は、不要画像検出エリア以外でのAF評価値(コントラスト)のピークを検出する(ステップS28)。この処理では、フォーカスレンズの移動に伴って検出されるコントラストの値が、徐々に増加した後に減少する位置を検出することで、ピークが検出される。この後、AF制御部41により、ステップS41の処理が実行される。
一方、ステップS27において、不要画像検出処理の実行が必要と判定された場合、ピーク検出部42は、不要画像検出エリアでのAF評価値(コントラスト)のピークを検出し(ステップS29)、さらに、それ以外のエリアでのAF評価値(コントラスト)のピークを検出する(ステップS30)。不要画像検出処理部43は、ピーク検出部42の検出結果を基に、不要画像検出エリアと、それ以外のエリアの両方において、ピークが検出されたか否かを判定する(ステップS31)。
また、輝度成分検出部31は、不要画像検出エリアにおいて検出された輝度レベルの平均値を演算し、平均輝度レベルYbとして不要画像検出処理部43に出力する(ステップS32)。さらに、不要画像検出エリア以外において検出された輝度レベルの平均値を演算し、平均輝度レベルYcとして不要画像検出処理部43に出力する(ステップS33)。不要画像検出処理部43は、Yc/Ybの演算を行い、ステップS23で設定された検出レベルYaと比較する(ステップS34)。
また、赤成分検出部32は、不要画像検出エリアにおいて検出された赤成分レベルの平均値を演算し、平均赤成分レベルRbとして不要画像検出処理部43に出力する(ステップS35)。さらに、不要画像検出エリア以外において検出された赤成分レベルの平均値を演算し、平均赤成分レベルRcとして不要画像検出処理部43に出力する(ステップS36)。不要画像検出処理部43は、Rb/Rcの演算を行い、ステップS23で設定された検出レベルRaと比較する(ステップS37)。
不要画像検出処理部43は、上記のステップS31,S34,S37の各判定結果に応じて、不要画像が検出されたか否かを判定する(ステップS38)。ここで、ステップS31において、不要画像検出エリアとそれ以外のエリアの両方からAF評価値のピークが検出されたと判定され、かつ、ステップS34において、Yc/Ybの値が検出レベルYaより大きいと判定され、かつ、ステップS37において、Rb/Rcの値が検出レベルRaより大きいと判定された場合にのみ、不要画像が検出されたと判定する。
このとき、不要画像検出処理部43は、不要画像検出フラグを警告処理部44に対して出力し(ステップS39)、これを受信した警告処理部44は、不要画像が検出されたことを警告するための警告画像の信号をグラフィック処理回路17に出力して、警告画像をディスプレイ18に表示させる(ステップS40)。
警告画像が表示された後、AF制御部41は、ピーク検出部42により検出された、不要画像検出エリア以外からのAF評価値(コントラスト)のピーク検出結果を基に、フォーカスを合わせるための制御を実行する(ステップS41)。すなわち、AF評価値がピークとなる位置に、フォーカスレンズを移動させる。さらに、システムコントローラ19は、AE、AWBの制御値を固定する(ステップS42)。以上のステップS41,S42の処理は、図7のステップS14の処理に対応し、この後にシャッタレリーズボタン20aの全押し操作が行われると、撮像画像信号の記録処理が実行される。
また、ステップS38において不要画像検出のための判定条件が1つでも満たされなかった場合(すなわち、ステップS31,S34,S37の判定処理において1つでも“No”となった場合)、および、ステップS28の処理が実行された場合には、警告画像の表示が行われることなく、ステップS41,S42の処理が順次実行される。
なお、ステップS41では、不要画像検出エリア以外からのAF評価値を基に、フォーカスが合う位置にフォーカスレンズが移動される。これにより、不要画像が検出されていても、その不要画像の影響を受けることなく、高精度にフォーカスを合わせることができるようになる。ただし、不要画像が検出されていない場合には、撮像画像の全領域からのAF評価値を基にフォーカスを合わせるようにしてもよい。
また、ステップS32,S33で検出される輝度レベル、および、ステップS35,S36で検出される赤成分レベルは、例えば、フォーカスレンズがあらかじめ決められた位置にあるときに、輝度成分検出部31および赤成分検出部32によって検出されたものであればよい。あるいは、ステップS30の処理により、不要画像検出エリア以外でAF評価値のピークが検出されたときの位置に、フォーカスレンズをあらためて移動させて、輝度成分検出部31および赤成分検出部32によってそれぞれ輝度レベルおよび赤成分レベルを検出させてもよい。
ここで、上記のステップS38における不要画像の検出判定処理について、さらに詳しく説明する。図10、図11はそれぞれ、不要画像が写り込んでいない場合、不要画像が写り込んでいる場合のコントラストの検出結果の例を示す図である。
上述したように、不要画像検出エリアは、撮像画像領域の周縁部に沿った位置に設定される。このため、通常、撮像画像には、不要画像検出エリア以外のエリアに、フォーカスを合わせるべき主要な被写体が存在することになる。このため、不要画像検出エリア以外からコントラストを検出した場合、フォーカスレンズを望遠側から広角側まで移動したときに、いずれかの位置でコントラストの値がピークを採ることになる。図10(A)の例では、主要被写体が無限遠に存在する場合であり、フォーカスレンズが最も望遠側の位置にあるときに、コントラストのピークが発生する。
一方、不要画像が写り込んでいなければ、不要画像検出エリアにはフォーカスを合わせるべき被写体が存在しないので、図10(B)の例のように、フォーカスレンズの移動に伴うコントラストの変動量は小さくなり、ピークが検出されない。
しかし、不要画像が写り込んでいる場合には、図11(A)のように、不要画像検出エリア以外でのコントラストの変位には大きな変化は現れないものの、図11(B)のように、不要画像検出エリアでのコントラストの変位にもピークが現れると考えられる。指などの不要な被写体は撮像レンズ11bに近接しているので、不要画像が写り込んでいる場合、図11(B)の例のように、フォーカスレンズが最も広角側の位置にあるときに、コントラストのピークが発生すると考えられる。
以上より、ステップS38の判定処理では、まず、不要画像検出エリアとそれ以外のエリアの両方で、コントラストのピークが存在している場合に、不要画像が写り込んでいる可能性が高いと判断している。なお、この判定処理では、他の例として、不要画像検出エリア以外でのコントラストに関係なく、不要画像検出エリアでのコントラストの変位にピークが現れる場合、あるいは、そのコントラストのピークがフォーカスレンズが広角側に位置するときに現れる場合に、不要画像が写り込んでいる可能性が高いと判定するようにしてもよい。
また、ステップS34では、不要画像検出エリアでの平均輝度レベルYbに対する、不要画像検出エリア以外での平均輝度レベルYcの比を求め、ステップS38では、この比の値が所定のしきい値(検出レベルYa)より大きくなることを、不要画像の検出条件としている。上述したように、指などの不要な被写体は撮像レンズ11bに近接しているので、このような被写体は撮像画像上では暗くなると考えられる。そこで、ステップS34の比較結果に基づき、不要画像検出エリアよりもそれ以外のエリアの方が所定の程度だけ明るいと判定された場合には、不要画像が写り込んでいる可能性が高いと判断している。従って、検出レベルYaは、少なくとも1以上の値である必要があり、実際には、1より十分大きい値であることが望ましい。
さらに、ステップS37では、不要画像検出エリア以外での平均赤成分レベルRcに対する、不要画像検出エリアでの平均赤成分レベルRbの比を求め、ステップS38では、この比の値が所定のしきい値(検出レベルRa)より大きくなることを、不要画像の検出条件としている。撮影者の指や手の一部が撮像された場合には、その部位からの反射光あるいは部位の透過光が撮像素子12により撮像されるので、その撮像信号には赤色に近い色成分が多く含まれると考えられる。そこで、ステップS37の比較結果に基づき、不要画像検出エリア以外よりも不要画像エリアの方が赤成分の検出レベルが所定の程度だけ多いと判定された場合には、不要画像が写り込んでいる可能性が高いと判断している。従って、検出レベルRaは、少なくとも1以上の値である必要があり、実際には、1より十分大きい値であることが望ましい。
以上のように、本実施の形態の撮像装置1では、不要画像検出エリアでのコントラストのピーク検出の有無、不要画像検出エリアの相対的な暗さ、不要画像検出エリアでの相対的な赤成分の多さという3つの条件を基に、不要画像の検出の有無を判断することで、その検出精度を向上できるようになっている。特に、これらの条件判断では、主に加算や減算などの簡易な演算処理が実行されるだけなので、例えば、事前に登録したパターン画像との一致判定などを行う場合と比較して、演算負荷を抑制して、製造コストを増大させることなく、高精度な不要画像検出・警告処理を高速に実行できる。すなわち、比較的簡易な処理で実現される3つの条件判定を基に不要画像を検出することで、検出精度の向上や処理の高速化と、処理負荷や製造コストの抑制という相反する効果を両立できるようになる。
また、不要画像の検出を、撮像により得られた画像信号を基に実行することが可能であり、その検出処理自体も従来の信号処理系や制御部で実行されていた処理と大きく違わないことから、装置の製造・開発コストや回路規模が増大することを防止できる。さらに、不要画像検出エリアを、搭載する撮像装置の仕様に応じてあらかじめ設定しておくことができるので、例えば、撮像レンズ11bやシャッタレリーズボタン20aを、小型化・薄型化に伴う制約の中で比較的自由に配置しても、不要画像が写り込んだ失敗画像が記録される可能性を低減できるようになる。特に、不要画像検出エリアや、検出の度合いを示す情報を、複数のプリセットされた情報の中から選択できるようにしておくことで、仕様の異なる多種の撮像装置に同じ処理回路や処理アルゴリズムを適用できるようになり、製造・開発コストを抑制できる。
また、不要画像が検出されたことを撮影者に警告した場合でも、撮影者がシャッタレリーズボタン20aに対する全押し操作を行うことで、撮像画像の記録処理が実行されるので、撮影者は例えば不要画像が写り込んでいたとしても、その画像を記録するか否かを自分で判断でき、撮影者の撮影機会を奪うこともなくなる。そして、このような不要画像の検出・警告を実行させるために、撮影者は事前に何も設定する必要がないので、検出・警告の処理を実行させるための撮影者の操作性も向上させることができる。
なお、上記の図9のステップS38では、ステップS31,S34,S37のすべての判定結果が“Yes”となった場合に、不要画像が検出されたと判定しているが、例えば、これらの判定結果のうち少なくとも2つが“Yes”となった場合に、不要画像が検出されたと判定するようにしてもよい。例えば、ステップS31の判定結果が“Yes”となり、かつ、ステップS34またはS37のいずれかの判定結果が“Yes”となった場合に、不要画像が検出されたと判定するようにしてもよい。
また、不要画像の判定に用いるAF評価値としては、コントラスト以外の値を用いることも可能である。例えば、撮像画像内の対象エリアからの高周波成分の検出レベルをAF評価値として用いることも可能である。この場合、高周波成分が多く検出されるほどフォーカスが合っていることになるので、上記のようにコントラストを用いた場合と同様の判定処理を適用できる。ただし、高周波成分の検出レベルをAF評価値とする場合、コントラストを用いる場合と比較して、AF評価の精度は向上するものの、処理負荷が大きくなる。このため、例えば携帯電話機など、処理負荷の軽減が強く要求される場合には、AF評価値としてコントラストを用いることが望ましい。
また、上記のステップS35〜S37の処理においては、RGB成分中のR成分のみから赤成分を検出するのでなく、指などの検出により適した特定の色成分を、RGBのそれぞれの成分の信号を基に検出するようにしてもよい。この場合の色検出は、RGB成分を基に変換された色差成分を基に行われてもよい。ただし、この場合にも、RGB成分中のR成分のみの検出結果から判定する方が、処理負荷を軽減し、処理を容易に高速化することができる。
上述した本実施の形態の処理では、不要画像が検出されたとしても、そのことを事前に警告するだけであって、シャッタレリーズボタン20aへの全押し操作に応じた記録動作自体は、撮影者の判断で自由に実行させることが可能である。例えば、不要画像が写り込んでいないにも拘わらず、不要画像が検出されたことが警告された場合でも、撮影者はそのときの撮像画像信号を記録させることができる。このため、不要画像の検出精度より検出処理を高速化することを優先し、不要画像の検出および警告の処理をタイムラグが生じることなく極めて短時間で実行できるようにすることが望ましいと考えられる。従って、AF評価値の検出手法や赤成分の検出手法などとしては、できるだけ処理負荷の軽い手法を採ることが好適であると言える。
次に、不要画像が検出された場合の警告画像の表示例を挙げる。図12および図13は、警告画像の表示例を示す図である。
図12の例では、不要画像が検出された位置の略中心部を示す中心位置画像82(82a,82b)と、その中心位置画像82を指し示す矢印画像83(83a〜83c)とを表示することで、不要画像が検出されたことを撮影者に警告している。なお、図12(A)、(B)は、例えば、不要画像検出エリアとして、図5の領域A4、領域A7がそれぞれ選択されていた場合に対応する。これらの中心位置画像82および矢印画像83は、背景のプレビュー画像に対して目立つ色や明るさで表示されることが望ましい。また、例えば、矢印画像83のみ、あるいは中心位置画像82および矢印画像83の双方を、点滅させて表示してもよい。
図13の例では、不要画像が検出された位置の近傍に、指を描いた画像84a,84bを表示することで、不要画像が検出されたこと(特に、指が写り込んでいること)を撮影者に警告している。なお、図13(A)、(B)は、例えば、不要画像検出エリアとして、図5の領域A4、領域A7がそれぞれ選択されていた場合に対応する。この場合でも、画像84a,84bは、背景のプレビュー画像に対して目立つ色や明るさで表示されることが望ましく、さらに、これらが点滅されてもよい。
また、このように、ディスプレイ18の中に警告画像を表示する他に、例えば、ディスプレイ18の周囲に不要画像検出を警告するための専用の警告灯などを設けてもよい。さらに、上述したように、不要画像が検出されたことの警告は、撮影者が視覚的に認識するものの他に、音声などによって行われてもよい。あるいは、画像と音声の両方によって警告が行われてもよい。
また、上記の不要画像検出や警告のための処理を、CPUでのソフトウェア処理によって実現する場合には、そのような処理機能の処理内容を記述したプログラムが提供される。すなわち、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。また、処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気テープやハードディスクなどの磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリなどがある。
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自機に接続された記憶装置に格納する。そして、コンピュータは、その記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
実施の形態に係る撮像装置の内部構成を示すブロック図である。 撮像装置の使用状態の例を示す図である。 指が写り込んだ場合の画像の例を示す図である。 不要画像検出のために撮像装置に設けられた機能を示すブロック図である。 不要画像検出エリアの設定例を示す図である。 分割領域の中から不要画像検出エリアを選択する場合の設定例を示す図である。 電源投入から撮像動作が行われるまでの撮像装置における基本的な処理の流れを示すフローチャートである。 不要画像検出に関する処理の流れを示すフローチャート(その1)である。 不要画像検出に関する処理の流れを示すフローチャート(その2)である。 不要画像が写り込んでいない場合のコントラストの検出結果の例を示す図である。 不要画像が写り込んでいる場合のコントラストの検出結果の例を示す図である。 警告画像の表示例を示す図(その1)である。 警告画像の表示例を示す図(その2)である。
符号の説明
1……撮像装置、11……光学ブロック、11a……ドライバ、11b……撮像レンズ、12……撮像素子、12a……タイミングジェネレータ(TG)、13……アナログフロントエンド(AFE)回路、14……カメラ信号処理回路、15……画像エンコーダ、16……記録装置、17……グラフィック処理回路、18……ディスプレイ、19……システムコントローラ、20……入力部、20a……シャッタレリーズボタン、31……輝度成分検出部、32……赤成分検出部、33……コントラスト検出部、41……AF制御部、42……ピーク検出部、43……不要画像検出処理部、44……警告処理部

Claims (13)

  1. 固体撮像素子により画像を撮像する撮像装置において、
    前記固体撮像素子により得られる撮像画像上の周縁部に沿った位置に、不要画像が含まれ得る不要画像検出領域を設定する領域設定部と、
    フォーカスレンズを徐々に移動させながら取得した前記撮像画像の画像信号を基に、合焦度合いを示すフォーカス評価値を演算するフォーカス評価値演算部と、
    前記不要画像検出領域における画像信号を基に演算された第1のフォーカス評価値が、前記フォーカスレンズが所定の位置に配置されているときにピークを持ち、なおかつ、前記不要画像検出領域以外の領域である非検出領域における画像信号を基に演算された第2のフォーカス評価値が、前記フォーカスレンズを移動させている間にピークを持つ場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第1の不要画像検出処理部と、
    前記不要画像検出領域と前記非検出領域とで、特定の色成分の信号レベルを平均した平均色成分レベルをそれぞれ個別に演算する色成分検出部と、
    前記非検出領域での前記平均色成分レベルに対する前記不要画像検出領域での前記平均色成分レベルの比が、所定の色成分しきい値より大きい場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第2の不要画像検出処理部と、
    前記第1の不要画像検出処理部および前記第2の不要画像検出処理部の各判定結果に基づき、前記不要画像が写り込んでいることを撮影者に対して警告するための警告処理を行う警告処理部と、
    を有することを特徴とする撮像装置。
  2. 前記不要画像検出領域と前記非検出領域とで、輝度成分の信号レベルを平均した平均輝度レベルをそれぞれ個別に演算する輝度成分検出部と、
    前記不要画像検出領域での前記平均輝度レベルに対する前記非検出領域での前記平均輝度レベルの比が、所定の輝度しきい値より大きい場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第3の不要画像検出処理部と、
    をさらに有し、
    前記警告処理部は、前記第1の不要画像検出処理部、前記第2の不要画像検出処理部および前記第3の不要画像検出処理部の各判定結果に基づいて、前記警告処理を行うことを特徴とする請求項1記載の撮像装置。
  3. 前記警告処理部は、前記第1の不要画像検出処理部、前記第2の不要画像検出処理部および前記第3の不要画像検出処理部のすべてによって前記不要画像が写り込んでいると判定された場合に、前記警告処理を行うことを特徴とする請求項2記載の撮像装置。
  4. 前記警告処理部は、前記第1の不要画像検出処理部によって前記不要画像が写り込んでいると判定され、なおかつ、前記第2の不要画像検出処理部または前記第3の不要画像検出処理部の少なくとも一方によって前記不要画像が写り込んでいると判定された場合に、前記警告処理を行うことを特徴とする請求項2記載の撮像装置。
  5. 前記不要画像が写り込んでいると判定されたとき、前記非検出領域における画像信号を基に演算された前記フォーカス評価値を用いて、前記フォーカスレンズを合焦位置に移動させるフォーカス制御部をさらに有することを特徴とする請求項1記載の撮像装置。
  6. 前記特定の色成分は赤成分であることを特徴とする請求項1記載の撮像装置。
  7. 前記フォーカス評価値演算部は、前記フォーカス評価値としてコントラストを演算することを特徴とする請求項1記載の撮像装置。
  8. 前記第1の不要画像検出処理部は、前記フォーカスレンズが広角側に位置しているときに前記第1のフォーカス評価値がピークを持ち、なおかつ、前記フォーカスレンズを移動させている間に前記第2のフォーカス評価値がピークを持つ場合に、前記不要画像が写り込んでいると判定することを特徴とする請求項1記載の撮像装置。
  9. 前記警告処理部は、前記不要画像が写り込んでいることを警告するための画像情報を、表示部に表示させることを特徴とする請求項1記載の撮像装置。
  10. 前記警告処理部により前記不要画像が写り込んでいることが警告されている間、撮影者からの操作入力に応じて、前記撮像画像の画像信号を記録媒体に記録する処理を実行可能であることを特徴とする請求項1記載の撮像装置。
  11. 前記領域設定部は、前記撮像画像を複数の領域に分割した分割領域のうち、隣接する複数の前記分割領域を前記不要画像検出領域として設定することを特徴とする請求項1記載の撮像装置。
  12. 固体撮像素子により画像を撮像するための撮像方法において、
    領域設定部が、前記固体撮像素子により得られる撮像画像上の周縁部に沿った位置に、不要画像が含まれ得る不要画像検出領域を設定し、
    フォーカス評価値演算部が、フォーカスレンズを徐々に移動させながら取得した前記撮像画像の画像信号を基に、合焦度合いを示すフォーカス評価値を演算し、
    色成分検出部が、前記不要画像検出領域と、前記不要画像検出領域以外の領域である非検出領域とで、特定の色成分の信号レベルを平均した平均色成分レベルをそれぞれ個別に演算し、
    第1の不要画像検出処理部が、前記不要画像検出領域における画像信号を基に演算された第1のフォーカス評価値が、前記フォーカスレンズが所定の位置に配置されているときにピークを持ち、なおかつ、前記不要画像検出領域以外の領域である非検出領域における画像信号を基に演算された第2のフォーカス評価値が、前記フォーカスレンズを移動させている間にピークを持つ場合に、前記撮像画像に前記不要画像が写り込んでいると判定し、
    第2の不要画像検出処理部が、前記非検出領域での前記平均色成分レベルに対する前記不要画像検出領域での前記平均色成分レベルの比が、所定の色成分しきい値より大きい場合に、前記撮像画像に前記不要画像が写り込んでいると判定し、
    警告処理部が、前記第1の不要画像検出処理部および前記第2の不要画像検出処理部の各判定結果に基づき、前記不要画像が写り込んでいることを撮影者に対して警告するための警告処理を行う、
    ことを特徴とする撮像方法。
  13. 固体撮像素子により画像を撮像するための撮像プログラムにおいて、
    コンピュータを、
    前記固体撮像素子により得られる撮像画像上の周縁部に沿った位置に、不要画像が含まれ得る不要画像検出領域を設定する領域設定手段、
    フォーカスレンズを徐々に移動させながら取得した前記撮像画像の画像信号を基に、合焦度合いを示すフォーカス評価値を演算するフォーカス評価値演算手段、
    前記不要画像検出領域における画像信号を基に演算された第1のフォーカス評価値が、前記フォーカスレンズが所定の位置に配置されているときにピークを持ち、なおかつ、前記不要画像検出領域以外の領域である非検出領域における画像信号を基に演算された第2のフォーカス評価値が、前記フォーカスレンズを移動させている間にピークを持つ場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第1の不要画像検出処理手段、
    前記不要画像検出領域と前記非検出領域とで、特定の色成分の信号レベルを平均した平均色成分レベルをそれぞれ個別に演算する色成分検出手段、
    前記非検出領域での前記平均色成分レベルに対する前記不要画像検出領域での前記平均色成分レベルの比が、所定の色成分しきい値より大きい場合に、前記撮像画像に前記不要画像が写り込んでいると判定する第2の不要画像検出処理手段、
    前記第1の不要画像検出処理手段および前記第2の不要画像検出処理手段の各判定結果に基づき、前記不要画像が写り込んでいることを撮影者に対して警告するための警告処理を行う警告処理手段、
    として機能させることを特徴とする撮像プログラム。
JP2007213109A 2007-08-17 2007-08-17 撮像装置、方法、およびプログラム Expired - Fee Related JP4462305B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007213109A JP4462305B2 (ja) 2007-08-17 2007-08-17 撮像装置、方法、およびプログラム
US12/228,219 US8026974B2 (en) 2007-08-17 2008-08-11 Imaging apparatus, method and program
CN2008101462568A CN101370086B (zh) 2007-08-17 2008-08-14 成像装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007213109A JP4462305B2 (ja) 2007-08-17 2007-08-17 撮像装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2009049659A JP2009049659A (ja) 2009-03-05
JP4462305B2 true JP4462305B2 (ja) 2010-05-12

Family

ID=40362665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007213109A Expired - Fee Related JP4462305B2 (ja) 2007-08-17 2007-08-17 撮像装置、方法、およびプログラム

Country Status (3)

Country Link
US (1) US8026974B2 (ja)
JP (1) JP4462305B2 (ja)
CN (1) CN101370086B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325980B1 (en) * 2008-12-16 2012-12-04 Sprint Communications Company L.P. Providing indications of object attributes
JP5423287B2 (ja) * 2009-09-29 2014-02-19 リコーイメージング株式会社 撮像装置
JP2012013804A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP5330444B2 (ja) * 2011-03-28 2013-10-30 株式会社ホンダアクセス 自動車の車載機器操作装置における手の判定方法および判定装置
CN103621056A (zh) * 2011-06-23 2014-03-05 株式会社尼康 拍摄装置
KR101590334B1 (ko) * 2011-08-30 2016-02-02 삼성전자 주식회사 영상 촬영 장치 및 그 제어방법
JP6331244B2 (ja) * 2012-06-05 2018-05-30 ソニー株式会社 撮像装置、撮像装置の制御方法およびコンピュータプログラム。
KR20140060760A (ko) * 2012-11-12 2014-05-21 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
CN104038666B (zh) * 2014-04-22 2017-10-27 深圳英飞拓科技股份有限公司 一种视频遮挡检测方法和装置
TWI552602B (zh) * 2014-08-19 2016-10-01 晶睿通訊股份有限公司 影像畫面的模糊偵測方法、監視裝置及監視系統
CN105491289B (zh) * 2015-12-08 2019-10-01 小米科技有限责任公司 防止拍照遮挡的方法及装置
US10547801B2 (en) * 2017-10-26 2020-01-28 International Business Machines Corporation Detecting an image obstruction
CN111753783B (zh) * 2020-06-30 2024-05-28 北京小米松果电子有限公司 手指遮挡图像检测方法、装置及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0595501A (ja) 1991-10-02 1993-04-16 Konica Corp 電子スチルビデオカメラ
GB9725571D0 (en) * 1997-12-04 1998-02-04 Philips Electronics Nv Electronic apparatus comprising fingerprint sensing devices
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
JP4088517B2 (ja) * 2002-12-10 2008-05-21 コニカミノルタオプト株式会社 デジタルカメラ
JP3731580B2 (ja) * 2003-01-10 2006-01-05 コニカミノルタフォトイメージング株式会社 屈曲光学系を備えたカメラ
JP4498999B2 (ja) * 2005-08-30 2010-07-07 京セラ株式会社 携帯端末装置

Also Published As

Publication number Publication date
US20090046197A1 (en) 2009-02-19
CN101370086B (zh) 2011-02-16
JP2009049659A (ja) 2009-03-05
US8026974B2 (en) 2011-09-27
CN101370086A (zh) 2009-02-18

Similar Documents

Publication Publication Date Title
JP4462305B2 (ja) 撮像装置、方法、およびプログラム
JP5025532B2 (ja) 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム
US7916182B2 (en) Imaging device and method which performs face recognition during a timer delay
US7881601B2 (en) Electronic camera
US7433586B2 (en) Camera with an auto-focus function
US7706674B2 (en) Device and method for controlling flash
US9800772B2 (en) Focus adjustment device and focus adjustment method that detects spatial frequency of a captured image
KR100906522B1 (ko) 촬상 장치, 데이터 추출 방법 및 데이터 추출 프로그램 기록매체
JP4127491B2 (ja) オートフォーカス機能付きカメラ
US20080181460A1 (en) Imaging apparatus and imaging method
JP5424732B2 (ja) 撮像装置、その制御方法及びプログラム
JP4657960B2 (ja) 撮像方法および装置
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2007178576A (ja) 撮像装置及びそのプログラム
WO2010073619A1 (ja) 撮像装置
TWI492618B (zh) 攝影裝置及電腦可讀取記錄媒體
US8040429B2 (en) Electronic apparatus having autofocus camera function
JP5429588B2 (ja) 撮像装置および撮像方法
JP4998122B2 (ja) 撮像装置及びそのプログラム
US8514305B2 (en) Imaging apparatus
KR20110090610A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2009017427A (ja) 撮像装置
JP2006253887A (ja) 撮像装置
JP2009049639A (ja) 撮影装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees