しかし、上記の背景技術では、発光および消灯が繰り返される結果、撮影対象(被写体)である人物が発光と消灯の輝度差によって視覚的な違和感を覚える「ちらつき」を生じる恐れがある。
それゆえに、この発明の主たる目的は、新規な、撮影機器を提供することである。
この発明の他の目的は、ちらつきを防止することができる、撮影機器を提供することである。
この発明のその他の目的は、フラッシュ発光しながら連写撮影を行う場合のちらつきを防止することができる、撮影機器を提供することである。
この発明のさらにその他の目的は、ちらつきの防止と消費電力の抑制とを両立させることができる、撮影機器を提供することである。
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
第1の発明は、撮像部および発光部を有し、発光部を間欠的に本発光させて、その本発光の度にディスプレイに表示された被写体の全体を撮影する連写撮影を行う、撮影機器であって、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、本発光よりも輝度が低いちらつき防止用輝度で発光部を発光させるちらつき防止用発光期間を設定した第1発光パターンを記憶する記憶部、および連写撮影を行う場合、第1発光パターンに基づく輝度で発光部を発光させる発光制御部を備える、撮影機器である。
第1の発明では、撮影機器(10)は、撮像部(38)および発光部(40)を有する。また、撮影機器は、発光部を間欠的に本発光させて、その本発光の度にディスプレイに表示された被写体の全体を撮影する連写撮影を行う。記憶部(70)には、第1発光パターン(W1a〜W1d,W1r〜W1t)が少なくとも記憶される。この第1発光パターンは、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、本発光よりも輝度が低いちらつき防止用輝度(L3)で発光部を発光させるちらつき防止用発光期間が設定されている。発光制御部(24,S11〜S29,S35)は、連写撮影を行う場合、第1発光パターンに基づく輝度で発光部を発光させる。
なお、残存発光期間における波形は、ある実施例ではU字型(W1a〜W1d:図2(A)〜図2(D))であり、他の実施例ではV字型(W1r:図7(C))である。残存発光期間での変化は、これらの実施例では直線的であるが、その他の実施例では、曲線的(W1s:図8(A))であっても、段階的(W1t:図8(B))であってもよい。
なお、波形は、時間(T)および輝度(L)を変数とする関数データの態様で記憶されても、各時間(期間)における輝度を示す数値データの態様で記憶されてもよい。関数データの場合、各波形を近似的に示すデータでもよい。輝度は、発光部を駆動する電流値(および/または電圧値)として表現されてもよい。これらの点は、後述する第2以下の発明でも同様である。
第1の発明によれば、本発光期間と本発光期間との間にちらつき防止用発光期間を設定し、ちらつき防止用発光期間では輝度が撮影用輝度からちらつき防止用輝度まで低下するので、連写撮影時のちらつきが低減される。
第2の発明は、第1の発明に従属し、発光部は、LEDを含む。
第2の発明では、発光部はLED(40a)を含む。LEDは、発光パターンの制御が容易な点で、この発明に適している。
第3の発明は、第1または第2の発明に従属する撮影機器であって、撮像部はAE機能(S7)を有し、発光制御部はAE機能によって計測された明るさに応じて、ちらつき防止用発光期間におけるちらつき防止用輝度が変化するように第1発光パターンを設定する(S17〜S27)。
好ましくは、発光制御部はAE機能によって計測された明るさが明るいほど、ちらつき防止用輝度が低くなるように、第1発光パターンが設定される。ちらつき防止用輝度は、1つまたは複数の閾値との比較に基づいて2段階または3段階以上に段階的に変化させてもよいし、適宜な関数を用いて連続的に変化させてもよい。
ある実施例では、計測された明るさが所定の明るさを超えない場合用の第1発光パターン(W1a,W1c)と超えた場合用の別の第1発光パターン(W1b,W1d)とを予めメモリに記憶しておくが、他の実施例では、どちらか一方の第1発光パターンを予めメモリに記憶しておき、必要に応じて他方の第1発光パターンをメモリ内の第1発光パターンから作成してもよい。
第3の発明によれば、周りが明るい場合には、ちらつき防止用輝度を低下させることで消費電力を抑制することができる。
第4の発明は、第1ないし第3のいずれかの発明に従属する撮影機器であって、撮像部は顔検出機能(S9)を有し、記憶部は、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、無発光期間を設定した第2発光パターン(W2)をさらに記憶し、発光制御部は発光部を、顔検出機能によって顔が検出された場合に第1発光パターンに基づく輝度で発光させ、顔が検出されなかった場合には第2発光パターンに基づく輝度で発光させる。
第4の発明によれば、ちらつき防止用の残存発光は、顔が検出された場合に実行され、顔が検出されなかった場合には実行されないので、ちらつきの低減と消費電力の抑制とを両立させることができる。
第5の発明は、第1ないし第3のいずれかの発明に従属する撮影機器であって、撮像部はAF機能(S5)を有し、記憶部は、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、無発光期間を設定した第2発光パターン(W2)をさらに記憶し、発光制御部は発光部を、AF機能によって計測された距離が所定の距離を超えない場合に第1発光パターンに基づく輝度で発光させ、所定の距離を超える場合には第2発光パターンに基づく輝度で発光させる。
第5の発明によれば、ちらつき防止用の残存発光は、撮影対象(被写体)までの距離が近い場合に実行され、距離が遠い場合に実行されないので、ちらつきの低減と消費電力の抑制とを両立させることができる。
第6の発明は、第1ないし第3のいずれかの発明に従属する撮影機器であって、撮像部はAF機能(S5)および顔検出機能(S9)を有し、記憶部は、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、無発光期間を設定した第2発光パターン(W2)をさらに記憶し、発光制御部は発光部を、AF機能によって計測された距離が所定の距離を超えない場合であってかつ顔検出機能によって顔が検出された場合に第1発光パターンに基づく輝度で発光させ、計測された距離が所定の距離を超える場合または顔が検出されなかった場合には第2発光パターンに基づく輝度で発光させる。
第6の発明によれば、ちらつき防止用の残存発光は、撮影対象までの距離が近くかつ顔が検出された場合に実行され、撮影対象までの距離が遠いかまたは顔が検出されなかった場合には実行されないので、ちらつきの低減と消費電力の抑制とを両立させることができる。
第7の発明は、第1ないし第6のいずれかの発明に従属する撮影機器であって、第1発光パターンは、初回の本発光期間の前に赤目防止用輝度(L1)を示すプリ発光期間をさらに含む。
ある実施例では、プリ発光期間および初回の本発光期間の境界で輝度が瞬間的に変化するが、他の実施例では徐々に変化してもよい。
赤目防止用輝度は、ある実施例ではちらつき防止用輝度(L3)と共通であり(図2(A))、他の実施例では赤目防止用輝度は撮影用輝度(L2)と共通である(図7(B))が、これらに限らず適宜設定してよい。なお、後者の実施例での設定は、初回の本発光期間を2回目以降の各本発光期間よりも長くすることと同等である。
プリ発光期間における赤目防止用輝度は、ある実施例では一定(図2(A))であるが、他の実施例では、直線的に変化しても(図7(C))、曲線的に変化しても(図8(A))、段階的に変化してもよい(図8(B))。
第7の発明によれば、ちらつきに加えて赤目も防止できる。
第8の発明は、第1の発明に従属する撮影機器であって、残存発光期間での輝度変化は直線的(図2(A)〜図2(D))である。
第9の発明は、第8の発明に従属する撮影機器であって、残存発光期間での輝度は、負の傾きを有する第1傾斜線分、当該第1傾斜線分の後端に連結された水平線分、および当該水平線分の後端に連結された正の傾きを有する第2傾斜線分に沿って変化する(角張ったU字型波形)。
なお、水平線分は省略してもよい(V字型波形:図7(C))。
第8,第9の各発明によれば、残存発光期間での輝度制御を容易に行える。
第10の発明は、第1の発明に従属する撮影機器であって、残存発光期間での輝度は下に凸の曲線に沿って変化する(図8(A),図8(B))。
第11の発明は、第10の発明に従属する撮影機器であって、残存発光期間での輝度変化は連続的である(図8(A))。
第12の発明は、第10の発明に従属する撮影機器であって、残存発光期間での輝度変化は段階的である(図8(B))。
第10〜第12の各発明によれば、残存発光期間での消費電力を抑制できる。
第13の発明は、第1ないし第12のいずれかの発明に従属する撮影機器であって、発光制御手段は各期間での実効輝度をパルス幅変調(PWM:図10)により制御する。
第13の発明によれば、発行部のスイッチングを行うだけで各発光期間の輝度制御が行える。
第14の発明は、連写撮影制御プログラム(52)であって、撮像部(38)および発光部(40)を有し、発光部を間欠的に本発光させて、その本発光の度にディスプレイに表示された被写体の全体を撮影する連写撮影を行い、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、本発光よりも輝度が低いちらつき防止用輝度(L3)で発光部を発光させるちらつき防止用発光期間を設定した発光パターン(W1a〜W1d,W1r〜W1t)を記憶する記憶部(70)をさらに有する、撮影機器(10)のコンピュータ(24,34)を、連写撮影を行う場合、発光パターンに基づく輝度で発光部を発光させる発光制御部(S11〜S29,S35)として機能させる、連写撮影制御プログラムである。
第14の発明によっても、第1の発明と同様に、連写撮影時のちらつきが低減される。
第15の発明は、撮像部(38)および発光部(40)を有し、発光部を間欠的に本発光させて、その本発光の度にディスプレイに表示された被写体の全体を撮影する連写撮影を行い、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、本発光よりも輝度が低いちらつき防止用輝度(L3)で発光部を発光させる残存発光期間を設定した発光パターン(W1a〜W1d,W1r〜W1t)を記憶する記憶部をさらに有する、撮影機器における連写撮影方法であって、撮影機器のコンピュータが、連写撮影を行う場合、発光パターンに基づく輝度で発光部を発光させる発光制御部ステップを実行する、連写撮影方法である。
第15の発明によっても、第1の発明と同様に、連写撮影時のちらつきが低減される。
第16の発明は、AF機能を有する撮像部および発光部を有し、発光部を間欠的に本発光させて、その本発光の度にディスプレイに表示された被写体の全体を撮影する連写撮影を行う、撮影機器であって、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、本発光よりも輝度が低いちらつき防止用輝度で発光部を発光させる残存発光期間を設定した第1発光パターンと、発光部を間欠的に本発光させるときの本発光期間と本発光期間との間に、無発光期間を設定した第2発光パターンとを記憶する記憶部、および連写撮影を行うとき、AF機能によって計測された距離が所定の距離を超えない場合に第1発光パターンに基づく輝度で発光部を発光させ、所定の距離を超える場合には第2発光パターンに基づく輝度で発光部を発光させる発光制御部を備える、撮影機器である。
第16の発明によっても、第5の発明と同様に、連写撮影時のちらつきの低減と消費電力の抑制とを両立させることができる。
この発明によれば、フラッシュ発光しながら連写撮影を行う場合のちらつき防止と消費電力削減を両立可能な、撮影機器が実現される。
図1には、携帯端末10のハードウエア構成が示される。図1を参照して、この発明の一実施例である携帯端末10はCPU24を含む。CPU24には、キー入力装置26、メインメモリ34、フラッシュメモリ36、撮像装置38およびフラッシュ発光器40が接続され、さらに、無線通信回路14を介してアンテナ12が、A/Dコンバータ16を介してマイク18が、D/Aコンバータ20を介してスピーカ22が、そしてドライバ28を介してディスプレイ30が、それぞれ接続される。
アンテナ12は、図示しない基地局からの無線信号を捕捉(受信)し、また、無線通信回路14からの無線信号を放出(送信)する。無線通信回路14は、アンテナ12で受信された無線信号を復調および復号化し、また、CPU24からの信号を符号化および変調する。マイク18は、音波をアナログの音声信号に変換し、A/Dコンバータ16は、マイク18からの音声信号をディジタルの音声データに変換する。D/Aコンバータ20は、CPU24からの音声データをアナログの音声信号に変換し、スピーカ22は、D/Aコンバータ20からの音声信号を音波に変換する。
キー入力装置26は、ユーザによって操作される各種のキー,ボタン,トラックボール(図示せず)などで構成され、操作に応じた信号(コマンド)をCPU24に入力する。ドライバ28は、CPU24からの信号に応じた画像をディスプレイ30に表示する。
メインメモリ34は、たとえばSDRAMなどで構成され、CPU24に各種の処理を実行させるためのプログラム,パラメータおよびデータベース(DB)など(図4参照)を記憶する共に、CPU24に必要な作業領域を提供する。フラッシュメモリ36は、たとえばNAND型のフラッシュメモリで構成され、プログラムなどの保存領域さらには撮像装置38による画像データの記録領域として利用される。
撮像装置38は、たとえばレンズ38a,イメージセンサ(たとえばCCD,CMOSなどの撮像素子)38b,カメラ処理回路38c,およびレンズ駆動用のドライバ38dなどで構成され、レンズ38aを経てイメージセンサ38b上に結像する光学像を光電変換して、これに対応する画像データを出力する。その際、CPU24の制御下でイメージセンサ38bおよびドライバ38dが動作することにより、露光量およびフォーカスが適切に調整された画像データが出力される。すなわち、撮像装置38は、AE(Automatic Exposure)機能およびAF(Autofocus)機能を有している。さらに、撮像装置38は、顔検出機能をも有しており、撮像した画像から人物の顔画像を検出することもできる。
フラッシュ発光器40は、たとえば単一のLED(Light Emitting Diode)40aおよびドライバ40bで構成され、CPU24の制御下でドライバ40bがLED40aを駆動することにより、連写撮影用のフラッシュ光(ストロボ光)、特に人物の連写撮影に適した波形のフラッシュ光を発する。また、通常撮影(単写撮影)用のフラッシュ光や、単に撮影対象(被写体)を照射するための照射用光を発することもできる。なお、LED40aは複数であってもよく、その場合、ドライバ40bは各LED40aを同等に駆動する。または、LED以外の発光体(キセノンランプなど)ないし発光素子を用いてもよいが、LEDは、発光パターンの細かな制御が容易な点で、この実施例に適している。LEDは、発光ダイオードとも呼ばれ、発光層が有機化合物からなる発光ダイオードである有機LE(Electro-Luminescence)素子も、LEDの一種である。
CPU24は、メインメモリ34に記憶されたプログラム(52〜58)に従って、他のハードウエア(12〜22,26〜30および34〜40)を利用しつつ、各種の処理を実行する。処理の実行に必要なタイミング信号は、RTC(Real Time Clock)24aから供給される。
以上のように構成された携帯端末10では、図示しないメニュー画面を通して、通話を行う通話モード、通常撮影(単写撮影)を行う通常撮影モード、およびフラッシュ発光しながら連写撮影を行う連写撮影モードなどを選択することができる。連写撮影モードを選択した場合にはさらに、撮影周期の設定(変更)や、赤目防止用のプリ発光を行うかどうかの選択(赤目防止機能オン/オフの設定)なども、メニュー画面上で行うことができる。なお、他のモード、たとえばフラッシュ発光なしで連写撮影を行うモードなども準備されているが、この実施例の主要な特徴ではないので、説明を省略する。
通話モードが選択されると、携帯端末10は、通話装置として機能する。詳しくは、キー入力装置26によって発呼操作が行われると、CPU24は、無線通信回路14を制御して発呼信号を出力する。出力された発呼信号は、アンテナ12を介して出力され、図示しない移動通信網を経て相手の電話機に伝達される。電話機は、着信音などによる呼び出しを開始する。相手が着呼操作を行うと、CPU24は通話処理を開始する。一方、相手からの発呼信号がアンテナ12によって捕捉されると、無線通信回路14は着信をCPU24に通知し、CPU24は、着信音による呼び出しを開始する。キー入力装置26によって着呼操作が行われると、CPU24は通話処理を開始する。
通話処理は、たとえば、次のように行われる。相手から送られてきた受話音声信号は、アンテナ12によって捕捉され、無線通信回路14によって復調および復号化を施された後、D/Aコンバータ20を経てスピーカ22に与えられる。これにより、スピーカ22から受話音声が出力される。一方、マイク18によって取り込まれた送話音声信号は、無線通信回路14によって符号化および変調を施された後、アンテナ12を通して相手に送信される。相手の電話機でも、送話音声信号の復調および復号化が行われ、送話音声が出力される。
通常撮影モードが選択されると、携帯端末10は、通常撮影用のカメラ装置として機能する。詳しくは、CPU24がスルー撮影開始命令を発し、撮像装置38はスルー撮影を開始する。撮像装置38では、レンズ38aを経てイメージセンサ38bに結像した光学像は、光電変換を施され、これによって、光学像を表す電荷が生成される。スルー撮影では、イメージセンサ38bで生成された電荷の一部が、たとえば1/60秒毎に、低解像度の生画像信号として読み出される。読み出された生画像信号は、カメラ処理回路38cによってA/D変換,色分離,YUV変換などの一連の画像処理を施されることで、YUV形式の画像データに変換される。
こうして、撮像装置38からは、スルー表示用の低解像度の画像データが、たとえば60fpsのフレームレートで出力される。出力された画像データは、現時点のスルー画像データとしてメインメモリ34に書き込まれ、ドライバ28は、メインメモリ34に記憶されたスルー画像データを繰り返し読み出し、これに基づくスルー画像をディスプレイ30に表示する。
ユーザは、携帯端末10を手で把持もしくは机等に載置して、撮像装置38を対象(人物などの被写体)に向ける。ディスプレイ30には、撮像装置38で撮影されたスルー画像が表示されるので、ユーザは、これを見ながら、対象を所望の構図で捉えるべく、撮像装置38の向きや対象までの距離を調節する。調整が完了すると、キー入力装置26によりシャッタ操作を行う。
シャッタ操作には、シャッタボタンを中ほどまで押す半押し操作と、半押し状態にあるシャッタボタンを奥底まで押し込む全押し操作との2段階がある。ユーザは、大まかな調整が完了した段階で、まず半押し操作を行う。CPU24は、半押し操作に応答してAF,AEおよび顔検出の各処理を実行し、これによって、スルー画像の明るさおよびフォーカスが最適に調整される。スルー画像に顔画像が含まれている場合には、当該顔画像を囲む枠画像(図示せず)がオンスクリーン表示(スルー画像の上に重ねて描画)される。
ユーザは、このようなスルー画像を参照しながら微調整を行った後、全押し操作に移行する。CPU24は、全押し操作に応答して静止画撮影命令を発する。応じて撮像装置38は、静止画撮影を実行する。撮像装置38では、レンズ38aを経てイメージセンサ38bの受光面に結像した光学像は、光電変換を施され、これによって、光学像を表す電荷が生成される。静止画撮影では、こうしてイメージセンサ38bで生成された電荷が、高解像度の生画像信号として読み出される。読み出された生画像信号は、カメラ処理回路38cによってA/D変換,色分離,YUV変換などの一連の画像処理を施されることで、YUV形式の画像データに変換される。
なお、携帯端末10の種類によっては、このような半押しおよび全押しの区別がないものもあり、その場合、上述した2段階の処理のうち前半、つまり半押し操作に応答した処理は省略される。したがって、単にシャッタボタンを押す操作(単押し)に応答して、静止画撮影処理が実行される。
こうして、撮像装置38から、記録用の高解像度の画像データが出力される。出力された画像データは、メインメモリ34に一時保持される。CPU24は、メインメモリ34に一時保持された画像データを、静止画像データとしてフラッシュメモリ36に書き込む。
連写撮影モードが選択されると、携帯端末10は、フラッシュ発光しながら連写撮影を行うカメラ装置として機能する。詳しくは、CPU24がスルー撮影開始命令を発し、撮像装置38はスルー撮影を開始する。ここで実行されるスルー撮影処理は、上述した通常撮影モードでのスルー撮影処理と同様である。これにより、ディスプレイ30にスルー画像が表示される。
ユーザは、通常撮影の場合と同様の手順で、撮像装置38を対象に向け、半押し操作さらには全押し操作を行う。CPU24は、半押し操作に応答して、まず、通常撮影の場合と同様にAF,AEおよび顔検出の各処理を実行する。これによって、スルー画像の明るさおよびフォーカスが最適に調整され、スルー画像に顔画像が含まれている場合にはこれを囲む枠画像がオンスクリーン表示される。
CPU24は、次に、AF,AEおよび顔検出の各処理の結果ないし過程で得られた情報、具体的には、被写体までの距離、周りの明るさ、および顔の数(有無)といった、携帯端末10やその撮影対象の状況を示す情報に基づいて、予め準備された複数のフラッシュ発光波形(たとえば波形W1a〜W1dおよびW2:図2(A)〜図2(D)および図3を参照)の中からいずれか1つを選択し、選択結果を保持する。
その後、CPU24は、全押し操作に応答して、まずフラッシュ発光開始命令を、次に連写撮影開始命令を発する。フラッシュ発光器40および撮像装置38がこれに応答することにより、フラッシュ発光しながら連写撮影を行う動作が開始される。
具体的には、連写撮影動作は、撮像装置38がCPU24の制御下で静止画像の撮像を予め設定された周期(たとえば1秒=1000ミリ秒/1回)に従うタイミング(T1,T2,…:図2(A)参照)で繰り返し実行することにより実現される。毎回の静止画撮像処理は、通常撮影における静止画撮影(単写撮影)と同様である。こうして撮像された一連の静止画像つまり連写画像は、ひとまずメインメモリ34に蓄積される。
一方、フラッシュ発光動作は、ドライバ40bがCPU24の制御下で連写撮影のタイミングT1,T2,…に従ってLED40aを駆動する(たとえばLED40aに所定電圧を印加しながら電流を制御することで、発光/消光を切り換えたり、各発光期間の長さや輝度を制御したりする)ことにより実現される。
なお、詳細は後述するが、この実施例の主要な特徴の1つは、人物を対象として連写撮影を行うのに好適なフラッシュ発光のパターン(輝度の時間的な変化)を規定する、図2(A)〜図2(D)に示したような個々の波形W1a〜W1dにある。そして、主要な特徴の他の1つは、これらを含む複数の波形W1a〜W1dおよびW2の中から状況に応じた波形を選択し、当該波形に基づく輝度でLED40aを発光させる点にある。
このようなフラッシュ発光しながらの連写撮影は、ユーザが全押し操作を解除するまで(または撮影した枚数がメインメモリ34ないしフラッシュメモリ36の容量で決まる上限に達するまで)継続される。すなわち、全押し操作が解除される(または枚数が上限に達すると)と、CPU24は、まず連写撮影停止命令を、次にフラッシュ発光停止命令を発する。そして、連写撮影およびフラッシュ発光が停止された後、メインメモリ34に蓄積されている連写画像をフラッシュメモリ36に記録する。なお、こうして連写撮影が終了した後に一連の静止画像を一括記録する代わりに、1枚の静止画像が撮像される度に当該静止画像をメインメモリ34経由でフラッシュメモリ36に逐一記録するようにしてもよい。
次に、連写撮影の詳細について、上述したような特徴を中心に説明する。図2には、携帯端末10において、被写体までの距離が近くかつ顔が検出されている状態で選択的に採用されるフラッシュ発光波形の例が示されている。図2(A)は赤目防止機能がオンでかつ周りが暗い場合に採用される波形を、図2(B)は赤目防止機能がオンでかつ周りが明るい場合に採用される波形を、図2(C)は赤目防止機能がオフでかつ周りが暗い場合に採用される波形を、図2(D)は赤目防止機能がオフでかつ周りが明るい場合に採用される波形をそれぞれ示す。一方、図3には、携帯端末10において、被写体までの距離が遠いかまたは顔が検出されていない状態で採用されるフラッシュ発光波形の一例が示されている。
まず、図2(A)〜図2(D)および図3に共通して、横軸は時間(T)を、縦軸は輝度(L)をそれぞれ示し、横軸には連写撮影のタイミングT1〜T4(いずれも固定値)が1秒(=1000ms)間隔で配置されている。つまり、この例では、撮影枚数は4枚、撮影周期は1秒(=1000ms)であり、タイミングT1〜T4を含む3400ms間を“連写撮影中”と定義する。したがって、タイミングT1の200ms前までは“撮影前”となり、タイミングT4の200msより後は“撮影後”となる。
一方、横軸に示された輝度L1,L2およびL3は、赤目防止用輝度,静止画撮影用輝度およびちらつき防止用輝度をそれぞれ示している。輝度L2は状況によらず固定値(電流に換算すると、たとえば200mA)であるが、輝度L3は周りの明るさによって変化する。輝度L1は、赤目防止機能がオンの場合は標準輝度(先述した照射用光の輝度:たとえば120mA)、オフの場合は0となる。比較のため、標準輝度を太い点線で示している。
次に、図2(A)を参照して、波形W1aでは、タイミングT1の1000ms前のタイミングT0を起点とする800ms間のプリ発光期間の後、タイミングT1の200ms前を起点とする400ms間の本発光期間およびタイミングT1の200ms後を起点とする600ms間の残存発光期間が続き、以降、タイミングT2〜T4に沿って同様の本発光期間および残存発光期間が繰り返される。
プリ発光期間の輝度は赤目防止用輝度L1(=標準輝度)であり、本発光期間の輝度は静止画撮影用輝度L2である。そして、残存発光期間(600ms間)の輝度は、当初静止画撮影用輝度L2であり、最初の200ms間でちらつき防止用輝度L3(=標準輝度)まで直線的に低下し、次の200ms間ではちらつき防止用輝度L3に維持され、その次の200ms間で静止画撮影用輝度L2まで直線的に上昇する。したがって、残存発光期間の輝度(電流換算値:以下同様)は、200ms毎に200mA→120mA→200mAのように変化する。
次に、図2(B)を参照して、この波形W1bは、図2(A)の波形W1aにおいて、赤目防止用輝度L1の値を標準輝度よりも低い値(たとえば80mA)に変更したものである。したがって、残存発光期間の輝度は、200ms毎に200mA→80mA→200mAのように変化する。
次に、図2(C)を参照して、この波形W1cは、図2(A)の波形W1aにおいて、赤目防止用輝度L1の値を0に変更したものである。
次に、図2(D)を参照して、この波形W1dは、図2(C)の波形W1cにおいて、赤目防止用輝度L1の値を標準輝度よりも低い値(たとえば80mA)に変更したものである。
次に、図3を参照して、この波形W2は、図2(A)の波形W1aにおいて、赤目防止用輝度L1の値を0に変更し、かつ残存発光期間の輝度を0とした(言い換えるとプリ発光および残存発光の各期間を無発光期間に置き換えた)ものである。したがって、輝度は、本発光期間の直前(200ms前)に0から静止画撮影用輝度まで瞬間的に上昇し、本発光期間の直後(200ms後)に静止画撮影用輝度から0まで瞬間的に低下し、そして無発光期間(600ms間)を挟んで同様の変化を繰り返す。
なお、上で挙げた各波形の形状ないし構造は一例であり、適宜変更されてよい。準備する波形の数も5とは限らず、4以下でも6以上でもよい。撮影周期,各発光期間の長さおよび輝度などに関する数値も一例であり、適宜変更されてよい。
そして、各波形は、時間(T)および輝度(L)を変数とする関数データの態様で記憶されても、各時間(期間)における輝度を示す数値データの態様で記憶されてもよい。関数データの場合、各波形を近似的に示すデータでもよい。また、輝度は、LEDを駆動する電流値(および/または電圧値)で表現されてもよい。これらの点は、後述する変形例でも同様である。
以上のようなフラッシュ発光しながらの連写撮影動作は、たとえば、メインメモリ34に記憶された図4に示すようなプログラム,パラメータおよびDBなどに基づいて、CPU24が図51および図6に示すようなフローに従う処理を実行することにより実現される。
詳しくは、図4を参照して、メインメモリ34はプログラム領域50,パラメータ領域60およびDB領域70を含み、プログラム領域50には連写撮影制御プログラム52,AFログラム54,AEプログラム56および顔検出プログラム58などが記憶される。パラメータ領域60には連写撮影情報62,AF情報64,AE情報66,顔情報68などが記憶され、DB領域70には波形DB72および顔DB74などが記憶される。
なお、図示は省略するが、プログラム領域50には、上述した通話モードや通常撮影モードを実現するための制御プログラムも記憶される。
連写撮影制御プログラム52は、CPU24を介して各種ハードウェア(12〜20,26〜40)を制御して、図5および図6のフローに従う処理を実行する、メインのソフトウェアプログラムである。AF,AEおよび顔検出の各プログラム54〜58は、このような処理を実行する過程で連写撮影制御プログラム52によって利用される、サブのソフトウェアプログラムである。
AFプログラム54は、撮像装置38を通して入力された画像データに対してAF処理を施すことによって、撮影対象(被写体)までの距離を検出し、最適フォーカス値を算出して、フォーカス調整を行う。AEプログラム56は、撮像装置38を通して入力された画像データに対してAE処理を施すことによって、周りの明るさを検出し、最適露光時間を算出して、露光調整を行う。顔検出プログラム58は、撮像装置38を通して入力された画像データに対して、DB領域70に記憶された顔DB74に基づく顔検出処理を施すことによって、人物の顔を検出し、各顔の位置などを算出する。
連写撮影情報62には、連写撮影に関しメニュー画面などを通じて設定された各種の情報、具体的には撮影周期,上限枚数,赤目防止機能のオン/オフ状態などを示す情報が記憶される。AF情報64には、AFプログラム54によって検出ないし算出された各種の情報、具体的には被写体までの距離,最適フォーカス値などを示す情報が記憶される。AE情報66には、AEプログラム54によって検出ないし算出された各種の情報、具体的には周りの明るさ,最適露光時間などを示す情報が記憶される。顔情報68には、顔検出プログラム58によって検出ないし算出された各種の情報、具体的には顔の数,各顔の位置などを示す情報が記憶される。
波形DBには、連写撮影制御プログラム52によって選択的に採用される各種のフラッシュ発光波形、具体的には図2(A)〜図2(D)および図3に示した波形W1a〜W1dおよびW2を示すデータが記憶される。顔DB74には、顔検出プログラム58が被写体の顔を検出する際に参照する、各種の顔の特徴を示すデータが記憶される。
また、メインメモリ34には、スルー画像データを一時記憶するためのスルー画像領域80、および連写画像データを蓄積するための連写画像領域82も形成される。
図示しないメニュー画面等を通して「連写撮影モード」が選択されると、プログラム領域50に記憶された連写撮影制御プログラム52,AFログラム54,AEプログラム56および顔検出プログラム58が起動され、CPU24は、図4および図5に示すような連写撮影制御処理を実行する。なお、連写撮影に関連するパラメータ(撮影周期,上限枚数,赤目防止能のオン/オフ状態など)は、メニュー画面などを通じて事前に設定されているものとする。
まず図4を参照して、CPU24は、最初、ステップS1でスルー撮影開始命令を発する。応じて撮像装置38は、スルー撮影を開始する。撮像装置38では、レンズ38aを経てイメージセンサ38bの受光面に結像した光学像は、光電変換を施され、これによって、光学像を表す電荷が生成される。スルー撮影では、イメージセンサ38bで生成された電荷の一部が、たとえば1/60秒毎に、低解像度の生画像信号として読み出される。読み出された生画像信号は、カメラ処理回路38cによってA/D変換,色分離,YUV変換などの一連の画像処理を施されることで、YUV形式の画像データに変換される。
こうして、撮像装置38からは、スルー表示用の低解像度の画像データが、たとえば60fpsのフレームレートで出力される。出力された画像データは、スルー画像領域80に書き込まれる。ドライバ28は、スルー画像領域80に一時記憶されたスルー画像データ69をたとえば60fpsのレートで繰り返し読み出し、これに基づくスルー画像をディスプレイ30に表示する。
次に、ステップS3で、半押し操作が行われたか否かを判別し、NOであれば、たとえば1/60秒の待機期間を挟んで同様の判別を繰り返す。ステップS3の判別結果がNOからYESに変化すると、ステップS5〜S9でAF,AEおよび顔検出の各処理を実行する。そして、各処理での検出ないし算出結果を示す情報が、AF情報64,AE情報66および顔情報68としてパラメータ領域60に書き込まれる。
次に、ステップS11で、AF情報64を参照して近距離か否かを判別する。具体的には、AF情報64に記憶された被写体までの距離を閾値と比較して、距離が閾値を越えていればNO(近距離ではない)、越えていなければYES(近距離である)と判別する。ステップS11でNOであればステップS29に、YESであればステップS13に進む。
ステップS13では、顔情報68を参照して顔が検出されたか否かを判別する。具体的には、顔情報68に記憶された顔の数が1以上であればYES、0であればNOと判別する。ステップS13でNOであればステップS29に、YESであればステップS15に進む。
ステップS15では、連写撮影情報62を参照して赤目防止機能がオン状態であるか否かを判別し、ここでYESであればステップS17に、NOであればステップS23に進む。
ステップS17では、AE情報66を参照して周りが暗いか否かを判別する。具体的には、AE情報66に記憶された周りの明るさを閾値と比較して、明るさが閾値を下回っていればYES(暗い)、下回っていなければNO(明るい)と判別する。ステップS17でYESであればステップS19に、NOであればステップS21に進む。
ステップS23では、上記ステップS17の場合と同様に、AE情報66を参照して周りが暗いか否かを判別し、YESであればステップS25に、NOであればステップS27に進む。
ステップS19,S21,S25,S27およびS29では、波形W1a,W1b,W1c,W1dおよびW2をそれぞれ選択する。選択結果は、たとえばCPU24の内蔵レジスタ(図示せず)に保持される。その後、CPU24の処理は、ステップS31およびS33の操作待ちループに入る。
図6を参照して、ステップS31では全押し操作が行われたか否かを、ステップS33では解除操作が行われたか否かを判別し、いずれの判別結果もNOであれば、たとえば1/60秒の待機期間を挟んで同様の判別を繰り返す。ステップS33の判別結果がYESであれば、ステップS3に戻って上記と同様の処理を繰り返す。これにより、現時点のAF情報64,AE情報66および顔情報68は無効となり、連写撮影をやり直すことができる。
ステップS31の判別結果がYESであれば、ステップS35およびS36でフラッシュ発光開始命令および連写撮影開始命令を順次発する。応じて、フラッシュ発光器40はフラッシュ発光を、撮像装置38は連写撮影を、CPU24の制御下で開始する。連写撮影のタイミング(T1,T2,…)は、連写撮影情報62に記憶された撮影周期に従うように制御され、フラッシュ発光の波形は、連写撮影のタイミング(T1,T2,…)と同期し、かつステップS19,S21,S25,S27およびS29のいずれかでの選択結果に従って変化するように制御される。こうして撮影された一連の静止画像(連写画像)は、メインメモリ34の連写画像領域82に蓄積されていく。命令発行の後、CPU24の処理は、ステップS37およびS39のイベント待ちループに入る。
ステップS37では解除操作が行われたか否かを、ステップS39では撮影枚数が上限枚数に達したか否かを判別し、いずれの判別結果もNOであれば、たとえば1/60秒の待機期間を挟んで同様の判別を繰り返す。ステップS37およびS39のいずれかの判別結果がYESであれば、ステップS40およびS41で連写撮影停止命令およびフラッシュ発光停止命令を順次発する。応じて、フラッシュ発光器40によるフラッシュ発光さらには撮像装置38による連写撮影が停止される。そして、ステップS43で、上述のように連写画像領域82に蓄積された連写画像をフラッシュメモリ36に記録する。その後、ステップS1に戻って上記と同様の処理を繰り返す。これにより、スルー撮影が再開され、次の連写撮影を行うことができる。
以上から明らかなように、この実施例の携帯端末10は、静止画像を繰り返し撮像する撮像装置38とLED40aおよびそのドライバ40bとを用いてフラッシュ発光しながら連写撮影を行う。
メインメモリ34の波形DB72には、連写撮影用のフラッシュ発光波形として、4種類の第1波形W1a〜W1d(図2(A)〜図2(D)参照)および1種類の第2波形W2(図3参照)が登録される。第1波形W1a〜W1dは、静止画撮影用輝度L2を示す本発光期間および静止画撮影用輝度よりも低いちらつき防止用輝度L3を示す残存発光期間を交互に含み、残存発光期間では輝度が静止画撮影用輝度L2からちらつき防止用輝度L3まで徐々に低下した後にちらつき防止用輝度L3から静止画撮影用輝度L2まで徐々に上昇する。第2波形は、静止画撮影用輝度L2を示す本発光期間および無発光期間を交互に含む。
撮像装置38はAF,AEおよび顔検出の各機能を有し、CPU24は、まずAFおよび顔検出の結果に基づいて、撮影対象までの距離が遠いかまたは顔が検出されない場合には波形W2を選択し、撮影対象までの距離が近くかつ顔が検出された場合には、次に赤目防止のオン/オフ状態およびAEの結果に基づいて、第1波形W1a〜W1dのいずれか1つを選択する。
具体的には、赤目防止オンで周りが暗い場合には第1波形W1a(図2(A))が選択され、赤目防止オンで周りが明るい場合には第1波形W1b(図2(B))が選択され、赤目防止オフで周りが明るい場合には第1波形W1c(図2(C))が選択され、そして赤目防止オフで周りが明るい場合には第1波形W1d(図2(D))が選択される。第1波形W1bは、第1波形W1aにおいて、周りが明るい分残存発光期間の輝度を低くしたものである。第1波形W1cは、第1波形W1aにおいて、赤目防止オフの設定に従いプリ発光期間を無発光期間で置き換えたものである。第1波形W1dは、第1波形W1cにおいて、周りが明るい分残存発光期間の輝度を低くしたもの(第1発光波形において、残存発光期間の輝度を低くし、かつプリ発光期間を無発光期間で置き換えたもの)である。なお、残存発光期間の輝度は、実施例では、周りの明るさと単一の閾値との比較に基づいて2段階に変化しているが、他の実施例では、複数の閾値との比較に基づいて3段階以上に変化させてもよいし、適宜な関数に基づいて連続的に変化させてもよい。
その後、CPU24は、撮像装置38の撮像タイミングT1,T2,…に従ってドライバ40bを制御して、先に選択した波形に基づく輝度でLED40aを発光させる(S11〜S29,S35)。これにより、フラッシュ発光しながら連写撮影を行う場合のちらつき防止と、消費電力の抑制とを両立させることができる。
なお、被写体までの距離が近くかつ顔が検出されている状態で選択的に採用されるフラッシュ発光波形は、図2(A)〜図2(D)に示した波形W1a〜W1dに限らない。
具体的には、波形W1a〜W1dは、矩形と台形を組み合わせたような形をしているが、変形例では、図7(A)に示すように単純な矩形の組み合わせであってもよい。この波形W1pは、図3に示した波形W2において、初回の本発光期間を800ms間だけ撮影前に遡って延長し、無発光期間をちらつき防止用輝度L3(=標準輝度)の残存発光期間で置き換えたものである。したがって、初回の本発光期間はプリ発光期間相当の800msを含む1200ms間となり、2回目以降の各本発光期間は400ms間となる。
こうして、初回の本発光期間を2回目以降の各本発光期間よりも長くしたことで、赤目防止効果が得られる。また、本発光期間の合間に配置された残存発光期間によって、ちらつきも低減される。ただし、この場合、本発光期間と残存発光期間の境界で輝度が瞬間的に変化するので、ちらつきの低減効果は、たとえば図2(A)の波形W1aのように輝度が徐々に変化する場合と比べると、幾分小さい。
また、赤目防止が不要な場合には、図7(B)に示すような、さらに単純な波形を用いてもよい。図7(B)の波形W1qは、図7(A)の波形W1pにおいて、初回の本発光期間からプリ発光期間相当の800msを除去したものである。この場合も、波形W1pと同程度のちらつき防止効果は得られる。
または、図7(C)に示すような三角波形を用いても、赤目防止効果およびちらつき防止効果が得られる。図7(C)の波形では、タイミングT0〜T1の1000ms間をプリ発光期間とし、タイミングT1〜T2の1000ms間を残存発光期間とし、そしてプリ発光期間と残存発光期間の境界つまりタイミングT1の瞬間(露光期間相当:たとえば数ms〜数十ms)を本発光期間として、まずプリ発光期間で輝度が0から静止画撮影用輝度L2まで直線的に上昇する。その後、タイミングT1の本発光期間を経た1回目の残存発光期間では、前半の500ms間に輝度が静止画撮影用輝度L2からちらつき防止用輝度L3(=標準輝度)まで直線的に低下した後、後半の500ms間に輝度がちらつき防止用輝度L3から静止画撮影用輝度L2まで直線的に上昇する。以降、タイミングT2,T3の本発光期間を経た2回目,3回目の残存発光期間でも、1回目と同様の輝度変化が繰り返される。
なお、上述した各波形W1a〜W1d,W1p〜W1rでは、プリ発光期間や残存発光期間での輝度変化は直線的であるが、曲線的または段階的に変化してもよい。プリ発光期間および残存発光期間での輝度変化が曲線的である波形の一例を図8(A)に、変化が段階的である波形の一例を図8(A)に示す。図8(A)の波形W1sは図7(C)の波形W1rに対応し、図8(B)の波形W1tもまた波形W1rに対応しており、いずれの波形も同程度の赤目防止効果およびちらつき防止効果が期待できる。
特に、図8(A)の波形W1sでは、各期間の曲線がどれも下に凸なので、輝度Lを時間Tで積分した面積が図7(C)の波形W1rの場合よりも小さくなり、消費電力の削減効果も期待できる。波形W1sにおいて、一部が上に凸の曲線や直線であってもよいし、段階的に変化する波形W1tにおいても、変化のステップを細かくして波形W1sのような曲線に近づければ、同様の効果が期待できる。言い換えると、直線や曲線を組み合わせた適宜な波形を構成することによって、消費電力削減効果と赤目防止効果やちらつき防止効果との間でバランスをとることができる。
ところで、残存発光によるちらつき防止効果は、上記の実施例のように連写撮影を行う場合に特に顕著となるが、単写撮影時にも得られる。単写撮影用のフラッシュ発光波形の例を、図9(A)〜図9(C)に示す。図9(A)の波形は、図2(A)の波形W1aのうち、プリ発光期間から1回目の本発光および残存発光期間までの部分に対応している。この場合の残存発光期間は500ms間であり、この間に輝度が静止画撮影用輝度L2から0まで直線的に低下している。これによって、赤目防止効果とちらつき防止効果が得られる。
図9(B)の波形は、図7(B)の波形W1qのうち、1回目の本発光および残存発光期間の部分に対応している。これによって、ちらつき防止効果が得られる。図9(C)の波形は、図7(C)の波形W1rのうち、プリ発光期間から1回目の本発光および残存発光期間までの部分に対応している。この場合の残存発光期間は1000ms間であり、この間に輝度が静止画撮影用輝度L2から0まで直線的に低下している。これによって、赤目防止効果とちらつき防止効果が得られる。
また、各期間での輝度を制御するのに、パルス幅変調(PWM)の手法を用いることも可能である。一例を図10に示す。図10の波形では、プリ発光期間におけるパルス幅が本発光期間におけるそれの0.6倍に制御され、その結果、プリ発光期間の実効輝度は、本発光期間のそれの0.6倍となっている。残存発光期間の実効輝度は、パルス幅が段階的に小さくなるように制御される結果、徐々に低下している。これにより、図9(A)の波形を用いた場合と同等の輝度制御が可能となる。
このように、PWMの手法を用いれば、LED40aのスイッチング(オン/オフ)を行うだけで、各期間の実効輝度ないし輝度比を制御できるようになる。なお、図10の例では、説明上、パルス幅を大きくしているが、これを十分小さくしてスイッチングを高速に行えば、ちらつきを感じることもない。
さらには、以下のような変形例も可能である。
(1)波形DB72には、図9(A)〜図9(C)のような単写用波形を登録しておき、連写撮影時に単写用波形から連写用波形を作成してもよい。たとえば、図9(B)の波形において、本発光および残存発光期間の後に、これと同じ波形を順次連結して行くことで、図7(B)のような連写用波形が得られる。また、図9(C)の波形において、本発光および残存発光期間の後に、これと同じ波形を部分的にオーバーラップさせながら順次連結して行くことで、図7(C)のような連写用波形が得られる。また、図9(A)の波形において、本発光および残存発光期間の後に、これと同じ波形およびその反転波形を部分的にオーバーラップさせながら順次連結して行き、そして各残存発光期間での最低輝度を標準輝度で足切りすることで、図7(A)のような連写用波形が得られる。
(2)撮像装置38がAF機能を有していない場合には、図5および図6のフローからステップS5およびS11を省略してよい。同様に、撮像装置38が顔検出機能を有していない場合には、ステップS9およびS13を省略してよい。
(3)プリ発光は、半押しのタイミングで開始してもよい。ただし、この場合、プリ発光期間の長さが不定となるので、上記の実施例の方が消費電力の管理が容易な点で好ましい。または、連写モードを選択したとき、ライト設定(照射用光を利用するか否かの設定)がオン状態であれば、その時点で(つまりスルー撮影開始と同時に)プリ発光を開始するようにしてもよい。周囲の明るさに応じてライトを自動的にオン/オフするオートライト設定がオン状態の場合には、連写モードを選択した後に、周囲の明るさが所定値を下回ったタイミングでプリ発光を開始するようにしてもよい。
(4)周りの明るさが所定の明るさを超えない場合用の第1波形(W1a,W1c:図2(A),図2(C)参照)と超える場合用の第1波形(W1b,W1d:図2(B),図2(D)参照)との両方をメモリに記憶しておく代わりに、メモリにはどちらか一方の波形だけを記憶しておき、必要に応じて他方の波形をメモリ内の波形から作成してもよい。
以上では、携帯端末10について説明したが、この発明は、撮影装置と、フラッシュ発光器と、CPU(プロセッサ,コンピュータ)とを備える各種の撮影機器、たとえばディジタルカメラ,携帯電話機,携帯情報端末(PDA),スマートフォンなどに適用できる。撮影装置やフラッシュ発光器は、撮影機器の本体とは別体(外付け)であってもよい。たとえば、フラッシュ発光器付きのWebカメラをネットワーク経由でパソコンや携帯端末から遠隔操作することも可能である。この場合、パソコンや携帯端末が撮影機器の本体で、Webカメラは、ネットワークを介してパソコンや携帯端末と接続されることにより撮影機器の一部となる(このような形態の撮影機器は「撮影システム」と呼んでもよい)。