JP5115568B2 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JP5115568B2
JP5115568B2 JP2010038233A JP2010038233A JP5115568B2 JP 5115568 B2 JP5115568 B2 JP 5115568B2 JP 2010038233 A JP2010038233 A JP 2010038233A JP 2010038233 A JP2010038233 A JP 2010038233A JP 5115568 B2 JP5115568 B2 JP 5115568B2
Authority
JP
Japan
Prior art keywords
image
imaging
images
unit
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010038233A
Other languages
English (en)
Other versions
JP2011124967A (ja
Inventor
和久 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010038233A priority Critical patent/JP5115568B2/ja
Priority to CN2010106238316A priority patent/CN102065224B/zh
Priority to KR1020100111643A priority patent/KR101357987B1/ko
Priority to TW099138596A priority patent/TWI448151B/zh
Priority to US12/943,193 priority patent/US8493458B2/en
Publication of JP2011124967A publication Critical patent/JP2011124967A/ja
Priority to HK11107407.9A priority patent/HK1153885A1/xx
Application granted granted Critical
Publication of JP5115568B2 publication Critical patent/JP5115568B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
従来、夜景と人物被写体等の主要被写体とをシーンの撮影に際して、夜景と主要被写体との双方が際立った画像を記録できるよう様々な技術が考案されている。例えば、特許文献1に開示されている技術では、フラッシュ発光を伴うフラッシュオン撮影と、フラッシュを伴わないフラッシュオフ撮影とを連続して行う。このとき、フラッシュオフ撮影時には、夜景が適正に露光されるように、撮影感度を高く設定する。
これにより、フラッシュオフ撮影で得られた画像(非フラッシュ画像)は、主要被写体の明るさは不適正であるにしても、夜景の明るさは適正な画像となる。また、フラッシュ撮影で得られた画像(フラッシュ画像)は、夜景の明るさは不適正であるにしても、主要被写体の明るさは適正な画像となる。したがって、これら非フラッシュ画像とフラッシュ画像とを合成することにより、夜景と主要被写体との双方の明るさが適正で、双方が際立った画像を記録できるとするものである。
特開2005−086488号公報
前述の技術にあっては、フラッシュオフ撮影時には、夜景が適正に露光されるように、撮影感度を高く設定する。このため、フラッシュオフ撮影時の画像、つまり夜景と主要被写体とからなる非フラッシュ画像上には熱ノイズが発生してしまうものの、主要被写体上に発生した熱ノイズに関しては、フラッシュ画像との合成により補正され消去される。
しかしながら、主要被写体領域以外に発生した熱ノイズに関しては補正されることが無いため、熱ノイズが残存した低品位の画像が得られることには変わりないという問題があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、比較的暗い撮影環境であっても背景と主要被写体との双方が際立った高品位の画像を得ることができるようにすることを目的とするものである。
前記課題を解決するために請求項1記載の発明は、撮像手段と、発光手段と、前記撮像手段に対し、画像を複数撮像するよう制御する第1の撮像制御手段と、この第1の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段と、前記第1の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第2の撮像制御手段と、この第2の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段と、この選択手段によって選択された画像と前記第1の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段と、この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段と、前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第1の撮像制御手段による撮像タイミングに最も近いタイミングで前記第2の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段と、を備えることを特徴とする。
また、請求項記載の発明は、請求項1に記載の発明において、前記加算合成手段によって得られた画像と前記第2の撮像制御手段によって撮像された画像とのホワイトバランスを一致させるよう調整するホワイトバランス調整手段を更に備えたことを特徴とする。
また、請求項3記載の発明は、請求項1又は2に記載の発明において、前記合成手段による合成に先立ち、前記加算合成手段によって加算合成された画像にγ補正を施す補正処理手段を更に備えたことを特徴とする。
また、請求項記載の発明は、請求項1、2又は3に記載の発明において、前記合成手段による合成に先立ち、該合成手段によって合成されるべき、前記加算合成手段によって加算合成された画像又は前記第2の撮像手段によって撮像された画像の少なくとも一方の輝度を調整する輝度調整手段を更に備えたことを特徴とする。
また、請求項記載の発明は、請求項記載の発明において、前記加算合成手段によって加算合成された画像又は前記第2の撮像手段によって撮像された画像に含まれる顔画像を検出する顔画像検出手段を更に備え、前記輝度調整手段は、前記顔画像検出手段により検出された顔画像を含む肌色領域に基づいて、輝度の合成度合いを調整することを特徴とする。
また、請求項記載の発明は、撮像手段に対し、画像を複数撮像するよう制御する第1の撮像制御ステップと、この第1の撮像制御ステップにて得られた複数の画像について、位置合わせを行い加算合成する加算合成ステップと、前記第1の撮像制御ステップによる撮像の直前若しくは直後に、発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第2の撮像制御ステップと、この第2の撮像制御ステップにて撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択ステップと、この選択ステップにて選択された画像と前記第1の撮像制御ステップにより得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断ステップと、この判断ステップにて略一致すると判断した場合には、前記加算合成ステップにて加算合成された画像と前記選択ステップにて選択された画像とを合成する合成ステップと、前記判断ステップにて略一致しないと判断した場合には、前記加算合成ステップにて加算合成された画像と前記第1の撮像制御ステップの撮像タイミングに最も近いタイミングで前記第2の撮像制御ステップにて撮像された画像とを合成するよう制御する合成制御ステップと、を含むことを特徴とする。
また、請求項記載の発明は、撮像手段と発光手段とを備える撮像装置が有するコンピュータを、前記撮像手段に対し、画像を複数撮像するよう制御する第1の撮像制御手段、この第1の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段、前記第1の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第2の撮像制御手段、この第2の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段、この選択手段によって選択された画像と前記第1の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段、この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段、前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第1の撮像制御手段による撮像タイミングに最も近いタイミングで前記第2の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段、として機能させることを特徴とする。
本発明によれば、夜景と主要被写体との双方が際立った画像であり、かつ、熱ノイズのない高品位の画像が得ることができる。
本発明の各実施の形態に共通するデジタルカメラの回路ブロック図である。 本発明の第1の実施の形態における処理手順を示すフローチャートである。 同実施の形態における撮影のタイミングを示す図である。 デモザイク時のトーンカーブ設定を示す図である。 画像位置合わせ処理の処理手順を示すフローチャートである。 加算平均画像のヒストグラムを示す図である。 γ値算出処理の処理手順を示すフローチャートである。 加算合成処理の処理手順を示すフローチャートである。 本発明の第2の実施の形態における処理手順を示すフローチャートである。 画像合成処理の処理手順を示すフローチャートである。 本発明の第2の実施の形態における画像合成処理の処理手順を示すフローチャートである。 図11のフローチャートのステップG1の詳細を示すフローチャートである。 UV重み付けα値の特性を示す図である。 顔枠の変化を示す図である。
以下、本発明の一実施の形態を図に従って説明する。図1は、本発明の各実施の形態に共通するデジタルカメラ100の電気的構成を示す回路ブロック図である。このデジタルカメラ100は、AE(Auto Exposure)、AWB(Auto White Balance)、AF(Auto Focus)等の一般的な機能を有するものである。すなわち、レンズブロック1には、ズームレンズや図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。
レンズブロック1が有する光軸上にはメカシャッタ12とCMOS(Complementary Metal Oxide Semiconductor)撮像素子で構成された撮像部2とが配置されている。撮像部2からの画像を表すアナログ信号は、A/D変換部3によりデジタル信号に変換されてDRAM(Dynamic Random Access Memory)で構成されたワークメモリ4に格納される。
カスタムLSI7(Large Scale Integration)は、DRAM4に格納された画像信号に対しペデスタルクランプ等の処理を施し、それを輝度(Y)信号及び色差(UV)信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。撮影モードでは、ワークメモリ4に1フレーム分のデータ(画像データ)が蓄積される毎にビデオ信号に変換されて、液晶表示コントローラ5に送られる。液晶表示コントローラ5は、ワークメモリ4から送られてきたビデオ信号に基づき、液晶表示部8を駆動する。これにより、液晶表示部8にはライブビューで逐次撮像されている画像が表示される。また、撮影モードにおいては、シャッタボタン9の操作をトリガとしてワークメモリ4に画像データを一時記憶し、この一時記憶された画像データは、カスタムLSI7により圧縮されて最終的には所定のフォーマットの静止画ファイルとして外部記憶媒体11に記録される。
カスタムLSI7は、CPU(Central Processing Unit)コア7a、フラッシュ制御部7b、受光制御部7c、デモザイク部7d、特徴量演算部7e、SRAM(Static Random Access Memory)7f、ブロックマッチング部7g、画像変形合成加算部7h、プログラムROM7i、及びメカシャッタ制御部7jを有している。
CPUコア7aは、プログラムROM7iに記憶されているプログラムに従って、ワークメモリ4をワークエリアとして使用しつつ各処理を実行することにより、カスタムLSI7を構成する前記各部を制御する。また、フラッシュ制御部7bは、CPUコア7aからの指示に従って、フラッシュ発光部6の発光タイミングを制御する。受光制御部7cは、CMOS撮像素子2とA/D変換部3との動作タイミングを制御し、電子シャッタとして機能させる。
デモザイク部7dは、RAW画像(非圧縮画像)のデモザイク処理を行う。特徴量演算部7eは、撮影された画像から顔画像を検出する際や、検出した顔画像において瞬きの検出、詳細には眼が開いているか否かを判断する際に用いられる。ブロックマッチング部7gは、SRAM7fをワークエリアとして用い、画像位置合わせを行う際に必要となる画像同士のブロックマッチング処理を行う。画像変形合成加算部7hは、フラッシュ発光部6の発光を伴わずに撮影された画像である非フラッシュ画像と、フラッシュ発光部6の発光を伴って撮影された画像であるフラッシュ画像の合成加算処理等を行う。メカシャッタ制御部7jは、メカシャッタ12を制御するものである。
また、カスタムLSI7のCPUコア7aには、シャッタボタン9、モードボタン10及び外部記憶媒体11が接続されている。シャッタボタン9は、1段目の操作ストローク(半押し)と、2段目の操作ストローク(全押し)との2段階の操作ストロークを有する釦式スイッチからなる。モードボタン10は、ユーザの操作に応じて、撮影モード、再生モードの切り替え指示信号を送出する。また、撮影モードにおける「連写合成による夜景と人物モード」等の詳細な撮影モードの指示信号も出力する。
外部記憶媒体11は、SDカード等の着脱自在な記録媒体である。外部記憶媒体11には、通常の撮影モード、あるいは「連写合成による夜景と人物モード」等の撮影モードで撮影された画像の画像データが記憶される。また、再生時には、外部記憶媒体11から読み出された画像データがCPUコア7aを介して、液晶表示コントローラ5に供給され、液晶表示部8に再生画像が表示される。
なお、プログラムROM7iには撮影時の適正な露出値である適正露出に対応する絞り値とシャッタスピード(シャッタ時間、露光時間)との組み合わせを示すプログラム線図を構成するプログラムAEデータも格納されている。
(第1の実施の形態)
次に、本発明の第1の本実施の形態の動作について、図2のフローチャートに従って説明する。ユーザがモードボタン10を操作して、撮影モードにおける「夜景と人物モード」を設定すると、カスタムLSI7のCPUコア7aは、プログラムROM7iに記憶されているプログラムに従って処理を開始する。
まず、CPUコア7aは、液晶表示コントローラ5を制御して、液晶表示部8に逐次撮像されている画像をライブビューで表示させる(ステップA1)。次に、CPUコア7aは、シャッタボタン9が半押しされたか否かを判断し(ステップA2)、シャッタボタン9が半押しされたならば、測光処理、及び、合焦処理を実行し、適正露出値、及び、フォーカス位置を取得する(ステップA3)。したがって、このステップA3の測光処理により、絞り値とシャッタ速度(後述のシャッタ時間、及び、露光時間と同義)とからなる適正露出値が演算される。
そして、ユーザが撮影を行うべく、シャッタボタン9を全押しするとステップA4の判断がYESとなる。したがって、CPUコア7aはステップA4からステップA5に処理を進めて、フラッシュ制御部7bに指示し、フラッシュ発光部6を予備発光させる(ステップA5)。この予備発光は、フラッシュ発光部6の発光量を調光する目的、及び主要被写体となる人物の眼について赤目を防止する目的で行われるものであり、後述するステップA7でのフラッシュ発光を伴う連写の、例えば少なくとも0.8秒前までに実行する。
引き続き、適正露出値に対して、シャッタ時間(露光時間)を2段(露光時間に換算して適正露出値に対応する露光時間の1/4)下げた撮影条件で、先ず、フラッシュ発光部6による発光を行うこと無しにローリングシャッタ方式で8回連続的に撮影する(ステップA6)。
引き続き、フラッシュ制御部7bの駆動によりフラッシュ発光部6を発光させて、メカシャッタ方式で3回連続的に撮影する(ステップA7)。この時のメカシャッタ12の間隔は、被写体人物が瞬いた状態で撮影される瞬き画像の撮影を回避するために、例えば0.1秒以上開ける。
また、前記ステップA7での撮影の際の撮影条件は、前記ステップA6での撮影よりもISO感度を低くして撮影する。また、メカシャッタ制御部7jは、遠方の背景はできるだけ写らないようにするため、メカシャッタ12がフラッシュ発光部6が発光しているタイミングで開状態となるように制御する。
したがって、前記ステップA6とこのステップA7での処理とにより、図3に示すように、ワークメモリ4には8枚のRAW画像と3枚のRAW画像との計11枚のRAW画像が格納される。
ステップA8では、これら11枚のRAW画像についてホワイトバランスを計測する。そして、ステップA8で計測されたホワイトバランスに基づいて、デモザイク部7dによりRAW画像11枚全てについてデモザイクを行う(ステップA9)。このとき、図4(a)に示すように、ステップA7で撮影された3枚のRAW画像に関しては、ヒストグラムの伸長度によりγカーブを決定する。一方、図4(b)に示すように、ステップA6で撮影されたRAW画像については、白飛びの発生を抑制するために、逆γのトーンカーブを補正する。これにより、フラッシュ発光による白飛び部分の輝度を抑えることができる。
次に、特徴量演算部7eでの演算処理により、デモザイクされた11枚の画像のうちステップA7で撮影されたものに対応する3枚の画像から被写体の顔画像を検出するとともに、検出した顔画像についてブレが少ないか否か、また、(複数の被写体人物が含まれる場合には)より多くの顔画像について眼が開いているか否かを基準として、最も評価の高い画像を選択する(ステップA10)。このステップA10で選択される画像は、後述するようにステップA6で撮影されたものに対応する画像の位置合わせ処理において一致しなかった場合や、ステップA6で撮影されたものに対応する画像との加算合成に用いられる画像である。
ステップA10にて画像の選択が終了すると、この選択された画像とステップA6で撮影されたものに対応する8枚の画像との位置合わせ処理を実行する(ステップA11)。
図5は、この画像位置合わせ処理(ステップA11)の処理手順を示すフローチャートである。この画像の位置合わせに際しては、ステップA6で撮影された8枚のRAW画像と、ステップA7で撮影された3枚のRAW画像とについて先ず、サイズを変更することなくYUV画像を夫々生成し、更に、位置合わせ用にVGAサイズに縮小した縮小YUV画像を生成する(ステップB1)。画像同士の位置合わせに際しては、基準となる画像である基準画像を決定する必要がある。そこで、本実施の形態においては、最初は、ステップA6で連続的に撮影されたものに対応する縮小YUV画像については、中間点で撮影されたものに対応する縮小YUV画像を基準画像として決定する(ステップB2)。例えば、本実施の形態においては、8回連続的に撮影されることから、中間点である4回目に撮影されたものに対応する縮小YUV画像を基準画像とする。
なお、基準画像の決定方法は、このように中間時点で撮影されたものに限ることなく、先頭、若しくは、ステップA7での撮影の直前に撮影されたものであってよい。
(最終的にはフラッシュ発光時に撮影した画像と合成することを目的とすると、ステップA7での撮影の直前に撮影されたものを基準画像として選択するのが望ましい。)
次に、ステップB2で決定した基準画像と他の7枚の縮小YUV画像との位置合わせを行う(ステップB3)。この位置合わせは、ブロックマッチング及びRANSAC法により行う。このとき、前記ステップA6での連写時に手ブレが生じていると、連写された画像が合致せず、画像の位置合わせが不成功となる場合が生ずる。
したがって、続くステップB4では、ステップA6で8回連続的に撮影されたもののうち最も直近に撮影されたものの縮小YUV画像との位置合わせが成功したか否かを判断する。ここで、画像の位置合わせが成功したか否かの判断は、例えばブロックマッチングにおけるブロックが基準画像に対して90%以上一致している場合には、位置合わせが成功したものとし、これ未満である場合には、位置合わせが失敗したものとする。つまり、画像が略一致するか否かを判断するものとする。そして、ステップB4で位置合わせが成功した場合には、ステップB4からステップB7に進んで、ステップA7で撮影された画像との位置合わせに移行する。
なお、ブロックマッチングにおけるブロックが基準画像に対して完全一致(100%一致)している場合には、位置合わせが成功したものとし、これ以外である場合には、一合わせが失敗したものとするようにしてもよい。
しかし、ステップB4にて位置合わせが成功しなかった場合には、ステップB2で決定した基準画像が連続的に撮影された8枚のうち直近、又は、直近から2番目に撮影されたものに対応する縮小YUV画像であるか否かを判断する(ステップB5)。直近、又は、直近から2番目に撮影されたものに対応する縮小YUV画像でないと判断した場合には、連続的に撮影された8枚のうち直近に撮影したものに対応する縮小YUV画像を消去するとともに、残る複数の縮小YUV画像から、新しい基準画像を決定する(ステップB6)。このステップB6においても、残る複数の縮小YUV画像のうち、中間点に撮影されたものに対応する縮小YUV画像を新たな基準画像として決定する。
したがって、ステップB4の判断がNOとなって、位置合わせが不成功となる都度、ステップB6の処理で縮小YUV画像が消去され、位置合わせする縮小YUV画像の枚数が減少する。また、このような処理を繰返すと、結果的に決定される基準画像については、順次最古に撮影されたものにシフトしていく。そして、この処理の繰り返しにより、ステップB5で基準画像が直近から2番目に撮影されたものに対応する縮小YUV画像であると判断されると、縮小YUV画像の位置合わせは失敗と判断されて終了する(ステップB9)。
また、ステップB5で位置合わせが成功した場合には、この基準画像とステップA7で撮影されたもののうち最も最古に撮影されたものに対応する縮小YUV画像との位置合わせを行い(ステップB7)、画像位置合わせを終了する(ステップB8)。
このようにして、図2のステップA11で画像の位置合わせを行い、その結果として位置合わせが成功しているか否かを判断する(ステップA12)。ステップB8で位置合わせが成功している場合には、ステップA12からステップA14に進む。そして、位置合わせが成功した枚数分(3〜8枚)について、ステップB1でサイズを変更することなく生成されたYUV画像について夫々位置合わせして、加算平均する(ステップA14)。
つまり、ブロックマッチングで一致したブロック毎に加算平均することにより、位置合わせが成功したYUV画像の加算平均画像を生成する。
なお、本実施の形態においては、位置合わせが成功した枚数分を位置合わせして、加算平均するようにしたが、8枚のYUV画像を位置合わせして、加算平均するようにしてもよい。
次に、加算平均画像のγ(補正)値算出処理を実行する(ステップA15)。この処理は、背景が暗くなることを抑制するために行われる。すなわち、ステップA6で撮影されたRAW画像と、ステップA7で撮影されたRAW画像とを平均加算した場合、ステップA6で撮影されたRAW画像において画素値が大きい領域と、ステップA7で撮影されたRAW画像において画素値が大きい領域とが明確に分離されていれば、後段のヒストグラム伸長で、ゲインを戻すことが可能である。しかし、図6に示すように、両者において画素値が大きい領域が重なっている場合は、画像の重なる箇所が多いほど、ヒストグラムにおける高輝度側が伸びることになる。こうなった場合、ヒストグラム伸長の余地が少なく、ゲインを戻すことができず、特にフラッシュ光の当たらない背景が暗く修正されてしまう。このため、ステップA6で撮影されたものに対応するYUV画像についてはγ補正をかけて、背景が暗くなることを抑制する。
図7は、加算平均画像のγ値算出処理(ステップA15)の処理手順を示すフローチャートである。まず、加算平均画像とステップA7で撮影されたものに対応するYUV画像とを加算平均する(ステップC1)。次に、このステップC1で加算平均された輝度値のヒストグラムマップを作成する(ステップC2)。作成したヒストグラムマップを積分して、輝度MAX(最大)側から0.5%となるMAX側ポイント(Yhistmax)を算出する(ステップC3)。この算出されたMAX側ポイントをもとに、γ値を下記例示式により算出する。
γ=Kcoef(Yhistmax-Ythresh)
但し、
γ=非フラッシュ画像にかけるγ補正のγ値
Kcoef:調整用係数
Yhistmax:単純加算平均画像におけるヒストグラムMAX側0.5%のポイントの輝度値
Ythresh:調整用閾値
そして、図2のフローチャートにおけるステップA15に続くステップA16では、前記ステップA14で得られた加算平均画像を、ステップA15で得られたγ値で補正する。次に、このγ補正された加算平均画像と、前記ステップA10で選択された画像とを合成加算処理する(ステップA17)。
これにより、ステップA17で加算合成処理が行われる前に、ステップA16で加算平均画像のγ補正を行うことから、背景(夜景)の輝度低下を抑えることができる。
図8は、このステップA17で実行される加算合成処理の詳細を示すフローチャートである。このフローチャートにおいて、YUV成分のうち、Y(輝度)成分に関しては、ステップD2〜D7の処理を実行し、U(輝度と青色成分との差)成分、及びV(輝度と赤色成分との差)成分に関しては、ステップD1の処理のみを行う。
すなわち、前記ステップA16で得られたγ補正された加算平均画像と、前記ステップA10で選択された画像とを加算平均し、加算合成画像を生成する(ステップD2)。また、この加算平均により得られた画像にシャープネスフィルタをかけて、画像の輪郭を強調させる(ステップD3)。更に、Yの輝度値分布のヒストグラムマップを作成する(ステップD4)。但し、全画素に対して計測を行うとヒストグラムマップの作成処理時間がかかるので、例えば100画素おきに計測する。
次に、ヒストグラム伸長閾値を取得する(ステップD5)。つまり、高輝度側のヒストグラムマップ面積の0.5%のポイントとなる輝度値を求める。また、トーンカーブ画素変換テーブル、つまりステップD5で求めた高輝度側の伸長ポイントが、それぞれ255となる直線変換の変換テーブルを作成する(ステップD6)。この作成した変換テーブルに基づき、ステップD2で生成した加算合成画像のY成分を伸長する。
他方、UV成分に関しては、Softmax処理で合成する(ステップD2)。U成分について説明すると、下記例示式で計算される出力値をUのSoftmax出力値(USoftmax)とする。
Ucomp=(Uave+Umax*Coef)/(1+Coef)
但し、
Ucomp:USoftmax出力値
Uave:Uの平均値
Umax:Uの絶対値とVの絶対値の和が一番大きい画像のUの値
Coef:調整係数
また、V成分について説明すると、下記例示式で計算される出力値をVのSoftmax出力値(VSoftmax)とする。
Vcomp=(Vave+Vmax*Coef)/(1+Coef)
但し、
Vcomp:VSoftmax出力値
Vave:Vの平均値
Vmax:Uの絶対値とVの絶対値の和が一番大きい画像のVの値
Coef:調整係数
このようにして、図2のフローチャートにおけるステップA17でγ補正された加算平均画像と、ステップA10で選択された画像との合成加算処理が終了したならば、この合成加算処理された画像を最終出力画像として、外部記憶媒体11に保存する。
よって、最終出力画像として、夜景と人物被写体との双方が際立った画像であり、かつ、熱ノイズのない高品位の画像が得ることができる。
しかも、本実施の形態においては、フラッシュ発光部6を発光させて3回連続的に撮影するため、顔画像にブレが少ない評価の高い画像を選択して(ステップA10)、加算合成に使用するようにした。よって、主要被写体である人物が高品位である画像を記録することもできる。
他方、前述のように、ステップB9で画像位置合わせが終了し、位置合わせが失敗している場合には、ステップA12からステップA13に進む。そして、このステップA13では、前記ステップA10で選択されている1枚の画像のみを、例えばJPEGフォーマットで現像し、最終出力画像とする。更に、この最終画像を外部記憶媒体11に保存する。
ここで、ステップA10で選択されている画像とは、前述のように、検出した顔にブレが少なく、複数の人物被写体においてより多くの人物の眼が開いている画像である。したがって、非フラッシュ画像の位置合わせが失敗であった撮影時においても、画像中における複数の人物被写体にブレがなく、より多くの人物の眼が開いている画像を記録することができる。
なお、本実施形態においては、ステップA6の処理の後にステップA7の処理を行うようにしたがこれとは逆にしてもよい。
また、本実施の形態においては、ステップA10で選択された画像を加算合成に用いるようにした。しかし、位置合わせで画像が略一致し位置合わせが成功した場合には、前記選択された画像を用い、略一致せず位置合わせが失敗した場合には、ステップA6の処理の直後に撮影された画像を加算合成に用いるようにしてもよい。
このようにすれば、3回連続的に撮影された画像にブレがある場合であっても、8回連続的に撮影された画像との関係においては、一致性が最も高い画像を加算合成に用いることができる。
更に、本実施の形態においては、ステップA17で加算合成された最終出力画像をそのまま外部記憶媒体11に保存するようにしたが、最終出力画像のホワイトバランス3回連続的に撮影された画像のホワイトバランスと一致させるホワイトバランス調整ステップ(ホワイトバランス調整手段)を設けるようにしてもよい。これにより、被写体人物のホワイトバランスが適正な画像を最終出力画像として記録することができる。
(第2の実施の形態)
図9は、本発明の第2の実施の形態における処理手順を示すフローチャートである。本実施の形態は、第1の実施の形態とは合成の手順が異なり、γ補正とヒストグラム伸長で合成する代わりに、加算平均後、YMax値によって画素の輝度をゲイン調整する。
図9のフローチャートにおいて、ステップE1〜E14及びステップE18は、図2に示した第1の実施の形態のフローチャートにおけるステップA1〜A14及びステップE18と同一である。したがって、ステップE1〜E14及びステップE18については説明を省略する。第1の実施の形態におけるステップA15〜A17に代わって実行されるステップE15においては、画像合成処理を実行する。
図10は、画像合成処理の処理手順を示すフローチャートである。ステップE10で選択された画像と、加算平均画像とを加算平均する(ステップF1)。
また、選択された画像と加算平均画像との輝度のMAX値(最大値)で構成されるYmax画像を生成する(ステップF2)。更に、前記ステップF1で加算平均画像の輝度が、Ymax/2となるように、αマップを作成する(ステップF3)。
つまり、ステップF1で得られた加算平均画像の輝度の平均値であるYaveが、Ymax/2となるようなαを各画素に対して求める。具体的には、α=Ymax/(2*Yave)の演算を行う。この演算を行うことにより、ヒストグラム分布が必ず128以下となる(輝度が8bitの場合)。
引き続き、前記ステップF3で得られたαマップの各値を、ステップF1で得られた加算平均画像にかけることにより、加算平均画像を減衰させる(ステップF4)。更に、このステップF4での処理でヒストグラム圧縮されたものを2倍のゲインをかけて戻す(ステップF5)。
以上で、図9のフローチャートにおけるステップE15の合成処理を終了し、前記ステップF5で得られた画像を最終出力画像として外部記憶媒体11に保存する。
したがって、本実施の形態によれば、合成処理を第1の実施の形態よりも簡単なものにすることができる。
(第3の実施の形態)
図11は、本発明の第3の実施の形態において、図9のフローチャートのステップE15で実行される画像合成処理の処理手順を示すフローチャートである。
すなわち、第3の実施の形態における全般的な処理は、前述した第2の実施の形態と同様に、図9に示したフローチャートに従って実行される。但し、第2の実施の形態においては、画像合成処理(ステップE15)が図10に示したフローチャートに従って実行されたのに対し、第3の実施の形態においては、画像合成処理(ステップE15)が図11に示したフローチャートに従って実行される。
この図11のフローチャートにおいて、ステップG2〜G6は、図10に示した第2の実施の形態のフローチャートにおけるステップF1〜F5と同一である。そして、前記図10のフローチャートにおけるステップF1〜F5と同一の処理であるステップG2〜G6に、新たにステップG1が加えられている。この加えられたステップG1では、選択された画像の輝度、加算平均画像の輝度に対してUV重み付け加算処理を実行する。
図12は、UV重み付け加算処理(ステップG1)の処理手順を示すフローチャートである。先ず、各画素について、ステップE10で選択された画像の輝度Yfと、加算平均画像の輝度Ynfにより、UV合成用のαマップを作成する(ステップH1)。UV重み付けα計算式を下記に示す。
αuvf(x,y) = αf(Yf(x,y)) - αnf(Ynf(x,y)) + 0.5 : (右辺が0〜1.0の範囲を超えた倍は、クリップ処理をする。)
(但し、x,yは画素の座標)
前記関数αf(Y)、αnf(Y) は、図13にも示すように下記特性を持たせる。
αf (Y) = 0 : (Y < 128 )
= af * (Y-128) : (Y ≧ 128 )
αnf (Y) = 0 : (Y < 192 )
= anf * (Y-192) : (Y ≧ 192 , anf > af)
また、図13において、
αUVNF(x,y)は、座標(x,y)における選択された画像のUV合成比率、
(x,y)は、選択された画像の輝度値、
NF(x,y)は、平均加算画像の輝度値、
「a」「b」は、選択された画像と平均加算画像両方が飽和気味のところは、平均加算画像のUVの重み付けを1.0とするために、b−a>0.5となる加点関数の傾き(a,aNF)を設定することを示す。
前記数式及び図13は、下記事項を意味する。
1.選択された画像の輝度のみが飽和領域に近い場合は、選択された画像のUVの重みを重たくする。
2.加算平均画像の輝度のみが飽和領域に近い場合は、選択された画像のUVの重みを重たくする。
3.選択された画像、加算平均画像の双方の輝度が飽和領域に近い場合は、フラッシュ以外の光源を直接撮影している可能性が高く、WBのずれた選択された画像のUVが張り付かないように、加算平均画像のUVの重みを重たくする。
4.選択された画像、加算平均画像の双方の輝度が中間値より低い場合は、1:1で加算平均する。
5.選択された画像、加算平均画像の双方の輝度が中間値より若干高い場合は、選択された画像のUVの重みづけを重くする。これは、顔などのフラッシュ画像の輝度が高い領域での色混合による変色を目立たなくするためである。
次に、選択された画像に対して、顔画像検出を行う(ステップH2)。このステップH2において、選択された画像から顔画像を検出した際には、図14に示すように、顔画像20における顔部分を囲繞する顔枠21を設定して、顔枠21内の部分が顔画像20であることを特定する。
引き続き、顔画像が検出されてこれを特定する顔枠を、顔画像よりも下部の首画像部分が含まれるように、枠を縦方向に延長する(ステップH3)。このステップH3での処理により、図14に点線で示す延長部22が加えられて、顔枠21は縦方向に延長される。また、顔枠21内には、顔画像20のみならずその下部部分の肌色領域でもある頸画像22までが含まれることとなる。
更に、この延長された顔枠21の内側について、顔枠21からの距離が遠くなる(つまり、顔枠21の中心に近くなる)に従い、値が大きくなるようなα値の加点を行う(ステップH4)。しかる後に、前記ステップH1で作成されたUV合成用のαマップに基づき、選択された画像と平均加算画像のUVを合成する(ステップH5)。
これにより、図11のフローチャートにおけるステップG1の処理が終了する。引き続き、ステップG2〜ステップG6で、前述した第2の実施の形態における図10のステップF1〜ステップF5と同様の処理を実行する。
以上で、図9のフローチャートにおけるステップE15の合成処理を終了し、前記ステップG6で得られた画像を最終出力画像として外部記憶媒体11に保存する。
したがって、本実施の形態によれば、選択された画像(フラッシュ画像)と平均加算画像(非フラッシュ画像)との合成による不自然な着色が目立つことを防止することができる。
しかも、本実施の形態においては、顔画像に対して輝度調整を行うことから、選択された画像(フラッシュ画像)と平均加算画像(非フラッシュ画像)との合成による顔画像が不自然な着色が目立つことを防止することができる。
更に、顔画像のならずその下部の首画像までも輝度調整を行うようにしたことから、人物被写体の顔画像を含む肌色領域において、選択された画像(フラッシュ画像)と平均加算画像(非フラッシュ画像)との合成による不自然な着色が目立つことを防止することができる。
なお、ステップG1においては、選択された画像の輝度と、平均加算画像の輝度の両方に基づき、UV重み付け加算処理を行うようにしたが、いずれか一方の画像の輝度に基づき、UV重み付け加算処理を行うようにしてもよい。このようにした場合であっても、選択された画像(フラッシュ画像)と平均加算画像(非フラッシュ画像)との合成による不自然な着色を目立たないようにすることができる。
また、平均加算画像(非フラッシュ画像)の輝度が飽和に近い程度高い場合、選択された画像(フラッシュ画像)の重み付けを減らすことなく、フラッシュ画像のホワイトバランスをフラッシュ画像に合わせて加算するようにしてもよい。
1 レンズブロック
2 CMOS撮像素子
4 ワークメモリ
5 液晶表示コントローラ
6 フラッシュ発光部
7 カスタムLSI
7a CPUコア
7b フラッシュ制御部
7c 受光制御部
7d デモザイク部
7e 特徴量演算部
7f SRAM
7g ブロックマッチング部
7h 画像変形合成加算部
7i プログラムROM
7j メカシャッタ制御部
8 液晶表示部
9 シャッタボタン
10 モードボタン
11 外部記憶媒体
12 メカシャッタ
100 デジタルカメラ

Claims (7)

  1. 撮像手段と、
    発光手段と、
    前記撮像手段に対し、画像を複数撮像するよう制御する第1の撮像制御手段と、
    この第1の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段と、
    前記第1の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第2の撮像制御手段と、
    この第2の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段と、
    この選択手段によって選択された画像と前記第1の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段と、
    この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段と、
    前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第1の撮像制御手段による撮像タイミングに最も近いタイミングで前記第2の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段と、
    を備えることを特徴とする撮像装置。
  2. 前記合成手段によって得られた画像のホワイトバランスを前記第2の撮像制御手段によって撮像された画像のホワイトバランスと一致させるよう調整するホワイトバランス調整手段を更に備えたことを特徴とする請求項1に記載の撮像装置。
  3. 前記合成手段による合成に先立ち、前記加算合成手段によって加算合成された画像にγ補正を施す補正処理手段を更に備えたことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記合成手段による合成に先立ち、該合成手段によって合成されるべき、前記加算合成手段によって加算合成された画像又は前記第2の撮像手段によって撮像された画像の少なくとも一方の輝度を調整する輝度調整手段を更に備えたことを特徴とする請求項1、2又は3に記載の撮像装置。
  5. 前記加算合成手段によって加算合成された画像又は前記第2の撮像手段によって撮像された画像に含まれる顔画像を検出する顔画像検出手段を更に備え、
    前記輝度調整手段は、前記顔画像検出手段により検出された顔画像を含む肌色領域に基づいて、輝度の合成度合いを調整することを特徴とする請求項4記載の撮像装置。
  6. 撮像手段に対し、画像を複数撮像するよう制御する第1の撮像制御ステップと、
    この第1の撮像制御ステップにて得られた複数の画像について、位置合わせを行い加算合成する加算合成ステップと、
    前記第1の撮像制御ステップによる撮像の直前若しくは直後に、発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第2の撮像制御ステップと、
    この第2の撮像制御ステップにて撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択ステップと、
    この選択ステップにて選択された画像と前記第1の撮像制御ステップにより得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断ステップと、
    この判断ステップにて略一致すると判断した場合には、前記加算合成ステップにて加算合成された画像と前記選択ステップにて選択された画像とを合成する合成ステップと、
    前記判断ステップにて略一致しないと判断した場合には、前記加算合成ステップにて加算合成された画像と前記第1の撮像制御ステップの撮像タイミングに最も近いタイミングで前記第2の撮像制御ステップにて撮像された画像とを合成するよう制御する合成制御ステップと、
    を含むことを特徴とする撮像方法。
  7. 撮像手段と発光手段とを備える撮像装置が有するコンピュータを、
    前記撮像手段に対し、画像を複数撮像するよう制御する第1の撮像制御手段、
    この第1の撮像制御手段による撮像により得られた複数の画像について、位置合わせを行い加算合成する加算合成手段、
    前記第1の撮像制御手段による撮像の直前若しくは直後に、前記発光手段によって照明された撮影環境で画像を複数撮像するよう制御する第2の撮像制御手段、
    この第2の撮像制御手段によって撮像された複数の画像に含まれる顔画像を評価して最も評価の高い画像を選択する選択手段、
    この選択手段によって選択された画像と前記第1の撮像制御手段による撮像により得られた複数の画像について位置合わせを行い、画像が略一致するか否かを判断する判断手段、
    この判断手段により略一致すると判断した場合には、前記加算合成手段により加算合成された画像と前記選択手段によって選択された画像とを合成する合成手段、
    前記判断手段により略一致しないと判断した場合には、前記加算合成手段により加算合成された画像と前記第1の撮像制御手段による撮像タイミングに最も近いタイミングで前記第2の撮像制御手段によって撮像された画像とを合成するよう前記合成手段を制御する合成制御手段、
    として機能させることを特徴とする撮像プログラム。
JP2010038233A 2009-11-11 2010-02-24 撮像装置、撮像方法、及び撮像プログラム Expired - Fee Related JP5115568B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010038233A JP5115568B2 (ja) 2009-11-11 2010-02-24 撮像装置、撮像方法、及び撮像プログラム
CN2010106238316A CN102065224B (zh) 2009-11-11 2010-11-10 摄像装置和摄像方法
KR1020100111643A KR101357987B1 (ko) 2009-11-11 2010-11-10 촬상장치 및 촬상방법
TW099138596A TWI448151B (zh) 2009-11-11 2010-11-10 攝像裝置、攝像方法及電腦可讀取媒體
US12/943,193 US8493458B2 (en) 2009-11-11 2010-11-10 Image capture apparatus and image capturing method
HK11107407.9A HK1153885A1 (en) 2009-11-11 2011-07-18 Image capture apparatus and image capturing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009257822 2009-11-11
JP2009257822 2009-11-11
JP2010038233A JP5115568B2 (ja) 2009-11-11 2010-02-24 撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JP2011124967A JP2011124967A (ja) 2011-06-23
JP5115568B2 true JP5115568B2 (ja) 2013-01-09

Family

ID=43973904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010038233A Expired - Fee Related JP5115568B2 (ja) 2009-11-11 2010-02-24 撮像装置、撮像方法、及び撮像プログラム

Country Status (6)

Country Link
US (1) US8493458B2 (ja)
JP (1) JP5115568B2 (ja)
KR (1) KR101357987B1 (ja)
CN (1) CN102065224B (ja)
HK (1) HK1153885A1 (ja)
TW (1) TWI448151B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
JP5147903B2 (ja) * 2010-07-12 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5881350B2 (ja) * 2011-09-21 2016-03-09 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP6452355B2 (ja) * 2014-09-02 2019-01-16 キヤノン株式会社 撮影装置及びその制御方法、並びに、プログラム
JP6425571B2 (ja) * 2015-02-02 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107333056A (zh) * 2017-06-13 2017-11-07 努比亚技术有限公司 运动物体的图像处理方法、装置及计算机可读存储介质
US20190370942A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Red-eye correction techniques
CN109194882B (zh) * 2018-08-22 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2295757B (en) * 1994-06-17 1998-04-08 Namco Ltd Three-dimensional simulator and image synthesis method
US6369817B1 (en) * 1998-05-25 2002-04-09 Japan Radio Co., Ltd. Image synthesis system
JP2000308068A (ja) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2000307941A (ja) * 1999-04-26 2000-11-02 Minolta Co Ltd デジタルカメラ
JP2004032171A (ja) 2002-06-24 2004-01-29 Fuji Photo Film Co Ltd 撮像装置
US7508421B2 (en) 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
JP2004214836A (ja) * 2002-12-27 2004-07-29 Minolta Co Ltd 撮像装置
JP4136793B2 (ja) 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2005039365A (ja) * 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd ディジタル・カメラおよびその制御方法
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2005086488A (ja) 2003-09-09 2005-03-31 Nikon Corp 電子スチルカメラおよび画像処理プログラム
JP2005242567A (ja) * 2004-02-25 2005-09-08 Canon Inc 動作評価装置及び方法
JP2006050457A (ja) * 2004-08-06 2006-02-16 Canon Inc 撮像装置
JP4086166B2 (ja) * 2005-03-02 2008-05-14 船井電機株式会社 電子写真装置
JP5205968B2 (ja) * 2005-12-21 2013-06-05 日本電気株式会社 階調補正方法、階調補正装置、階調補正プログラム及び画像機器
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP4823743B2 (ja) 2006-04-03 2011-11-24 三星電子株式会社 撮像装置,及び撮像方法
JP2007288235A (ja) * 2006-04-12 2007-11-01 Sony Corp 撮像装置および撮像方法
US7869664B2 (en) * 2007-06-21 2011-01-11 F. Hoffmann-La Roche Ag Systems and methods for alignment of objects in images
JP4860567B2 (ja) * 2007-07-20 2012-01-25 富士フイルム株式会社 撮影装置
JP2009124264A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 画像処理装置および画像処理方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data

Also Published As

Publication number Publication date
JP2011124967A (ja) 2011-06-23
US20110109767A1 (en) 2011-05-12
KR101357987B1 (ko) 2014-02-03
TW201134207A (en) 2011-10-01
KR20110052506A (ko) 2011-05-18
TWI448151B (zh) 2014-08-01
CN102065224A (zh) 2011-05-18
US8493458B2 (en) 2013-07-23
HK1153885A1 (en) 2012-04-05
CN102065224B (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
JP5115568B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
JP4973719B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US9646397B2 (en) Image processing apparatus and image processing method
JP5761946B2 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP4404823B2 (ja) 撮像装置
US8947575B2 (en) Image pickup apparatus having warning region detection related to dynamic range expansion
JP6521776B2 (ja) 画像処理装置、画像処理方法
JP2006352795A (ja) 撮像装置及び画像処理方法
JP2007180631A (ja) 撮像装置および撮影方法
JP2001103366A (ja) カメラ
US20060198625A1 (en) Imaging device and imaging method
JP4717720B2 (ja) 画像処理装置および方法並びにプログラム
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2001268345A (ja) 画像合成装置
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2008136113A (ja) 画像処理装置、撮像装置及び画像処理方法
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2000102022A (ja) デジタルカメラ
JP5083116B2 (ja) 撮影装置、画像処理方法、およびプログラム
JP2007267170A (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP5091734B2 (ja) 撮像装置および撮像方法
JP2023154575A (ja) 撮像装置およびその制御方法、ならびに画像処理装置
JP2002290824A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R150 Certificate of patent or registration of utility model

Ref document number: 5115568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees