JP4533119B2 - 撮像装置及び撮像装置の画像表示方法 - Google Patents

撮像装置及び撮像装置の画像表示方法 Download PDF

Info

Publication number
JP4533119B2
JP4533119B2 JP2004360241A JP2004360241A JP4533119B2 JP 4533119 B2 JP4533119 B2 JP 4533119B2 JP 2004360241 A JP2004360241 A JP 2004360241A JP 2004360241 A JP2004360241 A JP 2004360241A JP 4533119 B2 JP4533119 B2 JP 4533119B2
Authority
JP
Japan
Prior art keywords
image
images
exposure
unit
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004360241A
Other languages
English (en)
Other versions
JP2006173774A (ja
Inventor
秀雄 玉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004360241A priority Critical patent/JP4533119B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP05816683A priority patent/EP1808014B1/en
Priority to KR1020077013186A priority patent/KR100871639B1/ko
Priority to CN2005800426357A priority patent/CN101076997B/zh
Priority to DE602005027380T priority patent/DE602005027380D1/de
Priority to PCT/JP2005/023206 priority patent/WO2006064936A1/en
Priority to US11/721,477 priority patent/US7817186B2/en
Publication of JP2006173774A publication Critical patent/JP2006173774A/ja
Application granted granted Critical
Publication of JP4533119B2 publication Critical patent/JP4533119B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

本発明は、手振れを補正することで品質の良好な画像を撮像可能な例えばデジタルカメラなどの撮像装置及び撮像装置の画像表示方法に関するものである。
現在のカメラは、露出設定やピント合わせ等の撮影にとって重要な作業は自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
また、近年においては、撮影時の手振れを防ぐシステムも検討されている。例えば、撮影者の手振れ状態をカメラ内で検出し、レンズをその振れに同期させて動かすことにより、長秒時の露光を行なっても手振れの小さい画像を得ることができるシステムが知られている。
また、特許文献1には手振れを起こさない程度の速いシャッタースピードで露出不足の画像を複数枚撮影し、これらを合成することで適正露出の画像を得る手法が開示されている。
ところで、近年販売されているデジタルカメラのほとんどは、撮影された画像を撮影するたびにカメラ背面に設けられた液晶表示部に表示したり、撮影した複数枚の画像を再生する際に撮影者が再生画像を選択できるように、小さな画像にして液晶表示部に複数枚並べて表示している。
特開2000−341577号公報
しかしながら、上述の複数枚の画像を合成することにより適正露出の画像を得るデジタルカメラには以下のような問題点がある。即ち、手振れの影響を小さくするために速いシャッタースピードで露出不足の画像を連続して複数枚撮影し、これらを合成することで一枚の適正な露出の画像に仕上げる場合、各画像の位置座標を割り出し、振れ検出手段で求めた振れ量を用いて合成するので、結果として合成された画像を液晶表示部に表示されるまでに時間を要する。そのため、撮影が中断し次のシーンの撮影でシャッターチャンスを逸することがある。
一方、合成される前の各々の画像は露出不足の画像であるので、これをそのまま表示すると撮影者には構図もわからないような暗い画像が何枚も表示されることになる。
本発明はこのような事情に基づいてなされたものであり、その目的は、複数枚の画像を合成することにより一枚の適正露出の画像を得るために、連続して露出不足の画像を複数枚撮影するデジタルカメラなどの撮像装置において、撮影動作を妨げず、かつ、撮影した画像を良好に表示することのできる撮像装置及び撮像装置の画像表示方法を提供することにある。
本願発明の撮像装置は、撮影モードと再生モードを有し、少なくとも3枚からなる一組の画像を合成して合成画像を得る撮像装置であって、前記撮影モードのとき、被写体の輝度に対して適正露出が得られる第1の露出時間よりも短い第2の露出時間で前記一組の画像の各々を撮像する撮像手段と、前記一組の画像を順次記憶する記憶部と、前記一組の画像のうち初めの画像が撮像されてから前記一組の画像のうち最後の画像を撮像し終わるまでは前記一組の画像を合成することなく、前記一組の画像のうち最後の画像が撮像し終えた後に、前記撮影モードから前記再生モードに変更すると、前記記憶部に記憶された前記一組の画像を読み出して合成することで1枚の適正露出の合成画像を得る合成手段と、 前記記憶部に記憶された前記一組の画像のうちの一枚を画像処理して露出を適正にする露出補正手段と、前記合成手段による合成が完了するまでは、前記露出補正手段によって適正露出に画像処理された画像を表示し、前記合成手段による合成が行われた後は、前記合成手段において適正露出とされた前記合成画像を表示する表示手段とを有することを特徴とする。
本願発明の撮像装置の画像表示方法は、撮影モードと再生モードを有し、少なくとも3枚からなる一組の画像を合成して合成画像を得る撮像装置の画像表示方法であって、 前記撮影モードのとき、被写体の輝度に対して適正露出が得られる第1の露出時間よりも短い第2の露出時間で前記一組の画像の各々を撮像するステップと、前記一組の画像を記憶部に順次記憶するステップと、前記一組の画像のうち初めの画像が撮像されてから前記一組の画像のうち最後の画像を撮像し終わるまでは前記一組の画像を合成することなく、前記一組の画像のうち最後の画像が撮像し終えた後に、前記撮影モードから前記再生モードに変更すると、前記記憶部に記憶された前記一組の画像を読み出して合成することで1枚の適正露出の合成画像を得るステップと、前記記憶部に記憶された前記一組の画像のうちの一枚を画像処理して露出を適正にする露出補正ステップと、前記合成画像を得るステップによる合成が完了するまでは、前記露出補正ステップによって適正露出とした前記一組の画像のうちの一枚を表示部に表示し、前記合成画像を得るステップによる合成が行われた後は、前記合成画像を得るステップにおいて適正露出とされた前記合成画像を前記表示部に表示するステップとを有することを特徴とする。
また、本発明に係わるプログラムは、上記の撮像装置の画像表示方法をコンピュータに実行させることを特徴とする。
本発明によれば、少なくとも3枚からなる一組の画像を合成することにより一枚の適正露出の画像を得るために、連続して露出不足の画像を複数枚撮影するデジタルカメラなどの撮像装置において、撮影モードにて撮影された合成前の一組の画像データの中から一の画像データを読み出し、露出を補正して表示用の画像を形成して表示部に表示する構成とすることにより、撮影者は撮像した画像の構図を確認することができると共に、時間のかかる合成動作を再生モードに切り替えた後に、一組の画像を合成することにより一枚の適正露出の画像を得るので、次のシャッターチャンスを逃すことなく撮影を良好に行うことができる。
本発明に係る撮像装置をデジタルカメラに適用した実施の形態について、添付図面を参照しながら詳しく説明する。
図1は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図中11は、当該デジタルカメラに着脱自在に設けられた光学系の一部を構成するレンズであり、このレンズ11を介して入射した光線(撮影光)は開閉自在なシャッタ12を通過し、さらに絞り13により光量が調整された後に、例えばCMOSやCCDなどの半導体撮像素子からなる撮像手段としての撮像素子15に結像される。
前記レンズ11は、ピント調整用のAF駆動モータ14により光軸10上を移動可能であり、さらに当該AF駆動モータ14は焦点駆動手段19により駆動量が制御され、これにより焦点調節可能なように構成されている。なお、図示は省略するが、レンズ11は複数のレンズを組み合せたレンズユニットとして構成され、互いに隣り合うレンズ同士の間隔をAF駆動モータ14により変えることで焦点調整が行なわれる。また絞り13は絞り駆動手段17によりその絞り径が制御され、またシャッタ12はシャッタ駆動手段18により開閉動作が制御され、これらの協働作用により撮像素子15に入射する光線を制御している。
より詳しくは、焦点駆動手段19、絞り駆動手段17、シャッタ駆動手段18は撮影制御手段111によりその動作が制御されており、当該撮影制御手段111は後述する信号処理手段211に入力された撮像素子15からの画像信号を用いて測光を行い、その結果に基づいて絞り13の絞り径及びシャッタ12の開き時間の設定値を夫々決めており、さらに焦点駆動手段19との協働作用により最適なピント(ジャストピント)の点(設定値)を求めている。
また撮像素子15から出力される画像信号は、A/D変換器110によりデジタル信号に変換され、信号処理手段としての信号処理回路211に入力される。この信号処理回路211では、入力された画像信号から輝度信号や色信号を形成するなどの所定の信号処理を行ってカラーの画像信号が形成される。そして形成された画像信号は、例えばデジタルカメラの外装体背面に設けられた画像表示手段としての液晶表示部212に表示されると共に、記憶手段(画像記憶手段)としての記録メモリ213に記録されて格納される。その後、撮影者が記録メモリ213に記録された画像を見る場合には、例えばカメラ操作部である操作手段214で所定のスイッチ操作を行うことにより、記録メモリ213から画像が読み出されて液晶表示部212に表示される。このとき、操作手段214で表示モードを切り替えることにより、画像を1枚表示させる場合と、公知のデジタルカメラのようにサムネイルを表示することで複数の画像を一度に表示させる場合とを選択可能なように構成されている。以上説明した動作は、防振を必要としないような明るさの被写体を撮影する場合(説明の便宜上、「通常撮影モード」と呼ぶものとする)の一連の動作を説明したものである。
一方、被写体が暗く露光秒時が長くなるために手振れの恐れがある場合には、撮影者が操作手段214により防振システムをオン(作動状態)にして撮影(説明の便宜上、「防振撮影モード」と呼ぶものとする)を行うことにより以下の動作が行なわれる。
まず、撮影者が撮影準備のために、通常撮影モードの撮影と同様にカメラのレリーズボタン(図示せず)を半押しにしてオートフォーカスによるピント合わせや測光を行うと、このときの測光値に基づいて適正露出の画像を得るためのシャッタ速度(露光時間)及び絞り値が決められる。そして、ユーザが手振れを起こしにくいシャッタ速度で露光時間を分割した時に何枚(何回)撮影したらよいかを算出して、一枚一枚を撮影する時のシャッタ速度と絞り値を最終的に決定する。このとき、結果として一枚一枚の画像はアンダー(露出不足)に撮影されることになる。
そして、撮影者によるレリーズボタンの全押しを受けて、算出された撮影枚数だけ被写体を連続して撮影して画像の取得を繰り返すように撮影制御手段111により制御する。このように露光時間を分割すると、1枚あたりの露光時間が短いので各々の画像は露出不足の画像となるが、その反面これらの画像は手振れの影響が少ない。つまり、露光時間が短い分において露光最中におけるカメラの手振れの影響を小さくして画像を取得することができる。そしてこれら複数の画像を撮影終了後に合成して1枚の画像にすることにより、得られた画像(合成画像)は分割カットの露出時間が合計されて適正露出の画像となる。
しかしながら、露光時間を短くすることで1枚毎の手振れの影響は小さくできても、これら複数の画像を連続撮影している間の手振れ、つまり各画像間でのカメラの振れにより各画像毎の構図は微妙にズレ(揺れ)が生じていることがある。そのためこれら画像をそのまま合成すると、合成された画像は各画像の構図の揺れ分だけぶれた画像になってしまう。
そこで、防振撮影モードにおいては、撮影された複数の画像は、各撮影毎にA/D変換器110によりデジタル信号に変換され、信号処理回路211にてカラーの画像信号にされた後、画像記憶手段としての記録メモリ213に記録しておき、その後において操作者が任意のタイミングで操作手段214による合成開始の操作したとき、例えば合成開始スイッチをオンにしたときに以下の合成処理動作が開始される。
なお、通常撮影モードでの画像と説明の便宜上区別するため、露出時間を分割して得た画像を「分割画像」、合成して得た画像を「合成画像」と適宜使い分けるものとする。
即ち、まず揺れ検出手段としての揺れ検出回路215は、記録メモリ213に記憶されている複数の分割画像を読み出し、次いで各画像間の共通の特徴点を抽出し、この特徴点の画像面内における位置座標を割り出す。一例を挙げると、例えば画像内に被写体の背景として建物などの静止物が写っている場合、この建物の窓のエッジ部などを特徴点に定め、画像面内における当該特徴点の位置座標を求める。そして割り出した各分割画像間の各々の特徴点の位置座標に基づいて、揺れ補正手段としての座標変換回路216は各分割画像毎の特徴点の座標が揃うように各画像の座標変換を行う。こうして得た座標変換がなされた各分割画像は画像記憶メモリ217に順次記憶しておき、1シーンにおける全ての分割画像の座標変換が行なわれると、画像合成回路218がメモリから読み出して画像合成を行なう。そして合成されて得た画像は、液晶表示部212に送られて表示されると共に、例えば半導体メモリなどのカメラに対して着脱可能な記録媒体220に記録される。
図2(A)は、通常撮影モード時に、アンダーで撮影したときの画像を表示した状態を表す模式図である。図中301は液晶表示部212の表示枠であり、また302は撮影された画像を表している。一回の撮影で一枚の画像が生成される、通常撮影モードにおける撮影では、そのまま一枚の画像が表示枠301内に大きく表示される。なお、図中網掛けは、アンダー状態を表している。
一方、図2(B)は、防振撮影モードによって、4枚の分割画像を撮影した場合の表示状態を、模式的に表した図である。防振撮影モードにおいては、それぞれの撮影画像はアンダーであるので、そのまま表示をしてしまうと図2(A)のような画像になり、撮影者は構図等を確認することが困難である。そこで、4枚の分割画像は306に示すように、表示枠301の下方に並べて表示し、同時に、最初の1枚目(306で示される4枚の画像のうち、左端に表示されている画像と同じ画像)のみを、露出補正回路219により露出を補正を施して表示画像を生成し、305に示すように大きい画像として表示する。具体的には、露出補正回路219は、最初の1枚目の画像のトーンカーブを変更することにより、輝度やコントラストを増幅して表示画像を生成する。したがって、305の表示画像は1枚目の画像のみを調整することにより生成されるので、画像ノイズも増幅され、結果としては粗い画像になることが多い。しかし、撮影者にとっては、防振撮影モード時においても、撮影直後に判別可能な撮影画像を見ることができるので、構図の確認等ができるといったメリットを享受することができる。なお、表示に際しては、307に示すように、現在表示されている画像が防振撮影モードによって撮影された画像であることを表すアイコンを合わせて表示しても良い。また、露出補正を行う画像は、必ずしも1枚目である必要はなく、例えば、2枚目の画像が比較的画像ノイズが少ないと判断されれば、これを露出補正をして表示しても良い。
以上の説明は液晶表示部212に1枚の大きな画像を表示する例を説明したが、続いて記録メモリ213に記録された画像のサムネイルを表示する場合の動作について図3を参照しながら説明する。サムネイル表示は、撮影した複数の画像を同時に表示する表示形式である。図3(A)は、通常撮影モードで撮影が行われた画像のサムネイル表示を模式的に示したものである。図中401は、カメラの液晶表示部212の表示枠であり、この枠内に各々の撮影画像がサムネイルで表示される。したがって、アンダーで撮影したときの画像は、403のようにそのままアンダーの状態で表示される。一方、図3(B)は、通常撮影モードの途中で防振撮影モードに切り替えて撮影した画像を含むサムネイル表示を模式的に示したものである。ここで、防振撮影モードによる撮影は、4枚の分割画像を撮影したものとする。図中406は、撮影した4枚の分割画像を、更に縮小して並べて表示したものである。このとき、表示される分割画像の各々はアンダー画像である。この縮小表示された分割画像と同時に、分割画像の1枚目のみを、露出補正回路219により露出を補正を施して表示画像を生成し、405に示すように他のサムネイルと同じ大きさで表示する。具体的には、露出補正回路219は、最初の1枚目の画像のトーンカーブを変更することにより、輝度やコントラストを増幅して表示画像を生成する。したがって、405の表示画像は1枚目の画像のみを調整することにより生成されるので、画像ノイズも増幅され、結果としては粗い画像になることが多い。しかし、表示される画像は複数の画像を同時に表示する程度の大きさであるので、それほど目立つものではなく、撮影者にとっては、どのような画像を撮影したかを簡易に確認することができるといったメリットを享受することができる。なお、表示に際しては、407に示すように、現在表示されている画像が防振撮影モードによって撮影された画像であることを表すアイコンを合わせて表示しても良い。
続いて、撮影から図2(B)で表す表示状態で撮影画像を表示するまでに亘る動作フローについて図4を参照しながら説明する。この動作フローは、撮影者が操作手段214を操作することで防振撮影モードを選択したときに開始され(ステップS1001)、まず撮影者がレリーズボタンを半押し(SW1)して撮影準備動作を行うまで、このステップを循環して待機状態となる(ステップS1002)。撮影者によりレリーズボタンが半押し(SW1)されると、撮像素子15が被写体からの光線を結像し、さらに信号処理回路211でその画像のコントラストを検出しながら撮影制御手段111によりAF駆動モータ14を駆動してレンズ11を繰り出し、そして最もコントラストが高かった位置でレンズ11の繰り出しを停止してピント合わせ(オートフォーカス)を行う。さらに、これと同時に撮像素子15の出力信号により被写体の明るさを求める(ステップS1003)。
続いて、ステップS1003で求めた被写体の明るさから撮影する分割画像の枚数を求める(ステップS1004)。一例を挙げておくと、例えば被写体の明るさを測光し、それを適正に露光するには例えば絞り13は全開(例えばf2.8)、シャッタ12は露光時間1/8秒が必要だとすると、このとき撮影焦点距離が35mmフィルム換算で30mmである場合には、露光時間1/8秒だと手振れの恐れがあるので、手振れの恐れがない露光時間1/32秒に設定し、つまり露光時間を4分割して4回の分割画像の撮影を行うように制御する。このようにして撮影枚数が決められると、カメラのファインダや液晶表示部212に撮影枚数を表示して撮影者に知らせる(ステップS1005)。
ここで、撮影者がレリーズボタンを全押し(SW2)するまで待機状態となる。尚、この待機中にレリーズボタンの半押し(SW1)を解除する動作が行われたときには、この動作フローはスタート(ステップS1001)に戻される。その後、撮影者がレリーズボタンを全押し(SW2)して撮影の指示が出されると、まず1枚目(1カット目)の撮影を開始し(ステップS1007)、記憶メモリ213に記憶する(ステップS1008)。
そして、撮影して保存した分割画像の枚数が所定枚数に達するまでステップS1007からステップS1008までの動作が繰り返し行われる(ステップS1009)。
しかる後、所定枚数の全ての分割画像が記憶されると、例えば1枚目(1カット目)の分割画像の露出補正を上述のように行い(ステップS1010)、その露出補正された分割画像を液晶表示部212に図2(A)の態様で表示する(ステップS1011)。そして、次の撮影を受け付けるべくスタートへ戻る(ステップS1012)。
なお、上記フローによれば、分割画像の全てを撮影し終わった後に、一枚目の画像を読み出して、表示用の画像を形成しているが、例えば、一枚目の撮影が終わったら、全ての分割画像の撮影が終わる前であっても、直ちに記憶手段からその画像を読み出し、露出補正の処理を行うようにしてもよい。このように構成すれば、撮影と露出補正の処理が並行して行われることになるので、デジタルカメラの処理としては重くなるが、より早く液晶表示部に露出補正した画像を表示することが可能である。
次に撮影した複数の画像を合成して1枚の画像を形成する動作フローについて図5を参照しながら説明する。この動作フローは、撮影者が操作手段214を操作することで記録メモリ213に記録した画像を再生させたときに開始され(ステップS2001)、そして撮影者が操作手段214によりカメラの再生モードをオンにすると(ステップS2002)、記録メモリ213から撮影済みの画像のサムネイルが図3(B)の態様で液晶表示部212に表示される(ステップS2003)。
ここで、撮影者が操作手段214によりこの中から防振撮影モードで撮影した画像を選択して(ステップS2004)、合成開始ボタンをオンとすると(ステップS2005)、まず1枚目の画像を読み出し、揺れ検出手段215が画像の周辺領域の中から特徴的な像を特徴点として抽出し、その像の位置座標を割り出す(ステップS2006)。次いで座標変換回路216により画像の座標変換が行われるが、最初の画像(1枚目の画像)のみ座標変換は行わずそのまま画像記憶メモリ217に記憶する(ステップ2008)。1シーンにおける全ての分割画像の座標変換処理が終了するまでは特徴点抽出、座標変換、画像記憶を繰り返し行う(ステップS2009)。このようにステップS2006からステップS2008までの動作を繰り返すことで2枚目以降の画像に関してはステップ2006で特徴点の座標を求めたあと、1枚目の特徴点の座標に2枚目以降の特徴点の座標が重なるように座標変換を行い、2枚目以降の画像の構図はすべて1枚目の構図に揃うようになる。
しかる後、全ての分割画像の座標変換処理が終了すると、画像合成処理が行われる(ステップS2010)。この画像合成の具体的な手法は特に限定されることはなく、一般の合成処理を採用することができるが、一例を挙げておくと例えば各分割画像上の同一座標点の輝度および色情報を加算することで行う。この場合、各々の分割画像に存在する画像内のランダムノイズは加算平均することで減少させられる。こうして画像が合成されると、各画像端部の構図ブレにより重ならなかった領域をカットして元のフレームの大きさになるように画像を拡散補間してから(ステップS2011)、液晶表示部212に表示すると共に、当該合成画像を記録媒体220に記録してから(ステップS2013)、スタートに戻る。ここで、合成された画像を表示する場合は、図2(A)のように、通常撮影モードにおける表示形態であっても良いし、図2(B)のように、防振撮影モードにおける表示形態であっても良い。なお、撮影された分割画像の各々には、互いに関連を有する画像である旨の情報がタグ情報として記録されるものとする。
また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、撮像装置に供給し、その撮像装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになる。
本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。 上記デジタルカメラの液晶表示部に表示される画像の模式図である。 上記デジタルカメラの液晶表示部に表示される画像の模式図である。 上記液晶表示部に画像を表示する手順を示すフローチャートである。 上記デジタルカメラによる画像合成の手順を示すフローチャートである。
符号の説明
10 光軸
11 レンズ
12 シャッタ
13 絞り
14 AF駆動モータ
15 撮像素子
212 液晶表示部

Claims (7)

  1. 撮影モードと再生モードを有し、少なくとも3枚からなる一組の画像を合成して合成画像を得る撮像装置であって、
    前記撮影モードのとき、被写体の輝度に対して適正露出が得られる第1の露出時間よりも短い第2の露出時間で前記一組の画像の各々を撮像する撮像手段と、
    前記一組の画像を順次記憶する記憶部と、
    前記一組の画像のうち初めの画像が撮像されてから前記一組の画像のうち最後の画像を撮像し終わるまでは前記一組の画像を合成することなく、前記一組の画像のうち最後の画像が撮像し終えた後に、前記撮影モードから前記再生モードに変更すると、前記記憶部に記憶された前記一組の画像を読み出して合成することで1枚の適正露出の合成画像を得る合成手段と、
    前記記憶部に記憶された前記一組の画像のうちの一枚を画像処理して露出を適正にする露出補正手段と、
    前記合成手段による合成が完了するまでは、前記露出補正手段によって適正露出に画像処理された画像を表示し、前記合成手段による合成が行われた後は、前記合成手段において適正露出とされた前記合成画像を表示する表示手段とを有することを特徴とする撮像装置。
  2. 前記露出補正手段が画像処理する、前記一組の画像のうちの一枚は、前記一組の画像のうち最先に撮影された画像であることを特徴とする請求項1に記載の撮像装置。
  3. 前記露出補正手段は、前記一組の画像のうちの一枚を構成する各画素の輝度を増幅することにより、画像処理を行うことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記表示手段は、前記露出補正手段によって画像処理された画像と共に、前記画像処理された画像より小さく前記一組の画像を表示することを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。
  5. 前記表示手段は、前記露出補正手段によって画像処理された画像と共に、該画像処理された画像が前記一組の画像のうちの一枚より形成されたものであることを示すアイコンを表示することを特徴とする請求項1ないし4の何れか1項に記載の撮像装置。
  6. 撮影モードと再生モードを有し、少なくとも3枚からなる一組の画像を合成して合成画像を得る撮像装置の画像表示方法であって、
    前記撮影モードのとき、被写体の輝度に対して適正露出が得られる第1の露出時間よりも短い第2の露出時間で前記一組の画像の各々を撮像するステップと、
    前記一組の画像を記憶部に順次記憶するステップと、
    前記一組の画像のうち初めの画像が撮像されてから前記一組の画像のうち最後の画像を撮像し終わるまでは前記一組の画像を合成することなく、前記一組の画像のうち最後の画像が撮像し終えた後に、前記撮影モードから前記再生モードに変更すると、前記記憶部に記憶された前記一組の画像を読み出して合成することで1枚の適正露出の合成画像を得るステップと、
    前記記憶部に記憶された前記一組の画像のうちの一枚を画像処理して露出を適正にする露出補正ステップと、
    前記合成画像を得るステップによる合成が完了するまでは、前記露出補正ステップによって適正露出とした前記一組の画像のうちの一枚を表示部に表示し、前記合成画像を得るステップによる合成が行われた後は、前記合成画像を得るステップにおいて適正露出とされた前記合成画像を前記表示部に表示するステップとを有することを特徴とする撮像装置の画像表示方法。
  7. 請求項6に記載の撮像装置の画像表示方法をコンピュータに実行させることを特徴とするプログラム。
JP2004360241A 2004-12-13 2004-12-13 撮像装置及び撮像装置の画像表示方法 Expired - Fee Related JP4533119B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004360241A JP4533119B2 (ja) 2004-12-13 2004-12-13 撮像装置及び撮像装置の画像表示方法
KR1020077013186A KR100871639B1 (ko) 2004-12-13 2005-12-13 카메라 및 카메라의 화상처리방법
CN2005800426357A CN101076997B (zh) 2004-12-13 2005-12-13 照相机和用于照相机的图像处理方法
DE602005027380T DE602005027380D1 (de) 2004-12-13 2005-12-13 Kamera und bildverarbeitungsmethode für kamera
EP05816683A EP1808014B1 (en) 2004-12-13 2005-12-13 Camera and image processing method for camera
PCT/JP2005/023206 WO2006064936A1 (en) 2004-12-13 2005-12-13 Image processing and image processing program of image processing
US11/721,477 US7817186B2 (en) 2004-12-13 2005-12-13 Camera and image processing method for synthesizing plural images forming one image group to generate a synthesized image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004360241A JP4533119B2 (ja) 2004-12-13 2004-12-13 撮像装置及び撮像装置の画像表示方法

Publications (2)

Publication Number Publication Date
JP2006173774A JP2006173774A (ja) 2006-06-29
JP4533119B2 true JP4533119B2 (ja) 2010-09-01

Family

ID=36587979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004360241A Expired - Fee Related JP4533119B2 (ja) 2004-12-13 2004-12-13 撮像装置及び撮像装置の画像表示方法

Country Status (7)

Country Link
US (1) US7817186B2 (ja)
EP (1) EP1808014B1 (ja)
JP (1) JP4533119B2 (ja)
KR (1) KR100871639B1 (ja)
CN (1) CN101076997B (ja)
DE (1) DE602005027380D1 (ja)
WO (1) WO2006064936A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5105139B2 (ja) * 2006-08-03 2012-12-19 ソニー株式会社 撮像装置および表示方法、並びにプログラム
JP4483841B2 (ja) * 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
JP5118129B2 (ja) * 2007-03-06 2013-01-16 パナソニック株式会社 撮像装置、編集装置、画像処理方法及びプログラム
JP2009017078A (ja) 2007-07-03 2009-01-22 Fujifilm Corp ディジタル・スチル・カメラおよびその動作制御方法
KR101411324B1 (ko) * 2007-08-14 2014-06-25 삼성전자주식회사 이미지 디스플레이 방법 및 상기 방법을 적용한 디스플레이장치
JP4551439B2 (ja) * 2007-12-17 2010-09-29 株式会社沖データ 画像処理装置
JP4656168B2 (ja) 2008-03-05 2011-03-23 カシオ計算機株式会社 画像合成装置
JP5635896B2 (ja) * 2010-02-18 2014-12-03 キヤノン株式会社 画像入力装置及び画像検証装置並びにそれらの制御方法
CN102938842B (zh) * 2011-08-16 2015-04-15 联咏科技股份有限公司 影像校正装置、影像校正方法及相关装置和产品
US8786737B2 (en) 2011-08-26 2014-07-22 Novatek Microelectronics Corp. Image correction device and image correction method
JP5761272B2 (ja) * 2013-08-06 2015-08-12 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9311114B2 (en) * 2013-12-13 2016-04-12 International Business Machines Corporation Dynamic display overlay
KR102238532B1 (ko) * 2014-02-12 2021-04-09 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9641759B2 (en) * 2014-07-10 2017-05-02 Lg Electronics Inc. Mobile terminal and controlling method thereof
CN105450920B (zh) * 2014-08-19 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种拍照方法及装置
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11212431B2 (en) * 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069897A (ja) * 2001-08-22 2003-03-07 Olympus Optical Co Ltd 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4245699B2 (ja) 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2000307921A (ja) 1999-04-15 2000-11-02 Ricoh Co Ltd 画像処理装置
JP4473363B2 (ja) 1999-05-26 2010-06-02 富士フイルム株式会社 手振れ補正装置およびその補正方法
US7136101B2 (en) * 2001-12-24 2006-11-14 Hewlett-Packard Development Company, L.P. Use-controlled exposure method and system with visual feedback
JP4701598B2 (ja) * 2003-01-07 2011-06-15 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP3722125B2 (ja) * 2003-01-30 2005-11-30 コニカミノルタフォトイメージング株式会社 撮像装置
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4181923B2 (ja) 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP4575022B2 (ja) 2004-05-13 2010-11-04 パナソニック株式会社 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069897A (ja) * 2001-08-22 2003-03-07 Olympus Optical Co Ltd 撮像装置

Also Published As

Publication number Publication date
EP1808014B1 (en) 2011-04-06
DE602005027380D1 (de) 2011-05-19
WO2006064936A1 (en) 2006-06-22
EP1808014A1 (en) 2007-07-18
KR100871639B1 (ko) 2008-12-02
KR20070086061A (ko) 2007-08-27
CN101076997A (zh) 2007-11-21
US7817186B2 (en) 2010-10-19
US20080136939A1 (en) 2008-06-12
EP1808014A4 (en) 2009-06-03
JP2006173774A (ja) 2006-06-29
CN101076997B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
JP4533119B2 (ja) 撮像装置及び撮像装置の画像表示方法
JP4378272B2 (ja) 撮影装置
US8305465B2 (en) Image pick-up apparatus with a shake reducing function
JP2001177761A (ja) デジタルカメラ
JP4533252B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2001186401A (ja) デジタルカメラ
JP2006140971A (ja) 画像処理装置及び画像処理方法
JP2008278444A (ja) 撮影装置
JP4418632B2 (ja) 撮影装置、合成画像生成方法およびプログラム
JP2004221992A (ja) 撮影装置およびプログラム
US7116359B2 (en) Image capture device and method of controlling blur in captured images
JP4323969B2 (ja) 撮影装置
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2007336394A (ja) 撮像装置及び画像合成方法
JP2004289383A (ja) 撮像装置、画像データ生成方法、画像データ処理装置および画像データ処理プログラム
JP2001275033A (ja) デジタルスチルカメラ
JP4865648B2 (ja) 撮影装置
JP2010087598A (ja) 撮影装置及び撮影制御方法ならびにそのプログラム、画像表示装置及び画像表示方法ならびにそのプログラム、撮影システム及びその制御方法ならびにそのプログラム
JP2008245129A (ja) 電子カメラ及びその制御方法
JP2007028331A (ja) 画像生成装置及びそのプログラム
JP3840121B2 (ja) デジタルカメラ
JP4243844B2 (ja) 撮影装置及びその撮影方法
JP2006050139A (ja) 光学機器
JP2005136654A (ja) カメラ
JP2006115172A (ja) 撮影装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071212

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081010

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20081201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100415

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100611

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees