JP4254969B2 - 撮像装置 - Google Patents

Description

本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手ぶれ補正技術に関する。

通常、デジタルカメラやカメラ付携帯電話等の撮像装置によって被写体を撮像する際は、その撮像装置を人が手で支えて撮像する場合が多い。そのため、被写体を撮像する際に、いわゆる「手ぶれ」などによって撮像した画像の品質が低下するという問題が存在していた。このような問題を解決するために、例えば、特許文献１においては、ぶれが無視しうる程度の短い露光時間によって撮像した複数の画像を、位置を合わせて重ね合わせることにより明るさを補正してぶれのない画像を取得する発明が開示されている。
特開平９−２６１５２６号公報

しかしながら、特許文献１のような方法は、デジタルカメラのように処理速度やメモリ容量が十分確保できるカメラであれば適用可能であるが、カメラ付携帯電話などでは、高速で複数の画像を取り込むのに十分な処理能力はなく、またメモリ容量にも制限があるため、複数のサイズの大きい画像を一時的に蓄積しておくことも困難である。

そこで、本発明においては、プレビュー表示に用いられるプレビュー画像などのサイズの小さい画像と、撮像装置のユーザ等がシャッターを切ることによって得ることを目的とする画像（以下、「目的画像」と呼ぶ）とを利用して手ぶれ補正が可能である撮像装置を提案する。ここで、「プレビュー表示」とは、ユーザが撮像装置により被写体を撮像しようとする際にファインダーとして利用するための表示である。例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像する際にはカメラが捉えている被写体が携帯電話の液晶画面等に表示されユーザはこの表示を見ながらシャッターを切るが、この時の表示を意味する。また、プレビュー画像はプレビュー表示の際に液晶画面等に表示される画像であり、目的画像よりもサイズが小さい。

通常の撮像装置においては、撮像時の周辺の明るさなどから露出制御が行なわれ、適正な露出にて撮像が行なわれるようになっている。しかしながら、露出制御によりシャッタースピードが長くなると手ぶれが発生する可能性が高くなる。それに対し、本発明の撮像装置においては、プレビュー画像などのサイズの小さい画像は、露出は適切であるが手ぶれが発生することを想定しており、一方、目的画像は手ぶれが軽減されるようにシャッタースピードを短くする。これにより、目的画像は、手ぶれはしていないものの露出不足の画像となるため、プレビュー画像などの適正露出の画像の輝度情報を利用して目的画像の輝度情報を補正する。なお、上記の説明においてはサイズの小さい画像を利用することを前提としているが、カメラの処理能力やメモリ容量が十分であれば必ずしもサイズの小さい画像を利用しなくても、本発明の撮像装置における手ぶれ補正技術は適用可能である。つまり、サイズの同じ、手ぶれしている可能性のある適正露出の画像と、手ぶれしている可能性の低い露出不足の画像とを利用して手ぶれ補正を行なうようになっていてもよい。また、サイズの小さい画像としてプレビュー画像以外の画像を利用しても勿論かまわない。さらに、プレビュー画像や目的画像などの撮像順番とは無関係に適用可能である。また、本発明の撮像装置において補正可能であるのは、いわゆる「手ぶれ」以外にも撮像装置を揺らしうる諸々の要因により発生する「ぶれ」が対象である。例えば、撮像装置を載せた台が揺れたことによるぶれなども含まれる。

本発明の撮像装置においては、手ぶれを補正するために適正露出である画像と露出不足であるが手ぶれの軽減された画像の両方を利用するため、露出不足の画像の画像情報を適正露出の画像の画像情報に基づいて補正するのみによって手ぶれの軽減された画像を得ることができる。

本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、５、７などについて説明する。実施形態２は、主に請求項２、８などについて説明する。実施形態３は、主に請求項３などについて説明する。実施形態４は、主に請求項４などについて説明する。実施形態５は、主に請求項６などについて説明する。
なお、本発明の特許請求の範囲には含まれないが、実施形態１は、これらを包含する発明（具体的には、撮像部と、撮像部での撮像条件を制御する制御部と、制御部によって異なる撮像条件に制御されて短時間内に撮像された複数画像の画像情報を保持する保持部と、前記複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成する合成部とを有する撮像装置）についても説明する。このため、実施形態１の説明中では、制御部の第一制御手段及び第二制御手段ならびに合成部の第一輝度情報取得手段、第二輝度情報取得手段及び第二輝度情報補正手段は、任意的な手段として記載されているが、本発明の特許請求の範囲に含まれる撮像装置においては必須構成要素であることはいうまでもない。同様に、他の実施形態において実施形態１に言及している場合においても、これら各手段が任意的な手段として記載されている場合があるが、やはり本発明の特許請求の範囲に含まれる撮像装置においては必須構成要素であることはいうまでもない。

（実施形態１：概要）本実施形態は、異なる撮像条件にて撮像された複数の画像を利用して手ぶれのない画像を合成するための撮像装置に関する。

（実施形態１：構成）本実施形態に係る撮像装置の機能ブロックを図１、図２に例示する。図１に例示する撮像装置（０１００）は、「撮像部」（０１０１）と、「制御部」（０１０２）と、「保持部」（０１０３）と、「合成部」（０１０４）と、を有する。

また、図２に例示するように撮像装置（０２００）は、「撮像部」（０２０１）と、「制御部」（０２０２）と、「保持部」（０２０３）と、「合成部」（０２０４）と、を有しており、さらに、前記制御部（０２０２）は、「第一制御手段」（０２０５）と、「第二制御手段」（０２０６）と、を有しており、前記合成部（０２０４）は、「第一輝度情報取得手段」（０２０７）と、「第二輝度情報取得手段」（０２０８）と、「第二輝度情報補正手段」（０２０９）と、を有していてもよい。すなわち、図１に例示した撮像装置の構成に、「第一制御手段」（０２０５）と、「第二制御手段」（０２０６）と、「第一輝度情報取得手段」（０２０７）と、「第二輝度情報取得手段」（０２０８）と、「第二輝度情報補正手段」（０２０９）とを加えた構成である。

なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。さらに具体的には、図１７は撮像装置のより具体的な構成を示す図であり、一例として、レンズ（１７０１）、ＣＣＤ（１７０２）、Ａ／Ｄ変換器（１７０３）、ＣＰＵ（１７０４）、一時記憶メモリ（１７０５）、記憶装置（１７０６）、画像出力ユニット（１７０７）、モニタ（１７０８）等から構成されることを示している。（明細書の全体を通じて同様である。）

「撮像部」（０１０１）は、被写体を撮像する機能を有する。「撮像」とは、具体的には図１７を例として、被写体からの光をレンズ（１７０１）などの光学系を通してＣＣＤ（１７０２）等の撮像素子で受光し、電気信号に変換する。さらに、電気信号をＡ／Ｄ変換器（１７０３）によりデジタル信号に変換して、画像処理プロセッサ（１７０４）で画像情報とすることを意味する。また、撮像部は、このような処理を実行するためのプログラムを含んでいてもよい。また、撮像部は制御部（０１０２）によって制御される撮像条件に基づいて撮像を実行する。「撮像条件」とは、具体的には、露光時間（「シャッタースピード」と同義）、複数画像間を撮像する撮像間隔、などが該当する。

「制御部」（０１０２）は、撮像部（０１０１）での撮像条件を制御する機能を有する。「撮像条件を制御する」とは、具体的には、露光時間や撮像間隔を決定することを意味する。例えば、従来のカメラのように周辺の明るさ等により適正露出の露光時間を算出して撮像時の露光時間として設定することや、適正露光時間の長さによって手ぶれを起こす可能性が高いと思われる場合には露光時間を短く設定すること等が想定される。撮像部の具体的な処理としては、例えば、図１７における一時記憶メモリ（１７０５）や記憶装置（１７０６）などの所定の記憶領域に露光時間、撮像間隔などの値が格納されており、この所定の記憶領域に設定値を書込むことにより各条件の設定が実現されることになる。また、撮像部は、このような処理をＣＰＵ（１７０４）に実行させるためのプログラムを含んでいてもよい。

また、制御部は、図２に例示するように「第一制御手段」（０２０５）と、「第二制御手段」（０２０６）と、を有していてもよい。

「第一制御手段」（０２０５）は、撮像する複数画像の一の画像である第一画像を、適正露出の画像となるように制御する機能を有する。露出が適正露出となるように制御した場合には、手ぶれ等によってぶれが発生する可能性が高い。なぜならば、シャッタースピードが遅くなるほど手ぶれ等が発生する可能性は高くなり、適正露出の場合には、シャッタースピードは周辺の明るさが不足している場合には、ある程度遅くなることが通常だからである。すなわち、第一制御手段は、ぶれが発生している可能性は高いが露出は適正であるような画像を得られるように撮像条件を制御する役目を果たす。

「第二制御手段」（０２０６）は、撮像する複数画像の他の一の画像である第二画像を、比較的シャッタースピードを速くして撮像するように制御する機能を有する。「比較的シャッタースピードを速くして」とは、第一制御手段（０２０５）で制御されるシャッタースピードと比較して速い、という意味であり、より具体的には、適正露出となるシャッタースピードよりも速いシャッタースピードである。シャッタースピードが速くなるにつれて、手ぶれ等によるぶれが発生する可能性はより低くなり手ぶれが軽減された画像を得ることができるようになるが、露出はより不足していくため、第二画像は適正露出にて撮像された第一画像よりも暗い画像となる。すなわち、第二制御手段は、露出は不足しているが、手ぶれが軽減された画像を得られるように撮像条件を制御する役目を果たす。なお、第一画像と第二画像の撮像の順番は問わない。

図３は、第一制御手段と第二制御手段にて制御される露光時間について示す図である。一番上のグラフが適正露出の場合の露光時間を示しているとすると、（ａ）は第一画像の露光時間、すなわち第一制御手段にて制御される露光時間を示す。適正露出の場合の露光時間と同様となるので第一画像は適正露出にて撮像される。（ｂ）は第二画像の露光時間、すなわち第二制御手段にて制御される露光時間を示す。適正露出の場合の露光時間よりも短くなるため第二画像は露出不足となる。

「保持部」（０１０３）は、制御部（０１０２）によって異なる撮像条件に制御されて短時間内に撮像された複数画像の画像情報を保持する機能を有する。「異なる撮像条件に制御されて短時間内に撮像された複数画像」とは、例えば、第一制御手段（０２０５）にて制御されて撮像された第一画像と第二制御手段（０２０６）にて制御されて撮像された第二画像、等が該当する。「短時間内に」とは、手ぶれ等が発生しない時間内、という意味である。複数画像間の撮像間隔が短いほどその間に手ぶれ等のぶれが発生する可能性が低くなるため、画像と画像の撮像位置のずれも軽減されるというメリットがある。例えば、一般的には撮像間隔が約１／６０秒（約１６ミリ秒）以下であれば画像間の位置ずれはなくなるとされている。また、合成部（０１０４）では、複数画像の撮像位置がずれた場合には位置を合わせてから複数画像の合成を行なう必要があるが、例えば、撮像間隔を約１／６０秒（約１６ミリ秒）以下とすれば合成処理において位置ずれを考慮する必要がなくなり、連続して撮像された画像は同一のものであるとすることができ（ただし、明るさは異なる）、合成における処理が軽減される。また、「画像情報」とは、画像を実現するための情報であって、具体的には、各画素のＲＧＢ値やＹＵＶ値などの数値で表される情報が挙げられる。ところで、輝度情報（Ｙ）はＲＧＢの値により表されることが一般的に知られており、おおよそ「Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ」（以下、「数式１」と呼ぶ）という式により求められる。よって、輝度情報も画像情報に含まれると言うことができる。保持部は、具体的には、主に図１７に例示した一時記憶メモリ（１７０５）や記憶装置（１７０６）などによって実現される。さらに、保持部は、画像情報を保持する処理をＣＰＵ（１７０４）に実行させるためのプログラムを含んでいてもよい。

「合成部」（０１０４）は、前記複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成する機能を有する。「前記複数の画像の画像情報を部分的に利用して」とは、合成する場合に画像情報のすべてを利用しなくともよい、という意味である。例えば、画像中のある一部分のみのＲＧＢ値を補正して合成する場合などが想定される。また、「一の画像」とは、最終的に得ることを目的としている画像であり、ぶれの軽減された適正露出の画像のことである。

図４を用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を説明する。図４では、第一画像（０４０１）と第二画像（０４０２）の大きさが異なる場合を一例として示す。また、（ａ）は第一画像と第二画像との間で位置ずれが無い場合、（ｂ）は第一画像と第二画像との間で位置ずれがある場合を例示する。第一画像（０４０１）の高さをＰｈ、幅をＰｗで表し、第二画像（０４０２）の高さをＳｈ、幅をＳｗで表すとする。まず、（ａ）において、第一画像（０４０１）の画素（ｘ’，ｙ’）に対応する点が第二画像（０４０２）の画素（ｘ，ｙ）であるとすると、（ａ）においては位置ずれがないので、ｘ’＝αｘ，ｙ’＝βｙと表すことができる。ここで、αとβは第一画像と第二画像の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。また、（ｂ）においては、位置ずれの動き量を（Ｍｘ、Ｍｙ）とし、第一画像（０４０１）の画素（ｘ’’，ｙ’’）に対応する点が第二画像（０４０２）の画素（ｘ，ｙ）であるとすると、ｘ’’＝αｘ＋Ｍｘ，ｙ’’＝βｙ＋Ｍｙと表すことができる。このようにして、第一画像と第二画像における各画素同士の対応関係を求めることができる。よって、この対応関係を利用することにより、例えば、対応する各画素の輝度情報を比較して明るさを補正するなどして合成を行なうことができる。なお、位置ずれの動き量（Ｍｘ、Ｍｙ）は、ブロックマッチングやエッジ検出などによって検出することができる。また、合成部における処理は、さらに具体的には、例えば、前記保持部（０１０３）によって図１７における一時記憶メモリ（１７０５）や記憶装置（１７０６）などの所定の記憶領域に格納されている第一画像と第二画像の画像情報を読出し、位置ずれの検出を行なう。位置ずれの検出結果は、一時記憶メモリ（１７０５）などの所定の記憶領域に格納される。また、読出した画像情報や検出した位置ずれの情報から前述のように各画素同士の対応関係を算出し、算出した結果も一時記憶メモリ（１７０５）などの所定の記憶領域に格納される。この算出結果に基づいて、輝度情報を補正するなどして合成を行ない、合成することにより生成された画像の画像情報は、一時記憶メモリ（１７０５）や記憶装置（１７０６）などの所定の記憶領域に格納される。また、合成部は、このような処理をＣＰＵ（１７０４）に実行させるためのプログラムを含んでいてもよい。

また、合成部は、図２に例示するように「第一輝度情報取得手段」（０２０７）と、「第二輝度情報取得手段」（０２０８）と、「第二輝度情報補正手段」（０２０９）と、を有していてもよい。

「第一輝度情報取得手段」（０２０７）は、前記第一画像の第一輝度情報を取得する機能を有する。「前記第一画像の第一輝度情報」は、第一画像を構成するすべての画素における輝度情報であってもよいし、一部の画素のみの輝度情報であってもよい。また、輝度情報は数式１のようにＲＧＢの各値を用いて表されるので、輝度情報として、Ｙの値ではなくＲＧＢの値の組み合わせを輝度情報としてもよい。

「第二輝度情報取得手段」（０２０８）は、前記第二画像の第二輝度情報を取得する機能を有する。「前記第二画像の第二輝度情報」は、第二画像を構成するすべての画素における輝度情報であってもよいし、一部の画素のみの輝度情報であってもよい。

「第二輝度情報補正手段」（０２０９）は、前記第二輝度情報を、前記第一輝度情報にて補正する機能を有する。第一輝度情報は適正露出の画像であるが手ぶれしている可能性の高い第一画像から取得され、第二輝度情報は露出不足の画像であるが手ぶれの軽減された第二画像から取得される輝度情報である。よって、露出不足である第二画像の第二輝度情報を、適正露出である第一画像の第一輝度情報で補正すれば、手ぶれの軽減された、かつ適正露出の画像を得ることができる。

図５は、第二輝度情報補正手段における補正方法の具体例を示す。図４にて説明のように、位置ずれの動き量を（Ｍｘ、Ｍｙ）、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈとすると、第一画像の画素（ｘ’，ｙ’）と第二画像の画素（ｘ，ｙ）との関係は、ｘ’＝αｘ＋Ｍｘ，ｙ’＝βｙ＋Ｍｙ（以下、「数式２」と呼ぶ）と表すことができる。通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が２倍になれば、画素の明るさも２倍になる）ので、第一画像と第二画像の露光時間の比に応じて、第二画像の画像情報にて示される各画素における画素値（ＲＧＢ値など）を増加させれば、第二画像の明るさは第一画像と同じになる。しかしながら、ノイズも増幅されてしまうため、ここでは線形補間により第一画像の画素値との平均を取ってノイズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。なお、数式１のように輝度情報はＲＧＢの値で決定されるので、画素値の補正とは、輝度情報を補正することと同義である。また、線形補間に関しては一般的によく知られているのでここでは詳述しない。数式２にて算出されるｘ’の整数部をｋ、小数部をｕ、ｙ’の整数部をｌ、小数部をｖとし、第一画像の画素（ｘ’，ｙ’）における画素値をＰｐ（ｘ’，ｙ’）とすると、Ｐｐ（ｘ’，ｙ’）＝Ｐｐ（ｋ＋ｕ，ｌ＋ｖ）＝Ｐｐ（ｋ，ｌ）（ｌ−ｕ）（ｌ−ｖ）＋Ｐｐ（ｋ＋１，ｌ）ｕ（ｌ−ｖ）＋Ｐｐ（ｋ，ｌ＋１）（ｌ−ｕ）ｌ＋Ｐｐ（ｋ＋１，ｌ＋１）ｋｌ、という式にて画素値Ｐｐ（ｘ’，ｙ’）が求められる。また、第二輝度情報を補正する際の補正量は以下のように算出する。第一制御手段にてほぼ適正露出に制御された露光時間（第一画像の露光時間）をＴｏ、第二制御手段にて手ぶれが発生しにくく制御された露光時間（第二画像の露光時間）をＴｘとし、Ｔｒ＝Ｔｘ／Ｔｏとする。第二画像の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）とすると、第二輝度情報補正手段にて補正する画素値Ｐａ（ｘ，ｙ）は、Ｐａ（ｘ，ｙ）＝（Ｐｐ（ｘ’，ｙ’）＋Ｐｓ（ｘ，ｙ）・Ｔｒ）／２、という式で表される。これにより、第一輝度情報である画素値Ｐｐ（ｘ’，ｙ’）と第二輝度情報である画素値Ｐｓ（ｘ，ｙ）によって、第二輝度情報を画素値Ｐａ（ｘ，ｙ）で補正することができる。

また、第一制御手段と、第二制御手段とは、第一画像情報が第二画像情報よりもデータ量が少なくなるように制御するようになっていてもよい。「データ量が少なくなる」とは、第一画像のサイズが第二画像のサイズよりも小さい場合等を意味するが、データ量が少なくなることにより第一画像情報を保持するためのメモリ量が少なくても済むため、特にカメラ付携帯電話等のようにメモリ容量に制限のある撮像装置において効を奏する。また、データ量が少なくなる場合として、第一画像としてサイズの小さいプレビュー画像を利用したり、後述の画素加算によってサイズを小さくする等の方法がある。

（実施形態１：処理の流れ）図６、図７は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。撮像装置は、例えばユーザによりシャッターが切られる等して被写体を撮像する度に、図６、図７のような処理を行なう。図６は、撮像装置の構成が図１の構成である場合の処理の流れを示し、図７は撮像装置の構成が図２の構成である場合の処理の流れを示す。

まず、図６について説明する。最初に、撮像条件を制御する。この処理は、制御部によって実行される（制御ステップ Ｓ０６０１）。次に、前記制御ステップ（Ｓ０６０１）にて制御された撮像条件にて撮像を行なう。この処理は、撮像部によって実行される（撮像ステップ Ｓ０６０２）。次に、前記撮像ステップ（Ｓ０６０２）にて異なる撮像条件に制御されて短時間内に撮像された複数画像の画像情報を保持する。この処理は、保持部によって実行される（保持ステップ Ｓ０６０３）。最後に、前記保持ステップ（Ｓ０６０３）にて保持される複数画像の画像情報を部分的に利用して一の画像の画像情報を合成する。この処理は、合成部によって実行される（合成ステップ Ｓ０６０４）。

次に、図７について説明する。最初に、第一画像を、適正露出の画像となるように制御する。この処理は、第一制御手段によって実行される（第一制御ステップ Ｓ０７０１）。次に、前記第一制御ステップ（Ｓ０７０１）にて制御された撮像条件にて撮像を行なう。この処理は、撮像部によって実行される（第一画像撮像ステップ Ｓ０７０２）。次に、前記第一画像撮像ステップ（Ｓ０７０２）にて撮像された第一画像の画像情報を保持する。この処理は、保持部によって実行される（第一画像情報保持ステップ Ｓ０７０３）。次に、第二画像を、比較的シャッタースピードを速くして撮像するように制御する。この処理は、第二制御手段によって実行される（第二制御ステップ Ｓ０７０４）。次に、前記第二制御ステップ（Ｓ０７０４）にて制御された撮像条件にて撮像を行なう。この処理は、撮像部によって実行される（第二画像撮像ステップ Ｓ０７０５）。次に、前記第二画像撮像ステップ（Ｓ０７０５）にて撮像された第二画像の画像情報を保持する。この処理は、保持部によって実行される（第二画像情報保持ステップ Ｓ０７０６）。なお、前記第一制御ステップ（Ｓ０７０１）から前記第一画像情報保持ステップ（Ｓ０７０３）までと、前記第二制御ステップ（Ｓ０７０４）から前記第二画像情報保持ステップ（Ｓ０７０６）までの順番は逆であってもよい。すなわち、第一画像の撮像と第二画像の撮像の順番は問わない。次に、第一画像の第一輝度情報を取得する。この処理は、第一輝度情報取得手段によって実行される（第一輝度情報取得ステップ Ｓ０７０７）。次に、第二画像の第二輝度情報を取得する。この処理は、第二輝度情報取得手段によって実行される（第二輝度情報取得ステップ Ｓ０７０８）。最後に、前記第二輝度情報取得ステップ（Ｓ０７０８）にて取得された第二輝度情報を、前記第一輝度情報取得ステップ（Ｓ０７０７）にて取得された第一輝度情報にて補正する。この処理は、第二輝度情報補正手段によって実行される（第二輝度情報補正ステップ Ｓ０７０９）。

（実施形態１：効果）本実施形態に係る撮像装置においては、異なる撮像条件にて撮像された複数の画像を利用して手ぶれの軽減された画像を得ることができる。特に、適正露出である第一画像と、露出不足であるが手ぶれが軽減された第二画像とを利用することにより、第二画像の輝度情報を第一画像の輝度情報を利用して補正することのみによって手ぶれの軽減された画像を得ることができる。
（実施形態２）

（実施形態２：概要）本実施形態は、サイズの小さいプレビュー画像を用いて合成を行なうことにより、処理速度や記憶容量に制限のあるカメラ付携帯電話のカメラ等にも適用可能な撮像装置に関する。

（実施形態２：構成）本実施形態に係る撮像装置の機能ブロックを図８に例示する。撮像装置（０８００）は、「撮像部」（０８０１）と、「制御部」（０８０２）と、「保持部」（０８０３）と、「合成部」（０８０４）と、「プレビュー表示部」（０８１０）と、を有している。また、前記撮像部（０８０１）は、「プレビュー出力手段」（０８１１）を有する。また、前記制御部（０８０２）は、「第一制御手段」（０８０５）と、「第二制御手段」（０８０６）と、を有する。また、前記合成部（０８０４）は、「第一輝度情報取得手段」（０８０７）と、「第二輝度情報取得手段」（０８０８）と、「第二輝度情報補正手段」（０８０９）と、を有する。すなわち、図２に例示した撮像装置の構成に、「プレビュー表示部」（０８１０）と、「プレビュー出力手段」（０８１１）とを加えた構成となっている。

「プレビュー表示部」（０８１０）は、ファインダーとして利用する機能を有する。「ファインダーとして利用する」とは、ユーザが撮像装置により被写体を撮像する際にカメラを被写体に向けて視認するために利用することである。よって、「ファインダー」はデジタルカメラ等のファインダーのみならず、例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像する際にはカメラが捉えている被写体が携帯電話の液晶画面等に表示されるが、このような場合における液晶画面などをも指す。プレビュー表示部は、図１７においてはモニタ（１７０８）が該当する。

「プレビュー出力手段」（０８１１）は、所定の時間間隔でプレビューのためにプレビュー表示部（０８１０）に対してプレビュー画像を出力する機能を有する。「所定の時間間隔」とは、撮像装置の規格にも依存するが、例えば、カメラ付携帯電話であれば３０〜６０ミリ秒程度の間隔である。「プレビュー」とは、ユーザが撮像装置により被写体を撮像する際にカメラを被写体に向けて視認することである。また、「プレビュー画像」とは、その際に表示される画像である。例えば、撮像装置がカメラ付携帯電話である場合、被写体を撮像するためにカメラを被写体に向けた際に液晶画面等に表示される画像である。通常、目的画像よりもサイズの小さい画像である。また、プレビュー画像は、目的画像と同様に、例えば図１７におけるレンズ（１７０１）を通して被写体からの光をＣＣＤ（１７０２）で受光し電気信号に変換し、電気信号をＡ／Ｄ変換器（１７０３）によりデジタル信号に変換して得られる画像である。また、プレビュー出力手段は、得られた画像を画像出力ユニット（１７０７）を介して前記プレビュー表示部（０８１０）に該当するモニタ（１７０８）に出力する。また、プレビュー出力手段は、このような処理をＣＰＵ（１７０４）に実行させるためのプログラムを含んでいてもよい。

また、前記第一制御手段（０８０５）によって制御されて撮像される第一画像は、前記プレビュー画像であることを特徴とする。プレビュー画像は目的画像よりもサイズが小さいため、合成を行なうために撮像装置内に保持する画像の画像情報が少なくて済む。特に、カメラ付携帯電話等のようにメモリ容量に制限があるような撮像装置であっても、手ぶれの軽減された画像を得ることが可能となる。なお、プレビュー画像と第二画像の撮像の順番は問わない。

（実施形態２：処理の流れ）図９は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。撮像装置は、例えばユーザによりシャッターが切られる等して被写体を撮像する度に、図９のような処理を行なう。最初に、プレビュー画像を、適正露出の画像となるように制御する。この処理は、第一制御手段によって実行される（プレビュー第一制御ステップ Ｓ０９０１）。次に、前記プレビュー第一制御ステップ（Ｓ０９０１）にて制御された撮像条件にてプレビュー画像の撮像を行なう。この処理は、プレビュー出力手段によって実行される（プレビュー画像撮像ステップ Ｓ０９０２）。次に、前記プレビュー画像撮像ステップ（Ｓ０９０２）にて撮像されたプレビュー画像の画像情報を保持する。この処理は、保持部によって実行される（プレビュー画像情報保持ステップ Ｓ０９０３）。次に、第二画像を、比較的シャッタースピードを速くして撮像するように制御する。この処理は、第二制御手段によって実行される（第二制御ステップ Ｓ０９０４）。次に、前記第二制御ステップ（Ｓ０９０４）にて制御された撮像条件にて撮像を行なう。この処理は、撮像部によって実行される（第二画像撮像ステップ Ｓ０９０５）。次に、前記第二画像撮像ステップ（Ｓ０９０５）にて撮像された第二画像の画像情報を保持する。この処理は、保持部によって実行される（第二画像情報保持ステップ Ｓ０９０６）。なお、前記プレビュー第一制御ステップ（Ｓ０９０１）から前記プレビュー画像情報保持ステップ（Ｓ０９０３）までと、前記第二制御ステップ（Ｓ０９０４）から前記第二画像情報保持ステップ（Ｓ０９０６）までの順番は逆であってもよい。すなわち、プレビュー画像の撮像と第二画像の撮像の順番は問わない。次に、第一輝度情報としてプレビュー画像の輝度情報を取得する。この処理は、第一輝度情報取得手段によって実行される（プレビュー画像輝度情報取得ステップ Ｓ０９０７）。次に、第二画像の第二輝度情報を取得する。この処理は、第二輝度情報取得手段によって実行される（第二輝度情報取得ステップ Ｓ０９０８）。最後に、前記第二輝度情報取得ステップ（Ｓ０９０８）にて取得された第二輝度情報を、前記プレビュー画像輝度情報取得ステップ（Ｓ０９０７）にて取得されたプレビュー画像の輝度情報にて補正する。この処理は、第二輝度情報補正手段によって実行される（プレビュー画像輝度情報依存第二輝度情報補正ステップ Ｓ０９０９）。なお、本実施形態に係る撮像装置は、撮像装置の撮像機能使用時は常に、前記プレビュー第一制御ステップ（Ｓ０９０１）から前記プレビュー画像情報保持ステップ（Ｓ０９０３）を実行し、さらに前記プレビュー画像情報保持ステップ（Ｓ０９０３）にて保持するプレビュー画像の画像情報に基づいて、プレビュー表示部へプレビュー画像を出力し表示する処理を実行する。

（実施形態２：効果）本実施形態に係る撮像装置においては、第一画像としてサイズの小さいプレビュー画像を利用することができるので、例えば、カメラ付携帯電話等のように処理能力やメモリ容量に制限があるような撮像装置であっても、手ぶれの軽減された画像を得ることが可能である。
（実施形態３）

（実施形態３：概要）本実施形態は、第二画像を撮像する制御として、シャッタースピードを手ぶれ画像となりにくいシャッタースピードに制御することが可能であるため、第二画像の輝度情報を補正するのみによって手ぶれの軽減された画像を得ることが可能な撮像装置に関する。

（実施形態３：構成）本実施形態に係る撮像装置の機能ブロックを図１０に例示する。本実施形態に係る撮像装置の構成は、実施形態１にて説明の図２又は実施形態２に係る撮像装置の構成に「手ぶれ防止制御器」（１０１２）を加えた構成となる。図１０においては、実施形態２にて説明の撮像装置の構成に前記手ぶれ防止制御器（１０１２）を加えた構成を例示している。撮像装置（１０００）は、「撮像部」（１００１）と、「制御部」（１００２）と、「保持部」（１００３）と、「合成部」（１００４）と、「プレビュー表示部」（１０１０）と、を有する。また、前記撮像部（１００１）は、「プレビュー出力手段」（１０１１）を有する。また、前記制御部（１００２）は、「第一制御手段」（１００５）と、「第二制御手段」（１００６）と、を有する。また、前記合成部（１００４）は、「第一輝度情報取得手段」（１００７）と、「第二輝度情報取得手段」（１００８）と、「第二輝度情報補正手段」（１００９）と、を有する。また、前記第二制御手段（１００６）は、「手ぶれ防止制御器」（１０１２）を有する。

「手ぶれ防止制御器」（１０１２）は、第二画像を撮像する制御として、シャッタースピードを手ぶれ画像となりにくいシャッタースピードに制御する機能を有する。「手ぶれ画像となりにくいシャッタースピード」とは、一般的には１６ミリ秒程度以下のシャッタースピードである。ただし、この値に限定するものではない。手ぶれ防止制御器における具体的な処理を例示するフロー図を図１１に示す。通常の撮像装置においては周辺の明るさなどから適正露出となる露光時間を決定して撮像するが、この露光時間をＴｏとする。また、手ぶれ画像となりにくいシャッタースピードをＴｘとする。最初に、周辺の明るさ等から適正露光時間Ｔｏを検出する（ステップＳ１１０１）。次に、ステップＳ１１０１にて検出した適正露光時間ＴｏがＴｘよりも長い時間であるか判断する（ステップＳ１１０２）。ステップＳ１１０２での判断がＴｏのほうが長い時間であるとの判断であった場合には、第二画像の露光時間をＴｘに決定する（ステップＳ１１０３）。ステップＳ１１０２での判断がＴｏがＴｘ以下の時間であるとの判断であった場合には、第二画像の露光時間をＴｏに決定する（ステップＳ１１０４）。また、手ぶれ防止制御器の処理についてさらに具体的には、例えば、レンズ（１７０１）を通してＣＣＤ（１７０２）に当たる光量を測定することにより自動的に適正露光時間Ｔｏが決定され一時記憶メモリ（１７０５）などの所定の記憶領域に格納される。また、予め手ぶれ画像となりにくいシャッタースピードであるＴｘの値が一時記憶メモリ（１７０５）や記憶装置（１７０６）の所定の記憶領域に格納されている。このＴｏとＴｘの値を格納されている所定の記憶領域から読出し比較した結果が一時記憶メモリ（１７０５）などの所定の記憶領域に格納される。格納された比較結果を読出し、比較結果がＴｏ>Ｔｘを示す情報であれば、第二画像の露光時間の値を格納している所定の記憶領域にＴｘの値を書込み、比較結果がＴｏ<＝Ｔｘを示す情報であれば、第二画像の露光時間の値を格納している所定の記憶領域にＴｏの値を書込む。これにより、第二画像の露光時間が手ぶれ画像となりにくいシャッタースピードに制御されたことになる。また、手ぶれ防止制御器は、このような処理をＣＰＵ（１７０４）に実行させるためのプログラムを含んでいてもよい。

（実施形態３：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１にて説明の図７又は実施形態２に係る撮像装置の処理の流れと同様である。ただし、第二制御ステップにて第二画像を撮像する制御として、シャッタースピードを手ぶれ画像となりにくいシャッタースピードに制御することを特徴とする。

（実施形態３：効果）本実施形態に係る撮像装置においては、シャッタースピードを手ぶれ画像となりにくいシャッタースピードに制御して第二画像を撮像することが可能であるため、第二画像の輝度情報を補正するのみによって手ぶれのない画像を得ることができる。
（実施形態４）

（実施形態４：概要）本実施形態は、画素加算により第一画像を撮像することにより第一画像情報のデータ量を少なくすることが可能な撮像装置に関する。

（実施形態４：構成）本実施形態に係る撮像装置の機能ブロックを図１２に例示する。本実施形態に係る撮像装置の構成は、実施形態１にて説明の図２又は実施形態２に係る撮像装置又は実施形態３に係る撮像装置の構成に「画素加算撮像制御器」（１２１３）を加えた構成となる。図１２においては、実施形態３にて説明の撮像装置の構成に前記画素加算撮像制御器（１２１３）を加えた構成を例示している。撮像装置（１２００）は、「撮像部」（１２０１）と、「制御部」（１２０２）と、「保持部」（１２０３）と、「合成部」（１２０４）と、「プレビュー表示部」（１２１０）と、を有する。また、前記撮像部（１２０１）は、「プレビュー出力手段」（１２１１）を有する。また、前記制御部（１２０２）は、「第一制御手段」（１２０５）と、「第二制御手段」（１２０６）と、を有する。また、前記合成部（１２０４）は、「第一輝度情報取得手段」（１２０７）と、「第二輝度情報取得手段」（１２０８）と、「第二輝度情報補正手段」（１２０９）と、を有する。また、前記第一制御手段（１２０５）は、「画素加算撮像制御器」（１２１３）を有する。また、前記第二制御手段（１２０６）は、「手ぶれ防止制御器」（１２１２）を有する。

「画素加算撮像制御器」（１２１３）は、画素加算により第一画像を撮像するように制御する機能を有する。画素加算とは、例えば、図１３に示すように４つの画素を１画素に変換する方法であり、変換する際には４つの画素の画素値を足し合わせた値を１画素の画素値にする。例えば、４００×４００画素の画像において画素加算を行なうと２００×２００画素の画像となる。この画素加算のメリットは、元の画像は明るさが不足している画像であっても４つの画素の画素値を足し合わせて１画素の画素値とするため、画素加算により生成された画像は明るさが確保された画像となる。すなわち、元の画像はシャッター時間が短く露出不足の画像であってよい。また、例えば、高画素化ＣＣＤの場合、ＣＣＤ全体の大きさが大きくなるにつれて一つ一つの画素の大きさは小さくなっていくため一つ一つの画素に当たる光は少なくなっていく。すなわち、感度が低くなっていく。また、これを補正するために信号を増幅するとノイズも大きくなってしまうが、画素加算によれば、画像のサイズは小さくなるが信号を増幅することなく明るさを確保することができる。

（実施形態４：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１にて説明の図７又は実施形態２又は実施形態３に係る撮像装置の処理の流れと同様である。ただし、第一制御ステップ又はプレビュー第一制御ステップにて画素加算により第一画像を撮像するように制御することを特徴とする。

（実施形態４：効果）本実施形態に係る撮像装置においては、画素加算により第一画像を撮像することが可能であるため、第一画像のデータ量が少なくなり、第一画像情報を保持するためのメモリ容量が少なくて済む。
（実施形態５）

（実施形態５：概要）本実施形態は、複数画像間の動きベクトルを検出することが可能な撮像装置に関する。これにより、複数画像間に位置ずれがある場合に、位置ずれを検出し合成を行なうことが可能である。

（実施形態５：構成）本実施形態に係る撮像装置の機能ブロックを図１４に例示する。本実施形態に係る撮像装置の構成は、実施形態１にて説明の図２、実施形態２に係る撮像装置、実施形態３に係る撮像装置又は実施形態４に係る撮像装置の構成に「ベクトル検出手段」（１４１４）と、「ベクトル利用合成手段」（１４１５）とを加えた構成となる。図１４においては、実施形態４にて説明の撮像装置の構成に前記ベクトル検出手段（１４１４）と、前記ベクトル利用合成手段（１４１５）とを加えた構成を例示している。撮像装置（１４００）は、「撮像部」（１４０１）と、「制御部」（１４０２）と、「保持部」（１４０３）と、「合成部」（１４０４）と、「プレビュー表示部」（１４１０）と、を有する。また、前記撮像部（１４０１）は、「プレビュー出力手段」（１４１１）を有する。また、前記制御部（１４０２）は、「第一制御手段」（１４０５）と、「第二制御手段」（１４０６）と、を有する。また、前記合成部（１４０４）は、「第一輝度情報取得手段」（１４０７）と、「第二輝度情報取得手段」（１４０８）と、「第二輝度情報補正手段」（１４０９）と、「ベクトル検出手段」（１４１４）と、「ベクトル利用合成手段」（１４１５）とを有する。また、前記第一制御手段（１４０５）は、「画素加算撮像制御器」（１４１３）を有する。また、前記第二制御手段（１４０６）は、「手ぶれ防止制御器」（１４１２）を有する。

「ベクトル検出手段」（１４１４）は、前記複数画像間の動きベクトルを検出する機能を有する。「複数画像間の動きベクトルを検出する」とは、複数画像が撮像される間隔が広いとその間に手ぶれ等により画像どうしの位置がずれるため、その位置ずれの方向と量（動きベクトル）を検出するということである。検出した動きベクトルは、ベクトル利用合成手段（１４１５）にて複数画像により合成を行なう際に画像どうしの位置を合わせるために利用される。動きベクトルを検出する方法の一例として、例えば、ブロックマッチングなどの技術を利用するとよい。ブロックマッチングは一般的によく知られている画像マッチング処理技術であるが、図１５を用いてその仕組みを簡単に説明する。ブロックマッチングは、連続する二つの静止画像における部分画像の位置変化を求める手法の一つである。例えば、（ａ）の画像情報１の画像における斜線で示す格子状領域（１５０１）内の被写体画像が、（ｂ）の画像情報２の画像においてどの位置に移動しているか、を判断する場合を例示する。まず図１５（ｂ）の画像情報２の画像内から、前記格子状領域（１５０１）と同じ位置のブロックを中心として周囲所定個のブロック群で構成される探索範囲（１５０２）を決定する。そして探索範囲の中から画素値やその分布情報などを利用して、図１５（ａ）の格子状領域（１５０１）内の被写体画像と最も近似しているブロック（１５０３）を検出する。そしてその移動量を水平、垂直成分として、格子状領域（１５０１）における動きベクトル（１５０１ｎ）が検出される、という具合である。また、動きを検出する格子状領域（１５０１）を決定する方法として、エッジ抽出を行ない、輪郭のはっきりしている画像をより多く含むブロックを格子状領域（１５０１）として決定してもよい。また、前記複数画像の大きさが異なる場合には、大きい画像を小さい画像に合わせて縮小してからブロックマッチング等により動きベクトルを検出すればよい。

「ベクトル利用合成手段」（１４１５）は、前記ベクトル検出手段（１４１４）にて検出された動きベクトルを用いて前記合成をする機能を有する。すなわち、前記ベクトル検出手段にて検出された動きベクトルは数式２に含まれる位置ずれの動き量（Ｍｘ、Ｍｙ）を表すので、複数画像間の位置ずれをも考慮して合成を行なうことができる。

（実施形態５：処理の流れ）図１６は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。撮像装置は、例えばユーザによりシャッターが切られる等して被写体を撮像する度に、図１６のような処理を行なう。最初に、画素加算により第一画像を撮像するように制御する。この処理は、画素加算撮像制御器によって実行される（画素加算第一制御ステップ Ｓ１６０１）。次に、前記画素加算第一制御ステップ（Ｓ１６０１）にて制御された撮像条件にて第一画像としてプレビュー画像の撮像を行なう。この処理は、プレビュー出力手段によって実行される（画素加算制御プレビュー画像撮像ステップ Ｓ１６０２）。次に、前記画素加算プレビュー画像撮像ステップ（Ｓ１６０２）にて撮像されたプレビュー画像の画像情報を保持する。この処理は、保持部によって実行される（画素加算制御プレビュー画像情報保持ステップ Ｓ１６０３）。次に、第二画像を撮像する制御として、シャッタースピードを手ぶれ画像となりにくいシャッタースピードに制御する。この処理は、手ぶれ防止制御器によって実行される（手ぶれ防止第二制御ステップ Ｓ１６０４）。次に、前記手ぶれ防止第二制御ステップ（Ｓ１６０４）にて制御された撮像条件にて撮像を行なう。この処理は、撮像部によって実行される（手ぶれ防止制御第二画像撮像ステップ Ｓ１６０５）。次に、前記手ぶれ防止制御第二画像撮像ステップ（Ｓ１６０５）にて撮像された第二画像の画像情報を保持する。この処理は、保持部によって実行される（手ぶれ防止制御第二画像情報保持ステップ Ｓ１６０６）。なお、前記画素加算第一制御ステップ（Ｓ１６０１）から前記画素加算制御プレビュー画像情報保持ステップ（Ｓ１６０３）までと、前記手ぶれ防止第二制御ステップ（Ｓ１６０４）から前記手ぶれ防止制御第二画像情報保持ステップ（Ｓ１６０６）までの順番は逆であってもよい。すなわち、プレビュー画像の撮像と第二画像の撮像の順番は問わない。次に、第一輝度情報としてプレビュー画像の輝度情報を取得する。この処理は、第一輝度情報取得手段によって実行される（プレビュー画像輝度情報取得ステップ Ｓ１６０７）。次に、第二画像の第二輝度情報を取得する。この処理は、第二輝度情報取得手段によって実行される（第二輝度情報取得ステップ Ｓ１６０８）。次に、第一画像と第二画像の動きベクトルを検出する。この処理は、ベクトル検出手段によって実行される。また、この処理は、前記プレビュー画像輝度情報取得ステップ（Ｓ１６０７）又は第二輝度情報取得ステップ（Ｓ１６０８）よりも先に実行されてもよい（ベクトル検出ステップ Ｓ１６０９）。最後に、前記第二輝度情報取得ステップ（Ｓ１６０８）にて取得された第二輝度情報を、前記ベクトル検出ステップ（Ｓ１６０９）にて検出された動きベクトルを利用して、前記プレビュー画像輝度情報取得ステップ（Ｓ１６０７）にて取得されたプレビュー画像の輝度情報にて補正する。この処理は、ベクトル利用合成手段によって実行される（ベクトル利用合成ステップ Ｓ１６１０）。なお、本実施形態に係る撮像装置は、撮像装置の撮像機能使用時は常に、前記画素加算プレビュー第一制御ステップ（Ｓ１６０１）から前記画素加算制御プレビュー画像情報保持ステップ（Ｓ１６０３）を実行し、さらに前記画素加算制御プレビュー画像情報保持ステップ（Ｓ１６０３）にて保持するプレビュー画像の画像情報に基づいて、プレビュー表示部へプレビュー画像を出力し表示する処理を実行する。

（実施形態５：効果）本実施形態に係る撮像装置においては、複数画像間の動きベクトルを検出することが可能であるので、複数画像間に位置ずれがある場合であっても位置ずれを検出し合成を行なうことが可能である。

実施形態１に係る撮像装置の機能ブロック図 実施形態１に係る撮像装置の機能ブロック図 第一制御手段と第二制御手段にて制御される露光時間を示す図 合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す図 第二輝度情報補正手段における補正方法の具体例 実施形態１に係る撮像装置の処理の流れを示すフロー図 実施形態１に係る撮像装置の処理の流れを示すフロー図 実施形態２に係る撮像装置の機能ブロック図 実施形態２に係る撮像装置の処理の流れを示すフロー図 実施形態３に係る撮像装置の機能ブロック図 手ぶれ防止制御器における具体的な処理を例示するフロー図 実施形態４に係る撮像装置の機能ブロック図 画素加算を説明する図 実施形態５に係る撮像装置の機能ブロック図 ブロックマッチングを説明する図 実施形態５に係る撮像装置の処理の流れを示すフロー図 撮像装置の具体的な構成を例示する図

符号の説明

０１００ 撮像装置
０１０１ 撮像部
０１０２ 制御部
０１０３ 保持部
０１０４ 合成部
０２０５ 第一制御手段
０２０６ 第二制御手段
０２０７ 第一輝度情報取得手段
０２０８ 第二輝度情報取得手段
０２０９ 第二輝度情報補正手段

Claims (8)

1. 撮像部と、
   撮像部での撮像条件を制御する制御部と、
   制御部によって異なる撮像条件に制御されて短時間内に撮像された複数画像の画像情報を保持する保持部と、
   前記複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成する合成部と、
   を有し、
   前記制御部は、
   撮像する複数画像の一の画像である第一画像を、適正露出の画像となるように制御する第一制御手段と、
   撮像する複数画像の他の一の画像である第二画像を、比較的シャッタースピードを速くして撮像するように制御する第二制御手段と、
   を有し、
   前記合成部は、
   前記第一画像の第一輝度情報を取得する第一輝度情報取得手段と、
   前記第二画像の第二輝度情報を取得する第二輝度情報取得手段と、
   前記第二輝度情報を、前記第一輝度情報にて補正する第二輝度情報補正手段と、
   を有する撮像装置。
2. ファインダーとして利用するためのプレビュー表示部を有し、
   撮像部は、所定の時間間隔でプレビューのためにプレビュー表示部に対してプレビュー画像を出力するプレビュー出力手段を有し、
   前記第一制御手段によって制御されて撮像される第一画像は、前記プレビュー画像である請求項１に記載の撮像装置。
3. 第二制御手段は、第二画像を撮像する制御として、シャッタースピードを手ぶれ画像となりにくいシャッタースピードに制御する手ぶれ防止制御器を有する請求項１又は２に記載の撮像装置。
4. 第一制御手段は、画素加算により第一画像を撮像するように制御する画素加算撮像制御器を有する請求項１から３のいずれか一に記載の撮像装置。
5. 第一制御手段と、第二制御手段とは、第一画像情報が第二画像情報よりもデータ量が少なくなるように制御する請求項１から４のいずれか一に記載の撮像装置。
6. 前記合成部は、
   前記複数画像間の動きベクトルを検出するベクトル検出手段と、
   前記ベクトル検出手段にて検出された動きベクトルを用いて前記合成をするベクトル利用合成手段と、
   を有する請求項１から５のいずれか一に記載の撮像装置。
7. 撮像ステップと、
   撮像ステップでの撮像条件を制御する制御ステップと、
   制御ステップによって異なる撮像条件に制御されて短時間内に撮像された複数画像の画像情報を保持する保持ステップと、
   前記複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成する合成ステップと、
   を有し、
   前記制御ステップは、
   撮像する複数画像の一の画像である第一画像を、適正露出の画像となるように制御する第一制御ステップと、
   撮像する複数画像の他の一の画像である第二画像を、比較的シャッタースピードを速くして撮像するように制御する第二制御ステップと、
   を有し、
   前記合成ステップは、
   前記第一画像の第一輝度情報を取得する第一輝度情報取得ステップと、
   前記第二画像の第二輝度情報を取得する第二輝度情報取得ステップと、
   前記第二輝度情報を、前記第一輝度情報にて補正する第二輝度情報補正ステップと、
   を有する撮像方法。
8. ファインダーとして利用するためのプレビュー表示ステップを有し、
   撮像ステップは、所定の時間間隔でプレビュー表示ステップにおけるプレビューのためにプレビュー画像を出力するプレビュー出力ステップを有し、
   前記第一制御ステップによって制御されて撮像される第一画像は、前記プレビュー画像である請求項７に記載の撮像方法。

Images