JP6708490B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、画像処理方法関し、特に、画像のズーム倍率を補正するための方法に関する。

レンズユニットを有するデジタルカメラなどでは、ズームリングを手動で回転させるとズームインやズームアウトをしながら動画を撮像することができる。更に、スマートフォンなどのカメラ機能付き携帯電話では、タッチパネル上で２本の指を押し広げるように動かすピンチアウト操作をすることで、ユーザの指に合わせて画像を拡大または縮小する電子ズームをしながら動画を撮影することができる。しかしながら、これらの操作を行う際に、ズーム速度が不均一となってしまうことがある。たとえば、ズームリングを手動で回転させる際は、回転速度が安定せず、ズーム速度が不均一な動画となってしまう場合がある。または、ピンチアウトを均一の速度でゆっくりと行うことは容易ではなく、やはりズーム速度が不均一な動画となってしまう場合がある。

上記の課題に対して、特許文献１では、ズーム速度が不均一な動画に対して、各フレームの画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する技術が開示されている。

特開２０１１−４０９４５号公報

しかし、ズーム速度が不均一な動画に対し、各フレームの画像を拡大または縮小することにより、ズーム速度が安定した滑らかな動画を生成する際に、各フレームの画像を拡大する拡大率が高過ぎると画像がぼけてしまうといった課題がある。また、各フレーム画像を縮小する縮小率が高過ぎると、生成したい出力画像サイズよりも小さくなってしまい、画像情報が欠落する領域が発生してしまうといった課題がある。

前述の特許文献１では、各フレーム画像を拡大又は縮小し滑らかな動画を生成する例について記載されているが、拡大する際の画像のぼけや縮小する際の画像情報の欠落領域を考慮した滑らかな動画の生成については言及がない。

本発明は、上記の問題点を鑑みてなされたものであり、画質の悪化を抑制しつつ、ズーム速度の安定性を改善した動画を生成することを目的とする。

本発明は、ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像の各々に対して、前記複数の画像を処理後に再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小を行う変倍処理、および、前記撮像した複数の画像の一部を用いて置き換える置換処理の、少なくともいずれかを行う画像処理工程を有し、前記画像処理工程において、前記複数の画像の各々に対して、第１の条件を満たす場合に前記変倍処理を行い、前記第１の条件とは異なる第２の条件を満たす場合に前記置換処理を行うことを特徴とする画像処理方法を提供するものである。

本発明によれば、ズーム動作しながら撮像した動画を、画像の画質の悪化が少なく、かつ、画像のズーム倍率の変化を滑らかにすることができる。

本発明におけるデジタルカメラの構造を示すための図である。 第１の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 第１の実施形態におけるズーム倍率と時間との関係を説明するための図である。 本発明における縮小処理を説明するための図である。 本発明における拡大処理およびトリミング処理を説明するための図である。 第１の実施形態における置き換える処理を説明するための図である。 第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 第２の実施形態における算出したデジタルカメラ１００の位置を説明するための図である。 第３の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 第３の実施形態における第１の画像と第２の画像との信号値の比較を説明するための図である。 第３の実施形態における非動体領域と動体領域とを示す図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、ズーム動作を行って撮像された動画を取得可能で、画像に対して拡大および縮小処理を行うことができる画像処理装置であれば、本発明を適用できる。また、以下では、ズームイン（望遠側へのズーム動作）の場合について説明するが、ズームアウト（広角側へのズーム動作）の場合にも適用することができる。また、ここでは、動画撮像時にユーザがズームリングを操作することによってズームレンズが駆動された場合の例について説明を行うが、これに限定されるわけではない。ズームレバーの操作によってズームレンズの駆動を行う場合や、ピンチアウトの操作によって画像を拡大または縮小処理する電子ズームを行う場合にも、本発明を適用することができる。

（第１の実施形態）
デジタルカメラ１００は、静止画および動画を撮像することができ、かつ、撮像中、ズーム動作が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行う変倍処理を行うことができる。図１は本実施形態に係るデジタルカメラ１００の構造を示すブロック図である。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。ユーザによる指令も、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、予めの設定に基づいて、画像処理の指令を出す。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の合焦位置を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。本実施形態では、光学系１０３によるズーム動作は、前述したように、操作部１１０に含まれるズームリングをユーザが操作することによって行われる。光学系１０３には、ズームレンズの位置を検知するセンサーが設けられており、このセンサーの出力が制御部１０１に送信される。そのため、ユーザがズームリングを操作することでズーム動作を行った場合であっても、このセンサーの出力に基づいて、制御部１０１は光学系１０３のズーム倍率を把握することができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサーやＣＭＯＳセンサーなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、動画を撮像することができる。

ＲＯＭ１０５は、読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。特に、画像処理部１０７が、撮像部１０４または後述する内蔵メモリ１０９に保存されている画像に対して、電子ズームで拡大処理または縮小処理を行う変倍処理をすることができる。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。また、操作部１１０は、光学系１０３に付属しているズームリングなども含む。ユーザによってズームリングの操作が行われると、このズームリングに連結された機構によって、制御部１０１を介さずに、光学系１０３に含まれるズームレンズの位置が変更される。

装置動き検出部１１１が、ジャイロセンサーによって構成され、デジタルカメラ１００の動きを検出するデバイスであり、デジタルカメラ１００の単位時間当たりの角度変化、すなわち角速度に基づいてヨー方向とピッチ方向との動きを検出する。

図２は本実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。

ユーザがズームリングを動かしてズーム動作を行った動画を撮影、あるいは、このように撮影された動画を内蔵メモリ１０９から読み出すと、制御部１０１は、図２のフローチャートに示す処理を始める。動画の撮影時には、動画のフレームごとに制御部１０１が検知したズーム倍率の情報が、動画ともに内蔵メモリ１０９に格納されるものとする。なお、図２に示す処理は、撮像の直後に行ってもよいし、撮像した動画の再生時に行ってもよい。

ステップＳ２０１では、撮像した画像のそれぞれにおいて、制御部１０１が、撮像ズーム倍率を取得する。なお、撮像時に光学系１０３による光学ズームのみならず、画像処理部１０７において電子ズームが行われた場合は、光学ズームによるズーム倍率と電子ズームによるズーム倍率を掛け合わせたズーム倍率を撮像ズーム倍率としてフレームごとに取得する。

ステップＳ２０２において、制御部１０１が、ズーム倍率の変化を滑らかにするための補正ズーム倍率を算出する。補正ズーム倍率の算出、公知の方法を用いてよく、以下でその一例を簡単に説明する。

図３は、ズーム倍率と時間との関係を示す図である。折線３０１は、撮像ズーム倍率の変化を表す。時刻ｔ０から時刻ｔ１までの間に、ユーザが被写体の像を拡大させるようにズーム動作を行い、撮像ズーム倍率が大きくなる。時刻ｔ１から時刻ｔ３までの間に、ユーザがズーム動作を行わず、撮像ズーム倍率が一定に保っている。時刻ｔ３から時刻ｔ４までの間に、ユーザが再び、ユーザが被写体の像を拡大させるようにズーム動作を行い、撮像ズーム倍率が大きくなる。

ユーザがズーム動作をするとき、一回の操作で、レンズリングを回しきれないことなどで、複数回に分けて操作しなければならない場合がある。上述のように、ユーザがズーム動作をするとき、一時止まるようなことがしばしば起きる。このような一時停止は、撮像した動画で不自然さを生じる原因になるので、ズーム動作を滑らかにする必要がある。その一例として、以下のように処理を行う。時刻ｔ０から時刻ｔ４までの間、ズーム倍率が一定の変化率で変化するように、補正ズーム倍率を算出し、ズーム倍率の調整を行う。直線３０２は、補正ズーム倍率を表す。各々の時刻で撮像した画像のズーム倍率を、補正ズーム倍率になるように、制御部１０１が、拡大または縮小の処理を行う。時刻ｔ２のように、撮像ズーム倍率と補正ズーム倍率とが等しいとき、制御部１０１が、拡大または縮小の処理を行わない。

なお、以上の補正ズーム倍率は、時間に比例しているが、これは一例にすぎず、必ずしも時間に比例するようになるように補正ズーム倍率を算出するわけではない。補正ズーム倍率は、撮像ズーム倍率の変化にある程度沿うような平滑化曲線でも良い。

次に、ステップＳ２０３に進み、撮像ズーム倍率と補正ズーム倍率とを比較する。撮像ズーム倍率と補正ズーム倍率との違いが大きすぎる場合、画像に対して拡大縮小処理をすると、画質が悪化するおそれがある。一例として、撮像ズーム倍率と補正ズーム倍率との比を算出し、予め定められた閾値と比較し、閾値未満の場合は、ステップＳ２０４に進み、閾値以上の場合、ステップＳ２０５に進む。ここで、計算上の便宜のため、撮像ズーム倍率と補正ズーム倍率との比の算出において、常に大きいほうを被除数とし、小さいほうを除数としてよい。

上述する閾値の決め方について、次に、例をあげて説明する。

補正ズーム倍率が撮像ズーム倍率よりも大きい場合、画像のズーム倍率を補正ズーム倍率にするために、撮像した画像を拡大する処理が必要である。閾値を決めるために、画像を拡大する際に生じる画像のぼけが許容できる限界を算出する必要がある。たとえば、撮像した画像において、微分フィルタやソーベルフィルタに代表されるエッジ検出フィルタ処理により、エッジ強度を算出する。こうしたエッジ強度を用いて、下記の（式１）に従い、拡大処理をする際の閾値を決める。なお、ａおよびｂは定数である。
拡大処理時の閾値＝（ａ÷エッジ強度＋ｂ） ・・・（式１）

エッジ強度が小さい場合は、平坦部から構成されている画像であるため、拡大してもぼけが目立ちにくい。そのため、閾値が高くなるようする。逆に、逆にエッジ強度が大きい場合は、テクスチャ部から構成されている画像であるため、拡大するとぼけが目立ちやすい。これを解消するために、閾値を小さくする。

補正ズーム倍率が撮像ズーム倍率よりも小さい場合、画像のズーム倍率を補正ズーム倍率にするために、撮像した画像を縮小する処理が必要である。図４は、縮小する際の閾値の決め方を説明するための図である。図４の領域４００は、各々の画像を撮像する際に、撮像部１０４が撮像し、制御部１０１などに入力した画像であり、元画像と呼ぶ。領域４０１は、撮像した画像を表示部１０８に表示するとき、表示する範囲に相当する。ここで、領域４０１を表示領域と呼ぶ。本実施形態では、ズーム倍率の変化を滑らかにするために画像を縮小することを想定しているため、画像全体よりも小さな領域４０１に相当する画素数からなる画像データを表示領域に設定している。画像処理部１０７が、画像を縮小するとき、表示領域のサイズよりも画像が小さくなるように縮小してしまうと、画像の周囲に空白領域が出る。これを防ぐために、縮小処理をする際の閾値を、（式２）のように設定する必要がある。
縮小処理時の閾値＝（元画像のサイズ）÷（表示領域のサイズ） ・・・（式２）

上記画像の水平のサイズと垂直のサイズの両方において、異なる計算結果が出る場合、どちらか計算結果が小さいほうを上記の閾値とする。

上述のように、制御部１０１は、各々の画像が、拡大の処理と縮小の処理とどちらをされるかに応じて、異なる閾値の決め方を使い、閾値を設定する。

ステップＳ２０３で、撮像ズーム倍率と補正ズーム倍率との違いが閾値未満の場合、ステップＳ２０４に進む。ステップＳ２０４で、制御部１０１は、撮像した画像のズーム倍率を、補正ズーム倍率になるように、拡大処理または縮小処理を行い、新しい画像を生成する。以下では、ステップＳ２０４で生成した画像を、第１の画像と呼ぶ。

図５は、本実施形態における拡大処理を示す図である。図５（ａ）は、撮像ズーム倍率で撮像した画像データであり、この画像に対して拡大処理を行う。まず、補正ズーム倍率に応じ、拡大処理を行う。このときの出力が図５（ｂ）の拡大後の画像データとなる。しかしながらこの画像データはサイズが大きくなったので、制御部１０１がサイズを図５（ａ）と変わらないようにトリミング処理を行う。制御部１０１がトリミング処理を行った後の出力が図５（ｃ）となり、トリミングを行う領域は、図５の領域５０１である。領域５０１の位置の決め方は、主被写体や、追尾被写体を検出し、トリミング位置の中心にする方法や、前後フレームの中心位置など様々な決め方が存在する。縮小処理を行う場合、同様に、主被写体や追尾被写体などの位置に応じて、トリミング処理を行う領域を調整することができる。以上の処理で第１の画像が生成できる。

なお、第１の画像の生成において、拡大縮小処理を行うため、ノイズの大きさが変わることがある。動画の複数のフレームの画像のノイズレベルが異なると、視聴者に違和感を与えるおそれがある。複数の画像にわたりノイズレベルが同じように保つために、必要に応じて、ノイズに対して補正処理を行ってよい。例えば、第１の画像に対してローパスフィルタ処理を行い、処理前後の画像の差分情報からノイズ成分を検出する。検出したノイズ成分に対して、拡大処理を行い、第１の画像を生成した場合には拡大処理前の画像に戻す縮小率で縮小処理をノイズ成分に対して行う。そして、検出した第１の画像のノイズ成分に対して縮小処理を施したノイズ成分に置き換える。あるいは、ノイズレベルの低い第１の画像に対して、ランダムノイズを付加する操作を行う。あるいは、第１の画像のノイズ成分に対して、第１の画像のフィルタ処理後の画像データで置き換えるようなノイズ低減処理を施してもよい。

ステップＳ２０３で、撮像ズーム倍率と補正ズーム倍率との違いが閾値よりも大きい場合、ステップＳ２０５に進む。ステップＳ２０５で、制御部１０１は、別の時刻で撮像した画像を用いて、撮像した画像に対して置き換える置換処理を行う。ステップＳ２０５で置き換えに用いた画像を、以下では第２の画像と呼ぶ。ステップＳ２０５での処理について、図３と図６とを用いて説明する。

たとえば、制御部１０１が、撮像部１０４が時刻ｔ３で撮像した画像に対して、撮像ズーム倍率と補正ズーム倍率との比較を行い、閾値以上と判断したとする。補正ズーム倍率のまま拡大処理を行うと、ぼけなどで欠陥のある画像がでるおそれがある。かわりに、時刻ｔ３の画像の補正ズーム倍率と等しい撮像ズーム倍率を有する画像（図３の点３０５が示す）を用いて置き換える。

上述した処理で、異なる時刻で撮像した第２の画像で置き換えることで、画像のぼけや空白などの欠陥を防ぐことができる。

図６では、複数の画像にわたって置き換えの様子を示す図である。図６（ａ）は、ズーム動作中、撮像部１０４が時間的に連続して撮像した画像からなる画像群を示し、図６（ｂ）は、前述したステップＳ２０４またはステップＳ２０５の処理で生成した第１の画像または第２の画像からなる画像群を示す。画像６０１乃至６０８の上に書いてある数字は、撮像ズーム倍率を示す。画像６１１乃至６１８の上に書いてある数字は、補正ズーム倍率を意味する。画像６０１乃至６０３はズーム倍率が変わっていないため、ズーム動作を滑らかにするには、前述したようなズーム倍率の調整をする必要がある。ここでは、画像６０１乃至６０８のズーム倍率を、公差が１で初項が９の等差数列になるように調整することを例とする。そうすると、各々の画像の倍率は、図６（ｂ）の画像６１１乃至６１８の上に書いてある数字の倍率になる。

ここで、まず、画像６０１乃至６０８のそれぞれを、第１の画像を生成する場合の拡大率（ステップＳ２０３における撮像ズーム倍率と補正ズーム倍率との比）を算出する。この拡大率を、制御部１０１が、前述した予め定められた閾値と比較し、第１の画像を生成するか、第２の画像を生成するかを決める。ここで、閾値を１．３と仮定する。

画像６０１の撮像ズーム倍率と補正ズーム倍率との比は９÷８＝１．１２５＜１．３なので、制御部１０１は、画像６０１の処理において、第１の画像を生成することを決める。つまり、制御部１０１は、画像６０１を、補正ズーム倍率まで拡大処理を行い、画像６１１を生成する。同様な処理は、撮像ズーム倍率と補正ズーム倍率との比が閾値未満な画像６０２、６０６、６０７および６０８にも適用する。

一方、画像６０３の撮像ズーム倍率と補正ズーム倍率との比は１１÷８＝１．３７３≧１．３なので、制御部１０１は、画像６０３の処理において、第１の画像を生成することを決める。つまり、制御部１０１は、画像６０３の補正ズーム倍率と等しい撮像ズーム倍率を持つ画像６０６を、画像６０３の処理における第２の画像６１３として置き換える。同様な処理は、撮像ズーム倍率と補正ズーム倍率との比が閾値以上の画像６０４、６０５および６０６にも適用する。

上述した処理によれば、撮像ズーム倍率と補正ズーム倍率との比較を行い、比較の結果に応じて、第１の画像と第２の画像とを選択的に生成し、滑らかなズーム動作を実現できる。ただし、連続しない時間で第１の画像と第２の画像とを撮像したため、第１の画像と第２の画像とは画質に差が出ることがある。これを解決するために、一部の画像に対して、各種画像処理を行う必要な場合がある。たとえば、公知技術である歪曲収差補正、周辺光量補正、明るさ補正、ホワイトバランス補正や幾何変換処理などがあげられる。制御部１０１が、時間的に連続するステップＳ２０４またはステップＳ２０５で処理後の画像を比較し、適宜必要な画像処理を行う。

なお、上記の例では、補正ズーム倍率と等しい撮像ズーム倍率を有する画像を、そのまま第２の画像として用いるが、これに限られるわけではない。たとえば、図６で示した例では、処理の対象となる画像６０５に対して、補正ズーム倍率と等しい撮像ズーム倍率を持つ画像６０８でなく、画像６０７を用いて置き換えを行う。その場合、画像６０７の撮像ズーム倍率は画像６０５の補正ズーム倍率と異なるため、直接置き換えを行わず、画像６０７を画像６０５の補正ズーム倍率まで拡大処理をしてから置き換えを行う。このような方法は、撮像時のブレなどで、画像６０８に欠陥などがあり、直接使わないほうが好ましいときは有用である。また、画像６０８を用いて置き換えと、画像６０７を拡大してから置き換えと、両方の置き換えの方法を用意し、ユーザに選択させてもよい。

第１の実施形態によれば、ズーム動作しながら撮像した複数の画像に対して、ズーム倍率の調整し、一部の画像に異なる時刻で撮像した画像を使って置換処理を行うことで、滑らかなズーム動作を実現し、ズーム倍率の調整による画質の悪化を防ぐことができる。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、撮像ズーム倍率と補正ズーム倍率との違いが閾値未満のとき、直接第１の画像を生成するのではく、制御部１０１は、どちらの画像を生成するのかを選択させる。図７は、第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。以下では、第２の実施形態を説明する。なお、第１の実施形態と同様なところは、省略する。

ステップＳ７０１では、制御部１０１は、第１の実施形態のステップＳ２０１と同じように、撮像ズーム倍率を取得する。ステップＳ７０２では、制御部１０１は、第１の実施形態のステップＳ２０２と同じように、補正ズーム倍率を算出する。ステップＳ７０３では、制御部１０１は、第１の実施形態のステップＳ２０３と同じように、撮像ズーム倍率と補正ズーム倍率との違いを算出し、予め定められた閾値と比較する。

ステップＳ７０３で、制御部１０１は、撮像ズーム倍率と補正ズーム倍率との違いが閾値以上だと判断した場合、ステップＳ７０５に移り、第２の画像を生成する。

ステップＳ７０３で、制御部１０１は、撮像ズーム倍率と補正ズーム倍率との違いが閾値未満だと判断した場合、ステップＳ７０４に移る。ここで、制御部１０１は、第１の画像を生成すると判断した場合、ステップＳ７０６に進み、第１の画像を生成する。制御部１０１は、第１の画像を生成しないと判断した場合、ステップＳ７０５に進み、第２の画像を生成する。

ステップＳ７０４で、画像を選択する方法として、ユーザに１枚１枚を提示し選ばせる方法があげられる。ただし、このような方法はユーザにとって煩わしい。

以下では、制御部１０１がどちらの画像を生成するのか、自動判断する例を説明する。デジタルカメラ１００が、複数の画像を撮像している中で、ブレなどにより、大きく動いて、その後、ユーザの操作により元の場所に戻すことを想定する。このような場合、デジタルカメラ１００の装置動き検出部１１１が、速度情報を検出する。制御部１０１が、検出した速度情報に基づいて、演算を行い、位置情報を算出する。図８は、算出した位置情報と時間との関係の一例を示す。期間８０１では、ユーザがデジタルカメラ１００の移動が小さくほぼ位置に収まった状態でズーム撮像している。期間８０２では、手振れもしくは、なんらかの要因でデジタルカメラ１００が大きく動いて、それにデジタルカメラ１００の位置を戻す操作を行っている期間である。期間８０３のでは元の位置に戻ってカメラを動かさないように撮像している。この場合、期間８０２で、ユーザが意図した被写体が写っていない可能性がある。そのため、期間８０２もしくは、所定の閾値よりも算出した距離情報が大きくなった（横線８１１を超えた）区間で、制御部１０１が第２画像を生成することを選択する。

前述した自動判断の方法では、撮像ズーム倍率と補正ズーム倍率との違いが閾値以上と判断した場合、さらに、撮像時、制御部１０１は、装置動き検出部１１１が検出した速度情報を通じて、ブレがあるかどうかを判断する。ブレがある場合は、ステップＳ７０５に進み、第２の画像を生成する。

第２の実施形態によれば、撮像ズーム倍率と補正ズーム倍率との違いが閾値以上と判断した場合、第１の画像の生成に至るまで、さらに１回判断条件を設けることができる。このような設定で、ブレなどの影響を防ぐことができ、ズーム倍率調整後の画像の画質をさらによくすることができる。

（第３の実施形態）
第３の実施形態は、第１の実施形態と異なり、動体があるかどうかを判断し、動体がある場合、第２の画像を生成しない。図９は、第３の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。以下では、第３の実施形態を説明する。なお、第１の実施形態または第２の実施形態と同様なところは、省略する。

ステップＳ９０１では、制御部１０１は、第１の実施形態のステップＳ２０１と同じように、撮像ズーム倍率を取得する。ステップＳ９０２では、制御部１０１は、第１の実施形態のステップＳ２０２と同じように、補正ズーム倍率を算出する。ステップＳ９０３では、制御部１０１は、第１の実施形態のステップＳ２０３と同じように、撮像ズーム倍率と補正ズーム倍率との違いを算出し、予め定められた閾値と比較する。

ステップＳ９０３で、撮像ズーム倍率と補正ズーム倍率との違いが予め定められた閾値未満の場合、ステップＳ９０６に進み、制御部１０１は、第１の画像を生成する。

ステップＳ９０３で、撮像ズーム倍率と補正ズーム倍率との違いが予め定められた閾値以上の場合、ステップＳ９０４に進む。ステップＳ９０４で、第１の実施形態でのステップＳ２０４とステップＳ２０５と同じ方法で、第１の画像と第２の画像とを両方生成する。

次に、ステップＳ９０５に進み、画像に動体があるかどうかを判断する。動体がある場合、異なる時刻の画像で置き換えると、動画のフレームの時系列が入れ替わる可能性があり、不自然な動画になるおそれがある。これを理由に、動体があるとき、第２の画像を選択しなく第１の画像を選択する必要がある。

上述したように、ステップＳ９０５で、制御部１０１は、動体がないと判断したとき、ステップＳ９０７に進み、第２の画像を選択する。ステップＳ９０５で、制御部１０１は、動体があると判断したとき、ステップＳ９０８に進み、第１の画像を選択する。以下では、ステップＳ９０５での制御部１０１における動体の判断について、例をあげながら説明する。

図１０は、動体の判断を説明するための図である。

ステップＳ９０５では、ステップＳ９０４で取得した第１の画像と第２の画像とを比較し、制御部１０１は、動体があるかどうかを判断する。判断の方法の一例としては第１の画像と第２の画像のフレーム間の信号値の差を算出する。

例えば図１０（ａ）は、動体が含まれている時の画像データの信号値の例を示している。第１の画像の信号値１００１は、実線に示し、第２の画像の信号値１００２は破線に示す。横軸は水平または垂直の画像データの座標を表し、縦軸は画像データの信号値を表す。

図１０（ａ）で示したグラフでは、範囲１０１１において、第１の画像の信号値１００１と第２の画像の信号値１００２との差が著しいので、範囲１０１１において、動体が存在すると予想できる。制御部１０１に、予め信号値の違いの閾値を設け、閾値以上となる領域が検出された場合、動体が存在すると判断する。

ただし、たとえば、図１０（ｂ）で示したグラフでは、全範囲にわたって、第１の画像の信号値１００３と第２の画像の信号値１００４との差が一定に保つ場合、ＡＥや天候の変化など動体以外が起因とする可能性が高い。このような場合、制御部１０１が、動体が存在しないと判断する。

第１の画像と第２の画像との信号値を比較する際に、第１画像と第２画像とのどちらか一方または両方に対して。ローパスフィルタ処理やハイパスフィルタ処理を施してから差を取ることも行っても良い。これにより、第１の画像と第２の画像との保持している周波数帯域の違いを除外した信号値の差を取得することができる。

このように第１の画像と第２の画像の信号値を比較することによって、動体を検出することができる。検出の結果に応じて、制御部１０１は、第１の画像か第２の画像かを選択する。

なお、本発明は、以上の記述により限定されず、その要旨の範囲内でさまざまな変形および変更が可能である。以下では、動体が画像の一部のみに存在し、その一部に対応する第２の画像の部分と、その一部以外に対応する第１の画像の部分とを用いて画像を合成する方法について説明する。

たとえば、第１の画像と第２の画像で信号値の差があると判定された場合に、信号値の差が発生した領域に対して第２の画像を用いて、その領域以外の領域に対して第１の画像を用いて合成するような操作を行っても良い。図１１は、第１の画像と第２の画像とを用いる合成を示す。信号値の差が検出された領域１１０２（非動体領域）は、第１の画像を用いて合成し、信号値の差が検出されていない領域１１０１（動体領域）は、第２画像を用いて合成した画像を生成することもできる。これにより、動体が検出されなかった領域に対しては画像の解像感が失われないシャープな画像を出力することができる。

第３の実施形態によれば、第１の画像と第２の画像とを両方生成し、信号値を比較することにより動体を検出することができる。さらに、動体を検出した場合、第１の画像を選択し、不自然な動画を生成することを防ぐことができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

また、以上の説明では、ズーム動作が光学ズーム動作であるということをもとに説明するが、これに限定するわけでない。たとえば、ユーザが手動で、動画の撮像中、タッチパネルを操作することで、電子ズームを行うことができる。こうした電子ズームでの動作のムラを調整しようとするとき、本発明を用いることもできる。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部
１１１ 装置動き検出部

Claims (12)

1. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像の各々に対して、前記複数の画像を処理後に再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小を行う変倍処理、および、前記撮像した複数の画像の一部を用いて置き換える置換処理の、少なくともいずれかを行う画像処理工程を有し、
   前記画像処理工程において、前記複数の画像の各々に対して、第１の条件を満たす場合に前記変倍処理を行い、前記第１の条件とは異なる第２の条件を満たす場合に前記置換処理を行うことを特徴とする画像処理方法。
2. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像の各々に対して、前記複数の画像を処理後に再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小を行う変倍処理、および、前記撮像した複数の画像の一部を用いて置き換える置換処理の、少なくともいずれかを行う画像処理工程を有し、
   前記画像処理工程において、
   前記複数の画像の各々のうち、第１の条件を満たす画像に対して、前記変倍処理を行うことで第１の画像を生成して出力し、
   前記複数の画像の各々のうち、第２の条件を満たす画像に対して、前記変倍処理および前記置換処理を行うことで第２の画像および第３の画像を生成し、前記第２の画像と前記第３の画像のいずれかを出力するか、あるいは、前記第２の画像と前記第３の画像を合成した画像を出力することを特徴とする画像処理方法。
3. 動体の検出工程と第１の選択工程とを有し、
   前記第１の選択工程において、前記動体の検出工程において前記画像に動体を検出した場合、第２の画像を選択し、選択した画像の処理後の画像として出力することを特徴とする請求項２に記載の画像処理方法。
4. 動体の検出工程と画像の合成工程とを有し、
   前記動体の検出工程において、前記画像の一部の領域から動体を検出した場合、
   前記画像の合成工程において、前記画像の一部の領域に対応する第２の画像の部分と、前記画像の一部の領域以外の領域に対応する第１の画像の部分とを用いて、画像を合成し、処理後の画像として出力することを特徴とする請求項２に記載の画像処理方法。
5. 前記動体の検出工程において、第１の画像と第２の画像とを比較することによって、動体を検出することを特徴とする請求項３または４に記載の画像処理方法。
6. 補正ズーム倍率を生成する工程をさらに有し、
   前記置換処理は、前記複数の画像の少なくとも一部の画像を、前記置き換える処理の対象となる画像の前記補正ズーム倍率と等しい撮像ズーム倍率を有する画像に置き換えるか、
   または、ほかの画像のズーム倍率を、前記画像の補正ズーム倍率と等しくなるように、拡大縮小の処理を行い、前記拡大縮小の処理の後の画像に置き換えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記補正ズーム倍率は、前記撮像ズーム倍率より滑らかに変化することを特徴とする請求項６に記載の画像処理方法。
8. 予めズーム倍率の違いの閾値を定める工程を有し、
   前記第１の条件は、
   前記補正ズーム倍率と前記撮像をするときの撮像ズーム倍率との違いが、
   前記ズーム倍率の違いの閾値を定める工程において定められたズーム倍率の違いの閾値未満であることを特徴とする請求項６または７に記載の画像処理方法。
9. 第２の選択工程を有し、
   前記第１の条件とは、処理の対象となる画像が前記補正ズーム倍率と前記撮像ズーム倍率との違いが前記ズーム倍率の違いの閾値未満の画像で、かつ、前記第２の選択工程において選択されることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理方法。
10. 撮像部を用いて画像を撮像する画像の撮像工程と、
    前記撮像部の動きに関する情報を検出する検出工程とを有し、
    前記第２の選択工程において、前記画像の撮像工程において撮像する際に前記検出工程において検出された前記撮像部の動きに関する情報に基づいて画像を選択することを特徴とする請求項９に記載の画像処理方法。
11. 前記第２の条件は、前記補正ズーム倍率と前記撮像ズーム倍率との違いが、前記ズーム倍率の違いの閾値以上であることを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理方法。
12. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像の各々に対して、前記複数の画像を処理後に再生するときのズーム倍率の変化が滑らかになるように、拡大または縮小を行う変倍処理、および、前記撮像した複数の画像の一部を用いて置き換える置換処理の、少なくともいずれかを行う画像処理手段を有し、
    前記画像処理手段は、前記複数の画像の各々に対して、第１の条件を満たす場合に前記変倍処理を行い、前記第１の条件とは異なる第２の条件を満たす場合に前記置換処理を行うことを特徴とする画像処理装置。

Images