JP5387701B2 - 画像処理装置 - Google Patents

Description

本発明は、動画像を再生可能な画像処理装置に関するものである。

撮影シーンモードがポートレートモードに設定されると自動的に画像ぼけの付加を許可し、半押し操作信号が入力されている場合にスルー画像に対して画像ぼけを付加し、半押し操作信号が入力されなくなるとスルー画像に対する画像ぼけの付加を解除する画像処理装置が提案されている（例えば、特許文献１参照）。この画像処理装置は、主要被写体の背景領域に対して画像ぼけを付加し、全押し操作信号に応じて得られる本撮影画像に対し、全押し操作信号が入力される直前のスルー画像に付加していた画像ぼけと同様の画像ぼけを付加する。

特開２００７−１２４２７９号公報

しかしながら、上述の特許文献１には、主要被写体の背景領域等の所定領域に対して画像ぼけを付加する技術は開示されているが、画像全体に対して画像ぼけを付加する処理と該画像を拡大する処理を同時に行う技術については開示されていない。

また、近年、例えばズームインされた非合焦状態からズームアウトしつつ被写体に合焦させた状態へ徐々に変化する動画像等のような、印象的な映像効果を有する動画像を、簡単に取得可能な技術が所望されている。しかしながら、上述のような印象的な映像効果を有する動画像を、使用者がビデオカメラ等を手動操作して撮影しようとした場合には高度な操作技術を要していた。

本発明の目的は、撮影済の動画像から印象的な映像効果を有する動画像を容易に作成することができる画像処理装置を提供することである。

本発明の画像処理装置は、記録媒体に記録済みの動画像に対して、電子的なズーム効果の付与又は除去を行う第１画像処理と、電子的なぼかし効果の付与又は除去を行う第２画像処理との画像処理を施す画像処理部と、前記画像処理部により前記第１画像処理が施される、前記動画像中の第１処理区間と、前記第２画像処理が施される、前記動画像中の第２処理区間を設定する第１設定部と、前記動画像中の前記第１処理区間に対して前記第１画像処理によって付与される時系列に変化するズーム倍率と、前記第２処理区間に対して前記第２画像処理によって付与される時系列に変化するぼかし量とを設定する第２設定部と、前記第１設定部および前記第２設定部の設定内容に基いて前記画像処理部により前記画像処理を施された動画像を含む動画像データを作成する動画像データ作成部と、を備え、 前記第１設定部により設定される前記第１処理区間と前記第２処理区間とは、連続し、または、少なくとも一部が重なっていることを特徴とする。

本発明の画像処理装置によれば、撮影済の動画像から印象的な映像効果を有する動画像を容易に作成することができる。

実施の形態に係る画像処理装置のシステム構成を示すブロック図である。 実施の形態に係る画像処理装置においてシナリオ動画を作成及び再生する処理について説明するためのフローチャートである。 実施の形態に係る画像処理装置においてシナリオ動画を作成する処理について説明するためのタイムチャートである。 実施の形態に係る表示部の表示例を示す図である。 ズーム倍率とぼかし量との関係を示すグラフである。 ズーム倍率と空間周波数帯域との関係を示すグラフである。 ズーム倍率と空間周波数帯域との関係を示すグラフである。 実施の形態に係る画像処理装置においてシナリオ動画を作成する処理について説明するためのフローチャートである。 動画像に対するズーム処理区間及びぼかし処理区間を示す図である。 動画像に対するズーム処理区間及びぼかし処理区間を示す図である。

以下、図面を参照して、本発明の第１の実施の形態に係る画像処理装置について説明する。図１は、この実施の形態に係る画像処理装置２のシステム構成を示すブロック図である。画像処理装置とは、例えばパソコン（ＰＣ）、デジタルカメラ等の撮像装置、携帯電話等、記録媒体等に記録されている動画像データや静止画像データに対して加工処理等を施す画像処理機能を有する装置のことである。なお、この実施の形態においては、画像処理装置２がＰＣであるものとして説明を行う。図１に示すように、画像処理装置２は、ＣＰＵ等により構成され画像処理装置２の各部を統括的に制御する制御部１０を備えている。制御部１０には、記録媒体１８、表示部２０、スピーカ２２、操作部２４、及び記憶部２６が接続されている。

記録媒体１８は、画像処理装置２に内蔵、または画像処理装置２に設けられた差込口（図示せず）に着脱可能に装着されるメモリカード等のことであり、記録媒体１８には、デジタルカメラやビデオカメラにより撮影した動画像データ、静止画像データ、及び音声データや、画像処理装置２に設けられているネットワーク端子（図示せず）を介して接続されるインターネット等のネットワーク上に存在するＷｅｂサーバから取得した動画像データ、静止画像データ、及び音声データ等が記録されている。

表示部２０は、ＬＣＤ等により構成されるモニタにより構成され、記録媒体１８に記録されている動画像データに基づく動画像や静止画像データに基づく静止画像等を表示する。スピーカ２２は、記録媒体１８に記録されている音声データに基づく音声を出力する。操作部２４は、画像処理装置２の電源をオン／オフする電源スイッチ、様々な処理を実行する際に操作されるキーボードやポインティングデバイス等を含んで構成されている。記憶部２６は、記録媒体１８に記録されている画像データに基づく動画像を表示部２０に表示するとき等に、該動画像を形成する複数のフレーム画像等を記憶する。

この実施の形態に係る画像処理装置２は、記録媒体１８に記録されている動画像データを用いて、ズームインされた非合焦の状態（ぼけた状態）からズームアウトしつつ被写体に合焦された状態へ徐々に変化する動画像、またはズームアウトされ被写体に合焦された状態からズームインしつつ非合焦の状態へ徐々に変化する動画像（以下、シナリオ動画という。）を作成する。また画像処理装置２は、作成されたシナリオ動画を再生する。以下、図２に示すフローチャートを参照して、第１の実施の形態に係る画像処理装置２においてシナリオ動画を作成する処理及びシナリオ動画を再生する処理について説明する。

図２はシナリオ動画を作成する処理及び再生する処理について説明するためのフローチャート、図３はシナリオ動画を作成する処理及び再生する処理について説明するための図である。

まず、制御部１０は、シナリオ動画を作成するための動画像に基づく動画像データ、即ち記録媒体１８に記録されている複数の動画像データの中の一つをユーザーに選択させるための動画選択画面を表示部２０に表示する（ステップＳ１０）。具体的には、記録媒体１８に記録されている動画像データの一覧、例えば動画像データのファイル名の一覧や、動画像を形成する複数のフレーム画像の中の代表フレーム画像のサムネイル画像の一覧等を表示部２０に表示し、操作部２４を介して１つの動画像データをユーザーに選択させる。

ユーザーにより操作部２４を介して１つの動画像データが選択されると、制御部１０は、選択された動画像データ（以下、元の動画像データという。）、及び元の動画像データに対応する音声データ（以下、元の音声データという。）の記憶部２６へのバッファリングを行う。なお、選択された動画像データがＭＰＥＧ２やＨ．２６４等の動画圧縮データである場合には、制御部１０は、動画像データの伸張処理を行った後、記憶部２６へのバッファリングを行う。そして、制御部１０は、記憶部２６にバッファリングされた動画像データに基づく動画像（以下、元の動画像という。）に対して表示用にリサイズ処理を施した後、表示部２０に表示し、音声データに基づく音声（以下、元の音声という。）をスピーカ２２において再生する（ステップＳ１１）。そして制御部１０は、操作部２４を介して処理開始タイミング及び処理終了タイミングをユーザーに指定させる。処理開始タイミングは、ズーム処理及びぼかし処理を開始するとき、即ち最もズームインされた非合焦の状態（ぼけた状態）、または最もズームアウトされた被写体に合焦された状態のときを示し、何れの状態にするかはユーザーにより指定される。処理終了タイミングは、ズーム処理及びぼかし処理を終了するとき、即ち処理開始タイミングが最もズームインされた非合焦の状態のときである場合には、最もズームアウトされた被写体に合焦された状態のときを示し、処理開始タイミングが最もズームアウトされた被写体に合焦された状態のときである場合には、最もズームインされた非合焦の状態のときを示す。

具体的には、ユーザーは、図３に示すように、表示部２０に表示されている元の動画像３６ａ〜３６ｄ、及びスピーカ２２により再生されている元の音声を視聴しながら、処理開始タイミングＴ１及び処理終了タイミングＴ２を操作部２４を用いて指定する。即ち、処理開始タイミングＴ１及び処理終了タイミングＴ２により処理区間を指定する。このとき、コマ送り再生機能、早送り再生機能や巻き戻し再生機能等を用いて、処理開始タイミングＴ１を指定した後、処理終了タイミングＴ２を指定してもよく、処理終了タイミングＴ２を指定した後、処理開始タイミングＴ１を指定してもよい。また、元の動画像３６ａ〜３６ｄの再生時間が短い（例えば、５秒以下）場合には、ユーザーに処理開始タイミングＴ１及び処理終了タイミングＴ２を指定させることなく、制御部１０が自動的に元の動画像の開始時を処理開始タイミングＴ１に、元の動画像の終了時を処理終了タイミングＴ２に設定する構成にすることもできる。また、処理開始タイミングＴ１から処理終了タイミングＴ２までの時間ＴＷ１が予め設定されており、ユーザーにより処理開始タイミングＴ１または処理終了タイミングＴ２の何れか一方が指定されると、処理終了タイミングＴ２または処理開始タイミングＴ１の何れか他方が自動的に設定される構成にすることもできる。

制御部１０は、ユーザーにより処理開始タイミングＴ１及び処理終了タイミングＴ２が指定されたか否かを判別し（ステップＳ１２）、ステップＳ１２において処理開始タイミングＴ１及び処理終了タイミングＴ２が指定されたと判別された場合には（ステップＳ１２、Ｙｅｓ）、操作部２４を介してズーム方向及びズーム倍率（拡大率または縮小率）をユーザーに指定させる。ズーム方向は、ズームインからズームアウトか、またはズームアウトからズームインかを示し、ズーム倍率は、ズームイン時の画角（ズームイン状態）に対する元の動画像の画角（ズームアウト状態）を示す。

具体的には、制御部１０は、例えばズーム方向として「ズームインからズームアウト」または「ズームアウトからズームイン」を選択させる選択画面を表示部２０に表示し、ユーザーに何れかを選択させる。また、制御部１０は、例えばズーム倍率として数値を入力する画面を表示部２０に表示し、操作部２４を介してユーザーに数値を入力させる。または、ズーム倍率として数値を入力させる代わりに、制御部１０は、例えば図４に示すようなズーム倍率を指定するための画面４４を表示部２０の表示面に表示し、ユーザーによりズーム倍率を指定させることもできる。画面４４には、「ズームインからズームアウト」の場合には処理開始タイミングＴ１時のフレーム画像３６ｂ、「ズームアウトからズームイン」の場合には処理終了タイミングＴ２時のフレーム画像３６ｃ上に、ズームイン時の画角を設定するための指定枠４６（破線で示す）が表示され、ユーザーは、フレーム画像３６ｂ，３６ｃ上において、指定枠４６の大きさ及び位置を変化させることによりズーム倍率（ズームイン時の画角）を指定する。なお、指定枠４４の形状は、表示部２０の表示面の形状に対して相似である必要がある。

制御部１０は、ユーザーによりズーム方向及びズーム倍率が指定されたか否かを判別し（ステップＳ１３）、ステップＳ１３においてズーム方向及びズーム倍率が指定されたと判別された場合には（ステップＳ１３、Ｙｅｓ）、ユーザーにより指定されたズーム方向及びズーム倍率に基づいて、ズーム方向、ズーム倍率及びぼかし量を設定し（ステップＳ１４）、記憶部２６に記憶させる。

ぼかし量は、処理開始タイミングＴ１時から処理終了タイミングＴ２時までの間の各フレーム画像３６ｂ〜３６ｄに対して、後述するぼかし処理により人為的に付加されるぼかし度合のことであり、ズーム倍率に基づいて予め設定されている。例えば図５に示すように、ズーム倍率１倍（ズーム処理なし）のとき、ぼかし量は０（ぼかし処理なし）に、ズーム倍率が増大するに従い、ぼかし量も増大するように設定されている。具体的には、例えば図６に示すように、ズーム倍率１倍のときの各フレーム画像３６ｂ〜３６ｄの空間周波数帯域をＳｗとしたとき、ステップＳ１３においてズーム倍率が２倍に設定された場合には、ぼかし量は、ズーム倍率１倍から２倍までの間の各フレーム画像３６ｂ〜３６ｄの空間周波数帯域がＳｗからＳｗ／２（またはＳｗ／２＞空間周波数帯域≧Ｓｗ／４）に徐々に変化するように設定される。ズーム倍率２倍のときの空間周波数帯域をＳｗ／２より大きい値にすると、電子ズーム処理により２倍ズームしたときに生じる画質劣化が際立ち、Ｓｗ／４より小さい値にすると、ぼかしが過度となるため、２倍ズームした際の空間周波数帯域は、Ｓｗ／４からＳｗ／２までの間の何れかに設定される。よって、ぼかし量は、電子ズーム処理を施されることにより生じる画質劣化、特に目視しうる画質劣化を補うことができる範囲内において画像が効果的にぼけるような値に設定される。

なお、ズーム倍率１倍から２倍までの間の空間周波数帯域がＳｗからＳｗ／２に徐々に変化するように（図６のグラフＡ）設定されるぼかし量は、ズーム倍率１倍から２倍までの間の空間周波数帯域がＳｗからＳｗ／４に徐々に変化するように（図６のグラフＣ）設定されるぼかし量より小さい。よって、ズームアウト時のぼかし度合を強くしたい場合には、空間周波数帯域が図６のグラフＣを描くように、即ちぼかし量が大きくなるように設定し、ズームアウト時のぼかし度合を弱くしたい場合には、空間周波数帯域が図６のグラフＡを描くように、即ちぼかし量が小さくするように設定する。また、図６のグラフＡより小さくグラフＣより大きい図６のグラフＢを描くように空間周波数帯域を設定し、設定された空間周波数に基づいてぼかし量を設定することもできる。このように、複数の選択可能なぼかし量が存在する場合には、ぼかし量をシナリオ動画の作成開始前に予め設定する構成にしてもよく、シナリオ動画を作成している間に、例えばステップＳ１４の処理時にユーザーにぼかし量：大、中、小等を選択させる構成にしてもよい。

また、ステップＳ１３においてズーム倍率が２倍に設定された場合を例に挙げて説明したが、ズーム倍率が３倍や４倍に設定された場合には、例えば図７に示すように、ズーム倍率１倍から３倍（または４倍）までの間の各フレーム画像３６ｂ〜３６ｄの空間周波数帯域がＳｗからＳｗ／３（またはＳｗ／４）に徐々に変化するように、ぼかし量を設定する。即ち、ズーム倍率が２倍のときに設定されるぼかし量に基づきシナリオ動画を形成するフレーム画像に対して連続的に付加されるまたは除去されるぼかしの度合は、ズーム倍率が２倍でなく３倍や４倍のときに設定されるぼかし量に基づきシナリオ動画を形成するフレーム画像に対して連続的に付加されるまたは除去されるぼかしの度合と異なる。

次に、制御部１０は、操作部２４を介してユーザーによりシナリオ動画を作成する指示がなされたか否かを判別する（ステップＳ１５）。制御部１０は、例えば「シナリオ動画の作成」を指示する指示画面を表示部２０に表示する。ステップＳ１５においてシナリオ動画を作成する指示がなされたと判別された場合には（ステップＳ１５、Ｙｅｓ）、制御部１０は、元の動画像に基づいてシナリオ動画を作成する（ステップＳ１６）。図８は、図３に示すステップＳ１６においてシナリオ動画を作成する処理について説明するためのフローチャートである。

まず、制御部１０は、処理開始タイミングＴ１時のフレーム画像（以下、最初のフレーム画像という。）３６ｂを、記録媒体１８から読み出す（ステップＳ３０）。そして、制御部１０は、ステップＳ３０において読み出したフレーム画像３６ｂに対して、ズーム処理及びぼかし処理を行う（ステップＳ３１）。以下、ズーム倍率が２倍、ぼかし量がズーム倍率２倍のときの空間周波数帯域がＳｗ／２となるように設定されているものとして説明を行う。

「ズームインからズームアウト」の場合には、周知の電子ズーム処理技術等の電子的な画像処理技術を用いて、最初のフレーム画像３６ｂを２倍ズームすることにより拡大すると同時に、周知のぼかし処理技術等の電子的な画像処理技術を用いて、最初のフレーム画像３６ｂに空間周波数帯域がＳｗ／２となるようなぼかし量を付加し、最初のフレーム画像３６ｂをぼかすことにより、フレーム画像３８（図３参照）を作成する。「ズームアウトからズームイン」の場合には、周知の電子ズーム処理技術等の電子的な画像処理技術を用いて、最初のフレーム画像を等倍ズームし、周知のぼかし処理技術等の電子的な画像処理技術を用いて、等倍ズームされた最初のフレーム画像に空間周波数帯域がＳｗとなるようなぼかし量を付加する。即ち、画像処理される前の最初のフレーム画像は、画像処理された後の最初のフレーム画像と同一の画像となる。よって、「ズームアウトからズームイン」の場合における最初のフレーム画像には、ズーム処理やぼかし処理等の画像処理を行わない構成にすることもできる。

次に、制御部１０は、ステップＳ３１においてズーム処理及びぼかし処理を施した後のフレーム画像３８を記憶部２６に記憶させる（ステップＳ３２）。そして、ステップＳ３２において記憶させたフレーム画像３８が処理終了タイミング時Ｔ２のフレーム画像（以下、最後のフレーム画像という。）３６ｄであるか否かを判別し（ステップＳ３３）、最後のフレーム画像３６ｄでないと判別された場合には（ステップＳ３３、Ｎｏ）、制御部１０は、次のフレーム画像を記録媒体１８から読み出し（ステップＳ３４）、ステップＳ３１の処理に戻る。即ち、ステップＳ３４において読み出した次のフレーム画像に対して、ズーム処理及びぼかし処理（電子的な画像処理による「ズーム効果」の付与または除去、及び電子的な画像処理による「ぼかし効果」の付与または除去）を行う（ステップＳ３１）。そしてズーム処理及びぼかし処理の後、次のフレーム画像を記憶部２６に記憶させ（ステップＳ３２）、最後のフレーム画像が記憶部２６に記憶されるまで、即ちステップＳ３３において最後のフレーム画像であると判別されるまで（ステップＳ３３、Ｙｅｓ）、ステップＳ３４において次のフレーム画像を記録媒体１８から読み出す処理、及びステップＳ３１〜Ｓ３３の処理を繰り返す。

具体的には、「ズームインからズームアウト」の場合には、処理開始タイミングＴ１から処理終了タイミングＴ２までの間の動画像（各フレーム画像）を順次２倍から１倍に向かって徐々にズーム処理することにより連続的に縮小すると同時に、各フレーム画像に空間周波数帯域がＳｗ／２からＳｗに向かって徐々にぼかし量を除去するぼかし処理を行うことによりぼかしを連続的に除去する。例えば、フレーム画像３６ｃについては約１．５倍のズーム処理、及び所定のぼかし処理を施すことにより、フレーム画像４０（図３参照）を作成し、最後のフレーム画像３６ｄについてはズーム処理及びぼかし処理を施すことなく、フレーム画像４２を作成する。また、「ズームアウトからズームイン」の場合には、処理開始タイミングＴ１から処理終了タイミングＴ２までの間の動画像（各フレーム画像）を順次１倍から２倍に向かって徐々にズーム処理することにより連続的に拡大すると同時に、各フレーム画像に空間周波数帯域がＳｗからＳｗ／２に向かって徐々にぼかし量を付加するぼかし処理を行うことによりぼかしを連続的に付加する。なお、処理開始タイミングＴ１から処理終了タイミングＴ２までの間ＴＷ１の元の動画像に対応する音声も記憶部２６に記憶させる。

シナリオ動画の作成を終えると、制御部１０は、操作部２４を介してユーザーにより、図２に示すステップＳ１６において作成したシナリオ動画の再生が選択されたか否かを判別する（ステップＳ１７）。制御部１０は、例えば、「シナリオ動画を作成しました。再生しますか？」等のメッセージ、メッセージに対する回答を選択するための項目（例えば「はい」「いいえ」等）を含む選択画面を表示部２０に表示し、ユーザーに何れかを選択させる。ステップＳ１７においてシナリオ動画の再生が選択された場合には（ステップＳ１７、Ｙｅｓ）、制御部１０は、ステップＳ１６において作成したシナリオ動画及び対応する音声を表示部２０及びスピーカ２２において再生する（ステップＳ１８）。即ち、「ズームインからズームアウト」の場合には、フレーム画像３８…４０…４２を順に表示部２０に表示させることにより、ズームインされた非合焦の状態（ぼけた状態）からズームアウトしつつ被写体に合焦された状態へ徐々に変化するシナリオ動画が再生される。一方、ステップＳ１７においてシナリオ動画の再生が選択されなかった場合には（ステップＳ１７、Ｎｏ）、制御部１０は、シナリオ動画を再生することなく、ステップＳ１９の処理に進む。

なお、ステップＳ１６において作成されたシナリオ動画を、ステップＳ１７において再生するか否かをユーザーに選択させているが、ステップＳ１６においてシナリオ動画を作成した後、ユーザーに選択させることなく、シナリオ動画を再生する構成にすることもできる。

次に、制御部１０は、操作部２４を介してユーザーにより、ステップＳ１６において作成したシナリオ動画の記録が選択されたか否かを判別する（ステップＳ１９）。制御部１０は、例えば、「シナリオ動画を記録しますか？」等のメッセージ、メッセージに対する回答を選択するための項目（例えば「はい」「いいえ」等）を含む選択画面を表示部２０に表示し、ユーザーに何れかを選択させる。ステップＳ１９においてシナリオ動画の記録が選択された場合には（ステップＳ１９、Ｙｅｓ）、制御部１０は、ステップＳ１６において作成したシナリオ動画に基づく動画像データ、及び対応する音声データを記録媒体１８に記録する（ステップＳ２０）。即ち、記憶部２６に記憶されているフレーム画像のそれぞれに、制御部１０内の図示しない動画用圧縮回路により動画像用の圧縮処理を施すことにより作成される動画像データを記録媒体１８に記録する。一方、ステップＳ１９においてシナリオ動画の記録が選択されなかった場合には（ステップＳ１９、Ｎｏ）、制御部１０は、シナリオ動画を記録することなく、処理を終了する。

第１の実施の形態に係る画像処理装置２によれば、フォーカス状態とズーム状態とが連続的に変化するシナリオ動画を容易に作成することができる。即ち、従来においては、上述のようなシナリオ動画を手動で撮影しようとした場合、フォーカスレンズとズームレンズとを同時に移動させる必要があり、高度な操作技術を要していた。しかしながら、この実施の形態に係る画像処理装置２では、高度な操作技術を持ち合わせていなくとも、フォーカスレンズとズームレンズとを移動させることなく撮影された動画像から、上述のシナリオ動画、即ち印象的な映像効果を有する動画像を容易に作成することができる。

次に、図面を参照して、本発明の第２の実施の形態に係る画像処理装置について説明する。第２の実施の形態に係る画像処理装置においては、第１の実施の形態に係る画像処理装置２の構成と同一の構成を有しているため、その説明を省略し、同一の構成には同一の符号を用いて説明を行う。

この第２の実施の形態においては、制御部１０は、処理開始タイミングＴ１時のフレーム画像３６ｂ（図３参照）または処理終了タイミングＴ２時のフレーム画像３６ｄ（図３参照）上に被写体として人物が存在する場合には、人物の顔領域の検出を行う。顔領域の検出は、色（肌色）の検出、目鼻口等の顔を形成する特徴部の検出、顔の輪郭部の検出等、周知の技術を用いて行う。そして、制御部１０は、フレーム画像内における顔領域の検出結果に基づいて、ズーム倍率を設定する。

即ち、制御部１０は、図２に示すステップＳ１０及びＳ１１の処理を終えた後、ステップＳ１２において処理開始タイミングＴ１及び処理終了タイミングＴ２が指定されたと判別された場合には（ステップＳ１２、Ｙｅｓ）、操作部２４を介してズーム方向をユーザーに指定させる。

そして、制御部１０は、ステップＳ１３の処理に代えて、ユーザーによりズーム方向が指定されたか否かを判別し、ズーム方向が指定されたと判別された場合には、処理開始タイミングＴ１時のフレーム画像３６ｂまたは処理終了タイミングＴ２時のフレーム画像３６ｄ上の人物の顔領域の検出を行う。具体的には、ズーム方向として「ズームインからズームアウト」が選択されている場合には、処理開始タイミングＴ１時のフレーム画像３６ｂ上の人物の顔領域を検出し、フレーム画像３６ｂ全体のサイズに対する顔領域のサイズに基づいてズーム倍率を設定する（ステップＳ１４）。即ち、表示部２０の表示画面、即ちフレーム画像のサイズに対する顔領域のサイズが所定のサイズとなるように、ズーム倍率を設定する。なお、所定のサイズは、予め設定されており、図示しないメモリ等に記憶されている。

一方、ズーム方向として「ズームアウトからズームイン」が選択されている場合には、処理終了タイミングＴ２時のフレーム画像３６ｄ上の人物の顔領域を検出し、フレーム画像３６ｄ全体のサイズに対する顔領域のサイズに基づいてズーム倍率を設定する（ステップＳ１４）。

次に、制御部１０は、ユーザーにより指定されたズーム方向及び設定したズーム倍率に基づいて、ぼかし量を設定し（ステップＳ１４）、ズーム方向、ズーム倍率及びぼかし量を記憶部２６に記憶させる。そして、制御部１０は、ステップＳ１５の処理に進み、ステップＳ１５〜Ｓ２０の処理を実行する。

第２の実施の形態に係る画像処理装置によれば、第１の実施の形態に係る画像処理装置２における効果に加えて、ズーム倍率を顔領域の検出結果に基づいて自動で設定することができる。したがって、より精度良く、より手軽にフォーカス状態とズーム状態とが連続的に変化する動画像、即ち印象的な映像効果を有する動画像を作成することができる。

なお、上述の各実施の形態においては、ズームインされた非合焦の状態からズームアウトしつつ被写体に合焦させた状態へ変化するシナリオ動画、またはズームアウトされ被写体に合焦させた状態からズームインしつつ非合焦の状態へ変化するシナリオ動画を、元の動画像を用いて作成しているが、本発明による技術を用いて、ズームアウトされた非合焦の状態からズームインしつつ被写体に合焦させた状態へ変化するシナリオ動画、またはズームインされた被写体に対して合焦の状態からズームアウトしつつ被写体に対して非合焦な状態へと変化するシナリオ動画を、元の動画像を用いて作成することができる。また、被写体に対して合焦の状態を維持しつつ、ズームインからズームアウトへ、またはズームアウトからズームインへと変化するシナリオ動画像を元の動画像を用いて作成することもできる。これらの場合において、ズーム方向、ズーム倍率、ぼかし量の設定は、上述の各実施の形態における設定と同様に行う。

また、上述の各実施の形態においては、処理開始タイミングＴ１から処理終了タイミングＴ２までの間の時間ＴＷ１の長さに上限を設けていないが、各実施の形態において作成されるシナリオ動画の印象的な映像効果を損なわないように、時間ＴＷ１に上限値を設ける構成にすることもできる。例えば、ズーム倍率に基づいて、即ち設定可能なズーム倍率毎に、シナリオ動画のズーム変化やフォーカス変化を効果的に視認することができる範囲内の時間（例えば、１０秒等）を時間ＴＷ１の上限時間とする。この場合には、上限時間を超える時間ＴＷ１をユーザーが指定した場合には、上限時間を超える動画像についてはシナリオ動画を作成しない構成にする。例えば、最初に処理開始タイミングＴ１を指定し、次に処理終了タイミングＴ２を指定し、時間ＴＷ１が上限時間を超えている場合には、処理開始タイミングＴ１から上限時間までの間の動画像についてシナリオ動画を作成する。このように、処理開始タイミングＴ１及び処理終了タイミングＴ２の指定順等に基づいて、処理開始タイミングＴ１から処理終了タイミングＴ２までの間のいずれの上限時間分の動画像についてシナリオ動画を作成するかを予め設定することもできる。

また、時間ＴＷ１に上限値を設ける代わりに、時間ＴＷ１の長さに応じてズーム倍率の上限値を定め、定められているズーム倍率の上限値以内となるように、ズーム倍率を設定する構成にすることもできる。例えば、処理開始タイミングＴ１と処理終了タイミングＴ２とがユーザーにより指定されたとき、制御部１０は、処理開始タイミングＴ１から処理終了タイミングＴ２までの間の時間ＴＷ１の長さに応じて定められているズーム倍率の上限値を参照し、参照結果に基づいて、ユーザーが上限値より大きいズーム倍率を指定することができないよう制御する。例えば、ユーザーが上限値より大きい数値を入力できないよう、または図４に示す画面４４上において、指定枠４４の大きさを上限値より大きいズーム倍率を示す大きさに設定できないよう制御する。

また、上述の各実施の形態においては、画像処理によるズーム効果やぼかし効果が徐々に線形的（直線的）に変化するように予め設定されているが、画像処理によるズーム効果、ぼかし効果が、線形的に変化するか、または非線形的（非直線的、曲線的）に変化するかを選択可能な構成にしてもよい。また、ズーム効果やぼかし効果の変化具合が、同一の変化具合（直線的な変化であれば直線の傾き具合、曲線的な変化であればカーブの形状具合や曲率具合など）を描くように変化するか、異なる変化具合で（例えば異なるカーブを描くように）変化するかについても、使用者が適宜選択できるように構成してもよい。

また、上述の各実施の形態においては、ズーム及びぼかしの効果（効果量）が時系列に変化する例として、ズーム効果やぼかし効果の度合い（量、変化量）が徐々に線形的に（直線的に）変化する場合を説明しているが、ズーム効果及びぼかし効果の度合いの時系列の変化には、ズーム効果やぼかし効果を連続的に変化させる場合だけでなく、段階的に変化させる場合も使用者が選択できるようにしても良い。なお上述の非直線的（曲線的）な変化としては、例えばＳ字カーブ状の変化、ベジェ曲線状の変化、放物線状の変化などが含まれる。これらの曲線形状についても使用者が任意に選択できるように構成しておけば良い。

また、上述の各実施の形態においては、ズームインされた非合焦の状態からズームアウトしつつ被写体に合焦させた状態へ変化するシナリオ動画、またはズームアウトされ被写体に合焦させた状態からズームインしつつ非合焦の状態へ変化するシナリオ動画を、「元の動画像（撮影されて記録媒体に記録済みの動画像）」に対し、上述のズーム処理とぼかし処理とを並列的に施すことで作成している。しかしながらこれ以外の手順（すなわちズーム処理とぼかし処理とを並列的に施す画像処理とは別の画像処理）によりシナリオ動画を作成しても良い。たとえば、「元の動画像」に対してズーム処理を行なった後にぼかし処理を行うようにしてもよい。例えば、シナリオ動画を作成する場合において、「ズームインからズームアウト」させる場合に、図９に示すように処理開始タイミングＴ１から処理終了タイミングＴ２までの間の所定のタイミングＴ３を設定し、処理開始タイミングＴ１から所定のタイミングＴ３までの動画像を順次２倍から１倍に向かって徐々にズーム処理することにより連続的に縮小する。そしてズーム処理が終了した後に所定のタイミングＴ３から処理終了タイミングＴ２までの動画像の各フレーム画像に空間周波数帯域がＳｗ／２からＳｗに向かって徐々にぼかし量を除去するぼかし処理を行うことによりぼかしを連続的に除去する。また「ズームアウトからズームイン」させる場合には、処理開始タイミングＴ１から所定のタイミングＴ３までの動画像を順次１倍から２倍に向かって徐々にズーム処理することにより連続的に拡大する。そしてズーム処理が終了した後に所定のタイミングＴ３から処理終了タイミングＴ２までの動画像の各フレーム画像に空間周波数帯域がＳｗからＳｗ／２に向かって徐々にぼかし量を付加するぼかし処理を行うことによりぼかしを連続的に付加する。この場合に先にぼかし処理を行い、その後ズーム処理を行なうようにしてもよい。

また図１０に示すようにズーム処理を終了する所定タイミングＴ３及びぼかし処理を開始する所定タイミングＴ４を設定し、処理開始タイミングＴ１から所定のタイミングＴ３までの動画像に対してズーム処理を行い、所定のタイミングＴ４から処理終了タイミングＴ２までの動画像に対してぼかし処理を行うようにしてもよい。即ち、所定のタイミングＴ４からＴ３までの区間においてはズーム処理及びぼかし処理が同時に行なわれるようにしてもよい。この場合に先にぼかし処理を行い、その後ズーム処理を行なうようにしてもよい。

これら場合に所定のタイミングＴ３、Ｔ４は、ユーザーが任意に設定可能な構成としてもよいし、処理開始タイミングＴ１から処理終了タイミングＴ２までの間の予め指定された位置に自動的に設定するように構成してもよい。

また、上述の各実施の形態においては、「元の動画像」にはズーム変化やフォーカス変化が含まれていない動画像であることを前提として説明した。しかしながら「元の動画像」として、ズーム倍率が変化しているシーンや、フォーカス状態が変化しているシーンを含む動画像を用いても構わない。たとえば「元の動画像」を得るための撮影時にズームレンズを移動させながら撮影を行っても良いし、あるいはフォーカスレンズを動かしながら撮影を行っても良いし、あるいは電子的なズーム処理を行いながら撮影を行っても良い。このような手法で部分的にズーム変化シーンやフォーカス変化シーンを含む動画像を得て、それを「元の動画像」として用いても、上記実施形態のようなシナリオ動画を生成することができる、なお、ズーム変化シーンを含む動画像を「元の動画像」として得る際に、撮影レンズによる光学的なズーム処理と電子的な画像処理技術を用いたズーム処理の何れを用いるかは、ユーザーが操作部２４を用いて選択できるようにしてもよい。

そして例えば、「元の動画像（ズーム変化シーンを含む）」を用いて、ズーム効果とフォーカス効果とを併せ持つシナリオ動画を作る際には、その「元の動画像」に対して、電子的な画像処理技術によるフォーカス処理（ぼかし処理）を施せばよい。なお、このシナリオ動画生成をより効率的に行う方法としては、「元の動画像（ズーム変化シーンを含む）」の撮影の際に、ズーム処理（例えば撮影レンズによる光学的なズーム処理）を行った位置（区間）を、記録媒体に記録される「元の動画像」の画像ファイルのタグに記録しておく。このようにすれば、撮影後のシナリオ動画生成の際に、このタグに記録されている位置情報（ズーム区間の情報）に基づいて、画像処理装置が「元の動画像（ズーム変化シーン含む）」の中のズーム変化シーンを自動的に選択できる。そして画像処理装置は、この自動選択されたシーンに基づいて自動的に決定される区間（そのシーンの区間でも良いし、そのシーンを含む所定区間でも良いし、あるいはそのシーンを基準として自動選択される所定区間（例えば、そのシーンの「直前の区間」、あるいは「直後の区間」など）でも良い）に対して、電子的なフォーカス処理（ぼかし処理）を行う。これにより、より効率的にシナリオ動画を生成することができる。そしてこの生成方法であれば、例えば、元の動画像において光学的ズーム処理が行なわれている区間と合致する区間を電子的フォーカス処理を行なう区間として設定し、その設定区間に対して電子的なフォーカス処理を行えるので、上記実施形態で説明したようなシナリオ動画を簡単に生成できる。

次に、撮影レンズ（フォーカスレンズ）による光学的なフォーカス処理（ぼかし処理）を行ないながら動画像を撮影して記録媒体に記録し、その記録された動画像を「元の動画像（フォーカス変化シーンを含む）」としてシナリオ動画作成に使用する場合について説明する。この「元の動画像（フォーカス変化シーンを含む）」に対して、電子的な画像処理技術によるズーム処理を施すことで、ズーム効果とフォーカス効果を併せ持つシナリオ動画を生成することができる。具体的には、上記の場合（「元の動画像（ズーム変化シーンを含む）」を使ったシナリオ動画の生成）と同様に、「元の動画像」の撮影の際に、動画像中におけるフォーカス変化シーンの位置（区間）を示す情報を、その動画像の画像ファイルのタグに記録しておけば、そのタグ情報を利用して電子的な画像処理（例えばズーム処理）を施す区間を上述と同様に自動選択・自動決定できる。このためそのタグ情報を用いることによって容易に、フォーカス変化シーンを含む元の動画像を使って、フォーカス変化とズーム効果の両方を含むシナリオ動画を生成することができる。

なお、ズーム変化シーン、あるいはフォーカス変化シーンを含む動画像を「元の動画像」として、上述のシナリオ動画の生成を行う場合において、電子的な画像処理（ズーム効果、ぼかし効果）を与える処理区間を、ユーザーが任意に設定できるようにしても構わない。

また「元の動画像」が、ズーム変化シーンやフォーカス変化シーンを含む場合であっても、含まない場合であっても、それら「元の動画像」を使って上述のシナリオ動画の生成を行う際には、電子的な画像処理としてズーム効果とぼかし効果の何れか一方のみを与えても良いし、あるいは両方の効果を与えるようにしても良い。元の動画像に対して上述の画像処理によりどのような効果を付与するのかについては、ユーザーが任意に選択できるように構成しておけば良い。

２…画像処理装置、１０…制御部、１８…記録媒体、２０…表示部、２２…スピーカ、２４…操作部、２６…記憶部。

Claims (19)

1. 記録媒体に記録済みの動画像に対して、電子的なズーム効果の付与又は除去を行う第１画像処理と、電子的なぼかし効果の付与又は除去を行う第２画像処理との画像処理を施す画像処理部と、
   前記画像処理部により前記第１画像処理が施される、前記動画像中の第１処理区間と、前記第２画像処理が施される、前記動画像中の第２処理区間を設定する第１設定部と、
   前記動画像中の前記第１処理区間に対して前記第１画像処理によって付与される時系列に変化するズーム倍率と、前記第２処理区間に対して前記第２画像処理によって付与される時系列に変化するぼかし量とを設定する第２設定部と、
   前記第１設定部および前記第２設定部の設定内容に基いて前記画像処理部により前記画像処理を施された動画像を含む動画像データを作成する動画像データ作成部と、
   を備え、
   前記第１設定部により設定される前記第１処理区間と前記第２処理区間とは、連続し、または、少なくとも一部が重なっていることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像処理部は、前記第１処理区間に対して、前記第２設定部の設定内容に基づく前記第１画像処理を施し、且つ前記第２処理区間に対して、前記第２設定部の設定内容に基づく前記第２画像処理を施すことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記第１設定部は、前記動画像中の第１のタイミング、及び前記第１のタイミングと異なる第２のタイミングを設定し、更に前記動画像中の第３のタイミング、及び前記第３のタイミングと異なる第４のタイミングを設定し、
   前記第２設定部は、前記動画像の前記第２のタイミングでの前記ズーム倍率を設定し、更に前記動画像の前記第４のタイミングでの前記ぼかし量を設定することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記画像処理部は、
   前記第１のタイミングが前記第２のタイミングより前の場合には、前記第１のタイミングから前記第２のタイミングまでの区間の前記動画像に対して、前記第２設定部で設定されたズーム倍率まで前記動画像を時系列に拡大する画像処理を施し、前記第１のタイミングが前記第２のタイミングより後の場合には、前記第２設定部で設定された前記ズーム倍率まで前記第２のタイミングにおける前記動画像を電子的に拡大し、その後で前記第２のタイミングから前記第１のタイミングまでの間の動画像に対して、当該動画像から時系列に前記ズーム効果を除去して動画像を縮小する画像処理を施し、
   前記第３のタイミングが前記第４のタイミングより前の場合には、前記第３のタイミングから前記第４のタイミングまでの区間の前記動画像に対して、前記第２設定部で設定されたぼかし量に至るまで前記ぼかしを付与する画像処理を施し、前記第３のタイミングが前記第４のタイミングより後の場合には、前記第２設定部で設定された前記ぼかし量のぼかしを前記第３のタイミングにおける前記動画像に電子的に付加し、その後で前記第４のタイミングから前記第３のタイミングまでの間の動画像に対して、当該動画像に付加された前記ぼかしを時系列に除去する画像処理を施すことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記画像処理部は、
   前記第１のタイミングから前記第２のタイミングまでの区間の前記動画像に対して、前記第２設定部により設定された前記ズーム倍率に基づいて、前記動画像に対して時系列に、前記ズーム効果を付与または除去すると同時に、前記第３のタイミングから前記第４のタイミングまでの区間の前記動画像に対して、前記第２設定部により設定された前記ぼかし量に基づいて、前記動画像に対して時系列に、前記ぼかし効果を付与又は除去する画像処理を施すことを特徴とする画像処理装置。
6. 撮影レンズによる光学的なズーム動作中に撮影された動画像を含む、記録媒体に記録済みの動画像に対して、電子的なぼかし効果の付与又は除去を行う第２画像処理を施す画像処理部と、
   前記画像処理部により前記第２画像処理が施される、前記動画像中の光学的なズーム動作中に撮影された動画像を処理区間として選択して設定する第１設定部と、
   前記動画像中の前記処理区間に対して、前記第２画像処理によって付与される時系列に変化するぼかし量を設定する第２設定部と、
   前記第１設定部および前記第２設定部の設定内容に基いて前記画像処理部により前記第２画像処理を施された動画像を含む動画像データを作成する動画像データ作成部と、
   を備えることを特徴とする画像処理装置。
7. 撮影レンズによる光学的なフォーカス動作中に撮影された動画像を含む、記録媒体に記録済みの動画像に対して、電子的なズーム効果の付与又は除去を行う第１画像処理を施す画像処理部と、
   前記画像処理部により前記第１画像処理が施される、前記動画像中の光学的なフォーカス動作中に撮影された動画像を処理区間として選択して設定する第１設定部と、
   前記動画像中の前記処理区間に対して、前記第１画像処理によって付与される時系列に変化するズーム倍率を設定する第２設定部と、
   前記第１設定部および前記第２設定部の設定内容に基いて前記画像処理部により前記第１画像処理を施された動画像を含む動画像データを作成する動画像データ作成部と、
   を備えることを特徴とする画像処理装置。
8. 記録媒体に記録済みの動画像に対して、電子的なズーム効果の付与又は除去を行う第１画像処理と、電子的なぼかし効果の付与又は除去を行う第２画像処理との画像処理を施す画像処理部と、
   前記画像処理部により前記画像処理が施される、前記動画像中の処理区間を設定する第１設定部と、
   前記動画像中の前記処理区間に対して、前記第１画像処理によって付与される時系列に変化するズーム倍率と、前記第２画像処理によって付与される時系列に変化する、前記ズーム倍率に基づくぼかし量を設定する第２設定部と、
   前記第１設定部および前記第２設定部の設定内容に基づいて前記画像処理部により前記画像処理を施された動画像を含む動画像データを作成する動画像データ作成部と、
   を備えることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   所定のズーム倍率に基づき設定される前記ぼかし量に基づき前記動画像に対して連続的に付与または除去されるぼかしの度合は、前記所定のズーム倍率と異なる他のズーム倍率に基づき設定される前記ぼかし量に基づき前記動画像に対して時系列的に付与または除去されるぼかしの度合とは異なることを特徴とする画像処理装置。
10. 請求項８または請求項９に記載の画像処理装置であって、
    前記所定のズーム倍率に基づき設定される前記ぼかし量が複数存在する場合において、複数の前記ぼかし量の中の一つを選択する選択部を備え、
    前記第２設定部は、前記選択部による選択結果に基づいて前記ぼかし量を設定することを特徴とする画像処理装置。
11. 請求項８〜１０の何れか一項に記載の画像処理装置であって、
    前記画像処理部は、前記処理区間に対して、前記第２設定部の設定内容に基づく前記第１画像処理を施し、且つ前記第２設定部の設定内容に基づく前記第２画像処理を施すことを特徴とする画像処理装置。
12. 請求項８〜１０の何れか一項に記載の画像処理装置であって、
    前記第１設定部は、前記動画像中の第１のタイミング、及び前記第１のタイミングと異なる第２のタイミングを設定し、
    前記第２設定部は、前記動画像の前記第２のタイミングでの前記ズーム倍率及び前記ぼかし量を設定することを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置であって、
    前記画像処理部は、
    前記第１のタイミングが前記第２のタイミングより前の場合には、前記第１のタイミングから前記第２のタイミングまでの区間の前記動画像に対して、前記第２設定部で設定されたズーム倍率まで前記動画像を時系列に拡大する画像処理を施し、前記第１のタイミングが前記第２のタイミングより後の場合には、前記第２設定部で設定された前記ズーム倍率まで前記第２のタイミングにおける前記動画像を電子的に拡大し、その後で前記第２のタイミングから前記第１のタイミングまでの間の動画像に対して、当該動画像から時系列に前記ズーム効果を除去して動画像を縮小する画像処理を施し、
    前記第１のタイミングが前記第２のタイミングより前の場合には、前記第１のタイミングから前記第２のタイミングまでの区間の前記動画像に対して、前記第２設定部で設定されたぼかし量に至るまで前記ぼかしを付与する画像処理を施し、前記第１のタイミングが前記第２のタイミングより後の場合には、前記第２設定部で設定された前記ぼかし量のぼかしを前記第２のタイミングにおける前記動画像に電子的に付加し、その後で前記第２のタイミングから前記第１のタイミングまでの間の動画像に対して、当該動画像に付加された前記ぼかしを時系列に除去する画像処理を施すことを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置であって、
    前記画像処理部は、
    前記第１のタイミングから前記第２のタイミングまでの区間の前記動画像に対して、前記第２設定部により設定された前記ズーム倍率及び前記ぼかし量に基づいて、前記動画像に対して時系列に、前記ズーム効果を付与または除去すると同時に、前記ぼかし効果を付与又は除去する画像処理を施すことを特徴とする画像処理装置。
15. 請求項３〜５，１２〜１４の何れか１項に記載の画像処理装置であって、
    前記記録媒体に記録されている前記動画像を表示する表示部を備え、
    前記第２設定部は、前記第２のタイミングにおける前記動画像に対するズーム倍率を、前記表示部の表示面に表示される前記動画像上において設定することを特徴とする画像処理装置。
16. 請求項３〜５，１２〜１４の何れか１項に記載の画像処理装置であって、
    前記第１のタイミングにおける前記動画像の中に被写体として人物が存在する場合において、前記動画像のサイズに対する前記人物の顔領域のサイズを検出する検出部を備え、
    前記第２設定部は、前記検出部により検出された前記顔領域のサイズに基づいて、前記ズーム倍率を設定することを特徴とする画像処理装置。
17. 請求項３〜５，１２〜１４の何れか１項に記載の画像処理装置であって、
    前記第２設定部に設定される前記拡大率毎に、前記第１のタイミングと前記第２のタイミングとの間の時間差の上限値が決められることを特徴とする画像処理装置。
18. 請求項３〜５，１２〜１４の何れか１項に記載の画像処理装置であって、
    前記第２設定部は、前記第１のタイミングと前記第２のタイミングとの時間差に応じて定められている前記ズーム倍率の上限値以内に前記ズーム倍率を設定することを特徴とする画像処理装置。
19. 請求項４〜９，１２〜１４の何れか１項に記載の画像処理装置であって、
    前記画像処理部により画像処理される前の前記第１のタイミングにおける動画像は、前記画像処理部により画像処理された後の前記第１のタイミングにおける動画像であることを特徴とする画像処理装置。
    

Images