JP5968069B2 - 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム - Google Patents

Description

本発明は、動画像の再生が可能な画像処理装置、撮像装置、画像処理装置の制御方法およびプログラムに関するものである。

動画像の記録再生装置において、映像のテイク（撮影記録操作の開始から終了までに得られた時間的に連続した映像情報）どうしのつなぎ部分にクロスフェード等のシーンチェンジエフェクトを掛けることが行われている。記録媒体は、シーケンシャルアクセスメディアの磁気テープからランダムアクセスメディアのフラッシュメモリへと移り変わり、その特性からシーンチェンジエフェクトが再生時に実現可能になるなど利便性が向上している。

以下に、ランダムアクセスメディアに記録された“テイク１”及び“テイク２”のつなぎ部分へクロスフェードなどのシーンチェンジエフェクトを掛ける場合について、図９を参照して説明する。

図９（ｃ）に示すように、撮影済みの“テイク１”の再生を行い、クロスフェードを掛けたいテイク１の最後の部分が少しずつ消えていくのと同時に、“テイク２”の冒頭部分が少しずつ現れるクロスフェードを行い、最終的には“テイク２”の動画のみにする。ランダムアクセスメディアであるので、テイク１とテイク２は同時に再生が可能であり、クロスフェードの部分では、この二つの映像のミックス比率を少しずつ変えることで、動画から動画へのクロスフェードを実現することが可能である。

ところで、一般にテイクの映像は、録画開始操作でユーザが意図して記録を始め、録画終了操作でユーザが意図して記録を終了することによって得られた映像であるから、テイク全体を通して重要な映像が含まれている可能性が高い。ゆえに“テイク１”から“テイク２”への移行時にクロスフェードのシーンチェンジエフェクトを掛けると、“テイク１”の終わりの部分や“テイク２”の先頭部分に含まれている重要な映像が不鮮明になってしまうという問題が生じる。

上述の問題点に対して、例えば、特許文献１では、録画開始操作直前と録画終了操作直後の動画像を所定期間記録し、再生時には前記録画開始直前および前記録画終了直後に所定期間記録した動画像においてシーンチェンジエフェクトを掛ける構成としている。こうすることで、録画開始操作から録画終了操作までの動画像は鮮明なまま、シーンチェンジエフェクトを掛けて再生することが可能な撮像装置が提案されている。

特開２００２−２３２８３４号公報

しかしながら、前記特許文献１ではシーンチェンジエフェクトを掛ける画像は、録画開始直前および前記録画終了直後の動画像であり、すなわちユーザが意図的に撮影した動画像ではないため、予期しない動画像が記録されることも考えられ、好ましくない。

（発明の目的）
本発明の目的は、クロスフェード等のシーンチェンジエフェクトを掛けた場合でも、録画開始操作時点から録画終了操作時点までの映像が不鮮明になることなく再生することができるようにする撮像装置および撮像装置の制御方法を提供することである。また、シーンチェンジエフェクト中においても、ユーザが予期しない動画を含ませずに再生することができる撮像装置および撮像装置の制御方法を提供することである。

上記目的を達成するために、本発明の画像処理装置は、第１の録画開始操作の前の撮像手段による動画である第１の先行動画、前記第１の録画開始操作から第１の録画終了操作までの撮像手段による動画である第１の本動画、および前記第１の録画終了操作の後の撮像手段による動画である第１の後続動画を含む第１の動画と、第２の録画開始操作の前の撮像手段による動画である第２の先行動画、前記第２の録画開始操作から第２の録画終了操作までの撮像手段による動画である第２の本動画、および前記第２の録画終了操作の後の撮像手段による動画である第２の後続動画を含む第２の動画とを、記憶手段から読み出し、前記第１の動画と前記第２の動画を続けて再生する表示手段と、少なくとも前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画の少なくともいずれかからシーン変化を検出するシーン変化検出手段と、前記表示手段にて表示される前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画を段階的に変化させるエフェクト処理を行う画像処理手段とを有し、前記画像処理手段は、前記第１の動画の前記第１の後続動画における録画終了操作の時点からシーンが持続していると判定した期間、および、前記第２の動画の前記第２の先行動画の録画開始操作の時点からさかのぼってシーンが持続していると判定した期間の少なくともいずれかの期間だけ、前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画に対して前記エフェクト処理を掛けることを特徴とするものである。

本発明によれば、クロスフェード等のシーンチェンジエフェクトを掛けた場合でも、録画開始操作の時点から録画終了操作の時点までの映像が不鮮明になることなく再生することができる。また、シーンチェンジエフェクト中においても、ユーザが予期しない動画を含まずに再生することができる。

本発明の実施例１であるデジタルカメラの概略構成を示すブロック図である。 実施例１における１テイク分の動画撮影動作を示すフローチャートである。 図２に示す処理により録画された異なる３つのテイクにおける撮影のタイミングを示す図である。 図３の撮影により生成されるプレイリストを示す図である。 シーンチェンジエフェクトが掛けられている場合の実施例１におけるテイクの再生方法を示す図である。 １テイク撮影時にディスプレイに表示される撮影記録状態の時間経過を示す図である。 輝度差分値とシーン変化量の関係を示す図である。 本発明の実施例２における１テイク分の動画撮影動作を示すフローチャートである。 クロスフェードなどのシーンチェンジエフェクトを掛ける従来の場合の説明図である。

本発明を実施するための形態は、以下の実施例１および２に記載される通りである。

図１は、本発明の実施例１であるデジタルカメラの概略構成を示すブロック図である。以下、動画撮影において、撮影ボタン操作による録画開始から録画終了までに得られる一連の動画を、１テイクと呼ぶ。

カメラ起動時、ＣＰＵ１１１はプログラムフラッシュメモリ１１３内に圧縮格納されたプログラムをプログラムメモリ１１２に解凍／展開し、前記プログラムに従って動作する。これにより、以下で説明する各種の制御動作が行われる。

まず、実施例１のデジタルカメラが記録モードに設定されている場合の制御動作を説明する。

光学系１０１を通して被写体の光学像が撮像素子１０２上に結像され、撮像素子１０２にて前記被写体像の光電変換が行われる。カメラ信号処理部１０３は、前記撮像素子１０２で生成された光電変換画像を所定の周期で読み出し、標準的な画像信号になるように信号処理を行う。こうして得られたデジタル画像（原動画像）は画像メモリ１０４に一時的に蓄積されると同時に、ディスプレイ１０６へ送られて、現在撮影中の動画像がディスプレイ１０６に表示される。

ここで、ユーザによる撮影開始操作とは無関係に、動画圧縮解凍回路１０８は、画像メモリ１０４に一時的に蓄積された原動画像から圧縮本動画像を生成し、バッファとして画像メモリ１０４に蓄積する。すなわち、画像メモリ１０４に、常に録画開始操作直前の最新の一定時間分の圧縮本動画像（以下、先行動画とする）を蓄積可能な構成としている。

また、カメラ信号処理部１０３は、前記原動画像を信号処理により生成する際に、撮像素子１０２の撮像面の予め指定した画像領域の平均輝度値を算出し、前回読み出した原動画像より算出した平均輝度値との輝度差分値ΔＹを算出する。そして、図７に示すように予め設定された輝度差分値とシーン変化量の関係図を用いてシーン変化量を求め、シーン変化量に基づきシーン変化の有無を判定する。すなわち、所定周期で得られる画像信号の平均輝度値の差分が、例えば所定の基準値と比較判定することで、シーン変化の有無を判定する構成としている。

そして、操作スイッチ１０５に含まれる撮影ボタン（図示せず）をユーザが押すこと（撮影開始操作）で撮影を開始すると、まず画像メモリ１０４に蓄積された前記先行動画を、インターフェース１１０を介してランダムアクセス可能な記録媒体であるハードディスクドライブ１０９（以下、ＨＤＤ１０９とする）に記録する。その後、順次撮影開始時点以降の動画像（本動画）を圧縮処理した上でＨＤＤ１０９に記録する。画像処理部１０７は、このＨＤＤ１０９に記録された複数の動画像を続けて再生する場合に、先行動画と後続動画のつなぎ部分において、先行動画から後続動画へと画像を段階的に変化させるクロスフェード等のシーンチェンジエフェクトを掛ける。

次に操作スイッチ１０５に含まれる撮影ボタンが再度押される（撮影終了操作）と、すぐには撮影記録を終了しない。録画終了操作直後の撮影シーンが持続している間もしくは所定時間の間、撮影を行い、後続画像信号を圧縮処理してＨＤＤ１０９に記録した後に撮影記録を終了する。なおこの際、操作スイッチ１０５に含まれる撮影ボタンが押されて撮影が開始した時刻と、再び撮影ボタンが押されて撮影が終了した時刻とを記録する。

以下、図２のフローチャートを参照しながら１テイク分の動画像を撮影する際に行われる処理の流れについて説明する。図２は実施例１のデジタルカメラにおける１テイク分の動画像の撮影動作を表すフローチャートである。以下の処理は、記録モードに設定されると実行が開始される。

ステップＳ２０１では、過去の所定時間（Ｔ＿ｐｒｅ）分の圧縮本動画像（先行動画）を常に画像メモリ１０４に保持する。

ステップＳ２０２では、シーン変化の検出と判定を行う。上述したように、カメラ信号処理部１０３において、予め指定した画像領域の平均輝度値を算出し、前回読み出した原動画像より算出した平均輝度値との輝度差分値ΔＹを算出する。そして、図７に示すように予め設定された輝度差分値ΔＹとシーン変化量の関係図を用いてシーン変化量を求め、シーン変化量に基づきシーン変化の有無を判定する。なお、ここでは輝度差分値ΔＹを用いてシーン変化量を判定したが、画面全体の輝度分布の変化量、色差信号の差分値、あるいは、主被写体のサイズや位置の変化量などに基づいて、シーン変化量を判定するようにしてもよい。

ステップＳ２０３では、ステップＳ２０２においてシーン変化有りの判定であった場合には、シーン持続時間を０にリセットし、シーン変化無しの判定であった場合には、シーン持続時間をカウントアップする。ただし、シーン持続時間は所定時間（Ｔ＿ｐｒｅ）を超える場合にはカウントアップせず、所定時間（Ｔ＿ｐｒｅ）を上限としてクリップする。

ステップＳ２０４では、操作スイッチ１０５に含まれる撮影ボタンが押されたか否か、すなわち撮影開始操作がなされたか否かを調べ、撮影開始操作が行われていなければ、ステップＳ２０１に戻り、撮影開始操作が行われていれば、ステップＳ２０５へ進む。

ステップＳ２０５では、画像メモリ１０４に保持された先行動画のうち、ステップＳ２０３でカウントしたシーン持続時間分をＨＤＤ１０９へ記録する。

ステップＳ２０６では、引き続き、撮影開始操作時点以降の圧縮本動画像をＨＤＤ１０９へ記録する。

このようにして、撮影開始操作から過去にさかのぼってシーン変化がない期間についてのみ、先行動画として記録することが可能となる。なお、先行動画記録時間の上限となる所定時間（Ｔ＿ｐｒｅ）は、主にバッファとして利用可能な画像メモリ１０４の容量制限によって決まる。

ステップＳ２０７では、操作スイッチ１０５に含まれる撮影ボタンが再度押されたか否か、すなわち撮影終了操作がなされたか否かを調べ、撮影終了操作が行われていなければステップＳ２０６に戻り、引き続き撮影開始操作時点以降の圧縮本動画像の記録を続ける。一方、撮影終了操作が行われていれば、ステップＳ２０８へ進む。

ステップＳ２０８では、撮影終了操作が行われた後も撮影を継続し、圧縮本動画像（後続動画）の記録を行う。

ステップＳ２０９では、ステップＳ２０２と同様の方法でシーン変化の検出と判定を行う。

ステップＳ２１０では、ステップＳ２０９においてシーン変化無しの判定でシーンが持続していればステップＳ２１１へ進み、シーン変化有りの判定でシーンが持続していなければステップＳ２１２へ進む。

ステップＳ２１１では、撮影終了操作が行われてから所定時間（Ｔ＿ｐｏｓｔ）が経過したか調べ、経過していればステップＳ２１２へ進み、経過していなければステップＳ２０８に戻り、後続動画の記録を続ける。

ステップＳ２１２では、圧縮本動画像（後続動画）のＨＤＤ１０９への記録を終了する。

ステップＳ２１３では、当該テイクにおける撮影開始操作が行われた時刻と撮影終了操作が行われた時刻とをＨＤＤ１０９に記録し、ステップＳ２１４で当該テイクの記録を終了する。当該テイクの記録が終了すると、再びステップＳ２０１へ進み、次のテイクの撮影に備える。

なお、ステップＳ２１３において、撮影開始操作時刻と撮影終了操作時刻とをＨＤＤ１０９に記録するようにしているが、ここでの時刻とは、機器に内蔵の時計が示す絶対的な時刻に限られるものではない。例えば、テイクの先頭位置を基準とするテイクの長さを示す経過時間やフレームナンバー等であってもよい。

このようにして、撮影終了操作後にシーン変化がない期間についてのみ、後続動画として記録することが可能となる。なお、後続動画記録時間の上限時間となる所定時間（Ｔ＿ｐｏｓｔ）は、先行動画記録時のようにバッファ容量制限は受けないため長時間の設定も可能である。しかしながら、本発明ではシーンチェンジエフェクト用途を主目的とするため、先行動画記録時間の上限時間となる所定時間（Ｔ＿ｐｒｅ）と同じ時間を設定する。

図３は、図２に示す処理により録画された異なる３つのテイクにおける撮影のタイミングを示す図である。

テイク１を記録する図３（ａ）では、タイミング１Ｂで撮影開始操作が行われ、タイミング１Ｃで撮影終了操作が行われている。また、テイク１の先行動画期間中と後続動画期間中はシーン変化がなく、タイミング１ＢよりＴ＿ｐｒｅ時間前のタイミング１Ａから、タイミング１ＣよりＴ＿ｐｏｓｔ時間後のタイミング１Ｄまでの圧縮本動画像がＨＤＤ１０９に記録される。このとき、タイミング１Ｂとタイミング１Ｃの前記時刻がＨＤＤ１０９に記録される。

テイク２を記録する図３（ｂ）では、撮影開始操作が行われたタイミング２Ｂからその直前のシーン変化検出タイミング２αまでの期間が先行動画として記録される。引き続き、タイミング２Ｂから撮影終了操作が行われたタイミング２Ｃまでのテイク２を記録される。そして、タイミング２Ｃからシーン変化が検出されたタイミング２βまでの期間が後続画像として記録される。このとき、タイミング２Ｂとタイミング２Ｃの前記時刻がＨＤＤ１０９に記録される。

同様にして、テイク３を記録する図３（ｃ）では、撮影開始操作が行われたタイミング３ＢよりＴ＿ｐｒｅ時間前のタイミング３Ａから、先行動画、テイク３と記録される。さらに、撮影終了操作が行われたタイミング３Ｃの後にシーン変化が検出されたタイミング３βまでの後続画像を記録される。このとき、タイミング３Ｂとタイミング３Ｃの前記時刻が記録される。

このようにしてテイク１、２、３が順番に記録されると、それと平行して、ＣＰＵ１１１は図４に示すようなプレイリスト１を生成し、ＨＤＤ１０９に記録する。

図４は、ＨＤＤ１０９に記録されたプレイリスト１を示す図である。すなわちプレイリストは、記録された各テイクを再生する際の再生タイミング（ＨＤＤ１０９上の位置に相当）を示すものである。このプレイリストは最初にテイク１をタイミング１Ｂからタイミング１Ｃまでの期間（メモリ区間）で再生し、次にテイク２をタイミング２Ｂからタイミング２Ｃまでの期間で再生し、最後にテイク３をタイミング３Ｂからタイミング３Ｃまでの期間で再生して終了することを意味している。

次に、実施例１のデジタルカメラが再生モードに設定されている場合の制御動作を説明する。

まず、シーンチェンジエフェクトが掛けられていない場合について説明する。

デジタルカメラは再生モードに設定されると、ＨＤＤ１０９上のプレイリストを解析し、その内容に従って再生を行う。前記図４の例において、プレイリスト１にはまず“テイク１をタイミング１Ｂからタイミング１Ｃまで再生”と書かれているので、ＨＤＤ１０９からテイク１を探し出す。そしてタイミング（メモリ位置）１Ｂからテイク１の圧縮本動画像データを読み始める。その圧縮本動画像データは、動画圧縮解凍回路１０８にて解凍デコードされ、必要であれば画像処理部１０７によってシーンチェンジエフェクトが掛けられた後に、ディスプレイ１０６へ送られて再生画像が表示される。読み出されるテイク１の圧縮本動画像データが、タイミング（メモリ位置）１Ｃに達したら、テイク１の再生をやめる。

プレイリスト１には次に、“テイク２をタイミング２Ｂからタイミング２Ｃまで再生”と書かれているので、タイミング（メモリ位置）２Ｂからテイク２の圧縮本動画像データを読み始める。そして、これを動画圧縮解凍回路１０８へ送ることでデコードをおこない、ディスプレイ１０６で再生画を表示する。読み出されるテイク２の圧縮本動画像データが、タイミング（メモリ位置）２Ｃに達したら、テイク２の再生をやめる。続けてプレイリスト１には“テイク３をタイミング３Ｂからタイミング３Ｃまで再生”と書かれているので、テイク３について、上記と同様な再生を行う。

プレイリスト１ではテイク３の再生で終了となっているので、タイミング３Ｃに達したらプレイリスト１に従った再生を終了する。

以上の再生動作では、プレイリストの解釈と再生動作とが平行して行われるが、プレイリストの解釈に時間がかかって再生動作が間に合わなくなる可能性があることもある。このような場合には、これに代わって、まずプレイリストの解釈を先行して行い、その後に各テイクの再生を行うようにしてもよい。

次に、シーンチェンジエフェクトが掛けられている場合の再生モードにおけるデジタルカメラの制御動作を説明する。

図５は、シーンチェンジエフェクトが掛けられている場合の実施例１におけるテイクの再生方法を示す図である。図５（ａ）、（ｂ）、（ｃ）に示すようにテイク１、テイク２及びテイク３が記録されている場合において、再生時にテイク１とテイク３、及びテイク１とテイク２との間にそれぞれクロスフェードを実現するものとする。図５（ｄ）にテイク１とテイク３との間にクロスフェードを実現したもの、図５（ｅ）にテイク１とテイク２との間にクロスフェードを実現したものについて示す。

図５（ｄ）に示すように、テイク１の後続動画とテイク３の先行動画の記録時間が同じである場合について、説明する。クロスフェード対象となる後続動画と先行動画の記録時間が同じである場合には、クロスフェードをかける時間のＴ＿ｅｆｆｅｃｔは、その記録時間に設定される。

まず、タイミング４Ａからタイミング４Ｂまでの期間の映像として、テイク１のタイミング１Ｂからタイミング１Ｃまでの映像を再生する。次に、タイミング４Ｂからタイミング４Ｃまでの期間の映像としては、テイク１のタイミング１Ｃからタイミング１Ｄまでの後続動画を、タイミング１Ｃから前記で設定されたＴ＿ｅｆｆｅｃｔ時間かけて少しずつフェードアウトした映像と、テイク３のタイミング３Ａからタイミング３Ｂまでの先行動画を、タイミング３Ｂより前記で設定されたＴ＿ｅｆｆｅｃｔ時間だけ前のタイミング（ここではタイミング３Ａ）から少しずつフェードインした映像とをミックスした映像を生成して画像メモリ１０４に記憶し、再生する。そして、タイミング４Ｃからタイミング４Ｄまでの期間の映像としては、テイク３のタイミング３Ｂからタイミング３Ｃまでの期間の映像を再生する。

図５（ｅ）に示すように、テイク１の後続動画とテイク２の先行動画の記録時間が異なる場合について、説明する。この場合、クロスフェードを掛ける時間Ｔ＿ｅｆｆｅｃｔは、フェードアウトされる後続動画とフェードインされる先行動画のうち記録時間の短い方に合わせて設定される。図５（ｅ）の場合には、テイク３の先行動画の記録時間が短い（タイミング２αからタイミング２Ｂの期間）ため、テイク１の後続動画はタイミング１Ｃよりテイク３の先行動画記録時間だけ後のタイミング１γまでのみを利用する。その他の制御動作は図５（ｄ）と同様である。

まず、タイミング５Ａからタイミング５Ｂまでの期間の映像として、テイク１のタイミング１Ｂからタイミング１Ｃまでの映像を再生する。次に、タイミング５Ｂからタイミング５Ｃまでの期間の映像としては、テイク１のタイミング１Ｃからタイミング１γまでの後続動画を、タイミング１Ｃから前記で設定されたＴ＿ｅｆｆｅｃｔ時間かけて少しずつフェードアウトした映像と、テイク２のタイミング２αからタイミング２Ｂまでの先行動画を、タイミング２Ｂより前記で設定されたＴ＿ｅｆｆｅｃｔ時間だけ前のタイミング（ここではタイミング２α）から少しずつフェードインした映像とをミックスした映像を生成し、再生する。そして、タイミング５Ｃからタイミング５Ｄまでの期間の映像としては、テイク２のタイミング２Ｂからタイミング２Ｃまでの期間の映像を再生する。

このように実施例１におけるクロスフェードによれば、各テイクにおける録画開始操作時点（図５の例における、１Ｂ、２Ｂ、３Ｂ）から録画終了操作時点（同、１Ｃ、２Ｃ、３Ｃ）までの期間の各映像は、フェードインまたはフェードアウトされることがない。つまり、この期間の映像については、完全な映像が再生されることになる。

なおここでは、シーンチェンジエフェクトの代表例としてクロスフェードをテイク間に掛ける場合について説明したが、本発明では各種シーンチェンジエフェクトに適用可能である。すなわち、様々な形態のワイプ、スピン、スイング、ページがめくれるようなエフェクト等、動画から動画へのシーンチェンジエフェクトはいろいろ存在するが、いずれのシーンチェンジエフェクトにおいても、本発明は適応可能である。

次に、撮影記録時における動作状態のディスプレイ１０６への表示について説明する。

図６（ａ）は、１テイク分を撮影記録する際にディスプレイ１０６に表示される各種の撮影記録状態を経過時間に沿って示す図である。

撮影開始操作時点よりも前の先行動画記録状態をモード１、撮影開始操作時点から撮影終了操作時点までの動画記録状態をモード２、撮影終了操作時点から後の後続動画記録状態をモード３とする。この場合、モード１では、記録待機を表す“ｐａｕｓｅ”をディスプレイ１０６に表示する。これは、実際には先行動画記録が行われているものの、デジタルカメラとしては記録待機状態であるので、こうした表示を行うようにする。次にモード２では、本来の動画記録状態となるので、記録を表す“ｒｅｃ”の表示を行う。そしてモード３では、後続動画記録をしている旨の表示として、“ｒｅｃ”の点滅表示を行う。これは、カメラを被写体に向けた構えをユーザに継続させるために、“ｒｅｃ”の点滅表示を行う。

図６（ｂ）は、ディスプレイ１０６上の３つのモード表示例を示す図である。

なおここでは、ディスプレイ１０６への表示例として“ｐａｕｓｅ”、“ｒｅｃ”、「“ｒｅｃ”の点滅」としたが、これに代わって“一時停止”、“録画”、「“録画”の点滅」とするようにしてもよい。あるいは、それらの状態を示すアイコンによって表示するようにしてもよい。

以下、本発明の実施例２について説明する。

前記実施例１では、シーン変化検出手段により撮影時にシーン変化検出を行い、先行動画と後続動画の撮影時間を可変制御としていた。これに対し、以下に説明する実施例２では、撮影時は所定時間の先行動画と後続動画を撮影し、再生時に先行動画と後続動画中のシーン変化検出を行って、シーンチェンジエフェクトを掛ける時間を設定し、再生することを特徴とする。

以下、前記実施例１と同様の処理については説明を省略する。

実施例２における１テイク分の動画像を撮影する際に行われる処理の流れについて、図８を参照して説明する。

実施例１におけるステップＳ２０２、Ｓ２０３は行わない。ステップＳ２０５では、前記上限記録時間Ｔ＿ｐｒｅ分の先行動画をＨＤＤ１０９へ記録する。

ステップＳ２０８では、撮影終了操作が行われた後も撮影を継続し、圧縮本動画像（後続動画）の記録を行い、シーン変化の検出は行わない。そして、シーンが持続していても、持続していなくても、ステップＳ８１４へ進み、前記上限記録時間Ｔ＿ｐｏｓｔの後続動画をＨＤＤ１０９へ記録する。

このようにして、実施例２においては所定時間の先行動画と後続動画を記録する構成となる。従って、実施例２においては、図３（ｂ）のテイク２の撮影では、２Ａから２Ｄまでの期間の動画像、また図３（ｃ）のテイク３の撮影では、３Ａから３Ｄまでの期間の動画像が、それぞれＨＤＤ１０９に記録される。

シーンチェンジエフェクトが掛けられている場合の再生モード制御動作を説明する。

実施例１においては、クロスフェード再生を実施する際に、先行動画と後続動画の記録時間の比較のみでクロスフェードを掛ける時間Ｔ＿ｅｆｆｅｃｔを決定した。一方の実施例２においては、クロスフェード再生の実行が指定されると、再生を開始する前に、先行動画および後続動画におけるシーン変化の有無を検出して前記Ｔ＿ｅｆｆｅｃｔを決定する必要がある。

例えば、図５（ｅ）に示すクロスフェード再生の実行が指定されると、まずＨＤＤ１０９からテイク１を探し出し、タイミング（メモリ位置）１Ｃから１Ｄまで圧縮本動画像データを読み始める。そして、動画圧縮解凍回路１０８にて次々に解凍デコードされる再生画像について、予め指定した画像領域の平均輝度値を算出し、前回算出した平均輝度値との輝度差分値ΔＹを算出する。そして、図７に示すように予め設定された輝度差分値とシーン変化量の関係図を用いてシーン変化量を求め、シーン変化量に基づきシーン変化の有無を判定する。

続いて、ＨＤＤ１０９からテイク２を探し出し、タイミング（メモリ位置）２Ｂから２Ａまで圧縮本動画像データを読み始め、前記テイク１の後続画像におけるシーン検出と同様にしてシーン変化の有無を判定する。先行動画におけるシーン変化検出においては、撮影時間軸的には時間をさかのぼる方向の順序で画像データを読み出してシーン変化検出を行う。

このようにしてテイク２のタイミング２αにおけるシーン変化検出情報を検出した後は、実施例１と同様にして、クロスフェードを掛ける時間Ｔ＿ｅｆｆｅｃｔを決定する。そして決定したＴ＿ｅｆｆｅｃｔ時間かけて２つの動画像をミックスした映像を生成して画像メモリ１０４に記憶し、これを再生すすることによって、クロスフェード再生を実施する。

以上のように、実施例２においてはクロスフェード再生前にシーン変化検出が必要なため、シーン変化検出が遅い場合には使い勝手が悪くなる恐れがある。しかしながら、動画記録時にシーン変化検出が出来ない撮像装置であっても、実施例１と同様の目的を果たすことが可能となる。

なお、図１における動画圧縮解凍回路１０８は、モーションＪＰＥＧのような、１枚１枚のコマを独立して圧縮符号化する動画符号化方式を実行する回路にしてもよい。またＭＰＥＧのような、コマに応じて、独立して圧縮符号化したり、前後のコマの差分をとって圧縮符号化したり、また、複数のコマから予測して圧縮符号化したりする動画符号化方式を実行する回路にしてもよい。また、ＨＤＤ１０９は、光ディスクや光磁気ディスク等のディスクメディアでもよいし、固体半導体メモリで構成されるＦＬＡＳＨメモリやＳＲＡＭ，ＤＲＡＭ等であってもよい。

さらに、前述した実施例１および２の機能を実現するソフトウェアのプログラムコードを、インターネット網や記憶媒体を介して、システムあるいは装置に供給してもよい。そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が格納されたプログラムコードを読み出して実行することによっても、本発明が達成されることは言うまでもない。この場合、プログラムコード自体が、前述の実施例１および２の機能を実現することになり、そのプログラムコードをインターネット網に接続された供給元のコンピュータや供給元が販売した記憶媒体が本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピィディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例１および２の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施例１および２の機能が実現される場合も、本発明に含まれる。さらに、供給元のコンピュータから供給され、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例１および２の機能が実現される場合も、本発明に含まれることは言うまでもない。

以上説明したように本発明の撮像装置によれば、クロスフェード等のシーンチェンジエフェクトを掛けた場合でも、録画開始操作の時点から録画終了操作の時点までの映像が不鮮明になることなく再生することができる。また、シーンチェンジエフェクト中においても、ユーザが予期しない動画を含まずに再生することができる。

１０２ 撮像素子
１０３ カメラ信号処理部
１０４ 画像メモリ
１０５ 操作スイッチ
１０９ ＨＤＤ
１１１ ＣＰＵ

Claims (8)

1. 第１の録画開始操作の前の撮像手段による動画である第１の先行動画、前記第１の録画開始操作から第１の録画終了操作までの撮像手段による動画である第１の本動画、および前記第１の録画終了操作の後の撮像手段による動画である第１の後続動画を含む第１の動画と、第２の録画開始操作の前の撮像手段による動画である第２の先行動画、前記第２の録画開始操作から第２の録画終了操作までの撮像手段による動画である第２の本動画、および前記第２の録画終了操作の後の撮像手段による動画である第２の後続動画を含む第２の動画とを、記憶手段から読み出し、前記第１の動画と前記第２の動画を続けて再生する表示手段と、
   少なくとも前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画の少なくともいずれかからシーン変化を検出するシーン変化検出手段と、
   前記表示手段にて表示される前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画を段階的に変化させるエフェクト処理を行う画像処理手段とを有し、
   前記画像処理手段は、前記第１の動画の前記第１の後続動画における録画終了操作の時点からシーンが持続していると判定した期間、および、前記第２の動画の前記第２の先行動画の録画開始操作の時点からさかのぼってシーンが持続していると判定した期間の少なくともいずれかの期間だけ、前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画に対して前記エフェクト処理を掛けることを特徴とする画像処理装置。
2. 前記シーン変化検出手段は、動画記録時に、前記第２の先行動画と前記第１の後続動画からシーン変化を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記シーン変化検出手段は、再生時に、前記第２の先行動画と前記第１の後続動画からシーン変化を検出することを特徴とする請求項１に記載の画像処理装置。
4. 前記シーン変化検出手段は、前記第１の後続動画の録画終了操作の時点からシーンが持続していると判定した期間、および、前記第２の先行動画の録画開始操作の時点からさかのぼってシーンが持続していると判定した期間について、所定の上限時間を設定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記エフェクト処理を適用する期間は、前記第１の動画の前記第１の後続動画における録画終了操作の時点からシーンが持続していると判定した期間と、前記第２の動画の前記第２の先行動画の録画開始操作の時点からさかのぼってシーンが持続していると判定した期間とが異なる場合には、短いほうの期間に設定することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記撮像手段と、
   請求項１乃至５のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
7. 第１の録画開始操作の前の撮像手段による動画である第１の先行動画、前記第１の録画開始操作から第１の録画終了操作までの撮像手段による動画である第１の本動画、および前記第１の録画終了操作の後の撮像手段による動画である第１の後続動画を含む第１の動画と、第２の録画開始操作の前の撮像手段による動画である第２の先行動画、前記第２の録画開始操作から第２の録画終了操作までの撮像手段による動画である第２の本動画、および前記第２の録画終了操作の後の撮像手段による動画である第２の後続動画を含む第２の動画とを、記憶手段から読み出し、前記第１の動画と前記第２の動画を続けて再生する表示ステップと、
   少なくとも前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画の少なくともいずれかからシーン変化を検出するシーン変化検出ステップと、
   前記表示ステップにて表示される前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画を段階的に変化させるエフェクト処理を行う画像処理ステップとを有し、
   前記画像処理ステップでは、前記第１の動画の前記第１の後続動画における録画終了操作の時点からシーンが持続していると判定した期間、および、前記第２の動画の前記第２の先行動画の録画開始操作の時点からさかのぼってシーンが持続していると判定した期間の少なくともいずれかの期間だけ、前記第１の動画の前記第１の後続動画と前記第２の動画の前記第２の先行動画に対して前記エフェクト処理を掛けることを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images