JP5284074B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特に、記録媒体から読み出して再生している動画から静止画を連続的に生成するために用いて好適な技術に関する。

近年のデジタルカメラの急速な普及にみられるように、ＣＣＤの高画素化、メモリの高容量化、画像処理技術の向上などに伴い、ビデオカメラにおいては、動画を撮影すると共に、静止画も撮影することが可能な製品のニーズが高まってきている。

しかし、初心者がビデオカメラを使用して被写体を撮影する際に、動画を撮影しながら静止画像も同時に撮影することは、撮影テクニックとしては非常に難しい技術であり、撮影者には大きな負担になっていた。

そこで、このような問題点を解決するために、撮影者が動画を撮影するときは動画を撮影することにだけに集中させ、静止画は動画の撮影後に撮影した動画から気に入ったショットだけを選択して生成するという機能を備えた撮像装置が提案されている。具体的には、動画再生中に気に入ったシーンが再生されているタイミングで記録ボタンを押すと、その瞬間の静止画が生成されるというビデオカメラがある。

更に、開示されている技術として、記録ボタンを押すと入力された動画から予め定められた間隔毎に、静止画を連続的に生成するという機能を持つ静止画キャプチャー装置が紹介されている（特許文献１参照）。

特開２００１−５４０５３号公報

特許文献１において提案された静止画キャプチャー装置によれば、撮影後に静止画を生成することができるので、撮影時に撮影者は動画撮影にだけ専念すればよいので撮影者にかかる負担が少なくはなる。

しかしながら、動画再生中に予め定められた間隔毎に連続的な静止画を生成しようとしたときに、静止画を生成するための記録ボタンを押し続けると、種々の不都合が発生する。例えば、静止画を生成する間隔をフレーム単位に設定すると、１秒間の動画から３０枚もの静止画が生成されるため不要な静止画が大量にできてしまうことになる。

その結果、本当に欲しいショットの静止画を後から探し出すことが負担になるだけでなく、不要な静止画を大量に生成することにより、記録メディアの容量を無駄に消費してしまう不都合が発生する。特に、記録ボタンを押し続けている間に動画のシーンが切り替わった場合は、シーンの切り替わった後の静止画は特別な理由が無い限りすべて不要な静止画となってしまう。

また、動画再生中に一時停止を行った場合も同様であり、一時停止中の同じ動画から生成される同じ静止画は特別な理由が無い限りすべて不要な静止画となってしまう。
本発明は前述の問題点に鑑み、動画再生中に静止画を生成及び記録する際に、不要な静止画が極力生成されないようにすることを目的としている。

本発明の画像処理装置は、記録媒体から読み出されて再生されている動画から静止画を連続的に生成する静止画生成手段と、前記記録媒体から読み出されて再生されている動画における再生状態の変化を検出する再生状態検出手段と、前記静止画生成手段の動作を制御する制御手段とを有し、前記制御手段は、静止画記録が指示されている間に前記再生状態検出手段が前記再生されている動画の再生状態が変化したことを検出したときには、前記静止画記録の指示中であっても前記静止画生成手段による静止画の生成を停止するよう制御することを特徴とする。

本発明の画像処理方法は、記録媒体から読み出されて再生されている動画から静止画を連続的に生成する静止画生成工程と、前記記録媒体から読み出されて再生されている動画における再生状態の変化を検出する再生状態検出工程と、前記静止画生成工程の動作を制御する制御工程とを有する画像処理方法であって、前記制御工程は、静止画記録が指示されている間に前記再生状態検出工程が前記再生されている動画の再生状態が変化したことを検出したときには、前記静止画記録の指示中であっても前記静止画生成工程において行われている静止画の生成を停止するよう制御することを特徴とする。

本発明によれば、静止画を連続的に生成して記録している最中に、静止画記録が指示されている間に再生されている動画データの再生状態が変化した場合には、前記静止画記録の指示中であっても前記静止画の生成を中止するようにした。これにより、動画再生中に静止画を生成する際に、不要な静止画が極力生成されないようにすることができ、使い勝手の良い画像処理装置を実現することが可能となる。

（第１の実施形態）
以下、図面を参照して本発明の実施形態を説明する。
図１は、本実施形態の画像処理装置を備えた撮像装置１００の構成例を示すブロック図である。
図１において、１０１は撮影レンズである光学ズームレンズ、１０２は光学ズームレンズ１０１による光学像を電気信号に変換する撮像素子であるＣＣＤである。１０３はＣＣＤ１０２から出力された映像信号を、予め決められているカメラの映像規格に合うようカメラ映像信号処理を行い、動画像データや静止画像データを生成するカメラ映像信号処理部、１１０は規格化された映像信号や静止画を記録する記録メディアである。

１０４は映像信号を圧縮した後に記録メディア１１０に記録したり、記録メディア１１０から映像信号を読み出して再生したりするための記録再生制御部である。１０５は全体のシステムを制御するマイクロコンピュータ（以下マイコン）、１０６は撮影者が映像信号を記録メディア１１０に記録するよう、記録開始の指示を行うための動画記録ボタンである。

１０７は動画再生中に静止画を生成するタイミングを指示するための静止画記録ボタン、１０８は動画記録モードと動画再生モードとを切り替えるための動画記録モード・動画再生モード選択スイッチである。１０９は動画再生中に再生、停止、一時停止、早送り、早戻しなどの指示を行うための再生系スイッチ、１１１は動画再生中の画像を表示するためのモニタ表示装置である。

次に、本実施形態の撮像装置１００の具体的な動作について説明する。
本実施形態の撮像装置１００は、動画記録モードと動画再生モードとを有している。本実施形態の特徴である動画再生モードが動画記録モード・動画再生モード選択スイッチ１０８により選択されている場合について説明する。

光学ズームレンズ１０１より入射した被写体像は、ＣＣＤ１０２によって電気信号に変換されてカメラ映像信号処理部１０３に入力される。カメラ映像信号処理部１０３では、見た目の色あいを人間の記憶色に近い色に加工するためのホワイトバランス処理、γ補正等の非線形信号処理、あるいは解像感を付加するためのアパーチャ処理等を施して記録再生制御部１０４へ出力される。

記録再生制御部１０４では、記録メディア１１０に映像信号を記録するための制御を行う。具体的には、カメラ映像信号処理部１０３から出力される映像信号をＭＰＥＧ２や、ＭＰＥＧ４や、ＡＶＣ．Ｈ２６４などのコーデックを使って圧縮処理を行い、記録容量を小さくして記録メディア１１０に記録を行う。撮影者が動画撮影を行う場合は、動画記録ボタン１０６を操作する。

マイコン１０５は、動画記録ボタン１０６が操作されたことを検出し記録再生制御部１０４へ記録開始を行うための記録開始命令を出力する。すると、カメラ映像信号処理部１０３から出力された映像信号がリアルタイムに記録再生制御部１０４に入力される。そこで、入力された映像信号をＭＰＥＧ２やＭＰＥＧ４やＡＶＣ．Ｈ２６４などのコーデックを使って圧縮処理を行い、記録容量を小さくし撮影している動画が記録メディア１１０に記録される。

次に、動画記録モード・動画再生モード選択スイッチ１０８によって動画再生モードが選択されている場合を例に説明する。
記録メディア１１０に記録された動画を再生する場合は、再生系スイッチ１０９を操作して再生を行う。再生系スイッチ１０９には再生スイッチ、停止スイッチ、一時停止スイッチ、早送りスイッチ、早戻しスイッチなどが設けられている。そして、再生スイッチが操作された場合は、再生系スイッチ１０９の再生スイッチが操作されたことをマイコン１０５が検出し、記録再生制御部１０４に再生を行うための指示を出力する。

記録再生制御部１０４は、記録メディア１１０から再生すべき動画を抽出して再生を行う。具体的には、記録メディア１１０にＭＰＥＧ２やＭＰＥＧ４やＡＶＣ．Ｈ２６４などのコーデックを使って圧縮処理が施されたデータと同じコーデックを使って解凍処理を行い、モニタ表示装置１１１に表示可能な映像信号に復元してモニタ表示装置１１１に出力する。

使用者は、モニタ表示装置１１１に表示される動画の表示を、再生系スイッチ１０９を操作することにより変更することができる。具体的には、動画データ再生を一時停止状態にしたり、早送り再生状態にしたり、早戻し再生状態にしたりすることができる。

例えば、動画再生中に再生されている動画から静止画を作成する場合は、動画再生中に静止画記録ボタン１０７を操作する。すると、静止画記録ボタン１０７が操作されたことをマイコン１０５が検出し、記録再生制御部１０４に静止画を生成するための指示を出力する。すると、動画再生中の動画から静止画が生成され記録メディア１１０に静止画が記録される。

具体的には、動画再生中のＯＤＤ画像とＥＶＥＮ画像の２枚のフィールド画像から１枚のフレーム画となる静止画を生成する。ここで生成された静止画を、ＪＰＥＧなど一般的に静止画を扱うのに適したコーデックで圧縮処理を行い、記録メディア１１０に記録される。例えば、ゴルフのスイングなど連続的な動きのある動画を再生している場合に、静止画記録ボタン１０７を押し続けると連続的な静止画を生成することができ、ゴルフスイングのフォームの確認をするのに好適である。

このようにして静止画を生成すると、再生中の動画からフレーム毎に静止画が生成され、１秒間に３０枚もの静止画を生成することができるので、ゴルフのスイングなどの動きの早い被写体の見たい瞬間を逃すことをなくすことができる。

ここで生成される静止画は、図３で説明するように、フィールド画１とフィールド画２からフレーム静止画を生成する。同様に、フィールド画３とフィールド画４からフレーム静止画を生成する。ここで、フレーム静止画を生成するためのフレーム静止画生成部３０１は、記録再生制御部１０４の中に含まれている。

このように、１秒間に３０枚もの多くの静止画を生成することは、動きの早い被写体を見る場合に、見たい瞬間を逃すことなく静止画にできるというメリットがある反面、静止画ファイルが大量に作成されてしまう。このため、本当に必要な静止画を後から探し出すことが煩雑になるだけでなく、静止画ファイルが大量にできてしまうことにより、記録メディアの容量を無駄に使ってしまうという問題点も生まれる。

次に、このような問題点を解決するために、静止画記録ボタン１０７を押し続けている場合でも、再生状態が変化したことを検出したときには静止画生成を強制的に停止させる実施形態を説明する。
例えば、動画再生中に静止画記録ボタン１０７を押し続けて静止画を連続的に生成している場合において、仮に再生系スイッチ１０９によって一時停止ボタンが押された場合は、静止画生成を停止した方がよい。

なぜなら、一時停止されているということは、再生されている動画が止まった状態でモニタ表示装置１１１に表示されていて、この状態は、ＯＤＤとＥＶＥＮに同じ画像が交互に出力されている状態である。つまり、この状態でＯＤＤとＥＶＥＮからフレーム画を生成しても、これらは同じ静止画を連続的に生成し続けてしまうことになり、不要な静止画が多くできてしまう。以上の理由により、再生系スイッチ１０９で再生以外のスイッチが操作された場合は静止画の連続生成は強制的に停止した方がよい。

また、シーンが切り替わった場合も静止画生成を停止した方がよい。なぜなら、静止画が欲しいタイミングで静止画記録ボタン１０７を操作したということは、そのシーンに欲しい静止画があるということを意味しているからであり、シーンが切り替わった後も静止画が欲しいというケースは稀だと考えるからである。

具体的に、図４と図５を用いて説明を補足する。
図５において、動画シーン１の（１)のタイミングで静止画記録ボタン１０７を操作すると再生している動画からＯＤＤとＥＶＥＮのペアを用いてフレーム画を生成する。例えば、（１)のタイミングで静止画記録ボタン１０７が押されると、（２）のペアから静止画１が生成される。

更に、静止画記録ボタン１０７が押され続けていると、（３）のペアから静止画２、（４）のペアから静止画３、（５）のペアから静止画４、（６）のペアから静止画５、（７）のペアから静止画６が連続的に生成される。さらに、（８）のペアから静止画７、（９）のペアから静止画８が連続的に生成される。

静止画８が生成されたタイミングで静止画記録ボタン１０７の操作を止めたため、静止画の生成が止まった。ここで問題になるのが、動画シーン１の後半部分から静止画記録ボタン１０７を押し続けたために静止画を作成し続けてしまい、動画シーン１から動画シーン２に切り替わっても静止画が生成され続けている。

その結果、動画シーン１と動画シーン２は関連性の無い動画になっている可能性が高いため、不要な静止画を生成してしまっている。このような場合は、図４に図示したように、静止画記録ボタン１０７の操作が動画シーン２の前半部分にまで及んだ場合においても、動画シーン１から動画シーン２にシーンが切り替わったことを検出する。そして、静止画７と静止画８のタイミングでは静止画が生成されないことが望ましい。シーンが切り替わったことを検出する方法は、各シーン毎に存在するファイル管理情報をマイコン１０５で常時検出し、得られた管理情報からシーンが切り替わったかどうか判別している。

次に、マイコン１０５で動画再生中に静止画像の生成及び記録動作を強制的に停止するよう制御する処理について具体的な処理の流れを図２のフローチャートを用いて説明する。
動画を再生する処理は、フィールド単位で処理を行うため、一般的な垂直同期信号に相当するタイミングで一連の処理を行い、前述した処理は垂直同期信号が発生する度に繰り返し行われる。これを、図２のフローチャートにおいては、ステップＳ２０１の処理で行っている。

すなわち、ステップＳ２０１においては、まず、垂直同期信号（ＶＤ）が入ってきたかどうかを判断する。この判断の結果、垂直同期信号（ＶＤ）が入るまではＮＯに分岐し、垂直同期信号が入力されるのを待つ。そして、ステップＳ２０１において、垂直同期信号（ＶＤ）が入ってきたと判断された場合はＹＥＳに分岐してステップＳ２０２に進む。

ステップＳ２０２においては、動画記録モード・動画再生モード選択スイッチ１０８が動画再生モードになっているかどうかを判断する。この判断の結果、動画記録モードが選択されている場合はＮＯに分岐してステップＳ２０７に進む。ステップＳ２０７においては静止画生成及び記録を中止する。また、ステップＳ２０２の判断の結果、動画再生モードが選択されている場合はＹＥＳに分岐し、ステップＳ２０３〜ステップＳ２０５において、記録メディア１１０から読み出されて再生されている動画データにおける再生状態の変化を検出する再生状態検出を行う。

先ず、ステップＳ２０３においては、静止画記録ボタン（フォトボタン）１０７が押され続けているかどうかを検出する。この検出の結果、静止画記録ボタン１０７が押され続けていない場合はＮＯに分岐してステップＳ２０７に進み、静止画生成及び記録を中止する。また、静止画記録ボタン１０７が押され続けている場合はＹＥＳに分岐してステップＳ２０４に進む。

ステップＳ２０４においては、再生系スイッチ１０９が操作された結果、現在、動画再生中かどうか検出する。この検出の結果、動画再生中以外の場合はＮＯに分岐してステップＳ２０７に進んで静止画生成及び記録を中止する。また、動画再生中の場合はＹＥＳに分岐してステップＳ２０５に進む。

ステップＳ２０５においては、動画再生中にシーンの切り替わりが起きたかどうかを検出する。この検出の結果、シーンの切り替わりが起きていない場合はＮＯに分岐してステップＳ２０６に進み、静止画生成及び記録を実行する。ステップＳ２０６において、静止画生成及び記録を実行している場合には、予め設定された間隔、或いは予め設定された枚数の静止画を生成する毎にステップＳ２０８に進む。

一方、ステップＳ２０５の検出結果、シーンの切り替わりが起きた場合はＹＥＳに分岐してステップＳ２０７に進み、静止画生成及び記録を中止する。その後、ステップＳ２０８に進む。

ステップＳ２０８においては、静止画生成及び記録を継続するか否かを判断する。この判断の結果、静止画記録ボタン１０７が押され続けている場合には継続と判断し、ステップＳ２０１に戻って前述した処理を実行する。また、ステップＳ２０８の判断の結果、静止画記録ボタン１０７が押されていなかったり、停止操作が行われたり、再生画像がなくなったりした場合には、静止画生成及び記録を継続しないと判断してエンド処理へ移行する。

ステップＳ２０８における静止画生成及び記録を継続しない判断は、前述した他に、動画再生を停止させる停止スイッチが押された場合もある。また、動画再生を一時的に停止させる一時停止スイッチが押された場合もある。また、再生中の動画を早送り再生させる早送りスイッチが押された場合もある。また、再生中の動画を早戻し再生させる早戻しスイッチが押された場合もある。

前述したように、本実施形態の撮像装置１００においては、動画再生モードにて動画再生中に記録ボタンの操作によって静止画を連続的に生成している最中に、シーンの切り替わりが検出された場合には静止画の生成が強制的に停止されるようにした。このため、不要な静止画を生成してしまう不都合を無くすことができ、使い勝手の良い画像処理装置、撮像装置を実現することが可能となる。

また、動画再生モードにて動画再生中に記録ボタンの操作によって静止画を連続的に生成している最中に、通常再生以外の状態になった場合に、静止画の生成を強制的に停止させるようにしたので、必要な静止画のみを生成することが可能となる。これにより、使い勝手の良い画像処理装置、撮像装置を実現することが可能となる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置、撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、コンピュータプログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した画像処理方法における各工程を実行するソフトウェアのプログラム（実施形態では図２に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態を示し、撮像装置の構成例を示すブロック図である。 本発明の実施形態を示し、動画再生中に静止画生成を強制的に停止する処理について具体的な処理の流れを説明するフローチャートである。 本発明の実施形態を示し、動画から静止画を生成する処理動作を説明するための図である。 本発明の実施形態を示し、動画から静止画を生成する処理動作を説明するための図である。 従来の問題点を示し、シーンが切り替わっても静止画を連続的に生成する様子を説明するための図である。

符号の説明

１００ 撮像装置
１０１ レンズ
１０２ ＣＣＤ
１０３ カメラ映像信号処理部
１０４ 記録再生制御部
１０５ マイクロコンピュータ（マイコン）
１０６ 動画記録ボタン
１０７ 静止画記録ボタン
１０８ 動画記録モード・動画再生モード選択スイッチ
１０９ 再生系スイッチ
１１０ 記録メディア
１１１ モニタ表示装置

Claims (5)

1. 記録媒体から読み出されて再生されている動画から静止画を連続的に生成する静止画生成手段と、
   前記記録媒体から読み出されて再生されている動画における再生状態の変化を検出する再生状態検出手段と、
   前記静止画生成手段の動作を制御する制御手段とを有し、
   前記制御手段は、静止画記録が指示されている間に前記再生状態検出手段が前記再生されている動画の再生状態が変化したことを検出したときには、前記静止画記録の指示中であっても前記静止画生成手段による静止画の生成を停止するよう制御することを特徴とする画像処理装置。
2. 前記再生状態検出手段は、前記再生されている動画のシーンの切り替わりを、前記動画の再生状態が変化したとして検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記再生状態検出手段は、前記動画の再生状態が通常再生以外の再生状態への変更を検出した場合に、前記動画の再生状態が変化したとして検出することを特徴とする請求項１に記載の画像処理装置。
4. 前記再生状態検出手段が検出する、前記動画の再生状態の変化は、前記動画の再生状態の一時停止、早送り再生、早戻し再生を含むことを特徴とする請求項３に記載の画像処理装置。
5. 記録媒体から読み出されて再生されている動画から静止画を連続的に生成する静止画生成工程と、
   前記記録媒体から読み出されて再生されている動画における再生状態の変化を検出する再生状態検出工程と、
   前記静止画生成工程の動作を制御する制御工程とを有する画像処理方法であって、
   前記制御工程は、静止画記録が指示されている間に前記再生状態検出工程が前記再生されている動画の再生状態が変化したことを検出したときには、前記静止画記録の指示中であっても前記静止画生成工程において行われている静止画の生成を停止するよう制御することを特徴とする画像処理方法。

Images