JP5593652B2 - カメラ、および動画再生用プログラム - Google Patents

Description

本発明は、カメラ、および動画再生用プログラムに関する。

次のような動画像処理装置が知られている。この動画像処理装置は、音声の大きさと字幕表示の有無に応じて、動画の再生速度を変化させることによって動画の再生時間を短縮する（例えば、特許文献１）。

特開２００１−４５４０８号公報

しかしながら、撮影した動画に必ずしも字幕が入るとは限らず、また、早送りをしてもよいシーンかどうかは、必ずしも音声の大きさによって判断できない。したがって、従来の装置を用いた場合には、ユーザが望まないシーンが早送りされてしまう可能性があった。

本発明によるカメラは、複数のフレームで構成される動画を撮影する動画撮影手段と、被写界の情報に基づいて、フレームの撮影シーンを判定する撮影シーン判定手段と、撮影者によるカメラの操作内容を判定する操作内容判定手段と、前フレームの撮影シーンおよび操作内容と、現フレームの撮影シーンおよび操作内容とに基づいて、前フレームと現フレームの撮影状況の違いの程度を変化量として特定し、変化量に基づいて、現フレームの再生時間を決定する再生時間制御手段と、を備えることを特徴とする。
再生時間制御手段は、変化量と閾値との比較結果に基づいて、現フレームの再生時間を決定し、この閾値は変更が可能であってもよい。
再生時間制御手段は、撮影シーンおよび操作内容が、所定時間以上変化しない場合には、前記所定時間経過後のフレームの再生時間を高速に変化させるようにしてもよい。
本発明による動画再生用プログラムは、コンピュータに、複数のフレームで構成される動画を撮影する動画撮影手順と、被写界の情報に基づいて、前記フレームの撮影シーンを判定する撮影シーン判定手順と、撮影者によるカメラの操作内容を判定する操作内容判定手順と、前フレームの撮影シーン判定手順で判定した撮影シーンおよび操作内容判定手順で判定した操作内容と、現フレームの撮影シーン判定手順で判定した撮影シーンおよび操作内容判定手順で判定した操作内容とに基づいて、前フレームと現フレームの撮影状況の違いの程度を変化量として特定し、変化量に基づいて、現フレームの再生時間を決定する再生時間制御手順と、を実行させることを特徴とする。

本発明によれば、早送りをしてもユーザにとって影響が少ないと思われるシーンを早送りして、動画の再生時間を短縮することができる。

カメラの一実施の形態の構成を示すブロック図である。 制御装置１０４による動画撮影時の処理を示すフローチャート図である。 判定結果データの具体例を示す図である。 制御装置１０４による動画再生時の処理を示すフローチャート図である。 ブロックテーブルの具体例を示す図である。 変化量テーブルの具体例を示す図である。 早送り判定データの具体例を示す第１の図である。 早送り判定の結果に基づいて動画の再生を行う場合の具体例を模式的に示した図である。 早送り判定データの具体例を示す第２の図である。 変形例における早送り制御方法の具体例を示す第１の図である。 変形例における早送り制御方法の具体例を示す第２の図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。また、レンズ１０２を構成するレンズには、後述するＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）のためのＡＦレンズが含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から所定のフレームレートで画像データを取得してモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態におけるカメラ１００は、動画撮影機能を備えており、使用者は、カメラ１００のモードを動画撮影モードに設定することによって動画を撮影することができる。例えば、使用者は、動画撮影モードに設定した後に、レリーズボタンを押下することにより動画の撮影開始を指示し、再度レリーズボタンを押下することで動画の撮影終了を指示することができる。

制御装置１０４は、カメラ１００のモードが動画撮影モードに設定された場合には、1回目のレリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、所定のフレームレートで撮像素子１０３からの画像データの取得を繰り返し、これらを１つの動画ファイルとして、メモリカードに記録する。

また、使用者は、カメラ１００のモードを再生モードに設定することにより、メモリカードに記録されている動画を再生することができる。制御装置１０４は、再生モード設定時に、使用者によってメモリカード内の動画の再生が指示された場合には、メモリカードから当該動画ファイルを読み出してモニタ１０６に出力することによって再生を行う。これによって、使用者は、カメラ１００を用いて動画を撮影し、撮影した動画をモニタ１０６上で鑑賞することができる。

このとき、使用者は、動画の再生時間を短縮するために、一部のフレームの早送りを希望する場合がある。本実施の形態では、制御装置１０４は、動画を構成する各フレームが早送りしても使用者が動画の内容を把握する上で影響があるか否かを判定し、影響がないと思われるフレームを対象として早送りを行う。以下、本実施の形態における制御装置１０４の処理について説明する。

まず、図２に示すフローチャートに従って、制御装置１０４による動画撮影時の処理について説明する。なお、図２に示す処理は、使用者によってカメラ１００のモードが動画撮影モードに設定されてレリーズボタンが押下されることによって、動画の撮影開始が指示された場合に起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、制御装置１０４は、撮像素子１０３から入力される１フレームのデータ（画像データ）を取得してバッファメモリに記録する。その後、ステップＳ２０へ進む。

ステップＳ２０では、制御装置１０４は、バッファメモリに記録したフレームを解析して、フレームの撮影シーンを自動認識する。撮影シーンの認識方法は、公知の方法を用いるものとし、例えば、被写界の情報に基づいて認識を行うものとする。なお、認識されるフレームの撮影シーンとしては、主要被写体として人物を撮影する際に設定される「ポートレート」、夜間に人物を撮影する際に設定される「夜景ポートレート」、風景を撮影する際に設定される「風景」等がある。また、夕景を撮影する際に設定される「夕景」、動いている被写体を撮影する際に設定される「動体」、被写体を接写する場合に設定される「クローズアップ」等がある。

その後、ステップＳ３０へ進み、制御装置１０４は、使用者によるカメラの操作内容を判定する。ここでは、カメラの操作内容として「パン」、「チルト」、「ズームイン」、「ズームアウト」、「静止」のいずれかを判定する。例えば、制御装置１０４は、前フレームとのフレーム間で画像の差分データを算出し、その差分データに基づいて、画像が左右方向へ移動したことを検出した場合には、カメラの操作内容は「パン」であると判定し、画像が上下方向へ移動したことを検出した場合には、カメラの操作内容は「チルト」であると判定する。また、差分データに大きな変化がなければ、カメラの操作内容は「静止」であると判定する。また、制御装置１０４は、使用者による操作部材１０１に含まれるズームボタンの操作状況を検出することにより、「ズームイン」、「ズームアウト」の有無を判定する。

その後、ステップＳ４０へ進み、制御装置１０４は、ステップＳ２０における撮影シーンの判定結果、およびステップＳ３０におけるカメラの操作内容の判定結果を、現在のフレームを示すフレーム番号に関連付けて記録する。例えば、制御装置１０４は、図３に示すように、現在のフレーム番号３ａと、現在のフレームの撮影シーンの判定結果３ｂと、現在のフレームにおけるカメラの操作内容３ｃとを２次元テーブルに記録することにより関連付けを行う。なお、図３において、フレーム番号３ａは、動画を構成する各フレームに対して一意に付される番号であって、１フレーム目のフレーム番号を１として連番で付される。その後、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０４は、使用者によって再度レリーズボタンが押下されることによって、動画の撮影終了が指示されたか否かを判断する。ステップＳ５０で否定判断した場合には、ステップＳ１０へ戻り、制御装置１０４は、撮像素子１０３から入力される次フレームのデータを取得してバッファメモリに記録し、当該フレームを対象として上記処理を繰り返す。これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。

ステップＳ６０では、制御装置１０４は、バッファメモリに記録しておいた１フレーム目から最新フレームまでのデータに基づいて、所定形式の動画ファイルを作成し、これをメモリカードスロット１０５に挿入されているメモリカードに記録する。このとき、制御装置１０４は、当該動画ファイルと、ステップＳ４０で記録した判定結果を示すデータ（判定結果データ）との関連付けを行う。例えば、動画ファイルのヘッダ情報に判定結果データを含めて記録してもよいし、動画ファイルと判定結果データのデータファイルとを別ファイルとし、両ファイルのファイル名の一部に共通の文字列を含めておくことにより、両ファイルを関連付けてもよい。その後、処理を終了する。

次に、図４に示すフローチャートに従って、制御装置１０４による動画再生時の処理について説明する。なお、図４に示す処理は、使用者によってカメラ１００のモードが再生モードに設定され、メモリカードに記録されている動画ファイルの再生が指示された場合に起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１１０において、制御装置１０４は、再生が指示された動画ファイルに関連付けられている判定結果データをバッファメモリに読み出して、ステップＳ１２０へ進む。ステップＳ１２０では、制御装置１０４は、各フレームの再生時間を決定するために用いるブロックテーブルをバッファメモリに読み出し、当該ブロックテーブルを参照することにより上記判定結果データに対応したブロック番号を特定する。なお、ブロックテーブルは、図５に示すような２次元テーブルのデータであり、あらかじめ用意されてフラッシュメモリに記録されているものとする。

ここで図５を用いてブロックテーブルについて説明する。このブロックテーブルでは、上述した撮影シーンとカメラの操作内容との各組み合わせに対してブロック番号を付している。例えば、撮影シーン「ポートレート」と操作内容「パン」との組み合わせにはブロック番号「０」が付され、撮影シーン「ポートレート」と操作内容「チルト」との組み合わせにはブロック番号「７」が付されている。このブロックテーブルを用いることにより、撮影シーンと操作内容とに基づいて、ブロック番号を一意に特定することができる。

このステップＳ１２０では、制御装置１０４は、ステップＳ１２０で読み出した判定結果データの１フレーム目から順番に、そのフレームの撮影シーンと操作内容に基づいてブロック番号を特定していく。なお、以下の説明では、撮影シーンと操作内容との組み合せを「＋」を用いて表現する。例えば、撮影シーン「ポートレート」と操作内容「パン」との組み合せは、「ポートレート」＋「パン」と表す。

その後、ステップＳ１３０へ進み、制御装置１０４は、ステップＳ１２０で特定したブロック番号に応じた変化量テーブルをバッファメモリに読み出し、当該ブロックテーブルを参照することにより前フレームからのブロック番号に基づく変化量を特定する。すなわち、図５に示した各ブロック番号ごとに、図６に示すような変化量テーブルがあらかじめバッファメモリに記録されている。例えば、図６に示す例は、ブロック番号２８（「ポートレート」＋「静止」）に対応する変化量テーブルを示している。

この変化量テーブルでは、現フレームのブロック番号２８と、前フレームのブロック番号との撮影状況の違いの程度を数値で表している。前フレームがブロック番号２９の場合、すなわち「夜景ポートレート」＋「静止」６ａであった場合には、前フレームから現フレームの変化量は「１」となる。また、前フレームがブロック番号１０の場合、すなわち「夜景」＋「チルト」６ｂであった場合には、前フレームから現フレームの変化量は「５」となる。一方で、前フレームのブロック番号と現フレームブロック番号が同じ場合には、変化量は０となり、図６では「−」と表示している。

その後、ステップＳ１４０へ進み、制御装置１０４は、ステップＳ１３０で特定した変化量に基づいて、そのフレームを早送りの対象とするか否かの判定を行う。本実施の形態では、制御装置１０４は、例えば、ステップＳ１３０で特定した変化量が所定の閾値以上の場合には、そのフレームは早送りせずに通常再生とし、変化量が所定の閾値未満の場合には、そのフレームを早送りするものと判定する。これは、変化量が所定値未満の場合には、そのフレームは前フレームからの被写体の変化が小さいため、早送りに適したフレームであると判断できるためである。

このとき、前フレームとの変化量が「−」（＝０）の場合には、前フレームの判定結果をそのまま用いる。すなわち、前フレームが通常再生と判定されていた場合には、現フレームもそのまま通常再生とし、前フレームが早送り対象と判定されていた場合には、現フレームもそのまま早送り対象とする。

なお、判定に用いる閾値は、固定値（例えば３）としてもよいし、変更可能としてもよい。変更可能とする場合には、例えば、制御装置１０４は、動画全体の長さ（再生時間）に応じて変更するようにしてもよい。具体的には、動画の再生時間が短い場合には、あまり早送りを行わなくても短時間で再生を終了できることから、閾値を小さく設定して、前フレームとの変化量が特に小さいフレームのみを早送り対象とすればよい。一方、動画の再生時間が長い場合には、多くのフレームを早送り対象としないと動画の再生を短時間で終了できないため、閾値を大きく設定して、前フレームとの変化量がある程度小さければ、そのフレームを早送り対象と判定するようにすればよい。

制御装置１０４は、ステップＳ１４０でフレームの早送り判定を行った場合には、図７に示すように、フレーム番号７ａと、ステップＳ１２０で特定したそのフレームのブロック番号７ｂと、そのフレームの早送り判定結果７ｃとを関連付けて、早送り判定データとして記録する。なお、図７に示す例では、早送り判定の結果、早送り対象とするフレームに対しては、早送り判定結果７ｃに「１」を記録し、通常再生を行うフレームに対しては、早送り判定結果７ｃに「０」を記録する。

その後、ステップＳ１５０へ進み、制御装置１０４は、判定結果データに記録されている全てのフレームについて、上述した処理が完了したか否かを判断する。ステップＳ１５０で否定判断した場合には、ステップＳ１１０へ戻って、全てのフレーム完了まで上述した処理を繰り返す。これに対して、ステップＳ１５０で肯定判断した場合には、ステップＳ１６０へ進む。

ステップＳ１６０では、図７に示した早送り判定データに基づいて、動画の再生を行って、処理を終了する。具体的には、早送り判定データを先頭のフレーム番号７ａのレコードから順番に読み込んで、そのレコードの早送り判定結果７ｃが「０」であれば、そのフレームは１倍速の通常再生とし、そのフレームの再生時間を変更しない。一方、早送り判定結果７ｃが「１」であれば、そのフレームは所定倍速、例えば１．５倍速で早送り再生を行うことによって、そのフレームの再生時間を短縮する。これによって、使用者があまり興味を持たないと思われる、変化が少ないシーンを早送り再生することにより動画全体の再生時間を短縮することができるとともに、使用者が興味を持つと思われる変化のあるシーンは通常再生することができる。

図８は、図９に示す早送り判定データの第２の具体例に基づいて動画の再生を行う場合の具体例を模式的に示した図である。図８に示す例では、縦線で示す各フレームについてブロック番号７ｂの判定を行い、ブロック番号７ｂの判定結果に基づいて変化量を特定している。また、閾値を「３」として、変化量に基づいて通常再生とするか早送り再生とするかの判定結果７ｃを決定している。

具体的には、１フレーム目から７フレーム目までは、ブロック番号７ｂは３０である。図５を参照すると、ブロック番号３０は、「風景」＋「静止」であることがわかる。この場合には、１フレーム目は最初のフレームであるため、前フレームからの変化量が特定できず、再生方法の判定結果７ｃは通常再生（０）となる。また、２フレーム目から７フレーム目までは、前フレームからの変化量が「−」（＝０）であるため、前フレームの判定結果をそのまま用いられる。よって、図８に示すように、１フレーム目から７フレーム目までの再生方法の判定結果７ｃは、通常再生（０）となる。

８フレーム目から１９フレーム目までは、ブロック番号７ｂは３３である。図５を参照すると、ブロック番号３３は、「動体」＋「静止」であることがわかる。この場合には、８フレーム目を処理した時点で、バッファメモリに記録されているブロック番号３３に対応する変化量テーブルを参照した結果、前フレーム（７フレーム目）からの現フレーム（８フレーム目）の変化量は図８に示すように、「２」と特定される。これは閾値である「３」よりも小さいため、再生方法の判定結果７ｃは早送り再生（１）となる。また、９フレーム目から１９フレーム目までは、前フレームからの変化量が「−」（＝０）であるため、前フレームの判定結果がそのまま用いられる。よって、図８に示すように、８フレーム目から１９フレーム目までの再生方法の判定結果７ｃは、早送り再生（１）となる。

２０フレーム目から２７フレーム目までは、ブロック番号７ｂは２８である。図５を参照すると、ブロック番号２８は、「ポートレート」＋「静止」であることがわかる。この場合には、２０フレーム目を処理した時点で、図６に示したブロック番号２８に対応する変化量テーブルを参照した結果、前フレーム（１９フレーム目）からの現フレーム（２０フレーム目）の変化量は、図６において符号６ｃで示すように「２」と特定される。
これは閾値である「３」よりも小さいため、再生方法の判定結果７ｃは早送り再生（１）となる。また、２１フレーム目から２７フレーム目までは、前フレームからの変化量が「−」（＝０）であるため、前フレームの判定結果がそのまま用いられる。よって、図８に示すように、２０フレーム目から２７フレーム目までの再生方法の判定結果７ｃは、早送り再生（１）となる。

２８フレーム目から３３フレーム目までは、ブロック番号７ｂは０である。図５を参照すると、ブロック番号０は、「ポートレート」＋「パン」であることがわかる。この場合には、２８フレーム目を処理した時点で、ブロック番号０に対応する変化量テーブルを参照した結果、前フレーム（２７フレーム目）からの現フレーム（２８フレーム目）の変化量は、「２」と特定される。これは閾値である「３」よりも小さいため、再生方法の判定結果７ｃは早送り再生（１）となる。また、２９フレーム目から３３フレーム目までは、前フレームからの変化量が「−」（＝０）であるため、前フレームの判定結果がそのまま用いられる。よって、図８に示すように、２８フレーム目から３３フレーム目までの再生方法の判定結果７ｃは、早送り再生（１）となる。

３４フレーム目から４６フレーム目までは、ブロック番号７ｂは３１である。図５を参照すると、ブロック番号３１は、「夜景」＋「静止」であることがわかる。この場合には、３４フレーム目を処理した時点で、バッファメモリに記録されているブロック番号３１に対応する変化量テーブルを参照した結果、前フレーム（３３フレーム目）からの現フレーム（３４フレーム目）の変化量は図８に示すように、「５」と特定される。これは閾値である「３」より大きいため、再生方法の判定結果７ｃは通常再生（０）となる。また、３５フレーム目から４６フレーム目までは、前フレームからの変化量が「−」（＝０）であるため、前フレームの判定結果がそのまま用いられる。よって、図８に示すように、３４フレーム目から４６フレーム目までの再生方法の判定結果７ｃは、通常再生（０）となる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、複数のフレームで構成される動画を撮影してメモリカードに記録するとともに、フレームの撮影シーンとカメラの操作内容を判定して判定結果データを記録する。そして、動画の再生時には、判定結果データとして記録された撮影シーンと操作内容とに基づいて、動画全体の再生時間を短縮するように、フレームごとの再生時間を制御するようにした。これによって、早送りをしても影響が少ない可能性が高いシーンを早送りして、動画の再生時間を短縮することができる。

（２）制御装置１０４は、前フレームの撮影シーンと操作内容と、現フレームの撮影シーンと操作内容とに基づいて、前フレームと現フレームの撮影状況の違いの程度を変化量として特定し、変化量に基づいて、現フレームの再生時間を決定するようにした。これによって、前フレームと現フレームの変化量に応じて、現フレームが早送りをしても影響が少ないフレームであるかを的確に判定することができる。

（３）制御装置１０４は、上記変化量と閾値との比較結果に基づいて、現フレームの再生時間を決定するようにし、閾値は、変更が可能であるようにした。これによって、種々の要因に応じた最適な閾値を設定することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、通常再生の場合には、各フレームを１倍速で再生することにより、各フレームの再生時間を変更しない例について説明した。しかしながら、通常再生時の各フレームの再生時間を決定する再生倍速は、１倍速に限定されず、１倍速に近い速度、例えば０．９倍速や１．１倍速であってもよい。また、制御装置１０４が、動画の再生時間の長さに応じて、通常再生時の各フレームの再生時間を変更するようにしてもよい。例えば、動画の再生時間が一定時間以上であれば通常再生時の再生倍速を１．１倍速とし、一定時間未満であれば１倍速とするようにしてもよい。

（２）上述した実施の形態では、早送り再生時には、各フレームを所定倍速で再生して各フレームの再生時間を短縮することにより、動画全体の再生時間を短縮する例について説明した。しかしながら、早送り再生時には、各フレームの再生時間を０とすること、すなわちそのフレームを飛ばして動画を再生することによっても、動画全体の再生時間を短縮することが可能である。

（３）上述した実施の形態では、使用者によってカメラ１００のモードが再生モードに設定されて動画ファイルの再生が指示された場合に図４に示す処理を実行して、動画の早送り制御をする例について説明した。しかしながら、制御装置１０４は、動画の再生時間の長さに応じて、早送り制御が必要か否かを判断するようにしてもよい。例えば、動画の再生時間が、早送り再生をしなくても十分に短い場合、例えば１０秒未満である場合には、早送り制御を行わずに、全フレームを通常再生すればよい。一方、動画の再生時間が長い場合、例えば１０秒以上の場合には、図４に示した処理を実行して、動画の早送り制御を行えばよい。

（４）上述した実施の形態では、フレームを早送りの対象とするか否かの判定を行うために用いる閾値は、固定値とするか、あるいは動画全体の長さ（再生時間）に応じて変更する例について説明した。そして、動画の再生時間に応じて閾値を設定する場合には、動画の再生時間が短ければ閾値を小さく設定し、動画の再生時間が長ければ閾値を大きく設定する例について説明した。しかしながら、制御装置１０４は、早送り制御を行った後の動画の再生時間が、所定時間以内に収まるように閾値を設定してもよい。例えば、早送り制御を行うことにより、動画の再生時間があらかじめ設定された所定時間、例えば３０秒以内になるように閾値を設定してもよいし、実際の再生時間の１／１０の長さになるように閾値を設定してもよい。あるいは、使用者が任意に早送り制御後の再生時間を設定できるようにしてもよい。

（５）上述した実施の形態では、制御装置１０４は、図４に示した動画再生処理において、動画を構成する各フレームごとに、早送り再生をするか通常再生をするかを判定する例について説明した。しかしながら、制御装置１０４は、所定フレームごと、例えば５フレームごとや１０フレームごとに、早送り再生をするか通常再生をするかの判定を行うようにしてもよい。

（６）上述した実施の形態では、制御装置１０４は、動画の再生が指示されたとき、すなわち再生時に図４に示す処理を行って図７に示した早送り判定データを作成し、これに基づいて動画の再生をする例について説明した。しかしながら、制御装置１０４は、図４の処理のうち、ステップＳ１１０からＳ１４０までの処理を撮影時に行って、撮影時に図７に示した早送り判定データを作成してメモリカードに記録しておいてもよい。そして、再生時にはこれを参照して動画の再生を行ってもよい。

（７）上述した実施の形態では、前フレームとの変化量が「−」（＝０）の場合には、前フレームの判定結果をそのまま用いるようにし、前フレームが通常再生と判定されていた場合には、現フレームもそのまま通常再生とする例について説明した。しかしながら、前フレームとの変化量が「−」（＝０）の状態が所定フレーム以上、例えば１００フレーム以上継続した場合には、使用者は、一定時間以上変化が少ない画面を見ていることになるため、途中から早送り再生に切り替えるようにしてもよい。

（８）上述した実施の形態では、制御装置１０４は、図４に示した処理により、カメラの操作内容の判定結果と、フレームの撮影シーンの判定結果とに基づいて、ブロック番号を特定し、ブロック番号に基づいて、前フレームと現フレームとの変化量を特定した。そして、特定した変化量に基づいて、そのフレームを通常再生するか早送り再生するかを判定することにより、動画の早送り制御を行う例について説明した。しかしながら、制御装置１０４は、その他の方法によって動画の早送り制御を行ってもよい。

例えば、制御装置１０４は、図１０に示すように、カメラの操作内容の判定結果とフレームの撮影シーンの判定結果とに基づいて、そのフレームを通常再生するか早送り再生するかを判定するようにしてもよい。なお、図１０では、カメラの操作内容として、上述した実施の形態における「パン」、「チルト」、「ズームイン」、「ズームアウト」、「静止」を判定するとともに、「パン」、「チルト」、「ズームイン」、「ズームアウト」については、さらにその操作速度を「速」、「中」、「遅」の３段階に判別し、早送り再生を行うか否かの判定にこの操作速度も加味する。

具体的には、「パン」や「チルト」の操作速度が速い場合には、撮影者が撮影対象を切り替えるために撮影方向を変更しているシーンで可能性が高く、「ズームイン」や「ズームアウト」の操作速度が速い場合には、ズーム倍率変更中のシーンである可能性が高い。このようなシーンは早送りしても影響が少ないシーンであるため、早送り再生の対象とする。これに対して、操作速度が遅い場合には、撮影者は注目している被写体を捉えた状態で撮影している可能性が高いため、使用者がゆっくり見たいシーンが写っている可能性が高いと判断して通常再生の対象とする。

この場合、制御装置１０４は、上述したように、前フレームと現フレームの差分データを算出し、その差分データに基づいて、フレーム内の注目画素が何画素移動したかを検出し、その移動画素数とフレームレートとに基づいて、「パン」、「チルト」、「ズームイン」、「ズームアウト」時のそれぞれの操作速度を算出する。なお、図１０に示す例では、撮影シーンが「ポートレート」で、操作内容が「パン」で、操作速度が「速」（以下、「ポートレート」＋「パン」＋「速」と表す）の場合には、そのフレームは早送り再生（１）と判定され、「ポートレート」＋「パン」＋「中」の場合には、そのフレームは通常再生（０）と判定される。

また、操作速度を加味して早送り制御を行う場合には、パンやチルトによる画面の移動が一定の速度となるように、各フレームの再生時間を調整するようにしてもよい。すなわち、撮影者がパンやチルトを行う場合、一連の操作中の操作速度が一定でない場合がある。例えば、撮影者は、カメラを一定の速度でパンして周囲の景色を見渡すように撮影を行っているつもりでも、カメラの操作速度が一定でないため、画面の移動速度にブレが生じてしまう可能性がある。この場合には、制御装置１０４は、画面の移動が一定に見えるように、操作速度が速いフレームは再生倍速を１倍速未満に落としてスロー再生し、操作速度が遅いフレームは再生倍速を１倍速よりも早くして早送り再生を行うことにより、パンやチルト時の画面の移動が一定になるように制御してもよい。

（９）あるいは、制御装置１０４は、図１１に示すように、前フレームとの変化量が「−」（＝０）の状態が続くフレームの集合、すなわち同じブロック番号が続くフレームの集合を１ブロックとして認識し、この１ブロックを構成するフレームの数（１ブロックの長さ）に応じて、その１ブロック単位に通常再生するか早送り再生するかを判定することによって早送り制御をしてもよい。例えば、通常再生とするか早送り再生とするかを判定するための閾値をあらかじめ設定しておき、制御装置１０４は、１ブロックの長さが上記閾値、例えば９フレームより以上であれば、それらのブロックに写っているシーンは、あまり変化がなく早送りしても影響が少ないシーンである可能性が高いと判断して早送り再生の対象とする。一方、１ブロックの長さが上記閾値未満であれば、そのシーンは通常再生の対象とする。

図１１に示す例では、上述した閾値を９に設定して判定を行った場合を模式的に示している。まず、先頭からの８フレームで構成されるブロックは、ブロック番号７ａが３０で継続している。このブロックの長さ１１ａは、閾値である９未満であるため、判定結果１１ｂは、通常再生（０）となる。次の１２フレームで構成されるブロックは、ブロック番号７ａが３３で継続している。このブロックの長さ１１ａは、閾値である９以上であるため、判定結果１１ｂは、早送り再生（１）となる。次の８フレームで構成されるブロックは、ブロック番号７ａが２８で継続している。このブロックの長さ１１ａは、閾値である９未満であるため、判定結果１１ｂは、通常再生（０）となる。次の７フレームで構成されるブロックは、ブロック番号７ａが０で継続している。このブロックの長さ１１ａは、閾値である９未満であるため、判定結果１１ｂは、通常再生（０）となる。次の１３フレームで構成されるブロックは、ブロック番号７ａが３１で継続している。このブロックの長さ１１ａは、閾値である９以上であるため、判定結果１１ｂは、早送り再生（１）となる。

なお、この場合の閾値は、上述した実施の形態のように、固定値としてもよいし、動画全体の長さ（再生時間）に応じて変更するようにしてもよい。あるいは、上述した変形例（３）のように、早送り制御を行った後の動画の再生時間が、所定時間以内に収まるように閾値を設定してもよい。

（１０）その他、動画の盛り上がり状況に応じ早送り制御をするようにしてもよい。例えば、制御装置１０４は、動画中に記録されている音声の音量を検出し、音量が大きいフレームは盛り上がっていると判定して通常再生する。これに対して、音声が小さいフレームは盛り上がっていないと判定して早送り再生をする。

（１１）上述した実施の形態では、撮影された動画を再生する場合の処理について説明した。しかしながら、撮影された静止画をスライドショー再生する場合にも本発明は適用可能である。この場合には、スライドショー再生を行う各静止画を、動画の各フレームとみなして上述した処理を行えばよい。

（１２）上述した実施の形態では、制御装置１０４は、前フレームと現フレームとの差分データを算出し、その差分データに基づいて、カメラの操作内容としての「パン」、「チルト」を検出する例について説明した。しかしながら、カメラ１００に、加速度センサを設けて、制御装置１０４は、加速度センサからの出力に基づいて、カメラの移動方向を検出することによって、「パン」や「チルト」を検出するようにしてもよい。また、加速度センサを用いることにより、上述した変形例（７）における「パン」および「チルト」の操作速度も検出することが可能となる。

（１３）上述した実施の形態では、動画の撮影処理、再生処理ともに、カメラ１００の制御装置１０４が実行する例について説明した。しかしながら、動画の再生処理は、他の動画再生装置、例えば、携帯電話はパソコン等でも実施可能である。この場合、カメラ１００で図２に示した撮影処理が実行されて撮影および記録された動画ファイルと判定結果データとを、メモリカード経由、または通信によって再生装置へ送り、これを読み込んだ再生装置側で図４に示した動画再生処理を実行すればよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (4)

1. 複数のフレームで構成される動画を撮影する動画撮影手段と、
   被写界の情報に基づいて、前記フレームの撮影シーンを判定する撮影シーン判定手段と、
   撮影者によるカメラの操作内容を判定する操作内容判定手段と、
   前フレームの前記撮影シーンおよび前記操作内容と、現フレームの前記撮影シーンおよび前記操作内容とに基づいて、前フレームと現フレームの撮影状況の違いの程度を変化量として特定し、前記変化量に基づいて、現フレームの再生時間を決定する再生時間制御手段と、を備えることを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記再生時間制御手段は、前記変化量と閾値との比較結果に基づいて、現フレームの再生時間を決定し、
   前記閾値は変更が可能であることを特徴とするカメラ。
3. 請求項１または２に記載のカメラにおいて、
   前記再生時間制御手段は、前記撮影シーンおよび前記操作内容が、所定時間以上変化しない場合には、前記所定時間経過後のフレームの再生時間を高速に変化させることを特徴とするカメラ。
4. コンピュータに、
   複数のフレームで構成される動画を撮影する動画撮影手順と、
   被写界の情報に基づいて、前記フレームの撮影シーンを判定する撮影シーン判定手順と、
   撮影者によるカメラの操作内容を判定する操作内容判定手順と、
   前フレームの前記撮影シーン判定手順で判定した撮影シーンおよび前記操作内容判定手順で判定した操作内容と、現フレームの前記撮影シーン判定手順で判定した撮影シーンおよび前記操作内容判定手順で判定した操作内容とに基づいて、前フレームと現フレームの撮影状況の違いの程度を変化量として特定し、前記変化量に基づいて、現フレームの再生時間を決定する再生時間制御手順と、を実行させるための動画再生用プログラム。
   

Images