JP7233235B2 - 情報処理装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、未現像の動画像データの再生技術に関するものである。

近年、映像制作に用いられる動画像データの解像度・フレームレートは増大する傾向にある。このようなデータ量の大きい動画像に対し、各フレームにデコード・デモザイクなどの画像処理を施しながらスムーズに再生することは困難である。

この問題に対する解決策として、再生開始前に負荷の高い画像処理をバックグラウンドで実行して、結果を一時的に保存しておくことが挙げられる。このようにすることで、再生開始後は結果の読み出しと表示のみを行えばよくなり、スムーズに再生することが可能である。ただし、全てのフレームの処理結果が保存される前に再生開始が指示されると、一部のフレームは表示前に処理をはじめから行わなければならないため、表示速度が突然著しく低下してユーザに違和感を与える。特に、ユーザが再生を開始しようとした位置またはその直後のフレームの処理結果が保存されていなければ、再生を開始することができなかったり、すぐに再生が止まってしまったりする。

静止画の記録装置で、例えば特許文献１は、前もってユーザが設定する可能性の高い画像処理パラメータを複数予測し、画像処理の結果をキャッシュとして保存しておく技術を提案している。このようにすることで、ユーザが予測されたパラメータのうちのいずれかを指定した場合にはキャッシュデータを利用して表示を行うため、表示にかかる時間を短縮できる。

特開２００８－９７１４１号公報

動画の再生装置においても同様に、再生開始前に、ユーザが次に再生開始を指示する可能性の高いフレームの範囲を予測して優先的に画像処理を行っておくことで、ユーザの再生開始の指示に素早く応答できる可能性が高くなる。また、特許文献１は静止画の画像処理パラメータを予測するもので、予測したパラメータ以外をユーザが指定した場合には画像処理をすべて行わなければならない。

しかし動画においてフレームの範囲を予測するのであれば、予測に従って処理を行ったフレームの範囲と、実際にユーザが再生しようとしたフレームの範囲が完全に一致しなくても、重複している可能性がある。このとき重複していないフレームのみ再生開始後に処理を行えばいいため、表示までの時間を短縮する効果を一部得ることができる。

そこで、本発明は、ユーザが再生位置を変更した場合に、変更前の画像処理結果を有効利用しながら、変更後の再生位置において必要となる画像処理結果を素早く取得可能とする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
動画像の再生処理を行う情報処理装置であって、
動画像の未現像の動画像データに対し現像処理を含む画像処理を施し、処理済みの画像データをフレーム単位に生成する画像処理手段と、
前記画像処理手段で生成された各フレームの画像データを一時的に記憶するためバッファメモリと、
動画像の再生位置を指定する指定手段と、
再生の開始が指示された場合、前記指定手段で指定された再生位置のフレームの処理済みの画像データから再生して表示部に表示するように制御する制御手段と、を有し、
前記制御手段は、前記指定手段により再生位置が変更された場合に、前記変更後の再生位置に基づいて前記画像処理手段による画像処理を行う際に前記バッファメモリに記憶可能となる前記動画像のうちの処理可能フレームの範囲と、前記変更前に前記バッファメモリに記憶された処理済みフレームとに基づいて、前記動画像の未現像の画像データのうち、前記画像処理手段により画像処理を施すフレームを決定することを特徴とする。

本発明によれば、ユーザが再生位置を変更した場合に、変更前の画像処理結果を有効利用しながら、変更後の再生位置において必要となる画像処理結果を素早く取得可能となる。

実施形態における情報処理装置のブロック構成図。 実施形態におけるＧＵＩの一例を示す図。 動画データの構造を示す図。 第１の実施形態におけるＲＡＷ動画の再生処理手順を示すフローチャート。 実施形態における、現像可能枚数の算出処理手順を示すフローチャート。 実施形態における、現像可能範囲の決定処理手順を示すフローチャート。 実施形態における、現像処理手順を示すフローチャート。 実施形態における、再生処理手順を示すフローチャート。 実施形態におけるＧＵＩの示す図。 実施形態におけるＧＵＩの示す図。 実施形態における、ＲＡＷ動画の再生処理手順を示すフローチャート。 第２の実施形態における、必要メモリ量の通知処理手順を示すフローチャート。 第２の実施形態における、必要メモリ量の通知処理による通知画面の例を示す図。 第２の実施形態における現像処理手順を示すフローチャート。 第２の実施形態における再生処理手順を示すフローチャート。 第２の実施形態におけるＧＵＩの例を示す図。 第３の実施形態における、必要メモリ量の通知処理手順を示すフローチャート。 第３の実施形態における、必要メモリ量の通知処理による通知画面の例を示す図。 第３の実施形態におけるＧＵＩの例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態が適用する情報処理装置は、ＣＰＵ（Central Processing Unit）とＧＰＵ（Graphics Processing Unit）を搭載したパーソナルコンピュータ（ＰＣ）であるものとして説明する。本実施形態のＰＣは、再生開始前に入力ＲＡＷ動画データを構成するフレーム画像にデコード処理と現像処理を施して表示可能な画像データを生成し、メモリに格納する現像機能、再生開始後に現像結果を読み出して所定の時間間隔で連続して表示する再生機能を有する。本実施形態では、画質パラメータの設定によって変化する現像可能範囲と現像完了範囲を表示するＰＣの例を説明する。

図１は、本実施形態が適用するＰＣ１００のブロック構成図である。ＰＣ１００は、ＣＰＵ１１０、ＧＰＵ１２０、ＲＡＭ１３０、ＲＯＭ１４０、記録媒体１５０、操作部１６０、表示部１７０、インタフェース（Ｉ／Ｆ）１９０、及び、これらを接続するバス１８０を有する。

ＣＰＵ１１０は、ＰＣ１００全体を制御すると共に、自身で生成した画像処理コマンドを実行し、画像処理を行うことができる。ＧＰＵ１２０は、ＣＰＵ１１０によって生成された画像処理コマンドを実行し、画像処理を行う。ＧＰＵ１２０は内部にＶＲＡＭ（Video Random Access Memory）を持ち、ＧＰＵ１２０はデータ転送コマンドによってＣＰＵ１１０とのＶＲＡＭ間でのデータの送受信を行うことができる。ＲＡＭ１３０は、外部から供給されるプログラムやデータを一時記憶するメモリであり、プログラムの実行に伴って出力されるデータの一時的な格納領域としても用いられる。ＲＯＭ１４０は、ＢＩＯＳ（Basic Input/Output Sytem）やブートプログラムや各種パラメータを記憶する、不揮発性メモリである。ＲＯＭ１４０は、例えばフラッシュＲＯＭであり、制御プログラムを書き換え可能な構成となっている。

記録媒体１５０は、ＰＣ１００が読み書き可能な記録媒体である。例えばコンピュータが備える内蔵メモリや、コンピュータに着脱可能に接続されるメモリカードやＨＤＤ、ＣＤ－ＲＯＭ、ＭＯディスク、光ディスク、光磁気ディスクなどの電子データを記録することができるような媒体等を意味する。記録媒体１５０には、動画データなどのデジタルデータがファイルとして格納されている。

操作部１６０は、キーボード、マウス等のポインティングデバイスで構成される。ユーザは、この操作部１６０を介した操作により、ＰＣ１００に対して各種指示を入力できる。

表示部１７０は、ＰＣ１００に組み込まれた液晶ディスプレイ等の表示部であり、例えばアプリケーション２００のＧＵＩ（Graphical User Interface）画面や、画像処理の結果などを表示する。

インタフェース（Ｉ／Ｆ）１９０は、外部装置と通信するためのインタフェースであり、ネットワークインタフェース、ＵＳＢインタフェース等である。実施形態では、このインタフェース１９０を介して、外部装置（ビデオカメラ等）から入力したＲＡＷ動画像データが記録媒体１５０に格納されるものとしている。

バス１８０は、ＰＣ１００における上記各要素間の制御信号やデータ信号の伝送路である。

上記構成において、ＰＣ１００の電源がＯＮになると、ＣＰＵ１１０はＲＯＭ１４０に格納されたブートプログラムを実行して、ＯＳ（Operating System）を記録媒体１５０からＲＡＭ１３０にロードし、ＯＳを実行する。そして、ＣＰＵ１１０は、ＯＳの制御下で、記録媒体１５０から、後述するＲＡＷ動画像の再生に係るアプリケーションプログラム２００をＲＡＭ１３０にロードし実行することで、ＰＣ１００はＲＡＷ動画像の再生装置として機能することになる。

図２は、ＣＰＵ１１０がアプリケーション２００を実行している際の表示部１７０に表示するグラフィカルユーザインタフェース（ＧＵＩ）の例を示している。

図示のＧＵIにて、参照符号２１０は、記録媒体１５０から読み込まれた動画データの一覧を表示する動画データ一覧表示エリアである。参照符号２１１は、表示エリア２１０内の単一の動画データをアイコンで表したもので、ユーザは操作部１６０のマウスに連動するカーソルをアイコン２１１に移動して、マウスのクリック操作を行うことで、画像処理の対象となる入力動画データを選択することができる。なお、説明を簡単にするため、上記のユーザの操作を、以降、ユーザがアイコン２１１をクリックする、と表現する。

参照符号２２０は、ユーザによって選択された入力動画データに画像処理を行った結果を再生表示するプレビューエリアである。参照符号２３０は、ユーザが再生制御を行うための、再生コントロール部である。ユーザは再生コントロール部２３０の再生／停止ボタンをクリックすることで、動画再生機能による画像処理の開始や中止を指示することができる。なお、再生／停止ボタンは、動画を再生している状態では再生の一時停止、再生していない状態では再生開始を指示する機能を有する。また、再生コントロール部２３０は、再生／停止ボタンの他に、再生位置を１コマ前または後ろへ移動するコマ送りボタンや、動画再生の開始・終了位置へ移動するジャンプボタンなどを有する。

参照符号２４０は、入力動画データが持つ時間軸における現在の再生位置などを示すシークバー部である。このシークバー部２４０の左端には動画の開始を示すためのタイマ値“００：００：００：００（時、分、秒、１００分の１秒の値を示している）”が表示され、右端には選択した動画像の終了するタイマ値“００：００：３０：００”が表示されている。この表示から、ユーザは、アイコン２１１が示すファイルが３０秒の動画像であるＲＡＷ動画像ファイルであることを把握できる。なお、時間を表示する代わりに、シークバー部２４０の左端にフレーム番号“１”、右端に最終フレームの番号（フレーム総数）を表示しても構わない。

参照符号２４１、２４２はそれぞれ入力動画データにおける動画の再生範囲設定部と機能するアイコンであり、アイコン２４１は再生範囲の先頭を示し、アイコン２４２は再生範囲の後端を示すために用いられる。これらのアイコンは、ユーザがドラッグ＆ドロップを行うことによって、その位置を変更することができる。

参照符号２４３は、入力動画データにおける現在の再生位置設定部として機能するアイコンである。再生位置アイコン２４３が示すフレームに対して画像処理が施された結果がプレビューエリア２２０に表示されている。再生位置アイコン２４３の位置は、ユーザがドラッグ＆ドロップを行うか、再生コントロール部２３０のコマ送りボタンやジャンプボタンをクリックすることで変更することができる。ユーザが再生コントロール部２３０の再生ボタンをクリックすると、再生位置アイコン２４３が示すフレームを開始点として入力動画データの再生が行われる。ユーザが新規にＲＡＷ動画像ファイルを選択した場合、アイコン２４１、２４３は初期位置としてシークバー部２４０の左端に位置するものとする。また、アイコン２４２は、初期位置としてシークバー部２４０の右端に位置しているものとする。

参照符号２４４は、入力動画データにおいて現像結果の生成が完了した範囲（現像完了範囲）を示し、参照符号２４５は入力動画データにおける現像が可能な範囲（現像処理可能範囲）を示す。これらについての詳細は後述する。

参照符号２５０は、ユーザが画像処理の画質レベルを特定するための画質パラメータを選択する画質設定部である。ユーザが画質設定部２５０で選択した画質パラメータに応じた内容の画像処理が実行される。本実施形態における画質パラメータは、「Ｈｉｇｈ」、「Ｍｉｄｄｌｅ」、「Ｌｏｗ」の中から選択可能である。実施形態では、画質パラメータは解像度を表すものとする。例えば、ＲＡＷ動画像ファイルが示す１フレームの画素数を間引き無しに表示することをＨＩＧＨ，水平、垂直とも１／２に間引きすることをＭｉｄｄｌｅ，同１／４に間引きすることをＬｏｗとする。なお、画質の違いを、１画素当たりのビット数で表しても良く、画素数とビット数の組み合わせで画質を定義しても良い。

参照符号２５１は、現像結果（現像処理済みの画像データ）の保存に使用するバッファメモリ量をユーザが設定するための、メモリ量設定部である。設定可能な値の上限は、アプリケーション２００を実行している環境における、ＲＡＭ１３０のアプリケーション２００に割り当て可能な容量である。なお、メモリ量設定部２５１にメモリ量を設定した場合（ユーザがその値を変更した場合）、その値をＯＳのレジストリに登録しておき、次回アプリケーション２００を起動した際にはその値をメモリ量設定部２５１に読み出すようにしても良い。

参照符号２６０は、動画再生中に色味に関する画像処理を実施するための一般的なパラメータ設定部であり、本実施形態ではスライダバーによる「明るさ」、「ホワイトバランス」の調整と、プルダウンによる「ガンマ変換」「色域変換」の切り替え操作が可能である。この他、アプリケーション２００は、動画再生に関する一般的な各機能を実行するための操作部を有するが、ここでは図示しない。

図３は、記録媒体１５０に格納されているＲＡＷ動画データ（ファイル）３００の概念図である。

参照符号３０１はヘッダ部であり、ここに動画の属性情報が記録されている。具体的には、クリップ名、撮影日時情報、タイムコード、動画を構成するフレーム画像の画像サイズ（水平、垂直方向の画素数）、フレームレート、カメラ機種名、色温度、絞り値、ＩＳＯ感度、そして、各フレームの符号化データの先頭アドレス等の付加情報である。

参照符号３０２はフレーム画像データ部（もしくはペイロード部）であり、撮影された動画を構成するフレーム画像の内容が、撮影されたタイミングが早い順に記録されている。図示の場合、画像データ１、２、…ＮのトータルでＮ個のＲＡＷフレーム画像が、ＲＡＷ画像データ３００に格納されていることを示している。本実施形態では、図示の画像データ１、２、…は、ＲＡＷ画像データ（ベイヤ配列の画像データ）をエンコードして得た符号化データであるものとし、各フレームをデコードした後に現像処理を施すことによって、プレビューなどが可能な１画素ＲＧＢで表現された画像データが生成されるものとする。

次に、本実施形態に係る動画再生の動作について、図４～１０を参照し、説明する。なお本実施形態では、動画再生を行うアプリケーションプログラム２００は当初は記録媒体１５０に格納されており、ＯＳの制御下で記録媒体１５０からＲＡＭ１３０にロードされ、実行されるものとする。なお、このアプリケーションプログラム２００は、ＲＯＭ１４０に格納されていても構わない。また同様に、ネットワーク上のサーバにプログラムが格納されており、インタフェース１９０を介してＲＡＭ１３０にダウンロードして実行する形態でも構わない。

図４は、図３で説明したＲＡＷ動画データ３００に対して、ＲＡＷ動画再生を行う際のアプリケーションプログラム２００の動作手順を示すフローチャートである。なお、アプリケーションプログラム２００は、ＲＡＷ動画データ３００とは異なる一般的な形式の動画ファイルに対して、一般的な動画再生機能を有してもよい。ここではＲＡＷ動画再生処理についてのみ説明する。

Ｓ４００にて、ＣＰＵ１１０は、ユーザからの操作を受け付け、操作があったかどうかを判断する。ＣＰＵ１１０は、ユーザからの操作があったと判断した場合は処理をＳ４０１に進め、操作がなかったと判断した場合は処理をＳ４００に戻し、操作を待つ。

Ｓ４０１にて、ＣＰＵ１１０は、ユーザによる再生対象のＲＡＷ画像データの変更があったか、ユーザのメモリ量設定部２５１の操作によってメモリ量が変更されたか、及び、ユーザの画質設定部２５０の操作によって画質パラメータが変更されたかを判定する。ＣＰＵ１１０は、いずれかの変更があると判定した場合には処理をＳ４０５に進め、いずれも変更がないと判定した場合は処理をＳ４０２に進める。本実施形態においては、入力動画データ変更直後の再生位置は先頭フレームとする。なお、ユーザが最後に設定した再生位置を動画データごとに記憶し、次回選択時にはその位置を用いる構成でもよい。

Ｓ４０２にて、ＣＰＵ１１０は、ユーザによって再生位置アイコン２４３が変更されたか、再生開始位置アイコン２４１または終了位置アイコン２４２が変更されたか、または再生／停止ボタンの押下によって再生の一時停止が指示されたかを判定する。ＣＰＵ１１０は、いずれかの変更があると判定した場合は処理をＳ４０６に進め、いずれも変更がないと判定した場合は処理をＳ４０３へ進める。

Ｓ４０３にて、ＣＰＵ１１０は、ユーザによるパラメータ設定部２６０の操作によって画像処理パラメータが変更されたかを判定する。ＣＰＵ１１０が、ユーザによる画像処理パラメータが変更されたと判定した場合は、処理をＳ４０７へ進め、画像処理パラメータの変更がないと判定した場合は処理をＳ４０４に進める。

Ｓ４０４にて、ＣＰＵ１１０は、ユーザによる再生／停止ボタンの押下によって再生開始が指示されたか否かを判定する。ＣＰＵ１１０は、ユーザによる再生開始が指示されたと判定した場合は処理をＳ４０９へ進め、その指示が無いと判定した場合は処理をＳ４１１に進める。

Ｓ４０５にて、ＣＰＵ１１０は、現像可能枚数算出処理を行う（詳細は後述）。Ｓ４０６にて、ＣＰＵ１１０は、現像可能範囲決定処理を行う（詳細は後述）。Ｓ４０７にて、ＣＰＵ１１０は、Ｓ４１０で開始した再生処理を中断する。Ｓ４０８にて、ＣＰＵ１１０は、現像処理を開始し、処理をＳ４００に戻す（詳細は後述する）。

Ｓ４０９にて、ＣＰＵ１１０は、Ｓ４０８で開始した現像処理を中断する。Ｓ４１０にて、ＣＰＵ１１０は、再生処理を開始し、処理をＳ４００に戻す（詳細は後述）。

Ｓ４１１にて、ＣＰＵ１１０は、ユーザによってアプリケーション終了操作がされたかを判定する。ＣＰＵ１１０は、ユーザによるアプリケーション終了操作があったと判定した場合は、本ＲＡＷ動画再生処理を終了し、アプリケーション終了操作がなかったと判定した場合は処理をＳ４００に戻す。

なお、ＲＡＷ動画再生処理開始後、最初にＳ４０１で入力動画データが選択されるまでは、再生コントロール部２３０などをグレーアウトし、Ｓ４０２～Ｓ４０４の判定を常に偽とするような構成でもよい。あるいは、動画データ一覧表示エリア２１０に表示されている動画データのうち、表示位置、クリップ名、撮影日時などによる順番が先頭または末尾になる動画データや、前回画像処理の対象とした動画データなどを、初期の入力動画データとしてあらかじめ選択しておいてもよい。

次に、図５のフローチャートを用いて、図４のステップＳ４０５における現像可能枚数の算出処理について説明する。本実施形態では、画質設定部２５０で設定可能なすべての画質パラメータについて現像可能枚数を算出する。

Ｓ５００でＣＰＵ１１０は、ＲＡＭ１３０で現像結果の保存に使用できる領域のサイズ（メモリ量設定部２５１に設定された値）を取得する。以降、この現像結果の保存領域のサイズを、変数Ｍを用いてＭバイトと表現する。

Ｓ５０１でＣＰＵ１１０は、画質設定部２５０で設定可能なすべての画質パラメータについて、１フレーム画像あたりの現像結果のサイズを取得する。現像結果のサイズは画質パラメータによって異なる。画質パラメータは例えば、解像度、ビット深度、圧縮率、縮小率などのうち少なくとも一つを指定するものである。本実施形態では、先に説明したように、画質パラメータは元データの解像度に対する縮小率を指定するものであり、「Ｈｉｇｈ」は１倍、「Ｍｉｄｄｌｅ」は水平、垂直とも１／２倍、「Ｌｏｗ」は水平、垂直とも１／４倍とする。つまり、現像結果のサイズ（画素数）は画質パラメータが「Ｈｉｇｈ」に設定されている場合が最も大きく、「Ｍｉｄｄｌｅ」が「Ｈｉｇｈ」の１／４、「Ｌｏｗ」が「Ｈｉｇｈ」の１／１６で最も小さくなる。「Ｈｉｇｈ」「Ｍｉｄｄｌｅ」「Ｌｏｗ」の各画質パラメータに従って現像処理して得た１フレーム当たりのサイズを、それぞれＮ_H、Ｎ_M、Ｎ_Lバイトとする。

Ｓ５０２でＣＰＵ１１０は、「Ｈｉｇｈ」「Ｍｉｄｄｌｅ」「Ｌｏｗ」の各画質パラメータにおける現像可能枚数Ｆ_H、Ｆ_M、Ｆ_Lを以下の式で算出する。現像可能枚数とは、ＲＡＭ１３０の現像結果保存領域に保存可能な現像結果の枚数である。
Ｆ_H＝ＦＬＯＯＲ（Ｍ／Ｎ_H）
Ｆ_M＝ＦＬＯＯＲ（Ｍ／Ｎ_M）
Ｆ_L＝ＦＬＯＯＲ（Ｍ／Ｎ_L）
ここで、ＦＬＯＯＲ（Ｘ）は、実数Ｘを超えない最大整数を返す床関数である。

次に、図６のフローチャートを用いて、図４のＳ４０６における現像可能範囲決定処理について説明する。ここで、入力動画における再生位置２４３のフレーム番号をＦ_Now、再生範囲の再生開始位置２４１のフレーム番号をＦ_START、再生終了位置２４２のフレーム番号をＦ_ENDとする。

Ｓ６００にて、ＣＰＵ１１０は、各画質パラメータについて、現像処理を行うフレームの範囲を求める。本実施形態では、再生位置２４３を起点とし、現像可能枚数のフレームに対して順に現像結果を生成する。つまり、現像処理を行う範囲は、ある画質パラメータにおける現像可能枚数をＦ_CANとすると、Ｆ_NOW～Ｆ_NOW＋Ｆ_CANであると求められる。ただし、Ｆ_NOW＋Ｆ_CAN＞Ｆ_ENDとなる場合、再生範囲外となる（Ｆ_NOW＋Ｆ_CAN）－Ｆ_ENDフレーム分は、Ｆ_START以降のフレームに割り当てる。また、Ｆ_CAN≧Ｆ_START－Ｆ_ENDとなる場合には、再生範囲の全フレームが現像可能範囲となる。

Ｓ６０１でＣＰＵ１１０は、各画質パラメータについて、Ｓ６００で求めた現像可能範囲に基づいて現像可能表示を行う。現像可能表示とは、シークバー部２４０上で、入力動画データの現像処理が可能な範囲に該当する部分を、それ以外の部分と識別可能（実施形態では色）で、且つ、強調表示する処理である。現像可能表示は、画質設定部２５０で設定可能なすべての画質パラメータについて行ってもよいし、一部の画質パラメータのみに対して行ってもよい。表示方法の詳細は後述する。

次に、図７のフローチャートを用いて、図４のＳ４０８における現像処理について説明する。ＣＰＵ１１０は、現像可能範囲決定処理で求めた、画質設定部２５０で選択状態の画質パラメータに応じたフレーム単位の現像処理を、再生位置２４３から順に実行する。

Ｓ７００にて、ＣＰＵ１１０は、ＲＡＭ１３０に保存されている既存の現像結果のうち、不要な部分を削除しメモリを開放する。既存の現像結果を生成した後に、入力動画データ、画質パラメータ、画像処理パラメータが変更されていれば、すべての既存の現像結果を削除する。それ以外の場合、再生位置、再生範囲、メモリサイズが変更された場合は、ＲＡＭ１３０に保存されている既存の現像結果のうち、図６のＳ６００で求めた現像可能範囲に含まれるものは残し、そうでない現像結果を削除する。現像結果の削除については、ＲＡＭ１３０から削除する処理を行ってもよいし、削除対象の現像結果のフレームデータが保存されているＲＡＭ１３０の領域を解放する処理を行うことにより、現像結果のフレームデータを破棄するようにしてもよい。

Ｓ７０１にて、ＣＰＵ１１０は、変数ＦにＦ_NOWを代入する。

Ｓ７０２にて、ＣＰＵ１１０は、入力動画データのＦ番目のフレームに対して生成された現像結果がＲＡＭ１３０の現像結果保存領域に存在するか否かを判定する。ＣＰＵ１１９は、Ｆ番目のフレームに対する現像結果がＲＡＭ１３０の現像結果保存領域に存在すると判定した場合、処理をＳ７０７に移行し、存在しないと判定した場合は処理をＳ７０３に進める。つまり、図６のＳ６００で求めた現像可能範囲に含まれており、現像結果がＲＡＭ１３に残されているフレームの場合には、Ｓ７０３、Ｓ７０４での現像処理は行わない。そして、現像可能範囲に含まれているが、現像結果がＲＡＭ１３に残されていないフレームの場合には、Ｓ７０３以降の現像処理のための処理を実行する。

Ｓ７０３でＣＰＵ１１０は、入力動画データのＦ番目のフレームのデータを読み込む。Ｓ７０４にて、ＣＰＵ１１０は、読み込んだフレームの現像処理を行う。現像処理は例えば、フレーム画像が圧縮画像の場合のデコード処理、フレーム画像がＲＡＷ画像の場合のデモザイク処理、ノイズ除去、偽色除去などの画質を改善するための処理、周辺光量補正、色収差補正などの補正処理、明るさ、ホワイトバランス、ガンマ、色域などを設定された内容に調整する調整処理、画像表示領域であるプレビューエリア２２０のサイズにリサイズするリサイズ処理などである。現像処理はＣＰＵ１１０またはＧＰＵ１２０によって実行されるが、処理内容や画像領域を分割し、ＣＰＵ１１０とＧＰＵ１２０に分担させてもよい。現像処理の詳細なアルゴリズムは本特許の本質ではないので特に説明しない。現像処理の結果は、画質設定部２５０で選択された画質パラメータに応じたサイズの現像結果として出力される。

Ｓ７０５にて、ＣＰＵ１１０は、現像結果をＲＡＭ１３０の現像結果保存領域に格納する。Ｓ７０６にて、ＣＰＵ１１０は、入力動画データのＦ番目のフレームの現像完了表示をＯＮにする。表示方法の詳細は後述する。

Ｓ７０７でＣＰＵ１１０は、変数Ｆに“１”を加算する。そして、Ｓ７０８にて、ＣＰＵ１１０は、変数ＦがＦ_END以下であるか否かを判定する。変数ＦがＦ_END以下である場合、ＣＰＵ１１０は処理をＳ７１０に進め、そうでない場合には処理をＳ７０９に進める。

Ｓ７０９にて、ＣＰＵ１１０は、変数ＦにＦ_STARTを代入する。Ｓ７１０にて、ＣＰＵ１１０は、図６のＳ６００で求めた現像可能範囲のすべてのフレームの現像処理を完了したかを判定する。ＣＰＵ１１０は、現像可能範囲のすべてのフレームの現像処理が完了したと判定した場合、この現像処理を終了する。また、ＣＰＵ１１０は、現像可能範囲内に未現像のフレームがあると判定した場合は、処理をＳ７０２に戻す。

次に、図８のフローチャートを用いて、図４のＳ４１０における再生処理について説明する。本実施形態では、現像結果が存在しないフレームを再生しようとした場合には、１枚のフレームの現像処理とプレビュー表示を順次行うことで、プレビュー表示の速度は下がるがほぼ一定時間間隔で行う例を説明する。

Ｓ８００にて、ＣＰＵ１１０は、変数ＦにＦ_NOWを代入する。そして、Ｓ８０１にて、ＣＰＵ１１０は、入力動画データの変数Ｆ_NOWが示すフレームの現像処理で得た画像データがＲＡＭ１３０の現像結果保存領域に存在するか否かを判定する。ＣＰＵ１１０は、変数Ｆが示すフレームの画像データがＲＡＭ１３０の現像結果保存領域に存在すると判定した場合には処理をＳ８０２に進め、存在しないと判定した場合は処理をＳ８０３に進める。

Ｓ８０２にて、ＣＰＵ１１０は、入力動画データの変数Ｆが示すフレームの現像処理結果である画像データを、ＲＡＭ１３０の現像結果保存領域から読み込む。

Ｓ８０３にて、ＣＰＵ１１０は、入力動画データから、変数Ｆが示すフレームのデータを読み込む。そして、Ｓ８０４にて、ＣＰＵ１１０は、読み込んだフレームのデータの現像処理を行う。現像処理は、図７のＳ７０４と同様であるため、ここでの説明は省略する。

Ｓ８０５にて、ＣＰＵ１１０は、Ｓ８０２で読み込んだ現像結果の画像データ、または、Ｓ８０４で生成した現像結果で得た画像データを、プレビューエリア２２０に表示する。

Ｓ８０６にて、ＣＰＵ１１０は変数Ｆに“１”を加算する。そして、Ｓ８０７にて、ＣＰＵ１１０は、変数ＦがＦ_END以下であるか否かを判定する。ＣＰＵ１１０は、変数ＦがＦ_END以下であると判定した場合、処理をＳ８０１に戻し、そうでない場合はこの再生処理を終了する。

図９（ａ）乃至（ｃ）は、図２のＧＵＩにおいて、画質設定部２５０で選択状態にある画質パラメータのみについて、図６のＳ６０１の現像可能表示、図７のＳ７０６の現像完了表示を行った場合の詳細な表示構成を説明するための図である。

図９（ａ）は、Ｆ_NOW＋Ｆ_CAN≦Ｆ_ENDである場合の表示例である。シークバー部９００上では、現像可能範囲に該当する領域９０５（Ｆ_NOW～Ｆ_NOW＋Ｆ_CAN）が薄い灰色で表示され、現像完了範囲に該当する領域９０４が濃い灰色で表示される。

図９（ｃ）はＦ_CAN≧ＦＳ_END－Ｆ_STARTである場合の表示例である。シークバー部９２０上では、現像可能範囲に該当する部分９２１すなわち再生範囲の全体が薄い灰色で表示される。

図９（ｂ）はそれ以外の場合の表示例である。シークバー部９１０上では、現像可能範囲に該当する部分９１１（Ｆ_START～Ｆ_START＋（Ｆ_NOW＋Ｆ_CAN）－Ｆ_END）と、部分９１２（Ｆ_NOW～Ｆ_END）が薄い灰色で表示される。

図４のＳ４１０の再生処理中は、現像結果が存在するフレーム、すなわち現像完了範囲（濃い灰色）内では読み込み後すぐにプレビュー表示を行うことができるため、スムーズに再生を行うことができる。一方、現像結果が存在しないフレーム、すなわち濃い灰色以外の色で表示された範囲では図８のＳ８０４の現像処理に時間がかかるため、表示に遅延が生じ、再生品質が大幅に低下することになる。また、図４のＳ４０８の現像処理が進行するにつれて、薄い灰色の部分が濃い灰色で塗り替えられていき、すべて塗り替えられると表示が変化しなくなる。つまり、シークバー部の表示は、再生処理を開始した時点では濃い灰色で表示された範囲でのみ高い再生品質で再生することができ、薄い灰色の範囲はある程度の時間待機した後で高い再生品質で再生できるようになるということを示している。

なお、上記では、現像可能表示および現像完了表示の領域を色（灰色の濃淡）で表現したが、これ以外の方法で実現してもよい。また、現像可能表示はユーザが表示と非表示を切り替えることができる構成でもよい。例えば現像可能表示の有無を切り替えるチェックボックスのＧＵＩや、キーボードの特定のキーを押下中にのみ表示を行うような機能を設けてもよい。

図１０は、図２のＧＵＩにおいて、画質設定部２５０で設定可能なすべての画質パラメータに対して、図６のＳ６０１の現像可能表示、図７のＳ７０６の現像完了表示を行った場合の詳細な表示構成を説明するための図である。

図１０（ａ）は、どの画質パラメータでも再生範囲の全フレームが現像可能範囲とならない場合の表示例である。シークバー部１０００上では、画質パラメータが「Ｈｉｇｈ」の場合の現像可能範囲１００１、同「Ｍｉｄｄｌｅ」の場合の現像可能範囲１００２、同「ＬＯＷ」の場合の現像可能範囲１００３、１００４がそれぞれ異なる色で表示され、それぞれの終点位置には対応する画質パラメータの内容を示すアイコンが付加される。また、画質設定部２５０で選択状態にある画質パラメータのアイコンは、他のアイコンと区別するために異なる色で表示される。

図１０（ｂ）および図１０（ｃ）は、画質パラメータ「Ｍｉｄｄｌｅ」「Ｌｏｗ」で再生範囲の全フレームが再生可能である場合の表示例である。シークバー部１０１０および１０２０上では、画質パラメータ「Ｍｉｄｄｌｅ」「Ｌｏｗ」の現像可能範囲１０１２および１０２２は同色で表示する。さらに、どの画質パラメータであれば再生範囲の全フレームが現像可能となるかを表示することで、ユーザの画質パラメータの選択を支援することができる。例えば図１０（ｂ）は、画質設定メニューである画質設定部１０６０のドロップダウンリストを展開時、再生範囲の全フレームが再生可能な画質パラメータの行は他と異なる色で強調表示する例である。そして、図１０（ｃ）は、画質設定部１０７０のドロップダウンリストを展開時、再生範囲の全フレームが再生可能な最高の画質パラメータの行のみ、推奨されるパラメータである旨を表す文字列（“recommended”）を追加することで強調表示する例である。推奨されるパラメータは、再生範囲の全フレームが再生可能な画質パラメータのうち、画質が高いものとするとよい。あるいは、入力動画データの全が再生可能な画質パラメータのうち、画質が高いものを推奨されるパラメータとしてもよい。

各画質パラメータに対する現像可能表示は、シークバー部の表示色を変える以外の方法で実現してもよい。例えば、終点のみをアイコンで示す構成や、シークバー部の上部または下部に別のＧＵＩを設けて表示する構成でもよい。あるいは、図１０（ｂ）の参照符号１０１３のように、各画質パラメータについて再生範囲全体を現像可能かどうかだけをシークバー部付近に表示する構成でもよい。また、再生範囲だけではなく、入力動画データ全体が現像可能かを表示する構成にしてもよい。再生範囲が設定されている場合は再生範囲全体が現像可能かを表示し、再生範囲が設定されていない場合は入力画像全体が現像可能かを表示するようにしてもよい。また、シークバー部において、入力動画データの終端部に対応する右側の端部に、推奨されるパラメータを表示することにより、入力動画データの全フレームが再生可能な推奨画質パラメータをユーザに通知してもよい。あるいは、シークバー部の右側の端部等の特定の部分をマウスオーバー操作した場合に、推奨される画質パラメータをポップアップ表示するようにしてもよい。

また、画質設定部２５０で選択状態ではない画質パラメータのうち、一部のみについて現像可能表示をする構成でもよい。例えば、画質設定部２５０で選択状態の画質パラメータのひとつ上またはひとつ下の画質パラメータのみについて表示する構成や、再生範囲の全フレームが再生可能な最高の画質パラメータのみについて表示する構成でもよい。

また、画質設定部２５０で選択状態ではない画質パラメータについては、ユーザが所定の操作をしている間または直後のみ現像可能表示を行う構成でもよい。例えば画質設定部２５０やシークバー部２４０を操作している間や、その直後５秒間のみ表示を行うような機能を設けてもよい。

このように、本実施形態によれば、再生開始前にメモリに保存可能な枚数だけ入力動画ファイルに対して現像結果を生成して保存し、再生時には現像結果の読み出しと表示のみを行うことで、現像結果が生成済みの範囲について再生品質を向上することができる。また、現像結果の生成が完了した範囲と生成可能な範囲を前もって表示することで、現時点で高い再生品質で再生できる範囲と、待機後に高い再生品質で再生できるようになる範囲をユーザに提示することができる。さらに、画質パラメータごとに現像結果の生成が可能な範囲を表示することで、どの画質パラメータを選択すれば、所望の再生範囲が高い再生品質で再生できるようになるかをユーザに提示することができる。そのため、ユーザは画質パラメータの変更と再生範囲の確認を繰り返し行う必要がなく、一度の画質パラメータの変更で目的の再生を行うことが可能となる。

［第２の実施形態］
上記第１の実施形態では、現像完了範囲と現像可能範囲を、画質パラメータごとに算出し表示するＰＣの例を説明した。本実施形態では、指定された再生範囲が現像可能であるかを、使用可能なメモリ量に基づいて通知し、ユーザがメモリ量を変更するかどうか選択できるＰＣの例を説明する。また、第１の実施形態では、再生位置から後ろのフレームを順に現像するＰＣの例を説明した。本第２の実施形態では、ユーザの操作状態によって現像するフレームの範囲と順番を変更する例も説明する。

本第２の実施形態におけるＰＣの構成を示すブロック図、アプリケーション２００のＧＵＩ構成図、記録媒体１５０に格納されているＲＡＷ動画データの概念図は、それぞれ第１の実施形態の図１～３と同じであるとし、その説明は省略する。

以下、本第２の実施形態に係る動画再生の動作を、図１１乃至図１６を参照し説明する。

図１１は、図３で説明したＲＡＷ動画データ３００に対して、ＲＡＷ動画再生を行う際のアプリケーション２００の処理手順を示すフローチャートである。

Ｓ１１００、Ｓ１１０１はそれぞれ、図４のＳ４００、Ｓ４０１と同様の処理を行うことができるため、ここでの説明は省略する。

Ｓ１１０２にて、ＣＰＵ１１０は、ユーザによって再生位置２４３が変更されたか、再生範囲（再生開始位置２４１または終了位置２４２）が変更されたか、再生／停止ボタンの押下によって再生の一時停止が指示されたかを判定する。ＣＰＵ１１０は、いずれかに該当する操作があったと判定した場合、処理をＳ１１０５に進め、上記のいずれの操作もなかったと判定した場合は処理をＳ１１０３に進める。

Ｓ１１０３、Ｓ１１０４はそれぞれ、図４のＳ４０３、Ｓ４０４と同様の処理を行うことができるため、説明を省略する。

Ｓ１１０５にて、ＣＰＵ１１０は、必要メモリ量通知処理を行う（詳細後述）。

Ｓ１１０６～Ｓ１１１１はそれぞれ、図４のＳ４０６～Ｓ４１１と同様の処理を行うことができるため、説明を省略する。

次に、図１２のフローチャートを参照して、図１１のＳ１１０５における必要メモリ量通知処理について説明する。

Ｓ１２００にて、ＣＰＵ１１０は、現像可能枚数算出処理を行う。現像可能枚数算出処理は、図５と同様となるので説明を省略する。画質設定部２５０で選択状態の画質パラメータについて算出した現像可能枚数をＦ_CANとする。

Ｓ１２０１にて、ＣＰＵ１１０は、再生範囲の再生開始位置２４１と終了位置２４２の間に含まれる再生範囲のフレーム数Ｆ_NEEDとＦ_CANとを比較する。そして、ＣＰＵ１１０は、Ｆ_NEEDがＦ_CANよりも大きいと判定した場合には処理をＳ１２０２に進め、Ｆ_NEEDがＦ_CAN以下であると判定した場合、本処理を終了する。

Ｓ１２０２にて、ＣＰＵ１１０は、必要メモリ量Ｍ_NEEDを以下の式で算出する。ここで変数Ｎは、画質設定部２５０で選択状態の画質パラメータにおける、１フレーム画像当たりの現像結果の出力サイズである。
Ｍ_NEED＝Ｎ×Ｆ_NEED
Ｓ１２０３にて、ＣＰＵ１１０は、必要メモリ量の通知（表示）し、ユーザの操作を受け付ける。この表示方法の詳細は後述する。

Ｓ１２０４にて、ＣＰＵ１１０は、ユーザによるメモリ量変更指示があったか否かを判定する。ＣＰＵ１１０は、ユーザによるメモリ量変更指示があったと判定した場合は処理をＳ１２０５に進め、そうでない場合は本処理を終了する。

Ｓ１２０５にて、ＣＰＵ１１０は、メモリ量をＳ１２０３でユーザによって指示された値に変更する。そして、Ｓ１２０６にて、ＣＰＵ１１０は、現像可能枚数算出処理を行い、Ｆ_CANを再計算する。

図１３（ａ），（ｂ）は、図１２のステップＳ１２０３の必要メモリ量通知を行った場合の詳細な表示例を示す図である。同図（ａ）は必要メモリ量Ｍ_NEEDが設定可能な上限値以下である場合の表示例である。メモリ量設定部２５１で設定されている現在のメモリ量と、必要メモリ量Ｍ_NEEDを表示し、ユーザが押下できるボタンを３つ表示する。ボタンに表記されるメッセージはたとえば次の通りである。
・「設定を変更する」
・「このクリップのみ変更する」
・「いいえ」
それぞれのボタンが押下された場合のアプリケーション２００の動作は次の通りである。

「設定を変更する」の表記のボタンの押下された場合、ＣＰＵ１１０は、メモリ量設定部２５１で設定されるメモリ量をＭ_NEEDに変更する。「このクリップのみ変更する」の表記のボタンが押下された場合、ＣＰＵ１１０は、一時的にメモリ量をＭ_NEEDに変更し、入力動画データが変更されたタイミング、もしくは、アプリケーションが再起動した際に元の値に戻す。「いいえ」の表記のボタンが押下された場合、ＣＰＵ１１０は、メモリ量設定部２５１に設定されたメモリ量を変更しない。

図１３（ｂ）は必要メモリ量Ｍ_NEEDが設定可能な上限値を超える場合の表示例である。メモリ量設定部２５１で設定されているメモリ量、必要メモリ量Ｍ_NEED、設定可能なメモリ量の上限値Ｍ_MAXを表示し、ユーザが押下できるボタンを３つ表示する。ボタンに表記されるメッセージはたとえば次の通りである。
・「設定を変更する」
・「このクリップのみ変更する」
・「いいえ」
それぞれのボタンが押下された場合のアプリケーション２００の動作は次の通りである。

「設定を変更する」の表記のボタンの押下された場合、ＣＰＵ１１０は、メモリ量設定部２５１で設定されるメモリ量をＭ_MAXに変更する。「このクリップのみ変更する」の表記のボタンが押下された場合、ＣＰＵ１１０は、一時的にメモリ量をＭ_MAXに変更し、入力動画データが変更されたタイミング、もしくは、アプリケーションが再起動した際に元の値に戻す。「いいえ」の表記のボタンが押下された場合、ＣＰＵ１１０は、メモリ量設定部２５１に設定されたメモリ量を変更しない。

図１１のＳ１１０６における現像可能範囲決定処理は、図６と同様となるので説明を省略する。ただし、本実施形態では、Ｓ６０１において現像可能範囲を以下のように求める。

再生範囲の再生開始位置２４１及び終了位置２４２のどちらかが確定していない場合には、再生位置２４３の前のＦ_MARGIN枚のフレームと、再生位置２４３以降のフレームに対して現像処理を行うとする。つまり、現像処理を行う範囲は、Ｆ_NOW－Ｆ_MARGIN～Ｆ_NOW＋（Ｆ_CAN－Ｆ_MARGIN）で求められる。

再生範囲の再生開始位置２４１及び終了位置２４２の両方が確定している場合には、再生開始位置２４１の後のＦ_MARGIN枚のフレームと、再生位置２４３以降のフレームに対して現像処理を行うものとする。つまり、現像処理を行う範囲は、Ｆ_START～Ｆ_START＋Ｆ_MARGINと、Ｆ_NOW～Ｆ_NOW＋（Ｆ_CAN－Ｆ_MARGIN）で求められる。

終点が再生範囲外となった分については第１の実施形態と同様にＦ_START以降のフレームに割り当てる。

本第２の実施形態において、Ｆ_MARGINは入力動画データの３秒分に含まれるフレーム数とする。ただし、Ｆ_MARGINは、Ｆ_CANの一定の比率となるように設定してもよいし、入力動画データを構成するフレーム数によって決定してもよい。また、マウスポインタの位置などに応じてＦ_MARGINを変更する構成でもよい。例えば、再生範囲の再生開始位置２４１及び終了位置２４２の両方が確定している場合で、マウスポインタが再生開始ボタン上にあれば再生位置２４３以降のフレームをより多く（Ｆ_MARGINを小さく）、再生開始位置へのジャンプボタン上にあれば再生開始位置２４１以降のフレームをより多く（Ｆ_MARGINを大きく）する例が考えられる。

また、本第２の実施形態において、再生範囲の再生開始位置２４１及び終了位置２４２が確定しているか否かの判定方法は以下の通りである。入力動画データが選択された直後、再生開始位置２４１及び終了位置２４２の初期位置はそれぞれ入力動画データの先頭フレームと最終フレームに設定されるものとする。再生開始位置２４１と終了位置２４２の両方が、ユーザ操作によって初期位置以外のフレームに設定されてから一定時間経過後に、確定されたと判定する。もちろん他の判定方法を用いてもよい。

ここで説明したように現像処理を行う範囲を決定することで、以下のような効果が期待される。まず再生開始位置２４１及び終了位置２４２が確定していない間は、ユーザがシークバー部２４０上の狭い範囲で再生位置２４３の移動と再生開始を繰り返しながら適切なフレームを探す操作を行うことが考えられる。このような操作が行われる場合には、再生位置２４３の前後に対して現像結果を生成しておくことによって、ユーザの操作後すぐにプレビュー表示を行うことができる。再生開始位置２４１及び終了位置２４２が確定した後は、ユーザは再生位置２４３から再生開始するか、再生開始位置２４１へジャンプしてから再生開始して入力動画データの確認を行うことが考えられるため、この二つの位置の直後に対して現像結果を生成することによって同様の効果が得られる。

次に、図１４のフローチャートを参照して、図１１におけるＳ１１０８の現像処理を説明する。現像処理では、現像可能範囲決定処理で求めた、画質設定部２５０で選択状態の画質パラメータに対する現像可能範囲のフレームを現像する。再生開始位置２４１及び終了位置２４２が確定している場合には、再生位置２４３の前後を交互に現像し、そうでない場合には再生位置２４３以降と再生開始位置２４１以降を交互に現像する。

Ｓ１４００～Ｓ１４０９はそれぞれ図７のＳ７００～Ｓ７０９と同様の処理であるためその説明は省略し、Ｓ１４１０以降について説明する。

Ｓ１４１０にて、ＣＰＵ１１０は、再生範囲（再生開始位置２４１及び終了位置２４２）が確定しているか否かを判定する。ＣＰＵ１１０は、再生範囲が確定していないと判定した場合は処理をＳ１４１１へ、確定していると判定した場合は処理をＳ１４１９に進める。

Ｓ１４１１でＣＰＵ１１０は、変数Ｆ’にＦ_NOW－１を代入する。そして、Ｓ１４１２にて、ＣＰＵ１１０は、変数Ｆ’とＦ_NOW－Ｆ_MARGINとを比較する。ＣＰＵ１１０は、変数Ｆ’がＦ_NOW－Ｆ_MARGINより小さいと判定した場合、処理をＳ１４２７に進め、そうでない場合は処理をＳ１４１３に進める。

Ｓ１４１３にて、ＣＰＵ１１０は、入力動画データのＦ’番目のフレームの現像結果である画像データがＲＡＭ１３０の現像結果保存領域に存在するか否かを判定する。ＣＰＵ１１０は、Ｆ’番目のフレームの現像結果の画像データがＲＡＭ１３０の現像結果保存領域に存在すると判定した場合は、処理をＳ１４１８に進め、存在しないと判定した場合は処理をＳ１４１４に進める。

Ｓ１４１４にて、ＣＰＵ１１０は、入力動画データのＦ’番目のフレームのデータを読み込む。そして、Ｓ１４１５にて、ＣＰＵ１１０は、Ｓ１４１４にて読み込んだフレームのデータの現像処理を行い、Ｆ’番目の画像データを生成する。この現像処理はＳ１４０４と同じであるので、その説明は省略する。Ｓ１４１６にて、ＣＰＵ１１０は、現像結果の画像データをＲＡＭ１３０の現像結果保存領域に格納する。Ｓ１４１７にて、ＣＰＵ１１０は、入力動画データのＦ’番目のフレームの現像完了表示をＯＮにする。この表示方法の詳細は後述する。Ｓ１４１８にて、ＣＰＵ１１０は、変数Ｆ’から“１”を減算する。

Ｓ１４１９にて、ＣＰＵ１１０は、変数Ｆ’にＦ_STARTを代入する。そして、Ｓ１４２０にて、ＣＰＵ１１０は、変数Ｆ’とＦ_START＋Ｆ_MARGINとを比較する。ＣＰＵ１１０は、変数Ｆ’がＦ_START＋Ｆ_MARGINよりも大きいと判定した場合は処理をＳ１４２７へ進め、そうでない場合には処理をＳ１４２１へ進める。

Ｓ１４２１にて、ＣＰＵ１１０は、入力動画データのＦ’番目のフレームの現像結果である画像データがＲＡＭ１３０の現像結果保存領域に存在するか否かを判定する。ＣＰＵ１１０は、Ｆ’番目のフレームの画像データがＲＡＭ１３０の現像結果保存領域に存在すると判定した場合は処理をＳ１４２６に進め、そうでない場合には処理をＳ１４２２に進める。

Ｓ１４２２～Ｓ１４２５のそれぞれは、Ｓ１４１４～Ｓ１４１７と同様の処理であるため、その説明を省略する。

Ｓ１４２６でＣＰＵ１１０は、変数Ｆ’に“１”を加算する。

Ｓ１４２７は図７のＳ７１０と同様の判定処理であるため、その説明は省略する。

以上の結果、再生位置アイコン２４３の位置が変更された場合、その変更後の再生位置アイコン２４３が示す位置に最寄りの未現像のフレームに対する現像処理が行われていくことになり、現像結果保存領域への未再生のフレームの画像データの格納が継続する。したがって、ユーザが再生位置アイコン２４３の位置を変更した場合には、次第にその位置が現像済みのフレームとなる確率が高くなり、再生指示を受けた際にはスムーズな再生は期待できるようになる。

なお、本第２の実施形態では、二か所のフレームを一枚ずつ交互に現像するとしたが、現像する順番は他の方法で決定してもよい。例えば、マウスポインタが再生開始ボタン上にあれば再生位置２４３以降のフレームを複数枚ずつ、再生開始位置へのジャンプボタン上にあれば再生開始位置２４１以降のフレームを複数枚ずつ現像するといった例が考えられる。

次に、図１５のフローチャートを参照し、図１１のＳ１１１０の再生処理を説明する。本第２の実施形態では、現像結果が存在しないフレームを再生しようとした場合には、複数のフレームに対してまとめて現像処理を行うことでプレビュー表示が一時停止させ、その後にその範囲のプレビュー表示をなめらかに行うことを繰り返す例を説明する。

Ｓ１５００～Ｓ１５０２のそれぞれは、図８のＳ８００～Ｓ８０２と同様の処理であるものとし、その説明を省略する。

Ｓ１５０３にて、ＣＰＵ１１０は、ＲＡＭ１３０に保存されている既存の現像結果のうち、Ｆ－Ｆ_MARGINより前のフレームに対する現像結果を削除し、メモリを開放する。

Ｓ１５０４にて、ＣＰＵ１１０は、変数Ｆ’にＦを代入する。

Ｓ１５０５～Ｓ１５０９のそれぞれは、図１４のＳ１４２１～Ｓ１４２４、Ｓ１４２６と同じであるため、その説明は省略する。

Ｓ１５１０にて、ＣＰＵ１１０は、変数Ｆ’とＦ＋Ｆ_MARGINとを比較する。そして、ＣＰＵ１１０は、変数Ｆ’がＦ＋Ｆ_MARGINよりも大きいと判定した場合は処理をＳ１１５０１へ進め、そうでないと判定した場合は処理をＳ１５０５へ進める。

Ｓ１５１１～Ｓ１５１３のそれぞれは、図８のＳ８０５～Ｓ８０７と同じであるため、その説明を省略する。

図１６は、図２のＧＵＩにおいて、画質設定部２５０で選択状態にある画質パラメータのみについて、図６のＳ６０１の現像可能表示、図１４のＳ１４０６、Ｓ１４１７、Ｓ１４２５の現像完了表示を行った場合の詳細な表示構成を説明するための図である。

図１６（ａ）は再生開始位置２４１及び終了位置２４２が確定していない場合の表示例である。シークバー部１６００上では、現像可能範囲に該当する部分１６０１（Ｆ_NOW～Ｆ_NOW＋（Ｆ_CAN－Ｆ_MARGIN））と、部分１６０２（Ｆ_NOW－Ｆ_MARGIN～Ｆ_NOW）が薄い灰色で表示され、現像完了範囲に該当する部分１６０３と１６０４が濃い灰色で表示される。この後、部分１６０３は後方向、部分１６０４は前方向に伸びていき、部分１６０４が部分１６０２と一致した後は、部分１６０３のみ部分１６０１に一致するまで後ろ方向に伸びていくことになる。

図１６（ｂ）は再生開始位置２４１及び終了位置２４２が確定している場合の表示例である。シークバー部１６１０上では、現像可能範囲に該当する部分１６１１（Ｆ_NOW～Ｆ_NOW＋（Ｆ_CAN－Ｆ_MARGIN））と、部分１６１２（Ｆ_START～Ｆ_START＋Ｆ_MARGIN）が薄い灰色で表示され、現像完了範囲に該当する部分１６１３と１６１４が濃い灰色で表示される。この後、部分１６１３、１６１４は共に後方向に伸びていき、部分１６１４が部分１６１２と一致した後は、部分１６１３のみ部分１６１１に一致するまで後ろ方向に伸びていくことになる。

以上のように本第２の実施形態によれば、必要なメモリ量をユーザに通知すると同時に設定を変更するかどうか問い合わせることで、ユーザは所望の再生範囲を高い再生品質で再生するためのメモリ量をすぐに設定することが可能となる。そのため、ユーザはメモリ量の変更と再生範囲の確認を繰り返し行う必要がなく、一度のメモリ量の変更で目的の再生を行うことが可能となる。また、ユーザの操作状態に応じて、ユーザが次に表示を求める可能性の高い範囲に対して現像処理を優先的に行うことで、ユーザの操作後すぐに表示を行うことが可能となる。

［第３の実施形態］
上記の第１の実施形態では、現像完了範囲と現像可能範囲を、画質パラメータごとに算出し表示するＰＣの例を説明した。また、第２の実施形態では、指定された再生範囲が現像可能であるかを、使用可能なメモリ量に基づいて通知し、メモリ量を変更するかどうかユーザが選択できるＰＣの例を説明した。本第３の実施形態では、画質パラメータとメモリ量の両方を同時に変更可能なＰＣの例を説明する。また、第１の実施形態では、再生処理中は現像処理を行わないＰＣの例を説明した。本実施形態では、再生処理中でも現像処理を行うＰＣの例を説明する。また、本実施形態では、ユーザが再生範囲を指定するための操作中に必要メモリ量を表示するＰＣの例を説明する。

本第３の実施形態におけるＰＣの構成を示すブロック図、アプリケーション２００のＧＵＩ構成図、記録媒体１５０に格納されているＲＡＷ動画データの概念図は、それぞれ第１の実施形態の図１～３と同様であるものとし、その説明を省略する。ただし本第３の実施形態では、再生開始位置２４１及び終了位置２４２の指定方法として、シークバー部２４０上をドラッグアンドドロップする操作を備えるものとする。操作中のＧＵＩの表示例については後述する。

次に、本第３の実施形態に係る動画再生の動作について、図１７～１９を参照して説明を行う。

ＲＡＷ動画再生を行う際のアプリケーション２００の動作を示すフローチャートは、第２の実施形態の図１１と同様であるものとし、その説明は省略する。ただし、図１１のＳ１１０９における現像処理の中断は行わないものとする。ＰＣの処理速度が十分速い場合には、Ｓ１１１０の再生処理中もＳ１１０８で開始した現像処理を継続することで、より多くのフレームの現像結果をプレビュー表示前に生成することができる。ただし、再生処理中に現像処理を行った際、現像結果保存領域に空きがない場合には、再生処理を開始した際に表示した現像結果から順に削除するとする。

次に、図１７のフローチャートを参照して、図１１のＳ１１０５における必要メモリ量通知処理について説明する。

Ｓ１７００～Ｓ１７０１のそれぞれは、図１２のＳ１２００～Ｓ１２０１と同じ処理であるため、その説明は省略する。

Ｓ１７０２にて、ＣＰＵ１１０は、画質設定部２５０で設定可能なすべての画質パラメータについて、必要メモリ量Ｍ_H、Ｍ_H、Ｍ_Lを以下の式に従って算出する。各画質パラメータにおける現像結果の出力サイズをそれぞれＮ_H、Ｎ_M、Ｎ_Lバイトとする。
Ｍ_H＝Ｎ_H×Ｆ_NEED
Ｍ_M＝Ｎ_M×Ｆ_NEED
Ｍ_L＝Ｎ_L×Ｆ_NEED

Ｓ１７０３にて、ＣＰＵ１１０は、必要メモリ量通知を表示し、ユーザの操作を受け付ける。この表示方法の詳細は後述する。

Ｓ１７０４にて、ＣＰＵ１１０は、Ｓ１７０３の表示に対し、ユーザが画質パラメータ、メモリ量を変更する操作を行ったか否かを判定する。ＣＰＵ１１０は、ユーザがいずれかの操作を行ったと判定した場合は処理をＳ１７０５に進め、いずれの操作も行わなかったと判定した場合は、この必要メモリ量通知処理を終了する。

Ｓ１７０５にて、ＣＰＵ１１０は、画質パラメータ、メモリ量を、Ｓ１７０３でユーザによって指示された値に変更する。そして、Ｓ１７０６にて、ＣＰＵ１１０は現像可能枚数の算出処理を行う。

図１７のＳ１７００、Ｓ１７０６における現像可能枚数の算出処理は、図５と同様となるので、その説明を省略する。ただし、本第３の実施形態では、現像可能枚数ＦCANは以下の式に従って算出する。
Ｆ_CAN＝ＦＬＯＯＲ（Ｍ／Ｎ）＋Ｆ_WILL
ここで、Ｆ_WILLはＦＬＯＯＲ（Ｍ／Ｎ）枚のフレームを再生する間に現像処理を行うことができるフレームの数である。Ｆ_WILLはＣＰＵ１１０やＧＰＵ１２０の性能から予測して算出するとする。なお、アプリケーション２００が起動した後、最初に行った現像処理の実行速度に基づいて算出してもよい。

図１８は、図１７のＳ１７０３の必要メモリ量通知を行った場合の詳細な表示構成を説明するための図である。

現在画質設定部２５０で選択状態の画質パラメータと、メモリ量設定部２５１で設定されているメモリ量と、設定可能なメモリ量の上限値が表示される。また、ドロップダウンリストのＧＵＩで、各画質パラメータの必要メモリ量を表示し、ユーザはそのいずれかを選択可能とする。必要メモリ量が設定可能な上限値を超えている画質パラメータがある場合には、ドロップダウンリスト上でその行をグレーアウトする。また、図１３と同様、３つのボタンを３つ表示する。それぞれのボタンに表記されるメッセージも図１３と同じ「設定を変更する」、「このクリップのみ変更する」、「いいえ」である。ボタンが押下された場合のアプリケーション２００の動作は次の通りである。
・「設定を変更する」の表記のボタンが押下された場合、ＣＰＵ１１０は、画質パラメータとメモリ量をドロップダウンリストで選択したものに変更する。
・「このクリップのみ変更する」の表記のボタンが押下された場合、ＣＰＵ１１０は、一時的に画質パラメータとメモリ量をドロップダウンリストで選択したものに変更し、入力動画データが変更されたタイミングで元の値に戻す。
・「いいえ」の表記のボタンが押下された場合、ＣＰＵ１１０は、メモリ量を変更しない。

なお、必要メモリ量が設定可能な上限値を超えている画質パラメータは、ドロップダウンリスト上でグレーアウトせずに選択可能とし、ユーザがその画質パラメータを選択した場合には、メモリ量には設定可能な上限値を設定する旨を警告として表示する構成でもよい。

図１１のＳ１１０６における現像可能範囲決定処理、図１１のＳ１１０８における現像処理、及び図１１のＳ１１１０における再生処理は、それぞれ図６、図７、図８と同様となるので説明を省略する。

図１９を参照し、シークバー部２４０上をドラッグアンドドロップする操作によって、再生開始位置２４１及び終了位置２４２を指定する方法を説明する。

ユーザがシークバー部１９００上でマウスのドラッグ操作を行うと、ドラッグ開始位置を仮の再生開始位置１９０１として表示する。ドラッグ操作中には、マウスポインタの位置を仮に再生終了位置とした場合に必要となるメモリ量をリアルタイムで算出し、マウスポインタの上部の参照符号１９０２のように表示する。ドラッグ操作が完了すると、ドラッグ操作の開始位置と終了位置をそれぞれ再生開始位置２４１及び終了位置２４２として設定する。

図１９（ａ）は、ドラッグ操作中に算出された必要メモリ量が設定可能なメモリ量の上限値以下である場合の表示例である。

図１９（ｂ）は、ドラッグ操作中に算出された必要メモリ量が設定可能なメモリ量の上限値を超える場合の表示例である。このとき算出したメモリ量が上限値を超えていることをユーザに知らせるため、ＣＰＵ１１０は、図示の参照符号１９１２に示すように、算出したメモリ量を示す部分の表示色を変化させる。

このように、本第３の実施形態によれば、すべての選択可能な画質パラメータについて必要なメモリ量をユーザに通知すると同時に設定を変更するかどうか問い合わせることで、ユーザは所望の再生範囲を高い再生品質で再生するための画質パラメータとメモリ量の組み合わせをすぐに設定することが可能となる。そのため、ユーザは画質パラメータとメモリ量の変更と再生範囲の確認を繰り返し行う必要がなく、一度の設定で目的の再生を行うことが可能となる。また、再生処理中に現像処理を並行して行うことで、より多くのフレームを再生直前に現像しておくことができる。また、ユーザが再生範囲を指定する操作を行っている間、必要メモリ量をリアルタイムで表示することによって、ユーザはメモリ量に注意しながら再生範囲の設定を行うことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明の目的は、以下の処理を実行することによって達成される。

まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、ハードディスク、ＲＯＭ、ＲＡＭ、不揮発性の記憶媒体ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１１０…ＣＰＵ、１２０…ＧＰＵ、１３０…ＲＡＭ、１４０…ＲＯＭ、１５０…記録媒体、１６０…操作部、１７０…表示部、１８０…システムバス

Claims (12)

1. 動画像の再生処理を行う情報処理装置であって、
   動画像の未現像の動画像データに対し現像処理を含む画像処理を施し、処理済みの画像データをフレーム単位に生成する画像処理手段と、
   前記画像処理手段で生成された各フレームの画像データを一時的に記憶するためバッファメモリと、
   動画像の再生位置を指定する指定手段と、
   再生の開始が指示された場合、前記指定手段で指定された再生位置のフレームの処理済みの画像データから再生して表示部に表示するように制御する制御手段と、を有し、
   前記制御手段は、前記指定手段により再生位置が変更された場合に、前記変更後の再生位置に基づいて前記画像処理手段による画像処理を行う際に前記バッファメモリに記憶可能となる前記動画像のうちの処理可能フレームの範囲と、前記変更前に前記バッファメモリに記憶された処理済みフレームとに基づいて、前記動画像の未現像の画像データのうち、前記画像処理手段により画像処理を施すフレームを決定することを特徴とする情報処理装置。
2. 前記制御手段は、前記指定手段により再生位置が変更された場合に、前記変更後の再生位置に基づいて前記画像処理手段による画像処理を行う際に前記バッファメモリに記憶可能となる前記動画像のうちの処理可能フレームの範囲に含まれないフレームの画像データをバッファメモリから削除し、前記変更後の再生位置に対応するフレームから所定の順で、前記バッファメモリに処理済みの画像データが記憶されていないフレームの未現像の画像データを前記画像処理手段により画像処理を施して前記バッファメモリに記憶するように制御することを特徴とする請求項１に記載の情報処理装置。
3. 再生開始が指示されたことに応じて、前記指定手段により指定された再生位置に対応するフレームから、前記動画像を再生するように制御する再生制御手段を更に有し、
   前記再生制御手段は、前記画像処理手段により処理済みの画像データに基づいて動画像を再生し、前記バッファメモリに処理済みの画像データが記憶されているフレームについては、前記バッファメモリから読み出した画像データに基づいて再生するように制御することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記制御手段は、前記バッファメモリに存在する、前記変更後の再生位置のフレームの画像データに対して、時間軸に対して前の未現像のフレームと、時間軸に対して後の未現像のフレームについて前記画像処理手段による画像処理を行わせ、当該画像処理で得た画像データを前記バッファメモリへの格納する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記動画像データにおける時間軸に沿う再生範囲を設定する再生範囲設定手段を更に有し、
   前記制御手段は、前記バッファメモリのメモリ量が許す限り、前記再生範囲設定手段で設定された再生範囲のフレームの画像処理を実行することを特徴とする請求項４に記載の情報処理装置。
6. 前記制御手段は、前記再生範囲設定手段による再生範囲が確定していない場合、前記時間軸に対して前の未現像のフレームと、前記時間軸に対して後の未現像のフレームを交互に前記画像処理手段で画像処理させる
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記再生範囲設定手段による再生範囲が確定している場合、前記時間軸に対して後の未現像のフレームと、前記再生範囲の先頭のフレームからを交互に前記画像処理手段で画像処理させる
   ことを特徴とする請求項５に記載の情報処理装置。
8. 前記画像処理手段が行う画像処理における画質、色味に関するパラメータを設定するパラメータ設定手段を更に有し、
   前記制御手段は、前記パラメータ設定手段によってパラメータが変更された場合、当該パラメータが変更される前のパラメータの下で生成された画像データを、前記バッファメモリから削除する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記パラメータ設定手段で設定されたパラメータに従って前記画像処理手段が生成することになる１フレーム当たりの画像データのサイズと、前記バッファメモリのサイズとに基づき、前記バッファメモリに格納できるフレーム数を算出する算出手段と、
   動画像を表示するための画像表示領域、及び、前記動画像の時間軸の長さに対する再生位置を示すためのシークバーを表示するとともに、前記シークバーに前記指定手段で指定された再生位置、及び、前記算出手段で算出したフレーム数に対応する範囲を識別可能に表示する表示手段を更に有する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記制御手段は、前記シークバーに、前記バッファメモリに格納されている画像データが表すフレームの位置を識別可能に表示する
    ことを特徴とする請求項９に記載の情報処理装置。
11. 動画像の再生処理を行う情報処理装置の制御方法であって、
    動画像の未現像の動画像データに対し現像処理を含む画像処理を施し、処理済みの画像データをフレーム単位に生成する画像処理工程と、
    前記画像処理工程で生成された各フレームの画像データを一時的に記憶するためバッファメモリに格納する格納工程と、
    動画像の再生位置を指定する指定工程と、
    再生の開始が指示された場合、前記指定工程で指定された再生位置のフレームの処理済みの画像データから再生して表示部に表示するように制御する制御工程と、を有し、
    前記制御工程は、前記指定工程により再生位置が変更された場合に、前記変更後の再生位置に基づいて前記画像処理工程による画像処理を行う際に前記バッファメモリに記憶可能となる前記動画像のうちの処理可能フレームの範囲と、前記変更前に前記バッファメモリに記憶された処理済みフレームとに基づいて、前記動画像の未現像の画像データのうち、前記画像処理工程により画像処理を施すフレームを決定する
    ことを特徴とする情報処理装置の制御方法。
12. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images