JP6303269B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理プログラムおよび画像処理装置に関する。

動画には、タイムラインに沿って配列される複数のフレームが含まれる。そして、ユーザは、動画を画像処理、エクスポート処理又は印刷処理しようとするとき、タイムライン上の一部の特定の区間に対応するフレーム群に対してのみ、これらの処理を望むことが多い。従って、ユーザが、これらの処理の対象として、タイムライン上の任意の区間を選択できるような設計が望まれる。ここで、特許文献１は、動画のタイムライン上の任意の区間をユーザに選択させて、当該区間に対応するフレーム群に対し、印刷処理を実行する印刷装置を開示している。この印刷装置は、印刷処理に先立ち、同じフレーム群に対し、画質を自動調整する画像処理も実行する。

特開２００７−２２１３０１号公報

ところで、画像処理、エクスポート処理又は印刷処理は、しばしば、同じ区間のフレーム群に対し、繰り返し実行することが望まれる。例えば、複数の種類の画像処理を組み合わせて実行する場合（ノイズを除去した後に、明度を変更する等）や、何らかの画像処理を実行した後、その結果をエクスポート処理したり、印刷処理したりするような場合である。この場合、これらの処理が自動で連続して実行されるのであればよいが、同じ区間に対する処理であっても、ユーザが処理の対象となる区間を選択し直さなければならない場合もある。例えば、ユーザが、ある区間を選択して何らかの処理を実行した後に、別の区間を選択して何らかの処理を実行し、さらにその後、最初の区間に対して追加の処理を実行しようと思い立ったような場合である。このとき、間に別の区間を選択したことによって、最初の区間の選択は解除されてしまっているため、最初の区間の再選択の操作が必要になる。

そして、このような特定の区間の再選択の場面において、ユーザが最初の選択と同様の操作を強いられるのであれば、およそユーザの利便性が高いとは言えない。ユーザは、どのフレームを選択したのかを覚えておかなければならないし、多数のフレームが選択される場合には、操作量も多くなるかもしれないからである。

本発明は、動画のタイムライン上の区間の再選択を容易にする画像処理プログラムおよび画像処理装置を提供することを目的とする。

第１観点に係る画像処理プログラムは、動画のタイムライン上の任意の区間をユーザに選択させるステップと、ユーザから登録の命令を受け取り、前記タイムライン上で現在選択されている区間を登録する登録処理を実行するステップと、前記登録されている区間をユーザに選択させるステップと、前記タイムライン上で現在選択されている区間に属するフレーム群に対し、画像処理、エクスポート処理又は印刷処理を実行するステップと、をコンピュータに実行させる。

ここでは、ユーザは、画像処理、エクスポート処理又は印刷処理（以下、適宜、画像処理等）の対象として、動画のタイムライン上の任意の区間を選択することができる。また、タイムライン上で現在選択されている区間は、画像処理等の対象となるだけでなく、ユーザの命令を受けて登録される。そして、このようにして登録された区間は、その後、ユーザによる区間の選択の単位となる。よって、ユーザは、再選択する可能性が高い区間については、これを予め登録しておけばよい。その結果、ユーザは、どのフレームを選択したのかを覚えておく必要がなくなり、また、多数のフレームが選択されるとしても、操作量が膨大になることはない。従って、動画のタイムライン上の区間の再選択が容易になる。

なお、ここでは、ユーザが登録の対象となる区間を選択するタイミングと、ユーザが登録の命令を入力するタイミングとの先後は、問わない。例えば、登録の命令が入力された時点でユーザにより選択されている区間が登録されてもよいし、登録の命令が入力された後の所定の期間にユーザにより選択される区間が登録されてもよい。後者の例の場合、所定の期間の終了のタイミングを決定する操作をユーザから受け付けてもよい。

第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、前記登録されている区間をユーザに選択させるステップは、異なるタイミングで実行された前記登録処理により登録されている複数の区間を含む選択肢の中から任意の区間をユーザに選択させるステップである。

ここでは、ユーザは、再選択が可能な区間を複数登録することができ、これらの複数の区間を含む選択肢の中から任意の区間を再選択することができる。従って、ユーザは、様々な区間を登録しておくことで、様々な区間を容易に再選択することができる。

第３観点に係る画像処理プログラムは、第１観点又は第２観点に係る画像処理プログラムであって、異なるタイミングで実行された前記登録処理により登録されている複数の区間の統合の命令をユーザから受け取り、当該複数の区間を統合した区間を登録する統合処理を実行するステップをさらにコンピュータに実行させる。

ここでは、複数の区間が登録されている場合に、ユーザは、これらを統合することができる。従って、ユーザは、再選択が可能な区間をより柔軟に定義することができる。

第４観点に係る画像処理プログラムは、第１観点から第３観点のいずれかに係る画像処理プログラムであって、前記登録処理により登録されている又は登録しようとしている区間に対応する属性情報をユーザに入力させて、当該属性情報を当該区間に関連付けて記憶するステップと、ユーザが前記登録されている区間を選択する際に参照可能なように、当該区間に関連付けられて記憶されている前記属性情報を当該区間に関連付けて表示するステップをさらにコンピュータに実行させる。

ここでは、ユーザは、区間の登録後又は登録時に、その区間の属性情報を設定することができ、その属性情報は、その区間の再選択時に、ユーザに提示される。従って、ユーザは、自身が設定した属性情報を参考にしながら、登録されている区間を再選択するか否かを容易に意思決定することができる。

第５観点に係る画像処理プログラムは、第４観点に係る画像処理プログラムであって、前記登録処理により登録されている又は登録しようとしている区間に対応する属性情報をユーザに入力させるステップは、自由記述形式で前記属性情報をユーザに入力させるステップである。

ここでは、ユーザは、上述の属性情報を自由記述形式で記述することができる。従って、ユーザは、登録されている又は登録しようとしている区間がどのような区間であるのかを自身が後で思い出し易いような説明書きを、自由に設定しておくことができる。

第６観点に係る画像処理装置は、動画のタイムライン上の任意の区間をユーザに選択させる選択部と、ユーザから登録の命令を受け取り、前記タイムライン上で現在選択されている区間を登録する登録処理を実行する登録部と、前記登録されている区間をユーザに選択させる再選択部と、前記タイムライン上で現在選択されている区間に属するフレーム群に対し、画像処理、エクスポート処理又は印刷処理を実行するフレーム処理部と、を備える。ここでは、第１観点と同様の効果を奏することができる。

本発明によれば、ユーザは、画像処理、エクスポート処理又は印刷処理の対象として、動画のタイムライン上の任意の区間を選択することができる。また、タイムライン上で現在選択されている区間は、画像処理等の対象となるだけでなく、ユーザの命令を受けて登録される。そして、このようにして登録された区間は、その後、ユーザによる区間の選択の単位となる。よって、ユーザは、再選択する可能性が高い区間については、これを予め登録しておけばよい。その結果、ユーザは、どのフレームを選択したのかを覚えておく必要がなくなり、また、多数のフレームが選択されるとしても、操作量が膨大になることはない。従って、動画のタイムライン上の区間の再選択が容易になる。

本発明の一実施形態に係る画像処理装置のブロック図。 画像データが取り込まれる前の基本画面の図。 画像データが取り込まれた後の基本画面の図。 区間データベースのデータ構造を示す図。 コメントを設定する前の区間選択プルダウンメニューの図。 編集ウィンドウの図。 編集ウィンドウの別の図。 編集ウィンドウのさらに別の図。 コメントを一部設定した後の区間選択プルダウンメニューの図。 １のタイムラインに属する静止画群を示す図。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム及び画像処理装置について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０、制御部４０および通信部５０を有する。これらの部１０〜５０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウスおよびキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。通信部５０は、ＬＡＮポートやＵＳＢポート等から構成され、ＬＡＮやインターネット、専用線等を介して画像処理装置１と外部機器との通信を可能にする通信インターフェースである。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域３が確保されている。ソフトウェア管理領域３は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域３内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１、画像処理部４２、エクスポート部４３、印刷制御部４４、選択部４５、登録部４６、再選択部４７及び編集部４８として動作する。各部４１〜４８の動作については、後述する。

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４１により制御される。

＜２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理、画像処理、エクスポート処理及び印刷処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。表示制御部４１は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理、画像処理、エクスポート処理及び印刷処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されている動画として認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

＜２−２．静止画ファイル群の再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４、タイムラインバーＴ５、登録ボタンＴ６、区間選択プルダウンメニューＴ７及び編集ボタンＴ８が配置されている。

ここで、表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

表示制御部４１は、アクティブな表示ウィンドウＷ２内で、アクティブフレーム群を、動画として再生可能である。再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

選択部４５は、タイムラインバーＴ５を介して、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。このとき選択される区間は、連続区間であってもよいし、図３に示すように、不連続区間であってもよい。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作（例えば、クリック）することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。すなわち、分割領域は、同時に複数選択が可能である。

図３に示すように、タイムラインバーＴ５においては、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とは、異なる態様で表示される。選択フレーム群とは、アクティブタイムライン上でユーザにより現在選択されている区間に属するフレーム群である。非選択フレーム群とは、アクティブタイムライン上でユーザにより現在選択されていない区間に属するフレーム群である。

画像処理部４２は、選択フレーム群を後述される画像処理の対象として認識する。また、エクスポート部４３及び印刷制御部４４も、選択フレーム群をそれぞれ後述されるエクスポート処理及び印刷処理として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。

登録部４６は、登録ボタンＴ６を介して、選択フレーム群に対応する区間の登録の命令をユーザから受け付ける。登録部４６は、ユーザが入力部２０を介して登録ボタンＴ６を押下したことを検知すると、その時点の選択フレーム群に対応する区間（登録対象区間）を特定する情報を区間データベース（以下、区間ＤＢ）５３内に格納する（登録処理）。なお、ここで登録される区間は、後述される区間選択プルダウンメニューＴ７を介して、ユーザによるアクティブタイムライン上の区間の選択の単位となる。

ここで、区間ＤＢ５３は、図１に示すように、ソフトウェア管理領域３内に定義されている。また、区間ＤＢ５３は、図４に示すように、タイムラインＩＤフィールドと、区間フィールドと、コメントフィールドとを有している。タイムラインＩＤフィールドは、タイムラインを識別するＩＤ（以下、タイムラインＩＤ）を格納するフィールドであり、区間フィールドは、そのタイムライン上の区間を特定する情報を格納するフィールドであり、コメントフィールドは、その区間についてのコメントを格納するフィールドである。

区間ＤＢ５３内では、以上の登録処理が１回実行される度に、レコードが１つ新規作成される。このレコードは、タイムラインＩＤフィールド内に、登録ボタンＴ６が押下された時点のアクティブタイムランのタイムラインＩＤを保持し、区間フィールド内に、登録対象区間を特定する情報を保持するレコードである。なお、コメントは、後述する編集処理により設定される。従って、この登録処理が実行された直後においては、この登録処理により作成されたレコードのコメントフィールドの値は、「ＮＵＬＬ」である。以上の登録処理は、様々なタイミングで、何度でも実行することが可能である。すなわち、ユーザは、区間ＤＢ５３内に同時に複数の区間を登録することができる。

再選択部４７は、区間選択プルダウンメニューＴ７を介して、区間ＤＢ５３内に登録されている１又は複数の区間の中から、任意の１の区間の選択をユーザから受け付ける。すなわち、区間選択プルダウンメニューＴ７を介しての区間の選択は、区間ＤＢ５３内に登録されている１又は複数の区間を選択肢として行われる。図５には、区間選択プルダウンメニューＴ７が展開された状態が示されているが、この例では、区間選択プルダウンメニューＴ７内に４つの項目が存在しており、現在４つの区間が登録されていることが分かる。再選択部４７は、ユーザが入力部２０を介して区間選択プルダウンメニューＴ７の中から１の項目を選択したことを検知すると、その時点の選択フレーム群を開放し、このとき選択された項目に対応する区間に属するフレーム群を、新たな選択フレーム群として選択する（再選択処理）。

編集部４８は、編集ボタンＴ８を介して、区間ＤＢ５３内に登録されている区間の編集を行う編集処理の開始の命令をユーザから受け付ける。この編集処理は、区間ＤＢ５３内に登録されている区間のうち、任意の区間を削除したり、任意の２つ以上の区間を統合したり、任意の区間にコメントを設定したりする処理である。

具体的には、ユーザにより編集ボタンＴ８が押下されたことを編集部４８が検知すると、表示制御部４１は、基本画面Ｗ１上に編集ウィンドウＷ３（図６〜図８参照）を重ねて表示させる。編集ウィンドウＷ３上には、テーブルＤ１、削除ボタンＤ２及び統合ボタンＤ３が配置されている。

テーブルＤ１に含まれる行は、区間ＤＢ５３内に格納されているレコード、すなわち、区間ＤＢ５３内に登録されている区間に１対１で対応する。各行は、対応する区間を特定する情報が表示される「選択範囲」欄と、対応する区間についてのコメントが表示される「コメント」欄とを有している。これらの欄に表示される内容は、それぞれ区間ＤＢ５３内の区間フィールド及びコメントフィールド内に格納されている値に一致する。なお、後述されるとおり、区間ＤＢ５３内の値は、編集処理により変更され得るが、この変更は、テーブルＤ１の表示の態様にリアルタイムに反映される。すなわち、区間ＤＢ５３内の値と、テーブルＤ１の表示の態様とは、リアルタイムに連動している。

編集部４８は、テーブルＤ１内の各行の「コメント」欄への文字列（１文字であってもよい）の入力を自由記述形式でユーザから受け付ける。この機能により、ユーザは、各区間に対し、その区間がどのような区間であるのかを自身が後で思い出し易いように、適宜、説明書きを自由に設定しておくことができる。例えば、コメントを付与しようとしている区間が、白い自動車が写っているフレーム群に対応するものである場合には、「白い自動車が写っている」といったコメントを入力することができる（図７参照）。

編集部４８は、ユーザが特定の行の「コメント」欄へコメントを入力したことを検知すると、そのコメントの文字列を、区間ＤＢ５３内のその行に対応するレコードのコメントフィールドに格納する。また、編集部４８は、「コメント」欄内のコメントの変更もユーザから受け付けており、かかる変更の操作が検知された場合には、その変更の内容を区間ＤＢ５３内の値に反映させる。従って、特定の行に対するコメントの入力／変更の処理は、入力／変更されたコメントを、その行に対応する区間に関連付けて記憶する処理である。

また、編集部４８は、テーブルＤ１に含まれる行の中から任意の行を任意の数だけ選択する操作をユーザから受け付ける。編集部４８は、テーブルＤ１内で１以上の行が選択されている状態で、ユーザが入力部２０を介して「削除」ボタンＤ２を押下したことを検知すると、その時点で選択されている行（以下、選択行）に対応する区間（以下、選択区間）の登録を削除する削除処理を実行する。具体的には、編集部４８は、「削除」ボタンＤ２が押下された時点の選択行に対応するレコードを、区間ＤＢ５３内から削除する。なお、テーブルＤ１内で行が１行も選択されていない状態では、「削除」ボタンＤ２は無効化されており、この削除の命令を受け付けることができないものとする（図７参照）。

また、編集部４８は、「統合」ボタンＤ３を介して、複数の選択区間を統合する命令をユーザから受け付ける。編集部４８は、テーブルＤ１内で複数の行が選択されている状態で（図８参照）、ユーザが入力部２０を介して「統合」ボタンＤ３を押下したことを検知すると、その時点の複数の選択区間を統合する統合処理を実行する。具体的には、編集部４８は、「統合」ボタンＤ３が押下された時点の複数の選択区間を重複なく統合した統合区間を特定する情報を導出する。そして、編集部４８は、「統合」ボタンＤ３が押下された時点のアクティブタイムランのタイムラインＩＤをタイムラインＩＤフィールドに保持し、この統合区間を特定する情報を区間ＤＢ５３内に保持するレコードを１つ新規作成し、区間ＤＢ５３内に格納する。このとき、本実施形態では、「統合」ボタンＤ３が押下された時点の複数の選択行に対応する複数のレコードは、区間ＤＢ５３内から削除される。しかしながら、他の実施形態では、これらを残しておくこともできるし、或いは、残しておくか削除するかをユーザに事前に設定させることもできるし、又は都度選択させることもできる。なお、テーブルＤ１内で選択されている行数が１行以下の状態では、「統合」ボタンＤ３は無効化されており、この統合の命令を受け付けることができないものとする（図６及び図７参照）。

以上の編集処理は、ユーザにより編集ウィンドウＷ３内の「×」ボタンＤ４が押下されたことを編集部４８が検知したタイミングで終了する。図９は、図５の状態から編集処理を開始し、図８の状態で編集処理が終了した直後の区間選択プルダウンメニューＴ７を示している。ここで、表示制御部４１は、区間ＤＢ５３を参照して区間選択プルダウンメニューＴ７を作成する。従って、図５と図９を比較すると分かるように、編集処理により設定されたコメント（長い場合は、最初の部分）は、区間選択プルダウンメニューＴ７の項目名の一部として表示される。より正確には、図９に示されるとおり、区間選択プルダウンメニューＴ７の項目は、区間ＤＢ５３内に登録されている区間を特定する情報（長い場合は、最初の部分）と、この区間に対応するコメント（長い場合は、最初の部分）とを関連付けて表示する情報となっている。その結果、ユーザは、区間ＤＢ５３内に登録されている区間の中から特定の区間を選択する際に、これらの情報を参照することができ、特に自身が設定したコメントを参考にしながら、登録されている区間を再選択するか否かを容易に意思決定することができる。なお、本実施形態では、区間選択プルダウンメニューＴ７において、区間ＤＢ５３内に登録されている区間を特定する情報と、この区間に対応するコメントとが左右に並べて表示される。しかしながら、区間選択プルダウンメニューＴ７において、後者の情報が設定されている場合には、前者の情報に代えて後者の情報が表示されるようにしてもよいし、後者の情報が設定されているとしても、前者の情報のみが表示されるようにしてもよい。

＜２−３．画像処理＞
以下、画像処理部４２による画像処理について説明する。ここで、画像処理の対象となるのは、タイムラインバーＴ５又は区間選択プルダウンメニューＴ７を介して選択される選択フレーム群である。画像処理部４２は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、画像平均、位置調整処理などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、上述の様々な画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４２は、ユーザが画像処理モジュールを選択したことを検知する度に、その時点の選択フレーム群に対しその画像処理モジュールを実行する。すなわち、ユーザによる画像処理モジュールの選択は、その画像処理モジュールの実行を命令することである。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４２は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図１０は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図１０において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図１０のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの静止画を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。

＜２−４．エクスポート処理＞
以下、エクスポート部４３によるエクスポート処理について説明する。ここで、エクスポート処理の対象となるのは、タイムラインバーＴ５又は区間選択プルダウンメニューＴ７を介して選択される選択フレーム群である。エクスポート処理は、画像処理プログラム２によりソフトウェア管理領域３内で管理されている、選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画を、ソフトウェア管理領域３外へ書き出す処理である。書き出しの態様としては、これらの静止画を静止画ファイル群として書き出す態様、及び、動画ファイルとして書き出す態様、並びに、これらの静止画が含まれる資料を作成する態様がある。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、エクスポート処理の実行をエクスポート部４３に命令することができる。このとき、エクスポート部４３は、書き出しの態様と、書き出し後の出力ファイルが保存される記憶部３０内のディレクトリのアドレスパスとをユーザに指定させる。エクスポート部４３は、ユーザによるこれらの操作を検知し、その時点の選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画を、ユーザにより指定された態様で加工した出力ファイルを作成し、ユーザにより指定されたディレクトリ内に保存する。

具体的には、書き出しの態様として静止画ファイル群が指定されていた場合には、エクスポート部４３は、選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画を、静止画ファイルの形式で順次出力する。これらの出力ファイルには、元のフレームのタイムライン上での順番ｎが分かるようなファイル名が自動的に付与される。従って、ユーザや、これを読み込む他のアプリケーションソフトウェアは、これらの出力ファイルのタイムライン上での配列を把握することができる。

一方、書き出しの態様として動画ファイルが指定されていた場合には、エクスポート部４３は、選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画が、タイムライン上での順番ｎに沿って連続的に組み込まれた動画ファイルを作成する。

また、書き出しの態様として資料作成が指定されていた場合には、エクスポート部４３は、選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画が組み込まれた資料ファイルを作成する。この資料ファイルは、他のアプリケーションソフトウェアで開くことができるファイル形式、例えば、文書ファイルの形式で作成される。なお、資料ファイルには、選択フレーム群に対応する静止画以外の情報も適宜記述される。これは、資料の目的等に応じて予め定められているものであってもよいし、エクスポート処理の実行時にユーザに適宜入力させるようにしてもよい。

＜２−５．印刷処理＞
以下、印刷制御部４４による印刷処理について説明する。ここで、印刷処理の対象となるのは、タイムラインバーＴ５又は区間選択プルダウンメニューＴ７を介して選択された選択フレーム群である。印刷処理は、通信部５０を介して画像処理装置１に接続されているプリンターにより、選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画を印刷する処理である。具体的には、印刷制御部４４は、ユーザが入力部２０を介して印刷処理の実行を命令したことを検知すると、その時点の選択フレーム群に含まれる全てのフレームの座標ｍ_sの静止画のデータを、通信部５０を介してプリンターに提供する。その結果、プリンターから、これらの静止画が紙媒体で出力される。

なお、印刷処理の実行の対象となるフレーム群は、選択フレーム群に限られない。印刷制御部４４は、印刷処理の実行時に、例えば、アクティブタイムライン上のフレーム全体や、任意の別の区間をユーザに指定させることにより、このようなフレーム群に対し、同様の印刷処理を実行することができる。

＜３．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、防犯カメラにより撮影された動画の中に、容疑者が捉えられている場合を考える。このとき、監視者は、まず、動画を再生する等して、動画全体の中から、容疑者が写っている一部の区間を見つけ出すわけであるが、このような注目すべき一部の区間は、後に何度も参照する可能性が高い。すなわち、動画の全区間のうち、その容疑者が写っている区間に属するフレーム群に対しては、画像処理、エクスポート処理又は印刷処理が集中し易い。しかしながら、以前見つけ出した注目すべき一部の区間がどこであったのかが分からなくなると、監視者は、繰り返しこれを見つけ出さなければならなくなる。また、注目すべき区間を覚えていたとしても、毎回、これを以前と同じ操作によって選択しなければならないとすれば、監視者の負担は大きい。本実施形態に係る登録処理、その後の再選択処理及び編集処理は、このような状況下で特に役立つと言える。すなわち、監視者は、注目すべき区間を最初に見つけ出したときに、同じ区間を再選択する可能性が高いと思えば、これを登録しておくことで、後に同じ区間を容易な操作で再選択することができる。

＜４．特徴＞
上記実施形態では、ユーザは、画像処理、エクスポート処理又は印刷処理の対象として、タイムラインバーＴ５を介して動画のタイムライン上の任意の区間を選択することができる。また、タイムライン上で現在選択されている区間は、画像処理等の対象となるだけでなく、ユーザによる登録ボタンＴ６の押下の操作を受けて、区間ＤＢ５３内に登録され得る。そして、このようにして登録された区間は、その後、区間選択プルダウンメニューＴ７内を介して、画像処理等の対象として、ユーザにより容易に再選択され得る。よって、ユーザは、再選択する可能性が高い区間については、これを予め区間ＤＢ５３内に登録しておけばよい。その結果、ユーザは、どのフレームを選択したのかを覚えておく必要がなくなり、また、多数のフレームが選択されるとしても、操作量が膨大になることもなくなる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上記実施形態では、編集処理により、登録済みの区間に対し、自由記述形式のコメントが設定されるようになっているが、これに代えて又は加えて、別の形式の属性情報を設定可能としてもよい。例えば、「重要」などのチェックボックスを用意するなどし、所定の選択肢の中から選択される属性情報を設定可能としてもよい。また、属性情報の入力を受け付けるタイミングは、区間の登録後であったが、これに代えて又は加えて、区間の登録時に、登録しようとしている区間に対して設定できるようにしてもよい。

＜５−２＞
登録可能な区間の数に上限を設けてもよく、勿論、１つであってもよい。
＜５−３＞
上記実施形態では、登録の命令が入力された時点での選択フレーム群に対応する区間が、登録の対象となっていた。しかしながら、登録の命令が入力された後の所定の期間にユーザにより選択される区間を、登録の対象としてもよい。この場合、所定の期間の終了のタイミングを決定する操作をユーザから受け付けるようにしてもよい。

＜５−４＞
上記実施形態では、画像処理、エクスポート処理、又は印刷処理の実行が命令された時点の選択フレーム群が、画像処理等の対象とされた。しかしながら、画像処理等の実行の命令が入力された後の所定の期間にユーザにより選択される区間を、画像処理等の対象としてもよい。この場合、所定の期間の終了のタイミングを決定する操作をユーザから受け付けるようにしてもよい。

＜５−５＞
上記実施形態では、アクティブタイムライン上の任意の区間をユーザに選択させる方法として、ユーザにタイムラインバーＴ５を操作させる方法が採用された。しかしながら、ユーザに区間の初めと終わりに相当する時刻を手入力させる等、区間を任意に特定することが可能である限り、様々な方法が採用され得る。

＜５−６＞
上記実施形態では、タイムラインバーＴ５を介して、連続区間だけでなく、不連続区間も指定できるようになっている。しかしながら、任意の連続区間のみを選択可能としてもよい。

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４２ 画像処理部（フレーム処理部）
４３ エクスポート部（フレーム処理部）
４４ 印刷制御部（フレーム処理部）
４５ 選択部
４６ 登録部
４７ 再選択部
４８ 編集部

Claims (5)

1. 動画のタイムライン上で任意の区間をユーザに選択させ、当該区間に属するフレーム群を、前記タイムライン上で現在選択されている区間に属するフレーム群である選択フレーム群として選択するステップと、
   ユーザから登録の命令を受け取ると、前記タイムライン上で現在選択されている区間を登録する登録処理を当該登録の命令を受け取ったタイミングにおいて実行し、前記登録処理が複数回実行された場合には、複数の区間を登録するステップと、
   前記動画を再生する再生領域と、前記動画のタイムラインを図式的に示すタイムラインオブジェクトと、前記登録されている複数の区間の中から任意の区間の選択をユーザから受け付ける区間選択オブジェクトとを同一画面上に表示するステップと、
   前記区間選択オブジェクトを介して前記登録されている特定の区間がユーザにより選択されると、当該区間が選択されたタイミングの前記選択フレーム群を解放し、当該区間に属するフレーム群を新たな前記選択フレーム群として選択するステップと、
   前記選択フレーム群に対し、画像処理、エクスポート処理又は印刷処理を実行するステップと、
   ユーザにより前記タイムラインオブジェクト上の特定の領域が選択されると、前記特定の領域に対応するフレームを前記再生領域内に表示するステップと、
   をコンピュータに実行させ、
   前記タイムラインオブジェクトを表示するステップは、前記タイムラインオブジェクト上で、前記選択フレーム群に対応する領域と、前記タイムライン上で現在選択されていないフレーム群である非選択フレーム群に対応する領域とを異なる態様で表示するステップである、
   画像処理プログラム。
2. 異なるタイミングで実行された前記登録処理により登録されている複数の区間の統合の命令をユーザから受け取り、当該複数の区間を統合した区間を登録する統合処理を実行するステップ、
   をさらにコンピュータに実行させる、
   請求項１に記載の画像処理プログラム。
3. 前記登録処理により登録されている又は登録しようとしている区間に対応する属性情報をユーザに入力させて、当該属性情報を当該区間に関連付けて記憶するステップと、
   ユーザが前記登録されている区間を選択する際に参照可能なように、当該区間に関連付けられて記憶されている前記属性情報を当該区間に関連付けて表示するステップと、
   をさらにコンピュータに実行させる、
   請求項１又は２に記載の画像処理プログラム。
4. 前記登録処理により登録されている又は登録しようとしている区間に対応する属性情報をユーザに入力させるステップは、自由記述形式で前記属性情報をユーザに入力させるステップである、
   請求項３に記載の画像処理プログラム。
5. 動画のタイムライン上で任意の区間をユーザに選択させ、当該区間に属するフレーム群を、前記タイムライン上で現在選択されている区間に属するフレーム群である選択フレーム群として選択する選択部と、
   ユーザから登録の命令を受け取ると、前記タイムライン上で現在選択されている区間を登録する登録処理を当該登録の命令を受け取ったタイミングにおいて実行し、前記登録処理が複数回実行された場合には、複数の区間を登録する登録部と、
   前記動画を再生する再生領域と、前記動画のタイムラインを図式的に示すタイムラインオブジェクトと、前記登録されている複数の区間の中から任意の区間の選択をユーザから受け付ける区間選択オブジェクトとを同一画面上に表示する表示制御部と、
   前記区間選択オブジェクトを介して前記登録されている特定の区間をユーザに選択させ、当該区間が選択されたタイミングの前記選択フレーム群を解放し、当該区間に属するフレーム群を新たな前記選択フレーム群として選択する再選択部と、
   前記選択フレーム群に対し、画像処理、エクスポート処理又は印刷処理を実行するフレーム処理部と、
   を備え、
   前記表示制御部は、ユーザにより前記タイムラインオブジェクト上の特定の領域が選択されると、前記特定の領域に対応するフレームを前記再生領域内に表示し、
   前記タイムラインオブジェクト上で、前記選択フレーム群に対応する領域と、前記タイムライン上で現在選択されていないフレーム群である非選択フレーム群に対応する領域とを異なる態様で表示する、画像処理装置。