JPWO2015146243A1 - 画像処理装置 - Google Patents

Abstract

１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための画像処理装置が提供される。画像処理装置は、自動分類部と、再分類部とを備える。自動分類部は、動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、類似度に応じて、複数のフレームを複数のチャンネルに分類する。再分類部は、自動分類部により自動的に分類されなかった１又は複数の未分類のフレームを個別に複数のチャンネルのいずれかに関連付ける操作をユーザから受け付け、当該操作の内容に従って、未分類のフレームを個別に複数のチャンネルのいずれかに分類する。

Description

本発明は、画像処理装置及び画像処理プログラムに関し、特に、１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための画像処理装置及び画像処理プログラムに関する。

動画の録画の一方式として、タイムラプスという間欠録画方式が知られている。これは、通常よりも低いフレームレートで、言うならばコマを落としながら録画する方式であり、同じ記録媒体に通常よりも長時間の録画を可能にする。防犯カメラにおいても、しばしばこのタイムラプスの方式が採用され、更には、フレームレートを下げることでできた隙間時間に、別の防犯カメラの映像が挿入されることもある。この場合、複数のカメラの映像、すなわち、複数のチャンネルの映像が１つのタイムラインに沿って交互に切り替わるような動画が録画される。

複数のチャンネルの映像を１つのタイムライン上にまとめて録画した動画は、専用機器を用いれば、カメラ毎の、すなわち、チャンネル毎の映像をモニターに表示することができる。特許文献１の専用機器では、映像の各フレームにチャンネル番号のデータが付与されており、再生時には、これを参照することで、複数のチャンネルの映像が混在した映像の中から任意のチャンネルの映像のみを取り出すことができる。

特開２００２−３１９２１０号公報

しかしながら、複数のチャンネルの映像が混在した映像を一般の再生機器で再生する場合には、チャンネル毎の映像を見ることができない。各フレームのチャンネルを認識するための仕様は、メーカー毎、又は機種毎に異なっており、一般の再生機器は、これらの仕様に対応していないからである。

本発明は、１の動画内に異なるチャンネルに属するフレームが混在する場合に、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生を可能にする画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の第１観点に係る画像処理装置は、１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、自動分類部と、再分類部とを備える。前記自動分類部は、前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する。前記再分類部は、前記自動分類部により自動的に分類されなかった未分類のフレームを個別に前記複数のチャンネルのいずれかに関連付ける関連付け操作をユーザから受け付け、前記関連付け操作の内容に従って、前記未分類のフレームを個別に前記複数のチャンネルのいずれかに分類する。

ここでは、１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための機能が提供される。具体的には、まず、動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度が算出され、これに応じて、複数のフレームが複数のチャンネルに自動的に分類される。しかしながら、異なるチャンネルの映像であっても、両チャンネルに類似する背景等を有するシーンが撮影されている場合等には、自動分類の精度は必ずしも完全とはならない。そのため、ここでは、自動分類の後、ユーザの操作に基づく再分類が行われる。具体的には、ユーザは、自動分類の後の未分類のフレームを個別に複数のチャンネルのいずれかに関連付ける操作を行うことができ、この操作に従って、再分類が行われる。この機能によれば、動画の仕様に関わらず、異なるチャンネルに属するフレームが混在する動画をチャンネル毎の動画へと簡単かつ正確に分離することが可能になる。すなわち、１の動画内に異なるチャンネルに属するフレームが混在する場合において、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生が可能になる。

本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記再分類部は、前記未分類のフレームと、前記複数のチャンネルにそれぞれ対応するオブジェクトである複数のチャンネルオブジェクトとを表示する再分類画面を表示する。前記関連付け操作は、前記再分類画面上で、前記未分類のフレームに対し前記複数のチャンネルオブジェクトのいずれかを指定する操作である。なお、再分類画面とは、１つのウィンドウから構成される場合の他、複数のウィンドウから構成される場合を含む。また、フレームを表示することには、当該フレームのサムネイル画像を表示することが含まれる。

ここでは、自動分類後に再分類を行うためのユーザーインターフェースとして、再分類画面が提供される。この再分類画面は、未分類のフレームと、複数のチャンネルにそれぞれ対応する複数のチャンネルオブジェクトとを表示し、未分類のフレームに対し、チャンネルオブジェクトのいずれかを指定する操作をユーザから受け付ける。従って、ユーザは、直感的な操作により、未分類のフレームを特定のチャンネルに関連付け、分類することができる。

本発明の第３観点に係る画像処理装置は、第２観点に係る画像処理装置であって、前記チャンネルオブジェクトは、対応するチャンネルに属するフレーム群を代表する代表画像を表示する。

ここでは、チャンネルオブジェクトには、当該チャンネルオブジェクトに対応するチャンネルを代表する代表画像が表示される。従って、ユーザは、未分類のフレームと当該代表画像を目で見て比較した上で、未分類のフレームに対しチャンネルオブジェクトを指定することができる。従って、ユーザは、再分類画面を見て、未分類のフレームを分類すべきチャンネルを容易に判断することができる。

本発明の第４観点に係る画像処理装置は、第２観点又は第３観点に係る画像処理装置であって、前記再分類画面は、前記未分類のフレームを一覧表示する。

ここでは、再分類画面上で、未分類のフレームが一覧表示される。従って、ユーザは、これらのフレームを同時に確認することができる。

本発明の第５観点に係る画像処理装置は、第４観点に係る画像処理装置であって、前記再分類画面は、前記未分類のフレームをまとめる分類に対応するオブジェクトである未分類オブジェクトをさらに表示する。前記再分類部は、前記複数のチャンネルオブジェクト及び前記未分類オブジェクトを含むオブジェクト群の中から１のオブジェクトを選択する選択操作をユーザから受け付け、前記再分類画面上の所定の一覧表示エリア内に、前記選択操作により現在選択されているオブジェクトに対応するチャンネル又は分類に属するフレーム群を一覧表示する。

ここでは、ユーザは、未分類オブジェクト及び複数のチャンネルオブジェクトの中から１のオブジェクトを選択することで、所定の一覧表示エリア内に、未分類のフレーム群、又はいずれかのチャンネルに属するフレーム群を選択的に表示させることができる。従って、再分類画面内の限られたスペースを有効利用しつつ、未分類及び分類済みのフレームを確認することができる。

本発明の第６観点に係る画像処理装置は、第２観点から第４観点のいずれかに係る画像処理装置であって、前記再分類部は、前記複数のチャンネルオブジェクトを含むオブジェクト群の中から１のオブジェクトを選択する選択操作をユーザから受け付け、前記再分類画面上の所定の一覧表示エリア内に、前記選択操作により現在選択されている前記チャンネルオブジェクトに対応するチャンネルに属するフレーム群を一覧表示する。

ここでは、ユーザは、複数のチャンネルオブジェクトの中から１のオブジェクトを選択することで、所定の一覧表示エリア内に、いずれかのチャンネルに属するフレーム群を選択的に表示させることができる。従って、再分類画面内の限られたスペースを有効利用しつつ、分類済みのフレームを確認することができる。

本発明の第７観点に係る画像処理装置は、第５観点又は第６観点に係る画像処理装置であって、前記再分類部は、前記一覧表示エリア内に前記複数のチャンネルのいずれかに属するフレーム群が一覧表示されている場合に、当該一覧表示されているフレーム群に含まれるフレームを個別に前記複数のチャンネルのいずれかに関連付ける操作をユーザから受け付け、当該操作に係るフレームを当該操作に係るチャンネルに分類する。

ここでは、一覧表示エリア内に表示されている、いずれかのチャンネルに分類済みのフレームを、異なるチャンネルに移動させることができる。具体的には、ユーザは、自動分類によりいずれかのチャンネルに分類されたフレームを、個別に異なるチャンネルのいずれかに関連付ける操作を行うことができ、この操作に従って、再分類が行われる。従って、自動分類によりフレームが誤ったチャンネルに分類されてしまった場合に、これを修正することができる。

本発明の第８観点に係る画像処理装置は、第２観点から第７観点のいずれかに係る画像処理装置であって、前記再分類部は、前記複数のチャンネルオブジェクトを含むオブジェクト群の中から１のオブジェクトを選択する選択操作をユーザから受け付け、前記再分類画面上の所定の再生エリア内で、前記選択操作により現在選択されているオブジェクトに対応するチャンネルに属するフレーム群を動画として再生する。

ここでは、再分類画面上で、各チャンネルに分類されているフレーム群を動画として再生することができる。従って、各チャンネルに誤ったフレームが分類されている場合には、これを容易に発見することができる。

本発明の第９観点に係る画像処理装置は、第２観点から第８観点のいずれかに係る画像処理装置であって、前記関連付け操作は、前記再分類画面上で、前記未分類のフレームを前記複数のチャンネルオブジェクトのいずれかに、又は、前記複数のチャンネルオブジェクトのいずれかを前記未分類のフレームにドラッグ＆ドロップする操作を含む。

ここでは、ユーザは、さらに直感的に、未分類のフレームを特定のチャンネルに関連付け、分類することができる。

本発明の第１０観点に係る画像処理装置は、第２観点から第９観点のいずれかに係る画像処理装置であって、前記再分類画面は、前記各チャンネルに属するフレーム群を、時系列順に並べる態様で一覧表示する。なお、異なるチャンネルに属するフレーム群は、再分類画面上で同時に表示される必要はなく、例えば、切り替えながら表示されてもよい。

ここでは、各チャンネルに含まれるフレーム群が、時系列順に並べられる。従って、ユーザは、チャンネル毎の映像の変化（被写体の動き）を容易に理解することができる。

本発明の第１１観点に係る画像処理装置は、第１観点から第１０観点のいずれかに係る画像処理装置であって、前記再分類部は、前記複数のチャンネルにそれぞれ対応する操作キーを示す情報を表示する。前記関連付け操作は、前記操作キーの操作を含む。

ここでは、ユーザは、キーボード等の操作キーの操作によって、未分類のフレームを特定のチャンネルに関連付け、分類することができる。

本発明の第１２観点に係る画像処理装置は、第１観点から第１１観点のいずれかに係る画像処理装置であって、前記再分類部は、前記未分類のフレームが前記複数のチャンネルのいずれかに分類される度に、前記フレームレートを再計算する。

各チャンネルに属するフレームの数は、当該チャンネルに未分類のフレームが新たに分類される度に変化する。ここでは、当該変化に合わせて、各チャンネルのフレームレートが再計算されるため、各チャンネルが、正しいフレームレートを維持することができる。

本発明の第１３観点に係る画像処理装置は、第１観点から第１２観点のいずれかに係る画像処理装置であって、前記再分類部は、前記複数のチャンネルに含まれる２以上のチャンネルの統合の命令をユーザから受け付け、前記統合の命令を受けて前記２以上のチャンネルを統合する。

ここでは、自動分類により作成された２以上のチャンネルを統合することができる。従って、自動分類により、１つのチャンネルが誤って２以上のチャンネルに分離されてしまったとしても、これを容易に修正することができる。

本発明の第１４観点に係る画像処理装置は、第１観点から第１３観点のいずれかに係る画像処理装置であって、前記再分類部は、前記自動分類部により自動的に作成された前記複数のチャンネル以外のチャンネルの作成の命令をユーザから受け付け、前記作成の命令を受けてチャンネルを新規作成する。

ここでは、自動分類後の再分類時に、チャンネルを新規作成することができる。従って、自動分類により検出することができなかったチャンネルが存在するとしても、これを容易に修正することができる。

本発明の第１５観点に係る画像処理プログラムは、１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出するステップと、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップと、自動的に分類されなかった未分類のフレームを個別に前記複数のチャンネルのいずれかに関連付ける関連付け操作をユーザから受け付けるステップと、前記関連付け操作の内容に従って、前記未分類のフレームを個別に前記複数のチャンネルのいずれかに分類するステップとをコンピュータに実行させる。ここでは、第１観点と同様の効果を奏することができる。

本発明によれば、動画の仕様に関わらず、異なるチャンネルに属するフレームが混在する動画をチャンネル毎の動画へと簡単かつ正確に分離することが可能になる。すなわち、１の動画内に異なるチャンネルに属するフレームが混在する場合において、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生が可能になる。

本発明の第１実施形態に係る画像処理装置のブロック図。 画像データが取り込まれる前の基本画面の図。 画像データが取り込まれた後の基本画面の図。 １のタイムラインに属する静止画群を示す図。 エリア設定ウィンドウを示す図。 再分類ウィンドウを示す図。 再分類ウィンドウを示す別の図。 確認ウィンドウを示す図。 本発明の第１実施形態に係る自動分類処理の流れを示すフローチャート。 本発明の第１実施形態に係る類似度の算出の方法を説明する概念図。 本発明の第２実施形態に係る自動分類処理の流れを示すフローチャート。 本発明の第２実施形態に係る類似度の算出の方法を説明する概念図。 本発明の第３の実施形態に係る自動分類処理の流れを示すフローチャート。 本発明の第３実施形態に係る類似度の算出の方法を説明する概念図。 本発明の第３実施形態に係る別の類似度の算出の方法を説明する概念図。 本発明の第３実施形態に係るさらに別の類似度の算出の方法を説明する概念図。 本発明の第３の実施形態に係る色彩傾向を評価する処理の流れを示すフローチャート。 印象度を定義する情報を説明する図。

以下、図面を参照しつつ、本発明のいくつかの実施形態に係る画像処理装置及び画像処理プログラムについて説明する。

＜１．第１実施形態＞
＜１−１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウス及びキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１、加工ファイル領域５２及び印象度定義領域５３が確保されている。各領域５１〜５３の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に自動分類部４１及び再分類部４５として動作する。また、自動分類部は、設定部４２、算出部４３及び判定部４４としても動作する。各部４１〜４５の動作については、後述する。

＜１−２．画像処理装置の構成及び動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、制御部４０により制御される。

＜１−２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理、画像処理及びチャンネル分離処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパス及びファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパス及びファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理、画像処理及びチャンネル分離処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来する場合だけではなく、静止画ファイルに由来する場合であっても、静止画ファイル群を１のタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性等から自動的に付与される。

＜１−２−２．再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。ここで、図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。

タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。制御部４０は、選択フレーム群を後述される画像処理及びチャンネル分離処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。

＜１−２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。制御部４０は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、画像平均などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。制御部４０は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。制御部４０は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｑ（ｎ，ｍ）を表している。静止画Ｑ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの静止画を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。

＜１−３．チャンネル分離処理＞
以下、画像処理プログラム２に実装されているチャンネル分離処理について説明する。チャンネル分離処理とは、異なるチャンネルに属する映像が混在する動画を、チャンネル毎の動画へと分離する処理である。すなわち、チャンネル分離処理の対象とされるべき動画とは、典型的には、タイムラプスの方式で録画される複数の動画を、各動画の隙間時間に他の動画の映像を埋める形式で１つのタイムライン上に混合した動画（以下、混合タイムラプス動画という）である。混合タイムラプス動画は、複数のチャンネルの映像がタイムラインに沿って交互に切り替わるような動画である。

チャンネル分離処理は、選択フレーム群に対し実行されるが、チャンネル分離処理の実行には、複数のフレームが必要となる。従って、選択フレーム群としてフレームが１枚しか選択されていない状態では、チャンネル分離処理の開始のための操作ボタン等が無効化されており、チャンネル分離処理は開始させることができないものとする。或いは、選択フレーム群としてフレームが１枚しか選択されていなかったとしても、アクティブタイムライン上に複数のフレームが存在する場合には、アクティブタイムライン上の全てのフレームを、チャンネル分離処理の対象とすることもできる。以下では、チャンネル分離処理の対象となるフレーム群を対象フレーム群と呼ぶ。また、対象フレーム群により構成される動画を対象動画と呼ぶ。

チャンネル分離処理は、対象動画に含まれる複数のフレームを複数のチャンネルに自動的に分類する自動分類処理と、自動分類処理による分類結果をユーザが手動操作により修正する再分類処理とからなる。

自動分類処理は、自動分類部４１により実行される。自動分類処理は、対象動画に含まれる複数のフレームに画像処理を施すことにより、これらのフレームを複数のチャンネルに自動的に分類する処理である。具体的には、自動分類部４１は、フレーム間の類似度を算出し、当該類似度に応じて、対象動画に含まれる複数のフレームを複数のチャンネルに分類する。フレーム間の類似度は、比較されるフレームが同じチャンネルに属することの指標として算出される。自動分類処理の詳細については後述するが、自動分類処理の結果、複数のチャンネルが検出される。各チャンネルには、複数のフレームが所属する。なお、混合タイムラプス動画が対象とされる限りには、通常、複数のチャンネルが検出されることになるが、自動分類処理の結果、１のチャンネルしか検出されないこともあり得る。また、自動分類処理において、いずれのチャンネルにも属さないと判定されたフレームには、「未分類」という分類のラベリングが付与される。従って、自動分類処理の結果、対象動画に含まれる各フレームには、いずれかのチャンネルのチャンネル名、又は「未分類」のいずれかのラベリングが付与される。

再分類処理は、再分類部４５により実行される。再分類処理は、ユーザの操作に従って、対象動画に含まれる任意のフレームを任意のチャンネルに個別に分類する処理である。具体的には、再分類処理では、自動分類処理によりいずれのチャンネルにも分類されなかった未分類のフレームを、個別に特定のチャンネルに分類することができる。また、自動分類処理により誤ったチャンネルに分類されてしまったフレームを、正しい別のチャンネルに分類することもできる。従って、ユーザは、自動分類処理の結果がおかしいと感じた場合に、問題のフレームの所属先のチャンネルをフレーム単位で修正することができる。また、再分類処理では、ユーザの操作に従って、チャンネルを新規作成したり、複数のチャンネルを１のチャンネルに統合したりすることも可能である。すなわち、再分類処理は、自動分類処理の結果の手動での修正に利用される。

自動分類部４１は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、チャンネル分離処理を開始させる。チャンネル分離処理が開始すると、設定部４２は、まず、基本画面Ｗ１上に、選択フレームを表示するエリア設定ウィンドウＷ３（図５参照）を重ねて表示させる。エリア設定ウィンドウＷ３は、選択フレーム内で、自動分類処理においてフレーム間の類似度を算出するための基準となるエリアの指定をユーザから受け付ける画面である。選択フレームとは、対象フレーム群に含まれる１のフレームであり、例えば、対象フレーム群の中でタイムラインに沿って先頭のフレームとしたり、アクティブ表示フレームとしたりすることができる。なお、既に述べたことから明らかであるが、アクティブ表示フレームは、タイムラインバーＴ５上で最新に選択されたフレームであるため、必ず対象フレーム群に含まれている。

対象動画が防犯カメラの映像等である場合には、しばしば、フレームの画面内には（図５の例では左下の部分）、日時の表示エリアが設けられている。そして、このような日時の表示エリアを含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、同じチャンネルに属するフレームどうしであっても、類似度が低く判断される虞がある。また、フレームの画面内に、黒縁が設けられている場合がある。逆に、このような場合には、黒縁を含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、異なるチャンネルに属するフレームどうしであっても、類似度が高く判断される虞がある。また、対象動画が、異なるエレベータ内に設置された防犯カメラの映像から構成される混合タイムラプス動画である場合にも、異なるチャンネルに属するフレーム間の類似度が高く判断され易い。エレベータ内の風景は、いずれも似通っているからである。エリア設定ウィンドウＷ３は、このような事態を避け、自動分類処理で算出されるフレーム間の類似度が同じチャンネルに属することの正確な指標となるよう、誤判定の要因となり得るエリアを類似度の算出の根拠となるエリアから除外するのに役立つ。具体的には、ユーザは、エリア設定ウィンドウＷ３の選択フレーム内で、各チャンネルの背景を特徴づけるエリアを指定する。エレベータの例で言うと、各エレベータ内の風景を特徴づけるポスター等が写っているエリアを指定すればよい。ユーザが、エリア設定ウィンドウＷ３上で、マウス等の操作により選択フレーム内の任意のエリアを指定すると、選択フレーム内には、ユーザにより指定されたエリアを示す囲み線７１が表示される。これにより、ユーザは、正しいエリアを指定できているか否かを確認することができる。

そして、ユーザによりエリア設定ウィンドウＷ３上の開始ボタン７２が押されると、その旨が自動分類部４１により検知され、後述する自動分類処理が開始する。また、同時に、エリア設定ウィンドウＷ３が閉じられる。なお、選択フレーム内でエリアが指定されていない状態で、開始ボタン７２が押された場合には、自動分類処理において、フレームの画面全体が類似度の算出の根拠として使用される。キャンセルボタン７３は、エリア設定ウィンドウＷ３を介してのエリア指定をキャンセルするためのボタンである。

自動分類処理の実行中は、自動分類処理の進捗状況を示すダイアログボックスが表示される。そして、自動分類処理が終了すると、当該ダイアログボックスが閉じられるとともに、再分類部４５が再分類処理を開始する。自動分類処理の詳細については、後述する。再分類部４５は、まず、基本画面Ｗ１上に、自動分類処理後に再分類を行うためのユーザーインターフェースとして、図６に示す再分類ウィンドウＷ４を重ねて表示させる。

再分類ウィンドウＷ４上には、チャンネル一覧エリアＣ１、フレーム一覧エリアＣ２、再生エリアＣ３、及びタイムラインバーＣ４が配置されている。チャンネル一覧エリアＣ１内には、自動分類処理で検出されたチャンネルにそれぞれ対応するチャンネルオブジェクト９１が配列される。図６の例では、４つのチャンネルＣＨ０１，ＣＨ０２，ＣＨ０３，ＣＨ０４に対応する４つのチャンネルオブジェクト９１が配列されている。本実施形態では、チャンネルオブジェクト９１は、アイコンの形態である。

図６に示すとおり、チャンネルオブジェクト９１には、対応するチャンネルのチャンネル名ＣＨ０１，ＣＨ０２，・・・が表示される。また、チャンネルオブジェクト９１には、対応するチャンネルに属する複数のフレームを代表する代表フレームのサムネイル画像が表示される。代表フレームは、後述するユーザの操作を受けて適宜切り替わるが、デフォルトは、例えば、対応するチャンネルに属するフレームのうち、タイムラインに沿って先頭のフレームである。なお、図６には示されていないが、チャンネルの数が多くなり、全てのチャンネルに対応するチャンネルオブジェクト９１をチャンネル一覧エリアＣ１内に配置しきれなくなると、当該エリアＣ１内にスクロールバーが登場し、当該エリアＣ１は実質的に拡大される。また、チャンネルオブジェクト９１には、対応するチャンネルに属するフレームの枚数も表示される。このようなフレームの枚数は、後述するユーザの操作を受けて変化するが、当該変化に合わせて、チャンネルオブジェクト９１における枚数の表示も、リアルタイムに切り替わる。

また、チャンネル一覧エリアＣ１内には、チャンネルオブジェクト９１の他、未分類オブジェクト９２も配置されている。未分類オブジェクト９２は、対象フレーム群の中で、いずれのチャンネルにも属さない未分類のフレームをまとめる分類に対応するオブジェクトである。なお、未分類のフレームをまとめる分類とは、現実のチャンネルには対応しないが、フレームをまとめていると言う意味では、仮想的には１つのチャンネルを構成している。そのため、未分類オブジェクト９２は、チャンネルオブジェクト９１と類似の形態を有し、本実施形態では、同じサイズのアイコンである。具体的には、未分類オブジェクト９２では、チャンネル名に代えて「未分類」の表示がされ、チャンネルに属するフレームの枚数に代えて未分類フレームの枚数が表示される。未分類オブジェクト９２における枚数の表示も、未分類のフレームの枚数の変化に合わせて、リアルタイムに切り替わる。
また、未分類オブジェクト９２にも、「未分類」のフレームを代表する代表フレームのサムネイル画像が表示される。この代表フレームも、後述するユーザの操作を受けて適宜切り替わるが、デフォルトは、例えば、「未分類」の分類に属するフレームのうち、タイムラインに沿って先頭のフレームである。本実施形態では、未分類オブジェクト９２とチャンネルオブジェクト９１との間には、境界線９３が引かれている。

再分類部４５は、チャンネル一覧エリアＣ１内において、全てのチャンネルオブジェクト９１及び未分類オブジェクト９２の中から、任意の１のオブジェクトを選択する選択操作をユーザから受け付けている。全てのオブジェクト９１，９２のうち、現在選択されているオブジェクトは、その他のオブジェクトとは異なる態様で表示される。図６の例では、チャンネルＣＨ０１のオブジェクト９１が、その他のオブジェクト９１，９２とは異なる色で表示されている。以下では、現在選択されている１のオブジェクト９１，９２に対応するチャンネル又は分類を、選択チャンネルと呼ぶ。

フレーム一覧エリアＣ２内では、選択チャンネルに属する全てのフレームのサムネイル画像９４が一覧表示される。なお、選択チャンネルに属するフレームの枚数が多く、全てのサムネイル画像９４をフレーム一覧エリアＣ２内に配置しきれない場合には、当該エリアＣ２内にスクロールバー９５が登場し、当該エリアＣ２は実質的に拡大される。従って、ユーザは、オブジェクト９１，９２の選択状態を切り替えることにより、フレーム一覧エリアＣ２内に、未分類の全てのフレーム、又はいずれかのチャンネルに属する全てのフレームを選択的に一覧表示させることができる。従って、フレーム一覧エリアＣ２内の限られたスペースを有効利用しつつ、対象フレーム群に含まれる未分類及び分類済みのフレームを全て確認することができる。特に、この一覧表示の態様によれば、各チャンネルに誤ったフレームが分類されていたとしても、それを発見することが容易になる。なお、本実施形態では、チャンネル一覧エリアＣ１内のサムネイル画像９４は、多段式に配列可能であり、元のフレームのタイムライン上での順番ｎが大きくなるにつれて、左から右へ、上から下へと時系列順に配置される。

再分類部４５は、各チャンネルに属する特定の１枚のフレームを、アクティブフレームとして管理するとともに、特定の１枚の未分類のフレームについても、アクティブフレームとして管理する。フレーム一覧エリアＣ２内では、アクティブフレームのサムネイル画像９４には、他のフレームのサムネイル画像９４と区別するためのサインとして、囲み枠９６が付される。フレーム一覧エリアＣ２内のサムネイル画像９４は、各々、オブジェクトとして認識されており、ユーザは、クリック操作等により、フレーム一覧エリアＣ２内の全てのサムネイル画像９４の中から、任意の１のサムネイル画像９４を選択することができる。また、キーボード上の特定のキーを押下しながら、クリック操作を繰り返す操作等により、フレーム一覧エリアＣ２内のサムネイル画像９４を同時に複数選択することも可能である。再分類部４５は、フレーム一覧エリアＣ２内でサムネイル画像９４が選択される度に、選択チャンネルのアクティブフレームを、最新に選択されたサムネイル画像９４に対応するフレームに切り替える。このとき、囲み枠９６の位置も移動する。また、アクティブフレームは、チャンネルオブジェクト９１及び未分類オブジェクト９２に表示されるサムネイル画像と連動しており、各チャンネル又は分類のアクティブフレームが変更される度に、当該チャンネル又は分類に対応するオブジェクト９１，９２のサムネイル画像も切り替わる。すなわち、本実施形態では、各チャンネル及び分類の代表フレームとは、アクティブフレームに一致する。

フレーム一覧エリアＣ２内のアクティブフレームのサムネイル画像９４は、ドラッグ＆ドロップ操作により、チャンネル一覧エリアＣ１内のいずれかのオブジェクト９１，９２上に重ねるように個別に移動させることができる。また、フレーム一覧エリアＣ２内で複数のサムネイル画像９４が同時選択されている場合には、これらの複数のサムネイル画像９４を一括して、チャンネル一覧エリアＣ１内のいずれかのオブジェクト９１，９２上に重ねるように移動させることができる。（ただし、「移動」と言っても、サムネイル画像９４は、目的のオブジェクト９１，９２上でリリースされると、フォルダに挿入されたかの如く消える。）言い換えると、再分類部４５は、フレーム一覧エリアＣ２内の任意のサムネイル画像９４を、任意のチャンネル又は分類に関連付ける操作をユーザから受け付けている。この関連付け操作がされると、当該操作で移動させられたサムネイル画像９４に対応するフレームは、当該サムネイル画像９４の移動先となったオブジェクト９１，９２に対応するチャンネル又は分類に再分類される。なお、当該操作に係るサムネイル画像９４に対応するフレームが、元々、当該操作に係るオブジェクト９１，９２に対応するチャンネル又は分類に分類されていた場合には、当該操作は無視され、再分類は行われない。

図６に示すとおり、チャンネル一覧エリアＣ１内には、オブジェクト９１，９２の配列の後に、新規作成オブジェクト９７が配置されている。新規作成オブジェクト９７は、チャンネルを新規作成するためのオブジェクトであり、本実施形態では、アイコンの形態である。そして、以上の関連付け操作と同様の操作は、オブジェクト９１，９２だけでなく、新規作成オブジェクト９７に対しても行うことができる。具体的には、再分類部４５は、ドラッグ＆ドロップ操作により、フレーム一覧エリアＣ２内のアクティブフレームのサムネイル画像９４を新規作成オブジェクト９７上に重ねるように個別に移動させる操作をユーザから受け付けている。また、フレーム一覧エリアＣ２内で複数のサムネイル画像９４が同時選択されている場合には、これらの複数のサムネイル画像９４を一括して、新規作成オブジェクト９７上に重ねるように移動させることもできる。（ただし、「移動」と言っても、サムネイル画像９４は、新規作成オブジェクト９７上でリリースされると、フォルダに挿入されたかの如く消える。）そして、この関連付け操作がなされると、新規作成オブジェクト９７が存在していた位置に、チャンネルオブジェクト９１が新規作成される。

新規作成されたチャンネルオブジェクト９１は、関連付け操作により移動させられた１又は複数のサムネイル画像９４に対応するフレームを要素とする新たなチャンネルを表すオブジェクトとなる。言い換えると、関連付け操作により移動させられた１又は複数のサムネイル画像９４に対応するフレームが、新たなチャンネルに再分類される。従って、チャンネルオブジェクト９１が新規作成された直後において、移動されられたサムネイル画像９４が１つしかなかった場合には、当該オブジェクト９１上には、当該サムネイル画像９４が表示される。一方、複数のサムネイル画像９４が移動させられた場合には、それらのサムネイル画像９４の中の１つ（例えば、最後に選択されたもの）が、新規作成されたチャンネルオブジェクト９１上に表示される。チャンネル名も、適宜付与され、表示される。また、チャンネルオブジェクト９１の新規作成に伴って、新規作成オブジェクト９７は、新規作成されたオブジェクト９１を含むオブジェクト９１，９２の配列の後に移動する。

以上の各種関連付け操作によりフレームの再分類が行われると、再分類されたフレームには、再分類先のチャンネル又は分類に応じて、チャンネル名ＣＨ０１，ＣＨ０２，・・・又は「未分類」のラベリングが再付与される。また、フレーム一覧エリアＣ２内からは、再分類されたフレームのサムネイル画像９４が削除される。このとき、フレーム一覧エリアＣ２内では、削除されたサムネイル画像９４が配置されていたスペースを埋めるように、残りのサムネイル画像９４が整列される。なお、再分類されたフレームには、必ずアクティブフレームが含まれている。従って、再分類後、選択チャンネルのアクティブフレームは、タイムラインに沿って後ろのフレームのうち最も近い、なければタイムラインに沿って前のフレームのうち最も近いフレームに変更される。選択チャンネルのアクティブフレームの変更は、囲み枠９６の位置、及び、オブジェクト９１，９２上のサムネイル画像の表示に、適宜反映される。また、再分類されたフレームの移動前及び移動先のオブジェクト９１，９２に対応するチャンネル及び／又は分類に属するフレームの枚数が再計算され、オブジェクト９１，９２の表示に反映される。

また、以上の各種関連付け操作は、ドラッグ＆ドロップ操作以外の態様でも実現可能である。具体的には、図６に示すとおり、フレーム一覧エリアＣ２内のオブジェクト９１，９２，９７には、右下にキーボードの特定のキーを示す文字列が表示されている。再分類部４５は、オブジェクト９１，９２，９７に表示されている特定のキーが押下されたことを検知すると、その時点の選択チャンネルのアクティブフレーム、すなわち、フレーム一覧エリアＣ２内で現在囲み枠９６が付されているフレームが、当該特定のキーに対応するオブジェクト９１，９２，９７に関連付けられたものと判断する。その後の処理は、ドラッグ＆ドロップ操作の態様で関連付け操作が行われた場合と同様である。

また、再分類部４５は、ユーザの操作を受けて、複数のチャンネル（本段落及び次段落において、「未分類」の分類も含む。）を統合することもできる。具体的には、チャンネル一覧エリアＣ１内では、任意の１のオブジェクト９１，９２を、ドラッグ＆ドロップ操作により、別の任意の１のオブジェクト９１，９２上に重ねるように個別に移動させることができる。また、複数のオブジェクト９１，９２を同時に複数選択可能とし、これらの複数のオブジェクト９１，９２を一括して、別の任意の１のオブジェクト９１，９２上に移動可能としてもよい。（ただし、「移動」と言っても、移動させられたオブジェクト９１，９２は、移動先のオブジェクト９１，９２上でリリースされると、フォルダに挿入されたかの如く消える。）言い換えると、再分類部４５は、チャンネル一覧エリアＣ１内の任意のチャンネルを、別の任意のチャンネルに関連付ける操作をユーザから受け付けている。この関連付け操作がされると、当該操作で移動させられたオブジェクト９１，９２に対応するチャンネルは、当該オブジェクト９１，９２の移動先となった別のオブジェクト９１，９２に対応するチャンネルに統合される。

以上の関連付け操作によりチャンネルの統合が行われると、移動させられたオブジェクト９１，９２に対応するチャンネルに属する全てのフレームには、移動先のオブジェクト９１，９２に対応するチャンネルのチャンネル名「未分類」、ＣＨ０１，ＣＨ０２，・・・のラベリングが再付与される。その結果、移動先のオブジェクト９１，９２が、統合された新たなチャンネルを表すオブジェクトとなる。統合されたチャンネルのアクティブフレームとしては、移動先となったオブジェクト９１，９２のアクティブフレームが継続して用いられる。また、再分類部４５は、統合されたチャンネルに属するフレームの枚数を計算し、オブジェクト９１，９２上の表示に反映させる。また、チャンネル一覧エリアＣ１内では、チャンネルオブジェクト９１が移動させられた場合には、移動させられたチャンネルオブジェクト９１が消失し、消失したチャンネルオブジェクト９１が配置されていたスペースを埋めるように、残りのオブジェクト９１，９７が整列される。未分類オブジェクト９２が移動させられた場合には、フレームの枚数は０となるが、未分類オブジェクト９２はそのまま残る。

また、チャンネルオブジェクト９１が複数存在する場合に、チャンネル一覧エリアＣ１内でのこれらのオブジェクト９１の配列の順番は、ドラッグ＆ドロップ操作により自在に変更することができる。例えば、図６の状態で、チャンネルＣＨ０１のチャンネルオブジェクト９１をチャンネルＣＨ０２のチャンネルオブジェクト９１の右側へと移動したい場合には、チャンネルＣＨ０１のチャンネルオブジェクト９１を、チャンネルＣＨ０２，ＣＨ０３のチャンネルオブジェクト９１の間に移動させればよい。

次に、再生エリアＣ３について説明する。再生エリアＣ３は、選択チャンネルに属するフレーム群を動画として再生可能である。図６に示すとおり、再分類ウィンドウＷ４上には、再生ボタン７６、コマ送りボタン７７及びコマ戻しボタン７８が配置されている。

再生ボタン７６は、選択チャンネルに属するフレーム群の動画としての再生の命令をユーザから受け付ける。再分類部４５は、再生ボタン７６が押下されたことを検知すると、再生エリアＣ３内に、選択チャンネルに属するフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。再生は、再生ボタン７６が押下された時点の選択チャンネルのアクティブフレームから開始する。また、再生は、選択チャンネルに応じたフレームレートで行われる。そして、再生中、再生エリアＣ３内に表示されるフレームは順次切り替わることになるが、当該切り替えの度に、再分類部４５により管理されるアクティブフレームは、当該切り替え後のフレームへとリアルタイムに更新される。また、再生ボタン７６は、再生の停止の命令をユーザから受け付ける。再分類部４５は、再生中に再生ボタン７６が押下されたことを検知すると、再生エリアＣ３内の表示を、その時点のアクティブフレームに固定する。なお、停止中においても、再生エリアＣ３内には、常に選択チャンネルのアクティブフレームが表示される。従って、停止中、フレーム一覧エリアＣ２内でのサムネイル画像９４の選択操作によりアクティブフレームが変更されると、再生エリアＣ３内の表示もリアルタイムに変更される。

また、再生中、アクティブフレームは随時更新されてゆくが、フレーム一覧エリアＣ２内の囲み枠９６も、最新のアクティブフレームのサムネイル画像９４を囲む位置にリアルタイムに移動する。また、このとき、選択チャンネルに対応するオブジェクト９１，９２のサムネイル画像も、リアルタイムに更新される。すなわち、再生エリアＣ３内での表示は、囲み枠９６の位置及びオブジェクト９１，９２のサムネイル画像の表示と、同期が取られている。しかしながら、他の実施形態では、再生中はこのような同期は取らない構成としてもよい。その場合、例えば、再生が停止した時点で初めて、囲み枠９６の位置が移動し、及び／又は、オブジェクト９１，９２のサムネイル画像が更新されるようにしてもよい。

コマ送りボタン７７、コマ戻しボタン７８はそれぞれ、再生エリアＣ３内の表示を、選択チャンネルに属するフレーム群のうち、タイムラインに沿って１つ後、１つ前のフレームへと切り替える命令をユーザから受け付ける。ボタン７７，７８操作による再生エリアＣ３内の表示の変更も、アクティブフレームの変更に連動している。

以上の再生の機能は、既存のチャンネル内に誤って分類されているフレームを発見するのに役立つ。すなわち、人は、動画を再生中に、突然、異なるチャンネルに属するフレームが現れた場合には、直ぐにそれを発見することができる。そして、そのような場合には、直ちに再生を停止させ、フレーム一覧エリアＣ２内で対応するフレームのサムネイル画像９４を探し出し、当該サムネイル画像９４を以上の関連付け操作により正しいチャンネルへと移動させればよい。

再分類ウィンドウＷ４上の再生エリアＣ３の下方には、選択チャンネルのフレームレートを表示するフレームレートエリアＣ５が表示されている。フレームレートは、様々な方法で算出することができ、例えば、選択チャンネルに属するフレームの枚数を、選択チャンネルに属する先頭のフレームの時刻と最後のフレームの時刻との差で割った値として算出することができる。或いは、選択チャンネルのフレームレートは、以下の式に基づいて算出することもできる。
（アクティブタイムラインに対応する動画のフレームレート）×（選択チャンネルに属するフレームの枚数）÷（アクティブタイムラインに属するフレーム数）

ところで、上述したとおり、選択チャンネルに属するフレームは、フレームの再分類により変化する。従って、再分類部４５は、再分類が行われる度に、選択チャンネルのフレームレートを再計算し、リアルタイムにフレームレートエリアＣ５の表示を変更する。また、フレームレートエリアＣ５の近傍には、選択チャンネルのチャンネル名又は分類名が表示されるチャンネル名エリアＣ６が配置されている。従って、ユーザは、再生エリアＣ３内に表示されている映像がどのチャンネルに属し、また、フレームレートエリアＣ５内に表示されているフレームレートがどのチャンネルのフレームレートであるかを正確に理解することができる。

次に、タイムラインバーＣ４について説明する。タイムラインバーＣ４は、基本画面Ｗ１上のタイムラインバーＴ５と同様に、アクティブタイムラインを図式的に示すオブジェクトである。チャンネル分離処理の対象となる対象フレーム群は、アクティブフレーム群の一部又は全部を構成する。従って、再分類ウィンドウＷ４上においても、アクティブタイムラインを管理できることは重要であるため、基本画面Ｗ１上のタイムラインバーＴ５と同様のタイムラインバーＣ４が配置されている。タイムラインバーＣ４は、左右方向に延びており、左右方向にアクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＣ４上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

再分類部４５は、タイムラインバーＣ４上において、選択チャンネルのアクティブフレームに対応する分割領域を示すサインとして、当該分割領域の位置に直線８３を表示する。すなわち、直線８３は、エリアＣ３内、及び、エリアＣ２の囲み枠９６内に表示されているフレームの、アクティブタイムライン上での位置を示している。また、タイムラインバーＣ４の下方には、対象範囲バー８５が表示されている。対象範囲バー８５は、タイムラインバーＣ４と同様に左右方向に、対象フレーム群の占める区間に対応する範囲に亘って延びている。

タイムラインバーＣ４は、左右方向に拡縮可能である。具体的には、再分類ウィンドウＷ４上には、尺度変更バー８６が配置されており、尺度変更バー８６は、スライド溝６１及びスライダー６２の２つのオブジェクトを組み合わせたオブジェクトである。スライド溝６１は、左右方向に直線状に延びる溝のようなＧＵＩを有し、スライダー６２は、スライド溝６１内を左右方向にスライドするようなＧＵＩを有する。ユーザは、入力部２０を介してスライダー６２を操作することにより、スライド溝６１に沿ってスライダー６２を左右方向に往復移動させることができる。再分類部４５は、スライド溝６１内でのスライダー６２の左右方向の位置に応じて、タイムラインバーＣ４の左右方向の尺度を段階的に変更する。具体的には、スライダー６２が右側へ移動するにつれて、タイムラインバーＣ４の左右方向の尺度は段階的に短くなり、スライダー６２が左側へ移動するにつれて、タイムラインバーＣ４の左右方向の尺度は段階的に長くなる。なお、タイムラインバーＣ４の左右方向の尺度が変更されると、それに比例して、全ての分割領域の左右方向のサイズも均等に変更される。ただし、スライダー６２がスライド溝６１内の最左の位置に達すると、タイムラインバーＣ４は、サムネイル一覧Ｃ７に変化する（図７参照）。また、タイムラインバーＣ４及びサムネイル一覧Ｃ７の左右方向の尺度が長く、再分類ウィンドウＷ４内に収まりきらない場合には、左右方向にスクロールするスクロールバー８７が登場し、タイムラインバーＣ４を表示するためのエリアは左右方向に実質的に拡大される。

サムネイル一覧Ｃ７は、アクティブタイムラインに属する全てのフレームのサムネイル画像８８を左右方向に配列したものである。従って、ユーザは、再分類ウィンドウＷ４上で、アクティブタイムラインに含まれる対象フレーム群以外のフレームについても、確認することができる。サムネイル一覧Ｃ７上の左からｎ番目のサムネイル画像８８は、アクティブタイムライン上でｎ番目のフレームのサムネイル画像である（ｎは、自然数）。サムネイル一覧Ｃ７内において、選択チャンネルのアクティブフレームのサムネイル画像８８には、その他のサムネイル画像８８から区別するためのサインとして、囲み枠８９が付される。

タイムラインバーＣ４及びサムネイル一覧Ｃ７は、タイムラインバーＴ５と同様に、アクティブタイムライン上の任意のフレームの選択をユーザから受け付ける。言い換えると、ユーザは、クリック操作等によりタイムラインバーＣ４上の分割領域、又はサムネイル一覧Ｃ７内の任意のサムネイル画像８８を選択することにより、アクティブフレーム群の中から、任意のフレームを選択することができる。そして、再分類部４５は、タイムラインバーＣ４及びサムネイル一覧Ｃ７上でフレームが選択される度に、当該フレームが対象フレーム群に含まれる否かを判断する。そして、含まれると判断された場合には、当該フレームの属するチャンネル又は分類を、選択チャンネルに切り替える。同時に、再分類部４５は、当該フレームを選択チャンネルのアクティブフレームに切り替える。ここでの選択チャンネル及びアクティブフレームの変更は、チャンネル一覧エリアＣ１、フレーム一覧エリアＣ２、再生エリアＣ３、フレームレートエリアＣ５及びチャンネル名エリアＣ６の表示にリアルタイムに反映される。また、直線８３及び囲み枠８９の位置も、リアルタイムに変更される。

ユーザは、以上説明した様々な機能を用いて、対象フレーム群に含まれる複数のフレームの再分類を行うことができる。そして、再分類が終了したと判断した時点で、ＯＫボタンＥ５を押下する。これを受けて、再分類部４５は、再分類ウィンドウＷ４を閉じるとともに、新たなタイムラインに属する１又は複数の動画を新規作成する。新規作成される１又は複数の動画は、再分類ウィンドウＷ４上で最終的に定義されていたチャンネルであって、ユーザにより選択されていたもの（以下、最終チャンネル）に１対１で対応する。ユーザによる最終チャンネルの選択は、図６に示すとおり、チャンネルオブジェクト９１上に配置されている選択ボックス９８に選択の印を入れることにより行われる。なお、本実施形態では、選択ボックス９８のデフォルト値は「選択」の状態である。従って、ユーザは、動画の作成が不要と判断したチャンネルについてのみ、対応するオブジェクト９１上の選択ボックスを操作し、「非選択」の状態にすればよい。また、本実施形態では、再生エリアＣ３の下方にも、選択ボックス９９が配置されている。選択ボックス９９は、選択チャンネル（ただし、「未分類」の分類は含まれない）の動画の作成の要否を選択するためのオブジェクトであり、チャンネルオブジェクト９１上の選択ボックス９８と同期が取られている。再分類部４５は、選択ボックス９８，９９の選択状態を判断し、最終チャンネルを決定する。

以上のとおり新規作成される動画は、それぞれに対応する最終チャンネルに属する全てのフレームを、新たなタイムラインに沿って配列したものである。また、このとき、これらの新たな動画に１対１で対応する表示ウィンドウＷ２が新規作成される。更に、再分類部４５は、これらの新たな動画に含まれるフレーム群に１対１で対応する静止画ファイル群を作成し、加工ファイル領域５２内に格納し、第０次のフレームとして扱う。すなわち、これ以降、これらの新たな動画は、オリジナル画像領域５１へ取り込まれた静止画ファイル群と同様に処理されることが可能になる。具体的には、表示ウィンドウＷ２内で同様に再生可能となり、同様に各種画像処理の対象となる。

なお、「未分類」の分類に対応する動画は、新規作成されない。そのため、ＯＫボタンＥ５が押下された時点で、再分類部４５は、未分類のフレームが残っているか否かを判断し、残っている場合にはその旨をユーザに伝えるようにしてもよい。この場合、例えば、再分類部４５は、未分類のフレームが残っていると判断される場合に、図８に示すような確認ウィンドウＷ５をディスプレイ１０上に表示させる。そして、「はい」ボタン７４が押されるのを待って、以上の動画の新規作成処理に移行する。「いいえ」ボタン７５が押された場合には、確認ウィンドウＷ５を閉じ、再分類ウィンドウＷ４に復帰する。一方、未分類のフレームが残っていないと判断される場合には、直ちに以上の動画の新規作成処理に移行する。

＜１−４．自動分類のアルゴリズム＞
以下、図９を参照しつつ、自動分類処理の詳細について説明する。自動分類処理は、上述したとおり、エリア設定ウィンドウＷ３上の開始ボタン７２が押下された時に開始する。以下では、対象フレーム群を構成する複数のフレームを、Ｆ₁，Ｆ₂，・・・，Ｆ_Jと表す（Ｊは、２以上の整数）。なお、フレームＦ₁，Ｆ₂，・・・，Ｆ_Jの配列は、タイムライン上での配列に等しい。

まず、ステップＳ１では、自動分類部４１が、対象フレーム群に含まれる各フレームＦ₁，Ｆ₂，・・・，Ｆ_Jのサイズを縮小する。このとき、例えば、フレームの横及び／又は縦の画素数が規定数となるように縮小してもよいし、元のサイズから所定の割合のサイズとなるように縮小してもよい。また、このとき、アスペクト比が保存されるようにしてもよいし、しなくてもよい。この縮小のステップにより、以下の処理の高速化が図られるとともに、ノイズの影響が低減される。以下では、縮小後のフレームＦ₁，Ｆ₂，・・・，Ｆ_Jも、Ｆ₁，Ｆ₂，・・・，Ｆ_Jと表す。

続くステップＳ２では、設定部４２が、チャンネルＣＨ₁を定義し、フレームＦ₁をチャンネルＣＨ₁に分類する。具体的には、フレームＦ₁にチャンネル名ＣＨ₁のラベリングを付与する。また、設定部４２は、フレームＦ₁を、チャンネルＣＨ₁に属するフレーム群を代表する基準フレームＧ₁として設定する。なお、後述されるステップＳ１０により、チャンネル数は随時増加し得る。そして、新たに作成されるチャンネルＣＨ_lついても、それぞれのチャンネルに属するフレーム群を代表する基準フレームＧ_lが設定されることになる（ｌ＝２，３，・・・）。

以上の前処理が終了すると、設定部４２は、残りのフレームＦ₂，Ｆ₃，・・・，Ｆ_Jの中からタイムラインに沿って順次フレームＦ_jを選択し（ｊ＝２，３，・・・，Ｊ）、比較フレームとして設定する。一方で、算出部４３、判定部４４及び設定部４２は、比較フレームＦ_jが設定される度に、比較フレームＦ_jに対し以下のステップＳ３〜Ｓ１０を繰り返し、既存の基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lとの比較を行う（Ｌは、既存のチャンネル数）。

ステップＳ３では、算出部４３は、比較フレームＦ_j全体を規定数Ｋ（Ｋは、２以上の整数）の部分領域（ブロック）Ｄ₁，Ｄ₂，・・・，Ｄ_Kに分割する（図１０参照）。なお、ここでいう比較フレームＦ_j全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。なお、部分領域Ｄ₁，Ｄ₂，・・・，Ｄ_Kは、比較フレームＦ_j全体を隈なく分割したものである必要はなく、また、互いに一部重複していてもよい。形状については、矩形である必要はなく、例えば、円形であっても、他の多角形であってもよい。また、形状やサイズについては、均一とすることもできるし、互いに異なるものとすることもできる。

続くステップＳ４では、算出部４３は、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々を、部分領域Ｄ'₁，Ｄ'₂，・・・，Ｄ'_Kに分割する（図１０参照）。部分領域Ｄ'₁，Ｄ'₂，・・・，Ｄ'_Kは、フレームの画面内において、それぞれ部分領域Ｄ₁，Ｄ₂，・・・，Ｄ_Kと同じ位置を占めるように定義される。

次に、ステップＳ５では、算出部４３は、部分領域Ｄ_k，Ｄ'_k（ｋ＝１，２，・・・，Ｋ）の組み合わせ毎に、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）との類似度（以下、局所類似度）Ｙ_lkを算出する。すなわち、局所類似度Ｙ_lkとは、比較フレームＦ_jの部分領域Ｄ_kと基準フレームＧ_lの部分領域Ｄ'_kとの類似度である。本実施形態では、正規化相互相関（ＺＮＣＣ）と呼ばれる相関係数が算出されるが、他の実施形態では、ＮＣＣと呼ばれる相関係数や、ＳＤＤ、ＳＡＤと呼ばれる類似度等、他の類似度が算出されてもよい。

次に、ステップＳ６では、算出部４３は、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での類似度（以下、総合類似度）Ｂ_lを算出する。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、局所類似度Ｙ_lkの高い部分領域Ｄ_k，Ｄ'_kを判断する。このとき、例えば、局所類似度Ｙ_lkが上位規定割合に入るものを高いと判断することもできるし、局所類似度Ｙ_lkが所定の閾値よりも大きいものを高いと判断することもできる。そして、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、フレーム全体の中で局所類似度Ｙ_lkの高い部分領域Ｄ_k，Ｄ'_kのみを用いて、比較フレームＦ_jと基準フレームＧ_lとの類似度を再度算出し、総合類似度Ｂ_lとする（図１０参照）。本実施形態では、総合類似度Ｂ_lとしても、正規化相互相関（ＺＮＣＣ）が算出されるが、局所類似度Ｙ_lkと同様に、他の類似度が算出されてもよい。また、総合類似度Ｂ_lと局所類似度Ｙ_lkとが異なる方法で算出されてもよい。

以上より、本実施形態では、総合類似度Ｂ_lを算出するに当たり、局所類似度Ｙ_lkの低い部分領域Ｄ_k，Ｄ'_kの情報は考慮されないが、これは、以下の理由による。すなわち、同じチャンネルのフレームどうしは、背景画像は一致するが、移動体部分においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いて総合類似度Ｂ_lを判断すると、たとえ同じチャンネルのフレームどうしであっても、総合類似度Ｂ_lが低くなるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えられる局所類似度Ｙ_lkの低い部分領域Ｄ_k，Ｄ'_kは、総合類似度Ｂ_lの算出に用いられない。その結果、移動体の影響が低減され、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。

続くステップＳ７では、判定部４４が、ステップＳ６で算出された総合類似度Ｂ₁，Ｂ₂，・・・，Ｂ_Lのうち最大のものを判定し、当該最大のものが所定の閾値よりも大きいか否かを判定する。そして、所定の閾値よりも大きいと判定された場合には、処理はステップＳ８に進み、所定の閾値以下と判定された場合には、処理はステップＳ１０に進む。

ステップＳ８では、判定部４４は、比較フレームＦ_jがチャンネルＣＨ_MAXに属すると判定する。ＭＡＸとは、最大の総合類似度Ｂ_lを与えるｌの値である。具体的には、判定部４４は、比較フレームＦ_jにチャンネル名ＣＨ_MAXのラベリングを付与し、比較フレームＦ_jをチャンネルＣＨ_MAXに分類する。これにより、比較フレームＦ_jは、チャンネルＣＨ_MAXに属するフレーム群と同じチャンネルに属することになる。

ステップＳ８の後、処理はステップＳ９に進められる。ステップＳ９では、設定部４２が、チャンネルＣＨ_MAXの基準フレームＧ_MAXを更新する。具体的には、設定部４２は、比較フレームＦ_jと既存の基準フレームＧ_MAXとを合成して、新たな基準フレームＧ_MAXとする。本実施形態では、合成の態様として、既存の基準フレームＧ_MAXよりも比較フレームＦ_jの重みが大きくなるような重み付け平均が採用される。こうすることで、チャンネルＣＨ_MAXに属するフレーム群を代表する基準フレームＧ_MAXが、より直近のフレームに重みが置かれた合成画像となる。その結果、フレーム間のチャンネルの異同を判断するに当たり、時系列の変化に対応することが可能になる。なお、他の実施形態では、比較フレームＦ_jをそのまま、新たな基準フレームＧ_MAXとして設定してもよい。また、ステップＳ９を省略し、基準フレームＧ_MAXの更新を行わないようにすることもできる。

一方、ステップＳ１０は、ステップＳ６で算出された総合類似度Ｂ₁，Ｂ₂，・・・，Ｂ_Lが、いずれも所定の閾値以下と判断される場合に実行されるステップである。言い換えると、ステップＳ１０は、比較フレームＦ_jが、いずれのチャンネルＣＨ_lの基準フレームＧ_lとも類似しない場合に実行されるステップである。ステップＳ１０では、設定部４２は、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lに加え、新たなチャンネルＣＨ_L+1を定義し、比較フレームＦ_jを当該チャンネルＣＨ_L+1に分類する。具体的には、比較フレームＦ_jに新たなチャンネル名ＣＨ_L+1のラベリングを付与する。また、設定部４２は、比較フレームＦ_jを、新たなチャンネルＣＨ_L+1に属するフレーム群を代表する基準フレームＧ_L+1として設定する。

全てのフレームＦ₁，Ｆ₂，・・・，Ｆ_Jに対するステップＳ３〜Ｓ１０が終了すると、処理はステップＳ１１に進められる。ステップＳ１１では、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの修正が行われる。具体的には、算出部４３は、基準フレームＧ₁，Ｇ₂，・・・，Ｇ_L間のフレーム全体の類似度を総当たりで算出する。なお、ここでいうフレーム全体とは、ステップＳ３と同様、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。また、本実施形態では、ステップＳ５，Ｓ６と同様、類似度として正規化相互相関（ＺＮＣＣ）が算出されるが、他の類似度が算出されてもよい。また、類似度が、総合類似度Ｂ_l及び局所類似度Ｙ_lkとは異なる方法で算出されてもよい。そして、判定部４４は、これらの類似度に所定の閾値を超えるものがあれば、そのような類似度を与える基準フレームＧ_lに対応するチャンネルＣＨ_lどうしを、１つのチャンネルに統合する。具体的には、統合されるチャンネルＣＨ_lに属するフレームＦ_jの全てに、同じチャンネル名のラベリングを再付与する。なお、ここでは、３つ以上のチャンネルＣＨ_lが１つに統合されることもある。

更に、判定部４４は、以上のチャンネルの統合を行ってもなお１枚のフレームしか含まれないチャンネルＣＨ_lが存在する場合には、当該チャンネルＣＨ_lを消滅させる。具体的には、判定部４４は、消滅させる全てのチャンネルＣＨ_lに属するフレームＦ_jに、「未分類」のラベリングを再付与する。なお、本実施形態では、１枚のフレームＦ_jしか含まれないチャンネルＣＨ_lが消滅の対象となるが、このような基準値を２枚、３枚、・・・としてもよい。また、作成可能なチャンネル数に上限を設けておくこともできる。この場合、チャンネル数が上限を超えないように、フレームＦ_jの枚数の少ないチャンネルから消滅させるようにすることができる。

以上の処理によると、最終的に作成されたチャンネルのチャンネル名ＣＨ_lに含まれる数値は、連続番号とはなっていない可能性が高い。そこで、判定部４４は、最終的に作成されたチャンネルＣＨ_lに、ＣＨ０１，ＣＨ０２，・・・とのチャンネル名を順番に再付与し、各フレームＦ_jに付与されているラベリングを、これらの新たなチャンネル名で更新する。そして、その後、自動分類処理が終了する。

＜２．第２実施形態＞
以下、本発明の第２実施形態について説明する。図１１は、第２実施形態に係る自動分類処理の流れを示しており、第２実施形態と第１実施形態とは、自動分類のアルゴリズムのみが相違する。また、図９及び図１１を比較すれば分かるように、両自動分類処理の相違点は、第２実施形態においてはステップＳ４〜Ｓ６の代わりに、ステップＳ２４〜Ｓ２６が挿入されている点のみである。従って、以下では、簡単のため、当該相違点のみを説明する。

第２実施形態では、第１実施形態と同様のステップＳ１〜Ｓ３の実行後に、ステップＳ２４が実行される。ステップＳ２４では、算出部４３が、比較フレームＦ_jの各部分領域Ｄ₁，Ｄ₂，・・・，Ｄ_K内で、特徴点を検出する。このとき、各部分領域Ｄ₁，Ｄ₂，・・・，Ｄ_K内で検出される特徴点の数は、同数とすることが好ましい。以下、比較フレームＦ_j内の特徴点を、Ｐ₁，Ｐ₂，・・・，Ｐ_U（Ｕは、２以上の整数）と表す。

算出部４３は、比較フレームＦ_j内において、各特徴点Ｐ_u（ｕ＝１，２，・・・，Ｕ）の近傍に、部分領域Ｖ_uを設定する（図１２参照）。部分領域Ｖ_uは、特徴点Ｐ_uを中心とする所定サイズの領域である。そして、算出部４３は、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々に対し、部分領域Ｖ'₁，Ｖ'₂，・・・，Ｖ'_Uを設定する（図１２参照）。部分領域Ｖ'₁，Ｖ'₂，・・・，Ｖ'_Uは、フレームの画面内において、それぞれ部分領域Ｖ₁，Ｖ₂，・・・，Ｖ_Uと同じ位置を占めるように定義される。

以上のとおり、本実施形態では、比較フレームＦ_jの中から、部分領域Ｄ₁，Ｄ₂，・・・，Ｄ_Kの単位で、特徴点Ｐ₁，Ｐ₂，・・・，Ｐ_Uが検出される。その結果、特徴点Ｐ₁，Ｐ₂，・・・，Ｐ_Uが、比較フレームＦ_jの画面全体の一部の領域に偏ってしまうことがなく、比較フレームＦ_j全体の中から凡そ均等に検出される。

次に、ステップＳ２５では、算出部４３は、部分領域Ｖ_u，Ｖ'_u（ｕ＝１，２，・・・，Ｕ）の組み合わせ毎に、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）との局所類似度Ｙ_luを算出する。すなわち、局所類似度Ｙ_luとは、比較フレームＦ_jの部分領域Ｖ_uと基準フレームＧ_lの部分領域Ｖ' _uとの類似度である。なお、第１及び第２実施形態における局所類似度は、共に部分領域での類似度を表すという点で共通するため、同じ記号Ｙを用いて表す。また、本実施形態では、正規化相互相関（ＺＮＣＣ）と呼ばれる相関係数が算出されるが、第１実施形態と同様に、他の類似度が算出されてもよい。

次に、ステップＳ２６では、算出部４３は、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での総合類似度Ｂ_lを算出する。なお、第１及び第２実施形態における総合類似度は、共にフレーム全体での類似度を表すという点で共通するため、同じ記号Ｂを用いて表す。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、局所類似度Ｙ_luの高い部分領域Ｖ_u，Ｖ'_uを判断する。このとき、例えば、局所類似度Ｙ_luが上位規定割合に入るものを高いと判断することもできるし、局所類似度Ｙ_luが所定の閾値よりも大きいものを高いと判断することもできる。そして、各ｌ（ｌ＝１，２，・・・，Ｌ）について、フレーム全体の中で局所類似度Ｙ_luの高いＶ_u，Ｖ'_uのみを用いて、比較フレームＦ_jと基準フレームＧ_lとの類似度を再度算出し、総合類似度Ｂ_lとする。本実施形態でも、総合類似度Ｂ_lとしては、正規化相互相関（ＺＮＣＣ）が算出されるが、第１実施形態と同様に、他の類似度が算出されてもよい。また、本実施形態でも、総合類似度Ｂ_lと局所類似度Ｙ_luとが異なる方法で算出されてもよい。

以上のステップＳ２６により、総合類似度Ｂ₁，Ｂ₂，・・・，Ｂ_Lが算出される。その後の処理の流れは、第１実施形態と同様である。

以上のとおり、本実施形態では、総合類似度を算出するに当たり、特徴点Ｐ₁，Ｐ₂，・・・，Ｐ_Uの近傍の部分領域Ｖ₁，Ｖ₂，・・・，Ｖ_U以外の領域の情報は考慮されない。なぜならば、異なるチャンネルのフレームどうしであっても、それらが似通った光景を撮影したものであれば、フレーム全体の情報を用いて総合類似度Ｂ_lを判断すると、総合類似度Ｂ_lが高くなるからである。例えば、同一の店内の異なる場所を撮影した２つの映像においては、どちらも同じ均一色の壁紙や床等がフレームの大部分を占めることがあり、そのような場合、総合類似度Ｂ_lが高くなってしまう。従って、ここでは、誤判定を避けるべく、同じ均一色の壁紙や床等の背景を写している可能性の高い領域、すなわち、特徴点Ｐ₁，Ｐ₂，・・・，Ｐ_Uの近傍以外の領域は、総合類似度Ｂ_lの算出に用いられない。その結果、似通った背景の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。

更に、本実施形態では、総合類似度Ｂ_lを算出するに当たり、局所類似度Ｙ_luの低い部分領域Ｖ_u，Ｖ'_uの情報も考慮されない。なぜならば、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いて総合類似度Ｂ_lを判断すると、たとえ同じチャンネルのフレームどうしであっても、総合類似度Ｂ_lが低くなるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えらえる局所類似度Ｙ_luの低い部分領域Ｖ_u，Ｖ'_uは、総合類似度Ｂ_lの算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かをさらに正確に判断することができる。

＜３．第３実施形態＞
以下、本発明の第３実施形態について説明する。図１３は、第３実施形態に係る自動分類処理の流れを示しており、第３実施形態と第１及び第２実施形態とは、自動分類のアルゴリズムのみが相違する。また、図１３と図９とを比較すれば分かるように、第１及び第３実施形態に係る自動分類処理の相違点は、第３実施形態においてはステップＳ５，Ｓ６の代わりに、サブルーチンＳ３０が挿入されている点のみである。従って、以下では、簡単のため、当該相違点のみを説明する。

上記のとおり、第１及び第２実施形態では、フレーム間の類似度として相関係数が算出されたが、第３実施形態では、フレーム間の類似度がフレームの色彩傾向に基づいて評価される。また、フレームの色彩傾向としては、フレームの画面内における全体的な色彩傾向と、フレームの画面内における局所的な色彩傾向とが総合的に考慮される。以下、具体的に説明する。

まず、第３実施形態では、第１実施形態と同様のステップＳ１〜Ｓ４が実行され、続いて、サブルーチンＳ３０が実行される。サブルーチンＳ３０は、フレームの画面内における局所的な又は全体的な色彩傾向を示す様々な色指標を評価する処理であり、図１７にその詳細が示される。特に、サブルーチンＳ３０に含まれるステップＳ３１〜Ｓ３３では、濃度が考慮され、ステップＳ３４〜Ｓ３８では、彩度が考慮され、ステップＳ３９〜Ｓ４３では、色相が考慮される。なお、ステップＳ３１〜Ｓ３３では、濃度が考慮されるが、濃度に代えて、明度や輝度が用いられてもよい。また、サブルーチンＳ３０に含まれるステップＳ４４〜４６では、フレームの全体的な印象度が考慮される。

まず、ステップＳ３１では、算出部４３は、比較フレームＦ_j全体の平均濃度Ｈｄを算出する。なお、ここでいう比較フレームＦ_j全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。また、算出部４３は、比較フレームＦ_j内の各部分領域Ｄ_k（ｋ＝１，２，・・・，Ｋ）における平均濃度Ｅｄ_kを算出する。なお、平均濃度は、対象とするエリア内の全ての画素の濃度の平均値として算出され、各画素の濃度は、当該画素のＲＧＢ値の平均値として算出される。続いて、算出部４３は、各部分領域Ｄ_k（ｋ＝１，２，・・・，Ｋ）に対し、濃度Ｅｄ_k＞濃度Ｈｄとなる場合には、「１」の値を付与し、濃度Ｅｄ_k≦濃度Ｈｄとなる場合には、「０」の値を付与する（図１４参照）。なお、この「１」「０」は、局所領域の濃度がフレーム全体を基準として相対的に高いか低いかを示す指標であり、濃度（明るさ）に関する局所的な色彩傾向を表す色指標（以下、濃度指標）である。

続くステップＳ３２では、算出部４３は、ステップＳ３１と同様の処理を、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧ_l内の各部分領域Ｄ'_k（ｋ＝１，２，・・・，Ｋ）に対し、濃度指標を算出する（図１４参照）。なお、図１３及び図１７に示すとおり、ステップＳ３２は繰り返し実行されることになるため、濃度指標が算出済みである基準フレームＧ_lについては、当該値が参照され、新たな算出の処理は省略される。

続くステップＳ３３では、算出部４３は、ステップＳ３１，Ｓ３２で算出された濃度指標に基づいて、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）との間の類似度Ｂｄ_lを算出する。具体的には、算出部４３は、類似度Ｂｄ_lとして、比較フレームＦ_j内での濃度指標の分布パターンと、各基準フレームＧ_l内での濃度指標の分布パターンとの類似度を算出する。本実施形態では、「１」「０」の濃度指標が一致しない部分領域Ｄ_k，Ｄ'_kの組み合わせの数をカウントし、当該カウント値を部分領域の数Ｋで割った値の二乗値を、類似度Ｂｄ_lとする（図１４参照）。なお、ここで、部分領域の数Ｋでの除算が行われるのは、類似度Ｂｄ_lを０〜１の間の値に維持し、正規化するためである。また、ステップＳ３３、及び後述するステップＳ３８，Ｓ４３で算出される類似度は、類似している程小さな値となる。この意味で、これらの類似度は、非類似度と捉えることもできる。

ところで、画像の構図とは、画面内における複数の要素の配置により決定される。そして、多くの画像は、単純化すれば、注目物体を表す領域とその背景を表す領域とに大きく分かれる構図となる。すなわち、濃度指標が「１」の領域と「０」の領域とは、一方が注目物体を表し、他方がその背景を表していると考えることができる。この考え方からすると、比較フレームＦ_j内での濃度指標の分布パターンとは、比較フレームＦ_jの構図を表しており、基準フレームＧ_l内での濃度指標の分布パターンとは、基準フレームＧ_lの構図を表していると言える。従って、類似度Ｂｄ_lは、比較フレームＦ_j及び基準フレームＧ_l間の構図の類似度を表していると言える。

続くステップＳ３４では、算出部４３は、比較フレームＦ_j内での濃度指標の分布パターンに基づいて、比較フレームＦ_jを２つの部分領域Ｒ₁，Ｒ₂に分割する（図１５参照）。部分領域Ｒ₁は、比較フレームＦ_j内で濃度指標が「１」となる部分領域Ｄ_kを全て結合した領域であり、部分領域Ｒ₂は、比較フレームＦ_j内で濃度指標が「０」となる部分領域Ｄ_kを全て結合した領域である。すなわち、ステップＳ３４では、比較フレームＦ_jの構図に基づいて、比較フレームＦ_jを注目物体を表す領域とその背景を表す領域とに分割している。

続くステップＳ３５では、ステップＳ３４と同様に、算出部４３は、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々における濃度指標の分布パターンに基づいて、基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々を部分領域Ｒ'₁，Ｒ'₂に分割する（図１５参照）。部分領域Ｒ'₁は、基準フレームＧ_l内で濃度指標が「１」となる部分領域Ｄ'_kを全て結合した領域であり、部分領域Ｒ'₂は、基準フレームＧ_l内で濃度指標が「０」となる部分領域Ｄ'_kを全て結合した領域である。すなわち、ステップＳ３５では、基準フレームＧ_lの構図に基づいて、基準フレームＧ_lを注目物体を表す領域とその背景を表す領域とに分割している。

続くステップＳ３６では、算出部４３は、比較フレームＦ_j内の部分領域Ｒ₁，Ｒ₂の各々に対し、ＲＧＢ別の３つの平均値を算出する。続いて、算出部４３は、部分領域Ｒ₁におけるＲＧＢ別の３つの平均値から、部分領域Ｒ₁の彩度を算出するとともに、部分領域Ｒ₂におけるＲＧＢ別の３つの平均値から、部分領域Ｒ₂の彩度を算出する。次に、算出部４３は、部分領域Ｒ₁，Ｒ₂の間の相対的な彩度（以下、相対彩度）を算出する。相対彩度は、部分領域Ｒ₁の彩度と部分領域Ｒ₂の彩度との差の絶対値として算出される。相対彩度は、彩度に関する色彩傾向を表す色指標（以下、彩度指標）である。

続くステップＳ３７では、算出部４３は、ステップＳ３６と同様の処理を、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧ_l内の部分領域Ｒ'₁，Ｒ'₂の各々の彩度を算出し、これらの差の絶対値である相対彩度を算出する。なお、図１３及び図１７に示すとおり、ステップＳ３７は繰り返し実行されることになるため、相対彩度が算出済みである基準フレームＧ_lについては、当該値が参照され、新たな算出の処理は省略される。ステップＳ３５も、同様に省略され得る。

続くステップＳ３８では、算出部４３は、ステップＳ３６，Ｓ３７で算出された比較フレームＦ_jの相対彩度と、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）の相対彩度との類似度Ｂｓ_lを算出する。本実施形態では、類似度Ｂｓ_lは、両相対彩度の差を２５５で割った値の二乗値として算出される。なお、ここで、２５５での除算が行われるのは、類似度Ｂｓ_lを０〜１の間の値に維持し、正規化するためである。

続くステップＳ３９では、算出部４３は、比較フレームＦ_jを、主領域Ｏ₁及び副領域Ｏ₂の２つの領域に分割する。具体的には、ステップＳ３４で算出された部分領域Ｒ₁，Ｒ₂のうち、面積のより広い方の領域を主領域Ｏ₁とし、より狭い方の領域を副領域Ｏ₂として設定する（図１６参照）。すなわち、ステップＳ３９は、比較フレームＦ_jの構図に基づいて、比較フレームＦ_jを注目物体を表す領域とその背景を表す領域とに分割している。

続くステップＳ４０では、ステップＳ３９と同様に、算出部４３は、基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々を、主領域Ｏ'₁及び副領域Ｏ'₂の２つの領域に分割する。具体的には、ステップＳ３５で算出された部分領域Ｒ'₁，Ｒ'₂のうち、面積のより広い方の領域を主領域Ｏ'₁とし、より狭い方の領域を副領域Ｏ'₂として設定する（図１６参照）。すなわち、ステップＳ４０では、基準フレームＧ_lの構図に基づいて、基準フレームＧ_lを注目物体を表す領域とその背景を表す領域とに分割している。

続くステップＳ４１では、算出部４３は、主領域Ｏ₁の平均色相を算出するとともに、副領域Ｏ₂の平均色相を算出する。なお、この平均色相は、色相に関する局所的な色彩傾向を表す色指標（以下、色相指標）であり、対象とするエリア内の全ての画素の色相の平均値として算出される。

続くステップＳ４２では、算出部４３は、ステップＳ４１と同様の処理を、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧ_l内の領域Ｏ'₁，Ｏ'₂の各々に対し、色相指標を算出する。なお、図１３及び図１７に示すとおり、ステップＳ４２は繰り返し実行されることになるため、色相指標が算出済みである基準フレームＧ_lについては、当該値が参照され、新たな算出の処理は省略される。ステップＳ４０も、同様に省略され得る。

続くステップＳ４３では、算出部４３は、比較フレームＦ_j内の主領域Ｏ₁における色相指標と、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）内の主領域Ｏ'₁における色相指標との類似度Ｂｈ_1lを算出する。本実施形態では、類似度Ｂｈ_1lは、主領域Ｏ₁，Ｏ'₁の色相指標の差を１８０で割った値の二乗値として算出される。また、算出部４３は、比較フレームＦ_j内の副領域Ｏ₂における色相指標と、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）内の副領域Ｏ'₂における色相指標との類似度Ｂｈ_2lを算出する。具体的には、副領域Ｏ₂，Ｏ'₂の色相指標の差を１８０で割った値の二乗値を、類似度Ｂｈ_2lとする。なお、ここで、１８０での除算が行われるのは、類似度Ｂｈ_1l，Ｂｈ_2lを０〜１の間の値に維持し、正規化するためである。

続くステップＳ４４〜Ｓ４６は、フレームの画面内における全体的な色彩傾向を示す色指標を評価するステップである。本実施形態では、フレームの画面内における全体的な色彩傾向を評価するために、様々な印象度Ｚ₁，Ｚ₂，・・・，Ｚ_I（Ｉは、２以上の整数）が定義されている。なお、これらの印象度Ｚ₁，Ｚ₂，・・・，Ｚ_Iを定義するための各種情報は、ソフトウェア管理領域５０内の印象度定義領域５３内に格納されている。

以下、印象度Ｚ_i（ｉ＝１，２，・・・，Ｉ）について、説明する。各印象度Ｚ_iは、１又は複数の色条件に関連付けられており、これらの色条件には、重みが定義されている。なお、同じ印象度Ｚ_iに関連付けられている１又は複数の色条件の重みは、合計して１となる。図１８は、印象度Ｚ₁「ナチュラル」の例を示しており、印象度Ｚ₁「ナチュラル」は、「緑」「茶」及び「ベージュ」の３つの色条件に関連付けられている。また、「緑」「茶」及び「ベージュ」の３つの色条件には、それぞれ０．５，０．２５，０．２５の重みが付与されている。図１８に示すとおり、各色条件には、濃度（明度）、彩度及び色相の値に対する評価値が定義されている。ここで、ある画素が与えられた場合、各色条件の値は、当該画素の濃度、彩度及び色相の値に対応する評価値を導出した後、これらの評価値を掛け合わせることにより算出される。そして、当該画素の印象度Ｚ_iの値は、各色条件の値に以上の重みを付けて加算した値として算出される。

ステップＳ４４では、算出部４３は、比較フレームＦ_jのフレーム全体での各印象度Ｚ_i（ｉ＝１，２，・・・，Ｉ）の値を算出する。なお、ここでいうフレーム全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。具体的には、算出部４３は、各ｉ（ｉ＝１，２，・・・，Ｉ）について、比較フレームＦ_jのフレーム全体に含まれる各画素について印象度Ｚ_iの値を算出し、これらの値の平均値を算出し、当該平均値をフレーム全体での印象度Ｚ_iの値とする。なお、フレーム全体での印象度Ｚ_iの値は、印象度Ｚ_iに関するフレーム全体での色彩傾向を表す色指標（以下、印象指標）である。

続くステップＳ４５では、算出部４３は、ステップＳ４４と同様の処理を、既存のチャンネルＣＨ₁，ＣＨ₂，・・・，ＣＨ_Lの基準フレームＧ₁，Ｇ₂，・・・，Ｇ_Lの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、印象度Ｚ₁，Ｚ₂，・・・，Ｚ_Iの各々に対し、基準フレームＧ_lの印象指標を算出する。なお、図１３及び図１７に示すとおり、ステップＳ４５は繰り返し実行されることになるため、印象指標が算出済みである基準フレームＧ_lについては、当該値が参照され、新たな算出の処理は省略される。

続くステップＳ４６では、算出部４３は、印象度Ｚ₁，Ｚ₂，・・・，Ｚ_Iに基づいて、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での類似度Ｂｉ_lを算出する。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）及び各ｉ（ｉ＝１，２，・・・，Ｉ）について、比較フレームＦ_jのフレーム全体での印象度Ｚ_iの値と基準フレームＧ_lのフレーム全体での印象度Ｚ_iの値の差の二乗値を算出する。そして、各ｌ（ｌ＝１，２，・・・，Ｌ）について、これらのＩ個の二乗値の合計値の平方根（Ｉ次元の印象度空間内における比較フレームＦ_jと基準フレームＧ_lとの距離）を１から引いた値を算出し、これを類似度Ｂｉ_lとする。

次に、ステップＳ４７では、算出部４３は、既に算出された類似度Ｂｄ_l，Ｂｓ_l，Ｂｈ_1l，Ｂｈ_2l，Ｂｉ_l（ｌ＝１，２，・・・，Ｌ）に基づいて、比較フレームＦ_jと、各基準フレームＧ_l（ｌ＝１，２，・・・，Ｌ）との類似度（以下、総合類似度）Ｂ_lを算出する。なお、第１及び第３実施形態における総合類似度は、共にフレーム全体での類似度を表すという点で共通するため、同じ記号Ｂを用いて表す。本実施形態では、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、Ｂｄ_l，Ｂｓ_l，Ｂｈ_1l，Ｂｈ_2lの合計値の平方根（４つの指標に関する４次元空間内における比較フレームＦ_jと基準フレームＧ_lとの距離）を１から引いた値（構図比較結果）を算出した後、当該値とＢｉ_l（印象比較結果）を掛け合わせた値を総合類似度Ｂ_lとする。なお、他の実施形態では、異なる方法を採用することも可能であり、例えば、構図比較結果及び／又は印象比較結果に適当な係数を掛けたり、適当な値を足したり引いたりした後に、両値を掛け合わせるようにしてもよい。或いは、適宜係数を加えつつ、１−Ｂｄ_lの平方根，１−Ｂｓ_lの平方根，１−Ｂｈ_1lの平方根，１−Ｂｈ_2lの平方根，Ｂｉ_lを足し合わせた値を総合類似度Ｂ_lとしてもよい。

以上のステップＳ４７により、総合類似度Ｂ₁，Ｂ₂，・・・，Ｂ_Lが算出される。その後の処理の流れは、第１実施形態と同様である。

＜４．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、同じ店舗内に多数の防犯カメラが設置されることがあるが、これらの監視映像は、しばしば、混合タイムラプス動画の形式で記録される。そして、このような場合、防犯カメラを設置している店舗内の専用機器を用いれば、混合タイムラプス動画に含まれる各チャンネルを分離することができるが、警察等においては、各メーカーの各機種に対応した専用機器を所有している訳ではないため、再生が困難になる。従って、動画の仕様に関わらず、混合タイムラプス動画をチャンネル毎の動画へと分離することが可能な以上のタイムライン分離処理は、このような場面で活用することができる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上記実施形態における再分類ウィンドウＷ４を、複数のウィンドウから構成してもよい。

＜５−２＞
上記実施形態では、選択チャンネルを切り替えることにより、フレーム一覧エリアＣ２内においてフレーム群がチャンネル又は分類の単位で切り替え表示されるようになっていた。しかしながら、複数のチャンネル及び「未分類」の分類の各々に対し、フレーム群を一覧表示するためのフレーム一覧エリアを設けてもよい。この場合においては、画面スペースを効率的に使用するべく、各フレーム一覧エリア内において、フレーム群をサムネイル表示することが好ましく、さらに、サムネイル画像群をタイムラインに沿って配列することが好ましい。また、この場合、アイコンの形態のチャンネルオブジェクト９１及び未分類オブジェクト９２を省略し、各チャンネル用のフレーム一覧エリアを、関連付け操作のためのチャンネルオブジェクトとして使用するとともに、「未分類」の分類用のフレーム一覧エリアを、関連付け操作のための未分類オブジェクトとして使用することができる。すなわち、「未分類」のフレーム一覧エリアの中から任意のフレームを選択し、これをチャンネル用の任意のフレーム一覧エリア（チャンネルオブジェクト）にドラッグ＆ドロップすることにより、当該フレームを当該エリアに対応するチャンネルに分類できるように構成することも可能である。チャンネルに含まれるフレームを、別のチャンネル又は分類に移動させる場合も同様である。

或いは、「未分類」のフレーム群を一覧表示するためのフレーム一覧エリアと、チャンネルに属するフレーム群を一覧表示するためのフレーム一覧エリアとを設け、「未分類」のフレーム群が前者のエリア内で常に表示されるようにしてもよい。この場合、後者のエリア内では、現在選択されているチャンネルに属するフレーム群のみが一覧表示されるようにすることができる。

＜５−３＞
第３実施形態では、様々な色指標が定義され、これらが様々に組み合わされて総合類似度Ｂ_lが定義されたが、他の態様で色指標を定義することも可能であるし、他の態様で色指標を組み合わせて総合類似度Ｂ_lを定義することも可能である。例えば、第３実施形態では、濃度に関する色指標に基づいて構図が決定されたが、例えば、色相及び／又は彩度に関する色指標に基づいて構図を決定してもよい。また、部分領域Ｒ₁，Ｒ₂の間の相対彩度に基づいて類似度Ｂｓ_lが算出されたが、部分領域Ｒ₁，Ｒ'₁間での絶対的な彩度の差や、部分領域Ｒ₂，Ｒ'₂間での絶対的な彩度の差を類似度Ｂｓ_lとしてもよい。また、部分領域Ｒ₁，Ｒ'₁間での濃度の差や、部分領域Ｒ₂，Ｒ'₂間での濃度の差を類似度として算出し、総合類似度Ｂ_lに加味してもよい。

＜５−４＞
上記実施形態では、チャンネル分離処理が開始した直後に、エリア設定ウィンドウＷ３が表示され、誤判定を避けるためのエリアの設定ができるように構成されていた。しかしながら、このようなエリア設定ウィンドウＷ３を表示させず、かかるエリアの設定ができないようにしてもよい。或いは、チャンネル分離処理が開始した直後は、エリア設定ウィンドウＷ３が表示されないものの、再分類ウィンドウＷ４上に、エリアの設定を行った上で自動分類処理のやり直しを命じるためのボタンを用意してもよい。この場合、ユーザは、エリアを設定せずに行った自動分類処理の結果が適切ではない（誤判定が多い）場合にのみ、以上のボタンを押下し、エリア設定ウィンドウＷ３を表示させる。そして、エリアの設定を行った上で、再度自動分類処理を実行させることができる。或いは、チャンネル分離処理が開始した直後にエリア設定ウィンドウＷ３を表示させ、エリアを設定した状態で自動分類処理を実行することができるようにしつつ、さらに、再分類ウィンドウＷ４上に上述のボタンを用意してもよい。

＜５−５＞
上記実施形態のステップＳ９では、比較フレームＦ_jと既存の基準フレームＧ_MAXとを重み付け平均により合成したものを、新たな基準フレームＧ_MAXとした。しかしながら、基準フレームＧ_MAXの更新方法は、これに限られない。例えば、各画素について、チャンネルＣＨ_MAXに含まれる全てのフレーム（その時点の比較フレームＦ_jも含まれる）の画素値のヒストグラムを作成し、最頻となる画素値を基準フレームＧ_MAXの当該画素の画素値としてもよい。或いは、ヒストグラム中の中央値となる画素値を基準フレームＧ_MAXの当該画素の画素値としてもよい。

＜５−６＞
上記実施形態において、ステップＳ１０の直後等にチャンネル数Ｌが一定数以上に達しているか否かを判定し、一定数以上に達していると判定される場合には、ステップＳ１１と同様の既存のチャンネルの修正処理を行うようにしてもよい。チャンネル数Ｌが増えすぎると、処理負荷が多大になるからである。ただし、フレーム数が１のチャンネルが存在したとしても、当該１のフレームが、現在選択されている比較フレームＦ_jから時間的に一定値以内の近さであれば、当該チャンネルの削除を行わないようにすることが好ましい。当該チャンネルは、最近作成されたチャンネルであり、今後当該チャンネルに分類されるフレームが出現する可能性が高いからである。なお、以上のようなチャンネルの削除を行っただけでは、チャンネル数Ｌが一定値を超えてしまう場合には、チャンネル数が２以上のチャンネル、３以上のチャンネルも、順次削除の対象とし、チャンネル数が一定数以下に保たれるようにすることができる。

１ 画像処理装置
２ 画像処理プログラム
４１ 自動分類部
４２ 設定部
４３ 算出部
４４ 判定部
４５ 再分類部
９１ チャンネルオブジェクト
９２ 未分類オブジェクト
Ｃ３ 再生エリア
Ｗ４ 再分類ウィンドウ（再分類画面）

Claims (16)

1. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
   前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部と、
   前記自動分類部により自動的に分類されなかった未分類のフレームを個別に前記複数のチャンネルのいずれかに関連付ける関連付け操作をユーザから受け付け、前記関連付け操作の内容に従って、前記未分類のフレームを個別に前記複数のチャンネルのいずれかに分類する再分類部と
   を備える、
   画像処理装置。
2. 前記再分類部は、前記未分類のフレームと、前記複数のチャンネルにそれぞれ対応するオブジェクトである複数のチャンネルオブジェクトとを表示する再分類画面を表示し、
   前記関連付け操作は、前記再分類画面上で、前記未分類のフレームに対し前記複数のチャンネルオブジェクトのいずれかを指定する操作である、
   請求項１に記載の画像処理装置。
3. 前記チャンネルオブジェクトは、対応するチャンネルに属するフレーム群を代表する代表画像を表示する、
   請求項２に記載の画像処理装置。
4. 前記再分類画面は、前記未分類のフレームを一覧表示する、
   請求項２又は３に記載の画像処理装置。
5. 前記再分類画面は、前記未分類のフレームをまとめる分類に対応するオブジェクトである未分類オブジェクトをさらに表示し、
   前記再分類部は、前記複数のチャンネルオブジェクト及び前記未分類オブジェクトを含むオブジェクト群の中から１のオブジェクトを選択する選択操作をユーザから受け付け、前記再分類画面上の所定の一覧表示エリア内に、前記選択操作により現在選択されているオブジェクトに対応するチャンネル又は分類に属するフレーム群を一覧表示する、
   請求項４に記載の画像処理装置。
6. 前記再分類部は、前記複数のチャンネルオブジェクトを含むオブジェクト群の中から１のオブジェクトを選択する選択操作をユーザから受け付け、前記再分類画面上の所定の一覧表示エリア内に、前記選択操作により現在選択されている前記チャンネルオブジェクトに対応するチャンネルに属するフレーム群を一覧表示する、
   請求項２から４のいずれかに記載の画像処理装置。
7. 前記再分類部は、前記一覧表示エリア内に前記複数のチャンネルのいずれかに属するフレーム群が一覧表示されている場合に、当該一覧表示されているフレーム群に含まれるフレームを個別に前記複数のチャンネルのいずれかに関連付ける操作をユーザから受け付け、当該操作に係るフレームを当該操作に係るチャンネルに分類する、
   請求項５又は６に記載の画像処理装置。
8. 前記再分類部は、前記複数のチャンネルオブジェクトを含むオブジェクト群の中から１のオブジェクトを選択する選択操作をユーザから受け付け、前記再分類画面上の所定の再生エリア内で、前記選択操作により現在選択されているオブジェクトに対応するチャンネルに属するフレーム群を動画として再生する、
   請求項２から７のいずれかに記載の画像処理装置。
9. 前記関連付け操作は、前記再分類画面上で、前記未分類のフレームを前記複数のチャンネルオブジェクトのいずれかに、又は、前記複数のチャンネルオブジェクトのいずれかを前記未分類のフレームにドラッグ＆ドロップする操作を含む、
   請求項２から８のいずれかに記載の画像処理装置。
10. 前記再分類画面は、前記各チャンネルに属するフレーム群を、時系列順に並べる態様で一覧表示する、
    請求項２から９のいずれかに記載の画像処理装置。
11. 前記再分類部は、前記複数のチャンネルにそれぞれ対応する操作キーを示す情報を表示し、
    前記関連付け操作は、前記操作キーの操作を含む、
    請求項１から１０のいずれかに記載の画像処理装置。
12. 前記再分類部は、前記未分類のフレームが前記複数のチャンネルのいずれかに分類される度に、前記フレームレートを再計算する、
    請求項１から１１のいずれかに記載の画像処理装置。
13. 前記再分類部は、前記複数のチャンネルに含まれる２以上のチャンネルの統合の命令をユーザから受け付け、前記統合の命令を受けて前記２以上のチャンネルを統合する、
    請求項１から１２のいずれかに記載の画像処理装置。
14. 前記再分類部は、前記自動分類部により自動的に作成された前記複数のチャンネル以外のチャンネルの作成の命令をユーザから受け付け、前記作成の命令を受けてチャンネルを新規作成する、
    請求項１から１３のいずれかに記載の画像処理装置。
15. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出するステップと、
    前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップと、
    自動的に分類されなかった未分類のフレームを個別に前記複数のチャンネルのいずれかに関連付ける関連付け操作をユーザから受け付けるステップと、
    前記関連付け操作の内容に従って、前記未分類のフレームを個別に前記複数のチャンネルのいずれかに分類するステップと
    をコンピュータに実行させる、
    画像処理プログラム。
16. １の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理方法であって、
    前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出するステップと、
    前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップと、
    自動的に分類されなかった未分類のフレームを個別に前記複数のチャンネルのいずれかに関連付ける関連付け操作をユーザから受け付けるステップと、
    前記関連付け操作の内容に従って、前記未分類のフレームを個別に前記複数のチャンネルのいずれかに分類するステップと
    を備える、
    画像処理方法。