JP6620863B2

JP6620863B2 - 動画データ処理装置、動画データ処理方法及び動画データ処理プログラム

Info

Publication number: JP6620863B2
Application number: JP2018212029A
Authority: JP
Inventors: 賢司松岡; 次郎鵜▲崎▼; 瑞樹小原; 英明小野田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2019-12-18
Anticipated expiration: 2035-06-12
Also published as: JP2019024263A

Description

本発明は、動画データ処理装置、動画データ処理方法及び動画データ処理プログラムに関する。

デジタルカメラやデジタルビデオで撮像した動画データを再生する方法において、通常より早い速度で動画データを再生することにより、視聴時間を短縮することが行われている。

例えば、特許文献１には、通常のフレームレートで録画し、再生時に、録画内容に物体または人物の動きがあるシーンを検出して、標準の再生速度で再生し、それ以外のシーンでは、早送りで再生する録画再生装置が記載されている。

特開平１０−１７４０５６号公報

しかしながら特許文献１に記載された記録装置では、通常の速度で再生されるシーンも、早送りで再生されるシーンも、同じフレームレートで録画されるので、録画データのサイズが大きくなるという問題があった。

本発明の記録装置は、動画を撮像する撮像部と、前記動画における所定の動画データのフレームレートを変換することにより、前記動画を所定の記録時間に収まるように調整する記録時間変換処理部と、重要度に応じたタグの付与が可能なタグ範囲を前記動画データに設定するタグ範囲処理部と、を備え、前記記録時間変換処理部は、前記動画データのうち前記タグ範囲が設定されていない第１の動画データ範囲のフレームを間引く第１の間引き率でフレームレート変換し、前記動画データのうち前記タグ範囲が設定された第２の動画データ範囲のフレームを前記重要度に応じて間引く第２の間引き率でフレームレート変換する。

本発明の記録方法は、動画を撮像する撮像部と、前記動画における所定の動画データのフレームレートを変換することにより、前記動画を所定の記録時間に収まるように調整する記録時間変換処理部と、重要度に応じたタグの付与が可能なタグ範囲を前記動画データに設定するタグ範囲処理部と、を備えた記録装置において、前記動画データのうち、第１の動画データ範囲のフレームを間引く第１の間引き率でフレームレート変換するステップと、第２の動画データ範囲のフレームを前記重要度に応じて間引く第２の間引き率でフレームレート変換するステップと、を有する。

本発明の記録プログラムは、動画を撮像する撮像部と、前記動画における所定の動画データのフレームレートを変換することにより、前記動画を所定の記録時間に収まるように調整する記録時間変換処理部と、重要度に応じたタグの付与が可能なタグ範囲を前記動画データに設定するタグ範囲処理部と、を備えた記録装置において、前記動画データのうち、第１の動画データ範囲のフレームを間引く第１の間引き率でフレームレート変換するステップと、第２の動画データ範囲のフレームを前記重要度に応じて間引く第２の間引き率でフレームレート変換するステップと、をコンピュータに実行させる。

本発明の動画データ処理装置、動画データ処理方法及び動画データ処理プログラムによれば、限られた時間内に撮像された撮像データの全てを記録することができる。

実施の形態１にかかる記録装置の構成を示すブロック図である。実施の形態１にかかる記録装置の動作の例を示すフローチャートである。実施の形態１にかかる記録装置の動作の例を示すフローチャートである。実施の形態１にかかる記録装置の動作の例を示すフローチャートである。各シーンの番号（Ｎｏ．）、記録時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、間引き率及び記録時間の関係を示す図である。事前記録時間と最終記録時間との関係を示す図である。各シーンの番号（Ｎｏ．）、記録時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、間引き率及び記録時間の関係を示す図である。事前記録時間と最終記録時間との関係を示す図である。各シーンの番号（Ｎｏ．）、記録時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、間引き率及び記録時間の関係を示す図である。事前記録時間と最終記録時間との関係を示す図である。各シーンの番号（Ｎｏ．）、記録時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、間引き率及び記録時間の関係を示す図である。事前記録時間と最終記録時間との関係を示す図である。各シーンの番号（Ｎｏ．）、記録時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、間引き率及び記録時間の関係を示す図である。事前記録時間と最終記録時間との関係を示す図である。各シーンの番号（Ｎｏ．）、記録時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、間引き率及び記録時間の関係を示す図である。事前記録時間と最終記録時間との関係を示す図である。実施の形態１に係る心拍数の時間変化と、タグの範囲との関係を示す図である。実施の形態１に係る心拍数の時間変化と、タグの範囲との詳細な関係を示す図である。実施の形態１に係るタグ範囲処理部の詳細な処理手順を示すフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかるセンサー装置、タグ入力装置及び記録装置の構成を示すブロック図である。

図１では、記録装置２００が連続的に被写体を撮像して動画データを取得し、センサー装置３００が、人物のバイタルデータを連続的に測定して記録装置２００に送信し、タグ入力装置４００が、人物からのタグ打ちの指示を受け付けて、タグ打ちの指示を記録装置２００に送信し、記録装置２００の内部にあるタギング装置１００がバイタルデータの変化に基づいて、動画データにタグ打ちするタイミングを決定する。

図１において、記録装置２００が撮像した動画データと、センサー装置３００が測定したバイタルデータと、タグ入力装置４００が受け付けたタグ打ちの指示とは、タギング装置１００において、時刻を同期させて処理する。装置間のデータの伝送で、遅延が無視できる程度に小さい場合、各装置がリアルタイムで処理してもよい。また、装置間のデータの伝送で、遅延を考慮する場合は、各装置のデータに時刻を関連づけて伝送し、同じ時刻のデータを同期させて処理してもよい。

まず、タギング装置１００は、データ通信部１０１と、センサーデータ記録部１０２と、タグ制御部１０３と、タグ範囲処理部１０４とを備える。

データ通信部１０１は、センサー装置３００のデータ通信部３０５及びタグ入力装置４００のデータ通信部４０５と、無線または有線で通信する機能を有する。具体的には、データ通信部１０１は、センサー装置３００のデータ通信部３０５から送信されたバイタルデータを受信し、またタグ入力装置４００のデータ通信部４０５から送信されたタグ入力データを受信する。

データ通信部１０１は、無線で通信する場合、アンテナ、増幅回路、周波数変換回路、変調回路、復調回路を備える無線通信回路で構成することが好適である。また、データ通信部１０１は、有線で通信する場合、増幅回路、変調回路、復調回路を備える有線通信回路で構成されることが好適である。また、データ通信部１０１は、光を用いて通信する場合、発光素子、光変調回路、受光素子及び光復調回路を備えることが好適である。

特に、データ通信部１０１は、センサー装置３００において測定されたバイタルデータを受信しつつ、バイタルデータの受信に平行してタグ入力装置４００が送信したタグ打ちの指示を受け付ける。

センサーデータ記録部１０２は、センサー装置３００から送信されたデータを記録する。例えば、センサーデータ記録部１０２は、ＲＡＭ(Random Access Memory)等のメモリが好適である。

タグ制御部１０３は、少なくとも一人のバイタルデータの変化に基づいて、動画データにタグ打ちするタイミングを決定する。例えば、タグ制御部１０３は、バイタルデータのピークとなるタイミングを、タグを打つタイミングとする。また、バイタルデータに複数のピークがある場合、タグ打ちの指示のタイミングに最も近いピークのタイミングを、タグを打つタイミングとする。

また、タグ制御部１０３は、バイタルデータが所定の閾値以上であり、かつタグ打ちの指示のタイミングを含む時刻の範囲において、少なくとも一人のバイタルデータの変化に基づいて、動画データにタグ打ちするタイミングを決定する。

また、有効期間内でのバイタルデータの変化量が所定の閾値以上である場合、タグ制御部１０３は、バイタルデータの変化量に基づいてタグ打ちするタグの種類を決定する。また、有効期間内でのバイタルデータの変化量が所定の閾値未満である場合、タグ制御部１０３は、バイタルデータのレベルに基づいてタグ打ちするタグの種類を決定する。

タグ範囲処理部１０４は、バイタルデータに基づいて、タグを付与可能とする時刻の範囲をタグ範囲として決定する。例えば、タグ範囲処理部１０４は、バイタルデータが所定の閾値以上である時刻の範囲を、タグを付与可能な範囲とする。具体的には、バイタルデータとして心拍数を用いる場合、心拍数が所定の閾値（例えば心拍数７５）以上である時刻の範囲を、タグ範囲とする。

次に、記録装置２００は、タギング装置１００と、ＣＰＵ２０１と、カメラ２０２と、撮像部２０３と、画像データ処理部２０４と、記録媒体２０５と、データ入出力部２０６と、記録時間変換処理部２０７とを備える。

ＣＰＵ２０１は、中央処理ユニット(Central Processing Unit)であり、データ通信部１０１、センサーデータ記録部１０２、タグ制御部１０３、タグ範囲処理部１０４、撮像部２０３と、画像データ処理部２０４と、データ入出力部２０６とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。

カメラ２０２は、対象物を光学的に撮像し、電気信号に変換して、撮像した画像データを撮像部２０３に出力する。例えば、カメラ２０２は、ＣＣＤ(Charge-Coupled Device)イメージセンサまたはＣＭＯＳ(Complementary metal-oxide-semiconductor)イメージセンサと、光学レンズとの組合せが好適である。

撮像部２０３は、カメラ２０２において撮像した画像データをバッファし、所定のフレームレートの動画データとして出力する。具体的には、撮像部２０３は、カメラ２０２が撮像した画像データを、一定時間間隔の連続した画像データ、すなわち動画データとする。

画像データ処理部２０４は、撮像部２０３から出力された動画データに画像処理を行い、画像処理後の動画データを、データ入出力部２０６を介して記録媒体２０５に記憶する。具体的には、画像データ処理部２０４は、動画データをＣＰＵ２０１または記録時間変換処理部２０７が指示する間引き率でフレームレート変換する。また、画像データ処理部２０４は、動画データをＣＰＵ２０１が指示する画像サイズに変換してもよい。なお、撮像部２０３から出力された動画データに画像処理を行わずに記録媒体２０５に記憶した場合、画像データ処理部２０４は、記録媒体２０５から撮像した動画データを読み出し、画像処理を行い、加工後の動画データを記録媒体２０５に記憶してもよい。

記録媒体２０５は、動画データを記録する媒体である。例えば、記録媒体２０５は、フラッシュメモリ等の不揮発性メモリが好適である。また、記録媒体２０５は、記録装置２００から取り外し可能としてもよい。

データ入出力部２０６は、記録媒体２０５にデータを記憶する、または記録媒体２０５からデータを読み出す。例えば、データ入出力部２０６は、記録媒体２０５とのインターフェース回路で構成されることが好適である。

記録時間変換処理部２０７は、動画データに付属するタグデータ及び重要度の情報に基づいて、動画データの間引き率を設定する。間引き率は１が最低の値で、間引き率が１の場合はフレームを間引かず、間引き率が１より大きい場合はフレームを間引いてフレームレートを変化させるために用いる。例えば、記録時間変換処理部２０７は、動画データに付属するタグデータ及び重要度の情報に基づいて、シーン単位で、動画データの間引き率を設定する。

例えば、記録時間変換処理部２０７は、タグが付与されていないシーンについて、動画データのフレームレートを下げる変換を行い、またタグが付与されているシーンについて、動画データのフレームレートを変換せず、動画データのフレームレートを撮像終了後に、希望する記録時間内に収まるように、変換後の前記動画データのフレームレートをシーン単位で更に変換する。ここでシーンとは、動画データのうちタグ範囲が設定されていない動画データの範囲、または、動画データのうちタグ範囲が設定された動画データの範囲で構成される。

また、例えば、記録時間変換処理部２０７は、シーン単位の重要度に基づいて、重要度がより高いシーンをより低い間引き率に設定し、重要度がより低いシーンをより高い間引き率に設定する。また、例えば、記録時間変換処理部２０７は、重要度がより高いシーンを１の間引き率に設定し、重要度がより低いシーンを、１より高い間引き率、かつ希望する記録時間内に動画データ全体を記録可能な間引き率に設定する。

また、例えば、記録時間変換処理部２０７は、少なくとも動画及びタグをシーン単位で組み合わせた動画データに対して、タグが付与されたシーンを重要度がより高いシーンとして、より低い間引き率に設定し、タグが付与されていないシーンを重要度がより低いシーンをより高い間引き率に設定する。

また、例えば、記録時間変換処理部２０７は、少なくとも動画、タグ及び重要度をシーン単位で組み合わせた動画データに対して、タグが付与され、かつ重要度がより高いシーンを、より低い間引き率に設定し、タグが付与され、かつ重要度がより低いシーンを、より高い間引き率に設定し、タグが付与されていないシーンを、タグが付与され、かつ重要度がより低いシーンより更に高い間引き率に設定する。

そして、センサー装置３００は、ＣＰＵ３０１と、センサー３０２と、センサー制御部３０３と、センサーデータ処理部３０４と、データ通信部３０５とを備える。このセンサー装置３００は、バイタルデータを連続的に測定し、測定したバイタルデータを連続的にタギング装置１００及び記録装置２００に送信する。

ＣＰＵ３０１は、中央処理ユニットであり、センサー３０２、センサー制御部３０３、センサーデータ処理部３０４、及びデータ通信部３０５とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。

センサー３０２は、バイタルサインを測定し、測定データを電気信号に変換してセンサー制御部３０３に出力する。測定するバイタルサインは、心拍数、呼吸数、血圧、体温及び動脈血の酸素飽和度のいずれかまたは組み合わせが好適ある。したがって、センサー３０２は、心拍計、呼吸計、血圧計、体温計及びパルスオキシメーターのいずれか、または組み合わせが好適である。また、センサー３０２は、対象者の体の動きをバイタルサインとして、加速度センサーを備える、または他のセンサーと組み合わせてもよい。また、センサー３０２は、脳波、発汗量等を測定するセンサーを用いる、または他のセンサーと組み合わせてもよい。

センサー制御部３０３は、センサー３０２を制御し、またセンサー３０２から出力された測定データを増幅、変換して、出力する。例えば、センサー制御部３０３は、増幅回路、アナログデジタル変換回路等で構成されることが好適である。

センサーデータ処理部３０４は、センサー制御部３０３において、処理された測定データを、バッファし、所定のフォーマットに変換してデータ通信部３０５に出力する。

データ通信部３０５は、センサーデータ処理部３０４において処理された測定データをデータ通信部１０１に無線または有線で送信する。データ通信部３０５は、データ通信部１０１と同様の無線通信回路、有線通信回路または光通信回路で構成されることが好適である。

なお、センサー装置３００と、タギング装置１００及び記録装置２００との間に遅延が想定される通信方式である場合、センサーデータ処理部３０４は、測定したバイタルデータとバイタルデータを測定した時刻とを組み合わせて送信してもよい。

そして、タグ入力装置４００は、ＣＰＵ４０１と、キー入力部４０２と、キー制御部４０３と、タグデータ処理部４０４と、データ通信部４０５とを備える。

ＣＰＵ４０１は、中央処理ユニットであり、キー制御部４０３、タグデータ処理部４０４及びデータ通信部４０５とデータバスで接続し、プログラムの命令を実行することで情報処理を行う。

キー入力部４０２は、タギング装置１００及び記録装置２００の操作に必要な入力を受け付ける。キー入力部４０２は、特にタグを打つ操作を受け付ける。例えば、ボタンの押下等の操作により電気回路を接続するスイッチ等が好適である。

キー制御部４０３は、キー入力部４０２の操作による信号に対して各種処理を行い、出力する。例えば、キー制御部４０３は、電気信号の増幅、チャタリングによるノイズの除去等の処理を行う。

タグデータ処理部４０４は、キー制御部４０３から出力されたキー入力部４０２の操作が、タグ打ちの操作であるか否か判定し、タグ打ちの操作である場合、データ通信部４０５を介して記録装置２００内のタギング装置１００にタグ打ちの指示を送信する。

なお、タグ入力装置４００と、タギング装置１００及び記録装置２００との間に遅延が想定される通信方式である場合、タグデータ処理部４０４は、タグ打ちの指示に代えてタグ打ちの操作を受け付けた時刻を送信してもよい。また、タグデータ処理部４０４は、タグ打ちの指示とタグ打ちの操作を受け付けた時刻とを組み合わせて送信してもよい。

データ通信部４０５は、キー制御部４０３から出力されたキー入力部４０２の操作及びタグデータ処理部４０４から出力されたタグ打ちの指示をデータ通信部１０１に無線または有線で送信する。データ通信部４０５は、データ通信部１０１と同様の無線通信回路、有線通信回路または光通信回路で構成されることが好適である。

次に、記録装置２００の動作について説明する。図２、３及び４は、実施の形態１に係る記録装置の動作の例をしめすフローチャートである。

まず、ステップＳ５０１において、撮像した最大記録時間分の動画データが撮像部２０３のバッファに記憶され、ステップＳ５０２に進む。

次にステップＳ５０２において、タグ範囲処理部１０４が、撮像した動画データに、シーンのタグとタグ範囲を付加し、ステップＳ５０３に進む。

ステップＳ５０３において、記録時間変換処理部２０７は、撮像した動画データに、シーンのタグとタグ範囲が含まれているか否か、シーン単位で判断する。そして、撮像した動画データに、シーンのタグとタグ範囲が含まれている場合、ステップＳ５０５に進み、撮像した動画データに、タグ情報を含むが含まれていない場合、ステップＳ５０４に進む。

ステップＳ５０４において、記録時間変換処理部２０７が、シーンのタグ情報とタグ範囲が含まれていないシーンについて、動画データを指定した間引き率で間引きし、間引き後の動画データを記録媒体２０５に記憶し、ステップＳ５０６に進む。

ステップＳ５０５において、撮像部２０３のバッファ内の動画データが記録媒体２０５に記憶され、ステップＳ５０６に進む。

ステップＳ５０６において、記録する動画データの間引き率を設定する必要があるか否かを判断する。具体的には、ステップＳ５０６において、記録時間変換処理部２０７が、記録する動画データの事前記録時間の合計が目標とする記録時間以上であるか否か判断する。記録する動画データの事前記録時間の合計が目標とする記録時間以上である場合、間引き率を変更する必要があるのでステップＳ５０７に進む。また、記録する動画データの事前記録時間の合計が目標とする記録時間未満である場合、間引き率を変更する必要がないので、処理を終了する。

次にステップＳ５０７において、記録時間変換処理部２０７が、重要度の情報が付与されているシーンを、重要なシーンとして各々Ｓ０〜Ｓｎ（ｎは整数）と設定し、ステップＳ５０８に進む。

ステップＳ５０８において、記録時間変換処理部２０７が、シーンＳ０〜Ｓｎの中で最も重要なシーンの事前記録時間が第１の設定時間以下であるか否か判断する。ここで第１の設定時間は、重要なシーンを記録するための時間であり、例えば１の間引き率で記録するシーンのための最終記録時間である。シーンＳ０〜Ｓｎの中で最も重要なシーンの事前記録時間が第１の設定時間以下である場合、ステップＳ５１０に進む。シーンＳ０〜Ｓｎの中で最も重要なシーンの事前記録時間が第１の設定時間より大きい場合、ステップＳ５０９に進む。

ステップＳ５０９において、記録時間変換処理部２０７が、最も重要なシーンの事前記録時間を第１の設定時間として、ステップＳ５１０に進む。すなわち、第１の設定時間を予め設定した値から最も重要なシーンの事前記録時間に変更し、少なくとも１つの最も重要なシーンを第１の設定時間に記録できるようにする。

ステップＳ５１０及びＳ５１１において、タグが付与されたシーンのうち、第１の設定時間以内に間引き率１で記録可能なシーンを選択する。

具体的には、ステップＳ５１０において、記録時間変換処理部２０７が、シーンＳ０〜Ｓｎの事前記録時間の合計が第１の設定時間以内であるか否か判断する。シーンＳ０〜Ｓｎの事前記録時間の合計が第１の設定時間以内である場合、ステップＳ５１２に進み、シーンＳ０〜Ｓｎの事前記録時間の合計が第１の設定時間より大きい場合、ステップＳ５１１に進む。

そして、ステップＳ５１１において、記録時間変換処理部２０７が、シーンＳ０〜Ｓｎの中で最も重要度の低いシーンを除き、新たなシーンＳ０〜Ｓｎとし、除外されたシーンをＪ０〜Ｊｍ（ｍは整数）として、ステップＳ５１０に戻る。すなわちステップＳ５１０及びステップＳ５１１のループ処理により、重要度が低い順に除外して、第１の設定時間以内に収まるシーンＳ０〜Ｓｎを選択している。なお、このｎおよびｍはこの対象シーン除外の処理により変動する（すなわちｎは減少し、ｍが増加する）。

ステップＳ５１２において、記録時間変換処理部２０７が、第１の設定時間に収まらないため除外したシーンＪ０〜Ｊｍがあるか否か判断する。第１の設定時間に収まらないため除外したシーンＪ０〜Ｊｍがある場合、ステップＳ５１３に進み、第１の設定時間に収まらないため除外したシーンＪ０〜Ｊｍがない場合、ステップＳ５１７に進む。

ステップＳ５１３において、記録時間変換処理部２０７が、第１の設定時間からシーンＳ０〜Ｓｎの事前記録時間を減算した値を、第２の設定時間に加え、ステップＳ５１４に進む。すなわち、ステップＳ５１３では、第１の設定時間で記録するシーンＳ０〜Ｓｎを選ぶ処理において、シーンＳ０〜Ｓｎの事前記録時間と第１の設定時間とが一致せずに余った時間を第２の設定時間に加えている。

ステップＳ５１４において、記録時間変換処理部２０７が、シーンＪ０〜Ｊｍの事前記録時間の合計が第２の設定時間以内であるか否か判断する。シーンＪ０〜Ｊｍの事前記録時間の合計が第１の設定時間以内である場合、ステップＳ５１６に進み、シーンＪ０〜Ｊｍの事前記録時間の合計が第２の設定時間より大きい場合、ステップＳ５１５に進む。

ステップＳ５１５において、記録時間変換処理部２０７が、シーンＪ０〜Ｊｍを第２の設定時間内で記録できる、Ｊ０〜Ｊｍの間引き率（第２間引き率）を設定し、ステップＳ５１８に進む。具体的には、ステップＳ５１５では、シーンＪ０〜Ｊｍの事前記録時間の合計を第２の設定時間で除算することにより、Ｊ０〜Ｊｍの間引き率（第２間引き率）を得る。

ステップＳ５１６において、記録時間変換処理部２０７が、シーンＪ０〜Ｊｍの間引き率（第２間引き率）を１に設定し、第２設定時間からシーンＪ０〜Ｊｍの事前記録時間を減算した値を、第３の設定時間に加え、ステップＳ５１８に進む。

ステップＳ５１７において、記録時間変換処理部２０７が、第３の設定時間を設定し、ステップＳ５１８に進む。具体的には、ステップＳ５１７では、第１の設定時間に第２の設定時間を加え、シーンＳ０〜Ｓｎの事前記録時間の合計を減じて得られた値を、第３の設定時間に加える。

ステップＳ５１８において、記録時間変換処理部２０７が、重要度が付加されていないシーンの間引き率（第３間引き率）を設定し、ステップＳ５１９に進む。具体的には、ステップＳ５１８では、重要度が付加されていないシーンの事前記録時間の合計を第３の設定時間で除算して、重要度が付加されていないシーンの間引き率（第３間引き率）を得る。なお、重要度が付加されていないシーンが存在せず、第３間引き率がない場合、第３間引き率を０とする。

ステップＳ５１９では、重要度が下位であるシーンの間引き率（第２間引き率）が、タグが付与されていないシーンの間引き率（第３間合計引き率）より小さいか確認する。ここで、第３合計間引き率とは、事前間引き率とステップＳ５１８で得られた第３間引き率との積で、タグが付与されていないシーンを事前間引き無しに記録した場合の間引き率を表す。すなわち、重要度が下位であるシーンが、タグが付与されていないシーンより小さい（フレームレートが高い）間引き率で記録されるかを判断する。ステップＳ５１９において、記録時間変換処理部２０７が、第２間引き率が第３合計間引き率以下であるか否か判断する。第２間引き率が第３合計間引き率以下である場合、ステップＳ５２１に進み、第２間引き率が第３合計間引き率より大きい場合、ステップＳ５２０に進む。

ステップＳ５２０において、記録時間変換処理部２０７が、第２間引き率と第３合計間引き率と等しくし、ステップＳ５２１に進む。具体的には、ステップＳ５２０では、Ｊ０〜Ｊｍの事前記録時間とタグが付与されていないシーンの事前記録時間に事前間引き率を掛けた時間の和を、第２と第３の設定時間の和で除算することにより、第２間引き率及び第３合計間引き率を得、ここから事前間引き率分を除いた値として第３間引き率を得る。

ステップＳ５２１において、記録時間変換処理部２０７が、Ｓ０〜Ｓｎを１（第１間引き率）に、Ｊ０〜Ｊｍを第２間引き率に、その他のシーンを第３間引き率に、各々設定し、ステップＳ５１７に進む。

ステップＳ５２２において、画像データ処理部２０４が、動画データの各シーンを設定された間引き率に対応するデータに変換し、データ入出力部２０６を介して、記録媒体２０５に記憶する。

以上の動作により、記録装置２００は、シーン単位で重要度を考慮した間引き率を決定することができる。

次に、記録装置２００を用いて間引き率を決定する例について説明する。
撮像しながら、記録時間を一定時間以内に収める場合、２つの問題がある。

一つ目の問題は、撮像時間が確定していないという問題である。たとえばサッカーのような全後半４５分といった時間制の競技であってもアディショナルタイム（ロスタイム）等により時間は延長される。野球やテニスのような競技にいたっては、試合時間そのものにかなりのバラツキが発生する。

二つ目の問題は、撮像が全部終わるまで、その中でタグが打たれたシーンの重要度の順番をつけることができないという問題である。そこで、本発明は、これらの問題を解決するためおおよその撮像時間の予測を行い、記録の処理を２段階に分ける。

ここでは、およそ１２０分の記録映像を重要度に応じて間引き率を変えて、記録時間を３０分に収める例について説明する。

重要度の判定は、すべての撮像が終わるまで出来ないが、タグの有り無しはその都度把握可能であることを利用する。すなわち、タグの打たれていないシーンをあらかじめ想定した間引き率で間引く１回目の「事前記録」と撮像終了後に事前記録画像を目標記録時間に納める２回目の「本記録」という、大きく分けて２ステップ処理を行う。

例えば、事前記録の間引き率は予測されるおおよその撮像時間１２０分すべてタグが打たれなかった場合に、それを３０分に収めることを想定して４とする。

実施の形態１では、連続する動画映像を４枚ごとに１枚選択して記録容量を１／４に間引く作業を、間引き率４で間引くと表現する。１２０分の撮像時間中、すべてのシーンにタグが打たれていた場合、間引かれるシーンが無いため事前記録の時間は１２０分となる。

１２０分の撮像時間中、タグの打たれたシーンが３０分有った場合、タグが打たれていない９０分を間引き率４で間引きしながら記録すると事前記録の時間は３０＋（９０／４）＝５２．５分となる

このように全体に占めるタグの打たれたシーンの時間が占める比率によって事前記録時間は３０分〜１２０分の範囲で変動する。

以下、タグ及び重要度の付与のパターン別にケースを示して間引き率の算出例について説明する。

通常、記録された映像の中にタグが打たれたシーンが離散的に存在し、その間の部分がタグの無いシーンとなるが、ここでは、特殊なケースを発生させることと説明を簡単にするために、１２０分中１２のシーンがあり、タグの持つシーンを数分単位と想定して説明を行う。また、説明の簡略化のため、小数点第２位以下の省略した説明とするが、実際には小数点第２位以下について考慮してもよい。

図５、７、９、１１、１３、１５、１７は、各シーンの番号（Ｎｏ．）、シーン撮像時間、タグが打たれたシーンを表すマーク（＊）、マークがあるシーンの重要度の順番、事前記録時間、間引き率及び最終記録時間の関係を示す図である。また、図６、８、１０、１２、１４、１６、１８は、撮像記録時間と事前記録時間と、最終記録時間との関係を示す図である。これら図５−１８について、図２−４のフローに沿って説明する。

＜ケース１＞
ケース１では、標準的な例について図５、６を用いて説明する。

まず、図３のステップＳ５０４の処理により、タグが付与されていないシーン２、４、６、７、９、１０、１１、１２は、間引かれて１／４の事前記録時間となる。また、タグが付与されたシーン１、３、５、８は、間引かれずにシーン撮像時間が事前記録時間となる。

そして、事前記録時間の合計５０．２５分が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計（第１の設定時間）が１５分、重要度が下位であるシーンの最終記録時間の合計（第２の設定時間）が１０分、タグ無しシーンの最終記録時間の合計（第３の設定時間）が５分に設定される。

次に、最も重要なシーン１の事前記録時間は６分であり、第１の設定時間１５分に収まるので、図４のステップＳ５０８の判定がＹｅｓとなり、第１の設定時間は変更されない。

次に、タグが付与されたシーン１，３，５，８の事前記録時間の合計が２７分であり、第１の設定時間１５分より大きく、図４のステップＳ５１０の判定がＮｏとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第１の設定時間内に収まらないので、ステップＳ５１０〜Ｓ５１１のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン１，５の事前記録時間の合計９分が、第１の設定時間１５分以内であるので、シーン１，５は、重要度が上位であるシーンＳ０〜Ｓ１に設定され、除外されたシーン３，８は重要度が下位であるシーンＪ０〜Ｊ１に設定される。

次に、タグが付与されたシーンが第１の設定時間内に収まらないことにより、図４のステップＳ５１２の判定がＹｅｓとなるので、重要度が下位であるシーンの事前記録時間の合計（第２の設定時間）の設定を行う。具体的には、第２の設定時間１０分に、第１の設定時間１５分からＳ０〜Ｓ１の事前記録時間の合計９分を減算した値６分を加えて、第２の設定時間を１６分とする。

次に、Ｊ０〜Ｊ１の事前記録時間の合計１８分が第２の設定時間１６分より大きく、図５のステップＳ５１４の判定がＮｏであるので、第２の設定時間内でＪ０〜Ｊ１のシーンを記録するための間引き率を決定する。具体的には、Ｊ０〜Ｊ１の事前記録時間の合計１８分を第２の設定時間１６分で除算し、間引き率を１８／１６＝１．１２５とする。

また、タグが付与されていないシーンの事前記録時間の合計２３．２５分について、タグが付与されていないシーンの最終記録時間の合計（第３の設定時間）５分に収めるため間引き率を２３．２５／５＝４．６５とする。

次に、重要度が下位であるシーンの間引き率（第２間引き率）が、タグが付与されていないシーンの合計間引き率（第３合計間引き率）より低いか確認する。具体的には、第２間引き率１．１２５が第３合計間引き率（第３間引き率×事前間引き率＝４．６５×４＝）１８．６以下であり、図５のステップＳ５１９の判定がＹｅｓであるので、第２間引き率と第３間引き率は変更しない。そして、第１間引き率が１、第２間引き率が１．１２５、第３間引き率が４．６５に設定される。

以上により、第１間引き率、第２間引き率及び第３間引き率が設定された場合の事前記録時間と最終記録時間とを図６に示す。

＜ケース２＞
ケース２では、最も重要なシーンの事前記録時間が第１の設定時間より大きく、図４のステップＳ５０８の判定がＮｏとなる例について、図７、８を用いて説明する。

まず、図３のステップＳ５０４の処理により、タグが付与されていないシーン３、５、７、８、９、１０、１１、１２は、間引かれて１／４の事前記録時間となる。また、タグが付与されたシーン１、２、４、６は、間引かれずにシーン撮像時間が事前記録時間となる。

そして、事前記録時間の合計６３．７５分が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、最も重要なシーン２の事前記録時間１８分が、第１の設定時間の１５分を超えており、図４のステップＳ５０８の判定がＮｏであるので、第１の設定時間を１８分とする。

次に、タグが付与されたシーン１，２，４，６の事前記録時間の合計が４５分であり、第１の設定時間１８分より大きく、図４のステップＳ５１０の判定がＮｏとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第１の設定時間内に収まらないので、ステップＳ５１０〜Ｓ５１１のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン２の事前記録時間の合計１８分が、第１の設定時間１８分以内であるので、シーン２をＳ０に設定し、シーン１，４，６をＪ０〜Ｊ２に設定する。

次に、第１の設定時間１８分からＳ０の事前記録時間１８分を減算した値が０分であり、図４のステップＳ５１２の判定がＮｏであるので、第２の設定時間を変更しない。

次に、Ｊ０〜Ｊ２の事前記録時間の合計２７分が第２の設定時間１０分より大きく、図５のステップＳ５１４の判定がＮｏであるので、Ｊ０〜Ｊ２の事前記録時間の合計２７分を１０分に収めるため、間引き率を２７／１０＝２．７とする。

また、タグが付与されていないシーンの事前記録時間の合計１８．７５分について、タグが付与されていないシーンの最終記録時間の合計（第３の設定時間）５分に収めるため間引き率を４×（１８．７５／５）＝３．７５とする。

次に、第２間引き率２．７が第３合計間引き率（第３間引き率×事前間引き率＝３．７５×４＝）１５以下であり、図５のステップＳ５１９の判定がＹｅｓであるので、第２間引き率と第３間引き率は変更しない。そして、第１間引き率が１、第２間引き率が２．７、第３間引き率が３．７５に設定される。

以上により、第１間引き率、第２間引き率及び第３間引き率が設定された場合の事前記録時間と最終記録時間とを図８に示す。

なお、ケース２では、図４のステップＳ５０８の判定が最も重要なシーンが、第１の設定時間の初期値を３分超えているので、第１の設定時間の初期値を１５分のままとした場合、合計記録時間は３３分になってしまう。

最も重要なシーンが第１の設定時間を超えた分、第２・第３の設定時間を削減して最終記録時間を調整するという処理も考えられるが、通常の撮像においてはまず発生しない事案である事と最も重要なシーンが目標記録時間以上だった場合の処理も発生するため、このような処理は行わず、第１の設定時間を重要なシーンの事前記録時間とする。

また、原則として最も重要なシーンの間引き率は１とするので、最も重要なシーンが第１の設定時間を超えた分だけ全体の最終記録時間は延びるが、後処理として最終的に算出された最終記録時間から全体の間引き率を３０分に収まるよう（３３／３０＝１．１にして３０分、）にしてもよい。

＜ケース３＞
ケース３では、第１の設定時間に収まらないために除外したシーンがなく、図４のステップＳ５１２の判定がＮｏである場合について、図９、１０を用いて説明する。

まず、図３のステップＳ５０４の処理により、タグが付与されていないシーン２、３、４、６、７、８、９、１１、１２は、間引かれて１／４の事前記録時間となる。また、タグが付与されたシーン１、５、１０は、間引かれずにシーン撮像時間が事前記録時間となる。

そして、事前記録時間の合計３９分が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、動画を全て１で記録した場合、目標記録時間に収まらないので、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、割り当て初期値として、重要度が上位であるシーンの最終記録時間の合計（第１の設定時間）が１５分、重要度が下位であるシーンの最終記録時間の合計（第２の設定時間）が１０分、タグ無しシーンの最終記録時間（第３の設定時間）が５分に設定される。

次に、最も重要なシーン５の事前記録時間は３分であり、第１の設定時間１５分に収まるので、図４のステップＳ５０８の判定がＹｅｓとなり、第１の設定時間は変更されない。

次に、タグが付与されたシーン１，５，１０の事前記録時間の合計が１２分であり、第１の設定時間１５分より小さく、図４のステップＳ５１０の判定がＹｅｓとなる。すなわち、タグが付与されたシーンの事前記録時間の合計が第１の設定時間内に収まるので、シーン１，５，１０を重要度が上位であるシーンＳ０〜Ｓ２に設定する。また除外したシーンに対応するＪ０〜Ｊｍは設定されない。

次に、除外したシーンがなく、図４のステップＳ５１２の判定がＮｏであるので、第１の設定時間１５分に第２の設定時間１０分を加えＳ０〜Ｓ１の事前記録時間の合計１２分を減算した値１８分を、第３の設定時間とする。

また、タグが付与されていないシーンの事前記録時間の合計２７分について、タグが付与されていないシーンの最終記録時間の合計（第３の設定時間）１８分に収めるため間引き率を２７／１８＝１．５とする。

次に、第２間引き率が設定されず、図５のステップＳ５１９の判定がＹｅｓであるので、（第２間引き率と）第３間引き率は変更されない。そして、第１間引き率が１、第２間引き率が無し、第３間引き率が１．５に設定される。

以上により、第１間引き率、第２間引き率及び第３間引き率が設定された場合の事前記録時間と最終記録時間とを図１０に示す。

＜ケース４＞
ケース４では、図５のステップＳ５１４の判定がＹｅｓになる場合について、図１１、１２を用いて説明する。

まず、図３のステップＳ５０４の処理により、タグが付与されていないシーン２、４、６、７、８、９、１１、１２は、間引かれて１／４の事前記録時間となる。また、タグが付与されたシーン１、３、５、１０は、間引かれずにシーン撮像時間が事前記録時間となる。

そして、事前記録時間の合計４５．７５分が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、タグが付与されたシーン１，３，５，１０の事前記録時間の合計が２１分であり、第１の設定時間１５分より大きく、図４のステップＳ５１０の判定がＮｏとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第１の設定時間内に収まらないので、ステップＳ５１０〜Ｓ５１１のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン１，５，１０の事前記録時間の合計が１２分であり、第１の設定時間１５分以内であるので、シーン１，５，１０をＳ０〜Ｓ２に設定し、シーン３をＪ０に設定する。

次に、タグが付与されたシーンが第１の設定時間内に収まらないことにより、図４のステップＳ５１２の判定がＹｅｓとなるので、第１の設定時間１５分からＳ０の事前記録時間１２分を減算した値３分を、第２の設定時間に加えて、第２の設定時間を１３分とする。

次に、Ｊ０の事前記録時間９分が第２の設定時間１３分より小さく、図５のステップＳ５１４の判定がＹｅｓであるので、Ｊ０の間引き率を１とする。

そして、第３の設定時間に第２の設定時間１３分からＪ０の事前記録時間９分を減算した値４分を加えて９分とする。

また、タグが付与されていないシーンの事前記録時間の合計２４．７５分について、タグが付与されていないシーンの最終記録時間の合計（第３の設定時間）９分に収めるため間引き率を２４．７５／９＝２．７５とする。

第２間引き率１が第３合計間引き率（第３間引き率×事前間引き率＝２．７５×４＝）１１以下であり、図５のステップＳ５１９の判定がＹｅｓであるので、第２間引き率と第３間引き率は変更しない。そして、第１間引き率が１、第２間引き率が１、第３間引き率が２．７５に設定される。

以上により、第１間引き率、第２間引き率及び第３間引き率が設定された場合の事前記録時間と最終記録時間とを図１２に示す。

＜ケース５＞
ケース５では、図５のステップＳ５１９の判定がＮｏである場合について、図１３、１４を用いて説明する。

まず、図４のステップＳ５０４の処理により、タグが付与されていないシーン８、１１、は、間引かれて１／４の事前記録時間となる。また、タグが付与されたシーン１、２、３、４、５、６、７、９、１０、１２は、間引かれずにシーン撮像時間が事前記録時間となる。

そして、事前記録時間の合計１０４．２５分が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、タグが付与されたシーン１，２，３，４，５，６，７，９，１０，１２の事前記録時間の合計が９９分であり、第１の設定時間１５分より大きく、図４のステップＳ５１０の判定がＮｏとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第１の設定時間内に収まらないので、ステップＳ５１０〜Ｓ５１１のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン１，５，１０の事前記録時間の合計が１２分であり、第１の設定時間１５分以内であるので、シーン１，５，１０を重要度が上位であるＳ０〜Ｓ２に設定し、除外されたシーン２，３，４，６，７，９，１２を重要度が下位であるＪ０〜Ｊ６に設定する。

次に、タグが付与されたシーンが第１の設定時間内に収まらないことにより、図４のステップＳ５１２の判定がＹｅｓとなるので、第２の設定時間に第１の設定時間１５分からＳ０〜Ｓ２の事前記録時間１２分を減算した値３分を加えて、第２の設定時間を１３分とする。

次に、Ｊ０〜Ｊ６の事前記録時間８７分が第２の設定時間１３分より大きく、図５のステップＳ５１４の判定がＮｏであるので、Ｊ０〜Ｊ６の最終記録時間を１３分に収めるため間引き率を８７／１３＝６．６９とする。

また、タグが付与されていないシーンの事前記録時間の合計５．２５分について、タグが付与されていないシーンの最終記録時間の合計（第３の設定時間）５分に収めるため間引き率を５．２５／５＝１．０５とする。

第２間引き率６．６９が第３合計間引き率（第３間引き率×事前間引き率＝１．０５×４＝）４．２より大きく、図５のステップＳ５１９の判定がＮｏであるので、第２間引き率と第３間引き率とを再計算する。具体的には、Ｊ０〜Ｊ６の事前記録時間８７分、とタグが打たれていないシーンの事前記録時間５．２５分に事前間引き率４を掛けた２１分、の和の１０８分を、第２の設定時間と第３の設定時間の和である１８分に収めるため、第２間引き率と第３合計間引き率を１０８／１８＝６とし、第３間引き率は事前間引き率分を除いた６／４＝１．５とする。

そして、第１間引き率が１、第２間引き率が６、第３間引き率が１．５に設定される。

以上により、第１間引き率、第２間引き率及び第３間引き率が設定された場合の事前記録時間と最終記録時間とを図１４に示す。

＜ケース６＞
ケース６では、すべてのシーンにタグが有る場合について図１５、１６を用いて説明する。

まず、図４のステップＳ５０５の処理により、タグが付与されたシーン１、２、３、４、５、６、７、８、９、１０、１１、１２は、間引かれずにシーン撮像時間が事前記録時間となる。

そして、事前記録時間の合計１２０分が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、タグが付与されたシーン１，２，３，４，５，６，７，８，９，１０，１１，１２の事前記録時間の合計が１２０分であり、第１の設定時間１５分より大きく、図４のステップＳ５１０の判定がＮｏとなる。したがって、タグが付与されたシーンの事前記録時間の合計が第１の設定時間内に収まらないので、ステップＳ５１０〜Ｓ５１１のループによりタグが付与されたシーンを重要度が低い順に除外する。そして、シーン１，５，１０の事前記録時間の合計が１２分であり、第１の設定時間１５分以内であるので、重要度が上位であるシーン１，５，１０をＳ０〜Ｓ２に設定し、除外されたシーン２，３，４，６，７，８，９，１１，１２を重要度が下位であるＪ０〜Ｊ８に設定する。

次に、図４のステップＳ５１２の判定がＹｅｓとなるので、第２の設定時間に第１の設定時間１５分からＳ０〜Ｓ２の事前記録時間１２分を減算した値３分を加えて、第２の設定時間を１３分とする。

次に、Ｊ０〜Ｊ８の事前記録時間の合計１０８分が第２の設定時間１３分より大きく、図５のステップＳ５１４の判定がＮｏであるので、Ｊ０〜Ｊ８の最終記録時間を１３分に収めるため間引き率を１０８／１３＝８．３とする。また、タグ無しのシーンが無いため、第３間引き率は設定されない。

次に、第３間引き率が設定されないため、図５のステップＳ５１９の判定を例外処理としてＮｏを選択し、第２の設定時間（と第３の設定時間）および第２の間引き率を再計算する。具体的には、Ｊ０〜Ｊ８の事前記録時間の合計１０８分を第２の設定時間と第３の設定時間の和である１８分に収めるため、第２間引き率を１０８／１８＝６とする。

そして、第１間引き率が１、第２間引き率が６、第３間引き率が無しに設定される。

以上により、第１間引き率、第２間引き率及び第３間引き率が設定された場合の事前記録時間と最終記録時間とを図１６に示す。

＜ケース７＞
ケース７では、タグがまったく無く、事前記録時間が３０分より大きい場合について説明する（図は省略）。

まず、図４のステップＳ５０４の処理により、タグが付与されていないシーン１、２、３、４、５、６、７、８、９、１０、１１、１２は、間引かれて１／４の事前記録時間となる。

そして、事前記録時間の合計が目標記録時間３０分より大きいので、図３のステップＳ５０６の判定がＹｅｓとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がある。

次に、割り当て初期値について、重要度が上位であるシーンの最終記録時間の合計（第１の設定時間）が１５分、重要度が下位であるシーンの最終記録時間の合計（第２の設定時間）が１０分、タグ無しシーンの最終記録時間の合計（第３の設定時間）が５分に設定される。

最も重要なシーンの事前記録時間は、０分（すなわちタグが付与されたシーンが存在しないの）で第１の設定時間１５分に収まるので、図４のステップＳ５０８の判定がＹｅｓとなり、第１の設定時間は変更されない。

重要度上位の映像は存在せず記録時間０分であり、図４のステップＳ５１０の判定がＹｅｓとなる。

次に、除外したシーンが無く、図４のステップＳ５１２の判定がＮｏであるので、第１の設定時間に第２の設定時間を加え、Ｓ０〜Ｓｎの事前記録時間０分を減算し、さらに第３の設定時間５分に加えた３０分を、改めて第３の設定時間とする。

そして、第３間引き率は（事前記録時間の合計３０分より大きい時間／３０分）＝１より大きい所定の値となる。

そして、第２間引き率が無い場合、図５のステップＳ５１９の判定を例外処理としてＹｅｓを選択し、第２間引き率と第３間引き率は変更しない。そして、第１間引き率が１（但し、該当シーン無し）、第２間引き率が無し、第３間引き率が１より大きなある値に設定される。

＜ケース８＞
ケース８では、事前記録時間が３０分以下である場合について説明する（図は省略）。

事前記録時間の合計が目標記録時間３０分以下であるので、図３のステップＳ５０６の判定がＮｏとなる。すなわち、目標記録時間内に収めるために間引き率を設定する必要がない。

このように実施の形態１の記録装置によれば、タグが付与されていないシーンについて、動画データのフレームレートを下げる変換を行い、またタグが付与されているシーンについて、動画データのフレームレートを変換せず、動画データのフレームレートを撮像終了後に、希望する記録時間内に収まるように、変換後の動画データのフレームレートをシーン単位で更に変換することにより、撮像時に少ない記憶容量で動画データを一時記憶することができ、また限られた時間内で記録を希望する撮像データ全てを記録することができる。

また、実施の形態１の記録装置によれば、重要度が高いシーンは、低い間引き率で記録することにより、内容を十分に記録でき、また重要度が高くないシーンを高い間引き率で記録することにより、時間を短縮することができるので、限られた時間内で記録を希望する撮像データ全てを記録することができる。

また、実施の形態１の記録装置によれば、タグが付与されたシーンは、低い間引き率で記録することにより、内容を十分に記録でき、またタグが付与されていないシーンを高い間引き率で記録することにより、時間を短縮することができるので、限られた時間内で記録を希望する撮像データ全てを記録することができる。

また、実施の形態１の記録装置によれば、タグが付与されたかつ重要であるシーンは、低い間引き率で記録することにより、内容を十分に記録でき、またタグが付与されたかつ重要ではないシーンを高い間引き率で記録し、またタグが付与されていないシーンを更に高い間引き率で記録することにより、時間を短縮することができるので、限られた時間内で記録を希望する撮像データ全てを記録することができる。

また、タグと関連づけるデータは、動画のデータに限らず、音声または動画、あるいは音声及び動画を含むデータであれば、いずれも適用できる。
また、タギング装置１００は記録装置２００の外部にあってもよい。

次に、記録装置２００が記録する動画データのタグ付与及び重要度の情報の作成の一例について説明する。
まず、タグ範囲処理部１０４のタグ範囲設定動作の概要について説明する。タグ範囲処理部１０４は、上述したように、受信したセンサーデータ及び入力タグデータを用いて、カメラ２０２が撮像した動画データの適切な範囲にタグを設定するものである。

図１７は実施の形態１に係る心拍数の時間変化と、タグ範囲との関係を示す図である。心拍数のグラフに入力タグデータを示したものを上に、入力タグデータから設定したタグ範囲を動画データに関連付けたものを下に示している。心拍数のグラフの横軸は時刻、縦軸は心拍数を示す。また、心拍数７５付近の横線はタグ範囲を設定するための閾値を示す。また、心拍数４０付近に記入している横方向の矢印及び「平常」「緊張」等の文字は、そのときのユーザの状態を説明するためのものである。

図１７に示した心拍数の例では、ユーザの状態はゲーム開始からゲーム終了までの間に心拍数の変化から、平常状態、緊張状態もしくは興奮状態、そして平常（緩和）状態へと変化する。緊張状態又は興奮状態のときに、心拍数の４つのピーク（１〜４）が生じ、それぞれのピークにおいてユーザはタグＦ１〜Ｆ４を入力している。
タグ範囲処理部１０４は、心拍数が所定値（ここでは、閾値の７５）以上のときの時間範囲であって、当該時間範囲内でユーザがタグＦを入力している場合に、当該時間範囲をユーザが入力したタグＦの範囲として設定する。当該時間範囲のフレームに対してタグＦを付与してもよい。

例えば、第１のピークについては、時間範囲ｔ１〜ｔ２において、心拍数が所定値を超え、かつ、ユーザがタグＦ１を入力しているので、時間範囲ｔ１〜ｔ２をタグＦ１のタグ範囲に設定する。また、第２のピークについては、時間範囲ｔ３〜ｔ４において、心拍数が所定値を超え、かつ、ユーザがタグＦ２を入力しているので、時間範囲ｔ３〜ｔ４をタグＦ２のタグ範囲に設定する。第３、４のピークについても同様である。

なお、タグ範囲処理部１０４は、心拍数が所定値以上の時間範囲であっても、当該時間範囲内でユーザがタグＦを入力していない場合には、タグ範囲を設定しない。
また、タグ範囲処理部１０４は、ユーザがタグＦを入力していても、心拍数が所定値以上でない場合には、デフォルト、又はユーザが設定した時間やフレーム数でタグ範囲を設定する。

次に、タグ範囲処理部１０４の詳細な処理手順について説明する。
図１８は実施の形態１に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。心拍数のグラフを上に、タグ範囲を下に示している。グラフ中の横点線は閾値を示し、横点線上の等間隔の点は心拍数のサンプリング点、すなわち、サンプリング時間を示している。なお、心拍数のサンプリングは例えば１秒間隔で行う。
図１９は実施の形態１に係るタグ範囲処理部１０４の詳細な処理手順を示すフローチャートである。
図１８及び図１９を参照しながら、タグ範囲処理部１０４の詳細な処理手順について説明する。

まず、処理を開始すると、まずバイタルデータの状態を示すステータスを「閾値未満」に設定し（ステップＳ６０１）、「前バイタルデータ時間値」を記録開始時間ｔ０に初期化する（ステップＳ６０２）。

サンプリング時間ｔ０において、ステータスが「閾値以上」か判断する（ステップＳ６０３）。時間ｔ０では、ステータスはステップＳ６０１で設定した「閾値未満」のままなので（ステップＳ６０３のＮｏ）、時間ｔ０の受信したバイタルデータがあるか判断する（ステップＳ６０４）。
時間ｔ０では受信したバイタルデータがあるので（ステップＳ６０４のＹｅｓ）、時間ｔ０のバイタルデータの値が閾値以上か判断する（ステップＳ６０５）。図１８に示すように、時間ｔ０のバイタルデータの値は閾値未満なので（ステップＳ６０５のＮｏ）、現在のバイタルデータ時間ｔ０を「前バイタルデータ時間値」として保存する（ステップＳ６０８）。そして、ステップＳ６０３に戻る。ｔ１１までは平常状態つまりバイタルデータが閾値未満のため、同様な処理を繰り返すことになる。

サンプリング時間ｔ１２になると、ステータスが「閾値未満」で、ｔ１２のバイタルデータがあるので（ステップＳ６０３のＮｏ、ステップＳ６０４のＹｅｓ）、時間ｔ１２のバイタルデータの値が閾値以上か判断する（ステップＳ６０５）。図１８に示すように、時間ｔ１２のバイタルデータの値は閾値以上なので（ステップＳ６０５のＹｅｓ）、「前バイタルデータ時間値」、ここでは、ステップＳ６０８で保存した時間ｔ１１を「タグ範囲開始時間値」として保存し（ステップＳ６０６）、ステータスを「閾値以上」に設定し（ステップＳ６０７）、現在のバイタルデータ時間ｔ１２を「前バイタルデータ時間値」として保存して（ステップＳ６０８）、ステップＳ６０３に戻る。

次に、サンプリング時間ｔ１３になると、ステップＳ６０７で設定したようにステータスが「閾値以上」であるので（ステップＳ６０３のＹｅｓ）、時間ｔ１３のバイタルデータがあるか判断する（ステップＳ６０９）。
時間ｔ１３では受信したバイタルデータがあるので（ステップＳ６０９のＹｅｓ）、時間ｔ１３のバイタルデータの値が閾値以上か判断する（ステップＳ６１０）。図１８に示すように、時間ｔ１３のバイタルデータの値は閾値以上なので（ステップＳ６１０のＹｅｓ）、現在のバイタルデータ時間ｔ１３を「前バイタルデータ時間値」として保存し（ステップＳ６０８）、ステップＳ６０３に戻る。
そして、サンプリング時間ｔ２１までは、時間ｔ１３のときの処理と同じ処理が継続する。

次に、サンプリング時間ｔ２２になると、ステータスが「閾値以上」で、時間ｔ２２の受信したバイタルデータがあるので（ステップＳ６０３のＹｅｓ、ステップＳ６０９のＹｅｓ）、時間ｔ２２のバイタルデータの値が閾値以上か判断する（ステップＳ６１０）。図１８に示すように、時間ｔ２２のバイタルデータの値は閾値未満なので（ステップＳ６１０のＮｏ）、現在のバイタルデータ時間ｔ２２を「タグ範囲終了時間値」として保存し（ステップＳ６１１）、タグ記録要求はあるか、すなわち、バイタルデータの値が閾値以上のときにタグを入力しているか判断する（ステップＳ６１２）。図１８に示すように、時間ｔ１６と時間ｔ１７との間にユーザがタグＦを入力しているので（ステップＳ６１２のＹｅｓ）、ステップＳ６０６、Ｓ１１０で得られたタグ範囲の「タグ範囲開始時間値」ｔ１１〜「タグ範囲終了時間値」ｔ２２でタグＦを記録し（ステップＳ６１３）、ステータスを「閾値未満」に設定し（ステップＳ６１４）、現在のバイタルデータ時間ｔ２２を「前バイタルデータ時間値」として保存し（ステップＳ６０８）、ステップＳ６０３に戻る。

次に、サンプリング時間ｔ２５になると、ステータスが「閾値未満」で、時間ｔ２５のバイタルデータもないので（ステップＳ６０３のＮｏ、ステップＳ６０４のＮｏ）、処理を終了する。
なお、現在のバイタルデータ時間ｔを「タグ範囲終了時間値」として保存し（ステップＳ６１１）、タグ記録要求がないとき、すなわち、ユーザがタグを入力していないときは（ステップＳ６１２のＮｏ）、ステータスを「閾値未満」に設定する（ステップＳ６１４）。つまり、上述したように、心拍数が所定値以上の時間範囲があっても、当該時間範囲内でユーザがタグを入力していない場合には、当該時間範囲をタグ範囲に設定しない。

また、ステータスが「閾値以上」で、その時間ｔのバイタルデータがないときは（ステップＳ６０３のＹｅｓ、ステップＳ６０９のＮｏ）、記録終了時間を「タグ範囲終了時間値」として保存し（ステップＳ６１５）、ステップＳ６１２、Ｓ４１３と同様に、タグ記録要求があるときは、得られたタグ範囲でタグＦを記録して処理を終了し、タグ記録要求がないときは、そのまま処理を終了する。
実施の形態１に係るタギング装置１００は、このような構成により、動画データを撮像中に、その重要範囲に精度良くタグを付与することができる。

なお、実施の形態１に係るタギング装置１００では、心拍数が閾値を超える時間範囲として時間ｔ１１〜時間ｔ２２を選択し、この時間範囲をタグ範囲として設定したが、時間範囲としてそれぞれ一つ内側のサンプリング時間に対応する時間ｔ１２〜時間ｔ２１を選択し、この時間範囲をタグ範囲として設定してもよい。もちろん、時間範囲として時間ｔ１１〜時間ｔ２１、時間ｔ１２〜時間ｔ２２を選択することも可能であり、さらに、心拍数が閾値を超える交点〜交点を選択することも可能である。その際は交点を算出しても良く、動画のサンプリング数とバイタルデータのサンプリング数を同じにしてもよい。
また、実施の形態１に係るタギング装置１００では、タグ範囲を設定するための心拍数の閾値を固定にしていたが、ユーザ毎、シーン毎などのように状況に応じて設定できるようにしてもよい。また、この閾値をいつでも変更できるようにして、動画データを記録した後でもタグ範囲を調整できるようにしてもよい。

また、実施の形態１に係るタギング装置１００では、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定したが、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、ユーザが入力したタグの前後の所定時間、例えば、当該タグの前後それぞれ３秒間をタグ範囲として設定してよい。もちろん、心拍数が所定値以上の時間範囲又はタグの前後の所定時間をユーザが選択できるようにしてもよい。

また、実施の形態１に係るタギング装置１００では、バイタルデータとして心拍数を用いたが、バイタルデータとして心拍数以外のデータ、ユーザの興奮の度合いを示すようなデータを用いても良く、このときは、バイタルデータが所定値以下又は所定値未満などの時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定してもよい。

また、実施の形態１に係るタギング装置１００は、センサー装置３１０、タグ入力装置３２０、カメラ２０２などを備える構成としたが、記録装置がセンサー装置及びタグ入力装置を兼ねる構成、又は、記録装置がセンサー装置、タグ入力装置の一方を兼ねる構成としてもよい。すなわち、タギングシステムをタギング装置として構成するようにしてもよい。
また、実施の形態１に係るタギング装置１００は、ユーザがカメラ２０２を用いて撮像しているときの、すなわち、ユーザが動画データを記録しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定していたが、ユーザが画像処理装置などを用いて動画を視聴又は編集しているときなどの、すなわち、ユーザが動画データを再生しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定してもよい。このため、実施の形態１に係るタギング装置も記録装置に限るものではなく、画像処理装置などであってもよい。

上述したように、実施の形態１に係るカメラ２０２は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部３３７と、データ通信部３３７で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部１０４とを備えるものである。
また、実施の形態１に係るタギング装置１００は、ユーザのバイタルデータを計測しデータ通信部３３７に出力するセンサー装置３１０と、タイミングデータをデータ通信部３３７に出力するタグ入力装置３２０と、カメラ２０２とを備えるものである。

また、実施の形態１に係るタギング方法は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、データ通信ステップで受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理ステップＳ６１２、Ｓ４１３とを有するものである。

上記のタギングシステムによって付与されたタグに基づいてシーン単位の重要度を定義してもよい。たとえば、タグの時間範囲や、バイタルデータのピーク値、タグの時間範囲でバイタルデータを積分した値、などによって重要度を定義してもよい。

また、実施の形態１に係るプログラムは、コンピュータに、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグＦ入力のタイミングデータを受け付けるデータ通信手順と、当該データ通信手順で受け付けた当該バイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、動画データの当該時間範囲をタグＦの範囲に設定する手順Ｓ４１２、Ｓ４１３とを実行させるためのものである。

また、上記実施の形態においては重要度を高い、低い、の２種類とし、重要度の高いシーンに対する間引き率、重要度の低いシーンに対する間引き率、タグの付与されていないシーンに対する間引き率、の３種類の間引き率としたが、重要度の分割数を３つ４つと増やして４種類、５種類の間引き率に分類するように展開してもよい。

また、上記実施の形態における、タグ制御部１０３、タグ範囲処理部１０４、画像データ処理部２０４、データ入出力部２０６、記録時間変換処理部２０７については、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することとしてもよい。ソフトウェアで実施する際には、マイクロプロセッサ等の１つあるいは複数のＣＰＵ（Central Processing Unit）を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、ＤＶＤ−Ｒ（DVD Recordable）、ＤＶＤ−ＲＤＬ（DVD-R Dual Layer)、ＤＶＤ−ＲＷ（DVD ReWritable）、ＤＶＤ−ＲＡＭ、ＤＶＤ＋Ｒ、ＤＶＲ＋ＲＤＬ、ＤＶＤ＋ＲＷ、ＢＤ−Ｒ（Blu-ray（登録商標） Disc Recordable）、ＢＤ−ＲＥ（Blu-ray （登録商標）Disc Rewritable）、ＢＤ−ＲＯＭ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００タギング装置
１０１データ通信部
１０２センサーデータ記録部
１０３タグ制御部
１０４タグ範囲処理部
２００記録装置
２０１、３０１、４０１ＣＰＵ
２０２カメラ
２０３撮像部
２０４画像データ処理部
２０５記録媒体
２０６データ入出力部
２０７記録時間変換処理部
３００センサー装置
３０２センサー
３０３センサー制御部
３０４センサーデータ処理部
３０５データ通信部
４００タグ入力装置
４０２キー入力部
４０３キー制御部
４０４タグデータ処理部
４０５データ通信部

Claims

動画データのシーン単位の重要度と、前記重要度が上位である第１のシーンの総記録時
間として仮設定された第１の設定時間と、前記重要度が下位である第２のシーンの総記録
時間として仮設定された第２の設定時間とに基づいて、各シーンの間引き率を設定し、
最も重要度の高い第３のシーンの間引き率を１に設定し、
前記第３のシーンの総記録時間が前記第１の設定時間よりも長い場合、前記第３のシー
ンの総記録時間を新たに第１の設定時間として設定するとともに、重要度が設定されたシ
ーンの内、前記第３のシーン以外のシーンを前記第２のシーンとして設定し、
前記第３のシーンの総記録時間が前記第１の設定時間よりも短い場合、前記第３のシー
ンの総記録時間に加え、前記第３のシーンの次以降に重要度の高いシーンを順に１倍速で
記録したときに前記第１の設定時間内で再生可能となるシーンの間引き率を１に設定し、
前記間引き率を１で記録するシーンの総記録時間を前記第１の設定時間から引いた差分を
前記第２の設定時間に加え、重要度が設定されたシーンの内、前記第１の設定時間内で記
録可能と判断されなかったシーンを前記第２のシーンとして設定し、
前記第２のシーンの間引き率を前記第２の設定時間内で記録可能となるように設定する
記録時間変換処理部と、
前記動画データをシーン単位で前記記録時間変換処理部で設定された間引き率に対応し
たデータに変換する画像データ処理部と
を備えることを特徴とする動画データ処理装置。
前記記録時間変換処理部は、
更に、前記重要度が設定されていない第４のシーンの総記録時間として設定された第３
の設定時間に基づき、前記第４のシーンが前記第３の設定時間内で記録可能となるように
前記第２のシーンの間引き率よりも更に高い間引き率を設定する
ことを特徴とする請求項１に記載の動画データ処理装置。
動画データのシーン単位の重要度と、前記重要度が上位である第１のシーンの総記録時
間として仮設定された第１の設定時間と、前記重要度が下位である第２のシーンの総記録
時間として仮設定された第２の設定時間とに基づいて、各シーンの間引き率を設定し、
最も重要度の高い第３のシーンの間引き率を１に設定し、
前記第３のシーンの総記録時間が前記第１の設定時間よりも長い場合、前記第３のシー
ンの総記録時間を新たに第１の設定時間として設定するとともに、重要度が設定されたシ
ーンの内、前記第３のシーン以外のシーンを前記第２のシーンとして設定し、
前記第３のシーンの総記録時間が前記第１の設定時間よりも短い場合、前記第３のシー
ンの総記録時間に加え、前記第３のシーンの次以降に重要度の高いシーンを順に１倍速で
記録したときに前記第１の設定時間内で再生可能となるシーンの間引き率を１に設定し、
前記間引き率を１で記録するシーンの総記録時間を前記第１の設定時間から引いた差分を
前記第２の設定時間に加え、重要度が設定されたシーンの内、前記第１の設定時間内で記
録可能と判断されなかったシーンを前記第２のシーンとして設定し、
前記第２のシーンの間引き率を前記第２の設定時間内で記録可能となるように設定し、
前記動画データをシーン単位で、設定された間引き率に対応し
たデータに変換する
ことを特徴とする動画データ処理方法。
動画データのシーン単位の重要度と、前記重要度が上位である第１のシーンの総記録時
間として仮設定された第１の設定時間と、前記重要度が下位である第２のシーンの総記録
時間として仮設定された第２の設定時間とに基づいて、各シーンの間引き率を設定するス
テップと、
最も重要度の高い第３のシーンの間引き率を１に設定するステップと、
前記第３のシーンの総記録時間が前記第１の設定時間よりも長い場合、前記第３のシー
ンの総記録時間を新たに第１の設定時間として設定するとともに、重要度が設定されたシ
ーンの内、前記第３のシーン以外のシーンを前記第２のシーンとして設定するステップと
、
前記第３のシーンの総記録時間が前記第１の設定時間よりも短い場合、前記第３のシー
ンの総記録時間に加え、前記第３のシーンの次以降に重要度の高いシーンを順に１倍速で
記録したときに前記第１の設定時間内で再生可能となるシーンの間引き率を１に設定する
ステップと、
前記間引き率を１で記録するシーンの総記録時間を前記第１の設定時間から引いた差分
を前記第２の設定時間に加え、重要度が設定されたシーンの内、前記第１の設定時間内で
記録可能と判断されなかったシーンを前記第２のシーンとして設定するステップと、
前記第２のシーンの間引き率を前記第２の設定時間内で記録可能となるように設定する
ステップと
をコンピュータに実行させることを特徴とする動画データ処理プログラム。