JP4110478B2 - 画像処理装置および方法、撮影装置、並びにプログラム - Google Patents

画像処理装置および方法、撮影装置、並びにプログラム Download PDF

Info

Publication number
JP4110478B2
JP4110478B2 JP2004255675A JP2004255675A JP4110478B2 JP 4110478 B2 JP4110478 B2 JP 4110478B2 JP 2004255675 A JP2004255675 A JP 2004255675A JP 2004255675 A JP2004255675 A JP 2004255675A JP 4110478 B2 JP4110478 B2 JP 4110478B2
Authority
JP
Japan
Prior art keywords
identification information
image
recognized
time
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004255675A
Other languages
English (en)
Other versions
JP2006074463A (ja
Inventor
真智子 瀬川
圭吾 井原
伸行 松下
誠 村田
英治 高橋
龍 青山
曹毅 陸
洋行 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004255675A priority Critical patent/JP4110478B2/ja
Priority to US11/201,262 priority patent/US7474764B2/en
Publication of JP2006074463A publication Critical patent/JP2006074463A/ja
Application granted granted Critical
Publication of JP4110478B2 publication Critical patent/JP4110478B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置および方法、撮影装置、並びにプログラムに関し、特に、撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができるようにする画像処理装置および方法、撮影装置、並びにプログラムに関する。
近年、製品の低価格化が進んでいることによりビデオカメラがますます普及する傾向にある。また、筐体の小型化もあって、動画の撮影が一般に、かつ気軽に行われるようになってきている。
動画の撮影は、また、例えば、携帯電話機やディジタルスチルカメラに搭載された動画撮影機能によっても気軽に行われている。
このように、動画の撮影自体は容易に行われるようになってきているものの、撮影後の動画の取り扱いが困難であるという課題があり、それを解決すべく、撮影した動画に各種の属性情報を付加しておく技術が各種提案されている。
例えば、特許文献１には、被写体の人物の名前を、撮影した画像のメタデータとして記録しておく技術が開示されている。
また、業務用のビデオカメラの中には、番組編集時の作業を容易に行うことができるように、撮影時の天候、位置、音量や、クリップ（撮影開始から撮影終了までの１回の撮影期間の動画）の代表画などの属性情報がそれぞれのシーンに付加されるようにしたものがある。
なお、特許文献２には、所定のIDを表すパターンで発光するバッジを付けている人物を撮影し、撮影した画像から、IDの検出、および人物の特定を行う技術が開示されている。
特開２００４−６２８６８号公報 特開２０００−２１４９４５号公報
しかしながら、撮影後の取り扱いのために、撮影した動画にメタデータが付加されているとしても、一般のユーザが、様々なメタデータを用いて、あるシーンを探したりすることは困難であり、一般的には、未だ、動画の撮影後の取り扱いは煩雑であるといえる。
例えば、DV(Digital Video)方式の従来のビデオカメラの場合、撮影済みの動画の再生方法としては、基本的に、DVテープに記録されている動画を、その撮影順に再生する方法しかなく、ユーザは、撮影済みの動画を気軽に視聴することができない。
すなわち、ユーザが見たいシーンは、大体、DVテープに記録されている全シーンのうちの、ある人が映っているシーンなどの特定のシーンに限られるところ、そのような特定のシーンのみを抽出し、再生するといったことができないことから、ユーザは、時系列的に再生される不要なシーンも見なければならず、退屈することが多い。
ディジタルスチルカメラで撮影し、パーソナルコンピュータなどに取り込んだ静止画の場合、複数の静止画をディスプレイにサムネイル表示させるなどして必要なファイルのみを容易に選択したりすることができるが、動画の場合も、そのようにある特定のシーンのみを容易に選択し、再生することができれば、ユーザが退屈するのを防ぐことが可能になると期待できる。
近年は、パーソナルコンピュータでノンリニア編集を行い、頭出しができる点やメディア自体のサイズが小さいといった点から、テープメディアと較べて取り扱いが簡単なDVD(Digital Versatile Disc)などのメディアに必要なシーンのみを記録させ、それを再生させることができるようになってきてはいるものの、撮影した動画をパーソナルコンピュータに取り込む作業や編集作業自体が煩雑である。
この場合も、少なくとも、映っている人などに基づいて特定のシーンを容易に選択することができれば、編集の作業負担を軽減することが可能になると期待できる。
本発明はこのような状況に鑑みてなされたものであり、撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができるようにするものである。
本発明の画像処理装置は、識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理装置であって、第１の画像列と、第１の画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得手段と、所定の時間を識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において識別情報が認識されておらず、直前の認識時間において識別情報が認識されている場合、注目する認識時間において識別情報が認識されているものとするとともに、注目する認識時間において識別情報が認識されており、直後の認識時間において識別情報が認識されていない場合、注目する認識時間において識別情報が認識されていないものとするように、取得手段により取得された識別情報の時系列に対してフィルタリングを施すフィルタリング手段と、フィルタリング手段によりフィルタリングが施されることによって取得された識別情報の時系列に基づく識別情報の関連付けの結果に基づいて、対応する時間に撮影された第１の画像列を構成するシーン同士の関連付けを行う関連付け手段とを備えることを特徴とする。
フィルタリング手段は、識別情報が認識されていない注目する認識時間を識別情報が認識されている時間とする処理と、識別情報が認識されている注目する認識時間を識別情報が認識されていない時間とする処理を、所定の回数ずつ行うようにすることができる。
関連付け手段は、さらに、所定の時間、連続して同じカテゴリに属する識別情報の時系列が１つのまとまりとなるように識別情報の時系列の関連付けを行うようにすることができる。
本発明の画像処理装置は、第１の画像列を構成するシーンうち、まとまりに対応する時間に撮影された第１の画像列を構成するシーンを再生する再生手段をさらに備えるようにすることができる。
再生手段は、さらに、同じカテゴリに属する識別情報の時系列からなる、複数のまとまりに対応する時間に撮影された第１の画像列を構成するシーンを再生するようにすることができる。
本発明の画像処理装置は、まとまりに対応する時間に撮影された第１の画像列を構成するシーンの時間軸上の分布を、再生手段により再生されているシーンが表示されている位置と異なる位置に表示する分布表示手段をさらに備えるようにすることができる。
再生手段は、分布表示手段により表示されている分布の中から選択されたシーンの再生を行うようにすることができる。
関連付け手段は、さらに、第１のまとまりに対して、第１のまとまりを構成する識別情報の時系列のカテゴリと同じカテゴリに属する識別情報の時系列からなる第２のまとまりをリンク付けするようにすることができる。
本発明の画像処理装置は、第１の画像列を再生する再生手段と、再生手段により、第１のまとまりに対応する時間に撮影された第１の画像列を構成する第１のシーンが再生されているとき、第２のまとまりに対応する時間に撮影された第１の画像列を構成する第２のシーンを、第１のシーンが表示されている位置と異なる位置に表示する表示手段とをさらに備えるようにすることができる。
表示手段は、複数の第２のシーンを表示するようにすることができる。
再生手段は、表示手段により表示された第２のシーンがユーザにより選択されたとき、選択された第２のシーンの再生を開始するようにすることができる。
本発明の画像処理装置は、関連付け手段による、第１の画像列を構成するシーン同士の関連付けの結果を表すメタデータを生成する生成手段をさらに備えるようにすることができる。
本発明の画像処理方法は、識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理方法であって、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得ステップと、所定の時間を前記識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において前記識別情報が認識されておらず、直前の認識時間において前記識別情報が認識されている場合、注目する認識時間において前記識別情報が認識されているものとするとともに、注目する認識時間において前記識別情報が認識されており、直後の認識時間において前記識別情報が認識されていない場合、注目する認識時間において前記識別情報が認識されていないものとするように、前記取得ステップの処理により取得された前記識別情報の時系列に対してフィルタリングを施すフィルタリングステップと、前記フィルタリングステップの処理によりフィルタリングが施されることによって取得された前記識別情報の時系列に基づく前記識別情報の関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けを行う関連付けステップとを含むことを特徴とする。
本発明のプログラムは、識別情報が割り当てられた機器を保持する被写体を撮影した画像の処理をコンピュータに実行させるプログラムであって、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得ステップと、所定の時間を前記識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において前記識別情報が認識されておらず、直前の認識時間において前記識別情報が認識されている場合、注目する認識時間において前記識別情報が認識されているものとするとともに、注目する認識時間において前記識別情報が認識されており、直後の認識時間において前記識別情報が認識されていない場合、注目する認識時間において前記識別情報が認識されていないものとするように、前記取得ステップの処理により取得された前記識別情報の時系列に対してフィルタリングを施すフィルタリングステップと、前記フィルタリングステップの処理によりフィルタリングが施されることによって取得された前記識別情報の時系列に基づく前記識別情報の関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けを行う関連付けステップとを含むことを特徴とする。
本発明の撮影装置は、識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する撮影装置であって、撮影手段と、撮影手段により撮影された画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得手段と、所定の時間を識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において識別情報が認識されておらず、直前の認識時間において識別情報が認識されている場合、注目する認識時間において識別情報が認識されているものとするとともに、注目する認識時間において識別情報が認識されており、直後の認識時間において識別情報が認識されていない場合、注目する認識時間において識別情報が認識されていないものとするように、取得手段により取得された識別情報の時系列に対してフィルタリングを施すフィルタリング手段と、フィルタリング手段によりフィルタリングが施されることによって取得された識別情報の時系列に基づく識別情報の関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けを行う関連付け手段とを備えることを特徴とする。
本発明の画像処理装置および方法、並びにプログラムにおいては、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とが取得され、所定の時間を識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において識別情報が認識されておらず、直前の認識時間において識別情報が認識されている場合、注目する認識時間において識別情報が認識されているものとするとともに、注目する認識時間において識別情報が認識されており、直後の認識時間において識別情報が認識されていない場合、注目する認識時間において識別情報が認識されていないものとするように、取得された識別情報の時系列に対してフィルタリングが施される。また、フィルタリングが施されることによって取得された識別情報の時系列に基づく識別情報の関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けが行われる。
本発明の撮影装置においては、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とが取得され、所定の時間を識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において識別情報が認識されておらず、直前の認識時間において識別情報が認識されている場合、注目する認識時間において識別情報が認識されているものとするとともに、注目する認識時間において識別情報が認識されており、直後の認識時間において識別情報が認識されていない場合、注目する認識時間において識別情報が認識されていないものとするように、取得された識別情報の時系列に対してフィルタリングが施される。また、フィルタリングが施されることによって取得された識別情報の時系列に基づく識別情報の関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けが行われる。
本発明によれば、撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができる。
また、本発明によれば、あるシーンの再生中に、そのシーンに映っている被写体と同じ被写体が映っているシーンをユーザに見せることができる。
さらに、本発明によれば、ある被写体が映っているシーンだけを連続してユーザに見せることができる。
以下、本発明の実施の形態について図を参照して説明する。
図１は、本発明を適用した撮影・表示システムの構成例を示す図である。
ビデオカメラ１は、ユーザが視聴したり、編集したりする画像（動画）を撮影する機能と、画像の撮影と同期して（開始、終了のタイミングを同じくして）、被写体である子供３−１乃至３−３がそれぞれ自分の服に付けているセンサバッジ４−１乃至４−３の発光パターンを検出する機能を有する。
センサバッジ４−１乃至４−３の発光パターンは、それを付けている子供に割り当てられているIDを表しており、ビデオカメラ１は、発光パターンにより表されるIDを認識し、撮影した画像に対応付けて記憶する。
図１の例においては、子供３−１が付けているセンサバッジ４−１に割り当てられているIDは「０」であり、子供３−２が付けているセンサバッジ４−２に割り当てられているIDは「１」である。また、子供３−３が付けているセンサバッジ４−３に割り当てられているIDは「２」である。
従って、撮影者が、子供３−１を被写体として撮影している場合、そのとき撮影した画像にはID「０」が対応付けて記憶される。また、ビデオカメラ１の撮影範囲に子供３−１の他に子供３−２，３−３も入っている場合、そのとき撮影している画像にはID「０」、「１」、「２」が対応付けて記憶される。
ビデオカメラ１により撮影された画像と、認識されたIDは、図１の矢印に示すように、有線または無線を介してパーソナルコンピュータ２に取り込まれる。パーソナルコンピュータ２においては、IDに基づいて生成されたメタデータに従って、ビデオカメラ１により撮影された画像の再生、編集等が行われる。以下、子供３−１乃至３−３をそれぞれ区別する必要がない場合、まとめて子供３といい、センサバッジ４−１乃至４−３をそれぞれ区別する必要がない場合、まとめてセンサバッジ４という。
図２は、パーソナルコンピュータ２における画像の取り扱いについて示す図である。
パーソナルコンピュータ２は、画像に対応付けて記憶されているIDに基づいてそれぞれのシーンに映っている被写体（図１の例の場合、子供３）を識別し、ユーザにより指定された被写体が映っているシーン毎の再生等を行う。
図２の例においては、撮影された画像が、「うちの子供」（例えば、パーソナルコンピュータ２のユーザの子供である子供３−１）が映っているシーン、「うちの子供」と「よその子供」（例えば、子供３−１と子供３−２）が映っているシーン、および、「よその子供」だけが映っているシーンの３つのシーンに分けられている（クラスタリングされている）。
例えば、このようにクラスタリングされている状態で、ユーザが、「うちの子供」が映っているシーンの再生を指示した場合、撮影した画像全体のうち、クラスタリングの結果を表すメタデータに基づいて、子供３−１が映っている時刻ｔ1から時刻ｔ2までのシーンの再生が行われる。
ここで、「シーン」とは、撮影された画像（例えば、１フレームの画像）を時間軸上に並べた画像列全体のうちの、連続する所定の数の画像からなる画像列をいう。
これにより、ユーザは、自分が見たいシーン、すなわち、自分が見たい子供が映っているシーンだけを見ることができ、撮影した画像全体を時系列的に見る場合に較べて退屈しなくて済む。
なお、被写体は子供３に限られず、大人でもよいことは当然のこと、動物、物などであってもよい。また、所定のIDを表すパターンで発光するものであれば、被写体が持つものはバッジ状のものに限られず、手に把持するものであってもよいし、首からぶら下げるようなものであってもよい。
以上のように、ある被写体が映っているシーンを再生させるユーザの一連の操作について、図３のフローチャートを参照して説明する。
ステップＳ１において、ユーザは、センサバッジ４に割り当てられているそれぞれのIDが誰を表すものであるのかをパーソナルコンピュータ２に設定する。例えば、ユーザは、ID「０」は「うちの子供（Ａくん）」、ID「１」は「Ｂくん」、ID「２」は「Ｃくん」のように、IDと名前の対応付けを行う。
ステップＳ２において、ユーザは、センサバッジ４を付けた子供３をビデオカメラ１で撮影する。このとき、撮影された画像に対応付けて、その画像に映っている子供３のIDが記憶される。
ステップＳ３において、ユーザは、ビデオカメラ１とパーソナルコンピュータ２を有線または無線を介して接続し、ビデオカメラ１に記憶されている画像とIDをパーソナルコンピュータ２に取り込む。パーソナルコンピュータ２においては、ビデオカメラ１から取り込まれた画像のクラスタリング等が所定のタイミングで行われる。
ステップＳ４において、ユーザは、所定のカテゴリを指定し、そのカテゴリに属するシーンの再生（同じ子供が映っている画像のまとまり毎の再生）を行わせる。以上のようなユーザの操作に応じて行われる、ビデオカメラ１、パーソナルコンピュータ２等の処理については後述する。
図４は、図１のセンサバッジ４−１の構成例を示すブロック図である。センサバッジ４−２および４−３も同様の構成を有する。
センサバッジ４−１は、マイクロコンピュータ１１とLED(Light Emitting Diode)１２からなる。マイクロコンピュータ１１は、LED１２を制御し、マイクロコンピュータ１１に割り当てられている例えばID「０」を表すパターンで発光させる。LED１２は、マイクロコンピュータ１１からの制御に従って固定の周波数で発光する。
図５は、マイクロコンピュータ１１の機能構成例を示すブロック図である。
ID記憶部２１は、マイクロコンピュータ１１に割り当てられているIDを記憶する。
発光制御部２２は、ID記憶部２１に記憶されているIDを読み出し、読み出したIDを表すパターンでLED１２を発光させる。
センサバッジ４−１に割り当てられているIDは、例えば、センサバッジ４−１の表面に示されており、ユーザが、それを見てIDと子供の対応付けを行うことができるようになされる。なお、ユーザが、パーソナルコンピュータ２とセンサバッジ４−１をケーブルを介して接続させるなどしてセンサバッジ４−１のIDを適宜書き換えることができるようにしてもよい。
図６は、図１のパーソナルコンピュータ２の構成例を示すブロック図である。
CPU(Central Processing Unit)３１は、ROM(Read Only Memory)３２に記憶されているプログラム、または、記憶部３８からRAM(Random Access Memory)３３にロードされたプログラムに従って各種の処理を実行する。RAM３３にはまた、CPU３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU３１、ROM３２、およびRAM３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インタフェース３５も接続されている。
入出力インタフェース３５には、キーボード、マウスなどよりなる入力部３６、LCD(Liquid Crystal Display)などよりなる表示部３７、ハードディスクなどよりなる記憶部３８、ビデオカメラ１との間で有線または無線の通信を行う通信部３９が接続されている。記憶部３８には、例えば、通信部３９を介してビデオカメラ１から取り込まれた画像とIDが記憶される。
入出力インタフェース３５にはまた、必要に応じてドライブ４０が接続される。ドライブ４０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア４１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部３８にインストールされる。ビデオカメラ１が、撮影した画像を光ディスクやフラッシュメモリなどのリムーバブルメディアに記憶するものである場合、ビデオカメラ１により撮影された画像とIDは、例えば、そのメディアを介して、ドライブ４０によりパーソナルコンピュータ２に取り込まれる。
図７は、パーソナルコンピュータ２の機能構成例を示すブロック図である。図７の各機能部の少なくとも一部は、図６のCPU３１により所定のプログラムが実行されることで実現される。
設定部５１は、ユーザにより入力部３６を用いて行われるIDと名前の設定を受け付け、受け付けたIDと名前をID／名前記憶部５２に記憶させる。
ID／名前記憶部５２はIDと名前を記憶する。これにより、パーソナルコンピュータ２内においては、ビデオカメラ１から取り込まれた画像に対応付けられているIDから、各シーンに映っている人物（の名前）を識別することが可能になる。
次に、図８のフローチャートを参照して、パーソナルコンピュータ２の名前設定処理について説明する。すなわち、この処理は、図３のステップＳ１のユーザ操作に応じて行われるものである。
ステップＳ１１において、設定部５１は、ユーザにより入力部３６を用いて行われるIDと名前の設定を受け付け、ステップＳ１２に進み、受け付けたIDと名前をID／名前記憶部５２に記憶させる。このようにして記憶されたIDと名前に基づいて、各シーンを、それに映っている人物に基づいてクラスタリング等を行うパーソナルコンピュータ２の処理については後述する。
図９は、図１のビデオカメラ１の構成例を示すブロック図である。
撮像素子６２は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などよりなり、その撮像領域には動画撮影領域７１と認識画像撮影領域７２が形成される。
動画撮影領域７１は、例えば、３０フレーム／秒などのフレームレートで撮影を行い、レンズ６１を介して受光した光に対応する信号（撮影した画像）をDSP(Digital Signal Processor)６３に出力する。認識画像撮影領域７２は、動画撮影領域７１より早いフレームレートで撮影を行い、得られた輝度信号をDSP６３に出力する。
これらの動画撮影領域７１と認識画像撮影領域７２による撮影は、ユーザの撮影開始、撮影終了の操作に応じて同期して行われる。また、動画撮影領域７１と認識画像撮影領域７２の撮影範囲は、ほぼ同じ範囲とされる。従って、認識画像撮影領域７２の撮影結果から認識されたIDが割り当てられている子供は、動画撮影領域７１により撮影された画像にも映っていることになる。
DSP６３は、認識画像撮影領域７２から供給されてくる画像に基づいてIDを認識する。例えば、DSP６３は、認識画像撮影領域７２により撮影された画像の輝度値の変化を時系列的に比較することにより、センサバッジ４の発光パターン、すなわちIDを認識する。例えば、DSP６３によるIDの認識は１秒毎に行われる。また、DSP６３は、認識したIDを対応付けて、動画撮影領域７１から供給されてきた画像を記憶部６４に記憶させる。なお、撮影した画像からIDを認識する技術については、特開２０００−２１４９４５号公報に、その詳細が開示されている。
記憶部６４は、例えば、ハードディスク、DVD(Digital Versatile Disc)、フラッシュメモリ、テープメディアなど記憶媒体と、そのドライブにより構成される。
通信部６５は、パーソナルコンピュータ２との間でIEEE(Institute of Electrical and Electronics Engineers)1394ケーブルやUSB(Universal Serial Bus)ケーブルなどを介して有線の通信を行い、または、IEEE802.11a/b/gなどに準拠した無線通信を行い、記憶部６４に記憶されている画像とIDをパーソナルコンピュータ２に出力する。
次に、図１０のフローチャートを参照して、ビデオカメラ１の撮影処理について説明する。すなわち、この処理は、図３のステップＳ２のユーザ操作に応じて行われるものである。
ユーザにより撮影の開始が指示されたとき、ステップＳ２１において、撮像素子６２の動画撮影領域７１と認識画像撮影領域７２によりそれぞれ撮影が開始される。動画撮影領域７１により得られた画像と認識画像撮影領域７２により得られた画像はDSP６３に出力される。
ステップＳ２２において、DSP６３は、撮像素子６２の認識画像撮影領域７２から供給されてきた画像に基づいて所定の周期でIDを繰り返し認識し、ステップＳ２３に進み、認識したIDを対応付けて、動画撮影領域７１から供給されてきた画像を記憶部６４に記憶させる。
ステップＳ２４において、ユーザにより撮影の終了が指示されたか否かが判定され、指示されたと判定されるまで、ステップＳ２１以降の処理が繰り返される。ステップＳ２４において撮影の終了が指示されたと判定された場合、処理は終了される。
以上の処理がユーザ操作に応じて繰り返し行われることにより、記憶部６４には、子供３−１のみが映っている画像、子供３−１と子供３−２が映っている画像といったように、センサバッジ４を付けた子供３が様々な組合せで映っている画像が記憶される。
図１１は、IDの認識結果の例を示す図である。
図１１の認識結果は、撮影開始後の各時間（認識時間）にID「０」乃至「２」（図１の子供３−１乃至３−３のID）が認識されたか否かを示している。
図１１の例においては、撮影開始から例えば１秒経過後までのTime0の認識時間には、ID「０」とID「２」が認識され、ID「１」が認識されなかったものとされている。すなわち、このことは、Time0の認識時間に動画撮影領域７１により撮影された画像に図１の子供３−１と子供３−３が映っていることを表している。
同様に、Time1の認識時間には、ID「０」とID「１」が認識され、ID「２」が認識されなかったものとされている。すなわち、このことは、Time１の認識時間に動画撮影領域７１により撮影された画像には、図１の子供３−１と子供３−２が映っていることを表している。
このような各時間におけるIDの認識結果を表すデータが、図１０の処理により記憶部６４に記憶される。以下、図１１に示すようなIDの認識結果を、認識されたそのままの状態のデータという意味でID生データという。
次に、ビデオカメラ１により撮影された画像とID生データを処理するパーソナルコンピュータ２の構成と動作について説明する。
図１２は、パーソナルコンピュータ２の他の機能構成例を示すブロック図である。図７の構成と同様に、図１２の各機能部の少なくとも一部も、図６のCPU３１により所定のプログラムが実行されることで実現される。
取り込み部８１は、通信部３９（図６）を制御してビデオカメラ１との間で通信を行い、画像とID生データをビデオカメラ１から取り込む。取り込み部８１は、取り込んだID生データをシーン判定部８２に出力し、画像を再生制御部８３に出力する。
シーン判定部８２は、取り込み部８１から供給されてきたID生データに基づいて、各シーンのクラスタリング、リンク付けを行い、それらの結果を記述したメタデータファイルを再生制御部８３に出力する。シーン判定部８２から出力されるメタデータファイルには、取り込み部８１から再生制御部８３に供給された画像のうち、どこからどこまでの画像がどのカテゴリに属するのかを表す情報、および、どの画像とどの画像がリンク付けされているのかを表す情報などが含まれる。
再生制御部８３は、取り込み部８１から供給されてきた画像を、シーン判定部８２から供給されてきたメタデータファイルの記述に基づいて再生する。再生制御部８３により表示部３７に表示されるプレーヤ画面には、後述するように、ユーザが選択したカテゴリの画像のみが表示される。また、再生中の画像とは別に、それにリンク付けされている画像が表示される。
このように、パーソナルコンピュータ２においては、IDの認識結果に基づいて行われるクラスタリング、リンク付けの結果に基づいて、撮影された画像の再生が行われる。
図１３は、IDの認識時間と、撮影された画像の関係を示す図である。
例えば、NTSC(National Television System Committee)方式で撮影が行われ、その撮影開始時刻と、IDの認識時間の開始時刻が一致する場合、IDの１つの認識時間を１秒間とすると、図１３に示すように、認識時間Ｔの間には３０フレームの画像（シーン）が撮影される。
シーン判定部８２においては、図１１に示すようなID生データにより表されるそれぞれの認識時間の認識結果に基づいて、各認識時間のクラスタリング、リンク付けが行われる。そして、上述したように、IDを認識するための画像の撮影範囲と、再生対象とする画像（図１３の下段の各画像）の撮影範囲はほぼ一致するから、そのように、IDの認識結果に基づいて行われる認識時間のクラスタリング、リンク付けの結果は、その認識時間と同じ時間に撮影された画像を、それに映っている被写体に基づいてクラスタリング、リンク付けを行った場合の結果と同じになる。
以上のことから、IDの認識時間のクラスタリング、リンク付けの結果に基づいて動画を再生することは、被写体に基づいて動画のクラスタリング、リンク付けを行い、その結果に基づいて動画を再生することを意味し、パーソナルコンピュータ２においては、そのような動画の再生が行われる。
図１４は、以上のように、認識時間のクラスタリング、リンク付けを通じて、撮影された画像のクラスタリング、リンク付けを行う図１２のシーン判定部８２の構成例を示すブロック図である。
シーン判定部８２は、フィルタリング部９１、クラスタリング部９２、およびファイル生成部９３からなる。始めに、フィルタリング部９１について説明する。
フィルタリング部９１は、図１５に示すように、取り込み部８１から供給されてきたID生データに基づいて、ある被写体が一瞬だけ映っていた、すなわち、あるIDが一瞬だけ認識された場合、それをノイズとして除去する処理、および、ある被写体が一瞬だけ映っていなかった、すなわち、その被写体のIDが一瞬だけ認識されなかった場合、それを埋める処理を行う。
図１５において、時系列的に並ぶ１つのブロックはIDの１認識時間を表している。ブロックに色が付されている場合、それは、その認識時間にIDが認識されたことを表し、色が付されていない場合、それは、その認識時間にIDが認識されなかったことを表す。すなわち、図１５は、１つのIDについて、図１１に示すようなID生データの認識した／認識しないを時系列的に表したものである。
図１６は、IDが一瞬（例えば、１認識時間）だけ認識されなかった場合に、それを埋めるフィルタリング部９１の処理の例を示す図である。
図１６は、１つのIDについての認識時間Ｔ0乃至Ｔ14の認識結果を示している。図１６の例においては、その上段に示すように、認識時間Ｔ0乃至Ｔ2，Ｔ5，Ｔ10，Ｔ12乃至Ｔ14のそれぞれの時間ではIDが認識されており、それ以外の認識時間Ｔ3およびＴ4，Ｔ6乃至Ｔ9，Ｔ11のそれぞれの時間ではIDが認識されていない。
このような認識結果が取り込み部８１から供給されてきた場合、フィルタリング部９１は、例えば、注目している認識時間の１認識時間前にIDが認識されているとき、その注目している認識時間（IDが認識されなかった時間）には、IDが認識されたものとしてIDの穴を埋める処理を行う。
例えば、いま、図１６の認識時間Ｔ3に注目している場合、その１認識時間前の認識時間Ｔ2にはIDが認識されているから、フィルタリング部９１は、下段の時系列に示すように、認識時間Ｔ3には、そのIDが認識されたものとする。
また、フィルタリング部９１は、いま、認識時間Ｔ6に注目している場合、その１認識時間前の認識時間Ｔ5にはIDが認識されているから、下段の時系列に示すように、認識時間Ｔ6には、そのIDが認識されたものとする。
同様に、フィルタリング部９１は、いま、認識時間Ｔ11に注目している場合、その１認識時間前の認識時間Ｔ10にはIDが認識されているから、下段の時系列に示すように、認識時間Ｔ11には、そのIDが認識されたものとする。
図１７は、IDが一瞬（例えば、１認識時間）だけ認識された場合に、それをノイズとして除去するフィルタリング部９１の処理の例を示す図である。
図１７も、１つのIDについての認識時間Ｔ0乃至Ｔ14の認識結果を示している。図１７の例においては、図１６と同様、認識時間Ｔ0乃至Ｔ2，Ｔ5，Ｔ10，Ｔ12乃至Ｔ14のそれぞれの時間ではIDが認識されており、それ以外の認識時間Ｔ3およびＴ4，Ｔ6乃至Ｔ9，Ｔ11のそれぞれの時間ではIDが認識されていない。
このような認識結果が取り込み部８１から供給されてきた場合、フィルタリング部９１は、例えば、注目している認識時間の１認識時間後にIDが認識されていないとき、その注目している認識時間（IDが認識された時間）には、IDが認識されなかったものとしてノイズを除去する処理を行う。
例えば、いま、図１６の認識時間Ｔ2に注目している場合、その１認識時間後の認識時間Ｔ3にはIDが認識されていないから、フィルタリング部９１は、下段の時系列に示すように、認識時間Ｔ2には、そのIDが認識されなかったものとする。
また、フィルタリング部９１は、いま、認識時間Ｔ5に注目している場合、その１認識時間後の認識時間Ｔ6にはIDが認識されていないから、下段の時系列に示すように、認識時間Ｔ5には、そのIDが認識されなかったものとする。
同様に、フィルタリング部９１は、いま、認識時間Ｔ10に注目している場合、その１認識時間後の認識時間Ｔ11にはIDが認識されていないから、下段の時系列に示すように、認識時間Ｔ10には、そのIDが認識されなかったものとする。
以下、適宜、IDが一瞬だけ認識されなかった場合に、それを埋める図１６に示すような処理を「太らせる処理」といい、IDが一瞬だけ認識された場合に、それをノイズとして除去する図１７に示すような処理を「痩せさせる処理」という。
なお、図１６および図１７においては、IDが認識されたものとして埋める時間、および、IDが認識されなかったものとして除去する時間はいずれも１認識時間であるとしたが、１認識時間に限らず、例えば、２認識時間連続してIDが認識されなかった場合に、その認識時間を、前後の認識結果からまとめて認識されたものとして埋めるようにしてもよいし、２認識時間連続してIDが認識された場合に、その認識時間を、前後の認識結果からまとめて認識されなかったものとして除去するようにしてもよい。
図１８は、フィルタリング部９１の処理の例を示す図である。
図１８に示すように、フィルタリング部９１は、以上のような太らせる処理を所定の回数だけ繰り返し、白抜き矢印Ａ1の先に示すような時系列を得た後、さらに、これに対して、痩せさせる処理を所定の回数だけ繰り返し、白抜き矢印Ａ2の先に示すような時系列を得る。
これにより、フィルタリング部９１による処理が施される前はIDが認識されなかった時間である認識時間Ｔ11の穴が埋められる。
図１９は、フィルタリング部９１の他の処理の例を示す図である。
フィルタリング部９１は、太らせる処理と痩せさせる処理をその順番で所定の回数ずつ、図１８のように行った後、次に、図１８の処理により得られた時系列に対して、図１９に示すように、反対に、痩せさせる処理と太らせる処理をその順番で所定の回数ずつ行い、図１９の白抜き矢印Ａ2の先に示すような時系列を得る。
これにより、前後の認識時間にはIDが認識されていなかった認識時間Ｔ5，Ｔ10のノイズが除去される。
フィルタリング部９１は、ID生データに含まれるそれぞれのIDについて、以上のように、太らせる処理と痩せさせる処理を所定の回数だけ所定の順番で行うことによってID生データに加工を施す。フィルタリング部９１により得られた加工済みの各IDの時系列を表すデータはクラスタリング部９２に出力される。以下、フィルタリング部９１からクラスタリング部９２に出力される加工済みのIDのデータをID加工データという。
次に、図１４のクラスタリング部９２について説明する。
クラスタリング部９２は、フィルタリング部９１から供給されてきたID加工データに基づいて、IDの認識時間（対応する時間のシーン）のクラスタリングを行う。クラスタリングにより各シーンが所定のカテゴリに分けられるが、そのカテゴリの意味は、例えば、ユーザにより設定される。
図２０は、ユーザにより設定されたカテゴリ０乃至３の意味の例を示す図である。
カテゴリ０は、「うち子供」だけが映っているシーン（上述した例の場合、「Ａくん」だけが映っているシーン）のカテゴリであり、カテゴリ０乃至３の中で最も重要なカテゴリとして設定されている。
カテゴリ１は、「うち子供」と「よその子供」が映っているシーン（例えば、「Ａくん」と「Ｂくん」が映っているシーン）のカテゴリであり、カテゴリ０の次に重要なカテゴリとして設定されている。
カテゴリ２は、「よその子供」だけが映っているシーン（例えば、「Ａくん」以外の子供だけが映っているシーン）のカテゴリであり、カテゴリ１の次に重要なカテゴリとして設定されている。
カテゴリ３は、だれも映っていないシーンのカテゴリであり、意味のないシーンのカテゴリとして設定されている。
クラスタリング部９２においては、このように意味付けされたカテゴリに各シーンが属するようにクラスタリングが行われる。
図２１は、クラスタリング部９２により行われるクラスタリングの順番の例を示す図である。
例えば、図２０に示すように、カテゴリ０，１，２，３の順番で重要度が設定された場合、最も重要なカテゴリ０からクラスタリングが行われ（ステップＳ４１）、それが終了したとき、次に重要なカテゴリ１のクラスタリング（ステップＳ４２）が行われる。カテゴリ１のクラスタリングが終了したとき、最後に、カテゴリ２のクラスタリング（ステップＳ４３）が行われる。いずれのカテゴリにも属さないシーンはカテゴリ３に属するものとされる。
図２２は、カテゴリ０のクラスタリング（図２１のステップＳ４１）の例を示す図である。
図２２に示すように、クラスタリング部９２は、「うちの子供」だけが映っているシーンを探すべく、フィルタリング部９１から供給されてきたID加工データの中から「うちの子供」のIDの時系列に注目し、所定の数の連続する認識時間からなるウインドウ毎にカテゴリ（各ウインドウに対応するシーンのカテゴリ）を判断する。
例えば、「うちの子供」だけが映っているシーンは最も重要なシーンであるから、クラスタリング部９２は、「うちの子供」のIDが認識された認識時間を１つでも含むウインドウのカテゴリをカテゴリ０として判断する。
図２２の例においては、１つのウインドウは６つの連続する認識時間からなり、ウインドウ１と２のいずれにも、「うちの子供」のIDが認識された認識時間（ウインドウ１の認識時間Ｔ0乃至Ｔ3とウインドウ２の認識時間Ｔ8）が含まれるから、これらのウインドウ１と２のカテゴリはカテゴリ０として判断されている。
このようにして、「うちの子供」についての全てのウインドウのカテゴリが判断されたとき、カテゴリ０のクラスタリングが終了される。
なお、カテゴリ０のクラスタリングにおいては、「うちの子供」のIDの時系列しか注目されずに、「うちの子供」だけが映っているシーンが判断されているが、後述するように、カテゴリ１のクラスタリングのときには、「うちの子供」のIDの時系列の他に、「よその子供」のIDの時系列も注目され、「うちの子供」のIDだけでなく、「よその子供」のIDが認識された認識時間を含むウインドウがカテゴリ１として判断される。従って、図２２に示すようにカテゴリ０として判断されたウインドウのうち、「よその子供」のIDが認識された認識時間も含むウインドウのカテゴリはカテゴリ１として変更されることになり、結局、「うちの子供」のIDが認識された認識時間だけを含むウインドウが、カテゴリ０として判断される。
図２３は、カテゴリ１のクラスタリング（図２１のステップＳ４２）の例を示す図である。
クラスタリング部９２は、カテゴリ０のクラスタリングの場合と同様に、「うちの子供」と「よその子供」が映っているシーンを探すべく、フィルタリング部９１から供給されてきたID加工データの中から「うちの子供」のIDの時系列と「よその子供」のIDの時系列に注目し、ウインドウ毎にカテゴリを判断する。
例えば、「うち子供」が映っているシーンは最も重要なシーンであるから、クラスタリング部９２は、「うちの子供」のIDが認識された認識時間を１つでも含み、かつ、「よその子供」のIDが認識された認識時間も含むウインドウのカテゴリをカテゴリ１として判断する。
図２３の例においては、ウインドウ１と２のいずれにも、「うちの子供」のIDが認識された認識時間（ウインドウ１の認識時間Ｔ0乃至Ｔ2とウインドウ２の認識時間Ｔ8乃至Ｔ10）と、「よその子供」のIDが認識された認識時間（ウインドウ１の認識時間Ｔ1乃至Ｔ3とウインドウ２の認識時間Ｔ8）が含まれるから、これらのウインドウ１と２のカテゴリはカテゴリ１として判断されている。
「うちの子供」と「よその子供」のIDの全てのウインドウのカテゴリが判断されたとき、カテゴリ１のクラスタリングが終了される。
図２４は、カテゴリ２のクラスタリング（図２１のステップＳ４３）の例を示す図である。
クラスタリング部９２は、カテゴリ０と１のクラスタリングの場合と同様に、よその子供だけが映っているシーンを探すべく、フィルタリング部９１から供給されてきたID加工データの中から「うちの子供」のIDの時系列と「よその子供」のIDの時系列に注目し、ウインドウ毎にカテゴリを判断する。
例えば、クラスタリング部９２は、１つのウインドウの半分以上の時間において「よその子供」のIDだけが認識されている場合、そのウインドウのカテゴリをカテゴリ２として判断する。
図２４の例においては、ウインドウ１（認識時間Ｔ0乃至Ｔ5の６認識時間）の半分以上の時間である認識時間Ｔ1乃至Ｔ3の３認識時間において「よその子供」のIDだけが認識されているから、ウインドウ１のカテゴリはカテゴリ２として判断されている。
また、ウインドウ２（認識時間Ｔ6乃至Ｔ11の６認識時間）のうち、「よその子供」のIDだけが認識されたのは認識時間Ｔ8だけであり、半分以上の時間において「よその子供」のIDだけが認識されていないから、ウインドウ２のカテゴリはカテゴリ２として判断されていない。
同様にして、全てのウインドウのカテゴリが判断されたとき、カテゴリ２のクラスタリングが終了される。
図２５は、クラスタリング部９２による一連のクラスタリングの結果の例を示す図である。
図２５の１つのブロックは１つのウインドウ（連続する所定の数の認識時間）を表し、ブロックの中の数字は、そのブロックにより表されるウインドウのカテゴリを表す。図２５にはウインドウＷ0乃至25が示されている。
図２５の白抜き矢印Ａ1の先に示すウインドウの時系列は、カテゴリ０のクラスタリング結果の例を示している。
この例においては、ウインドウＷ0乃至Ｗ25のうち、ウインドウＷ2乃至Ｗ9、ウインドウＷ15乃至Ｗ21、およびウインドウＷ24のカテゴリがカテゴリ０として判断されている。
また、図２５の例においては、「まとまり」が太線で囲まれており、カテゴリ０として判断されたウインドウＷ2乃至Ｗ9、ウインドウＷ15乃至Ｗ21により、それぞれ、カテゴリ０のまとまりが構成されている。「まとまり」は、ユーザがそのカテゴリを選択した場合に再生対象となる連続するシーンを表し、１つのまとまりを構成する最小のウインドウ数は例えばユーザにより設定される。図２５においては最小のウインドウ数は「４」とされている。
図２５の白抜き矢印Ａ2の先に示すウインドウの時系列は、カテゴリ１のクラスタリング結果の例を示している。
この例においては、カテゴリ０として判断されたウインドウＷ2乃至Ｗ9のうちのウインドウＷ4乃至Ｗ8と、ウインドウＷ15乃至Ｗ21のうちのウインドウＷ16乃至Ｗ21がカテゴリ１として判断されており、それらのウインドウによりカテゴリ１のまとまりが構成されている。すなわち、ウインドウＷ4乃至Ｗ8とウインドウＷ16乃至Ｗ21のカテゴリは、その時間に「うちの子供」のID以外にも「よその子供」のIDが認識された認識時間も含まれていることから、カテゴリ０からカテゴリ１にカテゴリの変更がなされている。
図２５の白抜き矢印Ａ3の先に示すウインドウの時系列は、カテゴリ２のクラスタリング結果の例を示している。
この例においては、ウインドウＷ11乃至Ｗ14のカテゴリがカテゴリ２として判断されており、カテゴリ２のまとまりが構成されている。
以上のような一連の処理が行われ、各カテゴリのまとまりが生成される。まとまりを構成しないウインドウのカテゴリは、意味のないシーンのカテゴリであるカテゴリ３とされる。クラスタリング部９２によるクラスタリング結果である各ウインドウのカテゴリの情報、まとまりに関する情報等はクラスタリング部９２からファイル生成部９３（図１４）に出力される。
以上のようにして、IDの認識結果に基づいて各認識時間（対応する時間に撮影されたシーン）がクラスタリングされ、まとまり毎に画像の再生が行われるから、例えば、再生するまとまりのカテゴリとしてカテゴリ０を選択することによって、ユーザは、「うちの子供」だけを含むシーンを連続してみることができる。また、ユーザは、カテゴリ１を選択することによって、「うちの子供」と「よその子供」を含むシーンを連続してみることができる。
反対に、ユーザは、カテゴリ２を選択しないことによって、「よその子供」が半分以上映っているシーンだけを見る必要がなくなり、カテゴリ３を選択しないことによって、誰も映っていないシーン、または、センサバッジ４を付けていない子供だけが映っているシーンを見る必要がなくなる。
次に、図１４のファイル生成部９３について説明する。
ファイル生成部９３は、クラスタリング部９２によるクラスタリング結果に基づいて、まとまり同士のリンク付けを行い、そのリンク付けの結果と、クラスタリング結果を記述するメタデータファイルを生成する。ファイル生成部９３により生成されたメタデータファイルは図１２の再生制御部８３に出力される。
図２６は、メタデータファイルに記述される情報（各シーンがどのカテゴリに属しているかを表す情報）の例を示す図である。
図２６のウインドウの時系列は、図２５の白抜き矢印Ａ3の先に示す最終的なクラスタリング結果の時系列と同じものである。クラスタリング部９２によるクラスタリングによって、図２６のまとまりが生成されている場合、メタデータファイルには、各まとまりの先頭（例えば、フレーム番号）を表す情報と、まとまりのカテゴリを表す情報が記述される。
例えば、図２６のまとまりＭ0の先頭のフレーム番号と、まとまりＭ0のカテゴリがカテゴリ０であること、まとまりＭ1の先頭のフレーム番号と、まとまりＭ1のカテゴリがカテゴリ１であること等がメタデータファイルに記述される。
図２７は、メタデータファイルに記述される情報（各シーンが、他のどのシーンと同じカテゴリに属しているかを表す情報）の例を示す図である。
図２７のウインドウの時系列も、図２５の白抜き矢印Ａ3の先に示す最終的なクラスタリング結果の時系列と同じものである。クラスタリング部９２によるクラスタリングによって、図２７のまとまりが生成されている場合、メタデータファイルには、まとまりの先頭（例えば、フレーム番号）を表す情報と、そのまとまりと同じカテゴリに属する他のまとまりの先頭を表す情報が記述される。
例えば、まとまりＭ0の先頭のフレーム番号と、同じカテゴリ０のまとまりであるまとまりＭ2とＭ4の先頭のフレーム番号等がメタデータファイルに記述される。
ファイル生成部９３は、このような同じカテゴリのまとまりに関する情報に基づいてまとまりのリンク付けを行い、リンク付けされたまとまり同士の情報もメタデータファイル記述する。
例えば、ある注目するまとまりに対してリンク付けされる他のまとまりは、同じカテゴリのまとまりのうち、まとまりの長さ（時間）が比較的長いものとされる。
図２８に示すように、いま、まとまりＭ2に注目しており、それと同じカテゴリの他のまとまりとして、まとまりＭ0，Ｍ1，Ｍ3乃至Ｍ5がある場合、ファイル生成部９３は、まとまりＭ2に対して、長さの長い３つのまとまりであるまとまりＭ0，Ｍ4，Ｍ5をリンク付けし、そのリンク付けの結果であるまとまりＭ0，Ｍ4，Ｍ5の先頭のフレーム番号をメタデータファイルに記述する。図２８の例においては、まとまりＭ4が１番長いまとまりであり、まとまりＭ0が２番目に長いまとまりであり、まとまりＭ5が３番目に長いまとまりである。
リンク付けに関する情報は、例えば、あるまとまりのシーンを再生しているときに、それとリンク付けされている他のシーンを表示するために用いられる。例えば、図２８に示すようにまとまりＭ2に対してまとまりＭ0，Ｍ4，Ｍ5がリンク付けされている場合、まとまりＭ2のシーンが再生され、画面に表示されているときには、同じ画面内に、まとまりＭ0，Ｍ4，Ｍ5のシーンも表示されることになる。画面表示の具体例については後述する。
次に、図２９乃至図３２を参照して、メタデータファイルの記述の具体例について説明する。
図２９乃至図３２において、各行の左端に示す数字と「：（コロン）」は説明の便宜上付したものであり、メタデータを構成するものではない。
図２９は、図２９乃至図３２のメタデータに従って再生される画像（動画）と、音声に関する記述の例を示す図である。
第１行目乃至第５行目は画像に関する記述である。第１行目の「framerate=15」はフレームレートを表し、第２行目の「height=120」と第３行目の「widht=160」は１フレームの大きさを表す。第４行目の「filename=sample.mpg」は動画のファイル名を表し、第５行目の「TotalLength=1800」は動画の総時間を表す。
第６行目は音声に関する記述である。第６行目の「filename=sample.wav」は音声のファイル名を表す。
図３０および図３１はクラスタ（上述の「まとまり」）に関する記述の例を示す図である。
「ClusterInfo」として記述される第１行目の「ClusterDepthNum=3」は、クラスタの粒度が３段階あること、すなわち、クラスタの粒度を「粗い」、「中くらい」、「細かい」とした場合の、それぞれ場合のクラスタの情報が記述されていることを表す。
クラスタの粒度（まとまりの粒度）は、例えば、上述した、１つのまとまりを構成する最小のウインドウの数（図２５の場合「４」）に対応する。同じ動画を対象にした場合、通常、最小のウインドウの数が大きいほど、生成されるまとまりの数は少なくなり、１つのまとまりは大きくなるから、クラスタの粒度が「粗い」となり、一方、最小のウインドウの数が小さいほど、生成されるまとまりの数は多くなり、１つのまとまりは小さくなるから、クラスタの粒度が「細かい」となる。
ユーザは、このように、「粗い」、「中くらい」、「細かい」の中からクラスタの粒度を選択することによって、撮影した画像全体を大まかに見たり、全体を細かく見たりすることができる。すなわち、上述したようなクラスタリングは、クラスタの粒度毎に行われることになる。
図３０および図３１においては、「ClusterDepth0」がクラスタの粒度が「粗い」場合のクラスタの情報を表し、「ClusterDepth1」がクラスタの粒度が「中くらい」の場合のクラスタの情報を表す。また、「ClusterDepth2」がクラスタの粒度が「細かい」場合のクラスタの情報を表す。
図３０の第２行目乃至第４行目には、「ClusterDepth0」（粒度が「粗い」）のクラスタの情報が記述されており、第５行目乃至第８行目には、「ClusterDepth1」（粒度が「中くらい」）のクラスタの情報が記述されている。また、第９行目乃至第１４行目には、「ClusterDepth2」（クラスタの粒度が「細かい」）のクラスタの情報が記述されている。
第２行目の「ClusterNum=2」は、「ClusterDepth0」である場合、クラスタの数は２個であることを表す。第３行目の「ClusterTitle0=Ａ」と第４行目の「ClusterTitle1=Ｂ」は、２個のうちの１つ目のクラスタのタイトルは「Ａ」であり、２つ目のクラスタのタイトルは「Ｂ」であることを表す。
同様に、第５行目乃至第８行目には、「ClusterDepth1」である場合のクラスタの数と、それぞれのクラスタのタイトルが記述されている。また、第９行目乃至第１４行目には、「ClusterDepth2」である場合のクラスタの数と、それぞれのクラスタのタイトルが記述されている。
図３１の「ClusterData」は、各シーンのクラスタの情報（図２６の情報）を表す。
第１行目の「Frame0_Depth0=1」は、「ClusterDepth0」である場合、フレームナンバ０の画像のクラスタ（フレームナンバ０の画像から次のクラスタの先頭までのクラスタ）がクラスタ１（図３０の第４行目の「ClusterTitle1=Ｂ」のクラスタ）であることを表す。
第２行目の「Frame0_Depth1=2」は、「ClusterDepth1」である場合、フレームナンバ０の画像のクラスタ（フレームナンバ０の画像から次のクラスタの先頭までのクラスタ）がクラスタ２（図３０の第８行目の「ClusterTitle2=Ｂ」のクラスタ）であることを表す。
第３行目の「Frame0_Depth2=4」は、「ClusterDepth2」である場合、フレームナンバ０の画像のクラスタ（フレームナンバ０の画像から次のクラスタの先頭までのクラスタ）がクラスタ４（図３０の第１４行目の「ClusterTitle4=Ｂ」のクラスタ）であることを表す。
第４行目の「Frame0_Next_Depth0=443」は、「ClusterDepth0」である場合、フレームナンバ０の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ４４３であることを表す。
第５行目の「Frame0_Next_Depth1=200」は、「ClusterDepth1」である場合、フレームナンバ０の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ２００であることを表す。
第６行目の「Frame0_Next_Depth2=200」は、「ClusterDepth2」である場合、フレームナンバ０の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ２００であることを表す。
第７行目の「Frame200_Depth1=1」は、「ClusterDepth1」である場合、フレームナンバ２００の画像のクラスタ（フレームナンバ２００の画像から次のクラスタの先頭までのクラスタ）がクラスタ１（図３０の第７行目の「ClusterTitle1=Ｃ」のクラスタ）であることを表す。
第８行目の「Frame200_Depth2=2」は、「ClusterDepth2」である場合、フレームナンバ２００の画像のクラスタ（フレームナンバ２００の画像から次のクラスタの先頭までのクラスタ）がクラスタ２（図３０の第１２行目の「ClusterTitle2=Ｃ」のクラスタ）であることを表す。
第９行目の「Frame200_Next_Depth1=443」は、「ClusterDepth1」である場合、フレームナンバ２００の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ４４３であることを表す。
第１０行目の「Frame200_Next_Depth2=443」は、「ClusterDepth2」である場合、フレームナンバ２００の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ４４３であることを表す。
第１１行目の「Frame443_Depth0=0」は、「ClusterDepth0」である場合、フレームナンバ４４３の画像のクラスタ（フレームナンバ４３３の画像から最後の画像までのクラスタ）がクラスタ０（図３０の第３行目の「ClusterTitle0=Ａ」のクラスタ）であることを表す。
第１２行目の「Frame443_Depth1=0」は、「ClusterDepth1」である場合、フレームナンバ４４３の画像のクラスタ（フレームナンバ４３３の画像から最後の画像までのクラスタ）がクラスタ０（図３０の第６行目の「ClusterTitle0=Ａ」のクラスタ）であることを表す。
第１３行目の「Frame443_Depth2=0」は、「ClusterDepth2」である場合、フレームナンバ４４３の画像のクラスタがクラスタ０（図３０の第１０行目の「ClusterTitle0=Ａ」のクラスタ）であることを表す。
第１４行目乃至第１６行目は、それぞれの「ClusterDepth」毎の、クラスタの先頭画像となる最後の画像のフレームナンバを表す。
図３２は、クラスタのリンク付けに関する情報（図２８の情報）の例を示す図である。
第１行目の「Frame0_LinkNum=3」は、フレームナンバ０の画像には、リンク先が３つ（Link0,1,2）設定されていることを表す。
第２行目の「Frame0_Link0=2452」は、フレームナンバ０の画像のリンク先の１つである「Link0」のフレームナンバが「2452」であることを表す。同様に、第３行目の「Frame0_Link1=5664」は、フレームナンバ０の画像のリンク先の１つである「Link1」のフレームナンバが「5664」であることを表す。
第４行目の「Frame0_Link2_FileName=family.mpg」は、フレームナンバ０の画像のリンク先の１つである「Link2」が、「family.mpg」の名前が設定されたファイルに格納されている画像であることを表す。
第５行目の「Frame0_Link2=343」は、その「family.mpg」の名前が設定されたファイル中のフレームナンバ「343」の画像が、フレームナンバ０の画像のリンク先（Link2）であることを表す。
第６行目の「Frame0_Next=15」は、フレームナンバ０の画像の次に、リンク先に関する情報が設定されている画像のフレームナンバが「15」であることを表し、第７行目の「Frame15_LinkNum=0」は、フレームナンバ１５の画像にはリンク先がないことを表す。このように、リンク先がないことは、その画像が再生対象の画像になったとき、それまで表示していたリンク先の表示を消去することを表す。
従って、例えば、図３２の記述に従って、フレームナンバ０の画像から動画の再生が行われる場合、そのフレームナンバ０の画像の表示と同時に、リンク付けされているシーンの画像としてフレームナンバ２４５２，５６６４の画像、および、「family.mpg」の名前が設定されたファイルに格納されているファイルナンバ３４３の画像が表示される。その状態は、再生対象の画像がフレームナンバ１５の画像となるまで続けられる。
フレームナンバ１５の画像が現在の再生対象の画像になったとき、フレームナンバ２４５２，５６６４の画像、および、「family.mpg」の名前が設定されたファイルに格納されているファイルナンバ３４３の画像の表示は消去される。
第８行目の「Frame15_Next=476」は、フレームナンバ１５の次にリンク先に関する情報が設定されている画像のフレームナンバが「476」であることを表し、以降、同様の記述が「LinkData」に含まれる。
このような記述を含むメタデータファイルがファイル生成部９３から再生制御部８３に出力される。
ここで、以上のようなメタデータファイルが生成されるまでのパーソナルコンピュータ２の処理について説明する。
始めに、図３３のフローチャートを参照して全体の処理について簡単に説明する。
パーソナルコンピュータ２によるメタデータファイルが生成されるまでの処理は、主に、取り込み部８１による取り込み（ステップＳ３１）、シーン判定部８２のフィルタリング部９１によるフィルタリング（ステップＳ３２）、クラスタリング部９２によるクラスタリング（ステップＳ３３，Ｓ３４）、ファイル生成部９３によるファイルの作成（ステップＳ３５）からなる。
すなわち、ステップＳ３１において、取り込み部８１は、撮影された画像とID生データを取り込み、取り込んだID生データをシーン判定部８２に、画像を再生制御部８３にそれぞれ出力する。
ステップＳ３２において、フィルタリング部９１は、取り込み部８１から供給されてきたID生データに基づいて、ある被写体が一瞬だけ映っていた場合、それをノイズとして除去し、また、ある注目する被写体が一瞬だけ映っていなかった場合、それを埋める処理を行う。フィルタリング部９１により得られたID加工データはクラスタリング部９２に出力される。
ステップＳ３３において、クラスタリング部９２は、フィルタリング部９１から供給されてきたID加工データに基づいて、各ウインドウにおいて主に認識されたのがどのIDであるのを判断し、各ウインドウをカテゴリに分ける。
また、クラスタリング部９２は、ステップＳ３４において、ステップＳ３３の処理の結果に基づいて、同じカテゴリのウインドウが所定の数だけ連続しているか否かを判断し、連続している場合、それらの連続するウインドウを「まとまり」とする。上述したように、ここで生成されるまとまりを構成する最小のウインドウの数は粒度によって定まる。クラスタリング部９２のクラスタリングの結果はファイル生成部９３に出力される。
ステップＳ３５において、ファイル生成部９３は、クラスタリング部９２によるクラスタリング結果に基づいてシーン同士のリンク付けを行い、そのリンク付けの結果と、クラスタリング結果を記述するメタデータファイルを生成する。ファイル生成部９３により生成されたメタデータファイルは再生制御部８３に出力される。
次に、図３４乃至図３８のフローチャートを参照して、シーン判定部８２の処理についてより詳細に説明する。
ステップＳ５１において、フィルタリング部９１は、取り込み部８１から供給されてきたID生データを取得し、ステップＳ５２に進み、ID生データに記録されている全IDを探し出す。例えば、図１に示すように、ID「０」乃至「２」が割り当てられているセンサバッジ４を付けている子供３を撮影したものがパーソナルコンピュータ２に取り込まれた場合、ここでは、ID「０」乃至「２」の３つのIDが探し出される。探し出されたIDの数がMAXIDの値として設定される。
ステップＳ５３において、フィルタリング部９１は、MAXIDに設定されている値が０より大きい（０含まず）か否かを判定し、０より大きくない（０である）と判定した場合、処理を終了させる。
一方、フィルタリング部９１は、ステップＳ５３において、MAXIDに設定されている値が０より大きいと判定した場合、ステップＳ５４に進み、ID生データに記録されているIDを１つ選択する。
ステップＳ５５において、フィルタリング部９１は、選択した１つのIDの認識結果を時系列的に並べ、図１６を参照して説明したような「太らせる処理」をＸ回（Ｘ＞０）だけ繰り返す。
ステップＳ５６において、フィルタリング部９１は、ステップＳ５５で行われた「太らせる処理」により得られたIDの時系列に対して、図１７を参照して説明したような「痩せさせる処理」をＸ回だけ繰り返す。
このステップＳ５５およびＳ５６の処理により、ステップＳ５４で選択された１つのIDについて穴埋め（図１８）が施される。
フィルタリング部９１は、ステップＳ５７において、穴埋めされたIDの時系列に対して、次に、「痩せさせる処理」をＸ回だけ繰り返す。
フィルタリング部９１は、ステップＳ５８において、ステップＳ５７で行われた「痩せさせる処理」により得られたIDの時系列に対して「太らせる処理」をＸ回だけ繰り返す。
このステップＳ５７およびＳ５８の処理により、ステップＳ５４で選択された１つのIDについてノイズの除去（図１９）が施される。
フィルタリング部９１は、１つのIDに加工を施した後、ステップＳ５９に進み、いままで選択していたIDの次のIDを選択する。
ステップＳ６０において、フィルタリング部９１は、ID生データに記録されている全てのIDに穴埋めとノイズ除去の処理を施したか否か、すなわち、これまでに選択したIDの数がMAXIDに設定されている値を超えたか否かを判定し、これまでに選択したIDの数がMAXIDに設定されている値を超えていないと判定した場合、ステップＳ５５に戻り、それ以降の処理を繰り返す。
一方、フィルタリング部９１は、ステップＳ６０において、これまでに選択したIDの数がMAXIDに設定されている値を超えたと判定した場合、ステップＳ６１に進む。このとき、フィルタリング部９１の処理により得られたID加工データがクラスタリング部９２に供給される。
ステップＳ６１において、クラスタリング部９２は、フィルタリング部９１から供給されてきたID加工データ（ローパスフィルタ通過後のID加工データ）に記録されている全てのIDを探し出し、記録されているIDの数をMAXIDの値として設定する。
ステップＳ６２において、クラスタリング部９２は、MAXIDに設定されている値が０より大きいか否かを判定し、０より大きくないと判定した場合、処理を終了させる。
一方、クラスタリング部９２は、ステップＳ６２において、MAXIDに設定されている数が０より大きいと判定した場合、ステップＳ６３に進む。ステップＳ６３以降の図３５の処理が、カテゴリ０のクラスタリングに相当する。
ステップＳ６３において、クラスタリング部９２は、ID加工データに記録されているIDの時系列の先頭から順に注目し、認識結果を確認する。例えば、図２３に示すように、「うちの子供」のIDの時系列と、「よその子供」のIDの時系列が選択され、先頭の認識時間Ｔ0から順に認識結果が確認される。
クラスタリング部９２は、ステップＳ６４において、注目している認識時間にID_P番のIDが認識されているか否かを判定する。クラスタリングは重要度の高いカテゴリから行われるから、ここでは、重要度の最も高いIDである「うちの子供」のID「０」がID_P番とされ、判定が行われる。例えば、図２０に示すようにカテゴリの意味が設定されている場合、カテゴリ０が重要度の最も高いカテゴリであり、ここでの判定は、「うちの子供」が映っているか否か、すなわち、「うちの子供」に割り当てられているID「０」が、注目している認識時間に認識されているか否かに基づいて行われる。
ステップＳ６４において、クラスタリング部９２は、注目している認識時間にID_P番のIDが認識されていると判定した場合、ステップＳ６５に進み、１つのウインドウ内で、ID_P番のIDが認識された数を表すカウンタNUMの値に１を加算する。ステップＳ６４において、注目している認識時間にID_P番のIDが認識されていないと判定された場合、ステップＳ６５の処理はスキップされる。
ステップＳ６６において、クラスタリング部９２は、注目した認識時間の数（確認した認識結果の数）が最小のウインドウサイズに達したか否かを判定する。
クラスタリング部９２は、ステップＳ６６において、注目した認識時間の数が最小のウインドウサイズに達していないと判定した場合、いま注目している認識時間の次の認識時間に注目し、ステップＳ６４以降の処理を繰り返す。
ステップＳ６６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したと判定した場合、ステップＳ６７に進み、カウンタNUMの値が０より大きいか否かを判定する。
ステップＳ６７において、クラスタリング部９２は、カウンタNUMの値が０より大きい、すなわち、１つのウインドウに、ID_P番のIDが認識された時間が含まれていると判定した場合、ステップＳ６８に進み、そのウインドウのカテゴリをカテゴリ０として判断する。上述したように、重要度の最も高いIDが１つのウインドウ内で認識されている場合、そのウインドウのカテゴリはカテゴリ０として判断される。
ステップＳ６９において、クラスタリング部９２は、それまでに判断した各ウインドウのカテゴリを参照して、カテゴリ０のウインドウが連続してＺ個（Ｚ＞０）続いたか否かを判定する。値Ｚには、例えば、まとまりの粒度に応じた値が設定される。
クラスタリング部９２は、ステップＳ６９において、カテゴリ０のウインドウが連続してＺ個続いたと判定した場合、ステップＳ７０に進み、その、連続するカテゴリ０のウインドウを１つの「まとまり」として判断し、まとまりの長さ（時間）を記憶する。
ステップＳ６７においてカウンタNUMの値が０であると判定した場合、ステップＳ６９において、カテゴリ０のウインドウが連続してＺ個続いていないと判定した場合、または、ステップＳ７０において、１つのまとまりの長さを記憶した場合、ステップＳ７１に進み、クラスタリング部９２は、次の認識時間に注目する。
ステップＳ７２において、クラスタリング部９２は、注目していた認識時間が最終の認識時間であったか否かを判定し、最終の認識時間ではないと判定した場合、ステップＳ６４に戻り、それ以降の処理を繰り返し行う。
一方、クラスタリング部９２は、ステップＳ７２において、注目していた認識時間が最終の認識時間であったと判定した場合、ステップＳ７３に進む。ステップＳ７３以降の図３６の処理が、カテゴリ１のクラスタリングに相当する。
ステップＳ７３において、クラスタリング部９２は、ID加工データに記録されているIDの時系列の先頭から順に注目し、認識結果を確認する。
クラスタリング部９２は、ステップＳ７４において、注目している認識時間にID_P番のIDとともに他のIDも認識されているか否かを判定する。例えば、図２０に示すようにカテゴリの意味が設定されている場合、ここでの判定は、「うちの子供」に割り当てられているID「０」の他に、「よその子供」に割り当てられているID（「Ｂくん」に割り当てられているID「１」、「Ｃくん」に割り当てられているID「２」）が、注目している認識時間に認識されているか否かに基づいて行われる。
ステップＳ７４において、クラスタリング部９２は、注目している認識時間にID_P番のIDとともに他のIDも含まれていると判定した場合、ステップＳ７５に進み、１つのウインドウ内で、ID_P番のIDと他のIDが認識された認識時間の数を表すカウンタNUMの値に１を加算する。ステップＳ７４において、注目している認識時間にID_P番のIDとともに他のIDが認識されていないと判定された場合、ステップＳ７５の処理はスキップされる。
ステップＳ７６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したか否かを判定する。
クラスタリング部９２は、ステップＳ７６において、注目した認識時間の数が最小のウインドウサイズに達していないと判定した場合、いま注目している認識時間の次の認識時間に注目し、ステップＳ７４以降の処理を繰り返す。
ステップＳ７６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したと判定した場合、ステップＳ７７に進み、カウンタNUMの値が０より大きいか否かを判定する。
ステップＳ７７において、クラスタリング部９２は、カウンタNUMの値が０より大きい、すなわち、１つのウインドウに、ID_P番のIDと他のIDが認識された認識時間が含まれていると判定した場合、ステップＳ７８に進み、そのウインドウのカテゴリをカテゴリ１として判断する。
ステップＳ７９において、クラスタリング部９２は、それまでに判断した各ウインドウのカテゴリを参照して、カテゴリ１のウインドウが連続してＺ個続いたか否かを判定する。
クラスタリング部９２は、ステップＳ７９において、カテゴリ１のウインドウが連続してＺ個続いたと判定した場合、ステップＳ８０に進み、その、連続するカテゴリ１のウインドウを１つの「まとまり」として判断し、まとまりの長さ（時間）を記憶する。
ステップＳ７７においてカウンタNUMの値が０であると判定した場合、ステップＳ７９において、カテゴリ０のウインドウが連続してＺ個続いていないと判定した場合、または、ステップＳ８０において１つのまとまりの長さを記憶した場合、ステップＳ８１に進み、クラスタリング部９２は、次の認識時間に注目する。
ステップＳ８２において、クラスタリング部９２は、注目していた認識時間が最終の認識時間であったか否かを判定し、最終の認識時間ではないと判定した場合、ステップＳ７４に戻り、それ以降の処理を繰り返し行う。
一方、クラスタリング部９２は、ステップＳ８２において、注目していた認識時間が最終の認識時間であると判定した場合、ステップＳ８３に進む。ステップＳ８３以降の図３７の処理が、カテゴリ２のクラスタリングに相当する。
ステップＳ８３において、クラスタリング部９２は、ID加工データに記録されているIDの時系列の先頭から順に注目し、認識結果を確認する。
クラスタリング部９２は、ステップＳ８４に進み、注目している認識時間にID_P番以外のIDのみが認識されているか否かを判定する。例えば、図２０に示すようにカテゴリの意味が設定されている場合、ここでの判定は、「うちの子供」に割り当てられているID「０」以外の、「よその子供」に割り当てられているIDのみが、注目している認識時間に認識されているか否かに基づいて行われる。
ステップＳ８４において、クラスタリング部９２は、注目している認識時間にID_P番以外のIDのみが認識されていると判定した場合、ステップＳ８５に進み、１つのウインドウの内で、ID_P番以外のIDのみが認識された認識時間の数を表すカウンタNUMの値に１を加算する。ステップＳ８４において、注目している認識時間にID_P番以外のIDのみが認識されていないと判定された場合、ステップＳ８５の処理はスキップされる。
ステップＳ８６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したか否かを判定する。
クラスタリング部９２は、ステップＳ８６において、注目した認識時間の数が最小のウインドウサイズに達していないと判定した場合、いま注目している認識時間の次の認識時間に注目し、ステップＳ８４以降の処理を繰り返す。
ステップＳ８６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したと判定した場合、ステップＳ８７に進み、カウンタNUMの値が、１つのウインドウを構成する認識時間の数の半分以上の値であるか否かを判定する。
ステップＳ８７において、クラスタリング部９２は、カウンタNUMの値が、１つのウインドウを構成する認識時間の数の半分以上の値であると判定した場合、すなわち、１つのウインドウの時間の半分以上の時間において、「よその子供」のIDだけが認識されている場合、ステップＳ８８に進み、そのウインドウのカテゴリをカテゴリ２として判断する。
ステップＳ８９において、クラスタリング部９２は、それまでに判断した各ウインドウのカテゴリを参照して、カテゴリ２のウインドウが連続してＺ個続いたか否かを判定する。
クラスタリング部９２は、ステップＳ８９において、カテゴリ２のウインドウが連続してＺ個続いたと判定した場合、ステップＳ９０に進み、その、連続するカテゴリ２のウインドウを１つの「まとまり」として判断し、まとまりの長さ（時間）を記憶する。
ステップＳ８７において、１つのウインドウの時間の半分以上の時間において「よその子供」のIDだけが認識されていないと判定した場合、ステップＳ８９において、カテゴリ２のウインドウが連続してＺ個続いていないと判定した場合、または、ステップＳ９０において、１つのまとまりの長さを記憶した場合、ステップＳ９１に進み、クラスタリング部９２は、次の認識時間に注目する。
ステップＳ９２において、クラスタリング部９２は、注目していた認識時間が最終の認識時間であったか否かを判定し、最終の認識時間ではないと判定した場合、ステップＳ８４に戻り、それ以降の処理を繰り返し行う。
一方、クラスタリング部９２は、ステップＳ９２において、注目していた認識時間が最終の認識時間であったと判定した場合、ステップＳ９３に進む。以上のようなクラスタリング部９２によるクラスタリングの結果はファイル生成部９３に供給される。
ステップＳ９３において、ファイル生成部９３は、クラスタリング部９２によるクラスタリングの結果に基づいて、それぞれのまとまりがどのカテゴリ（クラスタ）に属しているのかをメタデータファイルに書き出す。これにより、例えば、図３１に示すような「ClusterData」が書き出される。
ファイル生成部９３は、ステップＳ９４に進み、カテゴリ０，１，２のそれぞれにおいて、記憶していたまとまりの長さを比較し、例えば、最も長いものから上位３つのまとまりを選択する。
ステップＳ９５において、ファイル生成部９３は、それぞれのまとまりに対応するシーンがどのカテゴリに属するものであるのかを参照し、それぞれのカテゴリ毎に、長さの長いまとまりの上位３つをリンクポイントとしてメタデータファイルに書き出す。これにより、例えば、図３２に示すような「LinkData」が書き出される。
図３８の処理によりファイル生成部９３により生成されたメタデータファイルは、再生制御部８３に供給され、動画の再生に用いられる。なお、図３８においては、「ClusterData」と「LinkData」のみが書き出されているが、図２９、図３０に示す他の情報もファイル生成部９３によってメタデータファイルに書き出される。
次に、以上のようにしてシーン判定部８２により生成されたメタデータファイルに基づいて動画の再生を行う図１２の再生制御部８３について説明する。
図３９は、再生制御部８３の機能構成例を示すブロック図である。
再生制御部８３は、制御部１０１、再生部１０２、およびクラスタ分布表示制御部１０３から構成される。
制御部１０１は、取り込み部８１から供給されてきた画像（動画）を取得し、シーン判定部８２から供給されてくるメタデータファイルの記述とユーザ操作に基づいて、供給されてきた画像のうちの必要な画像を選択する。制御部１０１は、あるクラスタがユーザにより指定されたとき、そのクラスタに属する画像のみを選択し、選択した画像を再生対象の画像として再生部１０２に出力する。
例えば、図３０および図３１の記述がメタデータファイルに含まれており、ユーザにより、クラスタの粒度として「ClusterDepth0」が選択され、また、再生するクラスタとして「ClusterTitle0=Ａ」のクラスタが選択されている場合、制御部１０１は、その選択されたクラスタに属する画像であるフレームナンバ０の画像から再生部１０２に供給し、再生させる。
再生部１０２は、制御部１０１から供給されてきた画像を再生し、表示部３７の所定の位置に表示させる。
クラスタ分布表示制御部１０３は、シーン判定部８２から供給されてきたメタデータファイルに含まれるクラスタに関する記述に基づいて、クラスタの時間軸上の分布を表示部３７に表示させる。
図４０は、再生制御部８３により表示される画面の例を示す図である。
左上方の動画表示部１１１には、再生部１０２により再生されている画像が表示され、下方にあるクラスタ分布表示部１１５には、例えば、ユーザが選択したクラスタナンバ（カテゴリの番号（上述した例の場合、カテゴリ０，１，２，３））のクラスタの時間軸上の分布（例えば、「うちの子供」が映っているシーンのまとまりの分布、「うちの子供」と「よその子供」が映っているシーンのまとまりの分布）が表示される。クラスタ分布表示部１１５に表示されるクラスタのうち、現在、再生対象になっているクラスタは、例えば、再生対象となっていないクラスタと異なる色によって表示される。
図４０の例においては、クラスタ分布表示部１１５に表示されるクラスタのうち、クラスタＣ1が、現在、再生対象になっているクラスタである。すなわち、図４０の動画表示部１１１に表示されている画像はクラスタＣ1に属する画像である。
例えば、現在再生されているクラスタＣ1の最後の画像の再生が終了したとき、次に、クラスタＣ1の右隣に、所定の間隔だけ空けて表示されているクラスタＣ2の最初の画像から再生が開始される。クラスタＣ1とクラスタＣ2は、同じクラスタナンバのクラスタである。
これにより、ユーザは、「うちの子供」だけが映っているシーン、または、「うちの子供」と「よその子供」が映っているシーンといったように、自分が選択したシーンだけを連続して見ることができる。
また、ユーザは、現在再生中のクラスタとは異なるクラスタをクラスタ分布表示部１１５から選択することによって、その選択したクラスタの再生を開始させることができる。
なお、複数のクラスタナンバのクラスタの分布を表示することがユーザにより指定されている場合、クラスタ分布表示部１１５には、それぞれのクラスタナンバのクラスタの分布が、クラスタナンバ毎に色分けして表示される。
図４０の画面には、各種の操作ボタンが表示される操作ボタン表示部１１２、クラスタの粒度、および再生対象とするクラスタを選択するクラスタ選択部１１３、および、再生中のクラスタに関する情報を表示するクラスタ情報表示部１１４も表示されている。
操作ボタン表示部１１２に表示されるファイル選択ボタン１２１は、ユーザが動画ファイルを選択するとき操作され、再生／一時停止ボタン１２２は、ユーザが再生を開始、または一時停止するとき操作される。また、移動ボタン１２３は、再生するクラスタを、現在再生中のものから隣のものに移動するとき操作され、速度選択ボタン１２４は、再生速度を選択するとき操作される。
クラスタ選択部１１３に表示される粒度選択部１３１は、ユーザがクラスタの粒度を指示するとき操作され、クラスタ選択部１３２，１３３は、再生対象とするクラスタを指示するとき操作される。
なお、再生対象とするクラスタ（まとまり）は、例えば、図４１に示すような画面から選択されるようにしてもよい。
図４１の画面には、上から、「Ａくんだけ」の文字が表示されたカテゴリ選択ボタン１４１、「Ａくんとよその子」の文字が表示されたカテゴリ選択ボタン１４２、「よその子だけ」の文字が表示されたカテゴリ選択ボタン１４３、および、「誰もいない／バッジを持たない人」の文字が表示されたカテゴリ選択ボタン１４４が表示されている。各ボタンに表示されている名前等は、ユーザによる設定（IDとの対応付け）に基づいて表示される。
例えば、カテゴリ選択ボタン１４１が押下された場合、「Ａくん」だけが映っている画像のまとまりであるカテゴリ０のまとまりだけが再生される。このとき、クラスタ分布表示部１１５には、カテゴリ０のまとまりの分布が表示される。
また、カテゴリ選択ボタン１４２が押下された場合、「Ａくん」と「よその子」（「Ｂくん」、「Ｃくん」）が映っている画像のまとまりであるカテゴリ１のまとまりだけが再生される。このとき、クラスタ分布表示部１１５には、カテゴリ１のまとまりの分布が表示される。
同様に、カテゴリ選択ボタン１４３が押下された場合、クラスタ分布表示部１１５にはカテゴリ２のまとまりの分布が表示されるとともに、「よその子」だけが映っている画像のまとまりであるカテゴリ２のまとまりだけが再生され、カテゴリ選択ボタン１４４が押下された場合、クラスタ分布表示部１１５にはカテゴリ３のまとまりの分布が表示されるとともに、誰も映っていないか、センサバッジ４を付けていた「Ａくん」、「Ｂくん」、「Ｃくん」が映っていない画像のまとまりであるカテゴリ３のまとまりだけが再生される。
このような画面が表示されることにより、ユーザは、直感的に、再生するクラスタを選択することができる。
次に、図４２のフローチャートを参照して、図４０の画面を表示して動画の再生を行う再生制御部８３の再生処理について説明する。
ステップＳ１１１において、制御部１０１は、シーン判定部８２から供給されてきたメタデータファイルを読み込み、ステップＳ１１２に進み、ユーザによるClusterDepth（粒度）の指定を受け付ける。例えば、動画表示部１１１、クラスタ分布表示部１１５に何も表示されていない状態の図４０の画面が表示され、ユーザが、粒度選択部１３１にClusterDepthを指定することができるようになされる。
ステップＳ１１３において、制御部１０１は、ユーザにより指定されたClusterDepthが、メタデータファイルの記述と矛盾しないか否かを判定し、矛盾すると判定した場合、ステップＳ１１２に戻り、それ以降の処理を行う。
例えば、メタデータファイルに記述されているClusterDepthが、「粗い」、「中くらい」、「細かい」の３つであるにも関わらず、ユーザにより、「粗い」、「中くらい」、「細かい」以外の粒度が指定された場合、指定された粒度と、メタデータファイルの記述が矛盾するとして判定される。
制御部１０１は、ステップＳ１１３において、ユーザにより指定されたClusterDepthがメタデータファイルの記述と矛盾しないと判定した場合、ステップＳ１１４に進み、クラスタナンバの指定を受け付ける。
ステップＳ１１５において、制御部１０１は、ユーザにより指定されたクラスタナンバが、メタデータファイルの記述と矛盾しないか否かを判定し、矛盾すると判定した場合、ステップＳ１１４に戻り、それ以降の処理を行う。
例えば、メタデータファイルに記述されているクラスタナンバが、クラスタ０，１，２，３（カテゴリ０，１，２，３）の４つであるにも関わらず、ユーザにより、それ以外のクラスタナンバが指定された場合、指定されたクラスタナンバと、メタデータファイルの記述が矛盾するとして判定される。
ステップＳ１１５において、ユーザにより指定されたクラスタナンバがメタデータファイルの記述と矛盾しないと判定した場合、制御部１０１は、ステップＳ１１６に進み、メタデータファイルのクラスタに関する記述のうち、ユーザにより指定されたClusterDepthの記述を参照し、指定されたクラスタナンバのクラスタをリンク付けする。
例えば、図３１のClusterDataの記述があり、ユーザによりClusterDepth0、クラスタナンバ１が指定されている場合、第１行目、第４行目、第１１行目、第１４行目のClusterDepth0に関する記述が参照される。また、ClusterDepth0のときのクラスタナンバ１のクラスタが、フレームナンバ０から４４２までのクラスタ（第１行目と第４行目の記述により定められるクラスタ）以外にもある場合、それらのクラスタがリンク付けされる。制御部１０１によりリンク付けされたクラスタの情報は、制御部１０１からクラスタ分布表示制御部１０３に供給される。
ステップＳ１１７において、クラスタ分布表示制御部１０３は、制御部１０１から供給されてきた情報に基づいて、ユーザにより指定されたクラスタナンバのクラスタの時間軸上の分布をクラスタ分布表示部１１５に表示させる。
ステップＳ１１８において、制御部１０１は、再生対象とするクラスタを表すクラスタインデックスの値に０を設定する。クラスタインデックスの値０は、例えば、クラスタ分布表示部１１５に表示されるクラスタのうちの最も左側に表示されるクラスタを表す。
また、制御部１０１は、ステップＳ１１９において、クラスタ分布表示制御部１０３を制御し、クラスタ分布表示部１１５に表示されている再生対象のクラスタの色を例えば赤色などで強調して表示させる。
ステップＳ１２０において、制御部１０１は、撮影画像の中から選択したクラスタインデックスの値０のクラスタに属する画像を再生部１０２に供給し、その画像の再生を行わせる。
制御部１０１は、いま再生しているクラスタの最後のフレームまでを再生させた場合、ステップＳ１２１において、クラスタインデックスの値を１だけインクリメントし、ステップＳ１２２に進み、最後のクラスタの最後のフレームまで再生したか否かを判定する。
制御部１０１は、ステップＳ１２２において、最後のクラスタの最後のフレームまで再生していないと判定した場合、ステップＳ１１９に戻り、それ以降の処理を繰り返し実行し、最後のクラスタの最後のフレームまで再生したと判定した場合、処理を終了させる。
以上の処理により、ユーザは、自分が指定したカテゴリの画像を、所定のまとまり毎に見ることができる。
以上においては、図２９乃至図３２のメタデータファイルの記述のうちの、クラスタに関する記述（図３１のClusterData）に基づいて画像が再生される場合について主に説明したが、次に、リンク付けに関する記述、すなわち、図３２のLinkDataに基づいて撮影画像の再生を行う再生制御部８３の構成、動作について説明する。
図４３は、再生制御部８３の他の構成例を示すブロック図である。図３９と同じ構成には同じ符号を付してある。
制御部１０１は、取り込み部８１から供給されてきた画像を取得し、シーン判定部８２から供給されてきたメタデータファイルのうちのリンク付けに関する記述とユーザ操作に基づいて、取得した画像うちの必要な画像を選択する。制御部１０１は、再生対象とする画像を再生部１０２に出力するともに、再生部１０２により再生されている画像のリンク先の画像を、取り込み部８１から供給されてきた画像の中から選択し、選択したリンク先の画像をリンク先表示部１５１に出力する。
例えば、図３２のLinkDataの記述を含むメタデータファイルが供給されている場合において、フレームナンバ０の画像が再生部１０２により再生されているとき、制御部１０１は、その画像のリンク先であるフレームナンバ２４５２，５５６４，３４３（「family.mpg」の名前が設定されたファイルにある画像）の画像を選択し、それらをリンク先表示部１５１に出力する。
再生部１０２は、制御部１０１から供給されてきた画像を再生し、それを表示部３７の所定の位置に表示させる。
リンク先表示部１５１は、制御部１０１から供給されてきたリンク先の画像を、再生部１０２により表示されている再生中の画像の位置と異なる位置に表示させる。
図４４は、図４３の再生制御部８３により表示される画面の例を示す図である。
中央上方の動画表示部１６１には、再生部１０２により再生されている画像（ユーザにより選択された動画）が表示され、画面の下方のリンク先表示部１６３−１乃至１６３−３には、そのとき動画表示部１６１に表示されている画像のリンク先の画像が表示される。再生中の画像に応じてリンク先が異なるから、リンク先表示部１６３−１乃至１６３−３の表示は、適宜、そのときの動画表示部１６１の表示に連動して切り替わることになる。
これにより、再生制御部８３は、再生中のシーンとは別に、その、再生中のシーンに映っている子供と同じ子供が映っている、ある程度の長さのある他のシーンを提示することができる。
また、図４４の画面においては、ユーザは、リンク先表示部１６３−１乃至１６３−３に表示されている画像を選択することによって、その画像の位置から、動画の再生を開始させることができるようになされている。例えば、リンク先表示部１６３−１に表示されている画像が選択された場合、その画像を先頭の画像とするまとまりが再生され、再生された画像が動画表示部１６１に表示される。
なお、リンク先表示部１６３−１乃至１６３−３の表示は、リンク先の静止画、動画のいずれが表示されるようにしてもよい。動画が表示される場合、例えば、リンク先とされている画像以降の所定の時間のシーンが表示される。
動画表示部１６１とリンク先表示部１６３−１乃至１６３−３の間にあるスライドバー１６２は、ユーザが再生対象として選択した動画ファイル全体のうちの、現在の再生位置を表す。ユーザは、このスライドバー１６２を操作することによっても再生位置を替えることができる。
次に、図４５のフローチャートを参照して、図４３の再生制御部８３の再生処理について説明する。
ステップＳ１３１において、再生制御部８３の制御部１０１は、取り込み部８１から供給されてくる画像を取得し、例えば、取得した画像の先頭から、順次、それを再生部１０２に出力する。
制御部１０１は、ステップＳ１３２において、シーン判定部８２から供給されてきたリンクデータを参照し、取り込み部８１から供給されてきた画像の中から、現在の再生対象の画像のリンク先の画像を選択する。制御部１０１により選択されたリンク先の画像はリンク先表示部１５１に出力される。なお、そのとき再生対象とされている画像にリンク先がない場合、リンク先表示部１５１にリンク先の画像は出力されない。
ステップＳ１３３において、再生部１０２は、制御部１０１から供給されてきた画像の再生を開始し、表示部３７の所定の位置に表示させる。
一方、リンク先表示部１５１は、ステップＳ１３４において、制御部１０１から供給されてきたリンク先の画像を表示部３７の所定の位置に表示させる。これにより、表示部３７には、例えば、図４４の画面が表示される。
ステップＳ１３５において、制御部１０１は、現在、再生部１０２により再生されている画像のリンク先の画像が、リンク先表示部１６３−１乃至１６３−３に表示されている画像と異なるか否かを判定する。すなわち、ステップＳ１３３で再生が開始された後、再生対象の画像は時間の経過とともに順次変わるから、現在、再生対象とされている画像のリンク先の画像がリンク先表示部１６３−１乃至１６３−３に正しく表示されているか否かが判定される。
ステップＳ１３５において、制御部１０１は、再生部１０２により再生対象とされている画像のリンク先の画像が、リンク先表示部１６３−１乃至１６３−３に表示されている画像と異なると判定した場合、ステップＳ１３６に進む。
ステップＳ１３６において、制御部１０１は、リンク先の画像として新たに表示させる画像をリンク先表示部１５１に供給し、リンク先表示部１６３−１乃至１６３−３の表示を変更させる。これにより、再生中の画像に連動して、リンク先の画像の表示が切り替えられる。
ステップＳ１３５において、現在再生中の画像のリンク先の画像が正しくリンク先表示部１６３−１乃至１６３−３に表示されていると判定された場合、ステップＳ１３６の処理はスキップされる。
ステップＳ１３７において、制御部１０１は、ユーザ操作に基づいて、リンク先表示部１６３−１乃至１６３−３に表示しているリンク先の画像が選択され、再生対象をリンク先の画像以降に変更することが指示されたか否かを判定し、指示されたと判定した場合、ステップＳ１３８に進む。
ステップＳ１３８において、制御部１０１は、ユーザによりリンク先の画像が選択された場合、その選択されたリンク先以降の画像を再生部１０２に供給し、再生を開始させる。このとき、それまで再生されていたまとまりの再生は終了され、新たに選択されたリンク先以降のまとまりの再生が開始される。
ステップＳ１３７において、リンク先が選択されていないと判定された場合、ステップＳ１３８の処理はスキップされる。
ステップＳ１３９において、制御部１０１は、再生を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１３５に戻り、それ以降の処理を繰り返す。例えば、ユーザにより再生の停止が指示された場合、または、ユーザにより選択された動画の最後の画像まで再生した場合、制御部１０１は、ステップＳ１３９において、再生を終了すると判定し、処理を終了させる。
以上においては、ビデオカメラ１では撮影とID生データの取得のみが行われ、ID生データを用いたメタデータファイルの生成と、生成したメタデータに基づく動画の再生はパーソナルコンピュータ２において行われるとしたが、メタデータの生成までがビデオカメラ１により行われるようにしてもよい。
図４６は、本発明を適用した撮影・表示システムの他の構成例を示す図である。
図４６のビデオカメラ３０１においては、再生対象となる画像の撮影と、ID認識用の画像の撮影が行われ、撮影して得られたID生データを用いて、図２８乃至図３１に示すメタデータファイルが生成され、再生対象となる画像とともに内蔵の記憶部に記憶される。
一方、図４６の矢印で示すように、ビデオカメラ３０１から画像とメタデータファイルを取り込んだプレーヤ３０２においては、メタデータファイルに基づいて、上述したような、ClusterDataを用いたクラスタ毎の再生、LinkDataを用いたジャンプ再生（再生対象のまとまりの変更）が行われる。
図４７は、図４６のビデオカメラ３０１の構成例を示すブロック図である。
ビデオカメラ３０１は、ビデオカメラ部３１１と情報処理部３１２から構成される。このうちのビデオカメラ部３１１は、図９の構成と同様の構成を有する。すなわち、ビデオカメラ部３１１は、レンズ６１を介して撮影された再生対象となる画像とともに、撮影した画像から認識したID生データを記憶部６４に記憶させる。
情報処理部３１２は、図１４の構成と同様の構成を有する。すなわち、情報処理部３１２は、ビデオカメラ部３１１に記憶されているID生データを読み出し、IDの認識結果に対してフィルタリング、クラスタリングを施すことによって得られたクラスタリングの結果を表す情報、リンク付けの情報を含むメタデータファイルを生成する。生成されたメタデータファイルは、ビデオカメラ部３１１に供給され、再生対象となる画像とともに記憶される。
記憶部６４に記憶されている撮影画像列とメタデータファイルは、所定のタイミングで、有線または無線を介してプレーヤ３０２に取り込まれる。
図４８は、図４６のプレーヤ３０２の機能構成例を示すブロック図である。プレーヤ３０２は、図６のパーソナルコンピュータ２の構成と同様の構成を有しており、そのCPUにより所定のプログラムが実行されることで図４８の各構成のうちの少なくとも一部が実現される。
図４８に示すように、プレーヤ３０２には、メタデータを生成するための構成である、図１２のシーン判定部８２以外の構成が含まれる。
取り込み部８１は、ビデオカメラ３０１から取り込んだ画像とメタデータファイルを再生制御部８３に出力する。取り込み部８１から再生制御部８３に供給される、ビデオカメラ３０１により生成されたメタデータファイルは、図２９乃至図３２に示すものと同様のものであり、再生制御部８３においては、取り込み部８１から供給されてきたメタデータファイルに基づいて、ClusterDataを用いたクラスタ毎の再生、LinkDataを用いたジャンプ再生が行われる。
例えば、カメラ側でメタデータが生成されることにより、ユーザは、画像とともに再生側の機器にそれを取り込むだけで、メタデータに基づく再生を行わせることができる。
このように、図１２に示す構成のうち、シーン判定部８２は撮影側の構成とするように、構成の配置は適宜変更可能である。
また、反対に、撮影側の構成であるDSP６３などが再生側の構成として設けられるようにしてもよい。この場合、撮影側ではIDは認識されず、IDを認識するために認識画像撮影領域７２により撮影された画像は、再生対象となる動画撮影領域７１により撮影された画像とともに記憶部６４に記憶される。それらの画像を取り込んだ再生側においては、認識画像撮影領域７２により撮影された画像に基づくIDの認識、認識したIDに基づくメタデータファイルの生成等が行われ、動画撮影領域７１により撮影された画像の再生がメタデータファイルに基づいて行われる。
さらに、以上においては、メタデータファイルは、撮影された画像を再生するために用いられるとしたが、例えば、ユーザが、まとまり単位で、撮影された画像をDVDなどの記憶メディアに記憶させたり、ネットワークを介して他の装置に送信したり、或いは、編集等を行うことができるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記憶媒体からインストールされる。
この記憶媒体は、図６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記憶されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM３２や、記憶部３８に含まれるハードディスクなどで構成される。
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
本発明を適用した撮影・表示システムの構成例を示す図である。 パーソナルコンピュータの再生機能について示す図である。 ユーザの操作について説明するフローチャートである。 図１のセンサバッジの構成例を示すブロック図である。 マイクロコンピュータの構成例を示すブロック図である。 図１のパーソナルコンピュータの構成例を示すブロック図である。 パーソナルコンピュータの機能構成例を示すブロック図である。 パーソナルコンピュータの名前設定処理について説明するフローチャートである。 図１のビデオカメラの構成例を示すブロック図である。 ビデオカメラの撮影処理について説明するフローチャートである。 IDの認識結果の例を示す図である。 パーソナルコンピュータの機能構成例を示すブロック図である。 IDの認識時間と、撮影された画像の関係を示す図である。 図１２のシーン判定部の構成例を示すブロック図である。 フィルタリングの例を示す図である。 フィルタリングの他の例を示す図である。 フィルタリングのさらに他の例を示す図である。 フィルタリングの例を示す図である。 フィルタリングの他の例を示す図である。 カテゴリの意味の例を示す図である。 クラスタリングの順番の例を示す図である。 クラスタリングの例を示す図である。 クラスタリングの他の例を示す図である。 クラスタリングのさらに他の例を示す図である。 クラスタリングの例を示す図である。 メタデータファイルに記述される情報の例を示す図である。 メタデータファイルに記述される情報の他の例を示す図である。 メタデータファイルに記述される情報のさらに他の例を示す図である。 メタデータファイルの記述の例を示す図である。 図２９に続くメタデータファイルの記述の例を示す図である。 図３０に続くメタデータファイルの記述の例を示す図である。 図３１に続くメタデータファイルの記述の例を示す図である。 パーソナルコンピュータの処理について簡単に説明するフローチャートである。 シーン判定部のシーン判定処理について説明するフローチャートである。 シーン判定部のシーン判定処理について説明する、図３４に続くフローチャートである。 シーン判定部のシーン判定処理について説明する、図３５に続くフローチャートである。 シーン判定部のシーン判定処理について説明する、図３６に続くフローチャートである。 シーン判定部のシーン判定処理について説明する、図３７に続くフローチャートである。 図１２の再生制御部の機能構成例を示すブロック図である。 図３９の再生制御部により表示される画面の例を示す図である。 カテゴリの選択画面の例を示す図である。 図３９の再生制御部の再生処理について説明するフローチャートである。 図１２の再生制御部の他の機能構成例を示すブロック図である。 図４３の再生制御部により表示される画面の例を示す図である。 図４３の再生制御部の再生処理について説明するフローチャートである。 本発明を適用した撮影・表示システムの他の構成例を示す図である。 図４６のビデオカメラの構成例を示すブロック図である。 図４６のプレーヤの機能構成例を示すブロック図である。
符号の説明
１ ビデオカメラ， ２ パーソナルコンピュータ， ４−１乃至４−３ センサバッジ， ８１ 取り込み部， ８２ シーン判定部， ８３ 再生制御部， ９１ フィルタリング部， ９２ クラスタリング部， ９３ ファイル生成部， １０１ 制御部， １０２ 再生部， １０３ クラスタ分布表示制御部， １５１ リンク先表示部

Claims (15)

  1. 識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理装置において、
    第１の画像列と、前記第１の画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得手段と、
    所定の時間を前記識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において前記識別情報が認識されておらず、直前の認識時間において前記識別情報が認識されている場合、注目する認識時間において前記識別情報が認識されているものとするとともに、注目する認識時間において前記識別情報が認識されており、直後の認識時間において前記識別情報が認識されていない場合、注目する認識時間において前記識別情報が認識されていないものとするように、前記取得手段により取得された前記識別情報の時系列に対してフィルタリングを施すフィルタリング手段と、
    前記フィルタリング手段によりフィルタリングが施されることによって取得された前記識別情報の時系列に基づく前記識別情報の関連付けの結果に基づいて、対応する時間に撮影された前記第１の画像列を構成するシーン同士の関連付けを行う関連付け手段と
    を備えることを特徴とする画像処理装置。
  2. 前記フィルタリング手段は、前記識別情報が認識されていない注目する認識時間を前記識別情報が認識されている時間とする処理と、前記識別情報が認識されている注目する認識時間を前記識別情報が認識されていない時間とする処理を、所定の回数ずつ行う
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記関連付け手段は、さらに、所定の時間、連続して同じカテゴリに属する前記識別情報の時系列が１つのまとまりとなるように前記識別情報の時系列の関連付けを行う
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記第１の画像列を構成するシーンうち、前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンを再生する再生手段をさらに備える
    ことを特徴とする請求項３に記載の画像処理装置。
  5. 前記再生手段は、さらに、同じカテゴリに属する前記識別情報の時系列からなる、複数
    の前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンを再生する
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンの時間軸上の分布を、前記再生手段により再生されているシーンが表示されている位置と異なる位置に表示する分布表示手段をさらに備える
    ことを特徴とする請求項４に記載の画像処理装置。
  7. 前記再生手段は、前記分布表示手段により表示されている分布の中から選択されたシーンの再生を行う
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記関連付け手段は、さらに、第１のまとまりに対して、前記第１のまとまりを構成する前記識別情報の時系列のカテゴリと同じカテゴリに属する前記識別情報の時系列からなる第２のまとまりをリンク付けする
    ことを特徴とする請求項３に記載の画像処理装置。
  9. 前記第１の画像列を再生する再生手段と、
    前記再生手段により、前記第１のまとまりに対応する時間に撮影された前記第１の画像列を構成する第１のシーンが再生されているとき、前記第２のまとまりに対応する時間に撮影された前記第１の画像列を構成する第２のシーンを、前記第１のシーンが表示されている位置と異なる位置に表示する表示手段と
    をさらに備えることを特徴とする請求項８に記載の画像処理装置。
  10. 前記表示手段は、複数の前記第２のシーンを表示する
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 前記再生手段は、前記表示手段により表示された前記第２のシーンがユーザにより選択されたとき、選択された前記第２のシーンの再生を開始する
    ことを特徴とする請求項９に記載の画像処理装置。
  12. 前記関連付け手段による、前記第１の画像列を構成するシーン同士の関連付けの結果を表すメタデータを生成する生成手段をさらに備える
    ことを特徴とする請求項１に記載の画像処理装置。
  13. 識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理方法において、
    画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得ステップと、
    所定の時間を前記識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において前記識別情報が認識されておらず、直前の認識時間において前記識別情報が認識されている場合、注目する認識時間において前記識別情報が認識されているものとするとともに、注目する認識時間において前記識別情報が認識されており、直後の認識時間において前記識別情報が認識されていない場合、注目する認識時間において前記識別情報が認識されていないものとするように、前記取得ステップの処理により取得された前記識別情報の時系列に対してフィルタリングを施すフィルタリングステップと、
    前記フィルタリングステップの処理によりフィルタリングが施されることによって取得された前記識別情報の時系列に基づく前記識別情報の関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付けステップと
    を含むことを特徴とする画像処理方法。
  14. 識別情報が割り当てられた機器を保持する被写体を撮影した画像の処理をコンピュータに実行させるプログラムにおいて、
    画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得ステップと、
    所定の時間を前記識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において前記識別情報が認識されておらず、直前の認識時間において前記識別情報が認識されている場合、注目する認識時間において前記識別情報が認識されているものとするとともに、注目する認識時間において前記識別情報が認識されており、直後の認識時間において前記識別情報が認識されていない場合、注目する認識時間において前記識別情報が認識されていないものとするように、前記取得ステップの処理により取得された前記識別情報の時系列に対してフィルタリングを施すフィルタリングステップと、
    前記フィルタリングステップの処理によりフィルタリングが施されることによって取得された前記識別情報の時系列に基づく前記識別情報の関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付けステップと
    を含むことを特徴とするプログラム。
  15. 識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する撮影装置において、
    撮影手段と、
    前記撮影手段により撮影された画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得手段と、
    所定の時間を前記識別情報の認識時間としてそれぞれの認識時間に注目し、注目する認識時間において前記識別情報が認識されておらず、直前の認識時間において前記識別情報が認識されている場合、注目する認識時間において前記識別情報が認識されているものとするとともに、注目する認識時間において前記識別情報が認識されており、直後の認識時間において前記識別情報が認識されていない場合、注目する認識時間において前記識別情報が認識されていないものとするように、前記取得手段により取得された前記識別情報の時系列に対してフィルタリングを施すフィルタリング手段と、
    前記フィルタリング手段によりフィルタリングが施されることによって取得された前記識別情報の時系列に基づく前記識別情報の関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付け手段と
    を備えることを特徴とする撮影装置。
JP2004255675A 2004-09-02 2004-09-02 画像処理装置および方法、撮影装置、並びにプログラム Expired - Fee Related JP4110478B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004255675A JP4110478B2 (ja) 2004-09-02 2004-09-02 画像処理装置および方法、撮影装置、並びにプログラム
US11/201,262 US7474764B2 (en) 2004-09-02 2005-08-11 Picture processing apparatus, picture processing method, picture pickup apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004255675A JP4110478B2 (ja) 2004-09-02 2004-09-02 画像処理装置および方法、撮影装置、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006074463A JP2006074463A (ja) 2006-03-16
JP4110478B2 true JP4110478B2 (ja) 2008-07-02

Family

ID=35942477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004255675A Expired - Fee Related JP4110478B2 (ja) 2004-09-02 2004-09-02 画像処理装置および方法、撮影装置、並びにプログラム

Country Status (2)

Country Link
US (1) US7474764B2 (ja)
JP (1) JP4110478B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759495A (ja) * 1993-08-19 1995-03-07 New Harima Kk 人工エビ餌

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382405B2 (en) 2001-12-03 2008-06-03 Nikon Corporation Electronic apparatus having a user identification function and user identification method
CN101400640B (zh) 2006-03-17 2013-05-08 日本曹达株式会社 使用原子转移自由基偶联反应的1，2-苯基乙烷系化合物的制造方法
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
JP5451017B2 (ja) * 2008-09-22 2014-03-26 テルモ株式会社 動画像記録再生装置および動画像管理装置
EP2610871A1 (en) * 2011-12-30 2013-07-03 Research In Motion Limited Methods and apparatus for use in providing object indicators during video recording or playback
KR102302492B1 (ko) * 2017-03-03 2021-09-15 가부시키가이샤 유에이씨제이 알루미늄 합금 후판
JP7116833B1 (ja) 2021-09-28 2022-08-10 Kddi株式会社 移動体管理装置及び移動体管理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3876456B2 (ja) * 1996-05-23 2007-01-31 ソニー株式会社 画像合成装置
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JP4232252B2 (ja) 1999-01-27 2009-03-04 ソニー株式会社 利用者特定システム
JP4270703B2 (ja) 2000-02-24 2009-06-03 日本放送協会 自動人物インデックス発生装置
US7843495B2 (en) 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759495A (ja) * 1993-08-19 1995-03-07 New Harima Kk 人工エビ餌

Also Published As

Publication number Publication date
US20060044402A1 (en) 2006-03-02
US7474764B2 (en) 2009-01-06
JP2006074463A (ja) 2006-03-16

Similar Documents

Publication Publication Date Title
CN103535023B (zh) 包括特定人的视频摘要
CN104320571B (zh) 电子设备及用于电子设备的方法
CN103620682B (zh) 数字视频摄像机系统和形成视频摘要的方法
JP4760892B2 (ja) 表示制御装置、表示制御方法及びプログラム
US20100094441A1 (en) Image selection apparatus, image selection method and program
US7917020B2 (en) Information processing device and method, photographing device, and program
US8331691B2 (en) Image data processing apparatus and image data processing method
WO2008035688A1 (fr) Dispositif et procédé d'enregistrement, programme, et dispositif et procédé de lecture
CN101527790B (zh) 摄像装置、图像再现装置、摄影控制方法及图像再现方法
JP2016119600A (ja) 編集装置及び編集方法
CN101365063B (zh) 电子照相机以及视场图像再现装置
US7474764B2 (en) Picture processing apparatus, picture processing method, picture pickup apparatus, and program
CN105450911A (zh) 图像处理装置、图像处理方法
US20100003010A1 (en) Imaging apparatus and method to control the same
JP5124994B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP2013121097A (ja) 撮像装置及び方法、並びに画像生成装置及び方法、プログラム
JP4140579B2 (ja) 画像処理装置および方法、撮影装置、並びにプログラム
JP2009260748A (ja) 記憶再生装置
JP4989362B2 (ja) 撮像装置、及び、そのスルー画像の表示方法、並びに、撮影画像の記録方法
JP2008199330A (ja) 動画像管理装置
JP2005184348A (ja) 映像処理装置および代表画像設定方法
JP2012137560A (ja) カラオケ装置、カラオケ装置の制御方法及び制御プログラム
JP4882525B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP2020137050A (ja) 撮像装置、撮像方法、撮像プログラム及び学習装置
JP4744337B2 (ja) 画像再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080326

R151 Written notification of patent or utility model registration

Ref document number: 4110478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140418

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees