以下に、本発明の実施の形態について図面を参照して説明する。
図1は、本発明を適用したシステムの一実施の形態の構成を示す図である。記録媒体11には、ユーザが撮影した画像(動画像)やテレビジョン放送の番組などの画像データが記録されている。再生装置12は、記録媒体11に記録されている画像データを再生する。再生された画像は、表示装置13に供給され、ユーザに提供される。
記録媒体11は、本発明の実施の形態においてはどのような媒体でも良い。例えば、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)などでも良いし、ビデオテープなどでも良い。また本実施の形態においては、記録媒体11は、再生装置12に対して着脱可能な記録媒体であり、その記録媒体11から、読み出される画像データに基づく画像が再生されるとして説明を続けるが、例えばインターネットなどで構成される伝送媒体を介して、画像データが取得され、その画像データに基づく画像が再生されるような形態も、本発明に含まれる。
再生装置12は、記録媒体11に記録されている画像データを再生する機能を有する。表示装置13は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などで構成され、再生装置12からの画像を表示する。
ここで、図1に示したシステムにおいて扱われるデータについて説明を加える。記録媒体11には、コンテンツデータ21が記録されている。再生装置12には、ファイル22が記憶されている。記録媒体11に記録されているコンテンツデータ21のみが、再生装置12で再生された場合、通常の画像がユーザ側に提供される。記録媒体11に記録されているコンテンツデータ21と再生装置12に記録されているファイル22内のデータがともに再生された場合、通常の画像に対して何らかの編集(加工)が加えられた画像がユーザ側に提供される。
ファイル22には、図2に示すように、複数の再生パラメータ30―1乃至30−Nが含まれている。再生パラメータ30―1乃至30−Nはそれぞれ、コンテンツデータ21を再生することにより得られるオリジナルの画像に対し、ユーザが加えた編集を施すためのデータである。このように、本実施の形態においては、コンテンツデータ21そのものに、ユーザが加えた編集結果を書き込んだりしないため、換言すれば、コンテンツデータ21自体を編集することはないので、オリジナルの画像をそのまま残すことができる。
なお、以下の説明において、再生パラメータ30−1乃至30−Nを、個々に区別する必要がない場合、単に、再生パラメータ30と記述する。他の記載も同様とする。
また、ユーザは、オリジナルの画像に対して、複数の編集を別々に施すことが可能である。すなわち、ユーザは、オリジナルの画像に対して、複数のファイル22、再生パラメータ30、または加工データ32を生成させることが可能とされている。
例えば、コンテンツデータ21自体を編集してしまうと、オリジナルの画像が失われるとともに、次に、他の編集を施す場合には、既に施した編集の上に行うことになる。しかしながら本実施の形態においては、複数の編集を施したとしても、その編集を再現するためのデータは、異なるデータとして保存されるため、それぞれの編集の結果を、別々に確認することができるとともに、後述するような処理により、複数の編集結果が組み合わされたときの効果も確認することが可能となる。
再生パラメータ30は、図2に示すように、同期特徴量31と加工データ32を含む構成とされている。なおここでは、再生パラメータ30に同期特徴量31と加工データ32が含まれるとして説明を続けるが、同期特徴量31と加工データ32が、関連付けられて記憶されていれば(ファイル22内に管理されていれば)処理は行えるため、再生パラメータ30に含まれるというデータ構造でなくても良い。
再生パラメータ30−1には、同期特徴量31―1と加工データ32−1が含まれている。また、再生パラメータ30−2には、同期特徴量31―2、加工データ32−2、加工データ32−3が含まれている。再生パラメータ30−Nには、同期特徴量31―Nと加工データ32−Mが含まれている。
同期特徴量31は、1フィールド毎または1フレーム毎に生成される。ここでは、1フレーム毎に生成されるとして説明を続ける。
同期特徴量31は、コンテンツデータ21のどのフレームに関する再生パラメータ30であるのかを示す情報である。同期特徴量31は、コンテンツデータ21が再生されたとき、その再生されたフレームから抽出された特徴量である。後述するように、コンテンツデータ21が再生されたとき、その再生されたフレームから特徴量が抽出され、抽出された特徴量と一致する同期特徴量31があるか否かが判断され、一致したと判断されたとき、そのフレームに対して、加工データ32で示される編集が施される。
同期特徴量31は、コンテンツを構成するフレームの所定のフレームと同期を取るためのデータである。換言すれば、同期特徴量31は、コンテンツを構成するフレームのうち、どのフレームに対する加工データ32であるかを判断するときに用いられるデータである。
再生パラメータ30−2には、同期特徴量31―2、加工データ32−2、加工データ32−3が含まれている。この場合、1つの同期特徴量31―2に、2つの加工データ32−2と加工データ32−3が関連付けられている。この場合、加工データ32−2に基づく編集が施された画像と、加工データ32−3に基づく編集が施された画像とは、同じフレームからの画像であっても、異なる画像となる。
再生パラメータ30−1は、1つの同期特徴量31―1に対して、1つの加工データ32―1が関連付けられているが、このような場合、1フレームに対して、1つの編集が行わた状態であることを示している。再生パラメータ30−2は、1つの同期特徴量31−2に対して、2つの加工データ32−2と加工データ32−3が関連付けられているが、このような場合、1フレームに対して、異なる2つの編集が行われた状態であることを示している。
このように1つの同期特徴量31には、1つの加工データ32が関連付けられている場合と、複数の加工データ32が関連付けられている場合とがあり、その関連付けられている加工データ32の数は、1つのフレームに対して施された編集の数に相当する。
このように、再生パラメータ30には、コンテンツを構成するフレームと同期するための同期特徴量31と、同期されたフレームに対して施されている編集を再現するための加工データ32が含まれる。
1つのコンテンツデータ21に基づく映像は、複数のフレームから構成されているため、1つのコンテンツデータ21には、複数の再生パラメータ30が生成されることになる。複数の再生パラメータ30を、そのまま記憶するようにしても良いが、図2に示すように、ファイル化して記憶する方が、管理しやすくなると考えられる。そこで例えば、上記したように1つのコンテンツデータ21に対して、1ファイルが生成されるようにしても良い。
図2に示すように、例えば、ファイル22には、再生パラメータ30−1や再生パラメータ30−2が含まれる。このファイル22は、コンテンツデータ21に対応する再生パラメータ30を含むファイルであるとする。図示はしていないが、ファイル22と異なるファイル22’は、ファイル22とは異なるコンテンツデータに対するファイルである。
次に、このような再生パラメータ30をコンテンツデータ21とともに再生する再生装置12の構成について説明する。図3は、再生装置12の内部構成例を示す図である。
再生装置12は、記録再生部51、画像抽出部52、信号処理部53、再生パラメータ処理部54、操作部55、再生パラメータ記憶部56、加工データ演算部57、およびファイル記憶部58を含む構成とされている。
記録再生部51は、例えば、ユーザによる操作部55の操作に応じて、記録媒体11からコンテンツデータ21を再生して、画像を画像抽出部52に供給する
以下の説明において、コンテンツデータ21が再生されることにより取得される画像を、通常画像を記述し、その通常画像に対して、加工データ32に基づく編集が加えられた画像を抽出画像と記述する。ここでは、編集として、通常画像の一部分が拡大された画像を表示するような編集が行われる場合を例に挙げて説明をする。すなわち、編集として、通常画像の一部分が抽出され、拡大されて表示されるような編集が行われる場合を例に挙げて説明する。
図3の説明に戻り、画像抽出部52は、再生パラメータ処理部54から供給される再生パラメータ30に基づいて、記録再生部51から供給される通常画像から一部の領域の画像を抽出し、その抽出した抽象画像を、信号処理部53に出力する。
即ち、再生パラメータ30(に含まれる加工データ32)は、通常画像上の長方形状の領域を表す情報としての、例えば、その長方形状の領域の横および縦の長さと、通常画像上における左上の点の座標とを含んでおり、画像抽出部52は、再生パラメータ30に基づいて、そこに含まれる情報が表す長方形状の領域(以下、適宜、抽出ウインドウという)を特定する。そして、画像抽出部52は、通常画像から、抽出ウインドウ内の画像を、抽出画像として抽出し、信号処理部53に供給する。
信号処理部53は、再生パラメータ処理部54から供給される再生パラメータ30に基づいて、画像抽出部52から供給される抽出画像に信号処理を施し、表示装置13(図1)に供給する。これにより、表示装置13では、信号処理部53で信号処理が施された抽出画像が表示される。
再生パラメータ処理部54は、ファイル記憶部58から供給される再生パラメータ30を、画像抽出部52および信号処理部53に供給する。また、再生パラメータ処理部54は、ユーザによる操作部55の操作に応じて、再生パラメータ30を生成し、画像抽出部52および信号処理部53に供給する。さらに、再生パラメータ処理部54は、ファイル記憶部58から供給される再生パラメータ30、または操作部55の操作に応じて生成した再生パラメータ30を、再生パラメータ記憶部56に供給して記憶させる。また、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶された再生パラメータ30を読み出し、ファイル記憶部58に供給して、記憶させる。
再生パラメータ記憶部56は、再生パラメータ処理部54から供給される再生パラメータを一時記憶する。操作部55は、記録媒体11に記録されたコンテンツデータ21(通常画像)の再生や編集などを指令するときに、ユーザによって操作され、その操作に対応した操作信号を、記録再生部51または再生パラメータ処理部54に供給する。
加工データ演算部57は、後述するような加工データ32同士の加算や減算といった処理を行う。その結果生成された新たな加工データは、再生パラメータ処理部54に供給される。ファイル記憶部58は、図2に示したファイル22を記憶する。
なお、図3においてファイル記憶部58は、再生装置12に含まれる構成としたが、ファイル記憶部58を、再生装置12に対して着脱可能な記録媒体で構成し、再生装置12には、その記録媒体が着脱されるドライブなどが含まれる構成とされるようにしても良い。このように、ファイル記憶部58を記録媒体で構成することで、他の再生装置に、その記録媒体を装着し、他の装置でファイル22を再生させることが可能となる。
次に、図4を参照して、図3の画像抽出部52の処理について説明する。
例えば、ユーザの操作が、通常画像内の所定の画像を拡大して表示させるという操作であった場合、再生パラメータ30には、通常画像における抽出画像に対応する領域を表す情報を含む加工データ32が含まれている。そして、その加工データ32が表す領域が抽出ウインドウとして、図4に示すように設定され、通常画像から、抽出ウインドウ内の画像を抽出画像として抽出して表示される。このような処理が行われることにより、通常画像内に表示されている所定の画像が拡大された状態で、表示装置13に表示される。
ユーザが、ズームインに相当する編集を行った場合、その編集によって得られる通常画像の画角は狭くなり、通常画像に対応する領域は、図4においてR1やR2で示すようにサイズの小さな領域になり、抽出ウインドウも、通常画像のサイズよりも小さいものとなる。
このように、抽出ウインドウのサイズは一定であるとは限らないため、画像抽出部52において、そのような抽出ウインドウを用いて、通常画像から抽出される抽出画像の画素数は一定であるとは限らない。
一方、表示装置13は、所定の画素数の画像を表示するので、画像抽出部52では、通常画像から抽出した抽出画像を、表示装置13で表示可能な所定の画素数の画像に変換する必要がある。ある画素数の抽出画像を、他の画素数の抽出画像に変換する画像変換処理としては、画素を補間することにより行う処理が一例としてあげられる。
次に、図5のフローチャートを参照して、図3の再生装置12の動作について説明する。まず、再生装置12の基本的な動作について説明する。ここで、基本的な動作とは、図2の再生パラメータ30−1のように、1つの同期特徴量31―1に、1つの加工データ32−1が関連付けられているようなときであるとする。
ユーザが操作部55を操作して、再生装置12の電源をオンにすると、ステップS21において、再生パラメータ処理部54は、再生装置12の動作モードが再生モードであるかどうかを判定する。
ここで、再生装置12の動作モードとしては、例えば、記録媒体11に記録された画像を再生する再生モードと、画像を編集する編集モードとがある。再生装置12の動作モードは、例えば、ユーザが操作部55を操作することによって選択(設定)することができる。
ステップS21において、再生装置12の動作モードが再生モードであると判定された場合、ステップS22に進み、再生モードの処理が開始される。
再生モードの処理では、まずステップS22において、再生パラメータ処理部54により、記録媒体11に記録された画像を再生するのに用いるファイル22が選択される。
ここで、ファイル22には上記したように、通常画像(この場合、コンテンツデータ21)に対して生成された一連の再生パラメータ30が含まれている。また、そのファイル22は、ファイル記憶部58に記憶されている。ファイル記憶部58には、1以上のファイル22を記憶することができ、ステップS22では、その1以上のファイル22から、画像の再生に用いるファイル22が選択される。
即ち、例えば、再生パラメータ処理部54は、ファイル記憶部58に記憶されているファイル22のファイル名を認識する。ファイル名としては、コンテンツデータ21が取得(撮影や録画などにより記録媒体11に記録された)された日時でも良いし、ユーザにより付けられた名前などでも良い。さらに、再生パラメータ処理部54は、信号処理部53を制御することにより、ファイル記憶部58に記憶されているファイル名の一覧を、そのうちのいずれか1つの選択を促すメッセージとともに、表示装置13に表示させる。
ユーザが、表示装置13に表示されたファイル名の一覧を見て、操作部55を操作することにより、ファイル名の一覧から、1つのファイル名を選択すると、ステップS22において、再生パラメータ処理部54は、そのファイル名によって特定されるファイル22を、画像の再生に用いるファイル22として選択する。
その後、ステップS22からステップS23に進み、再生パラメータ処理部54は、記録再生部51を制御することにより、記録媒体11に記録されたコンテンツデータ21の再生を開始させるとともに、ファイル記憶部58に記憶されているファイル22の再生を開始する。これにより、記録媒体11からは、コンテンツデータ21が再生され(読み出され)、コンテンツデータ21が、画像抽出部52に供給されるとともに、ファイル記憶部58からファイル22(ファイル22に含まれる再生パラメータ30)が、再生パラメータ処理部54に供給される。
ここで、上述したように、再生パラメータ30は、フレーム毎に存在しうる。通常画像の再生は、特に指定されない限り、再生パラメータ30が存在する時間的に最も前のフレームから開始される。
再生パラメータ処理部54は、ステップS23においてファイル22に含まれる再生パラメータ30の再生を開始する。これにより、記録再生部51からの再生パラメータ30の供給が開始されると、その再生パラメータ30の、画像抽出部52および信号処理部53への供給が開始され、ステップS24に処理が進められる。
ステップS24において、画像抽出部52は、記録再生部51から供給される通常画像からの、再生パラメータ処理部54から供給される再生パラメータに基づく抽出画像の抽出を開始する。
即ち、記録再生部51から画像抽出部52に対して、通常画像が、例えばフレーム単位で供給され、画像抽出部52は、記録再生部51から供給される通常画像のフレームを、順次、注目フレームとして、その注目フレームから抽出画像を抽出し、信号処理部53に供給する。
具体的には、画像抽出部52は、再生パラメータ処理部54から供給される再生パラメータ30のうち、注目フレームに対する再生パラメータ30(以下、適宜、対応パラメータという)が存在する場合、注目フレームから、対応パラメータに含まれる情報によって特定される抽出ウインドウ内の画像を抽出画像として抽出し、さらに、必要に応じて、画素数を変換する画像変換処理を行って、信号処理部53に供給する。
また、画像抽出部52は、再生パラメータ処理部54から供給される再生パラメータ30の中に、注目フレームの対応パラメータが存在しない場合、注目フレームより前の、対応パラメータが存在するフレームのうちの、注目フレームに最も近いフレームの対応パラメータ22に基づいて、注目フレームから抽出画像を抽出するようにしても良い。または、対応パラメータが存在しないということは、編集が施されていない場合であるので、通常画像を出力するようにしても良い。
ステップS24の処理後は、ステップS25に進み、信号処理部53は、画像抽出部52から供給される抽出画像(のフレーム)に対する、再生パラメータ処理部54から供給される再生パラメータ(対応パラメータ)に基づく信号処理を開始する。
即ち、信号処理部53は、画像抽出部52から供給される抽出画像に対して、再生パラメータ処理部54から供給される再生パラメータ30に含まれる情報が表す内容の信号処理を施し、表示装置13に供給する。
以上のように、再生モードの処理では、ファイル22に含まれる再生パラメータ30に基づいて、通常画像から抽出画像が抽出され、さらに、再生パラメータ30に基づいて、抽出画像に信号処理が施されるので、いわば、そのファイル22の再生パラメータ30に対応した画像コンテンツ(画像のストリーム)が、表示装置13に表示される。
ステップS25の処理後、ステップS26に進み、再生パラメータ処理部54は、操作部55が、ユーザによって、再生を停止するように操作(停止操作)されたかどうかを判定する。ステップS26において、停止操作が行われていないと判定された場合、ステップS23に戻り、以下、同様の処理が繰り返される。
また、ステップS25において、停止操作が行われたと判定された場合、ステップS27に進み、再生パラメータ処理部54は、記録再生部51、画像抽出部52、および信号処理部53を制御することにより、ステップS23で開始した通常画像と再生パラメータの再生、ステップS24で開始した抽出画像の抽出、およびステップS25で開始した抽出画像に対する信号処理を全て停止させる。そして、ステップS21に戻り、以下、同様の処理が繰り返される。
一方、ステップS21において、再生装置12の動作モードが再生モードでないと判定された場合、ステップS28に進み、再生パラメータ処理部54は、再生装置12の動作モードが編集モードであるかどうかを判定する。ステップS28において、再生装置12の動作モードが編集モードでないと判定された場合、ステップS21に戻り、以下、同様の処理が繰り返される。
また、ステップS28において、再生装置12の動作モードが編集モードであると判定された場合、ステップS29に進み、以下、編集モードの処理が行われる。
編集モードの処理では、ステップS29において、記録再生部51は、記録媒体11に記録されたコンテンツデータ21の再生を開始する。これにより、記録媒体11から、コンテンツデータ21が再生され(読み出され)、通常画像が、画像抽出部52に供給される。
または、ステップS29において、再生パラメータ処理部54により、編集の、いわば基準とするコンテンツデータ21を再生するのに用いる再生パラメータ30(ファイル22)(再生用セット)を、例えば、ステップS22における場合と同様に選択する。そして、再生パラメータ処理部54は、ステップS23における場合と同様に、記録再生部51を制御することにより、コンテンツデータ21と再生用セットの再生を開始させる。これにより、記録媒体11からは、コンテンツデータ21が再生され(読み出され)、通常画像が、画像抽出部52に供給されるとともに、ファイル記憶部58から再生用セットの再生パラメータが、再生パラメータ処理部54に供給される。
再生パラメータ処理部54は、再生用セットの再生パラメータ30の再生が開始され、これにより、記録再生部51からの再生パラメータ30の供給が開始されると、その再生パラメータ30の、画像抽出部52、信号処理部53、および再生パラメータ記憶部56への供給を開始し、ステップS30に進む。
再生装置12は、コンテンツデータ21のみを再生し、通常画像を提供することが可能である。よって、ユーザは、記録媒体11に記録されているコンテンツデータ21を再生させ、その再生にともない提供される通常画像に対して編集を加えることが可能とされている。
また、再生装置12は、コンテンツデータ21とファイル22に含まれる再生パラメータ30を再生することにより、編集された通常画像をユーザに提供することが可能である。よって、ユーザは、コンテンツデータ21と再生パラメータ30を再生させ、その再生にともない提供される編集された通常画像に対して、さらに編集を加えることが可能とされている。
通常画像に対して編集を加えるか、編集画像に対してさらに編集を加えるかは、例えば、ステップS22の処理と同じように、ユーザにファイル名を選択させることで決定されるようにしても良い。ファイル名を選択させるようにした場合、通常画像に対して編集を加えるためのファイル名も表示される。
ここでは、通常画像に対して編集が加えられる場合を例に挙げて説明を続ける。
ステップS30において、再生パラメータ処理部54は、ユーザが、編集を指令するように、操作部55を操作したかどうかを判定する。ステップS30において、編集操作が行われていないと判定された場合、即ち、ユーザが、編集を指令するように、操作部55を操作していないと判定された場合、ステップS31をスキップして、ステップS32に進む。
また、ステップS30において、編集操作が行われたと判定された場合、即ち、ユーザが、編集を指令するように、操作部55を操作したと判定された場合、ステップS31に進み、再生パラメータ処理部54は、その編集操作が行われたときに注目フレームであった通常画像の注目フレームの対応パラメータとして、その編集操作に応じた再生パラメータ(新たな再生パラメータ)(以下、適宜、編集パラメータともいう)を生成し、画像抽出部52、信号処理部53、および再生パラメータ記憶部56に供給する。
従って、この場合、画像抽出部52では、通常画像から、再生パラメータ処理部54からの編集パラメータに含まれる情報によって特定される抽出ウインドウ内の画像が、抽出画像として抽出され、信号処理部53では、画像抽出部52から供給される抽出画像に対して、再生パラメータ処理部54から供給される編集パラメータに含まれる情報が表す内容の信号処理を施し、表示装置13に供給する。その結果、表示装置13では、編集操作に従って編集された画像が表示される。
さらに、再生パラメータ記憶部56は、再生パラメータ処理部54から供給される編集パラメータを記憶する。このとき、注目フレームから特徴量が抽出され、その特徴量と関連付けられて、編集パラメータが生成され記憶される。後述する処理において、ファイル記憶部58に、編集パラメータが記憶される場合、特徴量は、同期特徴量31として記憶され、編集に関して生成されたパラメータは、加工データ32として、同期特徴量31と関連付けられて記憶される。
なお、編集対象とされている通常画像(コンテンツデータ21)に関する再生パラメータ30が既にある場合には、その再生パラメータ30に含まれる同期特徴量31が読み出され、再生パラメータ記憶部56に記憶される。そして、その同期特徴量31に関連付ける処理で、新たな編集に関するパラメータが関連付けられて、編集パラメータが生成され、記憶される。
ステップS31において、編集パラメータが、画像抽出部52、信号処理部53、および再生パラメータ記憶部56に供給された後は、ステップS32に処理が進められ、再生パラメータ処理部54は、操作部55が、ユーザによって、再生を停止するように操作(停止操作)されたかどうかを判定する。ステップS32において、停止操作が行われていないと判定された場合、ステップS30に戻り、同様の処理が繰り返される。
また、ステップS32において、停止操作が行われたと判定された場合、ステップS33に進み、再生パラメータ処理部54は、記録再生部51、画像抽出部52、および信号処理部53を制御することにより、通常画像の再生、画像の抽出、および抽出画像に対する信号処理を全て停止させる。
ステップS34において、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶された再生パラメータの集合であるパラメータセットを、ファイル記憶部58に新たに記憶(保存)するかどうかを判定する。
即ち、再生パラメータ処理部54は、信号処理部53を制御することにより、新たなパラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置13に表示させ、その問い合わせメッセージに対して、ユーザが操作部55を操作するのを待って、再生パラメータ記憶部56に記憶された新たなパラメータセットを、ファイル記憶部58に記憶するかどうかを判定する。
ステップS34において、再生パラメータ記憶部56に記憶された新たなパラメータセットを、ファイル記憶部58に記憶すると判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶するように、操作部55を操作した場合、ステップS35に進み、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶されている新たなパラメータセットを読み出し、その新たなパラメータセットを、ファイル記憶部58に記憶させる。
また、ステップS34において、再生パラメータ記憶部56に記憶された新たなパラメータセットを、ファイル記憶部58に記憶しないと判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶しないように、操作部55を操作した場合、ステップS35をスキップして、ステップS36に進み、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶された新たなパラメータセットを削除(消去)して、ステップS21に戻り、以下、同様の処理が繰り返される。
なお、編集モードの処理においてファイル記憶部58に記憶された新たなパラメータセットは、再生用セットとして選択することができ、従って、その新たなパラメータセットの再生パラメータに対応した画像コンテンツを、表示装置13に表示することが可能となる。
また、図5のフローチャートにしたがった処理は、操作部55が、ユーザによって電源をオフにするように操作されると終了する。
以上のように、ユーザが編集操作を行うことにより、その編集操作に応じて、編集パラメータ(新たな再生パラメータ)が生成され、その編集パラメータに基づいて、抽出処理や信号処理が行われる。従って、ユーザは、所望の編集を簡便に行うことができ、ユーザにとって最適な画像を提供することができる。
さらに、記録媒体11に記録されているコンテンツデータ21(通常画像)に対しては、複数のパラメータセット(加工データ32)が存在しても良く、従って、ユーザは、様々な編集操作を行って、様々なパラメータセットを生成することにより、その様々なパラメータセットそれぞれに対応した、様々な画像コンテンツを制作することができる。
ここで、編集モードのときに、ユーザが指定する編集が、追尾ズームである場合について説明を加える。上記したように、ユーザは、編集として通常画像の一部分を拡大するという編集を行うことができる。まず拡大について、図6A乃至図6Cを参照して説明する。
図6Aは、表示装置13に写し出されている画像の一例を示している。図6Aに示した画像は、家と人が写し出されている画像である。このような画像が表示されているときに、ユーザが人の顔をよく見たいと思い、人の顔の画像を拡大する。その拡大、すなわち所定の画像の拡大が指示されたときに、拡大する画像の範囲がユーザにより設定される。
図6Bは、ユーザにより、画像内の人の顔の部分に、拡大の画枠71が設定された状態を示している。図6Bに示した例の場合、人の顔の画像の部分に、画枠71が設定されている。このように画枠71が設定されると、表示装置13に、画枠71が設定された範囲内の画像のみが表示される。すなわちこの場合、図6Bに示す通常画像が表示装置13に表示されるときであっても、拡大が指示されているので、図6Cに示すように、表示装置13には、人の顔の画像が表示される。
このような拡大に関する操作を、ユーザがフレーム毎に行い、フレーム毎に再生パラメータ30が生成されるようにはしなくても良いように、追尾ズームという機能がある。図7A乃至Eを参照して追尾ズームについて説明する。
追尾ズームとは、ユーザがズーム機能を使用する際のアシスト機能である。このアシスト機能は、ユーザにより、操作部55が操作されてズームして追いかけたい対象に追尾点が合わせられ指定されると、その対象を追いかけるような処理をしながら(追尾するような処理をしながら)ズーム処理を継続する機能である。追尾ズームを処理するアプリケーションによっては、追尾ズーム中にズーム画枠が変更できるように構成されていたり、追尾点が変更できるように構成されていたりする。
図7Aは、表示装置13に写し出されている画像の一例を示している。図7Aに示した画像は、家と人が写し出されている画像である。このような画像が表示されているときに、ユーザが人の顔をよく見たいと思い、人の顔の画像に対してズームをかけ、さらに、その人の顔を常に拡大状態で表示されるように設定する。すなわち、この場合、人の顔に追尾ズームが設定される。
所定の画像が拡大された状態で、その画像が追尾されて表示されるように指示された場合、拡大する画像の中心とその範囲がユーザにより設定される。図7Bは、ユーザにより、画像内の人の顔の部分に、ズームの画枠81が設定された状態を示している。この画枠81は、追尾点82を中心とした所定の大きさに設定されるようにしても良いし、ユーザによりその大きさが設定されるようにしても良い。
図7Bに示した例の場合、人の顔の画像の部分に、追尾点82が設定され、人の顔の全体が含まれるような画枠81が設定されている。このように追尾点82や画枠81が設定されると、表示装置13に、画枠81が設定された範囲内の画像のみが表示される。このとき、追尾点が画面中心となり、ズーム画枠(ズーム率)に従ってズームされる。すなわちこの場合、図7Cに示すように、表示装置13には、人の顔の画像が表示される。
さらに、この画面内の人が、移動した場合、拡大された状態が維持されながら、追尾されるので、例えば、図7Dに示したような画像が表示装置13に表示される。図7Cと図7Dを比較するに、図7Dには、図7Cには表示されていなかった家の一部分が表示されている。図7Dに示した画像は、追尾ズームが設定されていないときには、図7Eに示した画像が表示装置13に表示されるときの画像である。
図7Eは、説明のために図示したのであり、実際の処理ではユーザが指定しない限りユーザに提供される画像ではなく、追尾ズーム中に追尾点とズーム画枠を入力画像に表示した画である。図7Bの画像に対して、図7Eの画像では、人が図中斜め左下に移動している。追尾対象が移動した場合、追尾ズームは、その対象を追いかけながら(追尾して)ズーム処理を行うため、図7Dに示したような画像が、ユーザに提供される。
よって、追尾ズームの処理が行われている間は、あたかも撮影したその場でカメラを動かして対象を追いかけたような画像が得られる。
このような追尾ズームという編集が、ステップS30において指定された場合、ステップS31においては、追尾ズームの処理で、追尾されている画像の通常画像内での位置に関する情報(例えば、追尾点82が位置する座標の情報)と、その大きさに関する情報(例えば、画枠81に関する情報)のうち、少なくとも一方を含む編集パラメータ(再生パラメータ30)が生成される。
追尾ズームが停止されるまで、ステップS30とステップS31の処理が繰り返されることにより、再生パラメータ30が生成し続けられる。すなわちユーザは、追尾ズームの設定を一度行うだけで、再生パラメータ30が生成し続けられる。
このようにして生成された再生パラメータ30と、通常画像のコンテンツデータ21が再生されることにより、ユーザは、追尾ズームされている編集後の通常画像を閲覧することができる。すなわち、通常画像からユーザにより指示された画像が抽出され、拡大された画像が、ユーザに提供される。
さらに、編集として追尾ズームが指定されているときのことについて説明を続ける。例えば、図8に示すような通常画像が、表示装置13に表示されるようなコンテンツデータ21が再生されているときを例に挙げて説明を続ける。
図8に示した通常画像には、人物101と人物102が表示されている。ユーザが、人物101に対して追尾ズームを実行したい場合、図9に示すように、人物101を囲むような画枠121が設定される(以下の説明においては、追尾点の設定については省略して説明する)。この画枠121のアスペクト比は、表示装置13の画枠と同一のアスペクト比である。この画枠121で追尾ズームの処理が実行されると、図10に示すように、人物101のみが拡大されて表示されている画像が、ユーザに提供される。
ユーザが、人物102に対して追尾ズームを実行したい場合、図11に示すように、人物102を囲むような画枠122が設定される。この結果、追尾ズームの処理が実行されることにより、図12に示すように、人物102のみが拡大されて表示されている画像が、ユーザに提供される。
このように、例えば、通常画像に人物101と人物102が表示されているような通常画像に対して、人物101と人物102に、別々に追尾ズームの処理を実行させることが可能である。このようなときには、別々に編集が行われて、別々の加工データ32が生成され、記憶される。
図13を参照し、このように、1つの通常画像に対して、2つの編集が行われたときに生成されるパラメータについて説明する。ファイル151には、再生パラメータ160−1乃至160−Nが含まれる。再生パラメータ160−1には、同期特徴量161−1に加工データ171−1と加工データ172−1が関連付けられて含まれている。同様に、再生パラメータ160−2には、同期特徴量161−2に加工データ171−2と加工データ172−2が関連付けられて含まれている。同様に、再生パラメータ160−3には、同期特徴量161−3に加工データ171−3と加工データ172−3が関連付けられて含まれている。同様に、再生パラメータ160−Nには、同期特徴量161−Nに加工データ171−Nと加工データ172−Nが関連付けられて含まれている。
再生パラメータ160−1に関連付けられている加工データ171−1と加工データ172−1のうち、加工データ171−1は、人物101に対して追尾ズームの編集が行われたときに生成されたデータであり、加工データ172−1は、人物102に対して追尾ズームの編集が行われたときに生成されたデータである。このように、1つのフレームに対して2つの編集が行われたときには、1つの同期特徴量161に対して、2つの加工データ171,172が関連付けられる。
例えば、図8に示したような画像(フレーム)に対して、加工データ171−1に基づく編集が行われると、図10に示したような人物101が拡大された画像が表示装置13に表示され、加工データ172−1に基づく編集が行われると、図12に示したような人物102が拡大された画像が表示装置13に表示される。
コンテンツデータ21に基づく映像は、複数のフレームから構成されており、例えば、N枚のフレームから構成されている場合、図13に示したように、N個の再生パラメータ160−1乃至160−Nが、コンテンツデータ21に対応するファイル151に含まれる。
このように、2つの加工データ171と加工データ172が存在するときに、上記したように、それぞれ別に再生することも可能であり、別々に再生する場合、1つの同期特徴量に1つの加工データが関連付けられているときの再生に関する処理と同等に行われ、1つの同期特徴量に1つの加工データが関連付けられているときの再生に関する処理については、上記したように行われるので、ここではその説明を省略する。
次に、1つの同期特徴量に2つの加工データが関連付けられているとき、すなわち、図13に示したようなファイル151がコンテンツデータ21とともに再生されるときの処理について説明する。まず、ここでは、図14乃至図19を参照し、2つの加工データが同時に処理されたときの表示装置13上に表示される画像について説明する。
図14は、図8に示したような画像がユーザ側に提供されるときであり、図9に示したように、人物101に対して画枠121が設定された状態と、図11に示したように、人物102に対して画枠122が設定された状態を、同一の画像上に、疑似的に示した図である。
上記したように、図13の加工データ171は、人物101に対して設定された画枠121で追尾ズームしたときに生成されるデータであり、図13の加工データ172は、人物102に対して設定された画枠122で追尾ズームしたときに生成されるデータである。すなわち、加工データ171と加工データ172を同時に再生する場合、図14に示したように、人物101に設定された画枠121での追尾ズームと、人物102に設定された画枠122での追尾ズームが、同時に実行されるような画像がユーザに提供される。
ここでは、2つの追尾ズームが同時に実行されるような画像がユーザに提供されるときには、換言すれば、2つの画枠が設定されているときに、その2つの画枠で追尾ズームが実行されるようなときには、2つの画枠を加算することにより生成される新たな画枠での追尾ズームが行われるとして説明を続ける。
この場合、図15に示すように、画枠121と画枠122を含む画枠201が新たに設定され、この画枠201での追尾ズームの結果が、ユーザに提供される。画枠201は、人物101と人物102が含まれるサイズの画枠である。このような画枠201で追尾ズームの処理が実行されると、図16に示したような画像がユーザに提供される。図16に示したように、図15に示した画枠201内の画像が拡大された画像が、ユーザに提供される。
また、例えば、図17に示したように、人物101に人物102が近づくような映像であった場合、換言すれば、画枠121と画枠122が重なるような状況になった場合、図18に示したような画枠201が生成され、その画枠201内の画像が拡大されて表示され、図19に示したような画像が表示装置13に表示される。
追尾ズームの場合であり、2つの加工データが同時に再生される場合、2つの加工データでそれぞれ示される画枠を含むサイズの画枠で、追尾ズームの処理が実行される。よって、画枠は可変的にフレーム毎に設定される。また、ここでは、2つの加工データ(2つの画枠)が同時に再生される場合を例に挙げて説明しているが、本発明は、複数の加工データが同時に再生される場合も、同様に処理することで適用することが可能である。
このように、複数の加工データが同時に再生されるときであり、再生モードのときの再生装置12の処理について、図20のフローチャートを参照して説明する。
ステップS61において、再生パラメータ処理部54は、記録媒体11に記録されたコンテンツデータ21を再生するのに用いるファイルを、ファイル記憶部58から選択する。この場合、ファイル記憶部58には、図13に示したようなファイル151が記憶されているとする。
ユーザは、表示装置13に表示されたファイル名の一覧を見て、操作部55を操作することにより、ファイル名の一覧から、1つのファイル名を選択すると、ステップS61において、再生パラメータ処理部54は、そのファイル名によって特定されるファイル151を、画像の再生に用いるファイル151として選択する。
ステップS62において、再生パラメータ処理部54は、ファイル記憶部58に記憶されているファイル151に含まれる再生パラメータ160を読み出す。そして、再生パラメータ処理部54は、読み出された再生パラメータ160のうち、複数の加工データを含む再生パラメータ160があるか否かを判断する。図13に示したファイル151の場合、例えば、再生パラメータ160−1には、加工データ171−1と加工データ172―2が含まれているため、ステップS62においては、複数の加工データが含まれている(1つの同期特徴量161に対して複数の加工データが関連付けられている)と判断される。
例えば、図2に示したように、ファイル22に含まれている再生パラメータのうち、再生パラメータ30−1には加工データ32−1しか含まれていないが、再生パラメータ30−2には、加工データ32−2と加工データ32−3が含まれている場合がある。再生パラメータは、フレーム毎に生成されるため、また、編集されたフレームにだけ生成されるため、図2に示したように、1つの加工データ32−1を含む再生パラメータ30−1と2つの加工データ32−2,32−3を含む再生パラメータ30−2が、1つのファイル22内に存在することがある。
よって、再生パラメータ処理部54は、ステップS62の処理を実行するとき、例えば、先頭の再生パラメータ160を参照するだけで判断を行うのではなく、複数の再生パラメータ160を参照して判断する。または、ファイル151に、複数の加工データを含むファイルであるか否を示すフラグを設け、そのフラグを参照することにより、ステップS62における判断が行われるようにしても良い。
ステップS62において、1つの同期特徴量に複数の加工データは関連付けられていないと判断された場合、ステップS63に処理が進められる。この場合、1つの加工データだけが1つの同期特徴量に関連付けられていると判断されたときであり、図5のフローチャートを参照して説明した再生モードのときの処理(ステップS22乃至S26)と同様であるので、ここではその説明を省略する。
ステップS62において、1つの同期特徴量に複数の加工データが関連付けられていると判断された場合、ステップS67に処理が進められる。ステップS67において、加工データが選択される。この加工データの選択は、例えば、ステップS61において、ファイルが選択されたのと同様の処理によりに行うことが可能である。
ステップS67において、加工データが選択されると、ステップS68に処理が進められる。ステップS68において、選択された加工データの合算が指示されたか否かが判断される。選択された加工データの合算が指示されるときには、複数の加工データが、ステップS67の処理で選択されたことを意味し、選択された加工データの合算が指示されないときには、1つの加工データが、ステップS67の処理で選択されたことを意味する。
ステップS68において、加工データの合算は指示されていないと判断された場合、換言すれば、1つの加工データが選択されたと判断されるときには、ステップS63に処理が進められ、それ以降の処理が実行される。
一方、ステップS68において、加工データの合算が指示されたと判断された場合、ステップS69に処理が進められる。ステップS69において、通常画像と再生パラメータの再生が開始される。すなわち、記録媒体11に記録されたコンテンツデータ21とファイル記憶部58に記憶されているファイル151の再生が開始される。これにより、記録媒体11からは、コンテンツデータ21が再生され(読み出され)、コンテンツデータ21が、画像抽出部52に供給されるとともに、ファイル記憶部58からファイル151(ファイル151に含まれる再生パラメータ160)が、再生パラメータ処理部54に供給される。
ここで、上述したように、再生パラメータ30は、フレーム毎に存在しうる。通常画像の再生は、特に指定されない限り、再生パラメータ160が存在する時間的に最も前のフレームから開始される。
再生パラメータ処理部54は、ファイル151に含まれる再生パラメータ160の再生を開始する。これにより、記録再生部51からの再生パラメータ160の供給が開始される。また、再生パラメータ処理部54は、加工データ演算部57に、読み出された再生パラメータ160に含まれる加工データ171と加工データ172を供給する。
ステップS70において、加工データ演算部57は、加工データ171と加工データ172を用いて、画枠のサイズを算出する。すなわち、例えば、図15の画枠201が設定される。図15を参照して説明した例においては、画枠201は、画枠121と画枠122(図14)を含む画枠として設定された。
画枠201の位置や大きさは、例えば、画枠121と画枠122のそれぞれの頂点の座標(合計8個)から、最も端に存在する座標(合計4個)を抽出することにより求めることが可能である。座標に関するデータは、加工データ171や加工データ172に含まれている。
なお、画枠が設定される際、表示装置13の画枠のサイズ(アスペクト比)も考慮して設定される。
ステップS70において、画枠が設定されると、ステップS71において、その画枠で、通常画像から、画像が抽出される。記録再生部51から画像抽出部52に対し、例えばフレーム単位で通常画像が供給され、画像抽出部52は、記録再生部51から供給される通常画像のフレームを、順次、注目フレームとして、その注目フレームから、加工データ演算部57で演算され、再生パラメータ処理部54を介して供給された画枠のサイズで、抽出画像を抽出し、信号処理部53に供給する。
ステップS72において、信号処理部53は、画像抽出部52から供給される抽出画像(のフレーム)に対する、再生パラメータ処理部54から供給される再生パラメータ(対応パラメータ)に基づく信号処理を開始する。
ステップS73において、再生パラメータ処理部54は、操作部55が、ユーザによって、再生を停止するように操作(停止操作)されたかどうかを判定する。ステップS73において、停止操作が行われていないと判定された場合、ステップS69に戻り、以下、同様の処理が繰り返されることにより、複数の編集が組み合わされたときの編集結果が、ユーザに提供される。
ステップS73において、停止操作が行われたと判定された場合、ステップS74に処理が進められ、再生パラメータ処理部54は、記録再生部51、画像抽出部52、信号処理部53、および加工データ演算部57を制御することにより、再生パラメータの再生、抽出画像の抽出、抽出画像に対する信号処理、加工データの合算(画枠の算出)などの処理を停止させる。
ステップS71乃至S73の処理は、画枠のデータが、加工データ演算部57で演算されたデータであること以外は、基本的に、ステップS64乃至S66の処理と同様に行われる。
ステップS75において、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶された再生パラメータの集合であるパラメータセットを、ファイル記憶部58に新たに記憶(保存)するかどうかを判定する。この場合、パラメータセットは、加工データ演算部57により演算された結果であり、複数の編集の結果を組み合わせたものである。
即ち、再生パラメータ処理部54は、信号処理部53を制御することにより、新たなパラメータセットを保存するかどうかを問い合わせる問い合わせメッセージを、表示装置13に表示させ、その問い合わせメッセージに対して、ユーザが操作部55を操作するのを待って、再生パラメータ記憶部56に記憶された新たなパラメータセットを、ファイル記憶部58に記憶するかどうかを判定する。
ステップS75において、再生パラメータ記憶部56に記憶された新たなパラメータセットを、ファイル記憶部58に記憶すると判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶するように、操作部55を操作した場合、ステップS76に進み、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶されている新たなパラメータセットを読み出し、その新たなパラメータセットを、ファイル記憶部58に記憶させる。
また、ステップS75において、再生パラメータ記憶部56に記憶された新たなパラメータセットを、ファイル記憶部58に記憶しないと判定された場合、即ち、問い合わせメッセージに対して、ユーザが、新たなパラメータセットを記憶しないように、操作部55を操作した場合、ステップS76をスキップして、ステップS77に進み、再生パラメータ処理部54は、再生パラメータ記憶部56に記憶された新たなパラメータセットを削除(消去)して、ステップS61に戻り、以下、同様の処理が繰り返される。
以上のように、通常画像から2つの加工データに基づく画枠で抽出画像が抽出されることにより、この場合、別々に施された追尾ズームの結果が、合わさったときの結果を、ユーザは、簡単に確認することができる。換言すれば、別々に施した複数の編集を組み合わせたときに、どのような編集結果になるのかを、簡便に確認させることが可能となる。
上記した実施の形態においては、追尾ズームという編集が施されたときの複数の加工データを加算することで、別の画枠での追尾ズームが行われるときの例を説明したが、次に、追尾ズームという編集が施されたときの複数の加工データを減算することで、別の画枠での追尾ズームが行われるときの例を説明する。
図21は、人物101と人物102が表示されている画像において、画枠201と画枠202が設定され、それぞれの画枠で追尾ズームの処理が実行された状態であり、その2つの画枠が設定された状態を、疑似的に1画面で示した図である。画枠201で、追尾ズームが実行されたことにより、加工データが生成され、画枠202で、追尾ズームが実行されたことにより、加工データが生成される。ここでは、画枠201で追尾ズームが実行された結果、生成された加工データを加工データ171(図13)とし、画枠202で追尾ズームが実行された結果、生成された加工データを加工データ172(図13)として説明を続ける。
図21に示した人物101と人物102の位置関係が、図22に示したようになった場合、すなわち、人物101は動いていないが、人物102が人物101に近づいたような場合、画枠201と画枠202が重なるような状態になる。このようなときに、ユーザにより一方の画枠内の画像を表示させるが、他方の画枠内の画像は表示させないという設定がされていた場合、図23に示すような画枠が生成され、その画枠での追尾ズームの処理が実行される。
ここでは、画枠201内の人物101を表示させ、画像202内の人物102を表示させないと設定されているとする。このような設定がされているときに、画枠201に画枠202が重なると、画枠201から、画枠202を除くような画枠221が設定される。すなわち、画枠201よりは小さいが、画枠202が含まれないような画枠221が設定される。換言すれば、画枠201から画枠202を減算した画枠が、新たな画枠221として設定される。また、このとき、新たな画枠221のアスペクト比は、他の画枠と同様に、表示装置13の画枠と同一のアスペクト比とする必要があるため、図23に示したように人物101の一部分だけが写し出されるような画枠が設定されることもある。
このように設定されている場合、人物101に関する加工データ171と人物102に関する加工データ172が同時に再生されたときに、表示装置13に表示されるのは、人物101だけである。仮に、図22に示したように人物102が、人物101に近づいても、人物102が表示されない画枠に変更されて表示が行われるので、結果的に表示装置13に表示されるのは人物101だけである。このように、複数の画像から、好みの画像のみを表示させることも本発明を適用することで可能となる。
次に、このような加工データの減算に関する処理について説明を加える。複数の加工データのうち、所望の加工データに基づく画像を表示させ、他の加工データに基づく画像を表示させないときの処理は、図24に示したフローチャートに基づいて処理される。
図24に示したフローチャートの処理は、図20に示したフローチャートの処理と基本的に同様である。すなわち、複数の加工データを再生するときに、加算する処理を実行するときの処理と基本的に同様に、減算する処理が実行される。ここでは、図20に示したフローチャートとは異なる処理についてのみ説明を加える。
複数の加工データを再生するときに、減算する処理を実行する場合、ステップS108において、加工データの減算が指示されたか否かが判断される。ユーザは、複数の加工データから、表示させる画像と、表示させない画像を選択する。その選択に応じて加工データが選択される。なお、ユーザは、表示させる画像を選択するだけで、換言すれば、表示させいない画像は選択しないでも、選択されなかった画像は、表示させない画像として設定されるようにしても良い。
図23に示した例の場合、表示させる画像は、画枠201内の人物101であり、その画枠201での追尾ズームの処理の結果、生成される加工データは、加工データ171(図13)であるので、ユーザにより、表示させる画像に対応する加工データとして選択されるのは加工データ171である。また、図23に示した例の場合、削除する画像は、画枠202内の人物102であり、その画枠202での追尾ズームの処理の結果、生成される加工データは、加工データ172(図13)であるので、ユーザにより、表示させる画像に対応する加工データとして選択されるのは加工データ172である。
ステップS108において、ユーザにより、加工データの減算が指示されたと判断された場合、ステップS109に処理が進められる。ステップS109において、記録媒体11から、コンテンツデータ21が読み出され、ファイル記憶部58から再生パラメータ160が読み出される。ステップS110において、画枠のサイズが算出される。ステップS110において行われる画枠のサイズの算出は、ユーザにより表示する画像として設定された加工データから、表示しない画像として設定されている加工データを減算することで行われる。
この場合、読み出された再生パラメータ160に含まれる加工データ171と加工データ172を用いて行われる。図23を参照して説明したように、画枠201が、画枠202を含まないような画枠に設定される場合、例えば、加工データ171に含まれる画枠201に関するデータと、加工データ172に含まれる画枠202に関するデータが用いられて画枠221が設定される。
ステップS110において、画枠のサイズが算出されると、ステップS111において、設定された画枠で、ユーザが表示させるとして設定した画像の一部が削除されてしまうことがないか否かが判断される。例えば、図23を再度参照するに、画枠202が、人物101と重なった場合、画枠202内の画像は表示させない設定となっているため、表示させる設定になっている人物101の一部または全部が表示されない可能性がある。
表示させたい画像の一部が表示されなくても良いという設定にしておくことも可能であり、そのように設定されている場合には、ステップS111の処理を省略すること可能である。しかしながら、表示させたい画像の一部が表示されない状況は許可しない、換言すれば、表示させたい画像として設定されている画像は、全て表示される状態にするという設定にされている場合、ステップS111において、表示するとして設定されている画像の一部でも、表示されない状態になってしまうような画枠のサイズでないか否かが判断される。
ステップS111において、画像の一部が削除されてしまうと判断された場合、ステップS110に処理が戻され、再度、画枠のサイズが算出される。このとき、表示が指示されている画像が全て表示される画枠のサイズが算出される。再度設定された画枠に対して、ステップS111の処理が実行される。ステップS111において、画像の一部が削除されてしまうような画枠ではないと判断された場合、ステップS112に処理が進められる。
なお、画枠が設定される際、表示装置13の画枠のサイズ(アスペクト比)も考慮して設定される。
ステップS112以下の処理は、図20のフローチャートのステップS71と同様の処理なので、その説明は省略する。
以上のように、通常画像から2つの加工データに基づく画枠で抽出画像が抽出されることにより、この場合、別々に施された追尾ズームの結果が、合わさったときの結果を、ユーザは、簡単に確認することができる。換言すれば、別々に施した複数の編集を組み合わせたときに、どのような編集結果になるのかを、簡便に確認させることが可能となる。
このように、本発明によれば、複数の編集を別々に施すことができ、別々に施した複数の編集を組み合わせることが容易にできるようになる。よって、ユーザは、別々に施した複数の編集から、新たな編集を施した画像を、容易に取得することが可能となる。
[記録媒体について]
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図25は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インターフェース305が接続されている。入出力インターフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307、ハードディスクや不揮発性のメモリなどよりなる記憶部308、ネットワークインタフェースなどよりなる通信部309、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311を駆動するドライブ310が接続されている。
以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インターフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU301)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311に記録して、或いは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インターフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、或いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
11 記録媒体, 12 再生装置, 13 表示装置, 21 コンテンツデータ, 22 ファイル, 31 同期特徴量, 32 加工データ, 51 記録再生部, 52 画像抽出部, 53 信号処理部, 54 再生パラメータ処理部, 55 操作部, 56 再生パラメータ記憶部, 57 加工データ演算部, 58 ファイル記憶部, 121 画枠, 122 画枠, 151 ファイル, 161 同期特徴量, 171 加工データ, 172 加工データ, 201 画枠