以下、図面を参照して、本発明の実施の形態について説明する。
図1は、従来の同期検出上の問題を説明する図である。
図1のA,B,Cにおいて、1つの四角形状はフレームを示し、その四角形状内に示される数値は、当該フレームの画像特徴量を示している。なお、この前提事項は他の図面についても同様であるとする。
図1のAには、マッチング対象である画像特徴量群(例えば後述する再生位置特徴量等)が示されている。図1のBには、通常の動画像の画像特徴量群が示されている。図1のCには、その通常の動画像に対する2-3プルダウン画像の画像特徴量群が示されている。なお、図1は、説明の簡略上、1フレーム当たりの画像特徴量のサイズaを1byteと仮定している。当然ながら、サイズaは1byteに限られない。このことは、後述する図2等他の例についても同様に当てはまる。
図1のAのマッチング対象を、図1のBの通常の画像の画像特徴量と同期させると、図1のBに示されるように、1か所の検索位置bで一致(マッチング)する。これに対して、図1のAのマッチング対象を、図1のCの2-3プルダウン画像の画像特徴量と同期させると、検索位置c,c'といった複数個所で一致(マッチング)してしまう。このことが、[発明が解決しようとする課題]で上述した問題、即ち、正確な検索位置が分からないという問題の発生要因である。
そこで、本発明人は、かかる問題を解決すべく、例えば図2に示される同期検出の手法を発明した。即ち、図2は、本発明が適用された同期検出の手法例を説明する図である。
図2のA1,A2には、図1のAと同様に、マッチング対象である画像特徴量群(後述する再生位置特徴量等)が示されている。なお、図2のA1,A2の違いについては後述する。図2のBには、図1のBと同様に、通常の動画像が示されている。図2のCには、図1のCと同様に、その通常の動画像に対する2-3プルダウン画像が示されている。
図2のBの通常の画像の画像特徴量と同期させる場合、マッチング対象として、従来と同様の5フレーム分の図2のA1の特徴量群を採用する。これにより、図2のBに示されるように、1か所の検索位置dで一致(マッチング)する。
これに対して、図2のCの2-3プルダウン画像の画像特徴量と同期させる場合、マッチング対象として、従来と同様の5フレーム分の図2のA1の特徴量群を採用するのではなく、例えば8フレーム分の図2のA2の特徴量群を作用する。すると、図2のCに示されるように、1か所の検索位置eで一致(マッチング)する。即ち、従来は一致(マッチング)すると誤検出された検索位置e’では不一致となる(マッチングしない)。
このように、本発明人は、画像の種類に応じて、マッチング対象の特徴量群の数(フレーム数)を可変する、といった同期検出の手法(以下、特徴量数可変手法と称する)を発明した。ここで、マッチング対象のフレーム数とは、時間幅を示していると把握できる。このように把握すると、特徴量数可変手法とは、画像の種類に応じて、マッチング対象の時間幅を制御する、といった同期検出の手法であるとも把握することができる。このような特徴量数可変手法を適用することで、入力信号の時間方向の情報量の偏りに拠らず、同期検出のフレーム識別性能を確保することができるようになる。
そこで以下、まず、図3,図4を参照して、本発明を適用した画像処理装置、即ち、特徴量数可変手法を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像特徴量を抽出して、その画像特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。
より具体的には、画像処理装置2の動作は、大きく分けて記録モードと再生モードとの2つのモードからなる。
記録モードでは、図3に示されるように、画像処理装置2は、例えば、DVD(Digital Versatile Disc)などの動画像を含むコンテンツが予め記録されている記録メディア1から、DVDプレーヤなどにより再生される画像を表示部3に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置2は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部3に表示させる。さらに、画像処理装置2は、画像より画像特徴量を抽出し、その画像特徴量に対応付けて設定情報を操作履歴格納部4に蓄積させる。
次に、再生モードでは、図4に示されるように、画像処理装置2は、動画像を含むコンテンツが予め記録されている記録メディア1から、DVDプレーヤなどにより再生される画像を読み出すと供に、画像特徴量を抽出する。このとき、画像処理装置2は、操作履歴格納部4に特徴量に対応付けられて記録されている設定情報を、記録メディア1から読み出した画像特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部3に表示させる。
以上のような動作により、画像処理装置2は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えるといった加工処理を繰り返すことが可能となる。
以下、図3,図4を参照して説明した画像処理装置2について詳細を説明する。
図5は、図3,図4の画像処理装置2に対応する画像処理装置13の一実施の形態の構成を示した図である。
画像再生部12は、図3,図4の記録メディア1に対応する記録メディア11に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部41および遅延部48に供給する。
特徴量抽出部41は、画像再生部12より順次供給されてくる画像特徴量(以下、適宜特徴量と略記する)を抽出して、同期検出部42、情報量評価部50および蓄積ブロック43の特徴量設定情報記録部61に供給する。例えば、特徴量抽出部41は、特徴量として、フレーム内画素の輝度値の総和の下位abyteを抽出し、フレーム毎にabyteの特徴量を出力する。なお、特徴量抽出部41の構成については図6を、特徴量抽出処理については図10を参照して詳細を後述する。
リモートコントローラ14は、キーやボタンなどから構成され、図3,図4で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置13の受光部44に発光する。
受光部44は、リモートコントローラ14の発光パターンに基づいて、リモートコントローラ14の操作信号に変換し、操作情報認識部45に供給する。操作情報認識部45は、受光部44より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部46に供給する。なお、蓄積ブロック43は、リモートコントローラ14からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部45において、蓄積ブロック43のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部45は、蓄積ブロック43の動作をオンまたはオフに制御する。
設定情報決定部46は、操作情報認識部45より供給されてくる操作情報に基づいて、後述する反映部49に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部61および選択部47に供給する。
蓄積ブロック43の特徴量設定情報記録部61は、特徴量抽出部41より供給されてくる特徴量と、設定情報決定部46より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部62(図3,図4の操作履歴格納部4に対応するもの)に蓄積させる。
同期検出部42は、リアルタイムに特徴量抽出部41から出力される、画像再生部12により再生されている特徴量(後述する再生位置特徴量)abyteを連続b(≦B)フレーム分保持する。ここで、bの値は、例えば情報量評価部50から出力される情報量評価値xに応じて決定される。bの値の詳細については後述する。
また、同期検出部42は、特徴量設定情報蓄積部62に蓄積されている特徴量の中から、特徴量をa×bbyte分取り出す。そして、その特徴量(後述する検索位置特徴量)a×bbyteと、特徴量抽出部41より供給されてくる特徴量(後述する再生位置特徴量)a×bbyteを順次比較し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部63に供給する。なお、同期検出部42の構成については図8を、同期検出処理については図12を参照して詳細を後述する。
情報量評価部50は、特徴量抽出部41から出力された特徴量を用いて、例えば情報量評価値xを計算する。ここで、情報量評価値xとは、入力信号の持つ情報量の時間方向の粗密度合をいう。情報量評価値xを演算する処理の具体例については図13等を参照して詳細を後述する。
特徴量設定情報読出部63は、同期検出部42より同期位置として検出された特徴量(検索位置特徴量)を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部62に記憶されている設定情報を読み出し、選択部47に供給する。選択部47は、設定情報決定部46より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部63より設定情報が供給されることがあっても、設定情報決定部46からの設定情報を反映部49に供給する。また、選択部47は、設定情報決定部46より設定情報の供給がなく、特徴量設定情報読出部63より設定情報が供給された場合、特徴量設定情報読出部63より供給された設定情報を反映部49に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部47は、設定情報を反映部49に供給しない。
遅延部48は、特徴量抽出部41、同期検出部42、蓄積ブロック43、および、選択部47の処理における遅延時間だけ、画像再生部12より供給されてくる画像を一時的に記憶し、反映部49に出力する。反映部49は、選択部47より設定情報が供給されてくる場合、遅延部48より供給されてくる画像に対する処理を反映して、表示部15に表示する。また、反映部49は、選択部47より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部15に表示させる。
次に、図6を参照して、特徴量抽出部41の詳細な構成について説明する。
DFF(D型フリップフロップ)81は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号(clk)が入力されるタイミングで加算器82に出力する。また、DFF81は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図7で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Sから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器82に出力されない。つまり、DFF81は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器82に供給する。
加算器82は、DFF81より供給されてくる信号と、DFF83より供給されてくる信号とを加算してDFF83に出力する。より詳細には、加算器82は、DFF81より供給されてくる信号と、DFF83より供給されてくる信号との加算結果のうち、下位abyteを抽出してDFF83に供給する。
DFF83は、加算器82より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号(clk)が入力されるタイミングで加算器82および出力部84に供給する。また、DFF83は、フレーム開始点(図中の水平方向のサンプルと垂直方向のラインの丸印の原点)Sの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF83は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器82により累積的に加算された値を出力部84に供給する。
出力部84は、1フレームの値がDFF83より供給されてきたとき、その値をフレーム分の画像の特徴量として出力する。すなわち、出力部84は、画像データ領域のデータのみが加算器82により累積的に加算された値の下位abyteをそのフレームの特徴量として出力する。なお、特徴量は、画像を1フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ(画素値のみ)が累積的に加算された値の下位abyteに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。ここでは、特徴量として、フレーム内の画素の輝度値の和の下位abyteを出力するとする。
次に、図8を参照して、同期検出部42の詳細な構成について説明する。
特徴量バッファ101−1乃至101−Kは、特徴量抽出部41から出力される特徴量abyteを連続b(≦B)フレーム分一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部102および後段の特徴量バッファ101−2乃至101−Kに順次出力する。なお、特徴量バッファ101−Kは、後段の特徴量バッファ101が存在しないため、再生位置特徴量生成部102にのみ出力する。再生位置特徴量生成部102は、特徴量バッファ101−1乃至101−Kより供給されてくる最新の特徴量を含めた過去Kフレーム分のうち、bフレーム分の特徴量を順次取得し、これを改めて再生位置特徴量として生成し、比較部103に出力する。
検索位置特徴量読出部104は、特徴量設定情報蓄積部62に蓄積されている特徴量をa×bbyte分取り出す。そして、検索位置特徴量読出部104は、その特徴量(後述する検索位置特徴量)a×bbyteを、比較部103および検出部105に順次供給する。比較部103は、再生位置特徴量生成部102より供給されてくる再生位置特徴量と、検索位置特徴量読出部104より順次供給されてくる検索位置特徴量とを比較する。比較部103は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部105に通知する。検出部105は、比較部103より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部104より供給されてきた検索位置特徴量を同期検出結果として特徴量設定情報読み出し部63に出力する。
情報量評価値バッファ106は、情報量評価部50から出力された情報量評価値xを一時的に記憶すると供に、それまで記憶していた情報量評価値xを再生位置特徴量生成部102、比較部103および検索位置特徴量読出部104に出力する。ここで出力される情報量評価値xによって、マッチングフレーム数bが決定される。
次に、図9のフローチャートを参照して、図5の画像処理装置13による画像処理について説明する。なお、以降の説明においては、蓄積ブロック43は、オンの状態に制御されていることが前提である。
ステップS1において、遅延部48は新しい画像が画像再生部12より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。
例えば、画像再生部12が記録メディア11に記録されている画像を読み出し、遅延部48が、新たな画像が供給されてきたと判定した場合、ステップS2において、遅延部48は、供給されてきた画像を1フレーム分一時的に遅延させるために記憶する。なお、以降においては、画像を1フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、1フレーム単位に限らず、例えば、1フィールド単位で処理するようにしても良い。
ステップS3において、特徴量抽出部41は、特徴量抽出処理を実行し、画像再生部12より供給されてきた1フレーム分の画像の特徴量を抽出する。すなわち、遅延部48が、新たな画像を1フレーム分遅延させるために一時的に記憶するとき、同様に、1フレーム分の画像が特徴量抽出部41にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。
ここで、図10のフローチャートを参照して、ステップS3の特徴量抽出処理について説明する。
ステップS21において、DFF83は、フレーム開始点S(図7)によりリセットされる。
ステップS22において、未処理の画素が選択され、ステップS23において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に1フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。
図7で示されるように、最初の画素(フレーム開始点Sの画素)の場合、同期データに含まれるため画像データ領域外であるので、ステップS25において、DFF81はリセットされ、0を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップS24において、DFF81は、クロック信号の発生タイミングで画素値を加算器82に供給する。
ステップS26において、加算器82は、入力された画素値と、DFF83より供給されてくる信号とを加算してDFF83に供給する。
ステップS27において、DFF83は、クロック信号の発生タイミングで加算器82より供給されてきた加算結果の下位abyteを加算器82に戻す。このとき、DFF83は、加算結果を出力部84にも供給するが、出力部84は、加算結果を出力しない。
ステップS28において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップS22に戻る。すなわち、1フレーム分の画素が全て処理されるまで、ステップS22乃至S28の処理が繰り返される。そして、1フレーム分の画素の全てが処理されたと判定された場合、ステップS29において、出力部84は、DFF83より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位abyteを1フレームの画像の特徴量として出力する。
以上の処理により、1フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位abyteが、そのフレームの特徴量として抽出されることになる。
ここで、図9のフローチャートの説明に戻る。
ステップS4において、操作情報認識部45は、リモートコントローラ14が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部15に表示されている画像を見ながら、使用者が、2倍のズーム処理を指示した場合、リモートコントローラ14の発光パターンが受光部44により受光され、受光部44より受光した発光パターンに基づいた信号が、操作情報認識部45に供給されることにより、操作情報認識部45は、操作がなされたと判定し、その処理は、ステップS5に進む。
ステップS5において、操作情報認識部45は、受光部44より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部46に供給する。設定情報決定部46は、操作情報に基づいて、反映部49に対しての画像に処理を施すための設定情報を決定し、特徴量設定情報記録部61および選択部47に供給する。すなわち、今の場合、2倍のズーム処理を画像に施すことが指示されているので、反映部49に対して2倍のズーム処理を施す指示を出すための設定情報が決定されて、特徴量設定情報記録部61および選択部47に供給される。
ステップS6において、特徴量設定情報記録部61は、特徴量抽出部41より供給されてくる特徴量を特徴量設定情報蓄積部62に記録させると共に、その特徴量に対応付けて、設定情報決定部46より供給されてくる設定情報を、特徴量設定情報蓄積部62に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図11で示されるように、特徴量C1を所定のアドレスCbase+Aに記録させた場合、アドレスEbase+m×Aに、特徴量C1に対応付けられた設定情報E1を記憶させる。なお、図11においては、特徴量設定情報蓄積部62の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。ここで、特徴量蓄積領域の先頭アドレスをCbase、設定情報蓄積領域の先頭アドレスをEbaseとする。また、mは規定の有理数であり、例えば、1フレーム当たりの設定情報のサイズが1フレーム当たりの特徴量のサイズの何倍かを表す値に設定する。
以降、特徴量設定情報記録部61は、同様にして、特徴量C2をアドレスCbase+Bに記憶させるとき、対応する設定情報E2をEbase+m×Bに記憶させ、さらに、特徴量C3をアドレスCbase+Cに記憶させるとき、対応する設定情報E3をEbase+m×Cに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部62内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。なお、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図11における特徴量C1乃至C3は、いずれも1フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図11における設定情報E1乃至E3は、特徴量C1乃至C3に対応付けられたアドレスから、いずれも1フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。
ステップS7において、選択部47は、設定情報決定部46より設定情報が供給されてきているので、設定情報決定部46より供給されてきた設定情報を反映部49に供給する。反映部49は、遅延部48に記憶されている画像に対して、選択部47より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部15に表示させる。
ステップS8において、操作情報認識部45は、動作の終了が指示されたか否かを判定し、終了が指示されたと判定された場合、処理を終了する。一方、動作の終了が指示されていないと判定された場合、処理は、ステップS1に戻る。
すなわち、使用者によりリモートコントローラ14が操作されて、画像に対して処理を施す指示が出され続けている限り、ステップS1乃至S8の処理が繰り返されて、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部62に蓄積されていく。このステップS1乃至S8が繰り返される動作状態が、図3、図4を参照して説明した記録モードに対応する動作である。
一方、ステップS4において、操作されていないと判定された場合、その処理は、ステップS9に進み、同期検出部42は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。
ここで、図12のフローチャートを参照して、ステップS9の同期検出処理について説明する。
ステップS61において、同期検出部42の再生位置特徴量生成部102は、特徴量抽出部41より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップS3の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部41より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップS62に進む。
ステップS62において、同期検出部42は、情報量評価処理を実行することで、例えば情報量評価部50から送られてきた情報量評価値xを元にして、マッチングフレーム数bを決定する。
例えば、マッチングフレーム数bは次式(1)により算出される。
ただし、Bbaseフレームは、各フレームの特徴量が完全ランダムだと仮定したときに、十分なフレーム識別性能が確保できるだけの基準マッチングフレーム数として予め定義しておくものとする。また、式(1)において、Bbase/xを囲む記号は、Bbase/xの小数点以下を繰り上げた整数値を表す記号である。なお、この記号の意味は、式(3)についても同様とする。
なお、情報量評価処理の具体的な各種例については、図15以降の図面を参照して後述する。
ステップS63において、検索位置特徴量読出部104は、検索位置の特徴量をカウントするためのカウンタiを0に初期化する。
ステップS64において、再生位置特徴量生成部102は、特徴量抽出部41から供給されてきた特徴量と特徴量バッファ101−1乃至101−Kにそれまで記憶していた特徴量からb個の特徴量を読み出し、再生位置特徴量を生成する。このb個の特徴量が、a×bbyte分の同期特徴量△currentであり、再生位置特徴量である。この再生位置特徴量は比較部103に供給される。
ステップS65において、検索位置特徴量読出部104は、特徴量設定情報蓄積部62に蓄積されている特徴量のうち、先頭位置からi番目よりb個の連続する特徴量を検索位置特徴量として読み出す。即ち、特徴量設定情報蓄積部62に蓄積されている特徴量の先頭位置からi番目より連続するb個のフレームの特徴量が、a×bbyte分の同期特徴量△recであり、検索位置特徴量である。この検索位置特徴量は、比較部103および検出部105に供給される。
ステップS66において、比較部103は、再生位置特徴量(a×bbyte分の同期特徴量△current)と、検索位置特徴量(a×bbyte分の同期特徴量△rec)とを比較する。
ステップS67において、比較部103は、一致しているか否かを判定する。ステップS67において、例えば、一致しないと判定された場合、ステップS69において、検索位置特徴量読出部104は、特徴量設定情報蓄積部62に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップS69おいて、全ての特徴量と比較していないと判定された場合、ステップS70において、検索位置特徴量読出部104は、カウンタiを1インクリメントし、その処理は、ステップS65に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップS65乃至S67,S69,S70の処理が繰り返され、順次1フレーム間隔でずれながら、連続するbフレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。
すなわち、検索位置特徴量とは、例えば、図13の右上部で示されるように、特徴量抽出部41より順次蓄積されている特徴量のうち、今の場合、連続するb個の特徴量の塊である。なお、図13においては、図中の縦長の長方形状のマスは、1フレーム分の特徴量を示しており、斜線部のG1,G2は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図13の右下部で示されているように、特徴量抽出部41より供給されてくる再生中の特徴量を含めた連続するbフレーム分の特徴量の塊である。
例えば、図13で示されるように再生位置特徴量G2で示されるような場合、検索位置特徴量G0と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタiが1インクリメントされて、検索位置特徴量G0'と再生位置特徴量G2とが比較される。このように、検索位置特徴量が図中の右方向に1フレーム間隔でずれながら、再生位置特徴量G2との比較が繰り返される。
ステップS67において、例えば、再生位置特徴量G2と検索位置特徴量G1とが比較されるような場合、検索位置特徴量G1が再生位置特徴量G2と同一の構成となっているため、一致したと判定され、ステップS68において、比較部103は、一致したことを検出部105に通知する。検出部105は、この通知に基づいて、今現在検索位置特徴量読出部104より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からi番目の特徴量を同期位置特徴量として特徴量設定情報読出部63に供給する。
一方、ステップS69において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップS71において、検出部105は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。
以上の処理により、特徴量設定情報蓄積部62に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部42は、再生中のフレームの特徴量のみを、特徴量設定情報蓄積部62に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含むbフレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。
なお、a×bbyteの同期処理は、図14に示されるように、固定長d(≦a×b)byteの同期を複数回実行することでも実現できる。同期データ長を揃えたい場合、a×bが大きい場合等に、このように分割実行してもよい。
ここで、図9のフローチャートの説明に戻る。
ステップS10において、特徴量設定情報読出部63は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部62に蓄積されているか否かを判定する。例えば、図12のフローチャートのステップS68の処理により同期位置特徴量が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部62に蓄積されていることになるので、その処理は、ステップS11に進む。
ステップS11において、特徴量設定情報読出部63は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部62に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部62に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。
ステップS11において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップS12において、特徴量設定情報読出部63は、選択部47に対して設定情報を供給しない。この処理により、選択部47は、設定情報決定部46および特徴量設定情報読出部63のいずれからも設定情報の供給がない状態となるため、反映部49に対して処理を指定する設定情報が供給されないことになる。結果として、反映部49は、遅延部48に一時的に記憶された1フレーム分の画像を、そのままの状態で表示部15に表示させる。
一方、ステップS11において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップS13において、特徴量設定情報読出部63は、特徴量設定情報蓄積部62より、同期位置特徴量の特徴量に対応付けて蓄積されている設定情報を読み出し選択部47に供給し、その処理は、ステップS7に進む。すなわち、今の場合、選択部47には、設定情報決定部46からは設定情報がなく、特徴量設定情報読出部63から設定情報が供給されるため、特徴量設定情報読出部63からの設定情報が反映部49に供給され、その設定情報に基づいて遅延部48に蓄積されていた1フレーム分の画像に処理が反映されて、表示部15に表示される。
なお、ステップS1乃至S4、ステップS9乃至S13、およびステップS7,S8の処理が、図3、図4を参照して説明した再生モードに対応する処理である。
以下、図12のステップS62の同期検出処理の幾つかの具体例について説明する。
なお、以下、説明の簡略上、同期検出処理の各ステップの処理の動作主体は、情報量評価部50であるとする。もっとも、動作主体は、情報量評価部50に特に限定されず、上述の如く、一部の処理については同期検出部42等別ブロックとすることができる。
図15は、情報量評価リストを利用して、情報量評価値xを算出する情報量評価処理の例を示している。ここでは、マッチングフレーム数bが最終出力値とされる。
ステップS80において、情報量評価部50は、Tcurrent−Tprevious ≧Tminであるか否かを判定する。
即ち、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間(現在時刻Tcurrent−過去の処理時刻Tprevious)が規定時間Tminを超えていない場合、ステップS80において、NOであると判定され、情報量評価処理は終了となる。
これに対して、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間(現在時刻Tcurrent−過去の処理時刻Tprevious)が規定時間Tmin 経過した場合に、ステップS80においてYESであると判定されて、その処理は、ステップS81に進む。
ステップS81において、情報量評価部50は、処理開始時刻Tpreviousを現在時刻Tcurrentとする。
ステップS82において、情報量評価部50は、値Nを0に初期化する。
ステップS83において、情報量評価部50は,値Nを1インクリメントする(N←N+1)。
ステップS84において、入力特徴量を新規エントリとして情報量評価リストに追加する。
ステップS85において、情報量評価部50は、情報量評価リストでエントリが存在するグループ数nを導出する。
ステップS86において、情報量評価部50は、情報量評価値xNを算出する。
ここで、ステップS84乃至S86について、さらに詳しく説明する。
例えば図16のA,Bには、情報量評価リストの一例が示されている。情報量評価リストの1行は、1つのグループを示している。各行の右方には、グループの名称a,b,c,d,e,・・・が示されている。
情報量評価部50は、情報量評価リストの各グループの先頭エントリ△k(k<j)の中から、|△k-△j|<σという条件を満たすエントリを探す。ここで、△jは、入力特徴量を示している。また、σはノイズ耐性によって決まり、入力特徴量のノイズが小さければσも小さな値に設定される。
入力特徴量△jと近いエントリが存在すれば、即ち上述の条件を満たすエントリが存在すれば、情報量評価部50は、特徴量△jをそのエントリと同一グループに格納することで、入力特徴量△jを新規エントリとして情報量評価リストに追加する。
例えば、図16の例では、図16のAに示されるように、「49」が入力特徴量△jとされている。この場合、図16のAに示されるように、情報量評価部50は、グループa,b,c,dの順に処理対象として決定し、処理対象のグループの先頭エントリ△kが、|△k-△j|<σという条件を満たすかを調べる。例えば、図16のAの例では、グループaの先頭エントリ△kは、「5F」であり、グループbの先頭エントリ△kは、「32」であり、グループcの先頭エントリ△kは、「4A」であり、グループdの先頭エントリ△kは、「C7」である。この条件を満たさない場合、情報量評価部50は、次のグループを処理対象に設定し、処理対象のグループの先頭エントリ△kが、|△k-△j|<σという条件を満たすかを調べる。
ここで、グループcの「4A」という先頭エントリ△kに対して、|△k-△j|<σという条件を満たすとする。この場合、図16のBに示されるように、「49」という特徴量△kは、グループcに格納されることになる。
次に、例えば図16のBに示されるように、「1E」が入力特徴量△jとされ、グループa乃至dの何れのグループの先頭エントリ△kに対しても、|△k-△j|<σという条件は満たさないとする。
この場合、情報量評価部50は、入力特徴量△jと近いエントリが存在しないとして、新しいグループ(図16のBの例ではグループe)に、「1E」という入力特徴量△jを格納することで、入力特徴量△jを新規エントリとして情報量評価リストに追加する。
情報量評価部50は、情報量評価リストでエントリが存在するグループ数をnとして導出すると、次の式(2)に従って情報量評価値xNを算出する。
式(2)において、情報量評価値xNは、近接Nフレーム分の特徴量の散らばり度合いを表す簡易的な定量値となる。情報量評価値xが大きいほど散らばり度合が大きく、含まれる情報量が大きいということになる。
式(2)に従って算出された情報量評価値xNは、比較的多様な映像信号の素性に対応できる汎用的な値となる。即ち、「2−3プルダウン判定等の特定の素性専用の処理の結果を元にして、情報量評価値xの値を決定する」といった特化処理によって得られた情報量評価値xとは区別される。
例えば、静止画像入力では、「ABAB・・・(インタレース)」や「AAAA・・・(プログレッシブ)」等のパターンが現れることから、それぞれxN=2/N,1/Nとなる。2−3プルダウン入力では、「AABBBCCDDD・・・(24p→60p)」や「ABCDCEFGHG・・・(24p→60i)」等のパターンが現れることから、Nが大きくなるとそれぞれxN=2/5や4/5に収束する。なお、後者については、値Nは最低5以上が設定されることになる。
情報量評価値xNの導出方法は、上記以外の方法にも種々の方法が考えられる。例えば、隣接フレームの特徴量の差分が閾値以下(|△j+1−△j|<σ)になる割合を用いる手法を採用することができる。かかる手法が用いられた情報量評価処理については後述する。
このようにして、ステップS86の処理で情報量評価値xNが算出されると、処理はステップS87に進む。
ステップS87において、情報量評価部50は、N≦Nmaxであるか否かを判定する。即ち、特徴量取得フレーム数の上限Nmaxが予め設定されており、特徴量取得フレーム数Nが、上限Nmax以下でない場合、ステップS87においてNOであると判定されて、情報量評価値xNが収束しなかったとして、処理はステップS88に進む。
ステップS88において、情報量評価部50は、最後のNlast個の平均を収束値とし、即ち、その収束値を情報量評価値xNとする。これにより、処理はステップS91に進む。ここで、値Nlastは予め定義されているとする。
これに対して、ステップS87において、特徴量取得フレーム数Nが、Nmax以下であると判定された場合、処理はステップS89に進む。
ステップS89において、情報量評価部50は、N≧Nminであるか否かを判定する。即ち、特徴量取得フレーム数の下限Nminが予め設定されている。例えば2−3プルダウンの場合、Nmin=5として、最低5フレームの特徴量を用いて情報量評価値xNが算出されることになる。
特徴量取得フレーム数Nが、下限Nmin以上でない場合、ステップS89においてNOであると判定されて、処理はステップS83に戻され、それ以降の処理が繰り返される。
これに対して、ステップS89において、特徴量取得フレーム数Nが、Nmin以上であると判定された場合、処理はステップS90に進む。
ステップS90において、情報量評価部50は、|xN−xN-1|/xN−1≦Xthresholdであるか否かを判定する。即ち、情報量評価部50は、情報量評価値xNの収束度合いを判定する。特徴量取得フレーム数Nを増やしたときに、以前に算出した情報量評価値xN-1からの変化率が閾値(Xthreshold)以下であれば、ステップS90においてYESであると判定されて、その値xNが収束値とされて、処理はステップS91に進む。これに対して、情報量評価値xN-1からの変化率が閾値(Xthreshold)以下でなければ、ステップS90においてNOであると判定されて、処理はステップS83に戻され、それ以降の処理が繰り返される。
ステップS91において、情報量評価部50は、マッチングフレーム数bを算出する。マッチングフレーム数bは、例えば上述した式(1)の情報量評価値xに収束値xNが代入されて、その式(1)が演算されることで算出される。
なお、図15の例の情報量評価処理では、ステップS83乃至S90のループ処理におけるループ判定処理は、ステップS89,ステップS90の両方の処理で行われている。しかし、図15の例に特に限定されず、どちらか一方だけの処理を行うことにしてもよい。
図17は、図15の例の情報量評価処理のステップS83乃至S90のループ処理による情報量評価値xの収束の様子を示している。即ち、図17は、2−3プルダウン映像の場合においてNが大きくなるにつれて情報量評価値xNが変化していく様子を示している。
図17において、特徴量のパターンは「AABBBCCDDDEEFFF・・・」とされている。例えば、情報量評価値xN-1からの変化率の閾値Xthresholdを0.1と設定すると、N=10で収束条件を満たすので、x10=0.4を用いてマッチングフレーム数bが式(1)に従って算出されることになる。具体的には、次式(3)に示されるように、マッチングフレーム数b=10が算出されることになる。
図18は、情報量評価リストを利用した情報量評価処理の例であって、図15の例の簡略処理の例を示している。即ち、ここでも、マッチングフレーム数bが最終出力値とされる。
ステップS100乃至S103までの処理は、図15のステップS80乃至S83までの処理と基本的に同様である。よって、それらの処理の説明は省略する。
ステップS104において、情報量評価部50は、N=B+1であるか否かを判定する。ここで、Bは、上述した式(1)におけるBと同一値とされる。N=B+1である場合、ステップS104においてYESであると判定されて、処理はステップS108に進む。これに対して、NがB+1以外の場合、ステップS104においてNOであると判定されて、処理はステップS105に進む。
ステップS105において、情報量評価部50は、入力特徴量を新規エントリとして情報量評価リストに追加する。
ステップS106において、情報量評価部50は、情報量評価リストでエントリが存在するグループ数nを導出する。
ステップS107において、情報量評価部50は、n>Bbaseであるか否かを判定する。情報量評価リストでエントリが存在するグループ数nが規定値Bbaseを超えない場合、ステップS107においてNOであると判定されて、処理はステップS103に戻され、それ以降の処理が繰り返される。即ち、情報量評価リストでエントリが存在するグループ数nが規定値Bbaseを超えるまで、ステップS103乃至ステップS107のループ処理が繰り返し実行される。
そして、情報量評価リストでエントリが存在するグループ数nが規定値Bbaseを超えると、ステップS107においてYESであると判定されて、処理はステップS108に進む。このとき、n=Bbaseを満たす最大の値はN−1となる。
ステップS108において、情報量評価部50は、マッチングフレーム数bを算出する。この場合、マッチングフレーム数bはb=N−1で算出される。
具体的には例えば、図19は、入力映像が2−3プルダウン映像の場合の、特徴量取得フレーム数N,特徴量および情報量評価リストでエントリが存在するグループ数nの関係の一例を示している。図19の例において、Bbase=4とすると、n>BbaseとなるN=11となる。よって、この場合、マッチングフレーム数bは、b=N−1=11−1=10と算出される。
このように、時間方向の情報量の粗密が極端でなければ、Nを最小限までしか増やさないことで、図15の例の処理を簡略化した図18の例の情報量評価処理を採用することができるようになる。
ここで、例えば、特徴量のパターンが「ABCDEEEEFGHIJJJJ・・・」である場合を考える。この場合、情報量評価リストへの追加の開始時点をAとすると、n=5となるのはN=5なので、b=4となる。しかし、開始時点を1番目のEとすると、n=5となるのはN=8なので、b=7となる。
このように、時間方向の情報量の粗密が極端であり、情報量評価リストへの追加の開始時点がnの増え方に大きな影響を与える場合は、bの算出値が大きく振れてしまうので、情報量評価処理としては、図18の例の処理よりも図15の例の処理を採用したほうが好適である。
以上、情報量評価処理として、情報量評価リストを利用した例について説明した。次に、プルダウン映像に特化した例について説明する。
図20は、プルダウン映像に特化した情報量評価処理の例を示している。ここでは、マッチングフレーム数bが最終出力値とされる。
ステップS120において、情報量評価部50は、Tcurrent−Tprevious ≧Tminであるか否かを判定する。
即ち、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間(現在時刻Tcurrent−過去の処理時刻Tprevious)が規定時間Tminを超えていない場合、ステップS120において、NOであると判定され、情報量評価処理は終了となる。
過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間(現在時刻Tcurrent−過去の処理時刻Tprevious)が規定時間Tmin 経過した場合に、ステップ120においてYESであると判定されて、その処理は、ステップS121に進む。
ステップS121において、情報量評価部50は、処理開始時刻Tpreviousを現在時刻Tcurrentとする。
ステップS122において、情報量評価部50は、映像種別番号Pを0に初期化する。即ち、情報量評価部50は、例えば図21Aに示されるようなテーブル(以下、映像種別テーブルと称する)を保持しているとする。映像種別テーブルには、各エントリ(行)毎に、映像識別番号P,I−J変換のI,J、およびマッチングフレーム数bが格納されている。ここで、I−J変換は、図21のBに示す構造をとり、24p→60p変換や、スローモーションなど、各種フレームレート変換処理、映像編集処理で発生する。ステップS122の処理で、この映像種別テーブルの映像種別番号Pが0に初期化される。つまり、この時点では、映像種別テーブルのどのエントリ(行)も処理対象にされず、リセットされたことになる。
ステップS123において、情報量評価部50は,映像種別テーブルの映像種別番号Pを1インクリメントする(P←P+1)。即ち、図21のAに示す映像種別テーブルにおける処理対象のエントリ(行)は、映像種別番号Pによって管理されている。よって、このステップS123の処理は、処理対象を1つ下のエントリ(行)に移行することを意味している。即ち、図21のAに示す映像種別テーブルにおいて、始めのエントリから順に処理対象が順次設定されることになる。
ステップS124において、情報量評価部50は、P=Pmaxであるか否かを判定する。
映像種別番号Pが、映像種別テーブルの最終エントリの番号Pmaxに到達した場合、ステップS124においてYESであると判定されて、処理はステップS127に進む。ステップS127において、情報量評価部50は、映像種別テーブルから、映像種別番号Pにおけるマッチングフレーム数bの値を取り出す。この場合、最終エントリ(映像種別番号Pmaxの行)には、P=1乃至P=Pmax−1のどの変換にも当てはまらない映像に対するデフォルトのマッチングフレーム数b(図21の例では、B=4)が格納されており、これが取り出されることになる。
これに対して、映像種別番号Pが、映像種別テーブルの最終エントリに到達しない場合、ステップS124においてNOであると判定されて、処理はステップS125に進む。
ステップS125において、情報量評価部50は、映像種別テーブルから映像種別番号PにおけるI、Jの値を取り出す。
ステップS126において、情報量評価部50は、入力映像がI−J変換されたものか否かを判定する。例えば、P=2の場合、I=2、J=3なので、同期特徴量が「AABBBCCDDD・・・」のパターンであるか否かが判定される。入力映像がI−J変換されたものでない場合、ステップS126の処理でNOであると判定されて、処理はステップS123に戻され、それ以降の処理が繰り返される。
入力映像がI−J変換されたものである場合、ステップS126においてYESであると判定されて、処理はステップS127に進む。なお、ステップS126の判断処理としては、図20の例に限定されず、例えば、性能の良い既存のプルダウン検出処理を用いた判断処理を採用しても構わない。
ステップS127において、情報量評価部50は、映像種別テーブルから、映像種別番号Pにおけるマッチングフレーム数bの値を取り出す。例えばP=2の場合(2−3プルダウン映像の場合)、マッチングフレーム数bは10が取り出される。
以上、情報量評価処理として、情報量評価リストを利用した例に引き続き、プルダウン映像に特化した例について説明した。次に、情報量評価処理として、隣接フレームの差分を利用した例について説明する。
図22は、隣接フレームの差分を利用した情報量評価処理の例を示している。ここでは、マッチングフレーム数bが最終出力値とされる。
ステップS140において、情報量評価部50は、Tcurrent−Tprevious ≧Tminであるか否かを判定する。
即ち、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間(現在時刻Tcurrent−過去の処理時刻Tprevious)が規定時間Tminを超えていない場合、ステップS140において、NOであると判定され、情報量評価処理は終了となる。
これに対して、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間(現在時刻Tcurrent−過去の処理時刻Tprevious)が規定時間Tmin 経過した場合に、ステップS140においてYESであると判定されて、その処理は、ステップS141に進む。
ステップS141において、情報量評価部50は、処理開始時刻Tpreviousを現在時刻Tcurrentとする。
ステップS142において、情報量評価部50は、値iを1に初期化する。
ステップS143において、情報量評価部50は、値Nを1に初期化する。
ステップS144において、情報量評価部50は、値Nを1インクリメントする(N←N+1)。
ステップS145において、情報量評価部50は、|△N−△N−1|>σであるか否かを判定する。即ち、情報量評価部50は、隣接フレームの類似性を求めるために、隣接フレームの特徴量(ΔNとΔN-1)の差分を算出し、差分が規定値σよりも大きい場合、ステップS145においてYESであると判定し、ステップS146において、iを1インクリメントする。これに対して、差分が規定値σよりも大きくない場合、ステップS145においてNOであると判定されて、ステップS146の処理は実行されずに、処理はステップS147に進む。
ステップS147において、情報量評価部50は、情報量評価値xNを算出する。即ち、隣接フレームの同期特徴量の差分が規定値よりも大きくなる割合が情報量評価値xNとして算出される。具体的には、xN=i/Nが演算される。ただし、その場合x1=1/1=1とする。
その後、ステップS148乃至S152の処理が実行される。ただし、ステップS148乃至S152の処理は、図15のステップS87乃至S91の処理と基本的に同様である。よって、ステップS148乃至S152の処理の説明については省略する。
図23は、図22の例の情報量評価処理による情報量評価値xの収束の様子を示している。即ち、図23は、2−3プルダウン映像の場合においてNが大きくなるにつれて情報量評価値xNが変化していく様子を示している。
図23において、特徴量のパターンは「AABBBCCDDDEEFFF・・・」とされている。例えば、情報量評価値xN-1からの変化率の閾値Xthresholdを0.1と設定すると、N=10で収束条件を満たすので、x10=0.4を用いてマッチングフレーム数bが算出されることになる。
図24は、隣接フレームの差分を利用した情報量評価処理の例であって、図22の例の簡略処理の例を示している。即ち、ここでも、マッチングフレーム数bが最終出力値とされる。
ステップS160乃至S164までの処理は、図22のステップS140乃至S144までの処理と基本的に同様である。よって、それらの処理の説明は省略する。
ステップS165において、情報量評価部50は、N=B+1であるか否かを判定する。ここで、Bは、上述した式(1)におけるBと同一値とされる。N=B+1である場合、ステップS165においてYESであると判定されて、処理はステップS169に進む。これに対して、NがB+1以外の場合、ステップS165においてNOであると判定されて、処理はステップS166に進む。
ステップS166において、情報量評価部50は、|ΔN−ΔN-1|>σであるか否かを判定する。即ち、情報量評価部50は、隣接フレームの類似性を求めるために、隣接フレームの特徴量(ΔNとΔN-1)の差分を算出し、差分が規定値σよりも大きい場合、ステップS166においてYESであると判定し、ステップS167において、iを1インクリメントする。これにより、処理はステップS168に進む。これに対して、差分が規定値σよりも大きくない場合、ステップS166においてNOであると判定されて、処理はステップS164に戻され、それ以降の処理が繰り返される。
ステップS168において、情報量評価部50は、i>Bbaseであるか否かを判定する。隣接フレームの同期特徴量(ΔNとΔN-1)の差分が規定値よりも大きい場合のカウントiが、規定値Bbaseを超えない場合、ステップS168においてNOであると判定されて、処理はステップS164に戻され、それ以降の処理が繰り返される。即ち、カウントiが規定値Bbaseを超えるまで、ステップS164乃至S168のループ処理が繰り返される。
そして、隣接フレームの同期特徴量(ΔNとΔN-1)の差分が規定値よりも大きい場合のカウントiが、規定値Bbaseを超えると、ステップS168においてYESであると判定されて、処理はステップS169に進む。このとき、i=Bbaseを満たす最大の値はN−1となる。
ステップS169において、情報量評価部50は、マッチングフレーム数bを算出する。この場合、マッチングフレーム数bはb=N−1で算出される。
具体的には例えば、図25は、入力映像が2−3プルダウン映像の場合の、特徴量取得フレーム数N,特徴量およびカウントiの関係の一例を示している。図25の例において、Bbase =4とすると、i>BbaseとなるN=11となる。よって、この場合、マッチングフレーム数bは、b=N−1=11−1=10と算出される。
このように、時間方向の情報量の粗密が極端でなければ、Nを最小限までしか増やさないことで、図22の例の処理を簡略化した図24の例の情報量評価処理を採用することができるようになる。
ここで、例えば、特徴量のパターンが「ABCDEEEEFGHIJJJJ・・・」である場合を考える。この場合、情報量評価の開始時点をAとすると、i=5となるのはN=5なので、b=4となる。しかし、開始時点を1番目のEとすると、i=5となるのはN=8なので、b=7となる。
このように、時間方向の情報量の粗密が極端であり、情報量評価の開始時点がiの増え方に大きな影響を与える場合は、bの算出値が大きく振れてしまうので、情報量評価処理としては、図24の例の処理よりも図22の例の処理を採用したほうが好適である。
以上、情報量評価処理として、情報量評価リストを利用した例、プルダウン映像に特化した例、および隣接フレームの差分を使用した例についてそれぞれ説明した。
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
この場合、上述した情報処理システムの少なくとも一部として、例えば、図26に示されるパーソナルコンピュータを採用してもよい。
図26において、CPU(Central Processing Unit)1001は、ROM(Read Only Memory)1002に記録されているプログラム、または記憶部1008からRAM(Random Access Memory)1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU1001、ROM1002、およびRAM1003は、バス1004を介して相互に接続されている。このバス1004にはまた、入出力インタフェース1005も接続されている。
入出力インタフェース1005には、キーボード、マウスなどよりなる入力部1006、ディスプレイなどよりなる出力部1007、ハードディスクなどより構成される記憶部1008、および、モデム、ターミナルアダプタなどより構成される通信部1009が接続されている。通信部1009は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
入出力インタフェース1005にはまた、必要に応じてドライブ1010が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア1021が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部1008にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図26に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア(パッケージメディア)111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM1002や、記憶部1008に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
11 記録メディア, 12 画像再生部, 13 画像処理装置, 14 リモートコントローラ, 15 表示部, 41 特徴量抽出部, 42 同期検出部, 43 蓄積ブロック, 44 受光部, 45 操作情報認識部, 46 設定情報決定部, 47 選択部, 48 遅延部, 49 反映部, 50 情報量評価部, 61 特徴量設定情報記録部, 62 特徴量設定情報蓄積部, 63 特徴量設定情報読出部 81、83 DFF, 82 加算器, 84 出力部, 101 特徴量バッファ,102 再生位置特徴量生成部, 103 比較部, 104 検索位置特徴量読出部, 201 特徴量バッファ, 202 情報量評価値算出部