JP4609711B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画質に関連する情報をユーザに提示する画像処理装置および方法、並びにプログラムに関する。

動画像や音声をデジタルで提供するサービスが一般的に行われている。例えば、テレビジョン放送では、デジタル放送が行われている。また、ＤＶＤ（Digital Versatile Disc）などの記録媒体に、デジタルデータとして映画などのコンテンツが記録され、ユーザに提供されている。

デジタルデータは、アナログデータに比べて高画質、高音質に保存しやすく、さらに解像度、色の表現数、1秒間の画像フレーム数（フレームレート）などの多様な点を調整して符号化、圧縮することができる。一般に、高画質、高音質に重点をおいた変換を行うと、高画質、高音質に重点をおかない変換を行ったときと比べて、データ量は大きくなる。また、複雑な動画像を変換した場合は、複雑でない動画像を変換した場合に比べて、データ量が大きくなる傾向にある。

一般に画像のフレームレートが高いと、動きの多い動画像でも、チラつきやぼやけが少なく質感の高い高品質の再生画像が得られ、また、スロー再生したときにも滑らかな再生を行うことができる。また、高フレームレートの動画像は、コンテンツの細かさや動き、コンテンツ作成者の意図、データ容量などに依存し、コンテンツ（例えば、１本の映画）全体にわたって、高フレームレートで撮影した場合や、コンテンツ内の所定の部分、例えば、注目や効果の大きい部分のみが高フレームレートで撮影される場合がある。

このように、フレームレートは、適宜、制御され、その制御に依存して画質やデータ量などが可変する。よって、異なるフレームレートのデジタルデータが、混在する状況となっている。そのため、フレームレートの高い動画像に対し、フレームを間引くことで再生フレームレートを調整する技術や、高フレームレート部分を自動的にスロー再生させる技術が提案されている。（例えば、特許文献１，２参照）
特開２００４−１２９２１７号公報 特開２００４−２２１９９９号公報

しかしながら、フレームレートの高い（例えば120fps, 240fpsなど）動画像では、その動画像を観賞するユーザの視覚能力の個体差や、その動画像への注目度合いによって、その知覚品質効果が異なる場合があり、必ずしも、全てのユーザに、フレームレートが高いことにより提供される効果を提供できない可能性があった。

このことは、ユーザにフレームレートが高いことによる有効性を享受する機会を失わせる恐れがあるため、ユーザにフレームレートが高いことにより提供される効果を確実に享受させるための手段が設けられることが望まれていた。また、コンテンツの作成者が意図的にフレームレートを高くしたにも係わらず、その意図がユーザに伝わらない可能性があり、作成者側にとっても、作成者の意図を確実にユーザ側に伝えるような手段が設けられることが望まれていた。

特許文献１や特許文献２に記載されている技術では、コンテンツの作成者の意図をユーザに伝えることや、フレームレートが高い動画像のときに得られる効果をユーザに伝えることができないといった問題があった。

また、高フレームレートのコンテンツは非常に高速かつ大容量なデータとなるため、画像処理やデータ保存に要する処理負荷を低減する必要があった。

本発明はこのような状況に鑑みてなされたものであり、フレームレートの高い動画像のときに得られる効果を、ユーザが享受できるようにする。

本発明の画像処理装置は、動画像データを取得する取得手段と、前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定する第１の判定手段と、前記第１の判定手段により前記動画像データが高フレームレートであると判定された場合、前記動画像データは、常時高フレームレートであるか否かを判定する第２の判定手段と、前記第２の判定手段により、前記動画像データは、常時高フレームレートであると判定された場合、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定する第３の判定手段と、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、そのように判定された動画像データを記憶する記憶手段と、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御手段とを備える。

前記高フレームレートの再生を通知する情報は、フレームレートを表す数字であるか、または単語であるようにすることできる。

前記高フレームレートの再生を通知する情報は、フレームレートを表すインジケータであることを特徴とするようにすることができる。

前記第３の判定手段において、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定される動画像は、再生される動画像データに基づく画像内の所定の被写体の動きが単位時間内で大きい部分、または画像内の動く領域が大きい部分が存在する動画像であるようにすることができる。

前記第１の判定手段、前記第２の判定手段、および前記第３の判定手段は、メタ情報に含まれる情報を用いて判定を行うようにすることができる。

前記記憶手段に記憶されている動画像データから、動画像データを表すインデックス画像を作成する作成手段をさらに備え、作成手段により作成されたインデックス画像に対応する動画像データの再生が指示された場合、記憶手段から、再生が指示された動画像データを読み出し再生するようにすることができる。

前記記憶手段は、第１の記憶部と第２の記憶部を備え、第１の記憶部に動画像データを記憶するための容量がない場合、第２の記憶部に動画像データを記憶し、第２の記憶部にも動画像データを記憶する容量がないときには、第１の記憶部に既に記憶されているデータを削除し、動画像データを記憶するようにすることができる。

本発明の画像処理方法は、取得手段、第１の判定手段、第２の判定手段、第３の判定手段、記憶手段、および表示制御手段を備える画像処理装置の画像処理方法において、前記取得手段は、動画像データを取得し、前記第１の判定手段は、前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定し、前記第２の判定手段は、前記第１の判定手段により前記動画像データが高フレームレートであると判定された場合、前記動画像データは、常時高フレームレートであるか否かを判定し、前記第３の判定手段は、前記第２の判定手段により、前記動画像データは、常時高フレームレートであると判定された場合、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定し、前記記憶手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、そのように判定された動画像データを記憶し、前記表示制御手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、高フレームレートの再生を通知する情報の表示を制御するステップを含む。

本発明のプログラムは、取得手段、第１の判定手段、第２の判定手段、第３の判定手段、記憶手段、および表示制御手段を備える画像処理装置を制御するコンピュータが読み取り可能なプログラムであって、前記取得手段は、動画像データを取得し、前記第１の判定手段は、前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定し、前記第２の判定手段は、前記第１の判定手段により前記動画像データが高フレームレートであると判定された場合、前記動画像データは、常時高フレームレートであるか否かを判定し、前記第３の判定手段は、前記第２の判定手段により、前記動画像データは、常時高フレームレートであると判定された場合、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定し、前記記憶手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、そのように判定された動画像データを記憶し、前記表示制御手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、高フレームレートの再生を通知する情報の表示を制御するステップを含む。

本発明の画像処理装置および方法、並びに記録媒体においては、取得された動画像データが高フレームレートであった場合、そのことがユーザに情報として提示される。

本発明によれば、動画像の画質に関する情報をユーザに提供することが可能である。

本発明によれば、フレームレートが高く画質向上効果のある動画像部分に、ユーザが注目するように仕向けることができる。よって、フレームレートが高いときに得られる効果（所定のコンテンツ中における画質向上が大きい部分）を、ユーザに確実に提供することができる。

以下に、本発明の実施の形態について図面を参照して説明する。

［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。図１に示した画像処理装置１０は、例えば、テレビジョン放送を受信する装置や、所定の記録媒体（例えば、ＤＶＤ）に記録されているコンテンツを再生する装置に備えられる。また、図１に示す画像処理装置１０は、処理対象とされる動画像中のうち、フレームレートが高い（適宜、高フレームレートと記載する）部分、または、高フレームレートによる再生画質向上効果が強い部分を、ユーザに効果的に提示・提供するための処理を実行する装置である。

以下に説明する画像表示装置１０は、高フレームレートの部分を、動画像のメタ情報等から検出し、ユーザに当該部分を認識させるようにするとともに、当該部分のデータを抽出し、所定の記憶部に保存し、これらのインデックスを含む表示画面を作成し、ユーザに提示する。

ユーザは、提示された情報を参考にし、高フレームレートの動画像を注視することができるようになる。またユーザは、インデックスとして提供されている画面から所望の高フレームレートの動画像を再生させることもできるようになる。このことにより、ユーザに、画質向上効果を享受させることが可能となる。そのようなことを実現する画像処理装置１０の構成について説明する。

データ取得部２１は、動画像データを取得する。この動画像データは、テレビジョン放送として送信されてきたデータでも良いし、所定のネットワークを介して送信されてきたデータでも良い。また、動画像データは、ＤＶＤ（Digital Versatile Disc）などの所定の記録媒体に記録され、その記録媒体が再生されることにより取得されるデータでも良い。

情報解析部２２は、データ取得部２１により取得された動画像データのフレームレートを解析する。例えば、情報解析部２２は、取得された動画像データに含まれる各データ単位のヘッダ情報や、サマリー、タイムフレーム等のメタ情報から、フレームレートを解析する。また情報解析部２２は、動画像データの動き量なども、必要に応じ取得する。以上の処理から、記憶部２４に保存すべき動画像データを判定する。

記憶部２４は、情報解析部２２を介して部分的に供給される動画像データを記憶する。記憶部２４は、ここでは、第１の記憶部としての高速記憶部２５と、第２の記憶部としての低速記憶部２６という２つの異なる特徴を有する記憶部を備えるとする。高速記憶部２５は、高速に情報解析部２２からのデータを書き込むことができ、画像処理部２３に対して書き込まれているデータを読み出す（出力する）ことができる、例えば、メモリなどで構成される。

低速記憶部２６は、高速記憶部２５と比較し、低速に情報解析部２２からのデータを書き込み、画像処理部２３に対して書き込まれているデータを読み出す（出力する）、例えば、外部記憶装置で構成される。

画像処理部２３は、情報解析部２２を介して供給される動画像データを復号し、信号処理する。また、画像処理部２３は、記憶部２４から動画像データ（または静止画像データ）が供給される場合、インデックスなどを含む画面を構成する。画像処理部２３により処理された動画像データは、表示部３１に供給される。

操作処理部２７は、操作部３２からのユーザの指示をうけ、処理する。ここでは、そのユーザからの指示は、表示部３１に表示されているインデックスから再生させたい動画像を選択するための指示や、そのインデックス自体を表示させるための指示である。

操作部３２は、画像処理装置１０に設けられているボタンや、外部装置としてのリモートコントローラなどから構成される。

このような構成を有する画像処理装置１０は、扱うデータ（データ取得部２１で取得されるデータ）の一部または全てが、高フレームレートで撮影されている場合に、特に有効的な処理を実現する。

高フレームレートでの撮影は、撮影対象の動きや細やかさを鑑みて、十分なデータ蓄積容量と処理容量を持つ設備を用いて最初から最後まで一定の高フレームレートで撮影される場合と、撮影対象の動きや注目度の変化に応じて高フレームレートと低フレームレートを混合させて撮影される場合とがある。画像処理装置１０は、高フレームレートのみで撮影された動画像であるか、高フレームレートと低フレームレートが混在した状態で撮影された動画像であるかを、動画像データ全体としての仕様・メタ情報によって判定する。その判定は、再生処理の前に行われる。そのような処理を含む画像処理装置１０の処理の詳細について、説明する。

［画像処理装置の動作について］
次に、画像処理装置１０の動作について、図２と図３のフローチャートを参照して説明する。図２と図３に示したフローチャートの処理は、前提としてデータ取得部２１が、動画像データを取得している状態のときに行われる。

ステップＳ１１において、情報解析部２２は、データ取得部２１により取得されている動画像データの供給を受け、その供給を受けている動画像データのフレームレートを解析する。そして、その供給を受けている動画像データが高フレームレートであるか否かを判定する。情報解析部２２は、供給されている動画像データのフレームレートを解析するとき、その動画像データに付随するメタ情報などを解析することにより行う。

メタ情報には、動画像データに付与されるヘッダ情報、データ到着間隔などのデータ到着毎の情報、ＥＰＧ（Electronic Program Guide）や別ファイルから得られる動画像コンテンツ全体のサマリー、タイムフレーム等の事前情報が含まれている。ライブ動画では前者の情報を、編集済みの動画では後者の情報を、それぞれフレームレートの解析を行う際の情報として用いることができる。

ステップＳ１１において、情報解析部２２は、メタ情報などを参照して供給されている動画像データが高フレームレートであるか否かを判定する。高フレームレートと判定されるフレームレートとは、例えば、２４０ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）などである。

ステップＳ１１において、供給されている動画像データは、高フレームレートであると判定された場合、ステップＳ１２に処理が進められ、高フレームレートではないと判定された場合、ステップＳ１５に処理が進められる。ステップＳ１２において、高フレームレートであると判定された動画像データは、常時高フレームレートであるか否かがさらに判定される。常時高フレームレートとは、コンテンツ全体にわたり高フレームレートと判定されるフレームレートで撮影されている（記録されている）ことを意味する。

ステップＳ１２において、常時高フレームレートであると判定された場合、ステップＳ１３に処理が進められ、常時高フレームレートではないと判定された場合、ステップＳ１４に処理が進められる。

ステップＳ１３において、高フレームレートの効果が高い動画像であるか否かが判定される。ステップＳ１３に処理が来る場合、供給されている動画像データのコンテンツが、常に高フレームレートで撮影されたコンテンツであると判定されたときである。常に高フレームレートなコンテンツは、基本的に、そのコンテンツのどの部分でも高画質であり、スロー再生したときなどでも、その画像が乱れたりせずに比較的綺麗な動画像として、ユーザに提供できるコンテンツである。

そのような高フレームレートのコンテンツがユーザに提供されているときには、さらに、そのコンテンツ内で、特に高フレームレートである利点を発揮できる部分を、ユーザに提示するようにする。そのために、ステップＳ１３において、高フレームレートの効果が高い動画像であるか否かが判定される。

なお、高フレームレートである利点を発揮できる部分（高フレームレートの効果が高い動画像）とは、ここでは、再生される動画像データに基づく画像内の所定の被写体の動きが単位時間内で大きい部分や、画像内の動く領域が大きい部分などが存在する動画像であるとする。再生される動画像データの単位時間内の大きい動画像が高フレームレートで撮影されている場合、例えば、ユーザは、その部分をスロー再生させることにより、その画像（被写体）の細かい動きを綺麗な画像で見ることができる。

また、再生される動画像データに基づく画像内の動く領域が大きい部分なども高フレームレートで撮影されていれば、同様に、例えば、ユーザは、スロー再生させることにより、その画像の領域の所定の領域に注目し、その注目している領域内の画像を綺麗な画像で見ることができる。

このような、高フレームレートの動画像の中でも、特に、ユーザにとって、その高フレームレートであることによる効果が高い部分が検出される。この検出は、ステップＳ１１やステップＳ１２と同様に、メタ情報などの動画像データに含まれる（付随する）情報（例えば、動き量データ量などの情報）を解析することにより行うことができる。

ステップＳ１３において、高フレームレートの効果が高い動画像であると判定された場合、ステップＳ１４に処理が進められ、高フレームレートの効果が高い動画像ではないと判定された場合、ステップＳ１５に処理が進められる。

ステップＳ１５に処理にくるのは、ステップＳ１１において、処理対象とされている動画像データが、高フレームレートではないと判定された場合か、または、ステップＳ１３において常時高フレームレートであり、かつ高フレームレートであることによる効果が薄い動画像であると判定された場合である。

ステップＳ１５への処理には、このように、処理対象とされている動画像データが高フレームレートでないとき（低フレームレートのとき）か、高フレームレートであるが、高フレームレートの効果が薄いときに来る。ステップＳ１５においては、通常動画表示が行われる。この通常動画表示とは、例えば、テレビジョン放送の番組を受信したときに、その番組をそのまま表示させることを意味し、以下に説明するような処理（表示）が行われないことを意味する。換言すれば、後述するメイン画像５１（図４）のみが表示部３１に表示されている状態を意味する。

ステップＳ１５における通常動画表示が行われているときには、処理は、ステップＳ１７へと進められる。ステップＳ１７の処理について説明する前に、ステップＳ１４における処理について説明する。

ステップＳ１４への処理には、ステップＳ１３において、常時高フレームレートの動画像のなかでも、高フレームレートの効果が高い動画像であると判定されたときか、または、ステップＳ１２において、高フレームレートであるが常時高フレームレートではないと判定されたとき（すなわち、高フレームレートと低フレームレートとが混在している動画像のなかで、高フレームレートの部分の動画像であると判定されたとき）に来る。

このように、処理対象とされている動画像データが高フレームレートであり、高フレームレートによる効果を得られる場面であるときであるので、そのことをユーザに認識させる（通知する）ための処理が、ステップＳ１４において実行される。

ステップＳ１４においては、通知付き動画表示が行われる。通知付き動画像表示とは、上記した通常動画表示の他に、その時点で再生されている動画像が、高フレームレートであることをユーザに認識させるための情報も、画面上に表示される。その画面としては、例えば、図４のような表示が考えられる。

図４は、通知付き動画像表示の一例の画面を示す図である。表示部３１に表示されている画面のうち、メイン画像５１は、その時点で処理されている動画像の画像である。すなわち、データ取得部２１（図１）により取得され、情報解析部２２を介して、画像処理部２３に供給され、処理された動画像データの画像が、メイン画像５１として表示される。このメイン画像５１は、通常動画表示のときに、表示部３１に表示される画像と同様である。

通知付き動画表示の場合、メイン画像５１の画像の他に、情報表示部６１における情報も表示される。この情報表示部６１には、例えば、その時点で処理されている動画像のフレームレートの数値（図４においては“２４０f”という情報）が表示される。また、図４に示した例では、音声に関する情報（図４においては“ｓｔｅｒｅｏ”という情報）が表示されている。

この情報表示部６１に表示される情報は、フレームレートの数値や音声に関する情報のみに限定されるわけではない。例えば、フレームレートの数値をそのままユーザに提示しても、ユーザとしては、その数値が示すフレームレートは、高いのか低いのかといった判定をしづらいと考えられる。そこで、フレームレートから、ユーザにわかりやすい情報に変換し、その情報が情報表示部６１に表示されるようにしても良い。

例えば、フレームレートが高いということをユーザに認識させるために“高い”とか、“Ｈｉｇｈ”といった表示がされるようにしても良い。また、高フレームレートの動画像は、上記したように、スロー再生などで、その効果を発揮するため、“スロー再生”とか、“スロー推薦”といったような、スロー再生を進めるような表示が行われるようにしても良い。

また、フレームレートの変化を一目でわかるような表示をするようにしても良い。例えば、図４に示したように、インジケータ６２を表示させるようにしても良い。このインジゲータ６２は、フレームレートの数値を、棒状のスケールで表すように構成されている。この場合も、フレームレートの数値を、そのままインジゲータ６２の表示に反映させるのではなく、フレームレートから得られる効果の度合いを表すようにしても良い。

なお、図４には、情報表示部６１とインジゲータ６２が、１画面に共に表示されている例を示したが、どちらか一方が表示されるようにすればよい。また、表示される位置は、ユーザの動画像観賞を妨げない位置である。また、これらの表示は、ユーザにより、表示をするか否かを選択できる（設定できる）仕組みを設けることが好ましい。さらに、このような表示は、通常再生におけるユーザの注目を促すために、実際の再生に先立って表示されるようにしても良い。

情報表示部６１に表示される情報や、インジゲータ６２の表示は、画像処理部２３が、情報解析部２２による情報の解析結果を基に、画像データを生成し、メイン画像５１の画像の上に表示されるように動画像データを加工することにより行われる（OSD（On Screen Display））。

図２のフローチャートの説明に戻り、ステップＳ１４において、通知付き動画表示が行われると、ステップＳ１６に処理が進められる。ステップＳ１６において、検出部分の抽出、保存の処理が行われる。ステップＳ１６における処理は、図３のフローチャートを参照して後述するが、記憶部２４（図１）に、高フレームレートであると判定された動画像のデータを記憶させる為の処理である。

ステップＳ１６において、検出された部分の動画像データが記憶部２４に記憶されると、ステップＳ１７において、検出部分の視聴要求が、ユーザからあったか否かが判定される。検出部分とは、記憶部２４に記憶されている動画像データのことである。

ステップＳ１７における判定は、操作処理部２７（図１）が、操作部３２からの信号を解析することにより行われる。すなわち、ユーザが操作部３２を操作すると、その操作に対応した信号が、操作処理部２７に供給される。操作処理部２７は、供給された信号を解析することにより、ユーザが検出部分の視聴を要求したか否かが判定される。ユーザは、例えば、操作部３２を構成するリモートコントローラの所定のボタンを操作することにより、検出部分の視聴を要求することができるように構成されている。

ステップＳ１７において、検出部分視聴要求があったと判定された場合、ステップＳ１８に処理が進めらる。ステップＳ１８において、インデックス画面の作成、表示の処理が行われる。この処理が行われることにより、図５に示したような画面が、表示部３１に表示される。

図５は、インデックス画面の一例を示す図である。図５に示すように、メイン画像５１の下側（図中下側）にインデックス画像表示部７１が設けられ、そのインデックス画面表示部７１に、記憶部２４に記憶されている動画像データから抽出（作成）される１画面が、インデックスとして表示される。

インデックス画像表示部７１に表示されているインデックス画像のなかから、ユーザは、動画像として再生させたい画像を選択できるように構成されている。ユーザは、カーソル７２を所望の画像の上に移動させ、所定の操作、例えば、操作部３２の所定のボタンを操作することにより、再生させたい動画像の選択を行うことができるように構成されている。

インデックス画像表示部７１に表示されるインデックス画像は、画像処理部２３により作成される。操作処理部２７は、ユーザから検出部分の視聴要求がされたと判定すると、そのことを示す信号を画像処理部２３に出力する。画像処理部２３は、視聴要求を示す信号を入力すると、記憶部２４に記憶されている動画像データの一部を読み出す。記憶部２４には、複数の動画像データが記憶されているが、それらの動画像データに基づく動画像に含まれる１画面（画像）を生成するためのデータが読み出される。

画像処理部２３は、記憶部２４から読み出したデータから動画像を代表する１画面分の画像を生成する。その生成された画像が１枚のインデックス画像とされる。記憶部２４に記憶されている動画像データの分だけ、インデックス画像が作成される。なお、例えば、５枚のインデックス画像がインデックス画像表示部７１に表示できるように構成されている場合には、５枚のインデックス画像が生成されればよい。

その生成される５枚のインデックス画像は、記憶部２４に記憶された時刻を基準とし、最新の動画像データから古い動画像データの順に、インデックス画像が生成されるようにしても良いし、記憶部２４に記憶されている最も古い動画像データから新しい動画像データの順に、インデックス画像が生成されるようにしても良い。また、５以上の動画像データが記憶部２４に記憶され、一度にインデックス画像表示部７１に表示されるインデックス画像が５枚であった場合、インデックス画像表示部７１は、スクロールされる構成とされ、スクロールされることにより、表示されきれていないインデックス画像もユーザは閲覧できるように構成されている。

ステップＳ１８においては、このようなインデックス画像の作成や表示に係わる処理が実行される。図５に示したように、インデックス画像表示部７１にインデックス画像が表示されると、ステップＳ１９において、そのインデックス画像表示部７１に表示されている複数のインデックス画像のうちから、１枚のインデックス画像が選択されたか否かが判定される。ステップＳ１９において、ユーザによりインデックス画像が選択されたと判定された場合、ステップＳ２０に処理が進められる。

ステップＳ２０において、選択されたインデックス画像に対応する動画像データが記憶部２４から読み出される。そして、画像処理部２３は、読み出した動画像データを再生する。このようにして、ユーザに、ユーザが選択した動画像が提供される。

インデックス画像に対応付けられている動画像は、高フレームレートによる知覚品質向上の効果が高い動画像であり、そのような動画像に、ユーザを注目させるようにすることができるようになる。このことにより、ユーザに、高フレームレートによる知覚品質向上の効果が高い動画像を繰り返し再生やスロー再生を要求させることができるようになる。

一方、ステップＳ１９において、インデックス画像表示部７１に表示されているインデックス画像からインデックス画像は選択されていないと判定された場合、ステップＳ２１に処理が進められる。ステップＳ２１において、インデックス画像表示部７１の表示をしないという指示（インデックス画像の表示をオフにするという指示）がされたか否かが判定される。ステップＳ２１において、インデックス画像表示部７１の表示をしないという指示はされていないと判定された場合、ステップＳ１９に処理が戻され、それ以降の処理が繰り返される。すなわち、図５に示したようなインデックス画像が表示された状態が維持される。

一方、ステップＳ２１において、インデックス画像表示部７１の表示をしないという指示がされた場合、インデックス画像表示部７１の表示が消され、メイン画像５１が全画面表示にされる状態に戻される。この場合、ステップＳ１５の処理における通常動画表示に、表示部３１の表示が戻されるようにしても良いし、ステップＳ１４における通知付き動画表示（図４に示したような表示）に、表示部３１の表示が戻されるようにしても良い。

このようにして、ユーザに高フレームレートの動画像が提供される。

ステップＳ１６における検出部分の抽出、保存に関する処理について、図３のフローチャートを参照して説明する。高フレームレートの動画像データは、高速かつ大容量のデータとなるため、処理負担や、記憶部の容量制約が厳しい状態となることがある。そのため、動画像データを抽出したり、保存したりする処理が、動画像の表示に係わる処理（メイン画像５１として表示させる動画像の処理）を妨げないように、ステップＳ１４において、先に通知付き動画表示が行なわれ、その後に、ステップＳ１７において、検出部分の抽出、保存の処理が行われるようにする。

ステップＳ３１において、高速記憶部２５に空き容量があるか否かが判定される。抽出される動画像データを記憶するのに必要な容量が、空き容量として高速記憶部２５にあるか否かが判定される。ステップＳ３１において、高速記憶部２５に空き容量があると判定された場合、ステップＳ３２に処理が進められ、高速記憶部２５に抽出される動画像データが記憶される。

一方、ステップＳ３１において、高速記憶部２５には空き容量がないと判定された場合、ステップＳ３３に処理が進められる。ステップＳ３３において、低速記憶部２６に、抽出される動画像データを記憶するための容量があるか否かが判定される。ステップＳ３３において、低速記憶部２６に空き容量はないと判定された場合、ステップＳ３４に処理が進められる。

ステップＳ３４において、高速記憶部２５に既に記憶されている動画像データが削除される。この削除は、高速記憶部２５に記憶されている全ての動画像データが削除されるようにしても良いし、最も古い時刻に記憶された動画像データから順に、必要量の容量があくまで削除されるようにしても良い。このようにして、高速記憶部２５に空き容量ができると、ステップＳ３２に処理が進められ、その空けられた容量のところに、抽出される動画像データが記憶（保存）される。

一方、ステップＳ３３において、低速記憶部２６に空き容量があると判定された場合、ステップＳ３５に処理が進められる。ステップＳ３５において、低速記憶部２６に、抽出される動画像データが記憶（保存）される。

このようにして、抽出される動画像データが高速記憶部２５か低速記憶部２６に記憶される。このようにして記憶部２４に記憶された動画像データは、上述したように、ユーザの指示があったときに読み出され、再生される。

図３に示したフローチャートの処理において、高速記憶部２５または低速記憶部２６に動画像データを記憶させる際、抽出データの保存までに必要な経路（メモリ、バス、記憶部２４など）におけるデータスループットと退避処理に要する時間が、通常の動画データの再生処理（メイン画像５１の生成処理）に影響を与えないことが条件とされる。特に、低速記憶部２６に対して動画像データが記憶される際には、この条件が満たされるように構成される。

動画像データを記憶部２４に記憶する際、その動画像データの記憶の他に、インデックス表示用の少量のデータを作成し、高速記憶部２５に記憶させるようにしても良い。このようにすれば、インデックス画像の表示のためにかかる時間を短くすることができる。

また、動画像データが蓄積データ（例えば、ＤＶＤなどの所定の記録媒体に記録されているデータ）の場合、蓄積データにおけるデータの位置やタイミング情報を、記憶部２４に、動画像データの代わり保存するようにしても良い。このようにすることで、記憶すべきデータ量が少なくなるので、容量の小さい高速記憶部２５だけ備える構成とすることも可能となる。

本発明によると、動画像データのコンテンツ内容やユーザの視聴形態に応じた作用がある。撮像者の意図やコンテンツの動き等から高フレームレート撮像が行われた部分は、ユーザに観賞される価値が高い部分であり、インジケータなどによる情報提示によって、ユーザの注目を促すことにより、ユーザは常に観賞に集中し続ける必要が無く、効果的にユーザに高フレームレートの恩恵を提供することができる。

また当該部分は、特にスポーツやコンサート等の動きの激しいライブコンテンツの視聴や、好みのドラマやＤＶＤをじっくりと見直す視聴形態において、ユーザに繰り返し再生やスロー再生を要求されることが多く、当該部分の抽出とインデックス表示によって、このようなユーザの視聴を支援することができる。

なお、初めて見る映画、ドラマなどの視聴の際には、インジケータによって内容が予想できてしまう恐れがあるため、ユーザの好みに応じて本発明の機能をＯＦＦにすることも可能にできる仕組みを設けても良い。

［記録媒体について］
上述した一連の処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体について説明する前に、記録媒体を扱うパーソナルコンピュータについて簡便に説明を加える。

図６は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ（Read Only Memory）１０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース１０５は、キーボードやマウスから構成される入力部１０６が接続され、入力部１０６に入力された信号をＣＰＵ１０１に出力する。また、入出力インタフェース１０５には、ディスプレイやスピーカなどから構成される出力部１０７も接続されている。

さらに、入出力インタフェース１０５には、ハードディスクなどから構成される記憶部１０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部１０９も接続されている。ドライブ１１０は、磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、半導体メモリ１２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。

記録媒体は、図６に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク１２３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ１０２や記憶部１０８が含まれるハードディスクなどで構成される。

なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した画像処理装置の一実施の形態の構成を示す図である。 画像処理装置の動作について説明するためのフローチャートである。 ステップＳ１６の処理について説明するためのフローチャートである。 表示部に表示される画面の一例を示す図である。 表示部に表示される画面の一例を示す図である。 媒体を説明する図である。

符号の説明

２１ データ取得部，２２ 情報解析部， ２３ 画像処理部， ２４ 記憶部， ２５ 高速記憶部， ２６ 低速記憶部， ２７ 操作処理部， ３１ 表示部、 ３２ 操作部

Claims (9)

1. 動画像データを取得する取得手段と、
   前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定する第１の判定手段と、
   前記第１の判定手段により前記動画像データが高フレームレートであると判定された場合、前記動画像データは、常時高フレームレートであるか否かを判定する第２の判定手段と、
   前記第２の判定手段により、前記動画像データは、常時高フレームレートであると判定された場合、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定する第３の判定手段と、
   前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、そのように判定された動画像データを記憶する記憶手段と、
   前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する表示制御手段と
   を備える画像処理装置。
2. 前記高フレームレートの再生を通知する情報は、フレームレートを表す数字であるか、または単語である
   請求項１に記載の画像処理装置。
3. 前記高フレームレートの再生を通知する情報は、フレームレートを表すインジケータである
   請求項１に記載の画像処理装置。
4. 前記第３の判定手段において、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定される動画像は、再生される動画像データに基づく画像内の所定の被写体の動きが単位時間内で大きい部分、または画像内の動く領域が大きい部分が存在する動画像である
   請求項１に記載の画像処理装置。
5. 前記第１の判定手段、前記第２の判定手段、および前記第３の判定手段は、メタ情報に含まれる情報を用いて判定を行う
   請求項１に記載の画像処理装置。
6. 前記記憶手段に記憶されている前記動画像データから、動画像データを表すインデックス画像を作成する作成手段を
   さらに備え、
   前記作成手段により作成された前記インデックス画像に対応する動画像データの再生が指示された場合、前記記憶手段から、再生が指示された動画像データを読み出し再生する
   請求項１に記載の画像処理装置。
7. 前記記憶手段は、第１の記憶部と第２の記憶部を備え、前記第１の記憶部に前記動画像データを記憶するための容量がない場合、前記第２の記憶部に前記動画像データを記憶し、前記第２の記憶部にも前記動画像データを記憶する容量がないときには、前記第１の記憶部に既に記憶されているデータを削除し、前記動画像データを記憶する
   請求項１に記載の画像処理装置。
8. 取得手段、第１の判定手段、第２の判定手段、第３の判定手段、記憶手段、および表示制御手段を備える画像処理装置の画像処理方法において、
   前記取得手段は、動画像データを取得し、
   前記第１の判定手段は、前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定し、
   前記第２の判定手段は、前記第１の判定手段により前記動画像データが高フレームレートであると判定された場合、前記動画像データは、常時高フレームレートであるか否かを判定し、
   前記第３の判定手段は、前記第２の判定手段により、前記動画像データは、常時高フレームレートであると判定された場合、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定し、
   前記記憶手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、そのように判定された動画像データを記憶し、
   前記表示制御手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する
   ステップを含む画像処理方法。
9. 取得手段、第１の判定手段、第２の判定手段、第３の判定手段、記憶手段、および表示制御手段を備える画像処理装置を制御するコンピュータが読み取り可能なプログラムであって、
   前記取得手段は、動画像データを取得し、
   前記第１の判定手段は、前記取得手段により取得された前記動画像データが、高フレームレートであるか否かを判定し、
   前記第２の判定手段は、前記第１の判定手段により前記動画像データが高フレームレートであると判定された場合、前記動画像データは、常時高フレームレートであるか否かを判定し、
   前記第３の判定手段は、前記第２の判定手段により、前記動画像データは、常時高フレームレートであると判定された場合、高フレームレートであることによる効果が高い画像を提供できる動画像データであるか否かを判定し、
   前記記憶手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、そのように判定された動画像データを記憶し、
   前記表示制御手段は、前記第２の判定手段で、前記動画像データは、常時高フレームレートではないと判定された場合、または前記第３の判定手段で、高フレームレートであることによる効果が高い画像を提供できる動画像データであると判定された場合、高フレームレートの再生を通知する情報の表示を制御する
   ステップを含むコンピュータが読み取り可能なプログラム。

Images