JP4797446B2 - 情報処理システム、情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理システム、情報処理装置および方法、並びにプログラムに関し、特に、撮像したときのフレームレートより低いフレームレートで再生した場合でも、高画質で画像を再生することができるようにする情情報処理システム、情報処理装置および方法、並びにプログラムに関する。

近年、携帯電話などの携帯用端末機器や据え置き型の再生装置など様々な種類の装置で、画像（動画像）を再生することができるようになってきている。しかしながら、解像度、フレームレート、色深度などの、再生することができる画像に関するスペック（仕様）は、各装置の種類によって様々である。

例えば、解像度については、SDTV(Standard Definition Television)対応のテレビジョン受像機は、走査線の本数（解像度）が５２５本である525pと呼ばれるデジタル放送信号の画像を表示（再生）することが可能であり、HDTV(High Definition Television)対応のテレビジョン受像機は、525pの他、走査線の本数が１１２５本である1125iなどのデジタル放送信号の画像も表示（再生）することが可能である。

また、フレームレートについて言えば、テレビジョン放送による画像では、１秒間に更新される画像の枚数を表すフレームレートが３０fps(frame per second)となっているが、無線LAN(Local Area Network)などの狭帯域回線により伝送された画像データを携帯用端末機器で再生（表示）する場合には、回線容量（伝送速度）などの問題から、３０fpsよりも低いフレームレートの画像とすることが多い。

したがって、１つのコンテンツ（画像）について、異なるスペックの再生装置（表示装置）に対応するために、各スペックに対応する画像データをそれぞれ用意（準備）すればよいが、そのように再生装置のスペックごとに画像データを作成することは、それにかかる手間の問題や、画像データを記録（保存）しておく記録装置（記録メディア）の容量が膨大になるという問題などがあり、ひいては、それらが装置のコストアップに転嫁されることにもなる。

そこで、１つのコンテンツ（画像）に対して、単一のフォーマットで画像データを作成し、そこから必要な部分のみを抜き出すことにより、各種のスペックの再生装置に対応することが可能な、画像データフォーマットの必要性が高まっている。この単一のフォーマットで作成した画像データの一部を抜き出し再生することにより再生側装置のスペックに合わせた再生を可能とする技術は、インターネット経由での画像伝送など不特定多数（種類）の再生装置に対して伝送する場合に特に有効である。

このような技術の要請に対して、例えば、JPEG(Joint Photographic Experts Group)が2001年1月に規定したJPEG2000は、画質または解像度を動的に変更して伝送する方式（画質または解像度スケーラブル伝送方式）を実現するものであり、１つのフォーマットで符号化されたデータの一部を抜き出して復号することにより、抜き出したデータ量に応じて異なる解像度、画質の画像を得ることが可能となる。

また、例えば、フレームレートに関しては、フレームスキップによりフレームレートを動的に変更して伝送する方式（フレームレートスケーラブル伝送方式）があり、高フレームレートのフレーム画像から所定の時間間隔でフレーム画像を抜き出して（フレームスキップして）再生（表示）することで、表示装置のスペック（表示レート）にあわせたフレームレートの再生を実現する。例えば、フレームレートが３０fpsの画像データから、１５fpsの表示レートで画像を表示する表示装置に画像データを出力する場合には、２フレームに１回（１フレーム）の時間間隔で画像データを抜き出すことにより、フレームレートが１５fpsの画像とすることができる。

なお、特許文献１には、高フレームレートの画像データを複数フレーム単位で平均をとって１フレームとしフレーム数を少なくすることにより、高フレームレートの画像データから表示装置のスペックにあわせた低いフレームレートでの再生を実現する方法が提案されている。

ところで、高速に移動する物体を撮像する場合、各々の画像においてボケが少ない画像とするためには、できるだけ高フレームレートで（高速なシャッタ速度で）撮像するのが良い。即ち、画像を撮像する場合のフレームレート（シャッタ速度）は、その画像を再生した時に最適な画質を享受できるように決定されており、撮像したときのフレームレートと再生するときのフレームレート（表示レート）は、同一にするのが一般的である。また、高フレームレートと低フレームレートの両方の再生を可能とするためには、画像は、高フレームレートで撮像されている必要がある。

特開２００４−８８２４４号公報

ところが、撮像された画像を、上述のフレームレートスケーラブル伝送方式により再生装置の表示レートに合わせた低フレームレートに変換すると、移動している物体がフレームからフレームに飛び移るように離散的な動きとして見えたり（連続的な動きに感じられなかったり）、同時に２つの物体として見えたりするという現象が発生する。なお、CG (Computer Graphics)アニメーションの分野におけるモーションブラーという手法は、上述の現象を防止するための手法の一つである。

本発明は、このような状況に鑑みてなされたものであり、撮像したときのフレームレートより低いフレームレートで再生した場合でも、高画質で画像を再生することができるようにするものである。

本発明の情報処理システムは、少なくとも第１および第２の情報処理装置とからなり、第１の情報処理装置は、第１のフレームレートの第１の画像を、Ｉ枚以上取得する第１の取得手段と、Ｉ枚の第１の画像から、Ｉ枚の第２の画像を生成し、出力する第１の生成手段とを備え、第２の情報処理装置は、第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されており、所定のフレームレート変換手段により第１のフレームレートから表示レートと同一の第２のフレームレートに変換された第２の画像を取得する第２の取得手段と、第２のフレームレートの第２の画像を用いて第２のフレームレートの第３の画像を生成し、表示装置に出力する第２の生成手段とを備え、第１の生成手段は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像については、ｎ乃至Ｉ枚目の第１の画像を用いて生成し、生成されたI枚の第２の画像を、予め決定した所定の順番で出力し、第２の生成手段は、第２の画像を用いて、第１の画像を表示レートに応じて平均化した画像を、第３の画像として生成することを特徴とする。

第１または第２の情報処理装置のいずれかには、フレームレート変換手段をさらに設けることができる。

フレームレート変換手段を有する第３の情報処理装置をさらに設けることができる。

本発明の情報処理システムにおいては、第１の情報処理装置では、第１のフレームレートの第１の画像が、Ｉ枚以上取得され、Ｉ枚の第１の画像から、Ｉ枚の第２の画像が生成され、出力される。また、第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されている第２の情報処理装置では、所定のフレームレート変換手段により第１のフレームレートから表示レートと同一の第２のフレームレートに変換された第２の画像が取得され、第２のフレームレートの第２の画像を用いて第２のフレームレートの第３の画像が生成され、表示装置に出力される。なお、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像については、ｎ乃至Ｉ枚目の第１の画像を用いて生成され、生成されたI枚の第２の画像が予め決定した所定の順番で出力され、第２の画像を用いて、第１の画像を表示レートに応じて平均化した画像が、第３の画像として生成される。

本発明の第１の情報処理装置は、第１のフレームレートの第１の画像を、Ｉ枚以上取得する取得手段と、Ｉ枚の第１の画像から、Ｉ枚の第２の画像を生成し、出力する生成手段とを備え、生成手段は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像については、ｎ乃至Ｉ枚目の第１の画像を用いて生成し、生成されたI枚の第２の画像を、予め決定した所定の順番で出力することを特徴とする。

生成手段には、ｎ枚目の第２の画像を、ｎ乃至Ｉ枚目の第１の画像の加算値、加算平均値、または重み付け加算値により生成させることができる。

第２の画像のフレームレートを第１のフレームレート以下の第２のフレームレートに変換するフレームレート変換手段をさらに設けることができる。

第１の画像には、ガンマ補正処理が施されており、取得手段で取得された第１の画像に対して逆ガンマ補正処理を施す逆ガンマ補正手段をさらに設けることができる。

生成手段により生成された第２の画像に対して圧縮処理を施す圧縮手段をさらに設けることができる。

生成手段により生成された第２の画像を所定の記録媒体に記録する記録手段をさらに設けることができる。

本発明の第１の情報処理方法およびプログラムは、第１の画像をＩ枚以上取得する取得ステップと、Ｉ枚の第１の画像から、Ｉ枚の第２の画像を生成し、出力する生成ステップとを含み、生成ステップの処理は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像については、ｎ乃至Ｉ枚目の第１の画像を用いて生成し、生成されたI枚の第２の画像を、予め決定した所定の順番で出力することを特徴とする。

本発明の第１の情報処理装置、情報処理方法、プログラムにおいては、第１の画像がＩ枚以上取得され、そのＩ枚の第１の画像から、Ｉ枚の第２の画像が生成され、出力される。なお、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像については、ｎ乃至Ｉ枚目の第１の画像を用いて生成され、生成されたI枚の第２の画像が、予め決定した所定の順番で出力される。

本発明の第２の情報処理装置は、Ｉ枚の第１のフレームレートの第１の画像から、Ｉ枚の第２の画像が、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像についてはｎ乃至Ｉ枚目の第１の画像を用いて生成され、生成されたI枚の第２の画像が、予め決定した所定の順番で所定のフレームレート変換手段に入力され、所定のフレームレート変換手段により第１のフレームレートから表示レートと同一の第２のフレームレートに変換された第２の画像を取得する取得手段と、取得手段で取得された第２のフレームレートの第２の画像を用いて第２のフレームレートの第３の画像を生成し、表示装置に出力する生成手段とを備え、生成手段は、第２の画像を用いて、第１の画像を表示レートに応じて平均化した画像を、第３の画像として生成することを特徴とする。

生成手段には、第２の画像を用いて、第１の画像を表示装置の表示レートに応じて加算平均した画像を、第３の画像として生成させることができる。

フレームレート変換手段をさらに設けることができる。

生成手段で生成された第３の画像に対してガンマ補正処理を施すガンマ補正手段をさらに設けることができる。

取得手段で取得された第２の画像には、圧縮処理が施されており、圧縮処理が施された第２の画像に対して伸長処理を施す伸長手段をさらに設けることができる。

所定の記録媒体に記録されている第２の画像を読み出す再生手段をさらに設け、取得手段には、所定の記録媒体から読み出された第２の画像を取得させることができる。

本発明の第２の情報処理方法およびプログラムは、Ｉ枚の第１のフレームレートの第１の画像から、Ｉ枚の第２の画像が、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像についてはｎ乃至Ｉ枚目の第１の画像を用いて生成され、生成されたI枚の第２の画像が、予め決定した所定の順番で所定のフレームレート変換手段に入力され、所定のフレームレート変換手段により第１のフレームレートから表示レートと同一の第２のフレームレートに変換された第２の画像を取得する取得ステップと、第２のフレームレートの第２の画像を用いて第２のフレームレートの第３の画像を生成し、表示装置に出力する生成ステップとを含み、生成ステップの処理は、第２の画像を用いて、第１の画像を表示レートに応じて平均化した画像を、第３の画像として生成することを特徴とする。

本発明の第２の情報処理装置、情報処理方法、プログラムにおいては、Ｉ枚の第１のフレームレートの第１の画像から、Ｉ枚の第２の画像が、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の第２の画像についてはｎ乃至Ｉ枚目の第１の画像を用いて生成され、生成されたI枚の第２の画像が、予め決定した所定の順番で所定のフレームレート変換手段に入力され、所定のフレームレート変換手段により第１のフレームレートから表示レートと同一の第２のフレームレートに変換された第２の画像が取得され、その第２のフレームレートの第２の画像を用いて第２のフレームレートの第３の画像が生成され、表示装置に出力される。ここで、第２の画像を用いて、第１の画像を表示レートに応じて平均化した画像が、第３の画像として生成される。

本発明によれば、撮像したときのフレームレートより低いフレームレートで再生した場合でも、高画質で画像を再生することができるようにする。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。

請求項１に記載の情報処理システム（例えば、図１の表示システム１）は、
少なくとも第１および第２の情報処理装置からなる情報処理システムにおいて、
前記第１の情報処理装置（例えば、図１の記録装置１３）は、
第１のフレームレートの第１の画像を、Ｉ枚以上取得する第１の取得手段（例えば、図２の一時記憶部３２）と、
前記Ｉ枚の第１の画像から、前記Ｉ枚の第２の画像を生成し、出力する第１の生成手段（例えば、図２の伝送用データ変換部３３）と
を備え、
前記第２の情報処理装置は、
前記第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されており、
所定のフレームレート変換手段により前記第１のフレームレートから前記表示レートと同一の第２のフレームレートに変換された前記第２の画像を取得する第２の取得手段（例えば、図４の一時記憶部７２）と、
前記第２のフレームレートの前記第２の画像を用いて前記第２のフレームレートの第３の画像を生成し、前記表示装置に出力する第２の生成手段（例えば、図４の再生用データ変換部７４）と
を備え、
前記第１の生成手段は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像については、ｎ乃至Ｉ枚目の前記第１の画像を用いて生成し、生成された前記I枚の前記第２の画像を、予め決定した所定の順番で出力し、
前記第２の生成手段は、前記第２の画像を用いて、前記第１の画像を前記表示レートに応じて平均化した画像を、前記第３の画像として生成する
ことを特徴とする。

請求項２に記載の情報処理システムは、
前記第１または第２の情報処理装置のいずれかは、前記フレームレート変換手段（例えば、図１５の間引き処理部２４１または図１６の間引き処理部２６１）をさらに備える
ことを特徴とする。

請求項３に記載の情報処理システムは、
前記フレームレート変換手段（例えば、図３の間引き処理部５４）を有する第３の情報処理装置（例えば、図１のプロキシサーバ１５）をさらに備える
ことを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した表示システムの一実施の形態の構成例を示している。

図１の表示システム１は、カメラ（撮像装置）１１、カメラケーブル１２、記録装置１３、ネットワーク１４、プロキシサーバ１５、再生装置１６−１乃至１６−３、ディスプレイケーブル１７、およびディスプレイ（表示装置）１８−１乃至１８−３により構成されている。

カメラ１１は、６０fpsのフレームレートで撮像して得られるフレーム画像に対応するフレームデータ（画像データ）F_i（ｉ＝１，２，３，・・・）を、カメラケーブル１２を介して記録装置１３に供給する。即ち、カメラ１１は、フレームレートが６０fpsのフレーム画像（動画像）を記録装置１３に供給する。以下において、フレームデータF_i（ｉ＝１，２，３，・・・）を特に区別する必要がない場合、単にフレームデータFと称する。

記録装置１３は、カメラ１１から供給されるフレームデータF_iを、フレームデータF_i，F_i+1，F_i+2，F_i+3／F_i+4，F_i+5，F_i+6，F_i+7／F_i+8，F_i+9，F_i+10，F_i+11，・・・というように４フレームごとに区切り、その４フレームのフレームデータそれぞれに対して、ネットワーク１４を伝送させるための伝送用データに変換する伝送用データ変換処理を行う。なお、４フレーム単位で区切られたフレームデータそれぞれについて同様の処理が行われるため、以下では、フレームデータF_i，F_i+1，F_i+2，F_i+3について説明する。

伝送用データ変換処理では、記録装置１３は、４枚のフレームデータF_i，F_i+1，F_i+2，F_i+3を、４枚の（同一枚数の）伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），AVE（F_i+3）＝F_i+3に変換する。そして、変換後の４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3が、ネットワーク１４を介してプロキシサーバ１５に伝送される。即ち、記録装置１３は、フレームレートが６０fpsの画像をプロキシサーバ１５に供給する。

なお、上述の加算平均関数AVE（）は、カッコ内のフレームデータFの加算平均値を求める関数であり、次式（１）で表すことができる。また、加算平均関数AVE（）により加算平均された結果としての画像を加算平均画像と称する。

・・・（１）

また、記録装置１３が４つのフレームデータ（フレーム画像）Fを１区切りとしたのは、次のように計算される区切り周期Iによるものである。即ち、区切り周期Iは、「撮像したときの画像のフレームレート」（以下、撮像フレームレートと称する）を「再生時の画像のフレームレート（表示レートと同一）のなかの最小値」で除算して得られる値である。表示システム１では、カメラ１１による撮像フレームレートが６０fpsであり、ディスプレイ１８−１乃至１８−３それぞれが画像を表示する表示レートは、後述するように６０fps，３０fps，１５fpsであるので、再生時の画像のフレームレートの最小値は１５fpsとなり、I＝６０／１５＝４とされる。したがって、一時記憶部３２は、上述したように４フレームごとにフレームデータFを取得し、伝送用データ変換部３３に供給することになる。

ネットワーク１４は、FDDI（Fiber Distributed Data Interface）などの光ファイバ網、衛星通信網、イーサーネット（商標）、LAN（Local Area Network）、またはインターネットなどの通信網である。

プロキシサーバ１５には、再生装置１６−１乃至１６−３それぞれに接続されているディスプレイ１８−１乃至１８−３の表示レートが供給される。プロキシサーバ１５は、ネットワーク１４を介して記録装置１３から供給された４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3に対し、ディスプレイ１８−１乃至１８−３の表示レートに応じた間引き処理（フレームレート変換処理）を施し、間引き処理後の伝送用データを再生装置１８−１乃至１８−３それぞれに送信する。換言すれば、プロキシサーバ１５は、撮像フレームレートの画像（フレームデータF）を、ディスプレイ１８−１乃至１８−３の表示レートに対応するフレームレート（表示フレームレート）に変換し、その結果得られる表示フレームレートの画像を再生装置１８−１乃至１８−３に送信する。

なお、プロキシサーバ１５の間引き処理では、表示レートによっては、伝送用データを間引かない場合もある。以下では、４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3のそれぞれを、第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）、第２伝送用データAVE（F_i+1，F_i+2，F_i+3）、第３伝送用データAVE（F_i+2，F_i+3）、第４伝送用データF_i+3とも称する。

図１に示す表示システム１では、ディスプレイ１８−１は、６０fpsの表示レートで画像を表示する表示装置であり、ディスプレイ１８−２は、３０fpsの表示レートで画像を表示する表示装置であり、ディスプレイ１８−３は、１５fpsの表示レートで画像を表示する表示装置となっている。

そこで、プロキシサーバ１５は、再生装置１６−１に対しては、記録装置１３から送信されてくる第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）、第２伝送用データAVE（F_i+1，F_i+2，F_i+3）、第３伝送用データAVE（F_i+2，F_i+3）、第４伝送用データF_i+3を、そのまま送信する。その結果、６０fpsのフレームレートの画像（フレーム画像）がプロキシサーバ１５から再生装置１６−１に送信される。

また、プロキシサーバ１５は、再生装置１６−２に対しては、記録装置１３から送信されてくる４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3を２フレームに１回の割合で送信する。即ち、プロキシサーバ１５は、再生装置１６−２に対しては、第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）および第３伝送用データAVE（F_i+2，F_i+3）を送信する。その結果、３０fpsのフレームレートの画像がプロキシサーバ１５から再生装置１６−２に送信される。

さらに、プロキシサーバ１５は、再生装置１６−３に対しては、記録装置１３から送信されてくる４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3を４フレームに１回の割合で送信する。即ち、プロキシサーバ１５は、再生装置１６−３に対しては、第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）のみを送信する。その結果、１５fpsのフレームレートの画像がプロキシサーバ１５から再生装置１６−３に送信される。

再生装置１６−１乃至１６−３は、プロキシサーバ１５から送信されてくる画像（伝送用データ）を、ディスプレイ１８−１乃至１８−３で再生（表示）させるための画像（再生データ）に変換し、ディスプレイケーブル１７を介してディスプレイ１８−１乃至１８−３にそれぞれ供給する。換言すれば、再生装置１６−１乃至１６−３は、高フレームレートである撮像フレームレートで撮像されて得られたフレームデータF_i，F_i+1，F_i+2，F_i+3を、撮像フレームレート以下の低フレームレートであるディスプレイ１８−１乃至１８−３の表示レートに応じたボケ度合いの再生データに変換し、ディスプレイケーブル１７を介してディスプレイ１８−１乃至１８−３にそれぞれ供給する。

具体的には、再生装置１６−１は、第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）、第２伝送用データAVE（F_i+1，F_i+2，F_i+3）、第３伝送用データAVE（F_i+2，F_i+3）、第４伝送用データF_i+3から、４つの再生データF_i，F_i+1，F_i+2，F_i+3に変換し（４つのフレームデータF_i，F_i+1，F_i+2，F_i+3に戻し）、ディスプレイ１８−１に供給する。即ち、撮像フレームレートと同一のフレームレートで表示することができるディスプレイ１８−１に対しては、再生装置１６−１において、フレームデータF_i，F_i+1，F_i+2，F_i+3と同一の再生データF_i，F_i+1，F_i+2，F_i+3に変換される。

再生装置１６−２は、第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）および第３伝送用データAVE（F_i+2，F_i+3）から、２つの再生データAVE（F_i，F_i+1）およびAVE（F_i+2，F_i+3）に変換し、ディスプレイ１８−２に供給する。即ち、撮像フレームレートの１／２のフレームレートで表示するディスプレイ１８−２に対しては、再生装置１６−２において、フレームデータF_i，F_i+1，F_i+2，F_i+3を２フレームごとに平均化した、フレームデータF_iおよびF_i+1の加算平均画像となる再生データAVE（F_i，F_i+1）とフレームデータF_i+2およびF_i+3の加算平均画像となる再生データAVE（F_i+2，F_i+3）とに変換される。

再生装置１６−３は、第１伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3）をそのまま再生データAVE（F_i，F_i+1，F_i+2，F_i+3）として、ディスプレイ１８−３に供給する。即ち、撮像フレームレートの１／４のフレームレートで表示するディスプレイ１８−３に対しては、再生装置１６−３において、フレームデータF_i，F_i+1，F_i+2，F_i+3を平均化した、フレームデータF_i，F_i+1，F_i+2、およびF_i+3の加算平均画像となる再生データAVE（F_i，F_i+1，F_i+2，F_i+3）に変換される。

ディスプレイ１８−１乃至１８−３それぞれは、６０fps，３０fps，１５fpsの表示レートで、再生装置１６−１乃至１６−３から供給される再生データに基づく画像（動画像）を表示する。なお、以下において、再生装置１６−１乃至１６−３、または、ディスプレイ１８−１乃至１８−３それぞれを特に区別する必要がない場合には、再生装置１６またはディスプレイ１８と称する。

以上のように構成される表示システム１では、記録装置１３は、カメラ１１から供給されるフレームデータF_i（ｉ＝１，２，３，・・・）をフレームデータF_i，F_i+1，F_i+2，F_i+3の４フレーム単位で区切り、４つのフレームデータF_i，F_i+1，F_i+2，F_i+3から、４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3を生成する。

プロキシサーバ１５は、ネットワーク１４を介して記録装置１３から供給された４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3に対し、ディスプレイ１８−１乃至１８−３の表示レートに応じた間引き処理（フレームレート変換処理）を施し、間引き処理後の伝送用データを再生装置１８−１乃至１８−３に送信する。

再生装置１６は、プロキシサーバ１５から送信されてくる、ディスプレイ１８−１乃至１８−３の表示レートに対応する表示フレームレートの伝送用データを再生データに変換し、ディスプレイ１８−１乃至１８−３に供給する。

図２は、記録装置１３の詳細な構成例を示すブロック図である。

記録装置１３は、カメラIF（Inter Face）３１、一時記憶部３２、伝送用データ変換部３３、データ圧縮部３４、ネットワークIF３５、および媒体記録再生装置３６により構成されている。

カメラIF３１は、外部装置IFの１つであり、カメラケーブル１２を介してカメラ１１から供給されるフレームデータF_i（ｉ＝１，２，３，・・・）を順次、一時記憶部３２に供給する。また、カメラIF３１は、カメラ１１の撮像時のフレームレートを必要に応じてネットワークIF３５を介してプロキシサーバ１５に送信する。カメラ１１の撮像時のフレームレートは、プロキシサーバ１５において、後述する間引き値ｈを求める際に利用される。

なお、記録装置１３が、例えば、ハードディスクなどからなる外部記憶装置などのカメラ１１以外の装置からフレームデータFの供給を受ける場合には、カメラIF３１以外の外部装置IF（図示せず）が利用され、そこから一時記憶部３２にフレームデータFが供給される。

一時記憶部３２は、カメラIF３１からのフレームデータFを順次記憶する。また、一時記憶部３２は、区切り周期Iで決定される４フレームごとに、内部に記憶しているフレームデータFを取得し、伝送用データ変換部３３に供給する。なお、記録装置１３は、区切り周期Iを決定するのに必要な「撮像フレームレート」および「表示フレームレートなかの最小値」を、ユーザによる設定、または、カメラ１１およびプロキシサーバ１５との通信により認識することができるものとする。

また、一時記憶部３２は、媒体記録再生装置３６内のハードディスク４１や脱着可能な光ディスク４２から読み出されて供給されたフレームデータFに対しても同様の処理を行うことが可能である。

伝送用データ変換部３３は、一時記憶部３２から供給される４つのフレームデータF_i，F_i+1，F_i+2，F_i+3を、４つの（同一枚数の）伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3に変換する伝送用データ変換処理を行う。

即ち、伝送用データ変換部３３は、４つのフレームデータF_i，F_i+1，F_i+2，F_i+3から、４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3）， F_i+3を生成する。以下では、４つの伝送用データAVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3を、それぞれ、伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3と表す。

伝送用データ変換部３３は、生成した４つの伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3をデータ圧縮部３４に供給する。

データ圧縮部３４は、JPEGまたはJPEG２０００などのフレーム内圧縮方式を用いて、４つの伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3それぞれに対してデータ圧縮処理を施し、データ圧縮後の伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3をネットワークIF３５に供給する。また、ネットワーク１４が接続されていない場合などには、データ圧縮部３４は、データ圧縮後の伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3を媒体記録再生装置３６に供給し、媒体記録再生装置３６内の記録媒体（ハードディスク４１や光ディスク４２など）に記憶（保存）しておくことも可能である。

ネットワークIF３５は、例えば、LAN(Local Area Network)接続用のNIC(Network Interface Card)、あるいはADSL(Asymmetric Digital Subscriber Line)モデム等で構成され、データ圧縮部３４から供給されたデータ圧縮後の伝送用データF’_i＝（AVE（F_i，F_i+1，F_i+2，F_i+3）），F’_i+1＝（AVE（F_i+1，F_i+2，F_i+3）），F’_i+2＝（AVE（F_i+2，F_i+3）），F’_i+3＝F_i+3それぞれを複数のパケット（以下、データパケットと称する）に格納し、ネットワーク１４を介してプロキシサーバ１５に送信する。

媒体記録再生装置３６は、ハードディスク４１や、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)などの光ディスク４２などの記録媒体に、データ圧縮部３４からのデータ圧縮後の伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3を記録する。また、媒体記録再生装置３６は、他の装置で記録されたフレームデータＦを光ディスク４２から読み出し、一時記憶部３２に供給することもできる。

以上のように構成される記録装置１３は、プロキシサーバ１５においてディスプレイ１８−１乃至１８−３の表示レートに応じた間引き処理（フレームレート変換処理）が施された後でも、再生装置１６で最適な再生データ（ボケ処理したデータ）に変換できるような伝送用データに変換し、プロキシサーバ１５に供給する。

図３は、プロキシサーバ１５の詳細な構成例を示すブロック図である。

プロキシサーバ１５は、ネットワークIF５１、受信処理部５２、受信バッファ５３、間引き処理部５４、送信フレームレート保持部５５、送信バッファ５６−１乃至５６−３、および送信処理部５７により構成されている。

ネットワークIF５１は、例えば、LAN(Local Area Network)接続用のNIC(Network Interface Card)、あるいはADSL(Asymmetric Digital Subscriber Line)モデム等で構成され、記録装置１３または再生装置１６から送信されてくるデータパケットを受信処理部５２に供給するとともに、送信処理部５７からのデータパケットを再生装置１６に送信する。

受信処理部５２は、ネットワークIF５１を介して記録装置１３からデータパケットとして送信されてくるデータ圧縮後の伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3それぞれを受信し、受信バッファ５３に供給する。

受信バッファ５３は、受信処理部５２から供給されるデータパケットを保持し、間引き処理部５４に供給する。

間引き処理部５４は、受信バッファ５３からデータパケットを取得し、そのデータパケット内に格納されているデータのなかから、伝送用データのフレーム番号ｉを取得する。伝送用データF’_i，F’_i+1，F’_i+2、またはF’_i+3では、ｉ，ｉ＋１，ｉ＋２、またはｉ＋３のいずれかがフレーム番号として取得される。

また、間引き処理部５４は、送信フレームレート保持部５５に記憶されている、送信バッファ５６−１乃至５６−３それぞれに対応する再生装置１６−１乃至１６−３の間引き値ｈを取得する。

再生装置１６−ｍ（ｍ＝１，２，３）の間引き値ｈは、「撮像フレームレート」を「再生装置１６−ｍと接続されたディスプレイ１８−ｍの表示レート」で除算して得られる値である。従って、再生装置１６−１の間引き値ｈは、６０fps÷６０fps＝１であり、再生装置１６−２の間引き値ｈは、６０fps÷３０fps＝２であり、再生装置１６−３の間引き値ｈは、６０fps÷１５fps＝４である。

そして、間引き処理部５４は、受信バッファ５３から供給されたデータパケットに格納されていたフレーム番号ｉと再生装置１６−ｍの間引き値ｈとから、受信バッファ５３から供給された伝送用データが再生装置１６−ｍに送信するべき伝送用データであるか否かを判断し、伝送用データが再生装置１６−ｍに送信するべき伝送用データである場合には、その再生装置１６−ｍに対応する送信バッファ５６−ｍに、受信バッファ５３から供給されたデータパケットを供給する。

換言すれば、間引き処理部５４は、間引きｈの再生装置１６−ｍに対して、I枚の伝送用データF’_i，F’_i+1，・・・・・，F’_i+(I-1)のうちの、伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hが送信されるように、伝送用データを送信するべきか否か判断し、送信バッファ５６−ｍに供給する。ここで、Ｔは、区切り周期Ｉ枚中の間引き後のフレーム数を表す。即ち、再生装置１６−１の間引き後フレーム数Ｔは４であり、再生装置１６−２の間引き後フレーム数Ｔは２であり、再生装置１６−３の間引き後フレーム数Ｔは１である。

したがって、間引き処理部５４は、Ｉ＝４，Ｔ＝４，ｈ＝１の再生装置１６−１に対して、受信バッファ５３から供給される伝送用データF’_i，F’_i+1，F’_i+2、またはF’_i+3を（間引きなしで）送信するため、伝送用データのフレーム番号がｉ，ｉ＋１，ｉ＋２、またはｉ＋３であるデータパケットを送信バッファ５６−１に供給する。

また、間引き処理部５４は、Ｉ＝４，Ｔ＝２，ｈ＝２の再生装置１６−２に対して、受信バッファ５３から供給される伝送用データF’_i，F’_i+1，F’_i+2、またはF’_i+3のうち、伝送用データF’_iおよびF’_i+2を送信するため、伝送用データのフレーム番号がｉまたはｉ＋２であるデータパケットを送信バッファ５６−２に供給する。

さらに、間引き処理部５４は、Ｉ＝４，Ｔ＝１，ｈ＝４の再生装置１６−３に対して、受信バッファ５３から供給される伝送用データF’_i，F’_i+1，F’_i+2、またはF’_i+3のうち、伝送用データF’_iを送信するため、伝送用データのフレーム番号がｉであるデータパケットを送信バッファ５６−３に供給する。

なお、間引き処理部５４は、送信先となる再生装置１６−ｍに応じて、データパケットの送信先IPアドレスを修正してから、データパケットを送信バッファ５６−ｍに供給する。また、以下において、伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hを特に区別する必要がない場合、伝送用データF’と称する。

送信フレームレート保持部５５は、再生装置１６−ｍの間引き値ｈを記憶（保持）している。プロキシサーバ１５は、記録装置１３から伝送用データが送信されてくる前に予め、ディスプレイ１８−ｍの表示レートを再生装置１６−ｍから受信し、カメラ１１の撮像フレームレートを記録装置１３から受信し、「撮像フレームレート」を「ディスプレイ１８−ｍの表示レート」で除算して得られる値を、再生装置１６−ｍの間引き値ｈとして、送信フレームレート保持部５５に記憶する。なお、プロキシサーバ１５の図示せぬ操作部などから、上述の情報をユーザに入力させてもよい。

送信バッファ５６−１乃至５６−３は、それぞれ、再生装置１６−１乃至１６−３に対応し、間引き処理部５４から供給される（伝送用データF’_i，F’_i+1，F’_i+2、またはF’_i+3のいずれかの）データパケットを保持し、送信処理部５７に供給する。なお、以下において、送信バッファ５６−１乃至５６−３を特に区別する必要がない場合には、送信バッファ５６と称する。

送信処理部５７は、送信バッファ５６からの再生装置１６−１乃至１６−３宛てのデータパケットを、ネットワークIF５１を介して再生装置１６−１乃至１６−３に送信する。

以上のように、プロキシサーバ１５は、送信フレームレート保持部５５に記憶されている再生装置１６の間引き値ｈに基づいて、記録装置１３から供給された伝送用データF’を、撮像フレームレートからディスプレイ１８の表示レートと同一の表示フレームレートに変換する間引き処理（フレーム変換処理）を施し、再生装置１６に送信する。

図４は、再生装置１６（１６−ｍ）の詳細な構成例を示すブロック図である。

再生装置１６は、ネットワークIF７１、一時記憶部７２、データ伸長部７３、再生用データ変換部７４、ディスプレイIF７５、ディスプレイ仕様保持部７６、および媒体記録再生装置７７により構成されている。

ネットワークIF７１は、例えば、LAN(Local Area Network)接続用のNIC(Network Interface Card)、あるいはADSL(Asymmetric Digital Subscriber Line)モデム等で構成され、プロキシサーバ１５から送信されてくる（伝送用データF’_i，F’_i+1，F’_i+2、またはF’_i+3のいずれかの）データパケットを一時記憶部７２に供給する。

また、ネットワークIF７１は、ディスプレイ仕様保持部７６から供給されるディスプレイ１８の表示レートをプロキシサーバ１５に送信する。このディスプレイ１８の表示レートは、プロキシサーバ１５において、上述した間引き値ｈを求めるために必要となるものである。

一時記憶部７２は、ネットワークIF７１を介してプロキシサーバ１５から送信されてきた伝送用データF’のデータパケットを、フレーム画像単位となるまで一時記憶し、データ伸長部７３にフレーム画像単位で順次供給する。また、一時記憶部７２は、フレーム画像単位の伝送用データF’を媒体記録再生装置７７に供給し、媒体記録再生装置７７内のハードディスク８１や光ディスク８２に記録（記憶）しておくこともできるし、ハードディスク８１や光ディスク８２から読み出され、一時記憶部７２に供給された伝送用データF’についても同様にデータ伸長部７３に順次供給することができる。

データ伸長部７３は、記録装置１３のデータ圧縮部３４において伝送用データF’に対して施されたデータ圧縮処理の圧縮方式に対応するデータの伸長処理を、一時記憶部７２からの伝送用データＦ’に施して、再生用データ変換部７４に供給する。

再生用データ変換部７４には、ディスプレイ仕様保持部７６から、上述した区切り周期Ｉおよび間引き値ｈが供給される。

再生用データ変換部７４は、表示フレームレートの伝送用データＦ’を用いて、６０fps（撮像フレームレート）のフレームデータFをディスプレイ１８の表示レートで再生するのに最適となる、６０fpsのフレームデータFをディスプレイ１８の表示レートに応じて平均化した再生データF”_i，F”_i+h，F”_i+2h，・・・・・，F”_i+(T-1)hを生成し（再生データF”_i，F”_i+h，F”_i+2h，・・・・・，F”_i+(T-1)hに変換し）、ディスプレイIF（外部装置IF）７５に供給する。また、再生用データ変換部７４は、生成した再生データF”_i，F”_i+h，F”_i+2h，・・・・・，F”_i+(T-1)hを媒体記録再生装置７７に供給して、ハードディスク８１や光ディスク８２記録させることもできる。以下において、再生データF”_i，F”_i+h，F”_i+2h，・・・・・，F”_i+(T-1)hを特に区別する必要がない場合、再生データF”と称する。

ディスプレイIF７５は、再生用データ変換部７４からの再生データF”を、ディスプレイケーブル１７を介して、ディスプレイ１８に供給する。また、ディスプレイIF７５は、自分と接続されているディスプレイ１８から、その表示レートを受信し、ディスプレイ仕様保持部７６に供給する。

ディスプレイ仕様保持部７６は、上述した間引き値ｈおよび区切り周期Iを保持（記憶）する。ここで、間引き値ｈおよび区切り周期Iは、ネットワーク１４やディスプレイケーブル１７を介して、記録装置１３、プロキシサーバ１５、またはディスプレイ１８と通信することにより得られる、ディスプレイ１８の表示レートや、カメラ１１の撮像フレームレートなどから求められる。なお、間引き値ｈおよび区切り周期Iそのものを、図示せぬ操作部から必要な情報をユーザに入力させたり、プロキシサーバ１５から受信するようにしてもよい。

媒体記録再生装置７７は、ハードディスク８１や光ディスク８２に再生用データ変換部７４からの再生データF”を記録する。また、媒体記録再生装置７７は、他の装置で記録された光ディスク８２から伝送用データF’を読み出し、一時記憶部７２に供給することもできる。

以上のように構成される再生装置１６−ｍは、ディスプレイ１８−ｍの表示レートと同一の表示フレームレートの伝送用データＦ’を用いて、撮像フレームレートのフレームデータFを、ディスプレイ１８−ｍの表示レートで再生（表示）するのに最適な再生データF”を生成し、ディスプレイ１８−ｍに供給する。

次に、記録装置１３の伝送用データ変換部３３で行われるフレームデータFを伝送用データF’に変換する（フレームデータFから伝送用データF’を生成する）伝送用データ変換処理と、再生装置１６の再生用データ変換部７４で行われる伝送用データF’を再生データF”に変換する（伝送用データF’から再生データF”を生成する）再生用データ変換処理について具体的に説明する。

初めに、カメラ１１から供給されるフレーム番号ｉ（ｉ＝１，２，３，，・・・）のフレーム画像が、Ｘ×Ｙ（横×縦）画素、および色コンポーネント数Ｃからなるとすると、そのフレーム画像に対応するフレームデータF_iは、次式（２）で表すことができる。

・・・（２）

式（２）において、ａ_i ^(c,x,y)は、フレーム番号ｉのフレームデータ（フレーム画像）Ｆ_iを構成する画素の座標位置（ｘ，ｙ）（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）および色コンポーネントｃ（１≦ｃ≦Ｃ）における画素値を表す。また、色コンポーネントｃは、（Ｙ，Ｕ、およびＶ）の３つのコンポーネント、（Ｒ，Ｇ、およびＢ）の３つのコンポーネント、（Ｙ，Ｍ，Ｃ、およびＫ）の４つのコンポーネント、または、（Ｙ，Ｉ、およびＱ）の３つのコンポーネントのうちのいずれか１つのコンポーネントを表す。

そして、フレーム画像内のある座標位置（ｘ，ｙ）および色コンポーネントｃの画素に注目すると（フレーム画像内のある座標位置（ｘ，ｙ）および色コンポーネントｃの画素を注目画素とすると）、伝送用データ変換部３３には、フレーム番号ｉ乃至ｉ＋３のＩ枚のフレームデータF_i乃至F_i+3の注目画素の画素値ａ_i ^(c,x,y)，ａ_i+1 ^(c,x,y)，ａ_i+2 ^(c,x,y)，ａ_i+3 ^(c,x,y)が供給される（以下では、^(c,x,y)の表記を省略する）ことになる。

伝送用データ変換部３３は、フレームデータF_i乃至F_i+3の注目画素の画素値ａ_i，ａ_i+1，ａ_i+2，ａ_i+3を用いて、伝送用データF’_i乃至F’_i+3の注目画素の画素値ｂ_i，ｂ_i+1，ｂ_i+2，ｂ_i+3を次式（３）で求める。

ｂ_i＝（ａ_i＋ａ_i+1＋ａ_i+2＋ａ_i+3）／４
ｂ_i+1＝ （ａ_i+1＋ａ_i+2＋ａ_i+3）／３
ｂ_i+2＝ （ａ_i+2＋ａ_i+3）／２
ｂ_i+3＝ （ａ_i+3）／１
・・・（３）

そして、伝送用データ変換部３３は、（３）式の計算を、フレームデータF_iを構成する全ての色コンポーネントｃの各画素を順次注目画素として繰り返すことにより、次式（４）の伝送用データＦ_i’を得ることができる。

・・・（４）

伝送用データF’_i+1，F’_i+2、およびF’_i+3も同様に求めることができる。

その後、再生装置１６−１には、プロキシサーバ１５で伝送用データＦ’が間引かれずに送信（転送）されてくる。即ち、再生装置１６−１には、注目画素について、（３）式の画素値ｂ_i，ｂ_i+1，ｂ_i+2，ｂ_i+3が送信されてくる。

再生装置１６−１の再生用データ変換部７４は、伝送用データF_i’乃至F_i+3’の画素値ｂ_i，ｂ_i+1，ｂ_i+2，ｂ_i+3を用いて、再生データF_i”乃至F_i+3”の画素値ｄ_i，ｄ_i+1，ｄ_i+2，ｄ_i+3を次式（５）で求める。

ｄ_i ＝４ｂ_i −３ｂ_i+1＝ａ_i＝AVE（ａ_i）
ｄ_i+1＝３ｂ_i+1−２ｂ_i+2＝ａ_i+1＝AVE（ａ_i+1）
ｄ_i+2＝２ｂ_i+2−ｂ_i+3 ＝ａ_i+2＝AVE（ａ_i+2）
ｄ_i+3＝ｂ_i+3 ＝ａ_i+3＝AVE（ａ_i+3）
・・・（５）

一方、再生装置１６−２には、画像のフレームレートが３０fpsの伝送用データＦ’がプロキシサーバ１５から送信（転送）されてくる。即ち、再生装置１６−２には、（３）式の画素値ｂ_i，ｂ_i+2が送信されてくる。

再生装置１６−２の再生用データ変換部７４は、伝送用データF’_iおよびF’_i+2の画素値ｂ_iおよびｂ_i+2を用いて、再生データF”_iおよびF”_i+2の画素値ｄ_iおよびｄ_i+2を次式（６）で求める。

ｄ_i ＝（４ｂ_i −２ｂ_i+1）／２＝（ａ_i＋ａ_i+1）＝AVE（ａ_i，ａ_i+1）
ｄ_i+2＝ｂ_i+2 ＝（ａ_i+2＋ａ_i+3）＝AVE（ａ_i+2，ａ_i+3）
・・・（６）

したがって、再生装置１６−２の再生用データ変換部７４は、画素値ｂ_iおよびｂ_i+2から、連続する２枚のフレームデータFの加算平均画像となるようにして６０fpsのフレームデータFを３０fpsに変換した画素値ｄ_iおよびｄ_i+2を算出することができる。即ち、再生装置１６−２の再生用データ変換部７４は、３０fpsの（単一の）伝送用データＦ’から、６０fpsのフレームデータFを基に１／２の（３０fpsの）表示レートで画像を再生（表示）するのに最適な再生データF”_iおよびF”_i+2を算出することができる。

また、再生装置１６−３には、画像のフレームレートが１５fpsの伝送用データＦ’がプロキシサーバ１５から送信（転送）されてくる。即ち、再生装置１６−３には、（３）式の画素値ｂ_iのみが送信されてくる。

再生装置１６−３の再生用データ変換部７４は、伝送用データF’_iの画素値ｂ_iのみを用いて、再生データF”_iの画素値ｄ_iを次式（７）で求める。

ｄ_i＝ｂ_i＝（ａ_i＋ａ_i+1＋ａ_i+2＋ａ_i+3）／４＝AVE（ａ_i，ａ_i+1，ａ_i+2，ａ_i+3）
・・・（７）

したがって、再生装置１６−３の再生用データ変換部７４は、画素値ｄ_iから、連続する４枚のフレームデータFの加算平均画像となるように６０fpsのフレームデータFを１５fpsに変換した画素値ｄ_iを算出することができる。即ち、再生装置１６−３の再生用データ変換部７４は、１５fpsの（単一の）伝送用データF’から、６０fpsのフレームデータFを基に１／４の（１５fpsの）表示レートで画像を再生（表示）するのに最適な再生データF”_iを算出することができる。

伝送用データＦ’_iを構成する全ての色コンポーネントｃの各画素を順次注目画素として得られる再生データＦ”_iは、次式（８）で表すことができる。

・・・（８）

次に、区切り周期I＝４以外のその他の具体例を説明する。例えば、カメラ１１の撮像フレームレートが９０fpsで、ディスプレイ１８−１乃至１８−３の表示レートがそれぞれ９０fps，３０fps，１０fpsである場合、換言すれば、撮像フレームレートの１／１，１／３，１／９のフレームレートで画像を再生する場合、「撮像フレームレート」は９０fpsであり、「表示フレームレートのなかの最小値」は１０fpsであるので、区切り周期I＝９０／１０＝９となる。

I＝４における場合と同様に、カメラ１１で撮像されたフレーム画像内のある座標位置（ｘ，ｙ）および色コンポーネントｃの画素に注目した場合の、フレーム番号ｉ乃至ｉ＋８の９枚のフレームデータF_i乃至F_i+8の画素値をそれぞれａ_i乃至ａ_i+8とする。

伝送用データ変換部３３は、フレームデータF_i乃至F_i+8の画素値ａ_i乃至ａ_i+8を用いて、伝送用データF’_i乃至F’_i+8の画素値ｂ_i乃至ｂ_i+8を次式（９）で求める。

ｂ_i ＝（ａ_i＋ａ_i+1＋ａ_i+2＋ａ_i+3＋ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／９
ｂ_i+1＝ （ａ_i+1＋ａ_i+2＋ａ_i+3＋ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／８
ｂ_i+2＝ （ａ_i+2＋ａ_i+3＋ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／７
ｂ_i+3＝ （ａ_i+3＋ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／６
ｂ_i+4＝ （ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／５
ｂ_i+5＝ （ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／４
ｂ_i+6＝ （ａ_i+6＋ａ_i+7＋ａ_i+8）／３
ｂ_i+7＝ （ａ_i+7＋ａ_i+8）／２
ｂ_i+8＝ （ａ_i+8）／１
・・・（９）

そして、９０fpsの表示レートで画像を表示させる再生装置１６−１の再生用データ変換部７４は、画像のフレームレートが９０fpsの伝送用データF’_i乃至F’_i+8、即ち、（９）式の画素値ｂ_i乃至ｂ_i+8から、再生データF”_i乃至F”_i+8の画素値ｄ_i乃至ｄ_i+8を次式（１０）で求める。

ｄ_i ＝９ｂ_i −８ｂ_i+1＝ａ_i＝AVE（ａ_i）
ｄ_i+1＝８ｂ_i+1−７ｂ_i+2＝ａ_i+1＝AVE（ａ_i+1）
ｄ_i+2＝７ｂ_i+2−６ｂ_i+3＝ａ_i+2＝AVE（ａ_i+2）
ｄ_i+3＝６ｂ_i+3−５ｂ_i+4＝ａ_i+3＝AVE（ａ_i+3）
ｄ_i+4＝５ｂ_i+4−４ｂ_i+5＝ａ_i+4＝AVE（ａ_i+4）
ｄ_i+5＝４ｂ_i+5−３ｂ_i+6＝ａ_i+5＝AVE（ａ_i+5）
ｄ_i+6＝３ｂ_i+6−２ｂ_i+7＝ａ_i+6＝AVE（ａ_i+6）
ｄ_i+7＝２ｂ_i+7− ｂ_i+8＝ａ_i+7＝AVE（ａ_i+7）
ｄ_i+8＝ ｂ_i+8 ＝ａ_i+8＝AVE（ａ_i+8）
・・・（１０）

また、３０fpsの表示レートで画像を表示させる再生装置１６−２の再生用データ変換部７４は、画像のフレームレートが３０fpsの伝送用データF’_i，F’_i+3、およびF’_i+6、即ち、（９）式の画素値ｂ_i，ｂ_i+3、およびｂ_i+6から、再生データF”_i，F”_i+3、およびF”_i+6の画素値ｄ_i，ｄ_i+3ｄ_i+6を次式（１１）で求める。

ｄ_i ＝（９ｂ_i −６ｂ_i+3）／３＝（ａ_i＋ａ_i+1＋ａ_i+2）／３＝AVE（ａ_i，ａ_i+1，ａ_i+2）
ｄ_i+3＝（６ｂ_i+3 −３ｂ_i+6）／３＝（ａ_i+3＋ａ_i+4＋ａ_i+5）／３＝AVE（ａ_i+3，ａ_i+4，ａ_i+5）
ｄ_i+6＝ｂ_i+6 ＝（ａ_i+6＋ａ_i+7＋ａ_i+8）／３＝AVE（ａ_i+6，ａ_i+7，ａ_i+8）
・・・（１１）

さらに、１０fpsの表示レートで画像を表示させる再生装置１６−３の再生用データ変換部７４は、画像のフレームレートが１０fpsの伝送用データF’_i、即ち、（９）式の画素値ｂ_iのみから、再生データF”_iの画素値ｄ_iを次式（１２）で求める。

ｄ_i＝ｂ_i＝（ａ_i＋ａ_i+1＋ａ_i+2＋ａ_i+3＋ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）／９
＝AVE（ａ_i＋ａ_i+1＋ａ_i+2＋ａ_i+3＋ａ_i+4＋ａ_i+5＋ａ_i+6＋ａ_i+7＋ａ_i+8）
・・・（１２）

以上のようにＩ＝９における場合においても、表示フレームレートの（単一の）伝送用データＦ’_iから、ディスプレイ１８の表示レートに最適な（ディスプレイ１８の表示レートに応じてボケ処理を施した）再生データＦ”_iを得ることができる。

次に、図５のフローチャートを参照して、記録装置１３の伝送用データ変換処理について説明する。

初めに、ステップＳ１０において、伝送用データ変換部３３は、フレーム番号を表す変数ｉに１をセットして、ステップＳ１１に進む。

ステップＳ１１において、一時記憶部３２は、一時記憶部３２に１区切周期分のフレームデータF_i，F_i+1，・・・，F_i+(I-1)が記憶された時点で、それを取得し、伝送用データ変換部３３に供給する。

ステップＳ１２において、伝送用データ変換部３３は、区切り周期Ｉ内のフレーム番号を表す変数ｎに（ｉ−１）の値をセットして、ステップＳ１３に進む。

ステップＳ１３において、伝送用データ変換部３３は、変数ｎを区切り周期Ｉで除算した剰余、即ち（n mod I）の計算結果を変数ｒとして、ステップＳ１４に進む。

ステップＳ１４において、伝送用データ変換部３３は、フレームデータF_(n+1)+rの全ての色コンポーネントｃの座標位置（ｘ，ｙ）の画素を順次注目画素として、次式（１３）を計算する。

・・・（１３）

式（１３）は、フレームデータF_(n+1)+rの注目画素の画素値ａ_(n+1)+rに対応する伝送用データF’ _(n+1)+rの画素値ｂ_(n+1)+rを求める式を一般化した式であり、具体的には、例えば、Ｉ＝４，ｉ＝１の場合、ｒ＝０となり、上述した（３）式のｂ_i＝（ａ_i＋ａ_i+1＋ａ_i+2＋ａ_i+3）／４が得られる。

ステップＳ１４の処理後、ステップＳ１５において、伝送用データ変換部３３は、変数ｎを１だけインクリメントして、ステップＳ１６に進む。

ステップＳ１６において、伝送用データ変換部３３は、変数ｎが｛ｉ＋（Ｉ−１）｝以上となったか、即ち、フレームデータF_i，F_i+1，・・・，F_i+(I-1)の枚数と同じ枚数の伝送用データF’_n，F’_n+1，・・・，F’_n+(I-1)を求めたか否かを判定する。

ステップＳ１６で、変数ｎが｛ｉ＋（Ｉ−１）｝より小さいと判定された場合、ステップＳ１３に戻り、ステップＳ１３乃至Ｓ１６の処理が繰り返される。これにより、伝送用データF’_n+1，・・・，F’_n+(I-1)のｂ_i+1・・・，ｂ_n+(I-1)が順次求められる

一方、ステップＳ１６で、変数ｎが｛ｉ＋（Ｉ−１）｝以上であると判定された場合、即ち、フレームデータF_i，F_i+1，・・・，F_i+(I-1)の枚数と同じ枚数の伝送用データF’_n，F’_n+1，・・・，F’_n+(I-1)を求めた場合、ステップＳ１７に進み、伝送用データ変換部３３は、伝送用データF’_n，F’_n+1，・・・，F’_n+(I-1)を、伝送用データF’_i，F’_i+1，・・・，F’_i+(I-1)としてデータ圧縮部３４に供給（出力）する。この伝送用データF’_i，F’_i+1，・・・，F’_i+(I-1)それぞれが、データ圧縮部３４でデータ圧縮処理された後、プロキシサーバ１５に送信される。

ステップＳ１８において、伝送用データ変換部３３は、フレーム番号を表す変数ｉにステップＳ１５で計算された変数ｎを代入し、ステップＳ１１に処理を戻す。これにより、次のＩ枚のフレームデータF_i，F_i+1，・・・，F_i+(I-1)について、ステップＳ１１乃至ステップＳ１８の処理が繰り返される。そして、一時記憶部３２に記憶されているフレームデータF_i，F_i+1，・・・，F_i+(I-1)がなくなるまで同様の処理が繰り返される。

以上の伝送用データ変換処理により、伝送用データ変換部３３は、（３）式に表されるように、Ｉ枚の伝送用データF’_i，F’_i+1，・・・，F’_i+(I-1)それぞれを、異なる枚数（Ｉ枚以下）のフレームデータF_i，F_i+1，・・・，F_i+(I-1)を用いて生成し、換言すれば、Ｉ枚中のｎ’枚目（１≦ｎ’≦Ｉ）の伝送用データF’_n'については、ｎ’乃至Ｉ枚目のフレームデータF_n'乃至フレームデータF_n'+(I-1)を用いて生成する。

次に、図６のフローチャートを参照して、プロキシサーバ１５の間引き処理部５４の間引き処理について説明する。

初めに、ステップＳ２１において、間引き処理部５４は、受信バッファ５３からデータパケットを取得し、ステップＳ２２において、そのデータパケット内に格納されているデータのなかから、伝送用データF’のフレーム番号ｉを取得する。

そして、ステップＳ２３において、間引き処理部５４は、変数ｍに１をセットして、ステップＳ２４に進む。

ステップＳ２４において、間引き処理部５４は、再生装置１６−ｍの間引き値ｈを送信フレームレート保持部５５から取得する。

ステップＳ２５において、間引き処理部５４は、（ｉ−１）を再生装置１６−ｍの間引き値ｈで除算した剰余、即ち、（（i-1） mod h）の計算結果が０であるか否かを判定し、（ｉ−１）を再生装置１６−ｍの間引き値ｈで除算した剰余が０ではないと判定した場合、ステップＳ２６をスキップして、ステップＳ２７に進む。

一方、ステップＳ２５において、（ｉ−１）を再生装置１６−ｍの間引き値ｈで除算した剰余が０であると判定された場合、ステップＳ２６に進み、間引き処理部５４は、データパケットの送信先IPアドレスを再生装置１６−ｍのIPアドレスに修正し、送信バッファ５６−ｍにコピーする。

その後、ステップＳ２７に進み、間引き処理部５４は、変数ｍを１だけインクリメントして、ステップＳ２８に進む。

ステップＳ２８において、間引き処理部５４は、変数ｍが再生装置の台数Ｎ（図１ではＮ＝３）より大きいか否かを判定し、再生装置の台数Ｎ以下であると判定した場合、処理をステップＳ２４に戻し、ステップＳ２４乃至ステップＳ２８の処理を繰り返す。

一方、ステップＳ２８で、変数ｍが再生装置の台数Ｎより大きいと判定された場合、間引き処理部５４は、処理をステップＳ２１に戻し、次のデータパケットについて、ステップＳ２１乃至Ｓ２８の処理を繰り返す。そして、受信バッファ５３に記憶されているデータパケットがなくなるまで間引き処理が継続される。

以上のように間引き処理によれば、記録装置１３から供給された撮像フレームレートの伝送用データF’をディスプレイ１８の表示レートと同一の表示フレームレートに変換する。これにより、記録装置１３は、再生装置１６が所望する表示フレームレートを気にせずに単一のフレームレートの画像（伝送用データF’）を送信することができ、再生装置１６−ｍは、ディスプレイ１８−ｍの表示レートと同一の表示フレームレートの画像（伝送用データF’）を受信することができる。

なお、記録装置１３が出力する画像のデータは、伝送用データ変換処理が施された伝送用データF’である必要は必ずしもなく、記録装置１３は、カメラ１１が出力するフレームデータFをそのまま出力してもよい。この場合でも、プロキシサーバ１５は、同一の処理で対応可能である。

次に、図７のフローチャートを参照して、再生装置１６の再生用データ変換処理について説明する。

初めに、ステップＳ４０において、再生用データ変換部７４は、フレーム番号を表す変数ｉに１をセットして、ステップＳ４１に進む。

ステップＳ４１において、再生用データ変換部７４は、ディスプレイ仕様保持部７６から、区切り周期Ｉおよび間引き値ｈを取得する。

ステップＳ４２において、一時記憶部７２は、ディスプレイ１８の表示レートに応じて間引かれた（フレーム変換処理がなされた）伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hを取得し、データ伸長部７３を介して再生用データ変換部７４に供給する。

ステップＳ４３において、再生用データ変換部７４は、変数ｎに（ｉ−１）の値をセットして、ステップＳ４３に進む。

ステップＳ４４において、再生用データ変換部７４は、変数ｎを区切り周期Ｉで除算した剰余、即ち（n mod I）の計算結果を変数ｒとして、ステップＳ４４に進む。

ステップＳ４５において、再生用データ変換部７４は、伝送用データF’_(n+1)+rの全ての色コンポーネントｃの座標位置（ｘ，ｙ）の画素を順次注目画素として、次式（１４）を計算する。

・・・（１４）

式（１４）は、伝送用データF’_(n+1)+rの注目画素の画素値ｂ_(n+1)+rに対応する再生データF”_(n+1)+rの画素値ｄ_(n+1)+rを求める式を一般化した式であり、具体的には、例えば、ｈ＝１，Ｉ＝４，ｉ＝０の場合、ｒ＝０となり上述した（５）式のｄ_i＝４ｂ_i −３ｂ_i+1＝ａ_i＝AVE（ａ_i）が得られる。

ステップＳ４５の処理後、ステップＳ４６において、再生用データ変換部７４は、変数ｎをｈだけインクリメントして、ステップＳ４７に進む。

ステップＳ４７において、再生用データ変換部７４は、変数ｎが｛ｉ＋（Ｉ−１）｝以上となったか、即ち、伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hの枚数と同一枚数の再生データF”_n，F”_n+h，F”_n+2h，・・・・・，F”_n+(T-1)hを求めたか否かを判定する。

ステップＳ４７で、変数ｎが｛ｉ＋（Ｉ−１）｝より小さいと判定された場合、ステップＳ４４に戻り、ステップＳ４４乃至Ｓ４７の処理が繰り返される。これにより、再生データF”_n+h，F”_n+2h，・・・・・，F”_n+(T-1)hが順次求められる。

一方、ステップＳ４７で、変数ｎが｛ｉ＋（Ｉ−１）｝以上であると判定された場合、即ち、伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hの枚数と同一枚数の再生データF”_n，F”_n+h，F”_n+2h，・・・・・，F”_n+(T-1)hを求めた場合、ステップＳ４８に進み、再生用データ変換部７４は、再生データF”_n，F”_n+h，F”_n+2h，・・・・・，F”_n+(T-1)hを再生データF”_i，F”_i+h，F”_i+2h，・・・・・，F”_i+(T-1)hとしてディスプレイIF７５に供給（出力）する。この再生データF”_i，F”_i+h，F”_i+2h，・・・・・，F”_i+(T-1)hそれぞれがディスプレイケーブル１７を介してディスプレイ１８に供給される。

ステップＳ４９において、再生用データ変換部７４は、フレーム番号を表す変数ｉにステップＳ４６で計算された変数ｎを代入し、ステップＳ４２に処理を戻す。これにより、次の伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hについて、ステップＳ４２乃至ステップＳ４９の処理が繰り返される。そして、一時記憶部７２に記憶されている伝送用データF’_i，F’_i+h，F’_i+2h，・・・・・，F’_i+(T-1)hがなくなるまで同様の処理が繰り返される。

以上のように再生用データ変換処理によれば、間引かれた（フレーム変換処理がなされた）表示フレームレートの伝送用データＦ’を用いて、フレームデータFをディスプレイ１８の表示レートに応じて加算平均値を求めたデータを、再生データF”として生成する。

図８は、記録装置１３のその他の伝送用データ変換処理を示すフローチャートである。

図８においては、ステップＳ６４の処理が図５のステップＳ１４の処理と異なる以外は、図５の伝送用データ変換処理と同様である。即ち、図８のステップＳ６０乃至Ｓ６３およびステップＳ６５乃至Ｓ６８は、図５のステップＳ１０乃至Ｓ１３およびステップＳ１５乃至Ｓ１８とそれぞれ同様である。

ステップＳ６４では、伝送用データ変換部３３は、フレームデータF_(n+1)+rの全ての色コンポーネントｃの座標位置（ｘ，ｙ）の画素を順次注目画素として、次式（１５）を計算する。

・・・（１５）

図５のステップＳ１４の処理では、フレームデータF_(n+1)+rの注目画素の画素値ａ_(n+1)+rに対応する伝送用データF’_(n+1)+rの画素値ｂ_(n+1)+rが、ｋ＝ｒ乃至（Ｉ−１）の画素値ａ_(n+1)+kの加算平均値とされていたが、式（１５）では、ｋ＝ｒ乃至（Ｉ−１）の画素値ａ_(n+1)+kの加算値とされている。

図９は、図８に示した伝送用データ変換処理に対応する、その他の再生用データ変換処理のフローチャートである。

図９においては、ステップＳ８５の処理が図７のステップＳ４５の処理と異なる以外は、図７の再生用データ変換処理と同様である。即ち、図９のステップＳ８０乃至Ｓ８４およびステップＳ８６乃至Ｓ８９は、図７のステップＳ４０乃至Ｓ４４およびステップＳ４６乃至Ｓ４９とそれぞれ同様である。

ステップＳ８５では、再生用データ変換部７４は、伝送用データF’_(n+1)+rの全ての色コンポーネントｃの座標位置（ｘ，ｙ）の画素を順次注目画素として、次式（１６）を計算する。

・・・（１６）

図８の伝送用データ変換処理および図９の再生用データ変換処理によれば、上述のステップＳ８５の処理（即ち、（１６）式の計算）が、図７のステップＳ４５の処理（即ち、（１４）式の計算）に比べて簡素化されるという利点がある。但し、伝送用データ変換処理後の伝送用データF’_(n+1)+rの最大値は、元のフレームデータＦ_(n+1)+rの最大値と異なるため、その伝送用データF’_(n+1)+rを整数型または固定小数点型で保持した場合、元のフレームデータＦ_(n+1)+rに比べて画素毎の必要ビット数が大きくなってしまう。したがって、図８の伝送用データ変換処理および図９の再生用データ変換処理を採用する場合には、画素毎のビット数を同一とするために、伝送用データF’_(n+1)+rを浮動小数点型で保持することに注意する必要がある。

図１０は、記録装置１３のさらにその他の伝送用データ変換処理を示すフローチャートである。

図１０においては、ステップＳ１０４の処理が図５のステップＳ１４の処理と異なる以外は、図５の伝送用データ変換処理と同様である。即ち、図１０のステップＳ１００乃至Ｓ１０３およびステップＳ１０５乃至Ｓ１０８は、図５のステップＳ１０乃至Ｓ１３およびステップＳ１５乃至Ｓ１８とそれぞれ同様である。

ステップＳ１０４では、伝送用データ変換部３３は、フレームデータF_(n+1)+rの全ての色コンポーネントｃの座標位置（ｘ，ｙ）の画素を順次注目画素として、次式（１７）を計算する。

・・・（１７）

図５のステップＳ１４の処理では、フレームデータF_(n+1)+rの注目画素の画素値ａ_(n+1)+rに対応する伝送用データF’_(n+1)+rの画素値ｂ_(n+1)+rが、ｋ＝ｒ乃至（Ｉ−１）の画素値ａ_(n+1)+kの加算平均値とされていたが、式（１７）では、画素値ａ_(n+1)+kに対する重みｗ_kを考慮してｋ＝ｒ乃至（Ｉ−１）で画素値ａ_(n+1)+kを加算した重み付け加算値とされている。

図１１は、図１０に示した伝送用データ変換処理に対応する、さらにその他の再生用データ変換処理のフローチャートである。

図１１においては、ステップＳ１２５の処理が図７のステップＳ４５の処理と異なる以外は、図７の再生用データ変換処理と同様である。即ち、図１１のステップＳ１２０乃至Ｓ１２４およびステップＳ１２６乃至Ｓ１２９は、図７のステップＳ４０乃至Ｓ４４およびステップＳ４６乃至Ｓ４９とそれぞれ同様である。

ステップＳ１２５では、再生用データ変換部７４は、伝送用データF’_(n+1)+rの全ての色コンポーネントｃの座標位置（ｘ，ｙ）の画素を順次注目画素として、次式（１８）を計算する。

・・・（１８）

図１０の伝送用データ変換処理および図１１の再生用データ変換処理によれば、ディスプレイ１８の表示レートに応じたボケ度合いの再生データに変換する際に、ディスプレイ１８に表示させる各フレーム画像に対してボケ度合いを調整したい場合に有効である。以下に、具体的な数値例を示す。

区切り周期I＝４枚のフレームデータF_i，F_i+1，F_i+2，F_i+3に対する重みが、例えば、ｗ_i＝８，ｗ_i+1＝４，ｗ_i+2＝２，ｗ_i+3＝１である場合、フレームデータF_i乃至F_i+3の注目画素の画素値ａ_i，ａ_i+1，ａ_i+2，ａ_i+3にそれぞれ対応する伝送用データF’_i乃至F’_i+3の画素値ｂ_i，ｂ_i+1，ｂ_i+2，ｂ_i+3は、次式（１９）で表すことができる。

ｂ_i＝（８ａ_i＋４ａ_i+1＋２ａ_i+2＋ａ_i+3）／１５
ｂ_i+1＝ （４ａ_i+1＋２ａ_i+2＋ａ_i+3）／７
ｂ_i+2＝ （２ａ_i+2＋ａ_i+3）／３
ｂ_i+3＝ （ａ_i+3）／１
・・・（１９）

再生装置１６−１による図１１に示した再生用データ変換処理後の再生データF_i”乃至F_i+3”の画素値ｄ_i，ｄ_i+1，ｄ_i+2，ｄ_i+3は、次式（２０）で表すことができる。

ｄ_i ＝（１５ｂ_i −７ｂ_i+1）／８＝ａ_i
ｄ_i+1＝（ ７ｂ_i+1−３ｂ_i+2）／４＝ａ_i+1
ｄ_i+2＝（ ３ｂ_i+2− ｂ_i+3）／２＝ａ_i+2
ｄ_i+3＝ ｂ_i+3／１＝ａ_i+3
・・・（２０）

また、再生装置１６−２による図１１に示した再生用データ変換処理後の再生データF”_iおよびF”_i+2の画素値ｄ_iおよびｄ_i+2は、次式（２１）で表すことができる。

ｄ_i ＝（１５ｂ_i −３ｂ_i+1）／１２＝（２ａ_i＋ａ_i+1）／３
ｄ_i+2＝ｂ_i+2 ＝（２ａ_i+2＋ａ_i+3）／３
・・・（２１）

さらに、再生装置１６−３による図１１に示した再生用データ変換処理後の再生データF”_iの画素値ｄ_iは、次式（２２）で表すことができる。

ｄ_i＝ｂ_i＝（８ａ_i＋４ａ_i+1＋２ａ_i+2＋ａ_i+3）／１５＝
・・・（２２）

このように、フレームデータF_i，F_i+1，F_i+2，F_i+3に対する重みを、フレームデータF_i，F_i+1，F_i+2，F_i+3の順に単調減少するように設定した場合、図５および図７に示したフレームデータF_i，F_i+1，F_i+2，F_i+3それぞれに対して一様に加算平均する場合に比べて、ボケ効果が抑制されたフレーム画像を生成させることができる。

図１２は、図１の表示システム１における記録装置１３のその他の実施の形態の構成例を示すブロック図である。なお、図２の記録装置１３と対応する部分については同一の符号を付してあり、その説明を省略する。

カメラ１１から記録装置１３に供給されるフレームデータFが、カメラ１１においてガンマ補正処理されたデータである場合、記録再生装置１３において加算平均処理（（１３）式の処理）を正確に行うためには、カメラ１１からのフレームデータFにガンマ逆補正処理を施す必要がある。

そこで、図１２の記録装置１３では、一時記憶部３２と伝送用データ変換部３３との間にガンマ逆補正部１２１が新たに設けられている点が図２の記録装置１３と異なっている。

ガンマ逆補正部１２１は、カメラ１１における撮像時（ガンマ補正処理前）の画素値（光量値）Yを、Y＝U^1/rcにより求めるガンマ逆補正処理を施す。ここで、Uは、カメラ１１から供給された（ガンマ補正処理後の）画素値を表し、ｒｃは、ガンマ補正値を表す。

図１３は、図１の表示システム１において、図１２の記録装置１３と対応して用いられる再生装置１６のその他の実施の形態の構成例を示すブロック図である。なお、図４の再生装置１６と対応する部分については同一の符号を付してあり、その説明を省略する。

図１３の再生装置１６は、再生用データ変換部７４とディスプレイIF７５との間にガンマ補正部１６１が新たに設けられている点以外は、図４の再生装置１６と同様に構成されている。

ガンマ補正部１６１は、再生用データ変換部７４から供給される再生データF”に対して、U＝Y^rcで表されるガンマ補正処理を施す。ここで、Yは、再生データF”の画素値を表し、Uは、ガンマ補正処理後の画素値を表す。

図１２および図１３に示したように、記録装置１３および再生装置１６を構成することで、カメラ１１からガンマ補正処理が施されたフレームデータFが出力されている場合にも対応することができる。

図１４は、表示システム１のその他の実施の形態の構成例を示している。

図１４の表示システム１は、カメラ１１、カメラケーブル１２、記録装置２０１、再生装置２２１−１乃至２２１−３、ディスプレイケーブル１７、およびディスプレイ１８−１乃至１８−３により構成されている。なお、再生装置２２１−１乃至２２１−３を特に区別する必要がない場合、単に再生装置２２１と称する。

記録装置２０１は、上述した記録装置１３と同様に、カメラ１１から供給されるフレームデータFに対して区切り周期Iごとに伝送用データ変換処理を施し、処理後の伝送用データF’を記録媒体２１１−１乃至２１１−３に記録する。

再生装置２２１−１乃至２２１−３それぞれは、上述した再生装置１６と同様に、記録媒体２１１−１乃至２１１−３から読み出された伝送用データF’を再生データF”に変換し、ディスプレイ１８−１乃至１８−３に供給する。

即ち、図１の表示システム１では、記録装置１３で生成された伝送用データF’が、ネットワーク１４上を伝送し、プロキシサーバ１５を経由して再生装置１６に供給されていたが、図１４の表示システム１においては、記録装置２０１で生成された伝送用データFが、記録媒体２１１−１乃至２１１−３それぞれにより再生装置２２１−１乃至２２１−３に供給されるようになされている。

なお、図１の表示システム１においてプロキシサーバ１５が行っていた、ディスプレイ１８−１乃至１８−３の表示レートに応じた間引き処理は、記録装置２０１か、または再生装置２２１のいずれか一方の装置で行われる。

例えば、間引き処理が記録装置２０１で行われる場合、記録装置２０１は、間引き値ｈ＝１の再生装置２２１−１用の伝送用データF’を光ディスク（記録媒体）２１１−１に記録する。また、記録装置２０１は、間引き値ｈ＝２の再生装置２２１−２用の伝送用データF’を記録媒体２１１−２に記録し、間引き値ｈ＝４の再生装置２２１−３用の伝送用データF’を記録媒体２１１−３に記録する。即ち、記録媒体２１１−１乃至２１１−３それぞれに記録される伝送用データF’は、再生装置２２１−１乃至２２１−３の間引き値ｈに応じて異なるものとなる。

記録媒体２１１−１乃至２１１−３それぞれに記録される伝送用データF’が、再生装置２２１−１乃至２２１−３の間引き値ｈに応じて異なる場合、間引き値ｈが区切り周期Ｉと等しい（ｈ＝Ｉ＝４）再生装置２２１−３は、（７）式で表されるように、ｄ_i＝ｂ_iとなるので、再生用データ変換処理を行う必要がない。

一方、間引き処理が記録装置２０１で行われる場合、記録装置２０１は、記録装置１３が出力するのと同様の伝送用データF’を記録媒体２１１−１乃至２１１−３に記録する。従って、記録媒体２１１−１乃至２１１−３は同一のものとなる。そして、再生装置２２１−１乃至２２１−３それぞれは、自分に接続されているディスプレイ１８−１乃至１８−３の表示レートに応じて間引き処理を行う。

図１５は、記録装置２０１の詳細な構成例を示すブロック図である。

図１５の記録装置２０１は、伝送用データ変換部３３とデータ圧縮部３４との間に、間引き処理部２４１が設けられている以外は、図２の記録装置１３と同様に構成されている。

伝送用データ変換部３３からの伝送用データF’は、データ圧縮部３４に供給される他に、間引き処理部２４１にも供給される。間引き処理部２４１は、図３のプロキシサーバ１５の間引き処理部５４と同様の間引き処理を行い、処理後の伝送用データF’をデータ圧縮部３４に供給する。なお、間引き処理に必要な間引き値ｈなどのデータは、例えば、図示せぬ操作部などにおいてユーザにより入力される。

媒体記録再生装置３６には、光ディスク４２（図２）に代えて光ディスク２２１−１乃至２２１−３のいずれかが装着される。そして、媒体記録再生装置３６は、データ圧縮部３４から供給される伝送用データF’を、装着された光ディスク２２１−１乃至２２１−３（のいずれか）に記録する。

なお、光ディスク２２１−１乃至２２１−３に記録する伝送用データF’を間引き処理されたものとするか否かについては、図示せぬ操作部または制御部などから、必要に応じて選択（指定）することが可能である。また、間引き処理部２４１とデータ圧縮部３４の処理順は逆でも良い。即ち、データ圧縮部３４によるデータ圧縮後に、間引き処理を行うようにすることもできる。

図１６は、再生装置２２１の詳細な構成例を示すブロック図である。

図１６の再生装置２２１は、一時記憶部７２とデータ伸長部７３との間に、間引き処理部２６１が設けられている以外は、図４の再生装置１６と同様に構成されている。

媒体記録再生装置７７には、光ディスク８２（図４）に代えて光ディスク２２１−１乃至２２１−３のいずれかが装着される。媒体記録再生装置７７は、光ディスク２２１−１乃至２２１−３（のいずれか）に記録されている伝送用データF’を読み出し、一時記憶部７２に供給する。

一時記憶部７２からの伝送用データＦ’は、データ伸長部７３に供給される他に、間引き処理部２６１にも供給される。間引き処理部２６１は、ディスプレイ仕様保持部７６から供給される間引き値ｈに基づいて、図３のプロキシサーバ１５の間引き処理部５４と同様の間引き処理を行い、処理後の伝送用データＦ’をデータ伸長部７３に供給する。なお、間引き処理部２６１とデータ伸長部７３の処理順は逆でも良い。即ち、データ伸長部７３によるデータ伸長後に、間引き処理を行うようにすることもできる。

なお、記録装置１３と再生装置１６とが、図１に示したようにネットワーク１４を介して伝送用データF’を授受する場合であっても、間引き処理（フレームレート変換処理）を行う装置（図１では、プロキシサーバ１５）を介さない場合には、記録装置１３または再生装置１６に代えて、記録装置２０１または再生装置２２１を採用することが可能である。

また、図１および図１４の表示システム１において、伝送用データF’をデータ圧縮して伝送または記録しない場合には、記録装置１３（２０１）や再生装置１６（２２１）において、データ圧縮部３４またはデータ伸長部７３を省略することができる。

以上のように、図１および図１４の表示システム１によれば、撮像フレームレートと異なる表示レートで（撮像フレームレートより低い表示レートで）画像を再生するための間引き処理が行われたとしても、撮像フレームレートのフレームデータFを、表示フレームレート（表示レート）に応じて平均化した、連続するｈ枚のフレームデータFの加算平均画像として表示することができるので、従来の単なる間引き処理により生じていた移動物体の離散的な動き（ジャーキネス）を抑制した画像を再生(表示)させることができる。即ち、従来より高画質で画像データを再生することができる。

また、表示システム１によれば、撮像フレームレート以下の表示レートであって、異なる複数の表示レートで複数のディスプレイ１８にそれぞれ表示させる場合でも、記録装置１３（２０１）は、１種類の伝送用データF’を供給（伝送）するだけでよい。

なお、図１の表示システム１では、伝送用データF’_i，F’_i+1，F’_i+2，F’_i+3として、AVE（F_i，F_i+1，F_i+2，F_i+3），AVE（F_i+1，F_i+2，F_i+3），AVE（F_i+2，F_i+3），F_i+3の順に伝送するようにしたが、F_i+3，AVE（F_i+2，F_i+3）AVE（F_i+1，F_i+2，F_i+3），AVE（F_i，F_i+1，F_i+2，F_i+3）や、AVE（F_i+1，F_i+2，F_i+3），AVE（F_i，F_i+1，F_i+2，F_i+3），F_i+3， AVE（F_i+2，F_i+3）の順に伝送するようにしてもよい。即ち、伝送用データ変換処理により得られた区切り周期Ｉの伝送用データＦ’を、どのような順番で供給（伝送または記録）するかは、限定されない。但し、間引き処理において間引く位置（データ）が変わるので、どのような順番で伝送するかを予め決定（固定）しておく必要はある。

上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図１７に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。

即ち、図１７は、上述した記録装置１３（２０１）、プロキシサーバ１５、または再生装置１６（２２１）のハードウエア構成例を示すブロック図である。

図１７において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。

入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、ターミナルアダプタ、ADSL（Asymmetric Digital Subscriber Line）モデムや、LAN (Local Area Network)カード等より構成される通信部３０９が接続されている。通信部３０９は、インターネットなどの各種のネットワークを介しての通信処理を行う。

入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、或いは半導体メモリなどのリムーバブルメディア（記録媒体）３２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した表示システムの一実施の形態の構成例を示す図である。 記録装置１３の詳細な構成例を示すブロック図である。 プロキシサーバ１５の詳細な構成例を示すブロック図である。 再生装置１６の詳細な構成例を示すブロック図である。 記録装置１３の伝送用データ変換処理について説明するフローチャートである。 プロキシサーバ１５の間引き処理について説明するフローチャートである。 再生装置１６の再生用データ変換処理について説明するフローチャートである。 伝送用データ変換処理について説明するフローチャートである。 再生用データ変換処理について説明するフローチャートである。 伝送用データ変換処理について説明するフローチャートである。 再生用データ変換処理について説明するフローチャートである。 記録装置１３のその他の実施の形態の構成例を示すブロック図である。 再生装置１６のその他の実施の形態の構成例を示すブロック図である。 表示システム１のその他の実施の形態の構成例を示す図である。 記録装置２０１の詳細な構成例を示すブロック図である。 再生装置２２１の詳細な構成例を示すブロック図である。 ハードウエア構成例を示すブロック図である。

符号の説明

１ 表示システム， １３ 記録装置， １５ プロキシサーバ， １６−１乃至１６−３ 再生装置， １８−１乃至１８−３ ディスプレイ， ３３ 伝送用データ変換部， ３４ データ圧縮部， ３６ 媒体記録再生装置， ５４ 間引き処理部， ５５ 送信フレームレート保持部， ７３ データ伸長部， ７４ 再生用データ変換部， ７６ ディスプレイ仕様保持部， ７７ 媒体記録再生装置， １２１ ガンマ逆補正部， １６１ ガンマ補正部， ２０１ 記録装置， ２１１−１乃至２１１−３ 光ディスク， ２２１−１乃至２２１−３ 再生装置， ２４１ 間引き処理部， ２６１ 間引き処理部

Claims (19)

1. 少なくとも第１および第２の情報処理装置からなる情報処理システムにおいて、
   前記第１の情報処理装置は、
   第１のフレームレートの第１の画像を、Ｉ枚以上取得する第１の取得手段と、
   前記Ｉ枚の第１の画像から、前記Ｉ枚の第２の画像を生成し、出力する第１の生成手段と
   を備え、
   前記第２の情報処理装置は、
   前記第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されており、
   所定のフレームレート変換手段により前記第１のフレームレートから前記表示レートと同一の第２のフレームレートに変換された前記第２の画像を取得する第２の取得手段と、
   前記第２のフレームレートの前記第２の画像を用いて前記第２のフレームレートの第３の画像を生成し、前記表示装置に出力する第２の生成手段と
   を備え、
   前記第１の生成手段は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像については、ｎ乃至Ｉ枚目の前記第１の画像を用いて生成し、生成された前記I枚の前記第２の画像を、予め決定した所定の順番で出力し、
   前記第２の生成手段は、前記第２の画像を用いて、前記第１の画像を前記表示レートに応じて平均化した画像を、前記第３の画像として生成する
   ことを特徴とする情報処理システム。
2. 前記第１または第２の情報処理装置のいずれかは、前記フレームレート変換手段をさらに備える
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記フレームレート変換手段を有する第３の情報処理装置をさらに備える
   ことを特徴とする請求項１に記載の情報処理システム。
4. 第１のフレームレートの第１の画像を、Ｉ枚以上取得する取得手段と、
   前記Ｉ枚の第１の画像から、前記Ｉ枚の第２の画像を生成し、出力する生成手段と
   を備え、
   前記生成手段は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像については、ｎ乃至Ｉ枚目の前記第１の画像を用いて生成し、生成された前記I枚の前記第２の画像を、予め決定した所定の順番で出力する
   ことを特徴とする情報処理装置。
5. 前記生成手段は、前記ｎ枚目の前記第２の画像を、ｎ乃至Ｉ枚目の前記第１の画像の加算値、加算平均値、または重み付け加算値により生成する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記第２の画像のフレームレートを前記第１のフレームレート以下の第２のフレームレートに変換するフレームレート変換手段をさらに備える
   ことを特徴とする請求項４に記載の情報処理装置。
7. 前記第１の画像には、ガンマ補正処理が施されており、
   前記取得手段で取得された前記第１の画像に対して逆ガンマ補正処理を施す逆ガンマ補正手段をさらに備える
   ことを特徴とする請求項４に記載の情報処理装置。
8. 前記生成手段により生成された前記第２の画像に対して圧縮処理を施す圧縮手段をさらに備える
   ことを特徴とする請求項４に記載の情報処理装置。
9. 前記生成手段により生成された前記第２の画像を所定の記録媒体に記録する記録手段をさらに備える
   ことを特徴とする請求項４に記載の情報処理装置。
10. 画像を処理する情報処理装置の情報処理方法において、
    第１の画像をＩ枚以上取得する取得ステップと、
    前記Ｉ枚の第１の画像から、前記Ｉ枚の第２の画像を生成し、出力する生成ステップと
    を含み、
    前記生成ステップの処理は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像については、ｎ乃至Ｉ枚目の前記第１の画像を用いて生成し、生成された前記I枚の前記第２の画像を、予め決定した所定の順番で出力する
    ことを特徴とする情報処理方法。
11. 所定の画像処理を、コンピュータに実行させるプログラムにおいて、
    第１の画像をＩ枚以上取得する取得ステップと、
    前記Ｉ枚の第１の画像から、前記Ｉ枚の第２の画像を生成し、出力する生成ステップと
    を含み、
    前記生成ステップの処理は、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像については、ｎ乃至Ｉ枚目の前記第１の画像を用いて生成し、生成された前記I枚の前記第２の画像を、予め決定した所定の順番で出力する
    ことを特徴とするプログラム。
12. 第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されている情報処理装置において、
    Ｉ枚の前記第１のフレームレートの第１の画像から、前記Ｉ枚の第２の画像が、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像についてはｎ乃至Ｉ枚目の前記第１の画像を用いて生成され、生成された前記I枚の前記第２の画像が、予め決定した所定の順番で所定のフレームレート変換手段に入力され、
    前記所定のフレームレート変換手段により前記第１のフレームレートから前記表示レートと同一の第２のフレームレートに変換された前記第２の画像を取得する取得手段と、
    前記第２のフレームレートの前記第２の画像を用いて前記第２のフレームレートの第３の画像を生成し、前記表示装置に出力する生成手段と
    を備え、
    前記生成手段は、前記第２の画像を用いて、前記第１の画像を前記表示レートに応じて平均化した画像を、前記第３の画像として生成する
    ことを特徴とする情報処理装置。
13. 前記生成手段は、前記第２の画像を用いて、前記第１の画像を前記表示装置の前記表示レートに応じて加算平均した画像を、前記第３の画像として生成する
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記フレームレート変換手段をさらに備える
    ことを特徴とする請求項１２に記載の情報処理装置。
15. 前記生成手段で生成された前記第３の画像に対してガンマ補正処理を施すガンマ補正手段をさらに備える
    ことを特徴とする請求項１２に記載の情報処理装置。
16. 前記取得手段で取得された前記第２の画像には、圧縮処理が施されており、
    前記圧縮処理が施された前記第２の画像に対して伸長処理を施す伸長手段をさらに備える
    ことを特徴とする請求項１２に記載の情報処理装置。
17. 所定の記録媒体に記録されている前記第２の画像を読み出す再生手段をさらに備え、
    前記取得手段は、前記所定の記録媒体から読み出された前記第２の画像を取得する
    ことを特徴とする請求項１２に記載の情報処理装置。
18. 第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されている情報処理装置の情報処理方法において、
    Ｉ枚の前記第１のフレームレートの第１の画像から、前記Ｉ枚の第２の画像が、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像についてはｎ乃至Ｉ枚目の前記第１の画像を用いて生成され、生成された前記I枚の前記第２の画像が、予め決定した所定の順番で所定のフレームレート変換手段に入力され、
    前記所定のフレームレート変換手段により前記第１のフレームレートから前記表示レートと同一の第２のフレームレートに変換された前記第２の画像を取得する取得ステップと、
    前記第２のフレームレートの前記第２の画像を用いて前記第２のフレームレートの第３の画像を生成し、前記表示装置に出力する生成ステップと
    を含み、
    前記生成ステップの処理は、前記第２の画像を用いて、前記第１の画像を前記表示レートに応じて平均化した画像を、前記第３の画像として生成する
    ことを特徴とする情報処理方法。
19. 第１のフレームレート以下の表示レートで画像を表示する表示装置と接続されている情報処理装置の処理を、コンピュータに実行させるプログラムにおいて、
    Ｉ枚の前記第１のフレームレートの第１の画像から、前記Ｉ枚の第２の画像が、Ｉ枚中のｎ（１≦ｎ≦Ｉ）枚目の前記第２の画像についてはｎ乃至Ｉ枚目の前記第１の画像を用いて生成され、生成された前記I枚の前記第２の画像が、予め決定した所定の順番で所定のフレームレート変換手段に入力され、
    所定のフレームレート変換手段により前記第１のフレームレートから前記表示レートと同一の第２のフレームレートに変換された前記第２の画像を取得する取得ステップと、
    前記第２のフレームレートの前記第２の画像を用いて前記第２のフレームレートの第３の画像を生成し、前記表示装置に出力する生成ステップと
    を含み、
    前記生成ステップの処理は、前記第２の画像を用いて、前記第１の画像を前記表示レートに応じて平均化した画像を、前記第３の画像として生成する
    を含むことを特徴とするプログラム。

Images