JP4453976B2 - 画像生成装置、画像データ列生成システム、及び画像伝送システム - Google Patents

画像生成装置、画像データ列生成システム、及び画像伝送システム Download PDF

Info

Publication number
JP4453976B2
JP4453976B2 JP2005092764A JP2005092764A JP4453976B2 JP 4453976 B2 JP4453976 B2 JP 4453976B2 JP 2005092764 A JP2005092764 A JP 2005092764A JP 2005092764 A JP2005092764 A JP 2005092764A JP 4453976 B2 JP4453976 B2 JP 4453976B2
Authority
JP
Japan
Prior art keywords
image data
image
resolution
data sequence
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005092764A
Other languages
English (en)
Other versions
JP2005318548A (ja
Inventor
正彦 谷内田
儀雄 岩井
長原　　一
正嗣 谷内田
Original Assignee
正彦 谷内田
株式会社映蔵
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 正彦 谷内田, 株式会社映蔵 filed Critical 正彦 谷内田
Priority to JP2005092764A priority Critical patent/JP4453976B2/ja
Publication of JP2005318548A publication Critical patent/JP2005318548A/ja
Application granted granted Critical
Publication of JP4453976B2 publication Critical patent/JP4453976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システムに関する。より特定的には、同一視野を有する２つの画像データ列を取り扱う撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システムに関する。
映像の高解像度化は、高臨場感の要素として映像配信において強く望まれているが、解像度の向上に伴い、当然ながら画像データの容量は著しく増加する。そのため、ネットワークや放送を通じた配信伝送や、アーカイブ保存においても、大きな転送容量および保存容量を必要とする。このため、映像の高解像度化の実現は困難である。
ハイビジョンなどの高精細カメラは、一般的なＮＴＳＣ（National Television Standards Committee）カメラに対して、解像度は４倍程度であるのに対して（例えば、特許文献１参照。）、コストはカメラやその周辺機器すべてにわたり、１ケタ以上高価になる。また、それ以上の解像度を望むと、市販の機材は存在しないため入手は困難で、コスト的にも現実的ではない。
一般的な動画入力のできるビデオカメラとしては、ＮＴＳＣクラス（６４０ｘ４８０画素、３０フレーム／秒）のカメラが長年使われてきた。一方、近年のディジタルカメラの急速な発展と高機能化により、高解像度のカメラが次々と現れ、現状で４０００ｘ４０００画素を持つ高解像度のカメラも市販されている。
また、高解像動画像を圧縮する際には、一般的には、ＭＰＥＧ（Moving Picture Experts Group）などの動画像圧縮方法が用いられる。ＭＰＥＧでは、高解像動画像を、離散的な高解像度画像フレーム（Ｉ（Intra）フレーム）と予測画像（Ｐ（Predictive）フレーム、Ｂ（Bidirectionally Predictive）フレーム）に必要な動き補償情報や差分情報とに変換することにより、圧縮を行っている。すなわち、低フレームレートの高解像度情報と高フレームレートの動き補償情報とにより高解像度動画像を低いデータレートで再現している。
特開平８−３３１４４１号公報
しかしながら、ビデオカメラやデジタルスチルカメラは高解像度になるにつれ、フレームレートが低下し、リアルタイムで撮像することが困難であるという問題点がある。例えば、４０００ｘ４０００画素のカメラの場合、現状では１秒間に１フレーム程度の速度である。実時間入力（３０フレーム／秒）できるビデオカメラとしては、ＮＴＳＣ（６４０ｘ４８０画素）クラスの画像サイズがほとんどである。このため、高解像度かつ高フレームレートな映像を生成可能なカメラを低コストで提供するのは困難であるという問題がある。
また、従来の高フレームレートかつ高解像度の撮像では、データ量が膨大になる。そのため、カメラだけでなく、録画機材、編集機材および配信機材なども大容量のデータを扱うことができる特殊なものを必要とする。すなわち、従来の高精細動画像撮像では、そのデータ量の大きさから画像蓄積、画像圧縮および画像転送などの面からも問題がある。
本発明は、上述の課題を解決するためになされたもので、高解像度かつ高フレームレートな映像を生成可能な撮像システム、画像生成装置、画像データ列生成装置および画像データ列生成システムを低コストで提供することを第１の目的とする。
また、効果的に動画像圧縮および転送を行なうことができる画像データ列作成装置を提供することを第２の目的とする。
上記目的を達成するために、本発明のある局面に係る画像生成装置は、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成装置であって、第１のフレームレートおよび第１の解像度を有する第１の画像データ列から動き情報を抽出する動き情報抽出手段と、抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備え、前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、前記動き情報推定手段は、前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、前記画像データ生成手段は、前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える。
フレームレートが高い第１の画像データ列より動き情報を抽出し、その動き情報に基づいて第２の画像データ列の動き情報を推定している。よって、密な動き情報を得ることができる。一方、第２の画像データ列は、第１の画像データ列に比べて高解像度である。このため、第１の動き情報および第２の画像データ列に基づいて画像データを生成することにより、高解像度かつ高フレームレートの画像データ列を生成することができる。
２つの画像データ列を周波数領域で統合することにより、高解像度かつ高フレームレートの画像データ列を得ている。このため、ハードウェア実装が容易で、かつ高速に処理を実行することができる。よって、低コストで画像生成装置を提供することができる。
前記動き情報抽出手段は、前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせるようにしてもよい。
平面射影変換行列により動領域の動きを表現している。このため、動領域が変形等をした場合であっても、高解像度かつ高フレームレートの画像データ列を得ることができる。
このシステムで用いられる画像データ列生成装置は、高解像度かつ高フレームレートな映像を生成可能である。それを利用した画像データ列生成システムも同様の効果を奏する。
本発明の他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、前記２つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、前記配信装置は、第１のフレームレートで第１の解像度を有する第１の画像データ列と、前記第１のフレームレート以下の第２のフレームレートで前記第１の解像度以上の第２の解像度を有し前記第１の画像データ列と視野が同一である第２の画像データ列とを生成する撮像システムと、前記撮像システムで撮像された前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第２の画像データ列とを配信する配信手段とを備え、前記画像データ列生成装置は、配信された前記第１の画像データ列の動き情報に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備え、前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、前記動き情報推定手段は、前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、前記画像データ生成手段は、前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備えることを特徴とする。
前記動き情報抽出手段は、前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせるようにしてもよい。
このシステムでは、２つの画像データ列のうち一方に関しては、動き情報のみを配信している。このため、画像データ列を配信する場合に比べ、通信容量を小さくすることができる。そのような容量が小さなデータを前述の画像生成装置と同様の構成を用いて処理することで高解像度かつ高フレームレートの画像データ列を生成している。よって、小さな通信容量で前述した効果が発揮される。
本発明のさらに他の局面に係る画像データ列生成システムは、フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、画像データ列を配信する画像データ列配信装置と、前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、前記画像データ列配信装置は、第１のフレームレートおよび第１の解像度を有する第１の画像データ列を配信する第１の配信手段と、前記画像データ列受信装置より、前記第１の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段と、前記第２の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第２の配信手段とを備え、画像データ列受信装置は、前記第１の配信手段より配信される第１の画像データ列を受信する第１の受信手段と、ユーザから、前記第１の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、前記第２の配信手段より配信される画像データを受信する第２の受信手段とを備え、前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、前記動き情報推定手段は、前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、前記画像データ生成手段は、前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備えることを特徴とする。
前記動き情報抽出手段は、前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせるようにしてもよい。
このシステムでは、ユーザにより指定された領域内についてのみ、画像データが配信される。このため、通信容量を結果的には少なくすることができる。そのような容量が削減されたデータを前述の画像生成装置と同様の構成を用いて処理することで高解像度かつ高フレームレートの画像データ列を生成している。よって、小さな通信容量で前述した効果が発揮される。
本発明のさらに他の局面に係る画像伝送システムは、画像送信装置と画像受信装置とからなる画像伝送システムであって、前記画像送信装置は、同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、前記動画像取得手段で取得された低解像度画像に基づいて、前記動画像取得手段で取得された高解像度画像のフレーム間差分を生成する差分生成手段と、前記動画像取得手段で取得された低解像度画像及び高解像度画像並びに前記差分生成手段で生成されたフレーム間差分に対して周波数変換を施すことにより、それぞれ、低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを生成する変換手段と、前記変換手段で得られた低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを前記画像受信装置に送信する送信手段とを備え、前記画像受信装置は、前記画像送信装置から送られてくる低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを受信する受信手段と、前記受信手段で受信された高解像度画像のスペクトルとフレーム間差分のスペクトルとを周波数領域で足し合わせることにより、動き補償された高解像度画像のスペクトルを生成する加算手段と、前記加算手段で得られた高解像度画像のスペクトルと前記受信手段で受信された低解像度スペクトルとを合成する合成手段と、前記合成手段で得られたスペクトルに対して逆周波数変換を施すことにより、高解像度画像を生成する画像生成手段とを備える。
この構成によれば、前述と同様に、前記低解像度画像と前記高解像度画像とから高解像度で高フレームレートの動画像が得られることはもちろん、動画像情報がスペクトルの形式で前記画像送信装置から前記画像受信装置へと伝送されるので、高度に圧縮された小容量の情報を用いて動画像を伝送することが可能となる。その結果、例えば、インターネット配信といった動画像のネットワーク伝送に適した画像伝送システムが実現される。
本発明のさらに他の局面に係る画像伝送システムは、画像送信装置と画像受信装置とからなる画像伝送システムであって、前記画像送信装置は、同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、前記動画像取得手段で取得された低解像度画像の各画素に対して動きベクトルを算出する動き推定手段と、前記動画像取得手段で取得された高解像度画像に対してウェーブレット変換を施すことにより、高解像度画像のスペクトルを生成する変換手段と、前記動画像取得手段で取得された低解像度画像、前記動き推定手段で算出された動きベクトル及び前記変換手段で得られた高解像度画像のスペクトルを前記画像受信装置に送信する送信手段とを備え、前記画像受信装置は、前記画像送信装置から送られてくる低解像度画像、動きベクトル及び高解像度画像のスペクトルを受信する受信手段と、前記受信手段で受信された動きベクトルを用いて、前記受信手段で受信された高解像度画像の高周波成分に対して動き補償をする動き補償手段と、前記動き補償手段で得られた高周波成分と前記受信手段で受信された低解像度画像とをスペクトル合成する合成手段と、前記合成手段で得られたスペクトルに対して逆ウェーブレット変換を施すことにより、高解像度画像を生成する画像生成手段とを備える。
この構成によれば、前述と同様に、前記低解像度画像と前記高解像度画像とから高解像度で高フレームレートの動画像が得られることはもちろん、スペクトルの形式で動画像情報が前記画像送信装置から前記画像受信装置へと伝送されるので、高度に圧縮された小容量の情報を用いて動画像を伝送することが可能となる。さらには、周波数領域においても画像空間情報が保持されるというウェーブレット変換の特徴のために、前記低解像度画像には周波数変換を施すことなく前記スペクトル合成に用いることが可能となり、スペクトル合成に係る計算コストの削減が達成される。
本発明によると、高解像度かつ高フレームレートのカメラを用いなくても、高解像度かつ高フレームな画像データ列を生成することができる。よって、撮像システム、画像生成装置、画像データ列生成装置および画像データ列生成システムを低コストで提供することができる。
また、効果的に動画像圧縮および転送を行なうことができる画像データ列作成装置を提供することができる。
また、本発明では、画像入力時から入力画像データ列のデータ容量が少ない。したがって、データ転送時の通信容量を小さくすることができる。
また、入力画像データ列を小さい容量で蓄積することができる。このため、通常は、低解像度かつ高フレームレートの画像データをユーザに見せるようにし、詳細な画像を見たい場合にのみ高解像度かつ高フレームレートの画像データを生成するようにしてもよい。このようにすることにより、監視用途等に使用することができるようになる。
［実施の形態１］
以下、図面を参照しながら本発明の実施の形態１に係る画像処理システムについて説明する。
［画像処理システムの構成］
図１は、本実施の形態に係る画像処理システムの構成を示す機能ブロック図である。画像処理システム２０は、高解像度かつ高フレームレートの画像データを生成するためのシステムであり、複合センサカメラ２２と、配信サーバ２４と、クライアント装置２６とを備えている。
複合センサカメラ２２は、同一視野を有する２種類の画像データを取り込むためのカメラであり、高解像度低フレームレートカメラ２８と、低解像度高フレームレートカメラ３０とを備えている。高解像度低フレームレートカメラ２８は、例えば、高解像度（４０００ｘ４０００画素）の画像データを、低フレームレート（１フレーム／秒）で撮像することが可能なセンサである。また、低解像度高フレームレートカメラ３０は、高解像度低フレームレートカメラ２８と同一視野を有し、例えば、ＮＴＳＣクラスの低解像度（６４０ｘ４８０画素）の画像データを、高フレームレート（３０フレーム／秒）で撮像することが可能なセンサである。複合センサカメラ２２の構成については後に詳述する。
配信サーバ２４は、複合センサカメラ２２で撮像された２種類の画像データを放送波やインターネットに代表されるコンピュータネットワーク等を介してクライアント装置２６に配信する装置であり、高解像度画像配信部３２と、低解像度画像配信部３４とを備えている。
高解像度画像配信部３２は、複合センサカメラ２２の高解像度低フレームレートカメラ２８で撮像された高解像度かつ低フレームレート（以下、適宜「高解像度」という。）の画像データを配信する処理部である。また、高解像度画像配信部３２は、クライアント装置２６から画像データ中の位置指定があった場合には、高解像度画像データよりその一部を切り出してクライアント装置２６に配信する。
低解像度画像配信部３４は、複合センサカメラ２２の低解像度高フレームレートカメラ３０で撮像された低解像度かつ高フレームレート（以下、適宜「低解像度」という。）の画像データを配信する処理部である。また、低解像度画像配信部３４は、クライアント装置２６から画像データ中の位置指定が合った場合には、低解像度画像データよりその一部を切り出してクライアント装置２６に配信する。
クライアント装置２６は、配信サーバ２４より配信される２種類の画像データを受信し、それらの画像データより、高解像度かつ高フレームレートの画像データを生成する処理装置であり、位置指定部３６と、高解像度画像生成処理部３８とを備えている。
高解像度画像生成処理部３８は、配信サーバ２４より配信される高解像度画像データおよび低解像度画像データに基づいて、高解像度かつ高フレームレートの画像データを生成し、出力する処理部である。高解像度画像生成処理部３８より出力された画像データは表示部（図示せず）に表示される。高解像度画像生成処理部３８で実行される処理については後に詳述する。
位置指定部３６は、表示部に表示された画像データのうち、拡大位置をユーザ入力により受付け、当該位置情報を配信サーバ２４の高解像度画像配信部３２および低解像度画像配信部３４に送信する処理部である。
［複合センサカメラの構成］
図２は、複合センサカメラ２２の内部構成を示す図である。複合センサカメラ２２は、同一視野を有する２種類の画像データを取り込むためのカメラであり、プリズムやハーフミラー等の分光素子４２と、２枚のレンズ４４と、高解像度低フレームレートカメラ２８と、低解像度高フレームレートカメラ３０とを備えている。
分光素子４２は、入射した光の一部を反射させる。２枚のレンズ４４は分光素子４２で反射した光および透過した光をそれぞれ集光する。低解像度高フレームレートカメラ３０は、一方のレンズ４４で集光された光を低解像度かつ高フレームレートで撮像するセンサである。高解像度低フレームレートカメラ２８は、他方のレンズ４４で集光された光を高解像度かつ低フレームレートで撮像するセンサである。
以上のような構成の複合センサカメラ２２を用いることにより、同一視野を有する映像を高解像度低フレームレートカメラ２８および低解像度高フレームレートカメラ３０で撮像し、高解像度画像データと低解像度画像データとをそれぞれ得ることができる。
［高解像度画像生成処理］
次に、複合センサカメラ２２で撮像され、配信サーバ２４により配信される高解像度画像データおよび低解像度画像データを用いて高解像度かつ高フレームレートの画像データを生成する処理について説明する。この処理は、図１に示したクライアント装置２６の高解像度画像生成処理部３８において実行される。
図３は、高解像度画像生成処理部３８で実行される処理の概要を説明するための図である。（ａ）は、高解像度画像生成処理部３８への入力画像データを説明するための図であり、（ｂ）は、高解像度画像生成処理部３８からの出力画像データを説明するための図である。すなわち、図３（ａ）に示されるように、高解像度画像生成処理部３８は、高解像度かつ低フレームレートの画像データ５２（高解像度画像データ５２）と、低解像度かつ高フレームレートの画像データ５４（低解像度画像データ５４）とを入力として受ける。その後、高解像度画像生成処理部３８は、高解像度画像データ５２および低解像度画像データ５４に基づいて、図３（ｂ）に示されるような高解像度かつ高フレームレートの画像データ５６を生成し、出力する。
本実施の形態では、画像データの周波数特性を利用することにより、高解像度かつ高フレームレートの画像データ５６を生成する。図４は、高解像度画像生成処理部３８で実行される処理の概要を説明する他の図である。図４（ａ）に示されるように高解像カメラ、すなわち高解像度低フレームレートカメラ２８で撮像された高解像度画像データ５２は、空間周波数は高いが時間周波数は低いという特性を有する。一方、低解像カメラ、すなわち低解像度高フレームレートカメラ３０で撮像された低解像度画像データ５４は、空間周波数は低いものの時間周波数は高いという特性を有する。これらの画像データ５２および５４に基づいて、図４（ｂ）に示されるような空間周波数および時間周波数ともに高い画像データを生成する。すなわち、この画像データは、高解像度かつ高フレームレートの画像データ５６の特性を示していることになる。
高解像度画像生成処理部３８の内部では、２つのセンサ２８および３０より得られる動画像データ、すなわち、高解像度画像データ５２および低解像度画像データ５４をそれぞれ３次元空間データとして扱い、３次元空間でそれら２つの画像データを統合させることにより、高解像度化された画像データ５６を生成する。すなわち、高解像度画像データ５２および低解像度画像データ５４の周波数特性に基づいて、動きベクトル推定および高解像度画像の動き補償を行なうことにより、時空間周波数の広帯域化を行うことで高解像度画像を生成する。広帯域化による高解像度画像生成とは、図４（ｂ）の右上領域まで有効信号成分を含ませることを意味する。通常、この領域には信号の折り返し成分（エイリアス成分、ノイズ）が含まれている。このため、高解像度画像および低解像度画像の周波数信号成分の合成を行なうことによりエイリアス成分をより高周波に移動させ、図４（ｂ）の右上領域まで有効信号成分を含ませることができるようにする。
図５は、高解像度画像生成処理部３８で実行される処理のフローチャートであり、図６は、その処理の具体的なイメージを示した図である。
まず、低解像度画像データ５４に対して２次元ＤＣＴ（Discrete Cosine Transform）を施し、フレームごとにＤＣＴスペクトルを抽出する（Ｓ２）。２次元ＤＣＴは、例えば、８ｘ８画素のブロックを単位として行なわれる。なお、本実施の形態では、周波数変換の一例として、直交変換の一種である２次元ＤＣＴを用いるが、ウェーブレット変換、ウォルシュ・アダマール変換（ＷＨＴ）、離散フーリエ変換（ＤＦＴ）、離散サイン変換（ＤＳＴ）、ハール変換、スラント変換、カルーネン／レーベ変換（ＫＬＴ）などの他の直交変換であってもよい。なお、直交変換はこれらには限られず、それ以外のものであってもよいのは言うまでもない。
同様に、高解像度画像データ５２に対して２次元ＤＣＴを施し、フレームごとにＤＣＴスペクトルを抽出する（Ｓ４）。ここで、説明の簡単化のため高解像度画像データ５２のサイズは、低解像度画像データ５４の２倍であるものとする。この場合、２次元ＤＣＴは、１６ｘ１６画素のブロックを単位として行なわれる。
次に、高解像度画像データ５２には含まれないフレーム（図６中の目的フレーム）に対する高解像度の画像データを得るために、低解像度画像データ５４より動きベクトルの推定を行なう。（Ｓ６）。動きベクトルの推定は、位相相関法を用いることにより行なう。位相相関法とは、フーリエ変換して得られる振幅成分と位相成分のうち、位相成分のみを用いて相関関数を計算する手法である。図７は、位相相関法の概要を説明するための図である。低解像度画像データ５４の連続する２枚の画像をｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）とする。ｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）に対して所定の前処理を施し、それぞれに対して２次元ＦＦＴを施した結果をＦ（ｕ，ｖ）およびＧ（ｕ，ｖ）とする。Ｆ（ｕ，ｖ）およびＧ（ｕ，ｖ）を入力として正規化相互パワースペクトルＣ（ｕ，ｖ）を計算する。Ｃ（ｕ，ｖ）は、以下の式に基づき算出される。
Ｃ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｇ*（ｕ，ｖ）／｜Ｆ（ｕ，ｖ）Ｇ*（ｕ，ｖ）｜
ただし、Ｇ*（ｕ，ｖ）はＧ（ｕ，ｖ）の複素共役を表す。
Ｃ（ｕ，ｖ）を逆ＦＦＴすることにより位相相関関数ｃ（ｘ，ｙ）が求められる。位相相関関数ｃ（ｘ，ｙ）のピークは入力画像の移動量に応じた位置に現れる。このため、位相相関関数ｃ（ｘ，ｙ）のピークを検出することにより、動きベクトルの候補を求める。次に、求められた動きベクトルの候補に基づいて、２枚の入力画像に含まれるブロック間でブロックマッチングを行なうことにより、動きベクトルの推定を行なう。位相相関法については、特開平９−２３１３７４号公報等に詳しく開示されているため、参照により援用する。
次に、高解像度画像生成処理部３８は、目的フレームの高解像度画像の位相成分を得るために、周波数変換処理（Ｓ４）で抽出された高解像度画像データ５２のＤＣＴスペクトルを用いて、高解像度の目的フレームの動き補償を行なう（Ｓ８）。具体的には、Ｓ６の処理で求められた高解像度画像データ５２の動きベクトルと、目的フレームに最も近い高解像度画像と、低解像度画像データ５４とに基づいて、目的フレームに最も近い高解像度画像と目的フレームとの間の高解像度のフレーム間差分画像を推定する。推定されたフレーム間差分画像に対し、１６ｘ１６画素の単位のＤＣＴを施し、フレーム間差分画像のＤＣＴスペクトルを求める。また、フレーム間差分画像のＤＣＴスペクトルと周波数変換処理で求められた目的フレームに最も近い高解像度画像のＤＣＴスペクトルとを合成することにより、動き補償された高解像度画像のＤＣＴスペクトルを抽出する。
次に、高解像度画像生成処理部３８は、動き補償された高解像度画像のＤＣＴスペクトルと、それに対応する位置の低解像度画像のＤＣＴスペクトルとを合成する（Ｓ１０）。具体的には、高解像度画像の低周波側のＤＣＴスペクトル成分と低解像度画像のＤＣＴスペクトル成分との重み付け線形和を求めることにより求める。ここで、重みは、折り返しノイズ低減項とエネルギー係数補正項とからなる。
最後に、高解像度画像生成処理部３８は、合成されたＤＣＴスペクトルに対し、１６ｘ１６画素のブロックを単位とするＩＤＣＴ（Inverse Discrete Cosine Transform）を施すことにより、目的フレームにおける高解像度の画像データ５６を生成する。
以上述べた処理を高解像度画像データ５２が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。
なお、得られた高解像度かつ高フレームレートの画像データは、表示部に表示される。ユーザが、表示部に表示された画像の一部を拡大したいと考えた場合には、拡大したい領域を指定する。例えば、マウス等を用いることにより領域指定することが可能である。指定された領域のデータは、位置指定部３６に入力され、位置指定部３６より高解像度画像配信部３２および低解像度画像配信部３４に送信される。高解像度画像配信部３２および低解像度画像配信部３４は、指定された領域の高解像度画像データおよび低解像度画像データを高解像度画像生成処理部３８に送信する。高解像度画像生成処理部３８では、上述した方法と同様の方法により、指定された領域の高解像度画像データが生成され、その画像データが表示部に表示される。
以上説明したように、本実施の形態によると、複合センサカメラ２２から出力される２種類の画像データの容量がすでに小さい。このため、データ転送時の通信容量や、データ蓄積時の蓄積容量を少なくすることができる。また、ＭＰＥＧのように、圧縮する必要がないため、ライブの映像配信などに効果的である。このように、２種類の時間的、時空間的特性の異なるセンサを複合することで、高解像度動画情報を空間分解能優先と時間分解能優先の動画情報にわけて効率よく取得することができる。
また、高解像度画像生成処理部３８は、画像データを一旦周波数領域に変換した後、定型的な処理により高解像度画像データを生成している。このため、ハードウェア実装が容易で、かつ高速に処理を実行することができる。
また、高解像度画像配信部３２より出力される高解像度画像データは低フレームレートであり、かつ低解像度画像配信部３４より出力される低解像度画像データは解像度が低い。このため、配信サーバ２４とクライアント装置２６との間の通信容量を小さくすることができる。よって、低速通信回線における映像配信やライブ配信等が可能になる。
［実施の形態２］
次に、本発明の実施の形態２に係る画像処理システムについて説明する。実施の形態２に係る画像処理システムは、クライアント装置２６の高解像度画像生成処理部３８での内部処理が異なるのみで、その他の構成は実施の形態１と同様である。以下では、高解像度画像生成処理部３８が実行する高解像度画像生成処理について説明する。本実施の形態では、平面射影変換（ホモグラフィ）を用いて高解像度画像の生成を行なう。
図８は、高解像度画像生成処理部３８で実行される処理のフローチャートであり、図９は、その処理の具体的なイメージを示した図である。
まず、低解像度画像データ５４から動領域を抽出する（Ｓ２４）。また、高解像度画像データ５２の背景領域を抽出する（Ｓ２６）。さらに、高解像度画像データ５２の動領域を抽出する（Ｓ２８）。動画像データから動領域を抽出する手法および背景領域を抽出する手法は種々提案されており、一般的な手法として、フレーム間での画像データの差分値を用いる手法が知られている。これらの手法は周知の技術であるため、ここではその詳細な説明は繰返さない。
その後、高解像度画像データ５２には含まれないフレーム（図９中の目的フレーム）に対応する高解像度の画像データを得るために、低解像度画像データ５４より抽出された動領域に基づいて平面射影変換行列（ホモグラフィ）を推定する（Ｓ３０）。平面射影変換行列とは、幾何学的な画像変換を表す行列であり、平面射影変換行列により動領域の幾何学的な変化（動き）を表現することができる。
例えば、図９に示すように、高解像度画像データ５２が存在するフレーム７２と同一のフレーム７４の低解像度画像データ５４の動領域と、目的フレーム７６の低解像度画像データ５４の動領域との対応付けを行ない、平面射影変換行列Ｈｉを求める。対応付けは、所定の大きさのブロックごとのパターンマッチングにより行なわれる。平面射影変換行列Ｈｉもブロックごとに求められる。平面射影変換行列Ｈｉにより、ブロック間での並進移動、回転、伸縮、歪等を表現することができる。なお、パターンマッチングは、たとえば、ブロックに含まれる画素の輝度の差の絶対値和が最小となる位置を求めることにより行なわれる。パターンマッチングの手法は周知の技術である。このため、その詳細な説明はここでは繰返さない。
次に、フレーム７２における高解像度画像データ５２の動領域に対し、平面射影変換行列Ｈｉを施すことにより、高解像度の動領域を画像変換し、目的フレーム７６における高解像度の動領域を生成する（Ｓ３２）。画像変換後の動領域と高解像度画像データ５２の背景領域とを重ね合わせることにより、画像データ５６を生成する（Ｓ３４）。
以上述べた処理を高解像度画像データ５２が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。
以上説明したように、本実施の形態によると、平面射影変換行列Ｈｉを求めることにより、動領域の動き推定を容易かつ安定に行なうことができる。
なお、人間などの非剛体物体であっても、剛体として近似できる小ブロックに分割し、小ブロックごとに平面射影変換行列Ｈｉを求め、本手法を適用することにより、非剛体物体の動きに対しても高精細な画像を求めることができる。
［実施の形態３］
次に、本発明の実施の形態３に係る画像処理システムについて説明する。実施の形態３に係る画像処理システムは、クライアント装置２６の高解像度画像生成処理部３８での内部処理が異なるのみで、その他の構成は実施の形態１と同様である。以下では、高解像度画像生成処理部３８が実行する高解像度画像生成処理について説明する。本実施の形態では、モーフィングを用いて高解像度画像の生成を行なう。
図１０は、高解像度画像生成処理部３８で実行される処理のフローチャートであり、図１１は、その処理の具体的なイメージを示した図である。
まず、高解像度画像データ５２のあるフレーム８６に対応する低解像度画像データ５４のフレーム８２より特徴点を抽出する（Ｓ４２）。例えば、所定の大きさのブロックを低解像度画像データ５４上で走査し、画像中のコーナーやエッジなど追跡しやすい点を特徴点として抽出する。特徴点の抽出手法は、種々提案されており、周知の技術であるため、ここではその詳細な説明は繰返さない。
次に、抽出された特徴点の対応付けを低解像度画像データ５４のフレーム間で行い、特徴点を追跡し、特徴点の動きベクトルを抽出する（Ｓ４４）。前フレームの特徴点近傍位置において、同様の特徴点を探索することにより、特徴点の追跡を行なう。また、対象の特徴点の過去の移動履歴や近傍特徴点の運動から探索範囲に拘束をかけることにより、追跡の安定性を向上させることができる。この追跡結果より任意の特徴点の動きベクトルを求めることができる。
その後、高解像度画像データ５２には含まれないフレーム（図１１中の目的フレーム８４）に対応するフレーム８８の高解像度の画像データを得るために、高解像度画像データ５２のフレーム８６に含まれる特徴点の動きを推定する（Ｓ４６）。低解像度画像データ５４と高解像度画像データ５２とは同一視野を有しており、解像度が異なるのみである。従って、特徴点の相対的な位置は、両画像データのフレーム間で共通する。このため、このため、低解像度画像データ５４で求められた特徴点および動きベクトルを高解像度画像データ５２の解像度に合わせて当てはめることにより、高解像度画像データ５２での特徴点の動きが推定される。
次に、補間する目的フレーム８８の近傍高解像度フレーム８６および８９について、対応する特徴点に基づいてポリゴン分割を行なう（Ｓ４８）。なお、ポリゴン分割には、例えば、ドロネー分割を用いてもよい。追跡により得られた動きベクトルに基づいて、高解像度フレーム８６の任意のポリゴンと高解像度フレーム８９の任意のポリゴンとを対応付け、モーフィング処理を行なう。これにより、目的フレーム８８の任意のポリゴンを生成し、ポリゴン画像を生成する（Ｓ５０）。図１２は、ポリゴン分割処理およびモーフィング処理を説明するための図である。図１２（ａ）に示されるような低解像度の画像データから特徴点９２として、目や口など輝度の分散が大きい部分が選択されたものとする。また、図１２（ｂ）に示すように、特徴点９２に対応する特徴点９４が求められたものとする。特徴点９２および特徴点９４をそれぞれ線でつなぐことにより、図１２（ｃ）および図１２（ｄ）に示すような３角形のポリゴン９６および９８が生成される。各ポリゴンの対応関係は特徴点の動きベクトルから分かっている。このため、フレーム８６および８９で得られているポリゴン内のテクスチャ情報を対応するポリゴンにあうように変形させて貼り付けることにより、フレーム８８に示すような動領域が得られる。
次に、高解像度画像データ５２より背景画像を生成する（Ｓ５２）。背景画像を生成する手法は、上述したように周知の技術である。
モーフィング処理により得られた動領域を背景画像上に重ね合わせることにより、高解像度の画像データ５６を生成する（Ｓ５４）。
以上述べた処理を高解像度画像データ５２が得られていないすべてのフレームに対して行なうことにより、高解像度かつ高フレームレートの画像データを得ることができる。
以上説明したように、本実施の形態によると、ポリゴン分割処理およびモーフィング処理を行なうことにより、実施の形態１および２で説明した処理と比較して、動領域の変化に対してより追従しやすくなる。
なお、好適には、特徴点抽出処理（Ｓ４２）の前に、低解像度画像データ５４に基づきフレーム間差分を行なうことにより、動領域を抽出し、動領域と静止領域とを二値画像で表現したマスク画像を作成するのがよい。このようにして作成されたマスク画像を用いて、動領域内でのみ特徴点の抽出や、動きベクトルの抽出等のその後の処理を行なうことにより、計算コストの削減を行なうことができる。
本実施の形態では、高フレームレートでサンプリングされた低解像度画像データ５４に基づいて特徴点の対応付けを行なっている。このため、非剛体物体のように動領域の形状が変化するような物体であっても、隣接するフレーム間で対応を取ることにより、正確な対応付けを行なうことができる。
以上、本発明の実施の形態に係る画像処理システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、複合センサカメラ２２のかわりに、図１３に示すような双曲面ミラー１０４を備えた複合センサカメラ１０２を使用してもよい。双曲面ミラー１０４は周囲３６０°の光を反射することができるミラーであり、この双曲面ミラー１０４を用いることにより周囲３６０°のシームレスな画像を取得することができる。複合センサカメラ１０２を用いる場合には、高解像度画像生成処理部３８は、高解像度のパノラマ画像や透視投影変換画像（通常のカメラから見た画像）を生成するようにしてもよい。なお、双曲面ミラー１０４を用いたパノラマ画像の生成方法や透視投影変換画像の生成方法については、本願の出願人が以前に出願した特開平６−２９５３３３号公報に詳しく開示されている。
なお、周囲３６０°の映像を取得することができるのであれば、ミラーの形状は双曲面には限られず、放物面や、円錐形や、半円球などであってもよい。
また、ミラーの数は１つには限られず２つ以上あってもよい。例えば、図１４（ａ）に示すように平面鏡１１０と双曲面鏡１１２との組み合わせであってもよいし、図１４（ｂ）に示すように楕円面鏡１１４と双曲面鏡１１６との組み合わせであってもよいし、図１４（ｃ）に示すように放物面鏡１１７および１１８の組み合わせであってもよい。なお、２枚のミラーを用いた全方位視覚系については、本願の出願人が以前に出願した特開平１１−３３１６５４号公報に詳しく開示されている。
また、図１に示した画像処理システム２０では配信サーバ２４が高解像度画像と低解像度画像とを送信しているが、図１５に示すような画像処理システム１２０の構成であってもよい。画像処理システム１２０は、配信サーバ１２２と、クライアント装置１２４とを備える。配信サーバ１２２は、高解像度画像配信部３２と、動領域解析部１２６とを備えている。動領域解析部１２６では、低解像度画像データ中の動領域を解析し、動き情報をクライアント装置１２４に配信する。具体的には、低解像度画像データの位相成分を求め、配信したり、低解像度画像データより平面射影変換行列を求め、配信したり、低解像度画像データより特徴点および動きベクトルを求め、配信したりする。また、クライアント装置１２４に含まれる高解像度画像生成処理部１２８は、配信サーバ１２２より送信される高解像度画像データと低解像度画像データの動き情報とに基づいて、高解像度かつ高フレームの画像データを生成する。このようにすることにより、低解像度画像データを配信する場合に比べて配信サーバ１２２とクライアント装置１２４との間の通信量を少なくすることができる。
また、図１６に示すように、高解像度画像生成処理部３８を配信サーバ１３２内部に設け、クライアント装置１３６へは高解像度かつ高フレームレートの画像データを送信するようにしてもよい。この場合には、ユーザにより指定された領域内の画像データのみをクライアント装置に配信するようにすれば、通信容量を少なくすることができる。
また、画像処理システム２０または画像処理システム１２０に複合センサカメラ２２で撮像された画像を蓄積するような装置または記憶部を設けてもよい。
また、本実施の形態で説明した手法を画像圧縮および画像復元に応用してもよい。すなわち、高解像度かつ高フレームレートの画像データから、解像度のみを落とした低解像度かつ高フレームレートの画像データと、画像データの間引きを行なった高解像度かつ低フレームレートの画像データとの２種類の画像データを作成することにより画像圧縮を行なう。また、圧縮された画像は、上述の高解像度画像生成処理部３８が実行する処理に従い、高解像度かつ高フレームレートの画像データに復元される。
また、通常は低解像度かつ高フレームレートの画像または高解像度かつ低フレームの画像のみを表示させるようにし、ユーザの指示があった場合にのみ高解像度かつ低フレームレートの画像を表示させるようにしてもよい。
［実施の形態４］
次に、本発明の実施の形態４に係る画像伝送（画像処理）システムについて説明する。実施の形態４に係る画像伝送システムは、実施の形態１で説明した画像処理システムと同様、全く同一の視野を持つ２種類の動画像（高解像度・低フレームレート動画像、低解像度・高フレームレート動画像）から、画像処理によって高解像度・高フレームレート動画像を生成する画像伝送システムである。
この画像処理システムは、基本的に実施の形態１と同様の方法を用いて高解像度・高フレームレート動画像を得るための時空間アップサンプリングを行うが、サーバ側、及びクライアント側それぞれの機能分担を変更することによって、ネットワークを介した画像伝送により適した構成を実現する。
この画像伝送システムでは高解像度・高フレームレート動画像を得るための新しいアプローチとして、全く同一の視野を持った２種類の動画像(高解像度・低フレームレート動画像、低解像度・高フレームレート動画像)を同時に撮影できる複合センサカメラを考える。
そして、複合センサカメラから得られる２種類の動画像から、画像処理によって高解像度・高フレームレート動画像を生成する２種類の方法を開発する。ひとつは離散コサイン変換(DCT; Discrete Cosine Transform)を利用する方法、もうひとつは離散ウェーブレット変換(DWT; DiscreteWavelet Transform)を利用する方法である。各手法の有効性を確かめるため、MPEGテストシーケンスに対して各手法を適用し、高解像度動画像を生成するシミュレーション実験を行った。DWTを利用する方法では、使用するウェーブレットとしてHaarウェーブレット、Daubechies 4-tapフィルタ、および整数2/6ウェーブレットを選択した。また、生成画像のピーク信号対雑音比(PSNR)を測定し各手法の性能を比較した。
複合センサカメラの考え方により、既存のカメラを利用することでコストを低く抑えつつ、高品質な動画像を得ることができる。また、動画像を蓄積する場合、その符号量を小さくできるという利点もある。
従来、超解像やフレームレート変換として知られている技術では空間または時間の一方のみをアップサンプリングするが、本研究では複合センサカメラから全く同一の視野をもつ２種類の動画像が得られることを利用して、時空間アップサンプリングを行う方法を提案する。提案する方法は、高解像度全方位映像配信システムの将来の実用化を想定し、動画像のインターネット配信を前提としたものとする。
［複合センサカメラ］
この画像処理システムが備える複合センサカメラは、図２に示すように高解像度・低フレームレートの動画像を撮影できる高解像度CCD２８と、低解像度・高フレームレートの動画像を撮影できる低解像度CCD３０の2つのCCDセンサを有する。カメラに入射した光はプリズム４２によって分割され、高解像度CCD２８と低解像度CCD３０に到達する。本実施の形態では、説明の便宜のため、この複合センサカメラについて以下の２つの仮定を設ける。
（仮定1）複合センサカメラの2つのCCDから得られる画像は、解像度は異なるが同一の視野を持つとする。厳密には、図１７のようなサンプル点の位置関係を仮定する（ただし、図１７は画像サイズ比2:1の場合を示す)。
（仮定2）複合センサカメラは、2つのCCDの外部同期を取ることができる。つまり、カメラ外部からパルスを入力することにより、図１８に示されるような、時間的なずれのない高解像度画像と低解像度画像の組が得られるとする。なお、以降このようなフレームのことをキーフレームと呼ぶこととする。
ただし、これらの仮定は技術的に必須なものではなく、他の画像サイズ比が用いられる場合や、得られる高解像度画像と低解像度画像とが時間的に同期していない場合であっても、例えば、空間的及び時間的な補間を行うなどして、以降に説明する処理を適用できることに注意する。
［高解像度動画像の生成］
本画像処理システムでは複合センサカメラから得られた動画像をインターネット配信することを想定している。動画像のもつデータ量は非常に大きいため、通常は動画像をインターネット配信する場合に符号化するが、各フレームは符号化処理の過程で何らかの周波数変換により周波数領域へ移される。したがって、動画像をインターネット配信するという前提の下では、高解像度画像の生成処理を画像空間領域と周波数領域の両方で行うことが可能である。
画像を周波数空間に移す周波数変換はこれまでに様々な方法が提案され、実用化されているが、本発明ではDCTを用いる方法、およびDWTを用いる方法を提案する。それぞれの方法の内容については、後で詳しく述べる。
はじめに、準備として位相相関法による動き推定の手順を説明する。提案手法では、位相相関法を用いて低解像度画像中の動きを推定し、得られた情報を後の処理で利用する。
［位相相関法による動き推定］
連続する2つのフレームIk、Ik+1の間で単純な並進移動(dx、dy)が生じていると仮定する。すなわち
が成り立つとする。上式(1)を2次元Fourier変換すると
となる。ここで
とする。すなわち、画像空間領域の並進移動は、Fourier領域において位相差として現れる。位相相関法はこの性質を利用して動き推定を行う。
連続するフレームIkとIk+1の間の正規化相互パワースペクトルは次式で定義される。
ここで*は複素共役を表す。式(2)と式(4)から
が成り立つ。上式(5)の2次元逆Fourier変換は
となる。ここでδはDiracのデルタ関数を表す。ck,k+1は位相相関関数と呼ばれ、座標(dx、dy)にインパルスが現れる。ck,k+1に現れるインパルスの座標を調べることにより、画像中に含まれる並進移動量と方向、すなわち動きベクトルを知ることができる。図１９に位相相関関数の例を示す。なお、方向や移動量の異なる複数の動きが2フレーム間に含まれている場合、位相相関関数のインパルスはそれらの動きの方向・移動量に対応する座標に複数現れる。しかも、位相相関関数ck,k+1の点(x、y)における値は、ブロック中で(x、y)だけ移動した物体の面積(画素数)を近似する。なお、位相相関法による動き推定は通常、色成分のうち輝度成分(Y)を用いて行う。位相相関法は画像の位置合わせの手法としてKuglinらによって初めて用いられた。
位相相関関数のインパルスの座標を調べることにより、画像中に含まれる動きベクトルを知ることができる。しかし、動きベクトルが画像中のどこに対応するかは、位相相関関数からはわからない。そこで、位相相関法による動き推定は、実施の形態１と同様、図７に示すような処理の流れで画像の各ピクセルに動きベクトルを割り当てる。
以下、図７の各ブロックの処理を、図２０及び図２１を用いてより詳細に説明する。
前処理部は、まず、画像を24×24画素のブロックに分割する(図２０(a)の破線)。次に、24×24ブロックを縦に2つ、横に2つ並べた48×48ブロックを取る(図２０(a)の灰色のブロック)。これにより、例えば図２０(a)の点Pを含むような48×48ブロックは4つとなり、これらのブロックの少なくとも1つで点Pの動きが検出できる。その後、ブロックの境界で連続になるようにするため、48×48ブロックを64×64ブロックに拡張する(図２０(b))。以降の処理はすべてこの64×64ブロックごとに行う。そして、ブロックを拡張した部分に対して、ブロックの周囲で白と黒の中間色(mid-grey)になるようなぼかし処理を施す。ぼかし処理は次のように行う。ぼかしの重み関数を
と定義する。まず、サイズ64×64のブロックI(x、y)の左右に対してぼかし処理を施し、I'(x、y)を求める。
次に、ブロックI'(x、y)の上下に対してぼかし処理を施し、I"(x、y)を求める。
ぼかし処理を行った画像ブロックの例を図２１に示す。
FFT部は、前処理で得られた64×64ブロックI"に対してFourier変換を実行する。
正規化相互パワースペクトルの計算部は、2つの画像の対応する位置の64×64ブロック同士で正規化相互パワースペクトルΦk,k+1(式(4))を計算する。
IFFT部は、正規化相互パワースペクトルΦk,k+1に対して逆Fourier変換を実行し、位相相関関数ck,k+1を求める。
ピーク検出部は、次の式で表される集合Λの各要素(座標)について、位相相関関数の値を調べる。
ここで、高解像度画像と低解像度画像の画像サイズ比をσ:1(σ∈N)とする。点P(x、y)∈Λがx¬∈Zまたはy¬∈Zの場合、双一次補間法により点Pの近傍の点から位相相関関数の値を補間する。そして、位相相関関数の値があるしきい値Tよりも大きくなるような座標P∈Λを10点選択し、それらを動きベクトルの候補としてリストにする。すなわちベクトルvrの集合
を作成する。なお、ck,k+1(x、y)≧Tを満たす点(x、y)∈Λが10点存在しない場合は|V|<10であってもよい。ここで|・|はリストのサイズを表す。また、Vk+1,kの各要素はVk,k+1の各要素の逆ベクトルとなる。すなわち
とすると
となる。この性質は後に述べるフレーム間差分の推定で用いる。以降、この性質を便宜的にVk+1,k=V- k,k+1と表す。
本発明では位相相関関数のピーク検出のしきい値を、例えばT=300とする。
ブロックマッチング部は、画像の各画素に対して動きベクトルvを割り当てる。動きベクトルの候補リストVの各要素について、動きベクトルを求めたい画素を中心とした3×3ブロックによるブロックマッチングを行う。Vの要素の中で輝度値の絶対値差分が最も小さいものを、その画素の動きベクトルとする。すなわち、
とすると、点P(x、y)に割り当てる動きベクトルv(x、y)を次式により求める。
ただし、x+wx+vrx¬∈Zまたはy+wy+vry¬∈Zの場合は、次式(双一次補間法)によって周囲の点から輝度値Ik+1を補間する。
［DCTを用いた高解像度動画像の生成］
DCTを用いた高解像度画像生成手法では、生成する高解像度画像の高周波成分と低周波成分を異なる方法によって推定する。
・生成画像の高周波成分は、画像空間上で動き補償を行った高解像度画像のスペクトルをそのまま利用する。シーン中の動きは低解像度画像を用いて推定する。ただし、補償できない部分については低解像度画像から補間する。
・生成画像の低周波成分は、画像空間上で動き補償された高解像度画像のスペクトルに低解像度画像のスペクトルを合成することによって生成する。
［画像生成手順］
本画像伝送システムのDCTを用いた場合の一構成例、及びそこでの高解像度画像生成処理の流れを図２２に示す。ただし、2種類の動画像の画像サイズ比を2:1とする。また、以下の処理は、1はY(輝度成分)のみを利用して行い、その他の処理はYCrCbの各成分ごとに行う。
高解像度画像の生成は次の手順で行う。
1. 前述した位相相関法により低解像度画像の各画素に対して動きベクトルを求める。
2. 1で求めた動きベクトルを用いて高解像度画像のフレーム間差分を推定する。ただし、動きベクトルが推定できなかった部分は、図１７に示される画素の位置関係に基づき、双一次補間法により低解像度画像から画素値を補間する。
3. 高解像度画像とフレーム間差分に対してサイズ16×16のブロックDCTを実行する。また、低解像度画像に対してサイズ8×8のブロックDCTを実行する。
4. 高解像度画像とフレーム間差分のそれぞれのDCTスペクトルをDCT領域で足し合わせることにより、動き補償された高解像度画像のDCTスペクトルを求める。
5. 動き補償された高解像度画像のDCTスペクトルに対し、低解像度画像の対応する位置のDCTスペクトルを合成する。
6. 合成したスペクトルに対してIDCT(逆離散コサイン変換)を実行することにより、高解像度画像を生成する。
なお、動画像のインターネット配信への適用を考慮して、本画像伝送システムでは、上の1から3までをサーバ側での処理（図２２のサーバ）、4から6までをクライアント側での処理（図２２のクライアント）とする。
以下、動き補償の原理とフレーム間差分の推定手順を詳細に示し、その後、DCTスペクトル合成について詳細に述べる。
［フレーム間差分を用いた動き補償］
動画像をインターネット配信する場合、動き補償処理をクライアントで行うとクライアント側の負担が大きくなる。そこで、フレーム間差分を用いて周波数領域で動き補償を行う。この原理について述べる。
今、k番目のフレームをIk、k番目とk+1番目のフレーム間差分をSk,k+1で表すと
の関係がある。すると、DCTの線形性より
が成り立つ。すなわち、動き補償された画像のDCTスペクトルを得るためには、フレーム間差分のDCTスペクトルを前フレームのDCTスペクトルと足し合わせるだけでよいことになる。
次に、高解像度画像の1周期分のフレーム間差分を推定する処理の流れを説明する。ここで、高解像度画像と低解像度画像のフレームレート比は1:R(R∈N)、画像サイズ比は2:1(σ=2)とする。
Step 1 高解像度画像の1周期に対応する低解像度画像系列I0、I1、…、IRについて、隣接する低解像度フレーム間で位相相関法による後ろ向き動き推定(ME)を行い、動きベクトルの候補リストV1,0、V2,1、…、VR,R-1を作成する(図２３(a))。
Step 2 bk=1、fw=R-1とする。
Step 3 (bk番目の高解像度画像の推定)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVbk,bk-1を用いて、低解像度画像IbkとIbk-1の間でブロックマッチング(式(15))を行い、低解像度画像Ibkの各画素に対して後ろ向きの動きベクトルを割り当てる。今、bk番目の低解像度画像Ibkの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
によってbk番目の高解像度画像〜Ibkの各点の画素値を求める(図２３(b))。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
2. Ibkを起点として前向きに動きベクトルを追跡し、Ifw+1番目のフレームまでの動きの軌道を推定する(図２３(b)の点線)。この処理は次のように行う。今、動きベクトルの推定に失敗したIbkの点を(x'、y')とおく。
(a) γ=bk、α'=x'、β'=y'とする。
(b) ここでγ=fw+1ならば(e)へ進む。そうでなければα=α'、β=β'として(c)へ進む。
(c) 点(α、β)について低解像度画像IγとIγ+1の間のブロックマッチングを行う。Step 1で求めた動きベクトルの候補リストVγ+1,γの各要素の逆ベクトルからなるリストVγ,γ+1=V-γ+1,γを用いて、次式によりIγの点(α、β)の動きベクトルを求める。
ここで、Dの定義は式(14)と同様である。上式(20)の括弧内の値を最小にするvrをv0=(v0 x
、v0 y)Tとおく。前と同様に、式(20)の括弧内の値(絶対値差分)がτより大きければ、動きベクトルの割り当てに失敗したとして終了する。
(d) α'=α+v0 x、β'=β+v0 yとする。γに1を加え、(b)へ戻る。
(e) fw+1番目の高解像度画像〜Ifw+1から、次式によってbk番目の高解像度画像〜Ibkの画素値を求める。
上の(c)で動きベクトルが推定できなかった場合、3に進む。推定できた場合は4に進む。
3. 図１７に示される画素の位置関係に基づき、次式(双一次補間法)により画素値を低解像度画像から補間する。
4. bk-1番目の高解像度画像〜Ibk-1と、推定したbk番目の高解像度画像〜Ibkの間のフレーム間差分
を計算する。
5. bkに1を加える。
本発明では絶対値差分に関するしきい値を、例えばτ=100とする。
Step 4 ここでbk=fwならば終了する。そうでなければStep 5に進む。
Step 5 (fw番目の高解像度画像の推定)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVfw+1,fwの各要素の逆ベクトルからなるリストVfw,fw+1=V- fw+1,fwを用いて、低解像度画像IfwとIfw+1の間でブロックマッチング(式(15))を行い、低解像度画像Ifwの各画素に対して前向きの動きベクトルを割り当てる。今、fw番目の低解像度画像Ifwの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
によってfw番目の高解像度画像〜Ifwの各点の画素値を求める(図２３(c))。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
2. Ifwを起点として後ろ向きに動きベクトルを追跡し、Ibk-1番目のフレームまでの動きの軌道を推定する(図２３(c)の点線)。この処理は次のように行う。今、動きベクトルの推定に失敗したIfwの点を(x'、y')とおく。
(a) η=fw、α'=x'、β'=y'とする。
(b) ここでη=bk-1ならば(e)へ進む。そうでなければα=α'、β=β'として(c)へ進む。
(c) 点(α、β)について低解像度画像IηとIη-1の間のブロックマッチングを行う。Step 1で求めた動きベクトルの候補リストVη,η-1を用いて、次式によりIηの点(α、β)の動きベクトルを求める。
上式(25)の括弧内の値を最小にするvrをv0=(v0 x、v0 y)Tとおく。前と同様に、式(25)の括弧内の値(絶対値差分)がτより大きければ、動きベクトルの割り当てに失敗したとして終了する。
(d) α'=α+v0 x、β'=β+v0 yとする。ηから1を引き、(b)へ戻る。
(e) bk-1番目の高解像度画像〜Ibk-1から、次式によってfw番目の高解像度画像〜Ifwの画素値を求める。
上の(c)で動きベクトルが推定できなかった場合、3に進む。推定できた場合は4に進む。
3. 双一次補間法(式(22)のbkをfwに置き換える)により画素値を低解像度画像から補間する。
4. fw+1番目の高解像度画像〜Ifw+1と、推定したfw番目の高解像度画像〜Ifwの間のフレーム間差分
を計算する。
5. fwから1を引く。
Step 6 bk=fwになるまでStep 3からStep 5までの処理を繰り返す。
［DCTスペクトル合成］
一般的な画像信号は低周波成分を多くもつという性質がある。つまり、画像のもつ情報の大部分は低周波成分に集中しているということが言える。したがって、動き補償を行った高解像度画像の低周波成分に低解像度画像のスペクトルを合成することによって、生成画像を真の高解像度画像に近づけることができる。
今、動き補償された高解像度画像のDCTスペクトル(サイズNh×Nh)をCh(u、v)とし、それに対応する位置の低解像度画像のDCTスペクトル(サイズNl×Nl)をCl(u、v)とする(ただしNh=σNl)。このとき、合成されたDCTスペクトルC(u、v)を
により求める(サイズNh×Nh)。サイズの異なるスペクトルを合成するため、低解像度画像のスペクトルClにエネルギー補正係数Nh/Nlをかける。また、wh、wlはスペクトル合成の重みである。本発明ではNl=8とし、wh、wlとして次式で表される関数を用いた。
式(29)のグラフを図２４に示す。
［DWTを用いた高解像度動画像生成］
離散ウェーブレット変換(DWT)は周波数変換の一種で、静止画像符号化の最新の国際標準規格であるJPEG2000にも採用されている。DWTは離散Fourier変換やDCTなどの他の多くの周波数変換とは異なり、周波数領域においても画像空間情報を保持しているという特徴がある。また、一枚の画像に対してDWTを実行すると、異なる解像度を有する階層的な表現が得られる(オクターブ分割)。提案手法では、DWTがもつこれらの特徴を利用する。
最初にDWTの定義を示した後、shift-invariantなウェーブレット変換である冗長ウェーブレット変換を説明する。
［冗長ウェーブレット変換］
DWTとその逆変換はフィルタバンクによって実現することができる。フィルタバンクによる1次元DWTとその逆変換の実現を図２５に示す。図２５において、fは1次元の入力信号、f'は復元された信号である。h(-k)とg(-k)はそれぞれ分解のローパスフィルタ(LPF)とハイパスフィルタ(HPF)を表す。一方、合成のローパスフィルタ、ハイパスフィルタはh(k)、g(k)である。Lf(j)とHf(j)は入力信号fに対するレベルjの低周波成分、高周波成分を表す。DWT分解を式で表現すると
となる。ここで*は畳み込み演算を表す。また、↓αはダウンサンプリングを表す。もしy(n)=x(n)↓αならば
である。すなわち、N点の信号fは一回のDWT分解によってN/2点の低周波成分LfとN/2点の高周波成分Hfに分解される。さらに、分解によって得られる低周波成分Lfを必要なレベルまで再帰的に分解する。
上述のDWTに対応する合成は
により実行する。ここで↑αはアップサンプリングを表す。y(n)=x(n)↑αならば
である。
上で述べたDWTはshift-variantであることが知られている。したがって、例えばある画像とそれを1ピクセルだけシフトさせた画像のウェーブレット係数は一般に大きく異なる。この性質のため、DWT領域での動き補償は多くの場合に不都合が生じる。
DWTがshift-variantとなるのは、変換にダウンサンプリング処理を含むからである。そこで、データが過剰になることを許して、ダウンサンプリングしないDWTを考える。このようなDWTは冗長ウェーブレット変換(RDWT; Redundant DWT)または過完備ウェーブレット変換(ODWT; Overcomplete DWT)などと呼ばれている。RDWTは連続ウェーブレット変換を近似したものになっており、shift-invariantである。
1次元RDWTとその逆変換のフィルタバンクによる実現を図２６に示す。記号^はRDWT係数であることを表す。DWTと異なるのは、スケールの増加に合わせてフィルタ係数をアップサンプリングする点である。レベルj+1におけるフィルタはレベルjのフィルタを2倍アップサンプリングしたものとなる。すなわち
により得られる。ただしh(0)=h、g(0)=gである。そして、RDWTの分解は
となり、合成は
となる。すなわち、N点の信号fは一回のRDWT分解によってN点の低周波成分L^(f)とN点の高周波成分H^(f)に分解される（ここで、数式中のRDWT係数と同義の記号として、文章中では便宜上L^などの表記を用いることに注意する）。式(36)から(40)はalgorithme `a trousという名前で知られている。フィルタのアップサンプリングがフィルタタップの間に「穴」(“trous”はフランス語で穴の意)を挿入することに相当することからこの名称が付けられた。
なお、RDWT係数が持っている冗長な情報は、DWTではダウンサンプリングにより失われるだけであり、両者の係数の間には次の関係がある。
この関係を利用すると、式(40)に示したRDWTの逆変換をDWTの逆変換として計算できるため、計算コストを低減できる。画像のような2次元信号に対してRDWTを適用する場合、まず画像の各行について横方向に1次元RDWTを実行し、2つの帯域L^IとH^Iに分割する。次に、2つの帯域それぞれに対し、画像の各列について縦方向に1次元RDWTを実行し、2つの帯域に分割する。最終的に、1レベルのRDWT分解により画像IはLL^I、LH^I、HL^I、HH^Iの4つの帯域に分割される。
［画像生成手順］
本画像伝送システムのRDWTを用いた場合の一構成例、及びそこでの高解像度画像生成処理の流れを図２７に示す。
DWTを用いた高解像度画像の生成のアイデアを以下に示す。ここで、高解像度画像と低解像度画像の画像サイズ比を2α:1(α∈N)とする。また、以下の処理は、1はY(輝度成分)のみを利用して行い、その他の処理はYCrCbの各成分ごとに行う。
1. 位相相関法を用いて低解像度画像の各画素に対して動きベクトルを求める(DCT法と同様)。
2. 高解像度画像に対して、RDWTをレベルαまで繰り返す。ただし、レベルαの低周波成分LL^(α)はこの後の画像生成に使用しないので求める必要はない。
3. 2で求めた動きベクトルを用いて、高解像度画像の高周波成分に対して動き補償を行う(この後で詳細に説明する)。ただし、動きベクトルが推定できなかった部分については、高周波成分に0を代入する。
4. 式(41)、(42)の関係を用い、各高周波成分をダウンサンプリングする。また、レベルαの低周波成分として低解像度画像を適用する。すなわちLL〜Ik (α)=Ikとする。
5. 4の処理により得られるウェーブレット係数に対してDWT合成(逆DWT)を実行し、高解像度画像を生成する。
なお、動画像のネットワーク配信への適用を考慮して、本画像伝送システムでは、上の1と2をサーバ側での処理（図２７のサーバ）、3から5をクライアント側での処理（図２７のクライアント）とする。
次に、上の手順3の流れについて詳しく説明する。
［ウェーブレット領域における動き補償］
DWTを用いる方法での動き補償は、RDWTの分解によって得られる高周波成分すべてに対して同様に実行する。動き補償の大部分の処理は、前述したDCTを用いる方法と類似している。前述と同様に、高解像度画像と低解像度画像の画像サイズ比を2α:1(α∈N)とする。
Step 1 高解像度画像の1周期に対応する低解像度画像系列I0、I1、…、IRについて、隣接する低解像度フレーム間で位相相関法による後ろ向き動き推定(ME)を行い、動きベクトルの候補リストV1,0、V2,1、…、VR,R-1を作成する。
Step 2 bk=1、fw=R-1とする。
Step 3 (bk番目の高解像度画像の高周波成分に対する動き補償)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVbk,bk-1を用いて、低解像度画像IbkとIbk-1の間でブロックマッチング(式(15))を行い、低解像度画像Ibkの各画素に対して後ろ向きの動きベクトルを割り当てる。今、bk番目の低解像度画像Ibkの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
によってbk番目の高解像度画像〜Ibkの各周波数成分の動き補償を行う。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
2. Ibkを起点として前向きに動きベクトルを追跡し、Ifw+1番目のフレームまでの動きの軌道を推定する。動きベクトルの推定に失敗したIbkの点を(x'、y')とおく。DCTを用いる場合について前述した手順のStep 3の2の(a)から(d)まで同様の処理を行う。そして、(e)の処理を次のように変更する。
(e) fw+1番目の高解像度画像〜Ifw+1の各周波数成分から、次式によってbk番目の高解像度画像〜Ibkの各周波数成分を求める。
上の処理(c)で動き補償ができなかった場合、3に進む。補償できた場合は4に進む。
3. 動き補償ができなかった部分は、高周波成分に0を代入する。すなわち
とする。
4. bkに1を加える。
Step 4 ここでbk=fwならば終了する。そうでなければStep 5に進む。
Step 5 (fw番目の高解像度画像の高周波成分に対する動き補償)
1. Step 1で求めた後ろ向きの動きベクトルの候補リストVfw+1,fwの各要素の逆ベクトルからなるリストVfw,fw+1=V- fw+1,fwを用いて、低解像度画像IfwとIfw+1の間でブロックマッチング(式(15))を行い、低解像度画像Ifwの各画素に対して前向きの動きベクトルを割り当てる。今、fw番目の低解像度画像Ifwの点(x、y)に割り当てられた動きベクトルをv(x、y)=(vx、vy)Tとすると、
によってfw番目の高解像度画像〜Ifwの各周波数成分の動き補償を行う。ただし、式(15)の括弧内の値(絶対値差分)がある値τより大きければ、動きベクトルの推定に失敗したとし、2に進む。動きベクトルの推定に成功した場合は4に進む。
2. Ifwを起点として前向きに動きベクトルを追跡し、Ibk-1番目のフレームまでの動きの軌道を推定する。動きベクトルの推定に失敗したIfwの点を(x'、y')とおく。DCTを用いる場合について前述した手順のStep 5の2の(a)から(d)まで同様の処理を行う。そして、(e)の処理を次のように変更する。
(e) fw+1番目の高解像度画像〜Ifw+1の各周波数成分から、次式によってbk番目の高解像度画像〜Ibkの各周波数成分を求める。
上の処理(c)で動き補償ができなかった場合、3に進む。補償できた場合は4に進む。
3. 動き補償ができなかった部分は、高周波成分に0を代入する。すなわち
とする。
4. fwから1を引く。
Step 6 bk=fwになるまでStep 3からStep 5までの処理を繰り返す。
［評価］
ここまでに説明した画像処理システムによる画像生成の実験方法とその結果を、以下に示す。最初に、画像評価の指標であるPSNRの定義を与える。
［PSNRの定義］
画像サイズがM×N、フレーム数がKである2つの映像信号Ik(x、y)と^Ik(x、y)の間の平均二乗誤差(MSE)は次式で定義される。
PSNRは平均二乗誤差を用いて次式のように定義される。単位はデシベル(dB)である。
ここでImaxは信号強度の最大値で、一般的な8ビット信号の場合はImax=255である。なお、ここではカラー動画像の色成分のうち、Y成分(輝度成分)のPSNRを示している。
［実験結果］
複合センサカメラから得られる2種類の動画像をシミュレートするため、MPEGテストシーケンス(30[fps])を用いて高解像度画像生成実験を行った。図１７に示される2種類の動画像の画素の位置関係に基づき、サイズM×Nのテスト画像〜I(x、y)に対して次式に基づいて50%の画像縮小を行い(σ=2)、サイズM/2×N/2の低解像度画像I(x、y)を生成する。
そして、原画像を5[fps]の高解像度画像、縮小した画像を30[fps]の低解像度画像と想定して(R=6)画像生成を行った。すなわち、高解像度画像(原画像)の1番目、7番目、13番目、…のフレームのみと、低解像度画像(縮小した画像)のすべてを使用して高解像度画像を生成した。
本研究の実験に使用したMPEGテストシーケンスを表１に示す。
［高解像度画像の生成］
“Football”の58番目のフレームの生成結果を図２８と図２９に示す。各図において、原画像および低解像度を拡大した画像を共に示してある。同様に、“Foreman”の82番目のフレームの生成結果を図３０と図３１に、“Flower garden”の28番目のフレームの生成結果を図３２と図３３に、“Hall monitor”の196番目のフレームの生成結果を図３４と図３５に示す。
提案する各手法を“Coastguard”に対して適用し、フレームごとのPSNRの変化を測定した。この結果を図３６に示す。ただし、キーフレームは原画像と同一であるため、PSNRが計算できない。このため、図３６において、キーフレームについては生成画像のPSNRの値を描画していない。つまり、線の途切れている部分がキーフレームである。また、2倍拡大した低解像度画像のPSNRも合わせて描画している。同様に、“Flower garden”のPSNRを図３７に、“Football”のPSNRを図３８に、“Foreman”のPSNRを図３９に、“Hall monitor”のPSNRを図４０に、“Mobile”のPSNRを図４１に示す。
各テストシーケンスのPSNR 測定結果を表２に示す。表２には、拡大した低解像度画像のPSNRも併記してある。なお、表に示してあるPSNRは生成したフレームのPSNRの平均値である。
図３６から図４１に共通していることは、生成画像のPSNRのグラフがV字型となっていることである。これは、フレーム間差分を推定する際に、時間的に隣接している生成済みの高解像度画像を用いて画素値を推定しているからである。このため、生成画像が時間的にキーフレームから離れるほど誤差が蓄積し、その結果としてPSNRが低下する。本発明のシミュレーション実験では2種類の動画像のフレームレート比を1:6としたが、この比が大きくなった場合、キーフレーム間に内挿するフレームの画質(またはPSNR)がさらに低下することが予想される。
次に、各手法を比較すると、6種類のテストシーケンスのうち4種類について、整数2/6ウェーブレットを用いた場合のPSNRが最大となった。一方、全てのテストシーケンスについて、拡大した低解像度画像のPSNRは他のどの提案手法よりも悪くなった。よって、提案手法により真の高解像度画像に近い画像が得られたということができる。
実験に使用した3種類のウェーブレットの性能を比較する。まず、Haarウェーブレットを用いた場合の生成画像を見ると、細かいブロックノイズが画像中の一部分に現れている。これは動き推定に失敗したために「高周波成分=0」とおいた部分で発生している。この原因はHaarウェーブレットが不連続で滑らかでないからである。また、Daubechies 4-tapフィルタを用いて生成した画像を、整数2/6ウェーブレットを用いて生成した画像と比較すると、視覚的にはそれほど違いがない。ところが、前者のPSNRの値はいずれのテストシーケンスに対しても、4種類の提案手法の中で最もPSNRが悪くなった。この結果から、Daubechies 4-tapフィルタは本研究で想定している高解像度画像生成の用途には不向きであると言える。
テストシーケンス“Flower garden”と“Football”、“Mobile”ではPSNRの値が25[dB]以下と、他の3つのシーケンスよりも結果が悪かった。結果が悪かったこれら3つのテストシーケンスには、シーン中に占める動領域が大きいという共通点がある。このため、動きベクトルの推定に失敗し、低解像度画像から補間を行った画素が生成画像中に多く含まれていたためにPSNRが下がったことが考えられる。
［スペクトル合成の有効性］
提案手法におけるDCTスペクトル合成の有効性を検証するため、テストシーケンス“Foreman”を用いて、DCTスペクトル合成処理を行わずに画像を生成した。“Foreman”の82番目のフレームの生成結果を図４２に示す。なお、図４２の(a)、(b)は図３０の(e)、(f)と同じである。
スペクトル合成を行わなかった場合、シーケンス全体のPSNRは28.84[dB]となった。これを表２の結果と比較すると、DCTスペクトル合成によって+1.20[dB]のゲインが得られていることになる。したがって、スペクトル合成により、生成画像が真の高解像度画像に近づいているということができる。このため、提案手法によって得られる生成画像の画質は動き推定や動き補償の性能に大きく依存するということがわかる。
［まとめ］
本発明では、高解像度CCDと低解像度CCDをもつ複合センサカメラを考え、このカメラから得られる同一視野の2種類の動画像から、高解像度・高フレームレートの動画像を画像処理によって生成する2種類の方法を提案した。1つはDCTを用いる方法、もう1つはDWTを用いる方法である。今回は3種類のウェーブレット関数を使用した。そして、MPEGテストシーケンスを用いたシミュレーション実験と生成画像の数値的評価を各手法について行い、2種類の画像のサイズ比が2:1、フレームレート比が1:6の場合には、真の高解像度画像に近い画像が提案手法によって得られることを確認した。特に、実験に用いた6種類のテストシーケンスのうち4種類で、整数2/6ウェーブレットを使用した場合にPSNRが最高となった。これらの結果から、提案手法のスペクトル合成が高画質化に寄与していることが明らかになった。
本発明は、画像データ生成、画像圧縮、画像転送等の画像処理に適用可能であり、特に、遠隔からのモニタリング、セキュリティシステム、遠隔会議、遠隔医療、遠隔教育、コンサートやスポーツなどのインタラクティブ放送などに適用可能である。
実施の形態１に係る画像処理システムの構成を示す機能ブロック図である。 複合センサカメラの内部構成を示す図である。 高解像度画像生成処理部で実行される処理の概要を説明するための図である。（ａ）は、高解像度画像生成処理部への入力画像データを説明するための図であり、（ｂ）は、高解像度画像生成処理部からの出力画像データを説明するための図である。 高解像度画像生成処理部で実行される処理の概要を説明する他の図である。 高解像度画像生成処理部で実行される処理のフローチャートである。 高解像度画像生成処理部で実行される処理の具体的なイメージを示した図である。 位相相関法の概要を説明するための図である。 実施の形態２に係る高解像度画像生成処理部で実行される処理のフローチャートである。 実施の形態２に係る高解像度画像生成処理部で実行される処理の具体的なイメージを示した図である。 実施の形態３に係る高解像度画像生成処理部で実行される処理のフローチャートである。 実施の形態３に係る高解像度画像生成処理部で実行される処理の具体的なイメージを示した図である。 ポリゴン分割処理およびモーフィング処理を説明するための図である。 双曲面ミラーを備えた複合センサカメラの構成を示す図である。 ミラーの組み合わせについて説明する図である。 画像処理システムの構成を示す機能ブロック図である。 画像処理システムの構成を示す機能ブロック図である。 ２種類の画像のサンプル点の位置関係を示す図である。 ２種類の画像が得られるタイミング関係を示す図である。 位相相関関数の例を示す図である。 前処理における分割を説明する図である。 ぼかし処理を行った画像ブロックの例を示す図である。 DCTを用いた高解像度画像生成処理の流れを示す図である。 フレーム間差分の推定を説明する図であり、(a)は低解像度画像の後ろ向き推定(ME)を表し、(b)はbk番目の高解像度画像の推定を表し、(c)はfw番目の高解像度画像の推定を表す。 スペクトル合成の重みwhのグラフである。 ２レベルの１次元DWT分解・合成フィルタバンクの構成を示す図である。 ２レベルの１次元RDWT分解・合成フィルタバンクの構成を示す図である。 RDWTを用いた高解像度画像生成処理の流れを示す図である。 “Football”の58番目のフレームの生成結果である。 “Football”の58番目のフレームの他の生成結果である。 “Foreman”の82番目のフレームの生成結果である。 “Foreman”の82番目のフレームの他の生成結果である。 “Flower garden”の28番目のフレームの生成結果である。 “Flower garden”の28番目のフレームの他の生成結果である。 “Hall monitor”の196番目のフレームの生成結果である。 “Hall monitor”の196番目のフレームの他の生成結果である。 “Coastguard”のフレームごとのPSNRを示すグラフである。 “Flower garden”のフレームごとのPSNRを示すグラフである。 “Football”のフレームごとのPSNRを示すグラフである。 “Foreman”のフレームごとのPSNRを示すグラフである。 “Hall monitor”のフレームごとのPSNRを示すグラフである。 “Mobile”のフレームごとのPSNRを示すグラフである。 “Foreman”の82番目のフレームの生成結果である。
符号の説明
２０ 画像処理システム
２２ 複合センサカメラ
２４ 配信サーバ
２６ クライアント装置
２８ 高解像度低フレームレートカメラ
３０ 低解像度高フレームレートカメラ
３８ 高解像度画像生成処理部
４２ 分光素子
４４ レンズ

Claims (26)

  1. フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成装置であって、
    第１のフレームレートおよび第１の解像度を有する第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
    抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
    前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備え、
    前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、
    前記動き情報推定手段は、
    前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
    前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
    前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
    前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
    前記画像データ生成手段は、
    前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
    前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、
    合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
    ことを特徴とする画像生成装置。
  2. 前記周波数変換は直交変換である
    ことを特徴とする請求項１に記載の画像生成装置。
  3. 前記直交変換は離散コサイン変換である
    ことを特徴とする請求項２に記載の画像生成装置。
  4. 前記直交変換はウェーブレット変換である
    ことを特徴とする請求項２に記載の画像生成装置
  5. 前記動き情報抽出手段は、前記第１の画像データ列を入力とし、高速フーリエ変換を利用した位相相関法を用いて動き情報を抽出する
    ことを特徴とする請求項１〜４のいずれか１項に記載の画像生成装置。
  6. フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成装置であって、
    第１のフレームレートおよび第１の解像度を有する第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
    抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
    前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備え、
    前記動き情報抽出手段は、
    前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、
    前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、
    抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
    前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、
    前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせる
    ことを特徴とする画像生成装置。
  7. フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
    前記２つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、
    前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、
    前記配信装置は、
    第１のフレームレートで第１の解像度を有する第１の画像データ列と、前記第１のフレームレート以下の第２のフレームレートで前記第１の解像度以上の第２の解像度を有し前記第１の画像データ列と視野が同一である第２の画像データ列とを生成する撮像システムと、
    前記撮像システムで撮像された前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
    前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第２の画像データ列とを配信する配信手段とを備え、
    前記画像データ列生成装置は、
    配信された前記第１の画像データ列の動き情報に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
    前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備え、
    前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、
    前記動き情報推定手段は、
    前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
    前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
    前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
    前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
    前記画像データ生成手段は、
    前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
    前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、
    合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
    ことを特徴とする画像データ列生成システム。
  8. 前記周波数変換は直交変換である
    ことを特徴とする請求項７に記載の画像データ列生成システム。
  9. 前記直交変換は離散コサイン変換である
    ことを特徴とする請求項８に記載の画像データ列生成システム。
  10. 前記直交変換はウェーブレット変換である
    ことを特徴とする請求項８に記載の画像データ列生成システム。
  11. 前記動き情報抽出手段は、前記第１の画像データ列を入力とし、高速フーリエ変換を利用した位相相関法を用いて動き情報を抽出する
    ことを特徴とする請求項７〜１０のいずれか１項に記載の画像データ列生成システム。
  12. フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
    前記２つの画像データ列のうち一方の画像データ列より得られる動き情報と他方の画像データ列とを配信する配信装置と、
    前記配信装置より配信された前記動き情報および前記他方の画像データ列に基づいて、画像データ列を生成する画像データ列生成装置とを備え、
    前記配信装置は、
    第１のフレームレートで第１の解像度を有する第１の画像データ列と、前記第１のフレームレート以下の第２のフレームレートで前記第１の解像度以上の第２の解像度を有し前記第１の画像データ列と視野が同一である第２の画像データ列とを生成する撮像システムと、
    前記撮像システムで撮像された前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
    前記動き情報抽出手段で抽出された動き情報と、前記撮像システムで撮像された前記第２の画像データ列とを配信する配信手段とを備え、
    前記画像データ列生成装置は、
    配信された前記第１の画像データ列の動き情報に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
    前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段とを備え、
    前記動き情報抽出手段は、
    前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、
    前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、
    抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
    前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、
    前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせる
    ことを特徴とする画像データ列生成システム。
  13. フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
    画像データ列を配信する画像データ列配信装置と、
    前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、
    前記画像データ列配信装置は、
    第１のフレームレートおよび第１の解像度を有する第１の画像データ列を配信する第１の配信手段と、
    前記画像データ列受信装置より、前記第１の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、
    前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
    抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
    前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段と、
    前記第２の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第２の配信手段とを備え、
    前記画像データ列受信装置は、
    前記第１の配信手段より配信される第１の画像データ列を受信する第１の受信手段と、
    ユーザから、前記第１の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、
    前記第２の配信手段より配信される画像データを受信する第２の受信手段とを備え、
    前記動き情報抽出手段は、前記第１の画像データ列を入力とし、位相相関法を用いて動き情報を抽出し、
    前記動き情報推定手段は、
    前記第２の画像データ列に周波数変換を施すことにより、周波数信号成分を抽出する高解像度周波数信号成分抽出手段と、
    前記第１の画像データ列の動き情報、前記第１の画像データ列および前記第２の画像データ列に基づいて、前記第２の画像データ列に含まれる画像と含まれない画像との間の差分画像を生成する差分画像生成手段と、
    前記差分画像に前記周波数変換を施すことにより、周波数信号成分を抽出する差分画像周波数成分抽出手段と、
    前記第２の画像データ列の周波数信号成分と前記差分画像の周波数信号成分とに基づいて、動き補償された前記第２の解像度を有する画像データの周波数信号成分を求める動き補償手段とを備え、
    前記画像データ生成手段は、
    前記第１の画像データ列に前記周波数変換を施すことにより、周波数信号成分を抽出する低解像度周波数信号成分抽出手段と、
    前記動き補償された前記第２の解像度を有する画像データの周波数信号成分と、前記第１の画像データ列の周波数信号成分とを合成する合成手段と、
    合成された周波数信号成分に対して、前記周波数変換の逆変換を施す逆周波数変換手段とを備える
    ことを特徴とする画像データ列生成システム。
  14. 前記周波数変換は直交変換である
    ことを特徴とする請求項１３に記載の画像データ列生成システム。
  15. 前記直交変換は離散コサイン変換である
    ことを特徴とする請求項１４に記載の画像データ列生成システム。
  16. 前記直交変換はウェーブレット変換である
    ことを特徴とする請求項１４に記載の画像データ列生成システム。
  17. 前記動き情報抽出手段は、前記第１の画像データ列を入力とし、高速フーリエ変換を利用した位相相関法を用いて動き情報を抽出する
    ことを特徴とする請求項１３〜１６のいずれか１項に記載の画像データ列生成システム。
  18. フレームレートおよび解像度の異なる同一視野の２つの画像データ列より他の画像データ列を生成する画像データ列生成システムであって、
    画像データ列を配信する画像データ列配信装置と、
    前記画像データ列配信装置より配信された前記画像データ列を受信する画像データ列受信装置とを備え、
    前記画像データ列配信装置は、
    第１のフレームレートおよび第１の解像度を有する第１の画像データ列を配信する第１の配信手段と、
    前記画像データ列受信装置より、前記第１の画像データ列に含まれる画像データ内の領域に関する情報を受信する領域受信手段と、
    前記第１の画像データ列から動き情報を抽出する動き情報抽出手段と、
    抽出された前記第１の画像データ列の動き情報に基づいて、前記第１のフレームレート以下の第２のフレームレートおよび前記第１の解像度以上の第２の解像度を有する第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データの動き情報を推定する動き情報推定手段と、
    前記動き情報推定手段で推定された動き情報および前記第２の画像データ列に基づいて、前記第２の画像データ列には含まれないフレームに対して、前記第２の解像度を有する画像データを生成する画像データ生成手段と、
    前記第２の画像データ列および前記画像データ生成手段で生成された前記画像データのうち、前記領域受信手段で受信された情報で特定される領域部分の画像データを配信する第２の配信手段とを備え、
    前記画像データ列受信装置は、
    前記第１の配信手段より配信される第１の画像データ列を受信する第１の受信手段と、
    ユーザから、前記第１の画像データ列に含まれる画像データ内の領域の指定を受付け、当該領域に関する情報を送信する領域送信手段と、
    前記第２の配信手段より配信される画像データを受信する第２の受信手段とを備え、
    前記動き情報抽出手段は、
    前記第１の画像データ列より、動領域および背景領域を抽出する第１の動領域抽出手段と、
    前記第２の画像データ列より、動領域および背景領域を抽出する第２の動領域抽出手段と、
    抽出された前記第１の画像データの動領域に基づいて、前記第１の画像データ列の動領域に対する平面射影変換行列を推定する平面射影変換行列推定手段とを備え、
    前記動き情報推定手段は、前記第２の画像データ列の動領域に対して、前記平面射影変換行列を用いた演算を施し、前記第２の画像データ列には含まれないフレームの動領域を生成し、
    前記画像データ生成手段は、前記動き情報推定手段で推定された動領域と、前記第２の動領域抽出手段で前記第２の画像データ列より抽出された前記背景領域とを重ねあわせる
    ことを特徴とする画像データ列生成システム。
  19. 画像送信装置と画像受信装置とからなる画像伝送システムであって、
    前記画像送信装置は、
    同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、
    前記動画像取得手段で取得された低解像度画像に基づいて、前記動画像取得手段で取得された高解像度画像のフレーム間差分を生成する差分生成手段と、
    前記動画像取得手段で取得された低解像度画像及び高解像度画像並びに前記差分生成手段で生成されたフレーム間差分に対して周波数変換を施すことにより、それぞれ、低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを生成する変換手段と、
    前記変換手段で得られた低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを前記画像受信装置に送信する送信手段とを備え、
    前記画像受信装置は、
    前記画像送信装置から送られてくる低解像度画像のスペクトル、高解像度画像のスペクトル及びフレーム間差分のスペクトルを受信する受信手段と、
    前記受信手段で受信された高解像度画像のスペクトルとフレーム間差分のスペクトルとを周波数領域で足し合わせることにより、動き補償された高解像度画像のスペクトルを生成する加算手段と、
    前記加算手段で得られた高解像度画像のスペクトルと前記受信手段で受信された低解像度スペクトルとを合成する合成手段と、
    前記合成手段で得られたスペクトルに対して逆周波数変換を施すことにより、高解像度画像を生成する画像生成手段とを備える
    ことを特徴とする画像伝送システム。
  20. 前記差分生成手段は、
    前記低解像度画像の各画素に対して動きベクトルを算出する動き推定部と、
    算出された動きベクトルを用いて前記高解像度画像のフレーム間差分を推定するフレーム間差分推定部とを有する
    ことを特徴とする請求項１９に記載の画像伝送システム。
  21. 前記動き推定部は、位相相関法により、前記低解像度画像の各画素に対して動きベクトルを算出する
    ことを特徴とする請求項２０に記載の画像伝送システム。
  22. 前記変換手段は、前記高解像度画像及び前記フレーム間差分に対して１６×１６ブロックの離散コサイン変換を施し、前記低解像度画像に対して８×８ブロックの離散コサイン変換を施す
    ことを特徴とする請求項１９に記載の画像伝送システム。
  23. 前記合成手段は、前記高解像度画像のスペクトルにおける低周波成分に前記低解像度画像のスペクトルを合成する
    ことを特徴とする請求項１９に記載の画像伝送システム。
  24. 画像送信装置と画像受信装置とからなる画像伝送システムであって、
    前記画像送信装置は、
    同一視野を持つ２つの動画像であって、相対的に低解像度で高フレームレートの動画像である低解像度画像と、相対的に高解像度で低フレームレートの動画像である高解像度画像とを取得する動画像取得手段と、
    前記動画像取得手段で取得された低解像度画像の各画素に対して動きベクトルを算出する動き推定手段と、
    前記動画像取得手段で取得された高解像度画像に対してウェーブレット変換を施すことにより、高解像度画像のスペクトルを生成する変換手段と、
    前記動画像取得手段で取得された低解像度画像、前記動き推定手段で算出された動きベクトル及び前記変換手段で得られた高解像度画像のスペクトルを前記画像受信装置に送信する送信手段とを備え、
    前記画像受信装置は、
    前記画像送信装置から送られてくる低解像度画像、動きベクトル及び高解像度画像のスペクトルを受信する受信手段と、
    前記受信手段で受信された動きベクトルを用いて、前記受信手段で受信された高解像度画像の高周波成分に対して動き補償をする動き補償手段と、
    前記動き補償手段で得られた高周波成分と前記受信手段で受信された低解像度画像とをスペクトル合成する合成手段と、
    前記合成手段で得られたスペクトルに対して逆ウェーブレット変換を施すことにより、高解像度画像を生成する画像生成手段とを備える
    ことを特徴とする画像伝送システム。
  25. 前記動き推定手段は、位相相関法により、前記低解像度画像の各画素に対して動きベクトルを算出する
    ことを特徴とする請求項２４に記載の画像伝送システム。
  26. 前記変換手段は、前記高解像度画像に対して、冗長ウェーブレット変換をレベルαまで繰り返し、
    前記合成手段は、前記合成において、レベルαの低周波成分として、低解像度画像を適用する
    ことを特徴とする請求項２４に記載の画像伝送システム。
JP2005092764A 2004-03-30 2005-03-28 画像生成装置、画像データ列生成システム、及び画像伝送システム Expired - Fee Related JP4453976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005092764A JP4453976B2 (ja) 2004-03-30 2005-03-28 画像生成装置、画像データ列生成システム、及び画像伝送システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004099050 2004-03-30
JP2005092764A JP4453976B2 (ja) 2004-03-30 2005-03-28 画像生成装置、画像データ列生成システム、及び画像伝送システム

Publications (2)

Publication Number Publication Date
JP2005318548A JP2005318548A (ja) 2005-11-10
JP4453976B2 true JP4453976B2 (ja) 2010-04-21

Family

ID=35445445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005092764A Expired - Fee Related JP4453976B2 (ja) 2004-03-30 2005-03-28 画像生成装置、画像データ列生成システム、及び画像伝送システム

Country Status (1)

Country Link
JP (1) JP4453976B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP4743617B2 (ja) * 2006-04-14 2011-08-10 Ｋｄｄｉ株式会社 特徴点抽出装置
JP5055571B2 (ja) * 2006-09-14 2012-10-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
EP2059027A4 (en) * 2006-09-14 2012-08-08 Nikon Corp IMAGE PROCESSING DEVICE, ELECTRONIC CAMERA, AND IMAGE PROCESSING PROGRAM
CN101485193B (zh) 2006-10-19 2012-04-18 松下电器产业株式会社 图像生成装置以及图像生成方法
WO2008053765A1 (ja) * 2006-10-30 2008-05-08 Panasonic Corporation 画像生成装置および画像生成方法
US8149283B2 (en) 2007-01-23 2012-04-03 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US7903156B2 (en) 2007-07-17 2011-03-08 Panasonic Corporation Image processing device, image processing method, computer program, recording medium storing the computer program, frame-to-frame motion computing method, and image processing method
US7973827B2 (en) 2007-08-03 2011-07-05 Panasonic Corporation Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution
WO2009019824A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
WO2009019823A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
JP4551486B2 (ja) * 2007-12-04 2010-09-29 パナソニック株式会社 画像生成装置
US7868925B2 (en) 2008-01-09 2011-01-11 Panasonic Corporation Device, method, and program for generating high-resolution image data at a low data transfer rate
JP4998829B2 (ja) * 2008-03-11 2012-08-15 日本電気株式会社 動画符号復号装置および動画符号復号方法
EP2312858B1 (en) * 2008-06-18 2012-09-26 Panasonic Corporation Image processing apparatus, imaging apparatus, image processing method, and program
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4513905B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP2010056953A (ja) * 2008-08-28 2010-03-11 Sony Corp 撮像装置、画像処理装置及び撮像システム
KR101498124B1 (ko) * 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
JP5132542B2 (ja) * 2008-12-26 2013-01-30 キヤノン株式会社 画像処理装置及び画像処理方法、並びに、コンピュータプログラムおよび記憶媒体
JP5284195B2 (ja) * 2009-06-19 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
GB0911331D0 (en) * 2009-06-30 2009-08-12 Univ Aston Characterising properties or behaviour of biological cells
JP5197801B2 (ja) 2010-08-30 2013-05-15 キヤノン株式会社 動画再生システム及び撮影装置
JP5144739B2 (ja) * 2010-12-15 2013-02-13 アクティブ オプティクス ピーティーワイ リミテッド 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ
JP5906028B2 (ja) * 2011-06-22 2016-04-20 キヤノン株式会社 画像処理装置、画像処理方法
JP5654956B2 (ja) * 2011-07-14 2015-01-14 日本放送協会 視差画像生成装置および視差画像生成プログラム
JP5170296B2 (ja) * 2011-09-27 2013-03-27 ソニー株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
US10664687B2 (en) * 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
WO2016151734A1 (ja) * 2015-03-23 2016-09-29 日立マクセル株式会社 撮像装置、画像処理装置、およびデジタルカメラ
CN107197166A (zh) * 2017-08-01 2017-09-22 哈尔滨市舍科技有限公司 一种双分辨率一体式全景摄像装置及方法
US10462361B2 (en) * 2017-09-26 2019-10-29 Rosemount Aerospace Inc. Seeker with dynamic resolution imaging
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102221317B1 (ko) * 2019-12-06 2021-03-02 중앙대학교 산학협력단 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법
CN112954251B (zh) * 2019-12-10 2023-03-21 RealMe重庆移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
JP6961888B1 (ja) * 2020-06-30 2021-11-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 装置、撮像装置、移動体、プログラム及び方法

Also Published As

Publication number Publication date
JP2005318548A (ja) 2005-11-10

Similar Documents

Publication Publication Date Title
JP4453976B2 (ja) 画像生成装置、画像データ列生成システム、及び画像伝送システム
EP1583357A2 (en) Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US5943445A (en) Dynamic sprites for encoding video data
EP2668634B1 (en) Method and system for acquisition, representation, compression, and transmission of three-dimensional data
JPH09284798A (ja) 信号処理装置
WO2019124248A1 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
Narayanan et al. Multiframe adaptive Wiener filter super-resolution with JPEG2000-compressed images
US7679676B2 (en) Spatial signal conversion
JP5747378B2 (ja) 画像転送システム、画像転送方法、画像受信装置、画像送信装置、及び、画像撮像装置
JP3759538B2 (ja) 画像信号処理方法及び画像信号伝送装置
Watanabe et al. Video synthesis with high spatio-temporal resolution using motion compensation and image fusion in wavelet domain
JP4734239B2 (ja) 空間的信号変換
JP4069468B2 (ja) 映像形成装置
Usama et al. A complexity and quality evaluation of block based motion estimation algorithms
Quevedo et al. Approach to super-resolution through the concept of multicamera imaging
JP4571370B2 (ja) 動画像合成方法および装置並びにプログラム並びにデジタルカメラ
Matsuo et al. Super-resolution method by registration of multi-scale components considering color sampling pattern and frequency spectrum power of UHDTV camera
Candotti et al. Pyramidal multiresolution source coding for progressive sequences
JP5940812B2 (ja) 多視点画像処理装置、方法及びプログラム
Kwon et al. A Center-to-Edge Progression for Equirectangular Projected 360° JPEG Images
Hua A Bandwidth-Efficient Stereo Video Streaming System
JP2004152148A (ja) 動画像合成方法および装置並びにプログラム
Ni et al. Example based super-resolution algorithm of video in contourlet domain
Narayanan et al. Multiframe super resolution with JPEG2000 compressed images
JPH08161505A (ja) 動画像処理装置、動画像符号化装置および動画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees