WO2007122911A1 - 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム - Google Patents

Abstract

【課題】低解像動画を高解像動画に変換するシステムにおいて、時間的に連続したフレーム画像を用いて、各フレームの高解像画像を生成する処理をリアルタイムで実行することは困難である。 【解決手段】画像処理システムは、変換パラメータ算出手段１０１と、初期画像生成手段１０２と、高解像画像生成手段１０３と、入力画像・変換パラメータ記憶手段１１０とを備え、現フレームの前フレームに対する変換パラメータにもとづいて、前フレームにおいて生成された高解像画像を現フレームに合わせて変換し、変換された画像を初期値として現フレームの高解像画像生成処理を行う。

Description

画像処理装置、画像処理システム、画像処理方法および画像処理用プロ グラム

技術分野

[0001] 本発明は、画像処理装置、画像処理システム、画像処理方法および画像処理用プ ログラムに関し、特に動画像を高画質化できる画像処理装置、画像処理システム、画 像処理方法および画像処理用プログラムに関する。

背景技術

[0002] 従来の画像高画質化方法の一例が、非特許文献 1に記載されて！ヽる。その画像高 画質化方法は、同じ被写体を撮影した、サブピクセル単位の位置ずれをもつ複数枚 の入力画像から、被写体に関するより解像度の高 、画像を復元するものである。

[0003] N枚の入力画像 gn (0≤n≤N— 1)が存在するとする。非特許文献 1に記載された 方法では、各入力画像 gnは、次式で表される撮像過程を経て撮像されたものと考え る。

[0004] gn (x, y) = s i (h (u, v) * f^_ (Tn (x, y) ) ) + r? n (x, y) · ' · (1)

[0005] ここで、 f一は被写体の高解像度画像、 Tnは n番目の入力画像に対する幾何変換 、 hは画像上の任意の座標 (X, y)に対して不変かつ線型な点広がり関数、 s Iは画 像をダウンサンプリングする演算子、 r? nは平均 0の正規分布で表されるノイズである 。上式を行列演算形式で表すと、（2)式のようになる。

[0006] [数 1]

Or - M f + η ( 2 )

[0007] (2)式における f—は、画素値 f— (X, y)を辞書式順序（lexicographic order )に配 列したものである。（2)式における gn, r? nについても同様である。また、（2)式にお ける Mnは、（1)式における Tn, h, s丄の各線型変換を一つの行列に統合したもの である。

全ての入力画像の撮像過程を一本の式にまとめると、 (3)式が得られる。 [0008] [数 2]

または (3 )

g = M f + Ji

[0009] このとき、高解像度画像の最大事後確率推定 f mapは (4)式で表される _c

[0010] [数 3]

[0011] ただし、 favgは、各入力画像を位置合わせしたもの同士の平均画像である。

一般に、本問題を解くには共役勾配法などの数値計算手法が用いられる。すなわ ち、ある初期値力も始まって、反復計算により解を最適解に収束させていくことで解を 得る。

[0012] 特許文献 1 : D. し apel著「Image Mosaicing and Super— Resolution 、 springer V erlag、 2004年 1月、 pp. 86— 147

発明の開示

発明が解決しょうとする課題

[0013] 上記の方法は複数枚の低解像画像を入力とし、高解像静止画を出力として生成す るものであるが、低解像動画を入力として、高解像動画を出力するシステムにも応用 可能である。そのようなシステムに応用する場合、低解像動画の各フレームについて 、そのフレームの時間的近傍に位置する連続フレームを入力とし、上記の処理によつ て同フレームの高解像静止画を生成する。各フレームに対する生成画像を連続的に 再生することによって、高解像動画を生成することができる。

[0014] しかし、上記の方法を用いて、リアルタイムに高解像動画を生成するのは困難であ る。その理由は、上記の方法では、反復計算によって高解像画像の生成を行ってい るので、各フレームの高解像度化に要する処理量が大きいためである。一般に、 NT scビデオ信号のリアルタイム処理には、専用ハードウェアなどが不可欠になる。

[0015] そこで、本発明は、リアルタイムでの動画像の高解像度化ができる画像処理装置、 画像処理システム、画像処理方法および画像処理用プログラムを提供することを目 的とする。

課題を解決するための手段

[0016] 本発明による画像処理装置および画像処理システムは、変換パラメータ算出手段 と、初期画像生成手段と、高解像画像生成手段と、入力画像，変換パラメータ記憶手 段とを備え、現フレームの前フレームに対する変換パラメータにもとづいて、前フレー ムにおいて生成された高解像画像を現フレームに合わせて変換し、変換された高解 像画像を初期値として現フレームの高解像画像生成処理を行うことによって、本発明 の目的を達成することができる。

発明の効果

[0017] 本発明によれば、高解像画像生成処理における反復計算の回数を削減できること にある。その理由は、生成したい現フレームの高解像画像と類似していると考えられ る前フレームの高解像画像を、現フレームにおける高解像画像生成処理の初期値と して利用するため、最適解に近い初期値力 反復計算を開始できるためである。よつ て、各フレームの高解像度化に要する処理量が少なくなり、専用ハードウ アなどを 用意することなぐリアルタイムでの動画像の高解像度化を実現できる。

発明を実施するための最良の形態

[0018] 次に、本発明を実施するための最良の形態について図面を参照して説明する。

(実施形態 1)

[0019] 図 1において、本発明による画像処理装置の第 1の実施の形態は、プログラム制御 により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置） 100と、入 力画像'変換パラメータ記憶手段 110とから構成されている。

[0020] コンピュータ（中央処理装置；プロセッサ；データ処理装置） 100は、変換パラメータ 算出手段 101と、初期画像生成手段 102と、高解像画像生成手段 103とを含む。

[0021] 変換パラメータ算出手段 101は、現フレームの前フレームに対する幾何的な変形 を表す変換パラメータを算出する。入力画像 ·変換パラメータ記憶手段 110は、現フ レーム画像と変換パラメータ算出手段 101が算出した変換パラメータとを記憶する。 初期画像生成手段 102は、変換パラメータを用いて、前フレームにおいて生成され た高解像画像を、現フレームと幾何的に一致した画像に変形させる。

[0022] 高解像画像生成手段 103は、初期画像生成手段 102で生成された変形画像を初 期値として、入力画像'変換パラメータ記憶手段 110に保存されている、現フレーム の時間的近傍に位置する連続フレームおよびその変換パラメータを用いて、例えば 非特許文献 1に開示された方法によって、現フレームの高解像画像を生成する。生 成された高解像画像は、初期画像生成手段 102に渡され、次フレームの高解像画 像生成に用いられる。

[0023] 次に、図 1および図 2のフローチャートを参照して本実施の形態の全体の動作につ いて詳細に説明する。

[0024] まず、コンピュータ 100に現フレーム画像が入力される（ステップ Al)。次に、現フレ ーム画像の、前フレーム画像に対する変形を表す変換パラメータが変換パラメータ 算出手段 101において算出される (ステップ A2)。続いて、現フレームの入力画像と 、変換パラメータ算出手段 101が算出した変換パラメータとが、入力画像 ·変換パラメ ータ記憶手段 110に保存される。

[0025] ここで、入力画像'変換パラメータ記憶手段 110の記憶容量は有限であるため、一 定フレーム以上過去の入力画像およびその変換パラメータを、記憶領域力も削除す る（ステップ A3)。

[0026] 次に、初期画像生成手段 102では、前フレームにおいて高解像画像生成手段 103 により生成された高解像画像を、前記変換パラメータ算出手段 101により算出された 現フレームに対する変換パラメータを用いて変形させることにより、現フレームと幾何 的に一致した高解像画像を生成する (ステップ A4)。ここで、幾何的に一致していると は、被写体の高解像画像中での位置や大きさ、姿勢が、現フレーム中のそれらと一 致している状態を指す。

[0027] 高解像画像生成手段 103は、入力画像'変換パラメータ記憶手段 110に保存され ている、現フレームの時間的近傍に位置する連続フレームおよびそれらの変換パラメ ータを読み込む (ステップ A5)。ここで、読み込むフレーム数は、次の高画質画像生 成処理に必要とされる画像の枚数 (例えば、 10枚)であり、あらカゝじめユーザによって 設定されているとする。

[0028] 続いて、高解像画像生成手段 103は、ステップ A5において読み込まれた入力画 像 (連続フレーム)および変換パラメータを用いて、初期画像生成手段 102で生成さ れた画像を初期値として高解像画像生成処理を行 ヽ、生成された画像を出力する（ ステップ A6)。最後に、ステップ A6で生成された高解像画像を、初期画像生成手段 102に渡す (ステップ A7)。

[0029] 本実施の形態によれば、画像処理装置が、生成した!/ヽ現フレームの高解像画像と 類似していると考えられる前フレームの高解像画像を、現フレームと幾何的に一致し て 、る画像に変形し、変形した画像を現フレームにおける高解像画像生成処理の初 期値として利用するので、最適解に近い初期値力 反復計算を開始することが可能 になり、各フレームにおける反復計算の回数の削減、すなわち処理の高速ィ匕ができ る。

(実施形態 2)

[0030] 次に、本発明を実施するための他の最良の形態について図面を参照して説明する

[0031] 図 3を参照すると、本発明による画像処理装置の第 2の実施の形態は、画像処理プ ログラムを記録した記録媒体 310を備えている。記録媒体 310は、例えば、磁気ディ スク、半導体メモリ、磁気テープ、 CD (compact disk) -ROM, DVD (digital versat ile

disk)であるが、その他の記録媒体であってもよ！、。

[0032] 画像処理プログラムは、記録媒体 310から画像処理手段 300に読み込まれる。また は、サーバ（図示せず)等力 通信媒体を介してダウンロードして画像処理手段 300 に読み込まれる。画像処理プログラムが画像処理手段 300の主記憶にロードされて 実行されることによって、画像処理手段 300の動作が制御され、本発明による画像処 理方法を実施することができる。

[0033] 画像処理プログラムは、第 1の実施の形態における変換パラメータ算出手段 101、 初期画像生成手段 102、高解像画像生成手段 103、および入力画像 ·変換パラメ一 タ記憶手段 110の機能を画像処理手段 300が実行するためのプログラムである。本 実施の形態では、画像処理手段 300に含まれるメモリが、第 1の実施の形態における 入力画像'変換パラメータ記憶手段 110として機能する。

実施例

[0034] 次に、本発明による画像処理システムの具体的な実施例を、図 4および図 5を参照 して説明する。本実施例は本発明の第 1の実施の形態に対応する。

[0035] 本実施例の画像処理システムは、図 4に示すように、映像信号を出力する映像再 生装置 404と、画像処理装置 400と、ディスプレイ 405とを備えている。映像再生装 置 404は、例えば、ハードディスクレコーダなどの、録画済みの映像を再生する機能 を備えた装置であり、コンポジット端子や S端子を介して画像処理装置 400と接続さ れている。ディスプレイ 405の一例として、プラズマディスプレイや液晶テレビジョン受 像機における表示装置などが挙げられる。画像処理装置 400とは、 D端子や HMDI 端子を介して接続される。

[0036] 画像処理装置 400は、プログラム制御により動作するコンピュータ（中央処理装置； プロセッサ;データ処理装置)であり、変換パラメータ算出手段 401と、初期画像生成 手段 402と、高解像画像生成手段 403と、入力画像 ·変換パラメータ記憶手段 410と を含む。

[0037] 変換パラメータ算出手段 401は、図 5に示す前フレーム画像 500に対する現フレー ム画像 501の幾何的な変形を表す変換パラメータを算出する。具体的には、現フレ ーム画像 501上の各点について、前フレーム画像 500中で輝度値の分布が類似す る箇所 (対応点）を求め、それらがすべて重ね合わさるような変形を表す変換パラメ一 タを求める。

[0038] 一般に、変換パラメータとして、その簡単さから、被写体を平面と仮定した (5)式で 表されるモデルが多く用いられる。ここで、（ul, vl, 1)、 (u2, v2, 1)はそれぞれ対 応点の同次座標、 a, b, c, d, e, f, g, h,は画像変換パラメータ、 tは任意の定数で ある。

[0039] [数 4]

[0040] または、より簡易的に、

g = h=0, a = e = cos θ , — b = d = sin θ

等の制約条件を与える。

[0041] 入力画像'変換パラメータ記憶手段 410は、現フレーム画像 501と変換パラメータ 算出手段が算出した変換パラメータを記憶する。初期画像生成手段 402は、変換パ ラメータを用いて、前フレームにおいて生成された高解像画像 502を、現フレームと 幾何的に一致した画像 (変形画像) 503に変形する。

[0042] 高解像画像生成手段 403は、初期画像生成手段 402で生成された変形画像 503 を初期値として、入力画像 ·変換パラメータ記憶手段 410に保存されている、現フレ ームの時間的近傍に位置する連続フレームおよびその変換パラメータを用いて、例 えば非特許文献 1に開示された方法によって、現フレームの高解像画像 504を生成 する。

[0043] 生成された高解像画像 504は、ディスプレイ 405〖こ出力される。また、初期画像生 成手段 502に渡され、次フレームの高解像画像生成に用いられる。以上の処理を、 各フレームに対して行うことによって、高解像の動画の出力を行うことができる。

[0044] なお、本実施例では、画像処理装置 400が出力する映像信号を入力する機器とし てディスプレイ 405を例示したが、映像信号を入力する機器として、映像信号を保存 する記憶装置など種々の機器を用いることができる。

産業上の利用可能性

[0045] 本発明によれば、例えば NTSC方式のビデオカメラで撮影された動画像を録画す る際に、ハイビジョンの画質および解像度と同等の画質および同等の解像度にリアル タイムに変換しながら保存するといつた用途に適用できる。また、 NTSC方式で録画 されたビデオ信号を再生機で再生する際に、ハイビジョンの画質および解像度と同 等の画質および同等の解像度にリアルタイムに変換しながら表示機器に出力すると いった用途にも適用可能である。また、ハイビジョン対応のテレビジョン受像機で NT SC方式の映像を受信、表示する際に、ノ、イビジョンの画質および解像度と同等の画 質および同等の解像度にリアルタイムに変換しながら表示するといつた用途にも適用 可能である。

図面の簡単な説明

[0046] [図 1]本発明による画像処理装置の第 1の実施の形態の構成を示すブロック図である

[図 2]第 1の実施の形態の画像処理装置の動作を示す流れ図である。

[図 3]本発明による画像処理装置の第 2の実施の形態の構成を示すブロック図である

[図 4]本発明による画像処理システムの実施例の構成を示すブロック図である。

[図 5]実施例の動作を示す説明図である。

符号の説明

[0047] 100 コンピュータ（中央処理装置；プロセッサ；データ処理装置)

101 変換パラメータ算出手段

102 初期画像生成手段

103 高解像画像生成手段

110 入力画像 ·変換パラメータ記憶手段

300 画像処理手段

310 記録媒体

400 画像処理装置

401 変換パラメータ算出手段

402 初期画像生成手段

403 高解像画像生成手段

404 画像再生装置

405 ディスプレイ

410 入力画像 ·変換パラメータ記憶手段

500 前フレームにおける入力画像 501 現フレームにおける入力画像

502 前フレームに対する高解像画像

503 前フレームに対する高解像画像の変形画像

504 現フレームに対する高解像画像

Claims

請求の範囲

[1] 入力画像データのうち現フレームの前フレームに対する幾何的な変形を表す変換 パラメータを算出する変換パラメータ算出手段と、

前記算出された変換パラメータを用いて、前フレームにおいて生成された高解像画 像を現フレームと幾何的に一致した画像に変形させる初期画像生成手段と、 前記初期画像生成手段で生成された変形画像を初期値とし、前記入力画像およ び前記変換パラメータを用いて、現フレームの高解像画像を生成する高解像画像生 成手段と

を有することを特徴とする画像処理装置。

[2] 前記高解像画像生成手段は、前記入力画像として、現フレームの時間的近傍に位 置する連続フレームの画像を用いる、請求項 1に記載の画像処理装置。

[3] 前記高解像画像生成手段は、生成された高解像画像データを、次フレームの高解 像画像生成に用いるために前記初期画像手段に出力する、請求項 1に記載の画像 処理装置。

[4] 前記初期画像生成手段は、前フレームにおいて前記高解像画像生成手段により 生成された高解像画像を、変換パラメータ算出手段で算出された現フレームに対す る変換パラメータを用いて変形させることにより、現フレームと幾何的に一致した高解 像画像を生成する、請求項 3に記載の画像処理装置。

[5] 前記初期画像生成手段は、現フレームと幾何的に一致した高解像画像として、被 写体の高解像画像中での位置や大きさ、姿勢が、現フレーム中のそれらと一致して Vヽる状態の画像を生成する、請求項 4に記載の画像処理装置。

[6] 画像処理装置を構成するコンピュータに、

入力された映像に対して、現フレームの前フレームに対する幾何的な変形を表す 変換パラメータを算出する機能と、

前フレームにおいて生成された高解像画像を、現フレームと幾何的に一致した画 像に変形する機能と、

生成された変形画像を初期値とし、前記記憶する処理で記憶された入力画像およ び変換パラメータを用いて、現フレームの高解像画像を生成する機能と、 を実行させるための画像処理用プログラム。

入力された画像に対して、現フレームの前フレームに対する幾何的な変形を表す 変換パラメータを算出し、

前フレームにおいて生成された高解像画像を、現フレームと幾何的に一致した画 像に変形し、

生成された変形画像を初期値とし、記憶されて ヽる入力画像および変換パラメータ を用いて、現フレームの高解像画像を生成する、

ことを特徴とする画像処理方法。