JP5113479B2 - 画像信号処理装置及び画像信号処理方法 - Google Patents

画像信号処理装置及び画像信号処理方法 Download PDF

Info

Publication number
JP5113479B2
JP5113479B2 JP2007268044A JP2007268044A JP5113479B2 JP 5113479 B2 JP5113479 B2 JP 5113479B2 JP 2007268044 A JP2007268044 A JP 2007268044A JP 2007268044 A JP2007268044 A JP 2007268044A JP 5113479 B2 JP5113479 B2 JP 5113479B2
Authority
JP
Japan
Prior art keywords
image
resolution
unit
image signal
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007268044A
Other languages
English (en)
Other versions
JP2009100112A (ja
Inventor
浩朗 伊藤
昌広 影山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007268044A priority Critical patent/JP5113479B2/ja
Publication of JP2009100112A publication Critical patent/JP2009100112A/ja
Application granted granted Critical
Publication of JP5113479B2 publication Critical patent/JP5113479B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像信号を高解像度化する画像信号処理装置及び画像信号処理方法に係り、特に符号化された画像信号を復号化し、復号化された画像を高解像度化する際に好適な画像処理技術に関する。
最近のテレビ受像機は大画面化が進んでおり、例えば横1920画素、縦1080画素の高精細画像を表示可能となっている。一方、放送や通信、蓄積媒体などにおける画像では、例えば横720画素、縦480画素といった従来の標準方式に基づく画像信号が扱われている。そこで、これらの入力画像信号をそのまま大画面に表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示する技術が要求されている。高解像度化技術としては、次のような提案がなされている。
例えば特許文献1には、入力された複数の画像フレーム(以下、単にフレームとも呼ぶ)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術が開示されている。その際、標本化位置の異なる複数組のデータを用いて、標本化によって生じた折り返し成分を打ち消し、画像信号の高周波成分を復元することが記載されている。なお、特許文献1に記載される高解像度化処理は「超解像処理」とも呼ばれており(例えば非特許文献1参照)、本明細書では他の技術と区別するために「超解像処理」と呼ぶことにする。
また特許文献2には、基準フレームの画素と目標フレームの画素に基づいて基準フレームへの追加画素の値を決定して、基準フレームの高解像度化を実現する技術が開示されている。特にMPEG方式に基づいて符号化された画像において、MPEGビットストリーム内に存在する動作ベクトル情報を用いて、基準フレームに対応する目標フレーム内の画素を検出することが記載されている。
特開平8−336046号公報 特表2002−531018号公報 青木伸:複数のデジタル画像データによる超解像処理、Ricoh Technical Report、pp.19−25、No.24、November、1998
上記特許文献1の超解像処理では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)の位置推定では、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定する。(2)の広帯域補間では、各画像データを折り返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化する。(3)の加重和では、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折り返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
この超解像処理では、(1)の位置推定において複数の画像フレームについて各画素の位相差、即ちフレーム間の位相差(動き)を求めるために、多くの演算が必要となる。この点に関し、上記特許文献2に記載のMPEGビットストリーム内に存在する動作ベクトル情報を用いれば、フレーム間での対応する画素を検出する演算量を軽減することができる。しかし特許文献2では、高解像度化のための追加画素の値を双線補間法により求めており、超解像処理の(2)(3)の処理とは原理的に異なるものである。
また、特許文献1の超解像処理において、レーム間の位相差を求めた結果フレーム間の位相差がゼロの場合には高解像度化ができないという問題がある。以下、この問題について詳細に説明する。
図7は、超解像処理の概要を示したものである。図7(a)に示すように、異なる時間軸上のフレーム#1(符号701)、フレーム#2(符号702)、フレーム#3(符号703)が入力され、これらを合成して出力フレーム706を得ることを想定する。簡単のため、被写体が矢印704で示す水平方向に移動した場合に、水平線705上の1次元の信号処理によって高解像度化することを考える。
図7(b)はフレーム#2の信号波形で、画素708でサンプリングされた値を示す。図7(d)は、フレーム#1の信号波形で、フレーム#2とフレーム#1では、被写体の移動量(矢印704)に相当する信号波形の位置ずれが生じる。超解像処理では、上記(1)の位置推定によってこの位置ずれ量を求め、両者の位相ずれがなくなるようにフレーム#2に対し動き補償707を行い、図7(c)に示す動き補償後のフレーム#2’を得る。
そして、フレーム#1の画素のサンプリング位相709とフレーム#2’の画素のサンプリング位相710との位相差θ(符号711)を求める。なお、同一フレーム内で隣接する画素間の位相差θは2π(=1/fs)(fsはサンプリング周波数)である。この位相差θに基づき、上記(2)の広帯域補間および(3)の加重和を求める処理を行う。その結果、図7(e)に示すように、元の画素708の丁度中間(位相差θ=π)の位置に新規画素712を生成することにより、高解像画像を合成するものである。
ここで位相差θがゼロである場合には、フレーム#1とフレーム#2’の被写体に対するサンプリング位置が同一であることから、新規画素712を生成することができない。すなわち、超解像処理による高解像度化は不可能となる。このような状況は、被写体が静止している場合だけでなく、動きがあってもフレーム間での移動量が画素間の間隔あるいはその整数倍に等しいときに位相差θがゼロになる。
本発明は、画像フレーム間のサンプリング位相差がゼロとなる場合でも高解像度化を実現し、またそのための演算量を削減することを目的とする。
本発明の画像信号処理装置は、符号化された符号化画像データを復号化する画像復号化部と、画像復号化部より出力される各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第1の解像度変換部と、画像復号化部より出力される各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第2の解像度変換部と、第1の解像度変換部からの画像フレームと第2の解像度変換部からの画像フレームのいずれか一方を選択して出力する切替部とを備え、切替部は、符号化画像データ内に含まれる動き情報と残差情報を用いて出力する画像フレームを選択する。
ここに前記切替部は、動き情報が小数精度の情報を含み、あるいは残差情報が0でない時には前記第1の解像度変換部からの画像フレームを選択し、動き情報が全て整数精度の情報で、かつ残差情報が0の時には前記第2の解像度変換部からの画像フレームを選択する。また前記第1の解像度変換部では、符号化画像データ内に含まれる動き情報に基づいて、隣接する複数の画像フレームの対応する画素を探索する。
本発明の画像信号処理方法は、符号化された符号化画像データを復号化するステップと、符号化画像データ内に含まれる動き情報と残差情報を抽出するステップと、復号化された各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第1のステップと、復号化された各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第2のステップと、動き情報と残差情報を用いて、第1のステップまたは第2のステップにより高解像度化した画像フレームを選択して出力するステップとを備える。
本発明によれば、画像フレーム間のサンプリング位相差の有無に影響されず、安定して画像の高解像度化を実現できる。また高解像度化のための演算量を削減できる。
以下、本発明の各実施形態を説明する。
図1は、本発明の画像信号処理装置の一実施例を示す構成ブロック図である。
画像信号処理装置100は、入力部101、画像復号化部102、第1の解像度変換部103、第2の解像度変換部104、バッファ部105、切替部106、出力部106を備える。上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
入力部101に入力される画像データ150は符号化された符号化画像データである。画像復号化部102は、上記符号化画像データを復号化して復号画像151を生成する。バッファ部105は復号画像151を格納する。第1の解像度変換部103は、画像復号化部102より抽出した動き情報153に基づいてバッファ部105より参照画像152を読み出し、該参照画像を用いて復号画像151の高解像度化処理を行う。この高解像度化処理は、複数の画像フレームを合成して画素数を増やし1枚の高解像フレームを作成する「超解像処理」である。一方第2の解像度変換部104は、画像復号化部102より出力される復号画像151を同一フレーム内の画像を用いて高解像度化処理を行う。この高解像度化処理は、同一フレーム内で内挿処理といった画素補間により画素数を増やす高解像度化処理である。
切替部106は、画像復号化部102より抽出した動き情報153および残差情報154に基づいて、第1の解像度変換部103からの出力と第2の解像度変換部104からの出力のいずれか一方を選択する。すなわち、動き情報153が小数精度の情報を含み、あるいは残差情報154が0でない時には第1の解像度変換部103を選択する。動き情報153が全て整数精度の情報で、かつ残差情報154が0の時には第2の解像度変換部104を選択する。出力部107は、切替部106にて選択された画像を出力画像155として出力する。
以下、画像信号処理装置100の各部の動作を詳細に説明する。本実施例の画像信号処理装置100は、符号化画像データ150を入力し、動き情報153および残差情報154を利用するものである。よって、まず符号化画像データ150から説明する。
図2は、符号化画像データを生成する画像符号化装置200の構成例を示すブロック図である。入力画像250はブロック分割部209によってブロックに分割される。分割された入力画像ブロック251は、減算器200において、後述の動き探索部208より出力される予測画像ブロック255との減算処理が行われ、これにより入力画像ブロックの値と予測画像ブロックの値の差分情報(差分画像信号)252が生成される。DCT部201は、減算器200から出力される差分画像信号252を画像ブロック毎に離散コサイン変換(DCT変換:Discrete Cosine Transform)して量子化部202に出力する。量子化部202は、入力されたDCT変換データを量子化する。量子化部202で生成された量子化データ253は、可変長符号化部203に入力される。可変長符号化部203は、入力データを可変長符号化し伝送回線に合わせて符号化画像データ150を出力する。
一方、量子化部202によって生成された量子化データ253は、逆量子化部204にて逆量子化される。逆量子化された画像ブロックデータは、逆DCT部205にて逆DCT変換され、差分ブロックとして復元される。加算器206は、復元された差分ブロックと動き探索部208からの予測画像ブロック255を加算して、局部復号画像を生成しフレームメモリ207に格納する。フレームメモリ207に格納された局部復号画像は、次に入力される画像信号を符号化する際に参照画像256として読み出される。動き探索部208は、フレームメモリ207から読み出した参照画像256に対して動き探索を行い、入力画像251との差が最小となる予測画像を求め、これを予測画像ブロック255として減算器210に出力する。同時に動き探索部208は、上記予測画像を求めた時の動き情報254を可変長符号化部203に出力する。可変長符号化部203は、量子化部202から出力される量子化データ253とともに上記動き情報254を可変長符号化して出力する。
このように、画像符号化装置200から出力される符号化画像データ150には、画像フレーム間の差分情報252とともに動き情報254が含まれている。さらにこの差分情報と動き情報を、どのように生成するかを説明する。
図4は、図2のブロック分割部209の行うブロック分割の例を示したものである。符号400は入力画像フレームを示し、この例では、入力画像400を、横方向bx画素、縦方向by画素を単位とした小ブロック401に分割した場合である。よって、図2の画像符号化装置では上記の小ブロック401を単位として処理を行う。
図5は、図2の動き探索部208の行う動き探索動作の例を示したものである。図2の入力画像250としてNフレーム目の画像500が入力し、これを符号化対象フレームとする。また(N−1)フレーム目の画像501は、画像500よりも時間的に先行する(1つ前の)フレームであり、既に符号化が終了して図2のフレームメモリ207に蓄積されている。画像500が小ブロックに分割され、その中のブロック502を図2の入力画像ブロック251として処理する場合を述べる。動き探索部208は、フレームメモリから読み出した参照画像(先行する画像501)の中で、ブロック502と比較して画像が最も類似している領域を探索する。探索の結果、この例では画像501中のブロック503が類似領域として選択されたことを示し、選択されたブロック503からブロック502への位置ずれ量を矢印504で示し、これを動きベクトル(動き情報)と呼ぶ。動き探索部208は、選択したブロック503を予測画像ブロックとして出力する。図2の減算器210は、入力画像であるブロック502と動き探索部208からの予測画像ブロック503とを比較し、その差分画像信号252を計算する。図2において、以降のDCT部201と量子化部202等では上記の差分画像信号252に対して処理を行い、最終的にはこの差分情報が符号化画像データ150として出力される。
図6は、動き探索処理において特に小数精度の動き探索処理の動作例を示したものである。小数精度とは、動きベクトルを画素間隔の整数倍よりも高精度に小数画素単位で検出する処理である。(a)は参照画像(図5の画像501)を、(b)は入力画像の単位ブロック(図5の符号化対象ブロック502)を示す。
説明の簡略化のため、(b)に示すように入力画像のブロックサイズを2×2とし、これに含まれる画素値をc00、c01、c10、c11とする。また、(a)に示すように参照画像中の既存の画素値をaij(i=0,2,4、j=0,2,4)とし、入力画像のブロックサイズと同サイズの領域を601,602,603,604と設定する。この時、図5の動き探索処理では、図6(b)の入力画像と図6(a)の各領域との類似度を評価する。(1)式は類似度評価式の一例であり、対応する位置での画素値の差分絶対値の和を算出する。例えば領域601については、次のように算出する。
評価値=|c00−a00|+|c01−a02|+|c10−a20|+|c11−a22
・・・(1)
同様に、領域602、603、604についても評価値を算出する。そして、算出した評価値が最小となる領域を最も類似した領域として決定する。この場合、各領域601〜604を構成する画素は、参照画像中の既存の画素(画素値aij)で構成しているので、入力画像の位置とこれに最も類似した領域の位置とのずれ量は画素間隔の整数倍となる。すなわち、動き探索の精度は、画素間隔を単位として整数精度となる。
これに対し、動き探索の精度を、画素間隔を単位として小数精度で行う方法を説明する。この場合、参照画像内に、元々存在しない画素を補間して生成し、該生成した補間画素を用いて動き探索を行うものである。図6(a)の参照画像において、符号bij(i=0〜4、j=0〜4)が補間画素である。補間画素bijは次の演算で生成する。
例えば、図6における画素a00とa02の水平方向の中間位置(1/2画素の位置)に当たる画素をb01とするとき、画素値b01は(2)式により求める。
01=(a00+a02)/2 ・・・(2)
同様に画素a00とa20の垂直方向の中間位置に当たる補間画素b10についても、(3)式から求める。
10=(a00+a20)/2 ・・・(3)
さらに、水平方向、垂直方向いずれも中間位置となる画素b11は、2つの補間画素b01、b21から、(4)式のように算出する。
11=(b01+b21)/2
=(a00+a02+a20+a22)/4 ・・・(4)
上記した1/2画素位置での補間画素の生成は、水平方向、垂直方向ともに2タップフィルタによって実現可能である。さらにタップ数を増やすことでこれを拡張すれば、さらに高精度の1/4、1/8、1/16精度での補間画素を生成することが可能である。
このようにして生成した補間画素を用いることで、(1)の評価値の算出は小数画素精度で行うことができる。例えば図6(a)の領域605は、1/2精度の補間画素b11、b13、b31、b33で構成した領域であり、その評価値は(5)式で算出する。
評価値=|c00−b11|+|c01−b13|+|c10−b31|+|c11−b33
・・・(5)
このように、小数画素精度での動き探索評価を行うことにより、整数精度での動き予測と比べて更に動き探索時の予測精度を向上することが可能となる。
次に、図5を用いて、図2の動き探索部208から可変長符号化部203に出力する動き情報254について説明する。符号化対象ブロック502の左上端におけるアドレスを(xc,yc)とする。また、前記した評価値算出の結果、参照画像501の中で最も類似度の高い予測画像として選択されたブロック503の左上端におけるアドレスを(xp,yp)とする。上記アドレスは、画面内の左上端を基点(0、0)とした時の水平方向、垂直方向の位置を表す。ここで、動き情報はブロック503の左上端からブロック502の左上端を結ぶベクトル504のことであり、その水平ベクトル成分(mvx)と垂直ベクトル成分(mvy)は、(6)式で求められる。
mvx=xc−xp,
mvy=yc−yp ・・・(6)
そして、図2の動き探索部208は(6)式によって算出したmvx、mvyを示す動き情報254を可変長符号化部203に出力する。
以上のように、画像符号化装置200では、符号化が終了した画像を復号化して参照画像とし、次に符号化する入力画像と参照画像との差分情報252と、参照画像の空間位置を特定する動き情報254とを符号化して出力するものであり、本実施例の画像信号処理装置100ではこれらを利用する。
次に図3は、図1の画像信号処理装置における画像復号化部102の構成例を示すブロック図である。入力した符号化画像データ150は、可変長復号化部300にて可変長復号し量子化データを得る。その際、データに含まれている符号化時の動き情報153(図2の動き情報254に相当)と、残差情報154(図2の差分情報252に相当)を抽出して出力する。
逆量子化部301は、量子化データを逆量子化して画像ブロックデータとし、逆DCT部302は、画像ブロックデータを逆DCT変換して差分ブロックデータ351を生成する。動き補償部305は、可変長復号化部300から動き情報353を取得し、該動き情報に該当する参照画像をフレームメモリ304から読み出して加算器303に出力する。加算器303では、差分ブロックデータ351と参照画像352とを加算し復号画像を生成する。生成された復号画像は復号画像データ151として出力されるとともに、次の符号化データの参照画像として使用されるためフレームメモリ304に入力される。
これを上記の図5の動作例に当てはめると、図3の逆DCT部302より出力される差分ブロックデータ351は、図5において画像ブロック502と画像ブロック503との差分情報に相当する。可変長復号化部300より取得される動き情報353は、図5における動き情報504に相当する。動き補償部305より加算器303に出力される参照画像352は、図5における画像ブロック503に相当する。
次に、図1における第1の解像度変換部103の動作について、図5の画像例に当てはめて説明する。図1の画像復号化部102から復号画像151として図5の画像500が出力され、このうちのブロック502について高解像度化を行う場合の動作を説明する。この時、画像復号化部102から動き情報153として画像ブロック502に対応する動き情報504が読み出される。この動き情報153(504)に対応する参照画像152として、バッファ部105より画像ブロック503が読み出され、第1の解像度変換部102に入力する。ここに動き情報153(504)は、画像ブロック502に対する動き情報であり、画像ブロック502に含まれる各画素それぞれに対する動き情報として考えることができる。第1の解像度変換部103は、画像ブロック502に含まれる各画素に対して、少なくとも参照画像である画像ブロック503を含む1枚以上の参照画像と動き情報153を用いて、超解像処理により高解像度化された画像を生成する。超解像処理においては、例えば非特許文献1などに記載された技術を用いることで、画素数を増加させることが可能である。その際、本実施例では符号化画像データに含まれる動き情報を用いることにより、フレーム間の位相差を用いた超解像処理に必要となる動き探索処理を簡略化し、演算量を削減することを可能となる。但し後述のように、動き情報153と残差情報154の値によっては超解像処理が不可能になる場合が生じるので、それを判定して適用を制御する。
一方、図1における第2の解像度変換部104の動作について説明する。第2の解像度変換部104は、画像復号化部102より出力される復号画像151について、同一フレーム内の画素を用いて画素数を増やす処理を行うものである。その方法として、例えば前記図6(a)に示した画素の内挿処理といった補間技術を用いることが可能である。
次に、図1の切替部106の動作について説明する。切替部106は、第1の解像度変換部103より出力される画像と第2の解像度変換部104より出力される画像のいずれか一方を選択して出力する。上記の切り替えを行うに当り、画像復号化部102より取得した動き情報153および残差情報154を用いる。解像度変換を行う対象ブロックについて、符号化データ中の動き情報153が小数精度の情報を含み、あるいは残差情報154が0でない時には第1の解像度変換部103を選択する。動き情報153が全て整数精度の情報で、かつ残差情報154が0の時には第2の解像度変換部104を選択する。ここで動き情報が整数精度とは、動きの起点となる画素ブロックが、図6の領域601〜604のように参照画像内の既存の画素aijで構成される場合である。小数精度とは、動きの起点となる画素ブロックが、領域605のように補間画素bijで構成される場合である。小数値としては、1/2、1/4、1/8、1/16などを組み合せた値となる。
以下、この選択処理について、図3と図5の動作例に当てはめて説明する。
解像度変換を行う対象ブロックを図5の画像ブロック502、解像度変換に用いる参照画像を図5の画像ブロック503とする。ここで、動き情報153が全て整数精度の場合とは、参照画像ブロック503が整数精度の動き予測によって算出された場合であり、図7(e)において位相差θ(711)が0であることを意味する。また残差情報154は、図5において画像ブロック502とその参照画像ブロック503との差分情報を示す。差分情報が0の時には、図3において逆量子化部301および逆DCT変換部302を経た差分情報351は同じく0となる。加算器303では、逆DCT部302より出力される差分情報(=0)と、動き補償部305より出力される参照画像(画像ブロック503)の加算を行った結果、図5の画像ブロック502の復号画像として、画像ブロック503と同一の画像データが生成される。
このような場合、画像ブロック502と画像ブロック503が完全に一致するため、第1の解像度変換部103ではフレーム間の位相差に基づいた超解像処理が行えないことになる。本実施例では、このような場合には、第2の解像度変換部104によるフレーム間の位相差を利用しない解像度変換画像を出力画像として選択する。これにより、上記のように動き(位相差)のない画像領域に対しても解像度変換を実現することが可能となる。
図8は、切替部106の切替制御を示すフローチャートである。ステップ801では、まず動き情報153が小数精度の情報を含むかどうかを判定する。判定の結果小数精度の情報を含む場合には、ステップ803に進み、第1の解像度変換部103からの出力(超解像処理後の出力)を選択する。判定の結果小数精度の情報を含まない(すなわち全て整数精度である)場合には、ステップ802に進む。
ステップ802では、残差情報154が0(ゼロ)であるかどうかを判定する。判定の結果残差情報が0である場合には、ステップ804に進み、第2の解像度変換部104からの出力を選択する。判定の結果残差情報が0でない場合には、ステップ803に進み、第1の解像度変換部103からの出力を選択する。
以上のように、本実施例の画像信号処理装置では、符号化画像信号を復号した復号画像信号に対して解像度変換を行う際に、符号化画像データに含まれる動き情報を用いることでフレーム間の位相差を用いた解像度変換に必要となる動き探索処理を簡略化し、演算量を削減することを可能にする。また、符号化画像データに含まれる残差情報および動き情報を用いることで、フレーム間の動き(位相差)の有無を検出し、動きのない画像領域については画面内の解像度変換処理を選択することで動き(位相差)のない画像領域についても解像度変換を実現することが可能となる。
図9は、実施例1の画像信号処理装置を適用した画像表示装置の例を示す構成図である。ここでは、画像信号処理部904が実施例1の画像信号処理装置100に相当する。
画像表示装置900は、録画機能付きのテレビジョン装置で、例えば、プラズマテレビ、液晶テレビ、ブラウン管テレビ、プロジェクションテレビなどである。入力部901は、テレビジョン放送やネットワークを介して伝送された映像(画像)音声コンテンツを入力するもので、チューナ、LAN用コネクタ、USBコネクタなどを備える。さらに、映像音声信号をデジタル入力する端子を備えたものでもよく、ワイヤレスでデータを受信する受信部でもよい。ここで映像(画像)コンテンツは、所定の符号化方式で符号化された符号化画像信号である。入力部901から入力されたコンテンツは、録画再生部902によりコンテンツ蓄積部903に録画(蓄積)し、また蓄積部903から再生する。蓄積部903には、ハードディスクドライブ、リムーバブルメディアディスクドライブ、フラッシュメモリなどを用いる。画像信号処理部904は、録画再生部902により再生した画像信号に対し実施例1で述べた高解像度化の画像信号処理を行う。表示部905は、画像信号処理部904にて高解像度化された画像信号を表示するもので、プラズマパネルモジュール、LCDモジュール、プロジェクタ用デバイスなどを用いる。一方音声出力部906は、録画再生部902が再生した音声信号を出力するスピーカ等である。制御部907は画像表示装置900の各構成部を制御し、ユーザインタフェース部908はユーザの操作を受け付ける。なお、画像信号処理部904の機能は、制御部907とソフトウェアで実現することもできる。
本実施例の画像表示装置900は、高解像度化処理を行う画像信号処理部904を備えることで、入力部901に入力された画像信号、あるいはそれがコンテンツ蓄積部903に録画され再生された画像信号を、より高解像度で高画質な画像信号として表示部905に表示することができる。よって、入力された画像信号が表示部905の解像度性能より低い場合でも、表示部905の性能に合わせて高解像度化して表示を行うことが可能となる。
高解像度化処理の一例として、入力画像が標準解像度画像(横720画素×縦480画素)である場合に、高精細解像度画像(横1920画素×縦1080画素)に解像度変換して表示することが可能となる。その際、画像の動き(サンプリング位相差)の有無に関わらず、高精細解像を安定して表示することが可能となる。
本実施例の構成では、画像信号処理部904を録画再生部902よりも後段に配置したので、コンテンツ蓄積部903に蓄積されるデータ量を増加させることなく、表示部905にて高解像度画像を表示できる。すなわち、コンテンツ蓄積部903への負担を軽減することができる。
図10は、実施例1の画像信号処理装置を適用した画像録画装置の例を示す構成図である。ここでは、画像信号処理部1002が実施例1の画像信号処理装置100に相当する。
画像録画装置1000は、例えば、HDDレコーダ、DVDレコーダなどのように大容量記憶媒体を備えた装置である。入力部1001は、テレビジョン放送やネットワークを介して伝送された映像(画像)音声コンテンツを入力するもので、チューナ、LAN用コネクタ、USBコネクタなどを備える。さらに、映像音声信号をデジタル入力する端子を備えたものでもよく、ワイヤレスでデータを転送する受信部でもよい。ここで映像(画像)コンテンツは、所定の符号化方式で符号化された符号化画像信号である。画像信号処理部1002は、入力部1001から入力した画像コンテンツに対し実施例1で述べた高解像度化の画像信号処理を行う。高解像度化された画像と音声のコンテンツは、録画再生部1003によりコンテンツ蓄積部1004に録画(蓄積)し、また蓄積部1004から再生する。蓄積部1004には、ハードディスクドライブ、リムーバブルメディアディスクドライブ、フラッシュメモリなどを用いる。画像信号出力部1005は、録画再生部1003にて再生された画像信号を外部装置に出力する。音声信号出力部1006は、録画再生部1003にて再生した音声信号を外部装置に出力する。制御部1007は画像録画装置1000の各構成部を制御し、ユーザインタフェース部1008はユーザの操作を受け付ける。なお、画像信号処理部1002の機能は、制御部1007とソフトウェアで実現することもできる。
画像信号出力部1005は、画像信号をデジタル出力する端子、またはコンポジット端子やコンポーネント端子などのアナログ出力端子を備えたものである。あるいはLAN用コネクタ、USBコネクタを備えたものでもよく、ワイヤレスでデータを転送する送信部でもよい。音声信号出力部1006に関しても、画像信号出力部1005と同様である。また、画像映像出力部1005と音声信号出力部1006とは、一体化して共通のケーブルで出力するコネクタ形状としてもよい。
本実施例の画像録画装置1000は、高解像度化処理を行う画像信号処理部1002を備えることで、入力部1001に入力された画像コンテンツをより高解像度で高画質な画像信号として、コンテンツ蓄積部1004に録画(蓄積)することができる。そして、コンテンツ蓄積部1004に蓄積された高解像度で高画質な画像コンテンツを再生して、直ちに外部装置に出力することができる。よって、入力された画像コンテンツが外部装置の解像度性能より低い場合でも、外部装置の性能に合わせて高解像度化した信号を出力することが可能となる。
本実施例の構成では、画像信号処理部1002を録画再生部1003よりも前段に配置したので、再生時には高解像度化処理を行う必要がないため、再生時の処理負荷が軽減する。
さらに、上記実施例2の画像表示装置900と実施例3の画像録画装置1000において、それぞれの入力部901,1001に、デジタルカメラ、ビデオカメラ、監視カメラなどのカメラ装置を接続して、カメラで撮影した画像の表示装置や録画装置とすることもできる。カメラ装置では、撮像光学系にて撮影対象を受光素子上に撮像し、受光素子から出力される信号を基に画像データを生成して、入力部901,1001に入力する。その場合、入力部901,1001において入力した画像データを所定の符号化方式にて符号化し、録画再生部902または画像信号処理部1002へ出力する。画像信号処理部904,1002では撮影画像の高解像度化を行い、表示部905にて表示、またはコンテンツ蓄積部1004に録画する。
この実施例の場合、カメラの撮影解像度以上の解像度を有する高画質画像データを得ることができる。すなわち、カメラの受光素子の解像度を越えた解像度を有する高画質画像データや、撮影した画像データを用いて高画質なスチル画像データを得ることが可能となる。
本発明の画像信号処理装置の一実施例を示す構成ブロック図。 符号化画像データを生成する画像符号化装置の構成例を示すブロック図。 図1の画像復号化部102の構成例を示すブロック図。 図2のブロック分割部209の行うブロック分割の例を示す図。 図2の動き探索部208の行う動き探索動作の例を示す図。 動き探索処理において小数精度の動き探索処理の動作例を示す図。 超解像処理の概要を示す図。 切替部106の切替制御を示すフローチャート。 図1の画像信号処理装置を適用した画像表示装置の例を示す構成図。 図1の画像信号処理装置を適用した画像録画装置の例を示す構成図。
符号の説明
100…画像信号処理装置
101…入力部
102…画像復号化部
103…第1の解像度変換部(超解像処理)
104…第2の解像度変換部
105…バッファ部
106…切替部
107…出力部
153,254,353,504…動き情報
154…残差情報
200…画像符号化装置
208…動き探索部
252…差分画像信号
711…サンプリング位相差θ
900…画像表示装置
904…画像信号処理部
905…表示部
1000…画像録画装置
1002…画像信号処理部
1003…録画再生部
1004…コンテンツ蓄積部。

Claims (6)

  1. 画像信号を高解像度化する画像信号処理装置において、
    符号化された符号化画像データを復号化する画像復号化部と、
    該画像復号化部より出力される各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第1の解像度変換部と、
    上記画像復号化部より出力される各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第2の解像度変換部と、
    上記第1の解像度変換部からの画像フレームと上記第2の解像度変換部からの画像フレームのいずれか一方を選択して出力する切替部とを備え、
    上記切替部は、上記符号化画像データ内に含まれる動き情報と残差情報を用いて出力する画像フレームを選択するものであって、上記動き情報が小数精度の情報を含み、あるいは上記残差情報が0でない時には上記第1の解像度変換部からの画像フレームを選択し、上記動き情報が全て整数精度の情報で、かつ上記残差情報が0の時には上記第2の解像度変換部からの画像フレームを選択することを特徴とする画像信号処理装置。
  2. 請求項1に記載の画像信号処理装置において、
    前記第1の解像度変換部では、前記符号化画像データ内に含まれる動き情報に基づいて、隣接する複数の画像フレームの対応する画素を探索することを特徴とする画像信号処理装置。
  3. 請求項1または2に記載の画像信号処理装置において、
    前記第1の解像度変換部では、複数の画像フレームの標本化位置の異なる画素データを用いて、画像信号の高周波成分を復元する超解像処理を実行し、
    前記第2の解像度変換部では、同一画像フレーム内の複数の画素を用いて新たな画素を補間して作成する処理を実行することを特徴とする画像信号処理装置。
  4. 画像信号を高解像度化する画像信号処理方法において、
    符号化された符号化画像データを復号化するステップと、
    上記符号化画像データ内に含まれる動き情報と残差情報を抽出するステップと、
    復号化された各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第1のステップと、
    復号化された各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第2のステップと、
    上記動き情報と残差情報を用いて、上記第1のステップまたは上記第2のステップにより高解像度化した画像フレームを選択して出力するステップとを備え、
    上記動き情報が小数精度の情報を含み、あるいは上記残差情報が0でない時には上記第1のステップにより高解像度化した画像フレームを選択し、上記動き情報が全て整数精度の情報で、かつ上記残差情報が0の時には上記第2のステップにより高解像度化した画像フレームを選択することを特徴とする画像信号処理方法。
  5. 請求項4に記載の画像信号処理方法において、
    前記第1のステップでは、前記符号化画像データ内に含まれる動き情報に基づいて、隣接する複数の画像フレームの対応する画素を探索することを特徴とする画像信号処理方法。
  6. 請求項4または5に記載の画像信号処理方法において、
    前記第1のステップでは、複数の画像フレームの標本化位置の異なる画素データを用いて、画像信号の高周波成分を復元する超解像処理を実行し、
    前記第2のステップでは、同一画像フレーム内の複数の画素を用いて新たな画素を補間して作成する処理を実行することを特徴とする画像信号処理方法。
JP2007268044A 2007-10-15 2007-10-15 画像信号処理装置及び画像信号処理方法 Expired - Fee Related JP5113479B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007268044A JP5113479B2 (ja) 2007-10-15 2007-10-15 画像信号処理装置及び画像信号処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007268044A JP5113479B2 (ja) 2007-10-15 2007-10-15 画像信号処理装置及び画像信号処理方法

Publications (2)

Publication Number Publication Date
JP2009100112A JP2009100112A (ja) 2009-05-07
JP5113479B2 true JP5113479B2 (ja) 2013-01-09

Family

ID=40702722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007268044A Expired - Fee Related JP5113479B2 (ja) 2007-10-15 2007-10-15 画像信号処理装置及び画像信号処理方法

Country Status (1)

Country Link
JP (1) JP5113479B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5477575B2 (ja) * 2010-02-23 2014-04-23 日本電気株式会社 超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路
JP5436371B2 (ja) * 2010-08-25 2014-03-05 日本電信電話株式会社 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム
JP5484377B2 (ja) * 2011-02-23 2014-05-07 日本電信電話株式会社 復号化装置及び復号化方法
JP6875800B2 (ja) * 2016-08-04 2021-05-26 日本放送協会 超解像フレーム選択装置、超解像装置、及びプログラム
JP7139333B2 (ja) * 2017-08-11 2022-09-20 株式会社半導体エネルギー研究所 表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011999A (ja) * 2004-06-29 2006-01-12 Seiko Epson Corp ズレ量に応じた解像度変換処理の実行

Also Published As

Publication number Publication date
JP2009100112A (ja) 2009-05-07

Similar Documents

Publication Publication Date Title
JP3092610B2 (ja) 動画像の復号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び、動画像の復号化装置
JP3901287B2 (ja) 映像信号変換装置、映像信号変換方法及び映像提供システム
RU2506713C2 (ru) Устройство и способ обработки изображения
EP1101358B1 (en) Encoding a video signal with high resolution encoding for regions of interest
WO2010035733A1 (ja) 画像処理装置および方法
US10587892B2 (en) Image processing apparatus, image processing method, and program for generating motion compensated image data
JP5581688B2 (ja) 画像処理装置および方法、並びにプログラム
JP2007306152A (ja) 画像復号化装置及び画像復号化方法
JP5113479B2 (ja) 画像信号処理装置及び画像信号処理方法
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JPH11243547A (ja) 動き補償符号化装置及び動き補償符号化方法
JP2016158282A (ja) 動画像予測復号方法及び動画像予測復号装置
JP4559811B2 (ja) 情報処理装置及び情報処理方法
JPH1169362A (ja) 動画像の符号化方法および復号化方法
JP5461721B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
KR20070049074A (ko) 기록/재생 장치 및 기록/재생 방법과, 기록 장치 및 기록방법과, 재생 장치 및 재생 방법과, 프로그램
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP2006217445A (ja) 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置
JP2007323479A (ja) 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム
JP2019033535A (ja) 動画像予測復号方法及び動画像予測復号装置
JP2009296193A (ja) 画像信号処理方法、及び装置
JP2001128185A (ja) 記録媒体
JPH11317956A (ja) 撮影カメラ、放送受信機、再生装置、及び、コンピュータシステム
JP2001148860A (ja) 符号化方法、符号化装置、および、コンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees