JP4249272B2 - 高解像度の電子式映像拡大装置及びその方法 - Google Patents
高解像度の電子式映像拡大装置及びその方法 Download PDFInfo
- Publication number
- JP4249272B2 JP4249272B2 JP06682296A JP6682296A JP4249272B2 JP 4249272 B2 JP4249272 B2 JP 4249272B2 JP 06682296 A JP06682296 A JP 06682296A JP 6682296 A JP6682296 A JP 6682296A JP 4249272 B2 JP4249272 B2 JP 4249272B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- output
- motion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
【０００１】
【発明の属する技術分野】
本発明は、高解像度の電子式映像拡大技術に関するもので、より具体的には、カメラに動画像として入ってくる映像情報を用い解像度を向上させる電子式映像拡大方法及びその装置に関するものである。
【０００２】
【従来の技術】
映像処理技術の全般で使われている映像の拡大は、映像を表現する画素数の増加を意味するので、解像度の向上と直結する問題である。現在では、小さい（低解像度）映像から大きい（高解像度）映像をつくり出す方法として、主に信号の補間(interpolation) 方式を使用している。しかし、停止画像内で空間的に隣接した各画素の情報だけを扱う補間方式による拡大は、映像の大きさだけを増加させるものであり、情報量の保存の点でみると実質的な解像度の向上にはあまり役立っていない。これに関連した周知技術として、“Digital zooming system utilizing imagebuffers and employing an approximated bilinear interpolation method"(Patent No.5307167,Inventors:Park,Sung Wook/Paik,joon Ki,Assigness:Samsung Electronics Co.,Ltd,特許登録日：１９９２．３．１６）がある。
【０００３】
以下、添付図面を参照して従来の映像拡大技術について説明する。図１は、入力映像の１次元信号と映像信号の標本化原理を示した概念図で、図２は、画素と画素との間の映像情報を決定するために隣接画素から補間を行う従来の映像拡大方法を示した概念図である。また図３は、カメラの信号処理に使用される従来の映像拡大装置を示したブロック図で、そして図４は、カメラの信号処理に使用される映像安定化機能を含んだ従来の映像拡大装置を表したブロック図である。
【０００４】
図１に図示のように、入力映像(input image signal)について正規の標本化周期（画素間の距離）で映像がサンプリングされると仮定する。図面においては、映像拡大の原理を理解し易くするため、２次元の映像信号を１次元の映像信号と仮定して図示した。このとき、副画素(sub-pixel) についての情報は得られないので、標本化周波数相当の映像解像度だけ得られることになる。従って、映像拡大に必要な副画素の情報は、得られた隣接画素の情報から補間して決定する。
【０００５】
図２には従来の補間による映像拡大方法の一例を図式化してあり、映像を２倍に拡大するときに必要な副画素情報Ｐ’（ｘ’），（ｘ’＝０，１，……，ｎ，……，Ｎ−１）を１次補間法によって推定したものである。これを式で表すと次の数式１のようになる。尚、数式１におけるｋは０＜ｋ≦１の補間係数であり、図２の例ではｋ＝０．５である。また、ｘ＝０，１，……，Ｎ−１。
【数１】
Ｐ’（ｘ’）＝（１−ｋ）・Ｐ（ｘ）＋ｋ・Ｐ（ｘ＋１）
【０００６】
この方式に沿って映像の水平方向と垂直方向に対し独自的に補間をかけると、空間的に補間された映像が得られる。
【０００７】
その他に、２次補間(2nd order interpolation) 、周波数解釈による補間、逆フィルタ(inversefilter) 等の高周波成分を生かす各種方法が用いられているが、限定された標本画素で補間できる映像解像度は制限されている。
【０００８】
図３は、既存のビデオカメラで使用される電子的映像拡大装置の基本的構成についての例示図である。まず光学系（図示略）を通して入力される入力映像(image input) は、ＣＣＤ等の撮像素子３１により電気的信号に変換された後、Ａ／Ｄ変換器（ＡＤＣ）３２でデジタル信号に変換される。そして、電子式映像拡大部３３において１次補間等による方式で空間的拡大が行われ、Ｄ／Ａ変換器（ＤＡＣ）３４を経て最終的な映像信号として出力(image output)される。
【０００９】
また図４は、既存のビデオカメラにおいて、手ブレによる不安定な映像のブレを画像中の画素単位の動きを検出して補正した後、電子ズーム(digital zoom)を行う電子式映像拡大装置についての例示図である。まず光学系（図示略）を通して入力される入力映像は撮像素子４１で電気的信号に変換され、該映像信号がＡ／Ｄ変換器４２でデジタル信号に変換される。そして、動き検出器(motion detector) ４３において映像信号から画像の時間的画素の動き成分が検出され、映像安定化器（ＤＩＳ）４４により安定化が行われる。次いで電子式映像拡大部４５で１次補間等の方式で空間的映像拡大が施され、Ｄ／Ａ変換器４６を介して最終的な映像信号が出力される。
【００１０】
【発明が解決しようとする課題】
上記のような従来の電子式映像拡大技術においては、入力映像の一部領域の映像情報を空間的に拡大して出力する方法が使用されているが、この方法による映像拡大は、画面倍率に反比例して空間解像度が劣化することになり、拡大倍率にある程度の限界があるという改善点がある。
【００１１】
【課題を解決するための手段】
本発明では、動画素の入力と同時に正確な画素と画素との間の副画素のカメラ動き成分を検出して多数の副画素の映像情報を決定し、巡回型(IIR:infinite impulse response) フィルタ等による映像合成で解像度を向上させ、電子ズームによる映像拡大での高画質を実現した高解像度の電子式映像拡大装置及び電子式映像拡大方法を提供する。
【００１２】
この目的を達成するために本発明の電子式映像拡大装置は、映像信号を入力して水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する動き検出部と、この動き検出部から出力される画素単位の水平・垂直動き成分を受けて映像信号を補正し、拡大対象領域を検出する領域検出部と、この領域検出部の出力を入力して検出された映像の標本化の周期を空間的に拡大し、前記動き検出部から出力される副画素単位の水平・垂直動き成分を受けて映像を補正する拡大映像補正部と、この拡大映像補正部から出力される空間的に拡大された映像に対する既知の全画素情報を受け、該画素情報と提供される矩形函数とを重畳し、その画素を中心に既知の画素情報を隣接した未知の画素に拡張して出力する映像補間部と、この映像補間部から出力される空間的に動き補償されて空間的に拡張された映像、及び、１フィールド（又はフレーム）前に出力されて記憶されている映像を受け、これら２つの入力映像信号を、それぞれ別の加重値をもつ巡回型フィルタで合成して最終映像を出力する映像合成部と、この映像合成部から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像を記憶し、次の映像合成のために記憶した１フィールド（又はフレーム）前の映像を前記映像合成部へ帰還出力する映像メモリ部と、を備えてなることを特徴とする。
【００１３】
また、上記の目的を達成するために本発明の電子式映像拡大方法は、映像信号を入力する入力段階と、該入力段階による映像信号から水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する動き検出段階と、前記入力段階による映像信号を、前記動き検出段階において検出された画素単位の水平・垂直動き成分で補正し、拡大対象領域を検出する領域検出段階と、該領域検出段階で検出された拡大対象領域の映像の標本化周期を空間的に拡大し、前記動き検出段階による副画素単位の水平・垂直動き成分で拡大された映像を補正する映像補正段階と、該映像補正段階で空間的に拡大された映像に対する既知の全画像情報を矩形函数と重畳し、その画素を中心に既知の画素情報を隣接した未知の各画素へ拡張する映像補間段階と、該映像補間段階で空間的に動き補償されて空間的に拡張された映像及び記憶してある１フィールド（又はフレーム）前の映像を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成して最終映像を出力する映像合成段階と、出力される拡大補間された１フィールド（又はフレーム）の最終出力を記憶し、前記映像合成段階における次の映像合成の際に１フィールド（又はフレーム）前の映像を帰還させるための記憶段階と、を含んでなることを特徴とする。
【００１４】
【発明の実施の形態】
添付図面を参照して本発明の実施形態を説明する。
【００１５】
図６は、位相差情報と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第１実施形態を示したブロック図である。
【００１６】
動き検出部(motion detector) ６１は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、水平・垂直の方向に画素単位の動き(pixel motion)成分と副画素単位の動き(subpixel motion) 成分とを検出し出力する。領域検出部(area detector) ６２は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、動き検出部６１から出力される画素単位の水平・垂直動き成分〔Ｖ（ｎ）〕に従って映像信号〔Ｐ（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。拡大映像補正部(zoomed image compensator)６３は、領域検出部６２の出力を受けて、検出された映像の標本化周期を空間的に拡大した後、動き検出部６１から出力される副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従って映像を補正し出力する。
【００１７】
映像補間部(image interpolation part)６４は、拡大映像補正部６３から出力される空間的に拡大された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］についての既知の全画素情報を受けて、該画素情報と提供される矩形函数(rectangle function)を重畳(convolution) し、その画素を中心に既知の画素情報を隣接した未知の各画素に拡張して出力する。映像合成部(image synthesis part)６５は、空間的動き補償が行われて空間的に拡張された映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］、及び、１フィールド（又はフレーム）の以前に出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕を受けて、これら２つの映像信号を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成(synthesis) し、最終的映像〔ｑ（ｉ；ｎ）〕を出力する。映像メモリ部(image memory part) ６６は、映像合成部６５から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成時に、該記憶した１フィールド（又はフレーム）前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還出力する。映像メモリ部６６としては、１つのフィールドメモリを使用可能である。
【００１８】
尚、ｘ，ｉ，Ｖ（ｎ），ｖ（ｎ）は２次元空間ベクトルを表す。
【００１９】
映像合成部６５は詳細には、空間的動き補償されて空間的に拡張された映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と時間軸上の加重値（１−ｋ）とを乗算する第１掛算器６５１と、１フィールド（又はフレーム）前に出力されて映像メモリ部６６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と時間軸上の加重値（ｋ）とを乗算する第２掛算器６５２と、第１掛算器６５１及び第２掛算器６５２の各出力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する加算器６５３と、から構成される。
【００２０】
図８には、位相差情報による適応的な加重値と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第２実施形態をブロック図で示している。
【００２１】
動き検出部８１は、〔Ｐ（ｘ；ｎ）〕を受けて、水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分とを検出し出力する。領域検出部８２は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、動き検出部８１から出力される画素単位の水平・垂直動き成分〔Ｖ（ｎ）〕に従って映像信号〔Ｐ（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。拡大映像補正部８３は、領域検出部８２の出力を受けて、検出された映像の標本化周期を空間的に拡大した後、動き検出部８１から出力される副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従って映像を補正し出力する。
【００２２】
そして映像補間部８４は、拡大映像補正部８３から出力される空間的に拡大された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］についての既知の全画素情報を受けて、該画素情報と提供される矩形函数を重畳し、その画素を中心に既知の画素情報を隣接した未知の各画素に拡張して出力する。映像合成部８５は、空間的動き補償が行われて空間的に拡張された映像補間部８４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］、及び、１フィールド（又はフレーム）の以前に出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕を受けて、これら２つの映像信号を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成し、最終的映像〔ｑ（ｉ；ｎ）〕を出力する。映像メモリ部８６は、映像合成部８５から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成時に、該記憶した１フィールド（又はフレーム）の以前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部８５へ帰還出力する。
【００２３】
映像合成部８５は詳細には、時間軸上の加重値（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加算する第１加算器８５１と、空間的動き補償されて空間的に拡張された映像補間部８４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５１の出力とを乗算する第１掛算器８５２と、時間軸上の加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加減する加減器８５３と、１フィールド（又はフレーム）前に出力されて映像メモリ部８６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と加減器８５３の出力とを乗算する第２掛算器８５４と、第１掛算器８５２及び第２掛算器８５４の各出力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する第２加算器８５５と、から構成される。
【００２４】
このような第１、第２実施形態の回路による動作は次のようになる。まず、簡単に整理すると、各実施形態とも、停止画素に比べてはるかに多くの情報量をもつ動画素から解像度を向上させる映像拡大技術を採用しており、これは、空間的拡大で補間法によってしか推定できなかった画素間の情報（副画素の情報）を、空間的ブレをもつ動映像からその動きを検出し適切に補正して決定するようにした方法である。即ち、画素と画素との間の情報（副画素の情報）を、カメラのブレ（空間的ブレ）等による微細な時点の位相差から得られる映像により得ようとするものである。
【００２５】
カメラのブレは、撮影者の手ブレ等による手動的（受動的）な映像のブレと、カメラの受光光学系のレンズ部や、撮像素子を特定の周波数で発振させて得られる能動的な映像のブレと、に分けられ、本発明においてはこれら２種類のブレを全て対象とすることができる。このような映像のブレに対する動き成分（ｘ，ｙ方向の２次元ベクトル）では、画素単位の動き成分だけでなく、画素間の動き成分である副画素の動きが正確に検出されなければならない。検出された動き成分の副画素情報は映像の標本化空間周波数に対する位相差に該当する。言い換えれば、基本的原理は、過去の映像と入力映像とをそれぞれの副画素の動き情報で補正した後、適応的な時間軸上、空間軸上の加重値と積算して出力するものである。これは、入力映像と過去の映像とを巡回型フィルタ（ＩＩＲフィルタ）によって時間方向低域通過フィルタに通すことと、副画素の位置補正及び位相の加重値を制御することとを統合した方式であると言える。
【００２６】
図５は、標本化された入力映像を矩形函数の重畳を用い補間して出力を得る原理を示した概念図である。即ち、映像の拡大による補間出力の説明のために、標本化された入力映像を矩形函数の重畳を用いて拡張する原理を表したものである。
【００２７】
入力画素Ｐ（ｘ）の空間的に拡大しようとする領域に対して標本化周期を倍率に比例するように拡大して表現すると、副画素の観点からみた場合、アンダーサンプリング(under sampling)された入力信号ｐ（ｉ）に変換される。尚、ｄｘは１画素であり、ｍ・ｄｉ個の副画素に再構成される。この確定された入力信号ｐ（ｉ）に対し、次の数式２のようにして矩形函数Ｒｅｃｔ（ｉ）の重畳をかけると、０次補間によるぎっしりと空間拡張された映像信号Ｐrect（ｉ）が得られる。
【数２】
Ｐrect（ｉ）＝ｐ（ｉ）×Ｒｅｃｔ（ｉ）
【００２８】
この拡張された映像信号Ｐrect（ｉ）を用いる映像の拡大技術は次のようなものである。図７に、カメラの動きによる副画素動きの位相差で標本化された入力映像と以前の出力映像を、時間軸上の加重値をとって合成する原理を表した概念図を示す。
【００２９】
図６に示した通り、当該装置に電源が印加されると動き検出部６１は、映像信号〔Ｐ（ｘ；ｎ）〕を入力して水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する。次に領域検出部６２は、映像信号〔Ｐ（ｘ；ｎ）〕を入力し、動き検出部６１から出力される画素単位の水平・垂直の動き成分〔Ｖ（ｎ）〕を受けて映像信号〔Ｐ（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。続いて拡大映像補正部６３は、領域検出部６２の出力を入力し、検出された映像の標本化周期を空間的に拡大した後、動き検出部６１から出力される副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕を受けて映像補正する。
【００３０】
そして、映像補間部６４は、拡大映像補正部６３で空間的拡大された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］に対する既知の全画素情報を入力して該画素情報と提供される矩形函数を重畳し、当該画素を中心に既知の画素情報を未知の各画素に拡張して空間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］を出力する（ｎはフィールド番号：field number）。この映像補間部６４の出力を受ける映像合成部６５は、空間的に動きが補償されて空間的に拡張された映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）以前に出力されて映像メモリ部６６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕とを、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成し、最終映像〔ｑ（ｉ；ｎ）〕を出力する。
【００３１】
映像メモリ部６６は、映像合成部６５による拡大補間された１フィールド（又はフレーム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成に際してその記憶した１フィールド（又はフレーム）前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還出力する。
【００３２】
映像合成部６５内では、まず第１掛算器６５１が、映像補間部６４による空間的動き補償されて空間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］を受けて時間軸上の加重値（１−ｋ）と乗算する。また、第２掛算器６５２は、１フィールド（又はフレーム）前に出力されて映像メモリ部６６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕を受けて時間軸上の加重値（ｋ）と乗算する。そして、加算器６５３により、第１掛算器６５１及び第２掛算器６５２の各出力が加算され、最終映像〔ｑ（ｉ；ｎ）〕が出力される。
【００３３】
より詳細には、拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）前に出力した拡大副映像〔ｑ（ｉ；ｎ−１）〕とを、次の数式３のようにして巡回型フィルタ方式により時間軸上の加重値ｋ（０＜ｋ≦１）をもって合成し、出力映像〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画素ｑ（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝１，２，……。
【数３】
ｑ（ｉ；ｎ）
＝（１−ｋ）・Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕＋ｋ・ｑ（ｉ；ｎ−１）
【００３４】
実際の撮影のときには、時間軸上の加重値（ｋ）が大きくなると各過去映像の比重が入力映像より大きくなり、約０．５から０．９の間の値を時間軸上の加重値（ｋ）がもつ場合に安定でノイズが減殺された映像を出力できる。図７は、ｋ＝０．５，ｎ＝１である場合に、前の出力映像と入力映像が時間軸上の加重値を置く巡回型フィルタを通過した後の出力映像についての例を、１次元信号で表したものである。
【００３５】
一方、映像の出力において副画素のより正確な値を出力に反映させるためには、０次補間による情報の一律的な拡散よりも、入力映像の動き成分の位相に対して空間的な加重値がより高く制御された映像の拡大の方がよりよく、いっそう解像度が向上する。これを実現したのが図８に示した第２実施形態である。
【００３６】
図９は、カメラの動きによる副画素動きの位相差で標本化された入力映像と以前の出力映像とを、時間軸上の加重値と空間軸上の加重値とをもって合成する原理を表した概念図である。
【００３７】
第２実施形態における動き検出部８１、領域検出部８２、拡大映像補正部８３、映像補間部８４、映像メモリ部８６の各動作は、それぞれ第１実施形態における動き検出部６１、領域検出部６２、拡大映像補正部６３、映像補間部６４、映像メモリ部６６の各動作と同様である。
【００３８】
映像合成部８５は、空間的に動きが補償されて空間的に拡張された映像補間部８４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）の以前に出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕とを、それぞれ別の時間軸上の加重値及び空間軸上の加重値を置く巡回型フィルタで合成して最終映像〔ｑ（ｉ；ｎ）〕を出力する。即ち、まず映像合成部８５内の第１加算器８５１は、時間軸上の加重値（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加算する。そして第１掛算器８５２が、映像補間部８４による空間的動き補償されて空間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５１の出力とを乗算する。また、加減器８５３は、時間軸上の加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加減する。そして第２掛算器８５４が、１フィールド（又はフレーム）前に出力されて映像メモリ部８６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と加減器８５４の出力とを乗算する。最後に第２加算器８５５は、第１掛算器８５２及び第２掛算器８５４の各出力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する。
【００３９】
より詳細には、拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）前（ｎ−１）に出力した拡大副映像〔ｑ（ｉ；ｎ−１）〕とを、次の数式４のようにして巡回型フィルタにより時間軸上の加重値ｋ（０＜ｋ≦１）と空間軸上の加重値ｒ〔ｉ−ｖ（ｎ）〕をもって合成し、出力映像〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画素ｑ（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝１，２，……。
【数４】
ｑ（ｉ；ｎ）
＝［（１−ｋ）＋ｒ〔ｉ−ｖ（ｎ）〕］・Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕
＋［ｋ−ｒ〔ｉ−ｖ（ｎ）〕］・ｑ（ｉ；ｎ−１）
【００４０】
実際の撮影のときには、時間軸上の加重値（ｋ）が大きい値をもつようになると各過去映像の比重が入力映像より大きくなり、約０．５から０．９の間の値を時間軸上の加重値（ｋ）がもつ場合に安定してノイズが減殺された映像を出力できる。また、入力映像の動き成分による中心位置に空間的に高い加重値をもたせるようにすることによって、解像度の向上に更に寄与することができる。
【００４１】
図９は、ｋ＝０．５，ｎ＝１である場合に、前の出力映像と入力映像とが時間的な巡回型フィルタと空間的制御を通過した出力映像についての例を、１次元信号で表したものである。このとき、空間軸上の加重値ｒ〔ｉ−ｖ（ｎ）〕は周期ｄｉの函数であり、振幅を入力映像の状態に従って調整すると効果的である。
【００４２】
結果的に、時間の経過によるｎ値の増加に従って多数の副画素の動き成分が検出されればされるほど映像の解像度は高くなり、空間的にも安定した映像として受け入れられる。従って、映像メモリによる以前出力値と副画素の動きの位相差が勘案された映像から適切な空間的、時間的加重値を調節して、より高解像度の映像を、巡回型フィルタによる簡単な演算と１つの映像メモリによる簡単な構成で実現できる。
【００４３】
【発明の効果】
以上述べたように本発明によれば、高倍率のズームレンズや高解像／高密度の撮像素子を要せずとも、既存の限定された画素数をもった撮像素子における空間的な解像度の限界を動画像の情報から克服できる。また、基本的に空間的ブレをもつ動映像から動きを検出して画素と画素との間の映像情報を決定することによって高い解像度の映像を得られ、その結果、電子的な補間による映像拡大に際する解像度の劣化を減じることができる。更に、巡回型フィルタ等による映像構成によって解像度を向上させ、手ブレを安定化させた映像を得られ、及び時間的巡回型フィルタの特性によるノイズ減殺効果をもつ高解像度の電子式映像像拡大方法及び映像拡大装置を提供することができる。本発明のこのような効果は全てのカメラ分野で利用可能である。
【図面の簡単な説明】
【図１】入力映像の１次元信号と映像信号の標本化原理を図示した概念図。
【図２】隣接画素からの補間により画素間の映像情報を決定する従来の映像拡大方法を図示した概念図。
【図３】カメラの信号処理に使用される従来の映像拡大装置のブロック図。
【図４】カメラの信号処理に使用される従来の映像安定化機能をもつ映像拡大装置のブロック図。
【図５】本発明の実施形態における、標本化された入力映像を矩形函数の重畳を用い補間して出力を得る原理を表した概念図。
【図６】位相差情報と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第１実施形態を示すブロック図。
【図７】カメラの動きによって副画素動きの位相差で標本化された入力映像と以前の出力映像を、時間軸上の加重値をとって合成する原理を表した概念図。
【図８】位相差情報による適応的な加重値と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第２実施形態を示すブロック図。
【図９】カメラの動きによる副画素動きの位相差で標本化された入力映像と以前の出力映像とを、時間軸上の加重値と空間軸上の加重値とをもって合成する原理を表した概念図。
【符号の説明】
３１ 撮像素子
３２ Ａ／Ｄ変換器
３３ 電子式映像拡大部
３４ Ｄ／Ａ変換器
４１ 撮像素子
４２ Ａ／Ｄ変換器
４３ 動き検出部
４４ 映像安定化部
４５ 電子映像拡大部
４６ Ｄ／Ａ変換器
６１ 動き検出部
６２ 領域検出部
６３ 拡大映像補正部
６４ 映像補間部
６５ 映像合成部
６６ 映像メモリ部
８１ 動き検出部
８２ 領域検出部
８３ 拡大映像補正部
８４ 映像補間部
８５ 映像合成部
８６ 映像メモリ部
【発明の属する技術分野】
本発明は、高解像度の電子式映像拡大技術に関するもので、より具体的には、カメラに動画像として入ってくる映像情報を用い解像度を向上させる電子式映像拡大方法及びその装置に関するものである。
【０００２】
【従来の技術】
映像処理技術の全般で使われている映像の拡大は、映像を表現する画素数の増加を意味するので、解像度の向上と直結する問題である。現在では、小さい（低解像度）映像から大きい（高解像度）映像をつくり出す方法として、主に信号の補間(interpolation) 方式を使用している。しかし、停止画像内で空間的に隣接した各画素の情報だけを扱う補間方式による拡大は、映像の大きさだけを増加させるものであり、情報量の保存の点でみると実質的な解像度の向上にはあまり役立っていない。これに関連した周知技術として、“Digital zooming system utilizing imagebuffers and employing an approximated bilinear interpolation method"(Patent No.5307167,Inventors:Park,Sung Wook/Paik,joon Ki,Assigness:Samsung Electronics Co.,Ltd,特許登録日：１９９２．３．１６）がある。
【０００３】
以下、添付図面を参照して従来の映像拡大技術について説明する。図１は、入力映像の１次元信号と映像信号の標本化原理を示した概念図で、図２は、画素と画素との間の映像情報を決定するために隣接画素から補間を行う従来の映像拡大方法を示した概念図である。また図３は、カメラの信号処理に使用される従来の映像拡大装置を示したブロック図で、そして図４は、カメラの信号処理に使用される映像安定化機能を含んだ従来の映像拡大装置を表したブロック図である。
【０００４】
図１に図示のように、入力映像(input image signal)について正規の標本化周期（画素間の距離）で映像がサンプリングされると仮定する。図面においては、映像拡大の原理を理解し易くするため、２次元の映像信号を１次元の映像信号と仮定して図示した。このとき、副画素(sub-pixel) についての情報は得られないので、標本化周波数相当の映像解像度だけ得られることになる。従って、映像拡大に必要な副画素の情報は、得られた隣接画素の情報から補間して決定する。
【０００５】
図２には従来の補間による映像拡大方法の一例を図式化してあり、映像を２倍に拡大するときに必要な副画素情報Ｐ’（ｘ’），（ｘ’＝０，１，……，ｎ，……，Ｎ−１）を１次補間法によって推定したものである。これを式で表すと次の数式１のようになる。尚、数式１におけるｋは０＜ｋ≦１の補間係数であり、図２の例ではｋ＝０．５である。また、ｘ＝０，１，……，Ｎ−１。
【数１】
Ｐ’（ｘ’）＝（１−ｋ）・Ｐ（ｘ）＋ｋ・Ｐ（ｘ＋１）
【０００６】
この方式に沿って映像の水平方向と垂直方向に対し独自的に補間をかけると、空間的に補間された映像が得られる。
【０００７】
その他に、２次補間(2nd order interpolation) 、周波数解釈による補間、逆フィルタ(inversefilter) 等の高周波成分を生かす各種方法が用いられているが、限定された標本画素で補間できる映像解像度は制限されている。
【０００８】
図３は、既存のビデオカメラで使用される電子的映像拡大装置の基本的構成についての例示図である。まず光学系（図示略）を通して入力される入力映像(image input) は、ＣＣＤ等の撮像素子３１により電気的信号に変換された後、Ａ／Ｄ変換器（ＡＤＣ）３２でデジタル信号に変換される。そして、電子式映像拡大部３３において１次補間等による方式で空間的拡大が行われ、Ｄ／Ａ変換器（ＤＡＣ）３４を経て最終的な映像信号として出力(image output)される。
【０００９】
また図４は、既存のビデオカメラにおいて、手ブレによる不安定な映像のブレを画像中の画素単位の動きを検出して補正した後、電子ズーム(digital zoom)を行う電子式映像拡大装置についての例示図である。まず光学系（図示略）を通して入力される入力映像は撮像素子４１で電気的信号に変換され、該映像信号がＡ／Ｄ変換器４２でデジタル信号に変換される。そして、動き検出器(motion detector) ４３において映像信号から画像の時間的画素の動き成分が検出され、映像安定化器（ＤＩＳ）４４により安定化が行われる。次いで電子式映像拡大部４５で１次補間等の方式で空間的映像拡大が施され、Ｄ／Ａ変換器４６を介して最終的な映像信号が出力される。
【００１０】
【発明が解決しようとする課題】
上記のような従来の電子式映像拡大技術においては、入力映像の一部領域の映像情報を空間的に拡大して出力する方法が使用されているが、この方法による映像拡大は、画面倍率に反比例して空間解像度が劣化することになり、拡大倍率にある程度の限界があるという改善点がある。
【００１１】
【課題を解決するための手段】
本発明では、動画素の入力と同時に正確な画素と画素との間の副画素のカメラ動き成分を検出して多数の副画素の映像情報を決定し、巡回型(IIR:infinite impulse response) フィルタ等による映像合成で解像度を向上させ、電子ズームによる映像拡大での高画質を実現した高解像度の電子式映像拡大装置及び電子式映像拡大方法を提供する。
【００１２】
この目的を達成するために本発明の電子式映像拡大装置は、映像信号を入力して水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する動き検出部と、この動き検出部から出力される画素単位の水平・垂直動き成分を受けて映像信号を補正し、拡大対象領域を検出する領域検出部と、この領域検出部の出力を入力して検出された映像の標本化の周期を空間的に拡大し、前記動き検出部から出力される副画素単位の水平・垂直動き成分を受けて映像を補正する拡大映像補正部と、この拡大映像補正部から出力される空間的に拡大された映像に対する既知の全画素情報を受け、該画素情報と提供される矩形函数とを重畳し、その画素を中心に既知の画素情報を隣接した未知の画素に拡張して出力する映像補間部と、この映像補間部から出力される空間的に動き補償されて空間的に拡張された映像、及び、１フィールド（又はフレーム）前に出力されて記憶されている映像を受け、これら２つの入力映像信号を、それぞれ別の加重値をもつ巡回型フィルタで合成して最終映像を出力する映像合成部と、この映像合成部から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像を記憶し、次の映像合成のために記憶した１フィールド（又はフレーム）前の映像を前記映像合成部へ帰還出力する映像メモリ部と、を備えてなることを特徴とする。
【００１３】
また、上記の目的を達成するために本発明の電子式映像拡大方法は、映像信号を入力する入力段階と、該入力段階による映像信号から水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する動き検出段階と、前記入力段階による映像信号を、前記動き検出段階において検出された画素単位の水平・垂直動き成分で補正し、拡大対象領域を検出する領域検出段階と、該領域検出段階で検出された拡大対象領域の映像の標本化周期を空間的に拡大し、前記動き検出段階による副画素単位の水平・垂直動き成分で拡大された映像を補正する映像補正段階と、該映像補正段階で空間的に拡大された映像に対する既知の全画像情報を矩形函数と重畳し、その画素を中心に既知の画素情報を隣接した未知の各画素へ拡張する映像補間段階と、該映像補間段階で空間的に動き補償されて空間的に拡張された映像及び記憶してある１フィールド（又はフレーム）前の映像を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成して最終映像を出力する映像合成段階と、出力される拡大補間された１フィールド（又はフレーム）の最終出力を記憶し、前記映像合成段階における次の映像合成の際に１フィールド（又はフレーム）前の映像を帰還させるための記憶段階と、を含んでなることを特徴とする。
【００１４】
【発明の実施の形態】
添付図面を参照して本発明の実施形態を説明する。
【００１５】
図６は、位相差情報と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第１実施形態を示したブロック図である。
【００１６】
動き検出部(motion detector) ６１は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、水平・垂直の方向に画素単位の動き(pixel motion)成分と副画素単位の動き(subpixel motion) 成分とを検出し出力する。領域検出部(area detector) ６２は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、動き検出部６１から出力される画素単位の水平・垂直動き成分〔Ｖ（ｎ）〕に従って映像信号〔Ｐ（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。拡大映像補正部(zoomed image compensator)６３は、領域検出部６２の出力を受けて、検出された映像の標本化周期を空間的に拡大した後、動き検出部６１から出力される副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従って映像を補正し出力する。
【００１７】
映像補間部(image interpolation part)６４は、拡大映像補正部６３から出力される空間的に拡大された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］についての既知の全画素情報を受けて、該画素情報と提供される矩形函数(rectangle function)を重畳(convolution) し、その画素を中心に既知の画素情報を隣接した未知の各画素に拡張して出力する。映像合成部(image synthesis part)６５は、空間的動き補償が行われて空間的に拡張された映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］、及び、１フィールド（又はフレーム）の以前に出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕を受けて、これら２つの映像信号を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成(synthesis) し、最終的映像〔ｑ（ｉ；ｎ）〕を出力する。映像メモリ部(image memory part) ６６は、映像合成部６５から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成時に、該記憶した１フィールド（又はフレーム）前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還出力する。映像メモリ部６６としては、１つのフィールドメモリを使用可能である。
【００１８】
尚、ｘ，ｉ，Ｖ（ｎ），ｖ（ｎ）は２次元空間ベクトルを表す。
【００１９】
映像合成部６５は詳細には、空間的動き補償されて空間的に拡張された映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と時間軸上の加重値（１−ｋ）とを乗算する第１掛算器６５１と、１フィールド（又はフレーム）前に出力されて映像メモリ部６６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と時間軸上の加重値（ｋ）とを乗算する第２掛算器６５２と、第１掛算器６５１及び第２掛算器６５２の各出力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する加算器６５３と、から構成される。
【００２０】
図８には、位相差情報による適応的な加重値と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第２実施形態をブロック図で示している。
【００２１】
動き検出部８１は、〔Ｐ（ｘ；ｎ）〕を受けて、水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分とを検出し出力する。領域検出部８２は、映像信号〔Ｐ（ｘ；ｎ）〕を受けて、動き検出部８１から出力される画素単位の水平・垂直動き成分〔Ｖ（ｎ）〕に従って映像信号〔Ｐ（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。拡大映像補正部８３は、領域検出部８２の出力を受けて、検出された映像の標本化周期を空間的に拡大した後、動き検出部８１から出力される副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕に従って映像を補正し出力する。
【００２２】
そして映像補間部８４は、拡大映像補正部８３から出力される空間的に拡大された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］についての既知の全画素情報を受けて、該画素情報と提供される矩形函数を重畳し、その画素を中心に既知の画素情報を隣接した未知の各画素に拡張して出力する。映像合成部８５は、空間的動き補償が行われて空間的に拡張された映像補間部８４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］、及び、１フィールド（又はフレーム）の以前に出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕を受けて、これら２つの映像信号を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成し、最終的映像〔ｑ（ｉ；ｎ）〕を出力する。映像メモリ部８６は、映像合成部８５から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成時に、該記憶した１フィールド（又はフレーム）の以前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部８５へ帰還出力する。
【００２３】
映像合成部８５は詳細には、時間軸上の加重値（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加算する第１加算器８５１と、空間的動き補償されて空間的に拡張された映像補間部８４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５１の出力とを乗算する第１掛算器８５２と、時間軸上の加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加減する加減器８５３と、１フィールド（又はフレーム）前に出力されて映像メモリ部８６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と加減器８５３の出力とを乗算する第２掛算器８５４と、第１掛算器８５２及び第２掛算器８５４の各出力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する第２加算器８５５と、から構成される。
【００２４】
このような第１、第２実施形態の回路による動作は次のようになる。まず、簡単に整理すると、各実施形態とも、停止画素に比べてはるかに多くの情報量をもつ動画素から解像度を向上させる映像拡大技術を採用しており、これは、空間的拡大で補間法によってしか推定できなかった画素間の情報（副画素の情報）を、空間的ブレをもつ動映像からその動きを検出し適切に補正して決定するようにした方法である。即ち、画素と画素との間の情報（副画素の情報）を、カメラのブレ（空間的ブレ）等による微細な時点の位相差から得られる映像により得ようとするものである。
【００２５】
カメラのブレは、撮影者の手ブレ等による手動的（受動的）な映像のブレと、カメラの受光光学系のレンズ部や、撮像素子を特定の周波数で発振させて得られる能動的な映像のブレと、に分けられ、本発明においてはこれら２種類のブレを全て対象とすることができる。このような映像のブレに対する動き成分（ｘ，ｙ方向の２次元ベクトル）では、画素単位の動き成分だけでなく、画素間の動き成分である副画素の動きが正確に検出されなければならない。検出された動き成分の副画素情報は映像の標本化空間周波数に対する位相差に該当する。言い換えれば、基本的原理は、過去の映像と入力映像とをそれぞれの副画素の動き情報で補正した後、適応的な時間軸上、空間軸上の加重値と積算して出力するものである。これは、入力映像と過去の映像とを巡回型フィルタ（ＩＩＲフィルタ）によって時間方向低域通過フィルタに通すことと、副画素の位置補正及び位相の加重値を制御することとを統合した方式であると言える。
【００２６】
図５は、標本化された入力映像を矩形函数の重畳を用い補間して出力を得る原理を示した概念図である。即ち、映像の拡大による補間出力の説明のために、標本化された入力映像を矩形函数の重畳を用いて拡張する原理を表したものである。
【００２７】
入力画素Ｐ（ｘ）の空間的に拡大しようとする領域に対して標本化周期を倍率に比例するように拡大して表現すると、副画素の観点からみた場合、アンダーサンプリング(under sampling)された入力信号ｐ（ｉ）に変換される。尚、ｄｘは１画素であり、ｍ・ｄｉ個の副画素に再構成される。この確定された入力信号ｐ（ｉ）に対し、次の数式２のようにして矩形函数Ｒｅｃｔ（ｉ）の重畳をかけると、０次補間によるぎっしりと空間拡張された映像信号Ｐrect（ｉ）が得られる。
【数２】
Ｐrect（ｉ）＝ｐ（ｉ）×Ｒｅｃｔ（ｉ）
【００２８】
この拡張された映像信号Ｐrect（ｉ）を用いる映像の拡大技術は次のようなものである。図７に、カメラの動きによる副画素動きの位相差で標本化された入力映像と以前の出力映像を、時間軸上の加重値をとって合成する原理を表した概念図を示す。
【００２９】
図６に示した通り、当該装置に電源が印加されると動き検出部６１は、映像信号〔Ｐ（ｘ；ｎ）〕を入力して水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する。次に領域検出部６２は、映像信号〔Ｐ（ｘ；ｎ）〕を入力し、動き検出部６１から出力される画素単位の水平・垂直の動き成分〔Ｖ（ｎ）〕を受けて映像信号〔Ｐ（ｘ；ｎ）〕を補正し、拡大対象領域を検出する。続いて拡大映像補正部６３は、領域検出部６２の出力を入力し、検出された映像の標本化周期を空間的に拡大した後、動き検出部６１から出力される副画素単位の水平・垂直動き成分〔ｖ（ｎ）〕を受けて映像補正する。
【００３０】
そして、映像補間部６４は、拡大映像補正部６３で空間的拡大された映像［ｐ〔ｉ−ｖ（ｎ）；ｎ〕］に対する既知の全画素情報を入力して該画素情報と提供される矩形函数を重畳し、当該画素を中心に既知の画素情報を未知の各画素に拡張して空間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］を出力する（ｎはフィールド番号：field number）。この映像補間部６４の出力を受ける映像合成部６５は、空間的に動きが補償されて空間的に拡張された映像補間部６４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）以前に出力されて映像メモリ部６６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕とを、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成し、最終映像〔ｑ（ｉ；ｎ）〕を出力する。
【００３１】
映像メモリ部６６は、映像合成部６５による拡大補間された１フィールド（又はフレーム）の最終出力映像〔ｑ（ｉ；ｎ）〕を記憶し、次の映像合成に際してその記憶した１フィールド（又はフレーム）前の映像〔ｑ（ｉ；ｎ−１）〕を映像合成部６５へ帰還出力する。
【００３２】
映像合成部６５内では、まず第１掛算器６５１が、映像補間部６４による空間的動き補償されて空間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］を受けて時間軸上の加重値（１−ｋ）と乗算する。また、第２掛算器６５２は、１フィールド（又はフレーム）前に出力されて映像メモリ部６６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕を受けて時間軸上の加重値（ｋ）と乗算する。そして、加算器６５３により、第１掛算器６５１及び第２掛算器６５２の各出力が加算され、最終映像〔ｑ（ｉ；ｎ）〕が出力される。
【００３３】
より詳細には、拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）前に出力した拡大副映像〔ｑ（ｉ；ｎ−１）〕とを、次の数式３のようにして巡回型フィルタ方式により時間軸上の加重値ｋ（０＜ｋ≦１）をもって合成し、出力映像〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画素ｑ（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝１，２，……。
【数３】
ｑ（ｉ；ｎ）
＝（１−ｋ）・Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕＋ｋ・ｑ（ｉ；ｎ−１）
【００３４】
実際の撮影のときには、時間軸上の加重値（ｋ）が大きくなると各過去映像の比重が入力映像より大きくなり、約０．５から０．９の間の値を時間軸上の加重値（ｋ）がもつ場合に安定でノイズが減殺された映像を出力できる。図７は、ｋ＝０．５，ｎ＝１である場合に、前の出力映像と入力映像が時間軸上の加重値を置く巡回型フィルタを通過した後の出力映像についての例を、１次元信号で表したものである。
【００３５】
一方、映像の出力において副画素のより正確な値を出力に反映させるためには、０次補間による情報の一律的な拡散よりも、入力映像の動き成分の位相に対して空間的な加重値がより高く制御された映像の拡大の方がよりよく、いっそう解像度が向上する。これを実現したのが図８に示した第２実施形態である。
【００３６】
図９は、カメラの動きによる副画素動きの位相差で標本化された入力映像と以前の出力映像とを、時間軸上の加重値と空間軸上の加重値とをもって合成する原理を表した概念図である。
【００３７】
第２実施形態における動き検出部８１、領域検出部８２、拡大映像補正部８３、映像補間部８４、映像メモリ部８６の各動作は、それぞれ第１実施形態における動き検出部６１、領域検出部６２、拡大映像補正部６３、映像補間部６４、映像メモリ部６６の各動作と同様である。
【００３８】
映像合成部８５は、空間的に動きが補償されて空間的に拡張された映像補間部８４による映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）の以前に出力されて記憶されている映像〔ｑ（ｉ；ｎ−１）〕とを、それぞれ別の時間軸上の加重値及び空間軸上の加重値を置く巡回型フィルタで合成して最終映像〔ｑ（ｉ；ｎ）〕を出力する。即ち、まず映像合成部８５内の第１加算器８５１は、時間軸上の加重値（１−ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加算する。そして第１掛算器８５２が、映像補間部８４による空間的動き補償されて空間的に拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と第１加算器８５１の出力とを乗算する。また、加減器８５３は、時間軸上の加重値（ｋ）と空間軸上の加重値［ｒ〔ｉ−ｖ（ｎ）〕］とを加減する。そして第２掛算器８５４が、１フィールド（又はフレーム）前に出力されて映像メモリ部８６に記憶されている映像〔ｑ（ｉ；ｎ−１）〕と加減器８５４の出力とを乗算する。最後に第２加算器８５５は、第１掛算器８５２及び第２掛算器８５４の各出力を加算して最終映像〔ｑ（ｉ；ｎ）〕を出力する。
【００３９】
より詳細には、拡張された映像［Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕］と、１フィールド（又はフレーム）前（ｎ−１）に出力した拡大副映像〔ｑ（ｉ；ｎ−１）〕とを、次の数式４のようにして巡回型フィルタにより時間軸上の加重値ｋ（０＜ｋ≦１）と空間軸上の加重値ｒ〔ｉ−ｖ（ｎ）〕をもって合成し、出力映像〔ｑ（ｉ；ｎ）〕を決定する。尚、初期出力画素ｑ（ｉ；０）はＰrect（ｉ；０）とする。また、ｎ＝１，２，……。
【数４】
ｑ（ｉ；ｎ）
＝［（１−ｋ）＋ｒ〔ｉ−ｖ（ｎ）〕］・Ｐrect〔ｉ−ｖ（ｎ）；ｎ〕
＋［ｋ−ｒ〔ｉ−ｖ（ｎ）〕］・ｑ（ｉ；ｎ−１）
【００４０】
実際の撮影のときには、時間軸上の加重値（ｋ）が大きい値をもつようになると各過去映像の比重が入力映像より大きくなり、約０．５から０．９の間の値を時間軸上の加重値（ｋ）がもつ場合に安定してノイズが減殺された映像を出力できる。また、入力映像の動き成分による中心位置に空間的に高い加重値をもたせるようにすることによって、解像度の向上に更に寄与することができる。
【００４１】
図９は、ｋ＝０．５，ｎ＝１である場合に、前の出力映像と入力映像とが時間的な巡回型フィルタと空間的制御を通過した出力映像についての例を、１次元信号で表したものである。このとき、空間軸上の加重値ｒ〔ｉ−ｖ（ｎ）〕は周期ｄｉの函数であり、振幅を入力映像の状態に従って調整すると効果的である。
【００４２】
結果的に、時間の経過によるｎ値の増加に従って多数の副画素の動き成分が検出されればされるほど映像の解像度は高くなり、空間的にも安定した映像として受け入れられる。従って、映像メモリによる以前出力値と副画素の動きの位相差が勘案された映像から適切な空間的、時間的加重値を調節して、より高解像度の映像を、巡回型フィルタによる簡単な演算と１つの映像メモリによる簡単な構成で実現できる。
【００４３】
【発明の効果】
以上述べたように本発明によれば、高倍率のズームレンズや高解像／高密度の撮像素子を要せずとも、既存の限定された画素数をもった撮像素子における空間的な解像度の限界を動画像の情報から克服できる。また、基本的に空間的ブレをもつ動映像から動きを検出して画素と画素との間の映像情報を決定することによって高い解像度の映像を得られ、その結果、電子的な補間による映像拡大に際する解像度の劣化を減じることができる。更に、巡回型フィルタ等による映像構成によって解像度を向上させ、手ブレを安定化させた映像を得られ、及び時間的巡回型フィルタの特性によるノイズ減殺効果をもつ高解像度の電子式映像像拡大方法及び映像拡大装置を提供することができる。本発明のこのような効果は全てのカメラ分野で利用可能である。
【図面の簡単な説明】
【図１】入力映像の１次元信号と映像信号の標本化原理を図示した概念図。
【図２】隣接画素からの補間により画素間の映像情報を決定する従来の映像拡大方法を図示した概念図。
【図３】カメラの信号処理に使用される従来の映像拡大装置のブロック図。
【図４】カメラの信号処理に使用される従来の映像安定化機能をもつ映像拡大装置のブロック図。
【図５】本発明の実施形態における、標本化された入力映像を矩形函数の重畳を用い補間して出力を得る原理を表した概念図。
【図６】位相差情報と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第１実施形態を示すブロック図。
【図７】カメラの動きによって副画素動きの位相差で標本化された入力映像と以前の出力映像を、時間軸上の加重値をとって合成する原理を表した概念図。
【図８】位相差情報による適応的な加重値と巡回型フィルタを用いて高解像度の映像を合成する本発明による電子式映像拡大装置の第２実施形態を示すブロック図。
【図９】カメラの動きによる副画素動きの位相差で標本化された入力映像と以前の出力映像とを、時間軸上の加重値と空間軸上の加重値とをもって合成する原理を表した概念図。
【符号の説明】
３１ 撮像素子
３２ Ａ／Ｄ変換器
３３ 電子式映像拡大部
３４ Ｄ／Ａ変換器
４１ 撮像素子
４２ Ａ／Ｄ変換器
４３ 動き検出部
４４ 映像安定化部
４５ 電子映像拡大部
４６ Ｄ／Ａ変換器
６１ 動き検出部
６２ 領域検出部
６３ 拡大映像補正部
６４ 映像補間部
６５ 映像合成部
６６ 映像メモリ部
８１ 動き検出部
８２ 領域検出部
８３ 拡大映像補正部
８４ 映像補間部
８５ 映像合成部
８６ 映像メモリ部
Claims (8)
- 映像信号を入力して水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する動き検出部と、この動き検出部から出力される前記画素単位の水平・垂直動き成分を受けて映像信号を補正し、拡大対象領域を検出する領域検出部と、この領域検出部の出力を入力して検出された映像の画素間の距離を仮想的にかつ空間的に拡大するように該映像の標本化の周期を変更し、前記動き検出部から出力される前記副画素単位の水平・垂直動き成分を受けて映像を補正する拡大映像補正部と、この拡大映像補正部から出力される空間的に拡大された映像に対する既知の全画素情報を受け、該画素情報と提供される矩形函数とを重畳し、その画素を中心に既知の画素情報を隣接した未知の画素に拡張して出力する映像補間部と、この映像補間部から出力される空間的に動き補償されて空間的に拡張された映像、及び、１フィールド（又はフレーム）前に出力されて記憶されている映像を受け、これら２つの入力映像信号を、それぞれ別の加重値をもつ巡回型フィルタで合成して最終映像を出力する映像合成部と、この映像合成部から出力される拡大補間された１フィールド（又はフレーム）の最終出力映像を記憶し、次の映像合成のために記憶した映像を前記映像合成部へ帰還出力する映像メモリ部と、を備えてなることを特徴とする電子式映像拡大装置。
- 映像合成部は、映像補間部から出力される空間的に動き補償されて空間的に拡張された映像と時間軸上の加重値（１−ｋ）とを乗算する第１掛算器と、１フィールド（又はフレーム）前に出力されて記憶されている映像と時間軸上の加重値（ｋ）とを乗算する第２掛算器と、これら第１掛算器及び第２掛算器の各出力を加算して最終映像を出力する加算器と、を有してなる請求項１記載の電子式映像拡大装置。
- 映像合成部は、時間軸上の加重値（１−ｋ）と空間軸上の加重値とを加算する第１加算器と、映像補間部から出力される空間的に動き補償されて空間的に拡張された映像と前記第１加算器の出力とを乗算する第１掛算器と、時間軸上の加重値（ｋ）と空間軸上の加重値とを加減する加減器と、１フィールド（又はフレーム）前に出力されて記憶されている映像と前記加減器の出力とを乗算する第２掛算器と、前記第１掛算器及び第２掛算器の各出力を加算して最終映像を出力する第２加算器と、を有してなる請求項１記載の電子式映像拡大装置。
- 空間軸上の加重値は、入力映像の動き成分による中心位置で高い加重値をもつ請求項３記載の電子式映像拡大装置。
- 映像メモリ部は、１つのフィールドメモリである請求項１記載の電子式映像拡大装置。
- 映像信号を入力する入力段階と、該入力段階による映像信号から水平・垂直の方向に画素単位の動き成分と副画素単位の動き成分を検出する動き検出段階と、前記入力段階による映像信号を、前記動き検出段階において検出された前記画素単位の水平・垂直動き成分で補正し、拡大対象領域を検出する領域検出段階と、該領域検出段階で検出された拡大対象領域の映像の画素間の距離を仮想的にかつ空間的に拡大するように該映像の標本化の周期を変更し、前記動き検出段階による前記副画素単位の水平・垂直動き成分で拡大された映像を補正する映像補正段階と、該映像補正段階で空間的に拡大された映像に対する既知の全画像情報を矩形函数と重畳し、その画素を中心に既知の画素情報を隣接した未知の各画素へ拡張する映像補間段階と、該映像補間段階で空間的に動き補償されて空間的に拡張された映像及び記憶してある１フィールド（又はフレーム）前の映像を、それぞれ別の時間軸上の加重値を置く巡回型フィルタで合成して最終映像を出力する映像合成段階と、出力される拡大補間された１フィールド（又はフレーム）の最終出力を記憶し、前記映像合成段階における次の映像合成の際に記憶した映像を帰還させるための記憶段階と、を含んでなることを特徴とする電子式映像拡大方法。
- 映像合成段階で、２つの入力映像信号にそれぞれ空間軸上の加重値を付加する請求項６記載の電子式映像拡大方法。
- 空間軸上の加重値は、入力映像の動き成分による中心位置で高い加重値をもつ請求項７記載の電子式映像拡大方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950041540A KR0175406B1 (ko) | 1995-11-15 | 1995-11-15 | 고해상도의 전자식 영상확대장치 및 그 방법 |
| KR1995P41540 | 1995-11-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09163216A JPH09163216A (ja) | 1997-06-20 |
| JP4249272B2 true JP4249272B2 (ja) | 2009-04-02 |
Family
ID=19434264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06682296A Expired - Fee Related JP4249272B2 (ja) | 1995-11-15 | 1996-03-22 | 高解像度の電子式映像拡大装置及びその方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5666160A (ja) |
| JP (1) | JP4249272B2 (ja) |
| KR (1) | KR0175406B1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100283574B1 (ko) * | 1996-08-27 | 2001-03-02 | 윤종용 | 모니터 화면 사이즈 제어 회로 및 그 제어방법 |
| US6597394B1 (en) | 1997-11-16 | 2003-07-22 | Pictos Technologies, Inc. | Programmable image transform processor for digital image processing |
| US6580456B1 (en) | 1997-11-16 | 2003-06-17 | Pictos Technologies, Inc. | Programmable timing generator |
| US6750876B1 (en) | 1997-11-16 | 2004-06-15 | Ess Technology, Inc. | Programmable display controller |
| US6538694B1 (en) * | 1997-12-04 | 2003-03-25 | Victor Company Of Japan, Limited | Image pickup apparatus equipped with compatible-with-zooming type contour compensation circuit, compatible-with-image-pickup-conditions type image output circuit, and compatible-with-all-pixel-readout-system-solid-image-pickup-element type electronic zoom circuit |
| US6101235A (en) * | 1998-05-27 | 2000-08-08 | General Electric Company | Methods and apparatus for altering spatial characteristics of a digital image |
| US6476873B1 (en) | 1998-10-23 | 2002-11-05 | Vtel Corporation | Enhancement of a selectable region of video |
| US6463177B1 (en) | 1998-11-04 | 2002-10-08 | Sharp Laboratories Of America, Inc. | Dynamic management of embedded coded images in a digital storage device |
| KR100561449B1 (ko) * | 1999-01-19 | 2006-03-16 | 삼성전자주식회사 | 디지털 줌 아웃 처리 장치 |
| KR100619680B1 (ko) * | 1999-12-07 | 2006-09-06 | 엘지전자 주식회사 | 홍채 인식 시스템의 모션 블러링 교정방법 |
| JP3991543B2 (ja) | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
| US6718074B1 (en) | 2000-06-02 | 2004-04-06 | Cognex Corporation | Method and apparatus for inspection for under-resolved features in digital images |
| JP3913491B2 (ja) * | 2001-04-20 | 2007-05-09 | 三洋電機株式会社 | ディジタルズーム装置 |
| JP4046957B2 (ja) * | 2001-07-05 | 2008-02-13 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置及び方法、並びに記憶媒体 |
| US7657123B2 (en) * | 2001-10-03 | 2010-02-02 | Microsoft Corporation | Text document capture with jittered digital camera |
| CN1327690C (zh) * | 2004-03-19 | 2007-07-18 | 华亚微电子（上海）有限公司 | 一种视频图像缩放过程中的清晰度补偿方法 |
| US20090046176A1 (en) * | 2004-10-18 | 2009-02-19 | Matsushita Electric Industrial Co., Ltd. | Video signal processing apparatus |
| US8149918B2 (en) | 2005-11-10 | 2012-04-03 | Electronics And Telecommunications Research Institute | Method of estimating coded block pattern and method of determining block mode using the same for moving picture encoder |
| US8994877B2 (en) | 2008-07-30 | 2015-03-31 | Semiconductor Components Industries, Llc | Method and system for synchronizing a flash to an imager |
| US20110188583A1 (en) | 2008-09-04 | 2011-08-04 | Japan Science And Technology Agency | Picture signal conversion system |
| US9484946B2 (en) * | 2014-08-25 | 2016-11-01 | Nxp B.V. | Digital-to-analog converter (DAC), method for operating a DAC and transceiver circuit |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5083208A (en) * | 1988-12-26 | 1992-01-21 | Ricoh Company, Ltd. | Electronic zoom apparatus |
| KR940007161B1 (ko) * | 1991-06-21 | 1994-08-06 | 삼성전자 주식회사 | 이미지버퍼를 이용한 전자주밍시스템 |
| US5371539A (en) * | 1991-10-18 | 1994-12-06 | Sanyo Electric Co., Ltd. | Video camera with electronic picture stabilizer |
| JPH06205271A (ja) * | 1992-12-28 | 1994-07-22 | Canon Inc | カメラ一体型ビデオカメラ |
-
1995
- 1995-11-15 KR KR1019950041540A patent/KR0175406B1/ko not_active IP Right Cessation
-
1996
- 1996-03-22 JP JP06682296A patent/JP4249272B2/ja not_active Expired - Fee Related
- 1996-06-03 US US08/656,808 patent/US5666160A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09163216A (ja) | 1997-06-20 |
| KR970032151A (ko) | 1997-06-26 |
| KR0175406B1 (ko) | 1999-03-20 |
| US5666160A (en) | 1997-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4249272B2 (ja) | 高解像度の電子式映像拡大装置及びその方法 | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| US7750942B2 (en) | Image processing apparatus and method, recording medium, and program for correcting camera shake | |
| US8009934B2 (en) | Image processing method and apparatus setting spatial decimation to movement within image regions | |
| JP4342493B2 (ja) | 手ぶれ補正装置 | |
| JPH02246686A (ja) | 画像の動きベクトル検出装置および揺れ補正装置 | |
| JP4674620B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| WO2017195267A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| KR100232113B1 (ko) | 동벡터검출장치 | |
| US20080107358A1 (en) | Image Processing Apparatus, Image Processing Method, and Computer Program | |
| JP2641599B2 (ja) | 動きベクトル検出装置 | |
| JP2621468B2 (ja) | ビデオカメラ装置 | |
| JP2621469B2 (ja) | ビデオカメラ装置 | |
| JPH0767025A (ja) | 映像処理装置 | |
| JPH08279949A (ja) | 電子ズーム処理装置および電子ズーム処理方法 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JPH07177407A (ja) | 撮像装置 | |
| JPH1153530A (ja) | 画像補間装置 | |
| JP3374431B2 (ja) | 補間機能付き撮像装置 | |
| JP3242164B2 (ja) | 画像信号の走査線数変換装置 | |
| GB2343317A (en) | Video motion detection | |
| JP2810814B2 (ja) | 動きベクトル検出装置及びカメラ一体型手振れ補正装置 | |
| JP2989701B2 (ja) | 画像ライン補間回路及び撮像装置 | |
| JP3271275B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JPH0411471A (ja) | 動き検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040831 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041217 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041222 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081105 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |