JP4767313B2

JP4767313B2 - 画像処理装置、方法およびプログラム

Info

Publication number: JP4767313B2
Application number: JP2008334955A
Authority: JP
Inventors: 和男寅市; 啓輔亀山; 華世子平野
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2011-09-07
Anticipated expiration: 2028-12-26
Also published as: JP2010157094A

Description

本発明は、動画の一部を拡大する画像処理装置、方法およびプログラムに関する。

なお、本明細書においては、関数値が局所的な領域（標本位置を除く）の全部あるいは一部において０以外の有限の値を有し、それ以外の領域で０となる場合を「有限台」と称して説明を行うものとする。

画像の補間とは、画像の拡大、縮小、回転、変形、解像度の変更などの操作を行うときに、元の画像を構成する各画素の間に中間の色を生成したり、隣り合う画素の色を平均化する技術の総称である。従来から、画像を補間する手法としては、バイ・リニア法、バイ・キュービック法、ニアレスト・ネイバー法などの各種の方法が知られている（例えば、特許文献１参照。）。
特開２００８−１５４２３７号公報

ところで、防犯カメラの撮影によって得られた動画像の一部を拡大したい場合がある。例えば、動画像の一部に含まれる不審者の画像を拡大するような場合である。ところが、一般に静止画に比べると動画の解像度は低く設定されているため、高精細な静止画を拡大する場合に比べると、拡大後の画像の画質が低下するという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、動画の一部を拡大する際の画質の低下を防止することができる画像処理装置、方法およびプログラムを提供することにある。

上述した課題を解決するために、本発明の画像処理装置は、動画から抽出される２つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第１および第２フレームの画像データを取得する画像データ取得手段と、第１フレームにおいて部分画像に対応する画像データと、第２フレームにおいて部分画像に対応する画像データとを用いて、部分画像の拡大処理を行う拡大処理手段とを備えている。

また、本発明の画像処理方法は、動画から抽出される２つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第１および第２フレームの画像データを画像データ取得手段によって取得する画像データ取得ステップと、第１フレームにおいて部分画像に対応する画像データと、第２フレームにおいて部分画像に対応する画像データとを用いて、部分画像の拡大処理を拡大処理手段によって行う拡大処理ステップとを有している。

また、本発明の画像処理プログラムは、コンピュータを、動画から抽出される２つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第１および第２フレームの画像データを取得する画像データ取得手段と、第１フレームにおいて部分画像に対応する画像データと、第２フレームにおいて部分画像に対応する画像データとを用いて、部分画像の拡大処理を行う拡大処理手段として機能させる。

また、上述した第１フレームの画像データには、部分画像を構成する第１の画素の画素
値が含まれており、第２フレームの画像データには、部分画像を構成する第２の画素の画素値が含まれており、第１および第２フレームのそれぞれに対応する部分画像を重ねたときに、第１の画素の画素位置と第２の画素の画素位置とがずれている。

また、上述した拡大処理手段は、複数の第１の画素の間あるいは複数の第２の画素の間に補間画素を設定し、この補間画素の画素値の算出を、第１および第２の画素の両方の画素値を用いて行う。

また、上述した部分画像に含まれるエッジの方向を算出するエッジ方向算出手段をさらに備え、拡大処理手段は、エッジ方向算出手段で算出されたエッジの方向に沿って補間画素の画素値を算出する。

また、上述した拡大処理手段は、補間画素を通るエッジ方向に沿ったライン上に、第１の画素に基づいて画素値が算出される第１の補助画素と、第２の画素に基づいて画素値が算出される第２の補助画素とを生成し、これら第１および第２の補助画素の画素値を用いて補間画素の画素値を算出する。

また、上述した第１および第２の補助画素の画素値を用いた補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われることが望ましい。

本発明によると、動画に含まれる２フレーム分の画像データを用いることにより、拡大対象となる画像の画素数を増やすことができるため、動画の一部を拡大する際の画質の低下を防止することができる。

以下、本発明を適用した一実施形態の画像処理装置について、図面に基づいて詳細に説明する。

図１は、一実施形態の画像処理装置の構成を示す図である。図１に示すように、本実施形態の画像処理装置は、動画格納部１０、表示処理部６０、表示部７０、画像処理部１００を含んで構成されている。画像処理部１００は、フレーム抽出部１２、フレームメモリ１４、１６、拡大対象抽出部２０、拡大対象指示部２２、補間対象画素決定部３０、補間位置決定部３２、拡大倍率指定部３４、エッジ方向算出部４０、補助画素算出部４２、補助画素格納部４４、不均等補間処理部５０、拡大画像格納部５２を備えている。この画像処理装置は、動画として取り込まれた原画像の一部を拡大して静止画像として表示を行うものである。

上述したフレーム抽出部１２が画像データ取得手段に、拡大対象抽出部２０、補間対象画素決定部３０、補間位置決定部３２、補助画素算出部４２、不均等補間処理部５０が拡大処理手段に、エッジ方向算出部４０がエッジ方向算出手段にそれぞれ対応する。また、フレーム抽出部１２による動作が画像データ取得ステップの動作に、拡大対象抽出部２０、補間対象画素決定部３０、補間位置決定部３２、補助画素算出部４２、不均等補間処理部５０による動作が拡大処理ステップの動作に、エッジ方向算出部４０による動作がエッジ方向算出ステップの動作にそれぞれ対応する。

また、上述した画像処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータの構成によって実現することができる。この場合に、動作格納部１０やフレームメモリ１４、１６、補助画素格納部４４、拡大画像格納部５２はハードディスク装置や半導体メモリによって構成することが可能である。拡大対象抽出部２０、補間対象画素決定部３０、補間位置決定部３２、エッジ方向算出部４０、補助画素算出部４２、不均等補間処理部５０は、ＲＯＭやＲＡＭあるいはハードディスク装置等に格納された所定の画像処理プログラムをＣＰＵで実行することにより実現することができる。

最初に、本実施形態における画像拡大処理の原理について説明する。図２は、動画に含まれる連続する２枚のフレーム画像を示す図である。図２（Ａ）には１枚目のフレーム（第１フレーム）に対応する画像が、図２（Ｂ）には２枚目のフレーム（第２フレーム）に対応する画像が示されている。例えば、所定の固定位置に設置されたＣＣＤカメラで撮影した動画を考えるものとする。また、図２（Ａ）、（Ｂ）に含まれる部分画像Ｍ１、Ｍ２が動いている共通の被写体を示しており、この部分画像Ｍ１、Ｍ２は図２（Ａ）に示される第１フレームと図２（Ｂ）に示される第２フレームでは位置が変化している。本実施形態では、このように動きのある部分画像Ｍ１を拡大対象としており、利用者がこの部分画像Ｍ１を含む範囲Ｗを指定することで範囲Ｗに含まれる動きのある部分画像Ｍ１が拡大対象として抽出される。

図３は、第１および第２フレームの部分画像を各フレーム内での絶対座標を一致させて重ねた図である。図３において、Ｍ１は第１フレームの画像に含まれる部分画像を、Ｍ２は第２フレームの画像に含まれる部分画像をそれぞれ示している。また、格子状の水平線および垂直線は画素間隔に対応しており、これらの線が交差した位置に画素が存在する。

本実施形態の拡大処理は、図３に示す２つの部分画像Ｍ１、Ｍ２のように、本来は同じ画像であるが実際には画素間隔未満のずれが生じることを利用して補間精度を上げる点に特徴がある。

図４は、２つの部分画像を画素間隔の整数倍ずらして重ね合わせた場合の説明図である。部分画像Ｍ１、Ｍ２のそれぞれに対応する画像データは複数の画素の画素値によって構成されており、これら２つの部分画像Ｍ１、Ｍ２を画素間隔の整数倍ずらして重ね合わせても、画素間隔未満のずれが生じてしまう（偶然、画素間隔未満のずれが生じない場合もあり得る）。

図５は、２つの部分画像を完全に重ね合わせた場合の説明図である。図５において、実線で示された水平線および垂直線は第１フレームの画素位置を示すものであり、これら水平線と垂直線とが交わる位置に画素が存在する。また、点線で示された水平線および垂直線は第２フレームの画素位置を示すものであり、これら水平線と垂直線とが交わる位置に画素が存在する。このように、部分画像Ｍ１と部分画像Ｍ２とを真に重ね合わせることができれば、部分画像Ｍ１を構成する複数の画素とは別の位置に部分画像Ｍ２を構成する複数の画素を配置することができ、拡大対象となる部分画像を構成する画素数を２倍に増やすことができる。

ところで、図４に示す部分画像Ｍ１に対して部分画像Ｍ２がどの程度ずれているかは、部分画像Ｍ２を水平方向Ｈあるいは垂直方向Ｖに沿って画素間隔の整数倍移動させた後の部分画像と部分画像Ｍ１との相関を演算することにより求めることができる。図６は、２つの部分画像の相関値を示す図である。縦軸Ｓは相関値を示し、横軸は部分画像Ｍ２を水平方向Ｈに沿って移動させた移動量であり、画素間隔を１として正規化してある。このようにして得られた相関値は画素間隔の整数倍に対応した離散値となるが、これらの離散値を通る自由曲線（例えば２次スプラインや３次スプライン等）を決定し、そのピークｐを求めることにより、ずれδの値を正確に知ることができる。垂直方向Ｖについても同様である。

なお、上記で説明した画像のずれ量検出方法は水平方向、垂直方向に分けて演算する方法を示したが、水平方向座標Ｈ、垂直方向座標Ｖとしたとき、画像の濃淡をｆ（Ｈ，Ｖ）の２変数関数で近似し、第１フレームの濃淡ｆ１（Ｈ，Ｖ）と第２フレームの濃淡ｆ２（Ｈ，Ｖ）との相関演算により求めることもできる。

次に、上述したずれδを考慮して拡大処理を行う原理について説明する。図７は、拡大対象となる部分画像を構成する画素の配置を示す図である。図７において、実線の水平線と垂直線の交点に位置する画素（○）は、第１フレームに含まれた部分画像Ｍ１に対応する画素である。また、点線の水平線と垂直線の交点に位置する画素（△）は、第２フレームに含まれた部分画像Ｍ２に対応する画素である。

図８は、部分画像を拡大する場合の補間画素の配置を示す図である。例えば、部分画像を５倍に拡大する場合を考えると、図８に示すように、○で示された画素Ｐ１〜Ｐ４の間に新たな補間画素（●）を発生させる必要がある。本実施形態では、これらの補間画素の画素値を、第１フレームの部分画像Ｍ１の画素Ｐ１等と第２フレームの部分画像Ｍ２の画素Ｑ１等の各画素値を用いて演算する。

ところで、画像の拡大を考えた場合に、部分画像に含まれるエッジ（輪郭線）に沿った向きに補間演算を行うことにより、輪郭線に沿ってジャギーが発生することを防止することができる。したがって、本実施形態では、部分画像に含まれるエッジの向きに補間処理を行う。

図９は、エッジ方向推定の概要を示す図である。図９において、Ｐ１、Ｐ２、Ｐ３、Ｐ４は、第１フレームの部分画像Ｍ１に含まれる４つの画素を示している（図８に示したＰ１〜Ｐ４と同じ）。また、矢印Ａは濃度勾配を、矢印Ｌは濃度勾配と直交するエッジ方向を示している。

平面近似式をａｘ＋ｂｙ＋ｃ＝Ｐとし、画素位置（ｘ_i，ｙ_i）における濃度をＰｋとすると、以下の式が成立する。

この式から濃度勾配ｒ＝−ａ／ｂが算出され、濃度勾配に垂直な向きＲ＝ｂ／ａをエッジ方向として推定することができる。

図１０は、エッジ方向に沿った補間処理の概要を示す図である。例えば、補間画素Ｐの画素値を補間処理によって求めるものとする。この補間画素Ｐの画素値は、エッジ方向Ｌに沿って存在する４つの補助画素Ａ１、Ｂ１、Ａ２、Ｂ２の各画素値を用いて行われる。ここで、補助画素Ａ１の画素値は、第１フレームの部分画像の画素Ｐ１、Ｐ３等の画素値を用いて算出される。補助画素Ａ２の画素値は、第１フレームの部分画像の画素Ｐ３、Ｐ４等の画素値を用いて算出される。補助画素Ｂ１の画素値は、第２フレームの部分画像の画素Ｑ１、Ｑ３等の画素値を用いて算出される。補助画素Ｂ２の画素値は、第２フレームの部分画像の画素Ｑ３、Ｑ４等の画素値を用いて算出される。

これらの補助画素の画素値を算出する補間演算は、例えば図１１に示す標本化関数を用いて行われる。この標本化関数φ（ｔ）は、以下の式で示される区分多項式であり、補間位置を中心に左右２画素（図１０に示す例では、補間位置を中心に上下２画素あるいは左右２画素）の画素値を用いて補間画素の画素値を算出することができる。

φ（ｔ）＝−１．７５｜ｔ｜²＋１．０（｜ｔ｜≦０．５）
１．２５｜ｔ｜²−３．０｜ｔ｜＋１．７５（０．５＜｜ｔ｜≦１．０）
０．７５｜ｔ｜²−２．０｜ｔ｜＋１．２５（１．０＜｜ｔ｜≦１．５）
−０．２５｜ｔ｜²＋｜ｔ｜−１．０（１．５＜｜ｔ｜≦２．０）
０（２．０＜｜ｔ｜）
ところで、上述した標本化関数は、標本位置が等間隔に配置されていることを前提としており、上述した４つの補助画素Ａ１、Ｂ１、Ａ２、Ｂ２のように画素間隔が等間隔でない場合（不均等間隔の場合）には補間処理に用いることができない。

そこで、補間画素Ｐの画素値を求める補間処理では、不均等間隔の標本位置に対応した別の標本化関数（不均等標本化関数）が用いられる。図１２は、不均等間隔の標本位置に対応した不均等標本化関数を示す図である。この不均等標本化関数は、不均等な間隔として与えられる標本位置（画素間隔）に対して、有限台の区間の標本点｛ｔ_i｝（ｉ＝−２，−１，０，１，２）の４標本区間を［ｔ_i，（ｔ_i＋ｔ_i+1）／２］区間毎に８区間に分割し、その間の関数ｓ_iを以下に示すｔの２次式で表したものである。ｔ_iは標本位置を表す。

ｓ₁（ｔ）＝ａ₁ｔ²＋ｂ₁ｔ＋ｃ₁ ［ｔ_-2，（ｔ_-2＋ｔ_-1）／２］
ｓ₂（ｔ）＝ａ₂ｔ²＋ｂ₂ｔ＋ｃ₂ ［（ｔ_-2＋ｔ_-1）／２，ｔ_-1］
ｓ₃（ｔ）＝ａ₃ｔ²＋ｂ₃ｔ＋ｃ₃ ［ｔ_-1，（ｔ_-1＋ｔ₀）／２］
ｓ₄（ｔ）＝ａ₄ｔ²＋ｂ₄ｔ＋ｃ₄ ［（ｔ_-1＋ｔ₀）／２，ｔ₀］
ｓ₅（ｔ）＝ａ₅ｔ²＋ｂ₅ｔ＋ｃ₅ ［ｔ₀，（ｔ₀＋ｔ₁）／２］
ｓ₆（ｔ）＝ａ₆ｔ²＋ｂ₆ｔ＋ｃ₆ ［（ｔ₀＋ｔ₁）／２，ｔ₁］
ｓ₇（ｔ）＝ａ₇ｔ²＋ｂ₇ｔ＋ｃ₇ ［ｔ₁，（ｔ₁＋ｔ₂）／２］
ｓ₈（ｔ）＝ａ₈ｔ²＋ｂ₈ｔ＋ｃ₈ ［（ｔ₁＋ｔ₂）／２，ｔ₂］
この式において、次の条件を満たす不均等標本化関数が決定される。
（１）各関数の接合点（標本位置およびその中間点）において値と傾きが連続である。
（２）各関数の接合点での値は、ｔ₀以外の標本位置では０である。
（３）標本位置の中間点における関数値は、標本位置における誤差が最小になるように決定される。上記の条件を満たす不均等標本化関数は以下のように表すことができる。

ｓ₁（ｔ）＝−Ｂ₁（ｔ−ｔ_-2）²
ｓ₂（ｔ）＝Ｂ₁（３ｔ−ｔ_-1−２ｔ_-2）（ｔ−ｔ_-1）
ｓ₃（ｔ）＝−Ｂ₂（３ｔ−２ｔ₀−ｔ_-1）（ｔ−ｔ_-1）
＋２（ｔ−ｔ_-1）²／（ｔ₀−ｔ_-1）²
ｓ₄（ｔ）＝Ｂ₂（ｔ−ｔ₀）²−２（ｔ−ｔ₀）²／（ｔ₀−ｔ_-1）²
ｓ₅（ｔ）＝Ｂ₃（ｔ−ｔ₀）²−２（ｔ−ｔ₀）²／（ｔ₀−ｔ₁）²
ｓ₆（ｔ）＝−Ｂ₃（３ｔ−２ｔ₀−ｔ₁）（ｔ−ｔ₁）
＋２（ｔ−ｔ₁）²／（ｔ₀−ｔ₁）²
ｓ₇（ｔ）＝Ｂ₄（３ｔ−ｔ₁−２ｔ₂）（ｔ−ｔ₁）
ｓ₈（ｔ）＝−Ｂ₄（ｔ−ｔ₂）²
Ｂ₁＝（ｔ₀−ｔ_-2）／（４（ｔ₀−ｔ_-1）²（ｔ_-1−ｔ_-2）＋４（ｔ_-1−ｔ_-2）³）
Ｂ₂＝（ｔ₀−ｔ_-2）／（４（ｔ₀−ｔ_-1）（ｔ_-1−ｔ_-2）²＋４（ｔ₀−ｔ_-1）³）
Ｂ₃＝（ｔ₂−ｔ₀）／（４（ｔ₂−ｔ₁）²（ｔ₁−ｔ₀）＋４（ｔ₁−ｔ₀）³）
Ｂ₄＝（ｔ₂−ｔ₀）／（４（ｔ₂−ｔ₁）（ｔ₁−ｔ₀）²＋４（ｔ₂−ｔ₁）³）
この式で表された不均等標本化関数を用いて補間画素Ｐの画素値を求める演算は、具体的には以下のようにして行われる。
（ａ）補助画素Ａ１をｔ₀に、補助画素Ｂ１をｔ₁に、補助画素Ａ２をｔ₂に対応させて、補間画素Ｐに対応する関数値１を演算する。この演算では、不均等標本化関数のｔ₀における関数値が補助画素Ａ１の画素値に一致するように、不均等標本化関数の式に補助画素Ａ１の画素値が乗算される。
（ｂ）補助画素Ａ１をｔ_-1に、補助画素Ｂ１をｔ₀に、補助画素Ａ２をｔ₁に、補助画素Ｂ２をｔ₂に対応させて、補間画素Ｐに対応する関数値２を演算する。この演算では、不均等標本化関数のｔ₀における関数値が補助画素Ｂ１の画素値に一致するように、不均等標本化関数の式に補助画素Ｂ１の画素値が乗算される。
（ｃ）補助画素Ａ１をｔ_-2に、補助画素Ｂ１をｔ_-1に、補助画素Ａ２をｔ₀に、補助画素Ｂ２をｔ₁に対応させて、補間画素Ｐに対応する関数値３を演算する。この演算では、不均等標本化関数のｔ₀における関数値が補助画素Ａ２の画素値に一致するように、不均等標本化関数の式に補助画素Ａ２の画素値が乗算される。
（ｄ）補助画素Ｂ１をｔ_-2に、補助画素Ａ２をｔ_-1に、補助画素Ｂ２をｔ₀に対応させて、補間画素Ｐに対応する関数値４を演算する。この演算では、不均等標本化関数のｔ₀における関数値が補助画素Ｂ２の画素値に一致するように、不均等標本化関数の式に補助画素Ｂ２の画素値が乗算される。
（ｅ）このようにして演算された４つの関数値１〜４の合計値が補間画素Ｐの画素値となる。同様にして、全て補間画素について画素値の演算が行われる。

図１３は、本実施形態の画像処理装置の動作手順を示す流れ図である。以下、図１に示した画像処理装置の各構成の動作を、図１３に示す動作手順にしたがって説明する。

動画格納部１０は、動画像として取り込まれた画像データをフレーム単位で格納する。例えば、所定の固定位置に設置されたＣＣＤカメラによる撮影が行われ、このＣＣＤカメラから１／３０秒間隔でフレーム単位の画像データが出力され、動画格納部１０に格納される。

フレーム抽出部１２は、連続する２フレーム分（図２（Ａ）に示す第１フレームと図２（Ｂ）に示す第２フレーム）の画像データを抽出する（ステップ１００）。第１フレームの画像データはフレームメモリ１４に格納される。第２フレームの画像データはフレームメモリ１６に格納される。また、フレームメモリ１４に格納された第１フレームの画像データは、表示処理部６０に送られて静止画として表示部７０に表示される。

拡大対象抽出部２０は、第１フレームの画像に含まれる部分画像Ｍ１を拡大対象画像として抽出する（ステップ１０１）。この拡大対象画像の抽出は、拡大対象指示部２２による指示に応じて行われる。例えば、利用者によってマウス等のポインティングデバイスが操作され、表示中の静止画の一部の領域（図２（Ａ）にＷで示されている）が指定されると、拡大対象指示部２２は、この指定された領域を拡大対象抽出部２０に向けて出力する。拡大対象抽出部２０は、指定された領域に含まれる動きのある部分画像Ｍ１を拡大対象画像として抽出する。

なお、本実施形態では、拡大対象画像として動きのある部分画像Ｍ１のみが抽出される。例えば、拡大対象抽出部２０は、フレームメモリ１４、１６から読み出した２フレーム分の画像データを比較することで動きのある部分を判別し、拡大対象指示部２２によって指定された領域に含まれる動きのある部分画像Ｍ１を抽出する。

補間対象画素決定部３０は、拡大対象画像に対応する２フレーム分の部分画像Ｍ１、Ｍ２に含まれる各画素（補間対象画素）を決定する（ステップ１０２）。部分画像Ｍ１、Ｍ２内を構成する各画素（図７において○あるいは△で示されている）が補間対象画素として決定される。

補間位置決定部３２は、拡大倍率指定部３４によって指定された拡大倍率（例えば、利用者が任意の値を入力したり複数の候補値からいずれかを選択することで拡大倍率を設定することができるものとする）に基づいて、図８において●で示された補間位置（補間画素の位置）を決定する（ステップ１０３）。

エッジ方向算出部４０は、第１フレームの部分画像Ｍ１に含まれる各画素の画素値（図８、図９ではＰ１〜Ｐ４で示された各画素の画素値）に基づいて、補間画素が含まれる領域における画像のエッジ方向Ｌを算出する（ステップ１０４）。

補助画素算出部４２は、補間対象画素決定部３０によって決定された補間対象画素と補間位置決定部３２によって決定された補間位置と、エッジ方向算出部４０によって算出されたエッジ方向Ｌとに基づいて補助画素（図１０ではＡ１、Ａ２、Ｂ１、Ｂ２で示されている）の画素位置および画素値を算出する（ステップ１０５）。算出された補助画素に関する情報（画素位置および画素値）は補助画素格納部４４に格納される。

不均等補間処理部５０は、補助画素格納部４４に格納された補助画素に関する情報と不均等標本化関数を用いて、補間位置決定部３２によって決定された各補間画素の画素値を演算する（ステップ１０６）。このようにして求められた補間画素の画素値は拡大画像格納部５２に格納された後（ステップ１０７）、表示処理部６０によって読み出されて部分画像Ｍ１を所定倍数（例えば５倍）で拡大した画像が表示部７０に表示される（ステップ１０８）。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上述した実施形態では、補間位置を包囲する４つの画素の画素値に基づいて画像の濃度勾配およびエッジ方向を算出したが、より多くの数の画素（例えば１６画素）の画素値を用いて濃度勾配やエッジ方向を算出するようにしてもよい。

また、上述した実施形態では、連続する２つのフレームの画像データを抽出したが、部分画像の動きが遅い場合などでは、連続しない２つのフレーム（例えば、１番目のフレームと３番目のフレーム）の画像データを抽出するようにしてもよい。

一実施形態の画像処理装置の構成を示す図である。動画に含まれる連続する２枚のフレーム画像を示す図である。第１および第２フレームの部分画像を各フレーム内での絶対座標を一致させて重ねた図である。２つの部分画像を画素間隔の整数倍ずらして重ね合わせた場合の説明図である。２つの部分画像を完全に重ね合わせた場合の説明図である。２つの部分画像の相関値を示す図である。拡大対象となる部分画像を構成する画素の配置を示す図である。部分画像を拡大する場合の補間画素の配置を示す図である。エッジ方向推定の概要を示す図である。エッジ方向に沿った補間処理の概要を示す図である。補助画素の演算に用いられる標本化関数を示す図である。不均等間隔の標本位置に対応した不均等標本化関数を示す図である。本実施形態の画像処理装置の動作手順を示す流れ図である。

符号の説明

１０動画格納部
１２フレーム抽出部
１４、１６フレームメモリ
２０拡大対象抽出部
２２拡大対象指示部
３０補間対象画素決定部
３２補間位置決定部
３４拡大倍率指定部
４０エッジ方向算出部
４２補助画素算出部
４４補助画素格納部
５０不均等補間処理部
５２拡大画像格納部
６０表示処理部
７０表示部
１００画像処理部

Claims

動画から抽出される２つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第１および第２フレームの画像データを取得する画像データ取得手段と、
前記第１フレームにおいて前記部分画像に対応する画像データと、前記第２フレームにおいて前記部分画像に対応する画像データとを用いて、前記部分画像の拡大処理を行う拡大処理手段と、
前記部分画像に含まれるエッジの方向を算出するエッジ方向算出手段と、
を備え、前記第１フレームの画像データには、前記部分画像を構成する第１の画素の画素値が含まれており、
前記第２フレームの画像データには、前記部分画像を構成する第２の画素の画素値が含まれており、
前記第１および第２フレームのそれぞれに対応する前記部分画像を重ねたときに、前記第１の画素の画素位置と前記第２の画素の画素位置とがずれており、
前記拡大処理手段は、複数の前記第１の画素の間あるいは複数の前記第２の画素の間に補間画素を設定し、前記補間画素を通る前記エッジ方向に沿ったライン上に、前記第１の画素に基づいて画素値が算出される第１の補助画素と、前記第２の画素に基づいて画素値が算出される第２の補助画素とを生成し、これら第１および第２の補助画素の画素値を用いて前記補間画素の画素値を算出することを特徴とする画像処理装置。
請求項１において、
前記第１および第２の補助画素の画素値を用いた前記補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われることを特徴とする画像処理装置。
動画から抽出される２つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第１および第２フレームの画像データを画像データ取得手段によって取得する画像データ取得ステップと、
前記第１フレームにおいて前記部分画像に対応する画像データと、前記第２フレームにおいて前記部分画像に対応する画像データとを用いて、前記部分画像の拡大処理を拡大処理手段によって行う拡大処理ステップと、
前記部分画像に含まれるエッジの方向をエッジ方向算出手段によって算出するエッジ方向算出ステップと、
を有し、前記第１フレームの画像データには、前記部分画像を構成する第１の画素の画素値が含まれており、
前記第２フレームの画像データには、前記部分画像を構成する第２の画素の画素値が含まれており、
前記第１および第２フレームのそれぞれに対応する前記部分画像を重ねたときに、前記第１の画素の画素位置と前記第２の画素の画素位置とがずれており、
前記拡大処理手段は、複数の前記第１の画素の間あるいは複数の前記第２の画素の間に補間画素を設定し、前記補間画素を通る前記エッジ方向に沿ったライン上に、前記第１の画素に基づいて画素値が算出される第１の補助画素と、前記第２の画素に基づいて画素値が算出される第２の補助画素とを生成し、これら第１および第２の補助画素の画素値を用いて前記補間画素の画素値を算出することを特徴とする画像処理方法。
請求項３において、
前記第１および第２の補助画素の画素値を用いた前記補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われることを特徴とする画像処理方法。
コンピュータを、
動画から抽出される２つのフレームであってそれぞれのフレーム内での位置がずれている共通の部分画像が含まれる第１および第２フレームの画像データを取得する画像データ取得手段と、
前記第１フレームにおいて前記部分画像に対応する画像データと、前記第２フレームにおいて前記部分画像に対応する画像データとを用いて、前記部分画像の拡大処理を行う拡大処理手段と、
前記部分画像に含まれるエッジの方向を算出するエッジ方向算出手段と、
して機能させるための画像処理プログラムであって、
前記第１フレームの画像データには、前記部分画像を構成する第１の画素の画素値が含まれており、
前記第２フレームの画像データには、前記部分画像を構成する第２の画素の画素値が含まれており、
前記第１および第２フレームのそれぞれに対応する前記部分画像を重ねたときに、前記第１の画素の画素位置と前記第２の画素の画素位置とがずれており、
前記拡大処理手段は、複数の前記第１の画素の間あるいは複数の前記第２の画素の間に補間画素を設定し、前記補間画素を通る前記エッジ方向に沿ったライン上に、前記第１の画素に基づいて画素値が算出される第１の補助画素と、前記第２の画素に基づいて画素値が算出される第２の補助画素とを生成し、これら第１および第２の補助画素の画素値を用いて前記補間画素の画素値を算出する画像処理プログラム。
請求項５において、
前記第１および第２の補助画素の画素値を用いた前記補助画素の画素値の算出は、標本位置が不均等間隔な標本化関数を用いて行われる画像処理プログラム。