JP5661359B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、複数の画像間の動きベクトルを決定する画像処理装置、画像処理方法、及びプログラムに関する。

従来、複数のフレーム間の動きベクトルを計算して、フレーム間の位置合わせを行う技術が開示されている。

基準画像とは動画フレームの中の任意の画像フレームのことである。基準画像の動きベクトルを計算する際に、画像を特徴づける特徴点が用いられている。具体的には、基準画像の特徴点と、この特徴点に対応する比較画像におけるある領域との間の差分を計算することで基準画像の動きベクトルの計算が行われている。また、特許文献１には、不規則に配置される各特徴点の動きベクトルによってフレーム間の位置を合わせるにあたり、画像を特徴点からなる三角形の領域に分割する方法が開示されている。即ち、特徴点を頂点とする三角形に画像を分割することで、三角形内部の画素または領域についての動きベクトルを、その三角形を構成する特徴点の動きベクトルで推定（補間）することができる。このため、特徴点が不規則に配置されていても、ある種の規則性をもつ動きベクトルを計算することが可能となっている。

特許第３９３５５００号公報

しかしながら、上記特許文献１に記載の技術は、特徴点の配置によって、極端に歪みの大きな三角形が出現するという課題がある。そして、歪みの大きな三角形で動きベクトルを補間するときには、以下のような問題が発生する。

すなわち、分割された領域を構成する特徴点間の距離が離れてしまうことで、領域内部の画素等における動きベクトル推定が、かなり遠く離れた特徴点の動きベクトルで補間されるので補間精度が低下することがある。加えて、領域の歪みそのものが大きくなりすぎると、内部の補間精度そのものが維持できなくなる可能性がある、という課題がある。

従って、本発明は画像の領域分割を適切に行って、画像に含まれる画素に対して決定される動きベクトルの精度を向上させる。

本発明にかかる画像処理装置は、動画像に含まれる複数の矩形のフレームを取得する取得手段と、前記取得手段が取得した複数のフレームに含まれるフレームを解析して、当該フレームの特徴点を抽出する抽出手段と、前記フレームのアスペクト比に応じた数の特徴点を、当該フレームの４辺の辺上に追加する追加手段と、前記抽出手段が抽出した特徴点及び前記追加手段が前記４辺の辺上に追加した特徴点に基づいて、前記フレームに含まれる画素の、前記複数のフレームに含まれる他のフレームに対する動きベクトルを決定する決定手段と、を備えることを特徴とする。

本発明は、本発明は画像の領域分割を適切に行って、画像に含まれる画素の動きベクトルの精度を向上させることができる。

本発明の実施形態にかかる画像処理装置のブロック構成の一例を示す図である。 フレーム多重画像作成方法の概要を示す概念図である。 本発明の実施形態にかかる画像処理のフローチャートを示す図である。 追加した特徴点を含む特徴点で画像を三角形領域に分割した一例を示す図である。 注目画素の動きベクトルを三角形の面積補間で求めることを示す図である。 実施形態１の画像処理のフローチャートを示す図である。 特徴点で画像を三角形領域に分割した一例を示す図である。 特徴点で画像を三角形領域に分割した一例を示す図である。 特徴点の分布を解析する領域を示す図である。

以下、本発明の実施の形態について詳細に説明する。

＜実施形態１＞
図１に実施形態１で使用する画像処理装置のブロック図を示す。画像処理装置として、ＰＣ（Personal Computer）を使用すると想定して説明する。

ＣＰＵ １０１は、中央演算ユニット(Central Processing Unit)で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックとの間でデータのやり取りを制御する機能を提供している。

ＲＯＭ（Read Only Memory) １０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Basic Input/Output System）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。

ＲＡＭ（Random Access Memory）１０４は、高速の読み書き可能な記憶領域を提供する。２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Hard Disk Drive）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Operating System)が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ(Graphical User Interface)を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。

ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ １０４または２次記憶装置１０５に格納される。

表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Cathode Ray Tube)ディスプレイが使用できる。

Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Universal Serial Bus)やＰＳ／２（Personal System/2)がある。

入力装置１０９には、キーボード、マウスといったユーザの意志を画像処理装置に入力するものがある。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Compact Flash)メモリ、ＳＤ(Secure Digital)メモリカードといった記憶装置などを接続することで、画像データを転送することも可能である。

出力装置１１０にはプリンターが接続され、所望の印刷結果を得ることが可能である。本実施形態にかかる画像処理を実現するアプリケーションは、２次記憶装置１０５に格納され、ユーザの操作で起動するアプリケーションとして提供される。

図２は、本実施形態のフレーム多重画像作成方法の概要を示す概念図である。ビデオデータ２０１は、複数のフレーム画像で構成されている。このビデオデータ２０１から指定された範囲内でＮ枚（Ｎは２以上の整数）のフレーム群２０２を選択して、これらフレーム画像間の位置関係を推定して多重画像（フレーム合成画像）２０５を作成する。

なお、図２では、３枚（Ｎ＝３）のフレームが、選択されている様子を示している。以下、ユーザの指定したフレーム２０３を特に基準画像、その近傍にあるフレーム２０４を比較画像と記述する。なお、図２に示しているように、比較画像２０４は基準画像２０３に最も近いフレーム画像だけを意味するものではなく、基準画像の近くの画像であればいずれの画像であってもよい。なお、基準画像の近くの画像とは、ビデオフレームにおいて時間的に近くにある画像のことである。

図３は、本実施形態のフレーム多重画像作成処理におけるフローチャートである。なお、図３においては多重画像を作成するための全体的な処理を説明し、本実施形態の特徴的な処理については後述するものとする。なお、図３の処理に先立って、基準画像の取得が行われる。まず、基準画像２０３を解析して基準画像の特徴点を抽出する（Ｓ３０１）。これは画像の特徴として比較画像と対応関係を特定しやすいところを特徴点とすればよい。例えば、エッジとエッジが交わるところ（たとえば、建物の窓の４隅など）や局所的な特異点などを特徴点として抽出する。

次に、Ｓ３０１の特徴点抽出処理において基準画像２０３から抽出されたそれぞれの特徴点に対応する、比較画像２０４内の領域を特定する。なお、Ｓ３０１において抽出された特徴点のみならず、後述するように新たに追加された特徴点に対応する比較画像２０４内の領域も特定することができる。追加する特徴点の詳細については後述する。この特定方法として、例えばブロックマッチングなどを用いて基準画像２０３と比較画像２０４とを比較することにより特徴点に対応する領域を特定することができる。このとき、基準画像２０３において特徴点とした画素の基準画像２０３における座標値と、比較画像２０４において特徴点に対応する領域の座標値との差分が動きベクトルとして設定される（Ｓ３０２）。

なお、比較画像２０４において、基準画像２０３の特徴点に一致する領域が検出されないケースもある。すなわち、動画の場合、撮影を行なったカメラが動かされた場合には、フレーム間で構図そのものが変化し、さらに被写体も移動するため、基準画像で抽出した特徴点が必ずしも比較画像内に存在するとは限らない。したがって、基準画像の特徴点を比較画像から検出する場合に、比較画像のうち本来は特徴点とは一致しない領域を、特徴点に対応する領域として誤検出してしまい、その検出結果に基づいて動きベクトルが設定されてしまうことも起こりうる。そこで、例えば基準画像と比較画像との比較結果に基づいて、動きベクトルそのものに信頼度を設定してもよい。そして、周りの特徴点に設定された動きベクトルの信頼度を反映して、当該特徴点の動きベクトルを設定することにより、動きベクトルのスムージング（平滑化）を行う（Ｓ３０３）。

次に、基準画像の特徴点で画像の領域分割を行う。このとき、特徴点は任意の場所に出現するため、特徴点からなる複数の三角形の領域を設定することで、画像を分割する（Ｓ３０４）。領域を三角形に分割することは一例としてドローネ三角形分割の手法を利用すれば実現できる。なお、本実施例では画像を三角形の領域に分割する例を示すが、四角形等、他の多角形の領域に分割してもよい。

ここで、基準画像のすべての画像領域を処理するために、画像の４隅（コーナー）を、（特徴点として抽出されていなければ）特徴点として追加すればよい（第１の追加処理）。すなわち、例えば既に画像の１隅が特徴点として抽出されている場合には、他の３隅に特徴点を追加する。なお、追加する特徴点は、画像の４隅の近傍の箇所に追加してもよい。画像の４隅とその近傍の箇所を含めてコーナーと称する。追加した特徴点に対応する動きベクトルは、比較画像との対応関係で特定すればよい。すなわち、比較画像において追加した特徴点と類似する領域をマッチング処理で特定すればよい。ただし、この追加した特徴点は、もともと特徴点として抽出されなかった領域であるので、画像間の対応関係が特定しにくい場合がある。そのため、追加した特徴点に対応する動きベクトルを、追加した特徴点の近傍に存在する少なくともひとつの抽出された特徴点の動きベクトルを利用して設定してもよい。

図４は、抽出特徴点と追加特徴点で構成される基準画像の領域分割を示す一例である。各三角形の頂点が特徴点を示している。図に示すように、画像の４隅（４０１、４０２、４０３、４０４）を特徴点として追加することによって、画像を構成するすべての画素はいずれかの三角形領域に属することが分かる。画像を構成するすべての画素がいずれかの三角形領域に属することによって、三角形領域内の任意の画素等における動きベクトル推定を補間することが、画像を構成する全ての画素について実行できる。なお、特徴点を追加することについては、説明を簡易化するためにＳ３０４との関連で説明をした。しかしながら、後述するように、実際に特徴点を追加する処理は、Ｓ３０１において行われてもよい。

次に、分割された三角形領域に基づいて、基準画像の各画素に関して比較画像の対応画素を決定する。図５は基準画像の注目画素５０１とそれが属する三角形領域を示した図である。注目画素５０１が属する三角形を構成する頂点が特徴点を示しており、それぞれに動きベクトルが設定されている。

したがって、注目画素５０１の動きベクトルは、３つの特徴点の動きベクトル（Ｖ₁，Ｖ₂，Ｖ₃）を、注目画素が三角形を分割する３つの面積（Ｓ₁，Ｓ₂，Ｓ₃）で加重平均することにより決定される（Ｓ３０５）。すなわち、それぞれの特徴点の動きベクトル要素と、自分自身を特徴点として含まない辺をもつ三角形の面積とを重みとして掛け、これらを合わせたものを、特徴点で構成される三角形を分割する３つの全面積で割ればよい。

最後に、基準画像の注目画素５０１の座標に、このように補間算出された動きベクトル分だけ移動した比較画像の画素値を、基準画像に合成する（Ｓ３０６）。このように、位置関係を合わせて、基準画像と比較画像を合成することで例えば、暗い場所で撮影した動画フレームに対して、ノイズ低減の効果が期待できる。

次に、実施形態１に係る画像の領域分割の具体的な形態を説明する。
図６は実施形態１の画像処理におけるフローチャートを示したものであり、図３のＳ３０１をより詳細に説明したものである。すなわち、基準画像の特徴点を抽出（Ｓ６０１）したあと、第１の特徴点追加処理として画像の４隅を特徴点として追加する（Ｓ６０２）。

ここで、特徴点の数がある程度多くなってくると、図７に示すように歪みの大きな三角形が出現する場合がある。例えば、画像上端部７０１においては、画像の長辺を一辺にもつ三角形を構成することになる。加えて、抽出された特徴点が各辺に近い場合には、かなりいびつな三角形となってしまう。このような三角形に基づいて、面積補間による動きベクトルを求めることは補間精度が低下するだけでなく、かなり遠く離れた特徴点で動きベクトルを推定することになる。

したがって、本実施形態においては、画像のアスペクト比を判定して（Ｓ６０３）、その判定結果に基づいた数の特徴点を、第２の追加処理として画像の４辺上に追加する（Ｓ６０４）。

なお、辺上に追加する特徴点の数はアスペクト比に基づく数に限らず、所定の数の特徴点を追加してもよい。

このように、画像の各辺上に特徴点を追加すれば、画像の各辺の全体が三角形の一辺となることはなく、各辺の一部を一辺にもつ三角形が構成されることになる。よって、追加する特徴点の間隔によって、三角形の長さを限定することができ、歪みの小さい三角形を構成することができる。

例えば、ハイビジョン動画であればアスペクト比が１６：９であるから、長辺を１６等分するように１５点、短辺を９等分するように８点の特徴点を画像の４隅を除く辺上に追加すると、画像の辺を含む三角形の辺の長さを、同じ条件で抑制することができる。

ただし、追加する特徴点は、もともと特徴点として抽出されなかったということにもなるので、そもそも動きベクトルの推定精度が低くなる可能性が高い。したがって、ハイビジョン動画の場合、アスペクト比がおよそ２：１と考えて、実際には、長辺に追加する特徴点を２つ、短辺に追加する特徴点は１つとすればよい。また、従来のスタンダード動画の場合は、４：３のアスペクト比であるから、アスペクト比をおよそ１：１と考えて長辺も短辺もそれぞれ１つずつ特徴点を追加すればよい。

ここで、追加した特徴点の動きベクトルの設定は、前述したＳ３０３のベクトルスムージングの中で、信頼度を低くして設定してもよい。また、追加した特徴点の動きベクトルは近傍にある抽出された特徴点の動きベクトルから設定してもよい。例えば、追加した特徴点に最も近い抽出特徴点の動きベクトルを、該追加した特徴点の動きベクトルとして設定することもできる。

図８は、図７で示すような１６：９のアスペクト比をもつ基準画像に対して、長辺にそれぞれ２点、短辺にそれぞれ１点の特徴点を追加して三角形領域に分割した一例を示している。すなわち、各長辺に８０１で示す２つの特徴点を追加し、各短辺に８０２で示す特徴点を追加している。図８に示すように、特に各辺に近い領域で、歪みになってしまっていた三角形を分割できることができ、個々の歪みを低減することができる。

＜実施形態２＞
次に実施形態２に係る画像の領域分割の具体的な実施形態を説明する。なお、装置構成や処理の流れなど、実施形態１で説明したものと同様な事項については説明を省略し、相違する部分についてのみ説明を行う。

実施形態１では画像のアスペクト比に基づいて、画像の各辺に追加する特徴点の追加方法を説明した。本実施形態では、抽出される特徴点の数や場所に基づいて、画像の各辺に追加する特徴点の数を決定する方法を説明する。

一般的に、抽出される特徴点数が増加するほど、三角形分割も複雑になる。また、画像を構成する各辺をそれぞれ１辺にもつ三角形の歪みは、各辺に最も近い抽出特徴点の場所によって決まってくる。したがって、本実施形態では、これらの特性を考慮して追加する特徴点を決定する方法を説明する。

まず、もっとも簡単な方法として、抽出特徴点の数によって、前述した画像の辺上に追加する特徴点数を決定する。これは、特徴点数に対する閾値を設定してもよいし、特徴点数に比例する形で、追加する特徴点数を決定してもよい。この場合でも、長辺と短辺に追加する最低特徴点数を、実施形態１で説明したように画像のアスペクト比からあらかじめ決定しておいてもよい。例えば、実施形態１で説明したように画像のアスペクト比が１６：９である場合には、アスペクト比がおよそ２：１と考えて、長辺に追加する最低特徴点数を２つ、短辺に追加する最低特徴点を１つとすれることができる。この場合には、長辺に３つの特徴点を追加することが可能であっても、画像のアスペクト比及び閾値の設定に基づいて、長辺に追加する特徴点は２つであると決定することになる。
もちろん、実施形態１で記載した通り、単に追加する特徴点数を増やせばよいわけではないから、上限は決めておけばよい。

次に、画像を構成する各辺に最も近い特徴点の位置に基づいて、追加する特徴点数を決定する方法を説明する。先述した通り、抽出特徴点が各辺に近いほど三角形の歪みは大きくなる。したがって、各辺と最も近い抽出特徴点までの距離に基づいて、各辺に追加する特徴点数を調整すればよい。例えば、抽出特徴点が各辺に非常に近い場合には、抽出特徴点がそれより遠い場合と比較して、該当する辺に追加する特徴点数を多くするように決定することができる。これにより、三角形の歪みを小さくすることができる。ここでも、各辺に追加する特徴点数の上限は設定しておけばよい。

さらに、詳細に抽出特徴点の配置を分析してもよい。図９に示すように各辺ごとに近傍領域（９０１〜９０４）を設定する。各領域の抽出特徴点数に基づいて、各辺に追加する特徴点数を調整してもよい。すなわち、４辺の各辺の近傍領域にそれぞれ存在する特徴点の分布に基づいて、追加する特徴点の数を決定してもよい。

あるいは、抽出特徴点数が所定の閾値（例えば３００点）以下であれば実施形態１のように画像のアスペクト比に基づいて追加特徴点数を決定してもよい。そして、閾値以上であれば、実施形態２で説明したように、抽出特徴点の数や抽出特徴点の位置に応じて、追加特徴点数を調整するとしてもよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

本発明による動きベクトル演算方法は、コンピュータ上でノイズ低減処理方法や、ノイズ低減機能を搭載したデジタルスチルカメラやデジタルビデオカメラ等の撮像装置などに適用することができる。

また、画像として取り扱う場合は２次元空間平面での三角形分割として開示したが、３次元空間に拡張することも可能となる。例えば、３次元の色空間中で複数の任意色を好みの色に補正するようなカラーカスタマイズが考えられる。補正したい任意色を特徴点、補正量を動きベクトルとして考えれば、空間は特徴点によって複数の四面体で分割することができる。その場合は、２次元の三角形と同様に、歪みの大きな四面体が出現する可能性があり、本発明を応用することによって、同様の課題を解決できることは言うまでもない。

Claims (14)

1. 動画像に含まれる複数の矩形のフレームを取得する取得手段と、
   前記取得手段が取得した複数のフレームに含まれるフレームを解析して、当該フレームの特徴点を抽出する抽出手段と、
   前記フレームのアスペクト比に応じた数の特徴点を、当該フレームの４辺の辺上に追加する追加手段と、
   前記抽出手段が抽出した特徴点及び前記追加手段が前記４辺の辺上に追加した特徴点に基づいて、前記フレームに含まれる画素の、前記複数のフレームに含まれる他のフレームに対する動きベクトルを決定する決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記追加手段は、前記４辺の辺上における前記フレームの前記アスペクト比に応じた場所に、特徴点を追加することを特徴とする請求項１に記載の画像処理装置。
3. 前記追加手段は、前記抽出手段により抽出された特徴点の数に応じた数の特徴点を追加することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記追加手段は、前記４辺の各辺から最も近い前記抽出手段により抽出された特徴点までの距離に応じた数の特徴点を追加することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記追加手段は、前記４辺の各辺の近傍領域にそれぞれ存在する前記抽出手段により抽出された特徴点の分布に基づいて、前記追加する特徴点の数を決定することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記追加手段は、前記フレームの４辺の辺上に加え、当該フレームのコーナーに特徴点を追加することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記追加手段は、前記フレームのコーナーに位置する部分に前記抽出手段によって特徴点が抽出されている場合には、該コーナーに位置する部分には特徴点を追加しないことを特徴とする請求項６に記載の画像処理装置。
8. 前記抽出手段が抽出した特徴点及び前記追加手段が追加した特徴点に基づいて、前記フレームに対して領域を設定する設定手段を備え、
   前記決定手段は、前記抽出手段が抽出した特徴点及び前記追加手段が追加した特徴点の動きベクトルを決定し、前記特徴点の動きベクトルに基づき、前記フレームの前記設定手段により設定された領域に含まれる画素の動きベクトルを決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、前記フレームに対して、前記抽出手段が抽出した特徴点または前記追加手段が追加した特徴点に基づく三角形の領域を設定することを特徴とする請求項８に記載の画像処理装置。
10. 前記設定手段は、ドローネ三角形分割により、前記抽出手段が抽出した特徴点または前記追加手段が追加した特徴点を頂点とする三角形の領域を設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記決定手段により決定された、第１のフレームと第２のフレームにおける動きベクトルに基づき、当該第１のフレームと当該第２のフレームの位置合わせを実行する実行手段を備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記実行手段による前記第１のフレームと前記第２のフレームの位置合わせの結果に従って、当該第１のフレームと当該第２のフレームとを合成する合成手段を備えることを特徴とする請求項１１に記載の画像処理装置。
13. 動画像に含まれる複数の矩形のフレームを取得する取得工程と、
    前記取得工程において取得された複数のフレームに含まれるフレームを解析して、当該フレームの特徴点を抽出する抽出ステップと、
    前記フレームのアスペクト比に応じた数の特徴点を、当該フレームの４辺の辺上に追加する追加ステップと、
    前記抽出ステップにおいて抽出された特徴点及び前記追加ステップにおいて前記４辺の辺上に追加された特徴点に基づいて、前記フレームに含まれる画素の、前記複数のフレームに含まれる他のフレームに対する動きベクトルを決定する決定ステップと
    を備えることを特徴とする画像処理方法。
14. コンピュータを請求項１乃至１２のいずれか１項に記載の画像処理装置が備える各手段として機能させるための、または、請求項１３に記載の画像処理方法をコンピュータに実行させるための、プログラム。

Images