JP6193227B2 - ブラー処理装置及び方法 - Google Patents

Description

映像内で発生したブラーを除去する技術に関する。

ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のカメラを用いて生成される映像は、フレームごとに露出時間（Ｉｎｔｅｇｒａｔｉｏｎ Ｔｉｍｅ）中に照射光信号（例えば、赤外線信号）と被写体から反射して戻ってくる反射光信号の位相差を算出することによって取得される。露出時間よりも短い時間中にカメラまたは被写体に動きが発生する場合には反射光信号の位相に変化が生じることがある。

このような場合、反射光信号によって取得した深さ情報は正確ではない値を有することになり、これは映像内にブラー（ｂｌｕｒ）として現れる。このような現象は、カラーカメラで発生するブラー現象と類似の理由によって発生し得る。しかし、ＴｏＦ方式のカメラとカラーカメラは映像を取得する方式に差があり、ＴｏＦ方式のカメラで発生するブラー現象は、カラー映像のブラー現象と異なるブラー形態を見せることになる。

本発明の一実施形態によるブラー処理装置は、制御信号を生成する制御部と、照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を前記制御信号に基づき集積するセンサ部と、前記制御信号の各々について集積された電子量間の関係に基づきブラーが発生したか否かを判断するブラー判断部と、を備える。

本発明の一実施形態によるブラー処理方法は、位相が互いに異なる複数の制御信号を生成するステップと、照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を前記制御信号に基づき集積するステップと、前記制御信号の各々について集積された電子量間の関係に基づきブラーが発生したか否かを判断するステップと、を含む。

本発明の一実施形態によるブラー処理方法は、ＴｏＦ方式カメラの構造に対応するブラーモデルを識別するステップと、前記ＴｏＦ方式カメラによって取得された映像内で前記ブラーモデルに関連するパターンを検索するステップと、前記検索により見付かったパターン内でブラーが発生したブラー領域をフィルタリングするステップと、前記ブラー領域をフィルタリングして映像内の前記ブラーを除去するステップと、を含む。

本発明によると、オブジェクトから反射された複数の反射光信号間の関係を用いてＴｏＦ方式カメラによって取得した映像内でブラーが発生したか否かを効率的に判断することができる。

本発明によると、映像内で発生したブラーをブラーが発生していない周辺の正常ピクセル値で代替することによって、発生したブラーを容易に除去することができる。

ブラー処理装置の一実施形態を示すブロック図である。 センサ部を構成するピクセルの一実施形態を示す図である。 反射光信号と制御信号との間のタイミングの一実施形態である。 映像内でブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。 映像内でブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。 映像内でブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。 一実施形態に係る被写体の移動がない場合の反射光信号と制御信号との間の関係を示す図である。 一実施形態に係る被写体の移動がある場合の反射光信号と制御信号との間の関係を示す図である。 一実施形態に係る映像内でブラーが発生したブラー領域の深さ情報をグラフで示す図である。 一実施形態に係るブラーが発生した映像と深さ情報との間の関連性を示す図である。 一実施形態に係る深さ情報とブラーモデル間の関連性を示す図である。 一実施形態に係る映像内でブラーを除去する一例を示す図である。 一実施形態に係るブラー処理方法の順序を示すフローチャートである。 他の実施形態に係るブラー処理装置の構成を示すブロック図である。 ブラーモデルを用いてブラー領域をフィルタリングする一例を示す図である。 他の実施形態に係るブラー処理方法の順序を示すフローチャートである。

以下、添付の図面及び添付の図面に記載された内容を参照して様々な実施形態を詳細に説明する。

図１は、ブラー処理装置の一実施形態を示すブロック図である。ブラー処理装置１００は、制御部１１０、センサ部１２０、ブラー判断部１３０、及び映像処理部１４０を含んで構成される。

図１に例示されたブラー処理装置１００は、ＴｏＦ方式カメラで実現されてもよい。一実施形態では、光照射部１０２がＴｏＦ方式カメラに含まれても良い。ＴｏＦ方式カメラは、オブジェクト１０４で照射する照射光信号（例えば、赤外線信号）と照射光信号がオブジェクト１０４によって反射されて戻ってくる反射光信号との間の位相差を用いてカメラからオブジェクトまでの距離を示す深さ映像を生成する。

光照射部１０２は、照射光信号をオブジェクト１０４に照射する。センサ部１２０は、光照射部１０２から照射された照射光信号が前記オブジェクト１０４によって反射されて戻ってくる反射光信号を検出する。例えば、センサ部１１０は、ＰＰＤ（Ｐｉｎｎｅｄ Ｐｈｏｔｏ Ｄｉｏｄｅ）、Ｐｈｏｔｏｇａｔｅ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのような光検出素子を含んでもよい。ここで、オブジェクト１０４は被写体を意味し、写真を撮る対象である。

制御部１１０は、位相が互いに異なる複数の制御信号を生成する。制御信号は、センサ部１２０が反射光信号を検出して生成される電子を集積するタイミングを制御することのできる信号である。

センサ部１２０と制御信号との間の関係の一例を図２及び図３を参照して説明する。

図２は、センサ部を構成するピクセルの一実施形態を示す図である。ピクセル２００は、検出部２１０（例えば、ｐｈｏｔｏｇａｔｅ）、ゲート（ゲート−Ａ２２１、ゲート−Ｂ２２２）、及び集積部２３１、２３２を含んで構成する。検出部２１０は、反射光信号を受信して電子を生成する役割をする。ゲート−Ａ２２１とゲート−Ｂ２２２は、検出部２１０で生成された電子を集積部２３１、２３２にそれぞれ伝達してもよい。図２では、複数のゲート、例えば、ゲート−Ａ２２１とゲート−Ｂ２２２が備えられ、制御信号により選択的に電子を複数の異なる集積部２３１、２３２に伝達することについて例示されている。

集積部２３１、２３２は伝達された電子を集積する。電子の集積時間や周期は予め定められ得る。例えば、集積部２３１、２３２は一定時間中に間電子を集積し、集積された電子の量を集計するとき電子を放出した後、次の電子集積タイミングに再び電子を集積するように定められ得る。

ゲートのオン（ｏｎ）／オフ（ｏｆｆ）は先に説明した制御信号によって制御されてもよい。

図３は、反射光信号と制御信号との間タイミングの一実施形態である。

本実施形態において、第１制御信号と第２制御信号はそれぞれ図２に示すゲート−Ａ２２１及びゲート−Ｂ２２２を制御し、互いに１８０度の位相差を示している。第１、２制御信号の１／２周期は、例えば、２５ｎｓであってもよい。

図３に示すように、反射光信号がハイ（ｈｉｇｈ）値であるｔ_ＯＮの間に検出部２１０で電子が発生することがある。

ここで、発生した電子の一部は、ゲート−Ａ２２１に関連する第１制御信号がハイ値であるｔ_ＯＮ−ｔ_ΤＯＦの間、ゲート−Ａ２２１を経由して集積部２３１に集積することになる。

一方、発生した電子の残りの一部は、第１制御信号がロー（ｌｏｗ）値に転換され、ゲート−Ｂ２２２に関連する第２制御信号がハイ値であるｔ_ΤＯＦの間にゲート−Ｂ２２２を経由して集積部２３２に集積される。

例えば、反射光信号がハイ（ｈｉｇｈ）値であるｔ_ＯＮ間に発生した電子は、ｔ_ＯＮ−ｔ_ΤＯＦ間にはゲート−Ａ２２１がオンになってゲート−Ａ２２１に関連する集積部２３１に伝達され、ｔ_ΤＯＦ間にはゲート−Ｂ２２２がオン状態になってゲート−Ｂ２２２に関連する集積部２３２に伝達されてもよい。

図２及び図３を参照してセンサのゲートと集積部がそれぞれ２つである場合について説明したが、ゲートと集積部の数は実施形態によって変更されてもよい。

再び図１を説明すると、ブラー判断部１３０は、制御信号ごとに集積された電子の量（以下、電荷量という）間の関係を用いてブラーの有無を判断する。

また、ブラー判断部１３０は、互いに異なる位相を有する制御信号を用いて反射光信号と照射光信号の位相差を取得する。例えば、センサ部１２０がＴｏＦ方式カメラの露出時間中に反射して戻ってくる反射光信号を繰り返し取得することによって、ブラー判断部１３０は反射光信号に基づいた深さ情報を取得することができる。

図４〜図６は映像内のブラー発生の有無を判断するための反射光信号を取得する一例を示す図である。図４〜図６で、Ｃ_１ないしＣ_４は制御信号を示し、Ｑ_１ないしＱ_４は電荷量を意味し、ｔ_ｄは深さ情報である。

ＴｏＦ方式カメラは、互いに異なるＬ（Ｌは自然数）個の位相を有する制御信号を生成してもよい。ＴｏＦ方式カメラは、Ｍ（Ｍは自然数）個の電荷量の格納空間を有するＬ−Ｐｈａｓｅ／Ｍ−ｔａｐ方式で構成されてもよい。例えば、図４に示す４−ｐｈａｓｅ／１−ｔａｐの例示において、ＴｏＦ方式カメラは、互いに９０度の位相差を有する４個の制御信号「Ｃ_１」、「Ｃ_２」、「Ｃ_３」、「Ｃ_４」を生成してもよい。

センサ部１２０は、反射光信号と制御信号「Ｃ_１」によって電荷量「Ｑ_１」を取得し、反射光信号と制御信号「Ｃ_２」によって電荷量「Ｑ_２」を取得し、反射光信号と制御信号「Ｃ_３」によって電荷量「Ｑ_３」を取得し、反射光信号と制御信号「Ｃ_４」によって電荷量「Ｑ_４」を順次取得してもよい。

図４に示す４−ｐｈａｓｅ／１−ｔａｐ方式と、図５に示す４−ｐｈａｓｅ／２−ｔａｐ方式と、図６に示す４−ｐｈａｓｅ／４−ｔａｐ方式は、ＴｏＦ方式カメラの構造が互いに異なることを示す。例えば、センサ部１２０は、ＴｏＦ方式カメラの構造に依存して、露出時間中に反射光信号と制御信号との間の位相差を取得する異なる方法を用いてもよい。

図４〜図６では４個の制御信号を生成し、４個の電荷量を取得する一例を示しているが、実施形態に係る制御信号の個数が４よりも少ないか多くてもよい。

ブラー判断部１３０は、取得した電荷量「Ｑ_１」、「Ｑ_２」、「Ｑ_３」、「Ｑ_４」間の関係を用いてＴｏＦ方式カメラによって取得された映像にブラーが発生したか否かを判断する。例えば、ブラー判断部１３０は、制御信号Ｃ_１とＣ_２がハイ（ｈｉｇｈ）値である間に取得された電荷量間の差である第１差値Ｑ_１−Ｑ_２を算出してもよい。また、ブラー判断部１３０は、制御信号Ｃ_３とＣ_４がハイ値である間に取得された電荷量間の差である第２差値Ｑ_３−Ｑ_４を算出してもよい。その後、ブラー判断部１３０は、第２差値Ｑ_３−Ｑ_４を第１差値Ｑ_１−Ｑ_２に割った割算値（Ｑ_３−Ｑ_４）／（Ｑ_１−Ｑ_２）に逆正接（ａｒｃｔａｎｇｅｎｔ）関数を適用して深さ情報ｔ_ｄを算出してもよい。

一例として、図５に示された４−ｐｈａｓｅ／２−ｔａｐ方式の実施形態において、制御信号Ｃ_１ないしＣ_４のタイミングが電荷Ｑ_１ないしＱ_４を取得するための周期１回を示すとすると、このような周期をｎ（ｎは自然数）回繰り返す場合にＱ_１ないしＱ_４は、それぞれｎ回取得されてもよい。ｎ回の周期中に得られた電荷量を用いて一枚の深さ映像を生成すれば、先に説明した第１差値はｎＱ_１−ｎＱ_２であってもよく、第２差値はｎＱ_３−ｎＱ_４であってもよい。また、１ピクセルにおける深さ情報ｔ_ｄは下記のような式（１）のように示してもよい。

もし、カメラ、被写体または背景に動きが発生すれば、センサ部１２０に含まれたピクセルのうち少なくとも１つが検出する反射光信号の位相には変化が生じ得る。

図７及び図８は、一実施形態に係る被写体の移動がない場合と、被写体の移動がある場合のそれぞれに対して、反射光信号と制御信号との間の関係を示す図である。図７及び図８は理解のための概念図であるため、図７及び図８によって他の実施形態が限定的に解釈されることはない。

図７及び図８において、反射光信号は対応する地点（黒丸、Ｒにより示す）で反射されたものであり、制御信号は対応する地点の反射光信号を検出するセンサ部１２０のピクセルを制御する。

図７に示すように被写体の移動がない場合、制御信号の最初のハイ値と２番目のハイ値で生成される電荷量はそれぞれ等しくＱａに対応する。

一方、図８に示すように、被写体の移動によって照射光信号が反射されるオブジェクトが椅子から背景に変わる場合（ｔ０とｔ１時点の丸地点（Ｒ）参照）、反射光信号がセンサ部１２０のピクセルに到達する時間は、ｔ１からｔ１’に遅延される。例えば、ピクセルが検出する反射光信号に位相変化を発生し得る。この場合、制御信号が最初のハイ値である間に生成される電荷量と２番目のハイ値である間に生成される電荷量は、それぞれＱａとＱａ’として互いに異なる。もし、制御信号が２回のハイ値である間も、生成された電荷を用いて深さ値が決定されれば、図８に示す実施形態ではＱａとＱａ’を用いて深さ映像内の丸地点（Ｒ）に対応する単一のピクセルの値を示すことになるため、対応するピクセルにブラーが発生することになる。

以下、先に説明した図５に示す４−ｐｈａｓｅ／２−ｔａｐの実施形態である場合、動きが発生した地点に対応するピクセルから取得される深さ値について説明する。

ブラー判断部１３０は、ｎ周期の制御信号Ｃ_１、Ｃ_２のうち、反射光信号の位相変化が発生する前、ｍ周期のＣ_１とＣ_２間の電荷量差値である第１差値Ｑ_１−Ｑ_２を算出し、位相差の変化が発生して新しい位相を有する残りのｎ−ｍ周期のＣ_１とＣ_２間の電荷量差値である第１差値

を算出する。また、ブラー判断部１３０は、ｎ周期の制御信号Ｃ_３、Ｃ_４のうち、位相差の変化が発生する前ｍ周期のＣ_３とＣ_４間の電荷量差値である第２差値Ｑ_３−Ｑ_４を算出し、位相差の変化が発生して新しい位相を有する残りのｎ−ｍ周期のＣ_３とＣ_４間の電荷量差値である第２差値

を算出してもよい。

この場合、前記深さ情報ｔ_ｄは下記のような式（２）のように示してもよい。

ｍを変数とする関数ｔ_ｄは１次微分され、下記のような式（３）のｔ_ｄ’のように示す。

式（３）を求めれば、式（４）のような値を取得できる。

例えば、位相差の変化によって発生する深さ情報ｔ_ｄの変化は、取得されたｍで１つのローカル最大値またはローカル最小値を有することが確認される。ここで、ｍ周期の位置は動き前後の深さ情報に応じて変化することが確認される。

以上の内容でＴｏＦ方式カメラで生成された映像内のブラー現象は、両端値の中間値を取ったり、単調増加／減少する形態に発生しないことが確認される。ＴｏＦ方式カメラの特性上、カラーカメラと異なる方式で映像を取得するため、ＴｏＦ方式カメラで生成された映像からブラーを除去する方式はカラーカメラのブラーを除去する方式とは全く異なる。

一実施形態において、ブラー判断部１３０は、制御信号Ｃ_１とＣ_２によって取得した電荷量「Ｑ_１」、「Ｑ_２」間の第１差値と、制御信号Ｃ_３とＣ_４によって取得した電荷量「Ｑ_３」、「Ｑ_４」間の第２差値をｎ回算出し、算出された結果を用いて深さ情報をｎ回算出する。例えば、ブラー判断部１３０は、制御信号の１回周期ごとに取得された電荷量を用いて深さ情報を算出し、このような形で算出されたｎ個の深さ情報の平均値を用いて、深さ映像一フレームが生成されてもよい。

この場合、ブラー判断部１３０は、算出されたｎ個の深さ情報のうち少なくとも１つがフラットではない場合、深さ映像にブラーが発生したと判断する。例えば、反射光信号の位相が一定の値を有する場合、算出されたｎ個の深さ情報は一定の値を有するようになる。一方、反射光信号の位相が一定の値を有しない場合、算出されたｎ個の深さ情報も一定の値を有することなく、一定ではない値で算出されることによって、ブラー判断部１３０は映像内でこの値を有する領域にブラーが発生したことを判断することができる。

図９は、一実施形態に係る映像内でブラーが発生したブラー領域の深さ情報をグラフで示す図である。ブラー判断部１３０は、動くオブジェクトに対する深さ情報を参照してブラーの発生有無を判断する。一例によれば、ブラー判断部１３０は、各ピクセル座標（ピクセル値）に関連する深さ情報が均一な値を有しない領域にブラーが発生したと判断する。

図９において、ブラー判断部１３０は、深さ情報がいずれかの特定領域で他の深さ情報と異なって大きい値を有する場合、他の深さ情報と異なる値を有する領域をブラーが発生したブラー領域９１０として判断する。例えば、ピクセル座標間の深さ情報を羅列した結果、深さ情報グラフが図９に示すように尖点形態を示す場合、ブラー判断部１３０は尖点をなすピクセル領域９１０でブラーが発生したと判断する。

図１０は、一実施形態に係るブラーが発生した映像と深さ情報との間の関連性を示す図である。ブラー判断部１３０は、映像（図１０（ａ）、（ｄ）、（ｇ））内で一定領域の深さ情報を算出し、算出された深さ情報を用いて映像（図１０（ａ）、（ｄ）、（ｇ））内でブラーが発生したか否かを判断する。

例えば、図１０（ｂ）と（ｃ）は第１映像（図１０（ａ））でｉ領域とｉｉ領域の深さ情報を算出して表示するグラフである。第１映像（図１０（ａ））のｉ領域とｉｉ領域の全てで算出された深さ情報は、完全に一定値を有することはないものの、全体のピクセル座標で均等な深さ情報を有する。この場合、ブラー判断部１３０は第１映像（図１０（ａ））内でブラーが発生していないと判断する。

図１０（ｅ）と（ｆ）は動きのある第２映像（図１０（ｄ））でｉ領域とｉｉ領域の深さ情報を算出して表示するグラフである。動きのある第２映像（図１０（ｄ））のｉ領域とｉｉ領域の全てで算出された深さ情報は、動きがない第１映像（図１０（ａ））の図１０（ｂ）と（ｃ）で見られていない特異な深さ情報値（尖点形態や、傾きの急激な変化など）を有する。この場合、ブラー判断部１３０は第２映像（図１０（ｄ））内でブラーが発生したと判断する。

図１０（ｈ）と（ｉ）は第３映像（図１０（ｇ））でｉ領域とｉｉ領域の深さ情報を算出して表示するグラフである。第３映像（図１０（ｇ））のｉ領域とｉｉ領域の全てで算出された深さ情報は、第１映像（図１０（ａ））の深さ情報と類似するように、完全な一定値を有することはないものの、全体のピクセル座標で均等な深さ情報を有する。この場合、ブラー判断部１３０は第３映像（図１０（ｇ））内でブラーが発生していないと判断する。

図１１は、一実施形態に係る深さ情報とブラーモデルとの間の関連性を示す図である。

４−ｐｈａｓｅ／２−ｔａｐの構造を有するＴｏＦ方式カメラの場合、反射光信号と制御信号Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４によって取得した電荷量Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４のうち、Ｑ_１−Ｑ_２とＱ_３−Ｑ_４の関係は図１１（ｂ）のように菱形状を示す。例えば、被写体、カメラ、背景などに動きのない場合、電荷量Ｑ_１−Ｑ_２とＱ_３−Ｑ_４の関係は、図１１（ｂ）に示すような菱形７１０上に存在してもよい。もちろん、各制御信号のｎ周期間に取得した電荷量の差であるｎ（Ｑ_１−Ｑ_２）とｎ（Ｑ_３−Ｑ_４）間の差もこれと類似の形態を示してもよい。また、菱形の大きさや形態は実施形態に応じて変わってもよい。図１１（ａ）には動きによるブラーがない状態を示し、各ピクセルごとの深さ情報を算出するために用いられた電荷量間の関係は図１１（ｂ）の２つの座標７２０、７３０に対応してもよい。

一方、図１１（ｃ）はブラーによって均一ではない値７４０を含み、この場合にＱ_１、Ｑ_２、Ｑ_３、Ｑ_４間の関係は図１１（ｄ）に示すように菱形から離れた領域７５０に表示されてもよい。例えば、ブラーが発生した映像で取得された図１１（ｄ）は、ブラーが発生していない映像で取得された図１１（ｂ）と比較して、菱形の位置以外の領域に図式される値が発生することが分かる。

ブラー処理装置１００は、被写体、カメラ、背景などの動きがない状況（例えば、動きによるブラーが発生しない状況）で反射光信号と制御信号によって集積される電荷量間の関係を示す基準電荷量の関係情報を予め格納しておく。

基準電荷量の関係情報の一例は、図１１（ｂ）に示された菱形グラフであってもよく、実施形態に応じて他の形のグラフに表現されてもよい。もちろん、基準電荷量の関係情報はグラフのみならず、テーブル、数式などの様々な形態に表現されてもよい。ブラー判断部１３０は、被写体を撮影するとき反射光信号と制御信号によって集積される電荷量間の関係を予め格納しておいた基準電荷量の関係情報と比較してもよい。これによって、ブラー判断部１３０は、ブラーの発生有無を判断する。例えば、もし、撮影中に所定ピクセルで制御信号に基づいて取得された電荷量間の関係が基準電荷量関係情報から離れれば、ブラー判断部１３０は対応するピクセルにブラーが発生したと判断する。

例えば、ブラー判断部１３０は、４−ｐｈａｓｅ／２−ｔａｐの構造を有するＴｏＦ方式カメラの場合、ピクセルごとに上記のように制御信号電荷量の関係Ｑ_１−Ｑ_２、Ｑ_３−Ｑ_４が正常範囲（菱形状の点）を離れるか否かを判断することによって、ブラー発生の有無を判断する。

Ｌ−ｐｈａｓｅ／Ｍ−ｔａｐの構造を有するＴｏＦ方式カメラそれぞれの場合も、ブラー判断部１３０は、各制御信号間に予め決定された位相差によって規定される各電荷量Ｑ_１〜Ｑ_Ｎ間の正常範囲から離れるか否かを判断することによって、ＴｏＦ方式カメラの各ピクセルの深さ情報を算出する過程で直ちにブラーの発生有無を判断することができる。

このように、判断の結果、ブラーが発生した場合に映像処理部１４０は映像内でブラーが発生したブラー領域周辺の正常ピクセル値を参照して発生したブラーを除去することができる。

例えば、映像処理部１４０は、映像内でブラーが発生したピクセル値をブラーが発生していない周辺の正常ピクセル値で代替して発生したブラーを除去することができる。実施形態において、映像処理部１４０は、ブラーが発生したブラー領域の深さ情報をブラーが発生していない周辺の正常ピクセルのうち最も近距離に位置するピクセルの深さ値で代替してもよい。または、映像処理部１４０は、ブラーが発生したブラー領域の深さ情報を映像内でブラーが発生したフレームと異なる時間の隣接フレームに基づいてブラーが発生していない周辺の正常ピクセル値で代替してもよい。例えば、映像処理部１４０は、所定フレームでブラーが発生したピクセル値を以前フレームまたは以後フレーム内の同一の座標のピクセル値で代替してもよい。

ブラー判断部１３０は、ＴｏＦ方式カメラの各タップ構造ごとにブラーモデルを生成してもよい。前述したように、ＴｏＦ方式カメラは、４−ｐｈａｓｅ／１−ｔａｐ、４−ｐｈａｓｅ／２−ｔａｐ、４−ｐｈａｓｅ／４−ｔａｐなどの構造で構成されてもよい。

式（５）では、４−ｐｈａｓｅ／１−ｔａｐ構造で構成されたＴｏＦ方式カメラのブラーモデルを例示する。

式（６）では、４−ｐｈａｓｅ／２−ｔａｐ構造で構成されたＴｏＦ方式カメラのブラーモデルを例示する。式（６）において、ブラー判断部１３０は反射光信号の関係が、ｍ周期のＣ_１とＣ_２間の電荷量合算値Ｑ_１＋Ｑ_２と、ｍ周期のＣ_３とＣ_４間の電荷量合算値Ｑ_３＋Ｑ_４が同一であるか、例えば、Ｑ_１＋Ｑ_２＝Ｑ_３＋Ｑ_４を満足するか否かを判断することによって、映像内にブラーが発生したか否かを判断する。

例えば、ブラー判断部１３０は、取得された反射光信号の関係がＱ_１＋Ｑ_２＝Ｑ_３＋Ｑ_４の条件が満たされる場合、映像内にブラーが発生していないと判断し、取得された反射光信号の関係がＱ_１＋Ｑ_２＝Ｑ_３＋Ｑ_４の条件を満足しない場合に映像内にブラーが発生したと判断する。

式（７）では、４−ｐｈａｓｅ／４−ｔａｐ構造で構成されたＴｏＦ方式カメラのブラーモデルを例示する。

図１２は、一実施形態に係る映像内でブラーを除去する一例を示す図である。映像にブラーが発生した場合、映像処理部１４０は、映像内でブラーが発生したピクセル値を、ブラーが発生していない周辺の正常ピクセル値で代替することにより、発生したブラーを除去することができる。

図１２において、ブラーが発生したピクセル値は菱形状のグラフ内側に表示された値であり、周辺の正常ピクセル値は菱形状のグラフ上に表示された値である。例えば、映像処理部１４０は、菱形状のグラフ内側に表示された値を菱形状のグラフ上に表示された値で代替することによって、発生したブラーを除去することができる。

実施形態において、映像処理部１４０は、周辺の正常ピクセルのうち最も近距離に位置するピクセルの深さ情報がブラーが発生したピクセル値を代替することによって、発生したブラーを除去することができる。または、映像処理部１４０は、ブラーが発生したピクセルの深さ情報をブラーが発生したフレームと異なる時間の隣接フレームに基づいてブラーが発生していない正常ピクセル値で代替してもよい。

図１３は、一実施形態に係るブラー処理方法の順序を示すフローチャートである。ここで、ブラー処理方法は、図１に示したブラー処理装置１００によって行ってもよい。図１３を参考にすると、ステップ１３１０において、ブラー処理装置１００は光照射部１０２を介して照射光信号をオブジェクト１０４に放出し、放出された照射光信号がオブジェクト１０４から反射する反射光信号を取得する。

ステップ１３２０において、ブラー処理装置１００は、取得された反射光信号の位相差を用いて深さ情報を算出する。ステップ１３３０において、ブラー処理装置１００は、深さ情報を用いてＴｏＦ方式カメラによって取得された映像にブラーが発生したか否かを判断する。

ブラー処理装置１００は、互いに異なる位相差を有する制御信号と反射光信号との間の位相差を算出して深さ情報を算出する。例えば、ブラー処理装置１００は、反射光信号と互いに異なる位相差を有する制御信号それぞれによって受光された電荷量を取得してもよい。ブラー処理装置１００は、取得された電荷量と制御信号の互いに異なる位相差によって定められる各電荷量間の関係が正常範囲から離れるか否かに応じて映像にブラーが発生したか否かを判断する。

ステップ１３４０において、ブラー処理装置１００は、ステップ１３３０の結果としてブラーが発生した場合、映像内でブラーが発生したブラー領域周辺の正常ピクセル値を用いて発生したブラーを除去する。

ブラー処理装置１００は、映像内でブラーが発生したピクセル値をブラーが発生していない周辺の正常ピクセル値で代替し、発生したブラーを除去してもよい。

または、ブラー処理装置１００は、ブラーが発生したブラー領域の深さ情報を、映像内のブラーが発生したフレームと異なる時間の隣接フレームに基づいて、ブラーが発生していない周辺の正常ピクセル値で代替することにより、発生したブラーを除去してもよい。

図１４は、他の実施形態に係るブラー処理装置の構成を示すブロック図である。図１４を参考すると、ブラー処理装置１４００は、モデル識別部１４１０、検索部１４２０、及び映像処理部１４３０を備える。例えば、ブラー処理装置１４００は、反射光信号と制御信号の電荷量Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４が提供されない場合に映像内でブラーを除去する方式として用いられてもよい。

モデル識別部１４１０は、ＴｏＦ方式カメラの構造に該当するブラーモデルを識別する。ＴｏＦ方式カメラは、様々な方式で生成した互い異なるＬ（Ｌは自然数）個の位相を有する制御信号を有し、Ｍ（Ｍは自然数）個の電荷量の格納空間を有するＬ−ｐｈａｓｅ／Ｍ−ｔａｐ方式で構成されてもよい。したがって、ブラーモデルは、４−ｐｈａｓｅ／１−ｔａｐ、４−ｐｈａｓｅ／２−ｔａｐ、４−ｐｈａｓｅ／４−ｔａｐなど、ＴｏＦ方式カメラの構造により互いに異なるモデルを有する。

検索部１４２０は、ＴｏＦ方式カメラによって取得された映像でブラーモデルに関連するパターンを検索する。検索部１４２０は、様々なパターン検索方式を用いてブラーモデルに関連するパターンを検索してもよい。検索部１４２０は、検索速度を向上させるために方向及び空間でピラミッド型の段階的な検索方式を用いてもよい。

実施形態において、検索部１４２０は、ハフ（Ｈｏｕｇｈ）変換を用いてパターン検索及びＲ−θ空間でパターンを検索してもよい。

映像処理部１４３０は、検索されたパターン内にブラー領域をフィルタリングして映像内のブラーを除去する。映像処理部１４３０は、ブラー領域にノイズ除去のためにＲ−θ空間上でフィルタリングを行ってもよい。ここで、Ｒ−θ空間でユークリッド距離を有効にするため、Ｒとθ間に互いに異なる加重値パラメータを適用してもよい。

図１５の（ａ）から（ｃ）は、一実施形態による、ブラーモデルを用いてブラー領域をフィルタリングする一例を示す図である。図１５を参考すると、映像処理部１４３０は、ブラーが発生したブラー領域（図１５（ａ））をブラーモデル（図１５（ｂ））を用いてフィルタリングし、ブラーが除去された映像（図１５（ｃ））を取得することができる。

図１６は、他の実施形態に係るブラー処理方法の順序を示すフローチャートである。ここで、ブラー処理方法は、図１４に示すブラー処理装置１４００によって行われてもよい。図１６を参考すると、ステップ１６１０において、ブラー処理装置１４００は、ＴｏＦ方式カメラの構造に対応するブラーモデルを識別する。ＴｏＦ方式カメラは、互いに異なるＬ（Ｌは自然数）個の位相を有する制御信号を有し、Ｍ（Ｍは自然数）個の電荷量の格納空間を有するＬ−ｐｈａｓｅ／Ｍ−ｔａｐ方式で構成されてもよい。ブラーモデルは、４−ｐｈａｓｅ／１−ｔａｐ、４−ｐｈａｓｅ／２−ｔａｐ、４−ｐｈａｓｅ／４−ｔａｐなど、ＴｏＦ方式カメラの構造に依存して互いに異なるモデルを有してもよい。

ステップ１６２０において、ブラー処理装置１４００は、ＴｏＦ方式カメラによって取得された映像でブラーモデルに関連するパターンを検索する。ブラー処理装置１４００は、様々なパターン検索方式を用いてブラーモデルに関連するパターンを検索する。ブラー処理装置１４００は、方向及び空間でピラミッド型の段階的な検索方式を用いることによって、検索速度を向上させることができる。

ステップ１６３０において、ブラー処理装置１４００は、見付かったパターン内のブラー発生したブラー領域をフィルタリングして、映像内のブラーを除去する。ブラー処理装置１４００は、ブラー領域内のノイズ除去のためにＲ−θ空間でフィルタリングを行ってもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１００ ブラー処理装置
１０２ 光照射部
１０４ オブジェクト
１１０ 制御部
１２０ センサ部
１３０ ブラー判断部
１４０ 映像処理部
２２１、２２２ ゲート
２３１、２３２ 集積部
２００ ピクセル
２１０ 検出部
１４００ ブラー処理装置
１４１０ モデル識別部
１４２０ 検索部
１４３０ 映像処理部

Claims (19)

1. ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式カメラによって放出される照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を複数の制御信号に基づき集積して電荷量を獲得するセンサ部であって、前記制御信号は、センサ部が前記反射光信号を検出して生成された前記電子を集積するタイミングを制御することのできる信号である、センサ部と、
   前記複数の制御信号により獲得された複数の電荷量間の関係が正常範囲から外れるか否かに応じて映像にブラーが発生したか否かを判断するブラー判断部と、
   を備えることを特徴とするブラー処理装置。
2. 前記ブラー判断部は、ブラーがない場合を示す基準電荷量の関係情報と前記複数の制御信号により獲得された複数の電荷量間の関係を比較して前記ブラーの発生を判断することを特徴とする請求項１に記載のブラー処理装置。
3. 前記ブラー判断部は、前記反射光信号の位相差を用いて、前記映像にブラーが発生したか否かを判断する、ことを特徴とする請求項１に記載のブラー処理装置。
4. 前記ブラー判断部は、互いに異なる位相を有する複数の制御信号と前記反射光信号との間の位相差を算出することにより、深さ情報を算出することを特徴とする請求項１又は３に記載のブラー処理装置。
5. 前記センサ部は、ｎ（ｎは自然数）個の反射光信号を取得し、
   前記ブラー判断部は、互いに異なる位相を有する複数の制御信号と前記ｎ個の反射光信号との間の位相差を算出することによりｎ個の深さ情報を算出し、算出されたｎ個の深さ情報の平均値を算出することを特徴とする請求項１、３又は４に記載のブラー処理装置。
6. 前記ブラー判断部は、前記算出されたｎ個の深さ情報のうち少なくとも１つが一定の値を有することではない場合、前記映像内にブラーが発生したと判断することを特徴とする請求項５に記載のブラー処理装置。
7. 前記ブラー判断部が、ブラーが発生したと判断した場合、前記映像内で、前記ブラーが発生したピクセル値を、前記ブラーが発生していない周辺の正常ピクセル値で代替して前記ブラーを除去する映像処理部をさらに備えることを特徴とする請求項１乃至６のいずれか一項に記載のブラー処理装置。
8. 前記映像処理部は、前記ブラーが発生したブラー領域の深さ情報を、前記映像内で前記ブラーが発生したフレームと異なる時間の隣接フレームに基づいて前記ブラーが発生していない周辺の正常ピクセル値で代替することを特徴とする請求項７に記載のブラー処理装置。
9. ＴｏＦ方式カメラの構造に対応するブラーモデルを識別するモデル識別部と、
   前記ＴｏＦ方式カメラによって取得された映像で前記ブラーモデルに関連するパターンを検索する検索部と、
   前記検索により見付かったパターン内のブラー領域をフィルタリングして前記映像内のブラーを除去する映像処理部と、
   をさらに備えることを特徴とする請求項１に記載のブラー処理装置。
10. 前記映像処理部は、Ｒ−θ空間で前記ブラー領域をフィルタリングすることを特徴とする請求項９に記載のブラー処理装置。
11. ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式カメラによって放出される照射光信号がオブジェクトにより反射されて戻ってくる反射光信号によって生成される電子を複数の制御信号に基づき集積して電荷量を獲得するステップであって、前記制御信号は、センサ部が前記反射光信号を検出して生成された前記電子を集積するタイミングを制御することのできる信号である、ステップと、
    前記複数の制御信号により獲得された複数の電荷量間の関係が正常範囲から外れるか否かに応じて映像にブラーが発生したか否かを判断するステップと、
    を含むことを特徴とするブラー処理方法。
12. ブラーがない場合を示す基準電荷量の関係情報と前記複数の制御信号により獲得された複数の電荷量間の関係を比較して前記ブラーの発生を判断するステップと
    をさらに含むことを特徴とする請求項１１に記載のブラー処理方法。
13. 前記反射光信号の位相差を用いて、前記映像にブラーが発生したか否かを判断するステップ
    をさらに含むことを特徴とする請求項１１に記載のブラー処理方法。
14. 互いに異なる位相を有する複数の制御信号と前記反射光信号との間の位相差を算出して深さ情報を算出するステップ
    をさらに含むことを特徴とする請求項１１又は１３に記載のブラー処理方法。
15. 取得したｎ（ｎは自然数）個の反射光信号と、互いに異なる位相を有する複数の制御信号との間の位相差を算出するステップと、
    前記算出された結果を用いてｎ個の深さ情報を算出するステップと、
    前記算出されたｎ個の深さ情報の平均値を算出するステップと、
    を含むことを特徴とする請求項１１、１３又は１４に記載のブラー処理方法。
16. 前記ブラーが発生したと判断された場合、前記映像内で、前記ブラーが発生したピクセル値を、前記ブラーが発生していない周辺の正常ピクセル値で代替して前記発生したブラーを除去するステップ、
    をさらに含むことを特徴とする請求項１１乃至１５のいずれか一項に記載のブラー処理方法。
17. 前記発生したブラーを除去するステップは、前記ブラーが発生したブラー領域の深さ情報を、前記映像内で前記ブラーが発生したフレームと異なる時間の隣接フレームに基づいて、ブラーが発生していない周辺の正常ピクセル値で代替して前記発生したブラーを除去するステップを含むことを特徴とする請求項１６に記載のブラー処理方法。
18. ＴｏＦ方式カメラの構造に対応するブラーモデルを識別するステップと、
    前記ＴｏＦ方式カメラによって取得された映像内で前記ブラーモデルに関連するパターンを検索するステップと、
    前記検索により見付かったパターン内でブラーが発生したブラー領域をフィルタリングするステップと、
    前記ブラー領域をフィルタリングして映像内の前記ブラーを除去するステップと、
    をさらに含むことを特徴とする請求項１１に記載のブラー処理方法。
19. 前記見付かったパターン内でブラーが発生したブラー領域をフィルタリングするステップは、Ｒ−θ空間で前記ブラー領域をフィルタリングするステップを含むことを特徴とする請求項１８に記載のブラー処理方法。

Images