JP3860589B2

JP3860589B2 - 光学ナビゲーション装置に応用されるサブピクセル移動量検出方法

Info

Publication number: JP3860589B2
Application number: JP2004253994A
Authority: JP
Inventors: 維欣辜; 焜尉林; 俊宏林
Original assignee: 凌陽科技股▲ふん▼有限公司
Priority date: 2003-10-24
Filing date: 2004-09-01
Publication date: 2006-12-20
Anticipated expiration: 2024-09-01
Also published as: JP2005128001A; TW200515300A; US20050089196A1; TWI225622B; US7502515B2

Description

本発明は光学ナビゲーション装置に応用されるサブピクセル移動量検出方法に係り、特に、テイラー展開を利用して移動量を求めるサブピクセル移動量検出方法に関する。

光学マウスは光学ナビゲーション装置に応用されるサブピクセル移動量検出方法を応用することでマウスの移動量を判断する。周知の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法は第１画像の部分画像をサーチウインドウとして、該サーチウインドウと第２画像との異なる位置での関連性（ｃｏｒｒｅｌａｔｉｏｎ）計算を行なう。その後、計算した関連性の大きさに基づき、対応する二次表面（ｑｕａｄｒａｔｉｃｓｕｒｆａｃｅ）を得て、さらに該二次表面で絶対小値を探して移動量となす。特許文献１の「画像の関連性より相対移動を探知する方法と装置（ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｔｒａｃｋｉｎｇｒｅｌａｔｉｖｅｍｏｖｅｍｅｎｔｂｙｃｏｒｒｅｌａｔｉｎｇｓｉｇｎａｌｓｆｒｏｍａｎａｒｒａｙｏｆｐｈｏｔｏｅｌｅｍｅｎｔｓ）」にこの技術が記載されている。

図１は周知の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法の画像の例を示す。図１に示されるように、１１は第１画像、１２は第２画像、及び１３はサーチウインドウを示す。この方法の画像の大きさは７×７ピクセルであり、サーチウインドウ１３は５×５ピクセルの画像である。サーチウインドウ１３を取り出した後、該方法ではサーチウインドウ１３を異なる方向に移動させ、例えば図１中、符号１５に示されるように移動させ、並びにそれぞれ第２の画像との関連性を計算する。サーチウインドウ１３の位置は画像１４０〜１４８に示される。ゆえに、該方法は図２に示される９個の関連性数値Ｃ０〜Ｃ８を発生する。関連性数値Ｃ０〜Ｃ８に基づき、図３に示される二次表面を生成する。ゆえに、該二次表面に基づき、最も関連性のある点を探し出して移動量とすることができる。

しかし、この方法に必要な演算量は大きく、例えば、サーチウインドウを８回移動させ、且つ９回の関連性演算を行なわねばならない。また、更に９個の関連性データに基づき移動点を探し出さねばならない。次に、この方法は全体の画像範囲を参考にする必要があり、即ち、この方法はサーチウインドウを利用して関連性を計算する必要があり、移動量が大きく参考できる画像範囲（第２画像）がサーチウインドウより大きい時、この方法は移動軌跡を判断できない。

米国特許第５，７２９，００８号明細書

以上の問題を鑑み、本発明の目的は、大量の演算が不要で且つサーチウインドウの制限を受けないサブピクセル移動量検出方法を提供することにある。

上述の目的を達成するため、本発明の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法は以下のステップ、即ち、第１画像と第２画像をキャプチャするステップと、複数の画像点を選択して計算の参考点となすステップと、前述の第１画像と前述の第２画像に基づき、前述の計算の参考点のテイラー展開（Ｔａｙｌｏｒｅｘｐａｎｓｉｏｎ）の一階偏微分関数の偏微分量を計算し、以て複数の二元一次方程式を生成するステップと、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップとを具えている。

計算の参考点は画像輝度の変化が単調で且つ輝度の変化が臨界値より大きいかの判断点に符合しうる。また、計算の参考点を分類し、並びにその各類の係数を総和することにより移動量を計算することで、雑音を抑制する。

請求項１の発明は、第１画像と第２画像をキャプチャするステップと、複数の画像点を選択して計算の参考点となすステップと、前述の第１画像と前述の第２画像に基づき、前述の計算の参考点のテイラー展開の一階偏微分関数の偏微分量を計算して複数の二元一次方程式を生成するステップと、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップとを具えたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項２の発明は、請求項１記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の参考点の一階偏微分関数は、

であり、そのうち、Ｉｒ（ｘ，ｙ）は第１画像の計算の参考点の画像輝度、Ｉｓ（ｘ，ｙ）は第２画像の計算の参考点の画像輝度、△ｘはｘ方向移動量、△ｙはｙ方向移動量、

はｘ偏微分量、

はｙ偏微分量であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項３の発明は、請求項２記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の一階偏微分関数のｘ偏微分量はｘ方向の画素輝度の変化量とされ、ｘ方向の画素輝度の変化量は、

と表示されることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項４の発明は、請求項２記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の一階偏微分関数のｙ偏微分量はｙ方向の画素輝度の変化量とされ、ｙ方向の画素輝度の変化量は、

と表示されることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項５の発明は、請求項１記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップ中に、２つの二元一次方程式を選択してサブピクセル移動量を計算することを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項６の発明は、請求項１記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップ中に、２つ以上の二元一次方程式を選択して複数組の解を求め、更にその平均値を求めてサブピクセル移動量となすことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項７の発明は、請求項２記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の計算の参考点は画像輝度の変化が単調性で且つ輝度の変化が臨界値より大きいことに符合することを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項８の発明は、請求項７記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の計算の参考点は以下の式、即ち、

に符合し、そのうち、Ｉｔｈは臨界値であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項９の発明は、請求項２又は請求項７記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の計算の参考点は三類の計算の参考点に分けられ、第１類の計算の参考点はｘ方向の画素輝度の変化量がｙ方向の画素輝度の変化量の一定比例より大きく、第２類の計算の参考点はｙ方向の画素輝度の変化量がｘ方向の画素輝度の変化量の一定比例より大きく、第３類の計算の参考点は第１類の計算の参考点と第２類の計算の参考点のいずれにも属さないその他の計算の参考点とされたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項１０の発明は、請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の第１類の計算の参考点は、

に符合し、そのうち、

はｘ方向の画素輝度の変化量、

はｙ方向の画素輝度の変化量、
及びσは倍数常数であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項１１の発明は、請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の第２類の計算の参考点は、

に符合し、そのうち、

はｘ方向の画素輝度の変化量、

はｙ方向の画素輝度の変化量、
及びσは倍数常数であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項１２の発明は、請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、
第１類の計算の参考点の二元一次方程式の係数を総和し、並びに第１類の二元一次方程式を生成するステップと、
第２類の計算の参考点の二元一次方程式の係数を総和し、並びに第２類の二元一次方程式を生成するステップと、
第３類の計算の参考点の二元一次方程式の係数を総和し、並びに第３類の二元一次方程式を生成するステップと、
前述の第１類の二元一次方程式、第２類の二元一次方程式、第３類の二元一次方程式よりサブピクセル移動量を求めるステップと、
を更に具えたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。
請求項１３の発明は、請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、
第１類の計算の参考点の二元一次方程式の係数を総和し、並びに第１類の二元一次方程式を生成するステップと、
第２類の計算の参考点の二元一次方程式の係数を総和し、並びに第２類の二元一次方程式を生成するステップと、
前述の第１類の二元一次方程式、第２類の二元一次方程式よりサブピクセル移動量を求めるステップと、
を更に具えたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法としている。

本発明は、大量の演算が不要で且つサーチウインドウの制限を受けないサブピクセル移動量検出方法を提供している。

図４は位置と輝度の関係図であり、そのうち、横軸はｘ位置、縦軸は輝度、点線曲線は前の一枚の画像の輝度曲線Ｉｒ、実線曲線は現在の画像の輝度曲線Ｉｓである。２枚の画像の輝度が同じで位置だけが異なると仮定すると、輝度曲線ＩｒとＩｓの関係は、式（１）のようになる。

式（１）をテイラー展開法で展開し、並びに只第１階偏微分を列記し、即ち、式（１）は以下のように展開される。

に関しては、ｘ点のｘ方向の斜率（輝度変化量）と見なすことができ、

に関しては、ｙ点のｙ方向の斜率（輝度変化量）と見なすことができる。
これにより、

と

は式（３）と式（４）に置き換えることができる。

ゆえに、（ｘ，ｙ）点のｘとｙ方向の斜率は、２枚の画像に基づき計算できる。これにより、ｎ×ｎピクセルの画像に対しては、式（１）に基づきｎ×ｎ個の変数を△ｘと△ｙの二元一次方程式として列記できる。ただ二つの式だけで一組の△ｘと△ｙを解くことができるため、これらｎ×ｎ個の方程式に基づき、複数組の△ｘと△ｙを解くことができる。その後、複数組の△ｘと△ｙの平均値を求めて一組の△ｘと△ｙとして出力できる。

ただし、雑音の影響により、全ての画像点を直接式（１）に基づき方程式を取得すると、正確度が低くなる。このため、本発明は更に信頼点（ｒｅｌｉａｂｌｅｐｏｉｎｔ）分析の方法により雑音を除去し、選択した信頼点だけで式（１）の計算を行なう。さらに図４を参照されたい。輝度曲線が理想の状態にあると仮定し、隣り合う三点の変化は単調（ｍｏｎｏｔｏｎｅ）曲線に対応する。ゆえに、非単調変化の画像点に対しては雑音と見なすことができる。それを濾過し、計算に納入しない。次に、斜率が非常に低い部分に対しては、影響が大きくないため、それを除去できる。ゆえに、式（５）、式（６）と式（７）はｘ方向の画像点のスクリーニングに用いることができ、式（８）、式（９）はｙ方向の画像点のスクリーニングに用いることができる。

ゆえに、式（５）〜式（１０）に符合する画像点によりテイラー展開を行なうことができる。

ただし、上述の信頼点分析の方法は僅かに比較的大きな雑音を除去することしかできず、比較的軽微な雑音に対しては除去できない。これにより、本発明はさらに雑音抑制方法により更に雑音を抑制する。雑音抑制方法については、第１ステップとして、画像点を分類し、本発明では画像点を三類に分類し、第１類はｘ方向変化とし且つＲ_x と定義し、第２類はｙ方向変化とし且つＲ_y と定義し、第３類は両方向均一変化とし且つＲ_z と定義する。
いわゆるｘ方向変化とはｘ方向の斜率が遥かにｙ方向の斜率より大きいことを指す。ｘとｙ方向の斜率は式（３）と式（４）により表示される。これにより第１類は式（１１）を成すと定義できる。

いわゆるｙ方向変化とはｙ方向の斜率が遥かにｘ方向の斜率より大きいことを指す。ｘとｙ方向の斜率は式（３）と式（４）により表示される。これにより第２類は式（１２）を成すと定義できる。

第１類と第２類に属さなければ第３類に属する。
続いて、各画像点のテイラー方程式を求め、並びに各類に帰属する。その後、各類の偏微分項を総和する。これは式（１３）から式（１５）に示されるとおりである。

そのうち、

と

はそれぞれ

と

の正負号を表示し、その値は１或いは−１である。
第１類中のｘ方向の斜率は比較的大きいため、ゆえに△ｘの係数は比較的大きく、ゆえに△ｘの係数を正数に変成後、総和（ｓｕｍｍａｔｉｏｎ）し、こうしてｘ方向の雑音を減らす（ｎｏｉｓｅｒｅｄｕｃｔｉｏｎ）。△ｘの係数はいずれも正の値を取るため△ｙの係数と常数項もまた△ｘの係数の正負号に基づき改変しなければならない。即ち、△ｘの係数が正の時、△ｙの係数と常数項は不変であり、△ｘの係数が負の時、△ｙの係数と常数項にはいずれも−１を乗じる。
第２類中のｙ方向の斜率は比較的大きいため、ゆえに△ｙの係数は比較的大きく、ゆえに△ｙの係数を正数に変成後、総和（ｓｕｍｍａｔｉｏｎ）し、こうしてｙ方向の雑音を減らす（ｎｏｉｓｅｒｅｄｕｃｔｉｏｎ）。△ｙの係数はいずれも正の値を取るため△ｘの係数と常数項もまた△ｙの係数の正負号に基づき改変しなければならない。即ち、△ｙの係数が正の時、△ｘの係数と常数項は不変であり、△ｙの係数が負の時、△ｘの係数と常数項にはいずれも−１を乗じる。
第３類中のｘとｙ方向の斜率には大きな違いはないため、△ｘの係数を選択して総和するか、或いは△ｙの係数を総和し、これによりある一方向の雑音を減らす。その正負号の処理と第１類或いは第２類のものとは同じであるため重複した説明は行なわない。
係数総和完成後に、三組の二元一次連立方程式を生成し、並びに三組の△ｘと△ｙの解を求める。当然、任意に選んだ二組の方程式の解を求めるか、二組あるいは三組の解を求めた後に、さらに平均値を取って出力する。

図５は本発明を光学ナビゲーション装置に応用されるサブピクセル移動量検出方法に応用したフローチャートである。本発明のサブピクセル移動量検出方法は、まず前後の二次元画像をキャプチャし、さらにテイラー展開法を利用して前後の二次元画像を展開し、並びにその一階偏微分関数を取る。以下に移動量△ｘと△ｙを求める数種類の方法について説明する。
第１種の方式：直接計算。雑音を考慮しない状況で、任意の二つの画像点のテイラー展開の一階偏微分関数を選択し、即ち二つの二元一次連立方程式に基づき移動量△ｘと△ｙを求める。
第２種の方式：平均値計算。もし雑音の影響を考慮するなら、二つの画像点より大きいテイラー展開の一階偏微分関数を選択し、複数の二元一次連立方程式に基づき複数組の移動量△ｘと△ｙを求める。その後、平均値を求める。
第３種の方式：信頼点（ｒｅｌｉａｂｌｅｐｏｉｎｔ）計算。各画像点のいずれもが必ずしも移動量計算に適合するのではないため、本発明ではさらに信頼点選択方式により比較的適合する画像点を移動量計算の参考点として選択する。信頼点の選択方式は画像輝度の変化が単調性であり且つ輝度の変化が臨界値より大きいかによりスクリーニングする。即ち、式（５）〜式（１０）に符合する画像点である。信頼点を選択した後、第１種或いは第２種の方式を組み合わせて移動量△ｘと△ｙを求める。
第４種の方式：雑音抑制方式。この方式は直接画像点を選択して処理するか、或いは第３種の方式を組合せて先ず信頼点を選択してから処理する。この雑音抑制方式は先ず複数の画像点を選択して各画像点のテイラー展開の一階偏微分関数を求め、さらに画像点を分類する。その分類方式は式（１１）と式（１２）に示されるとおりである。即ち、式（１１）に符合するものを第１類画像点とし、式（１２）に符合するものを第２類画像点とし、その他を第３類画像点とする。その後、式（１３）〜式（１５）に基づき、各類の一階偏微分関数の係数を総和し、三つの二元一次連立方程式を求める。最後に、この三つの二元一次連立方程式中の任意の二つの方程式より移動量△ｘと△ｙを求めるか、或いは三組の移動量△ｘと△ｙを求めてから更にその平均値を求める。

以上は本発明の実施例の説明であって本発明の請求範囲を限定するものではなく、本発明に基づきなしうる細部の修飾或いは改変は、いずれも本発明の請求範囲に属するものとする。

周知の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法に応用される画像の例を表示した図である。関連性値位置表示図である。二次表面表示図である。位置と輝度の関係図であり、そのうち、横軸はｘ位置、縦軸は輝度である。本発明を光学ナビゲーション装置に応用されるサブピクセル移動量検出方法に応用したフローチャートである。

符号の説明

１１第１画像
１２第２画像
１３サーチウインドウ

Claims

第１画像と第２画像をキャプチャするステップと、複数の画像点を選択して計算の参考点となすステップと、前述の第１画像と前述の第２画像に基づき、前述の計算の参考点のテイラー展開の一階偏微分関数の偏微分量を計算して複数の二元一次方程式を生成するステップと、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップとを具えたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項１記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の参考点の一階偏微分関数は、

であり、そのうち、Ｉｒ（ｘ，ｙ）は第１画像の計算の参考点の画像輝度、Ｉｓ（ｘ，ｙ）は第２画像の計算の参考点の画像輝度、△ｘはｘ方向移動量、△ｙはｙ方向移動量、

はｘ偏微分量、

はｙ偏微分量であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項２記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の一階偏微分関数のｘ偏微分量はｘ方向の画素輝度の変化量とされ、ｘ方向の画素輝度の変化量は、

と表示されることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項２記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の一階偏微分関数のｙ偏微分量はｙ方向の画素輝度の変化量とされ、ｙ方向の画素輝度の変化量は、

と表示されることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項１記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップ中に、２つの二元一次方程式を選択してサブピクセル移動量を計算することを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項１記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の複数の二元一次方程式に基づきサブピクセル移動量を計算するステップ中に、２つ以上の二元一次方程式を選択して複数組の解を求め、更にその平均値を求めてサブピクセル移動量となすことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項２記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の計算の参考点は画像輝度の変化が単調性で且つ輝度の変化が臨界値より大きいことに符合することを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項７記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の計算の参考点は以下の式、即ち、

に符合し、そのうち、Ｉｔｈは臨界値であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項２又は請求項７記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の計算の参考点は三類の計算の参考点に分けられ、第１類の計算の参考点はｘ方向の画素輝度の変化量がｙ方向の画素輝度の変化量の一定比例より大きく、第２類の計算の参考点はｙ方向の画素輝度の変化量がｘ方向の画素輝度の変化量の一定比例より大きく、第３類の計算の参考点は第１類の計算の参考点と第２類の計算の参考点のいずれにも属さないその他の計算の参考点とされたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の第１類の計算の参考点は、

に符合し、そのうち、

はｘ方向の画素輝度の変化量、

はｙ方向の画素輝度の変化量、
及びσは倍数常数であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、前述の第２類の計算の参考点は、

に符合し、そのうち、

はｘ方向の画素輝度の変化量、

はｙ方向の画素輝度の変化量、
及びσは倍数常数であることを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、
第１類の計算の参考点の二元一次方程式の係数を総和し、並びに第１類の二元一次方程式を生成するステップと、
第２類の計算の参考点の二元一次方程式の係数を総和し、並びに第２類の二元一次方程式を生成するステップと、
第３類の計算の参考点の二元一次方程式の係数を総和し、並びに第３類の二元一次方程式を生成するステップと、
前述の第１類の二元一次方程式、第２類の二元一次方程式、第３類の二元一次方程式よりサブピクセル移動量を求めるステップと、
を更に具えたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。
請求項９記載の光学ナビゲーション装置に応用されるサブピクセル移動量検出方法において、
第１類の計算の参考点の二元一次方程式の係数を総和し、並びに第１類の二元一次方程式を生成するステップと、
第２類の計算の参考点の二元一次方程式の係数を総和し、並びに第２類の二元一次方程式を生成するステップと、
前述の第１類の二元一次方程式、第２類の二元一次方程式よりサブピクセル移動量を求めるステップと、
を更に具えたことを特徴とする、光学ナビゲーション装置に応用されるサブピクセル移動量検出方法。