JP7258101B2 - 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム - Google Patents

Description

本出願の実施形態は、コンピュータ技術分野に関し、具体的には、高度道路交通システムやコンピュータービジョンなどの人工知能技術の分野に関し、特に画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォームに関する。

路側感知は路側にセンサ装置を設置してデータを取り込むことで解析を行う。例えば、信号機用ポールや監視灯用ポールにカメラを設ける。路側感知中に信号機のランプ色認識を行い、カメラに対する信号機の位置は変わらないため、予め該カメラが撮影した信号機の画像を１フレーム採取し、手動で信号機位置をマークする。実際の検出時には、予めマークされた信号機の位置に基づいて、直接画像から切り取って認識する。しかし、信号機やカメラがわずかに動くと、カメラと信号機の相対位置が変化する。したがって、発生した位置ずれを補正するための画像手ぶれ補正方法が必要となる。

現在、一般的な画像手ぶれ補正方法は特徴点マッチングによるオフセット補正である。具体的には、あるフレームの履歴画像について、その履歴画像における信号機の位置（ｘ１、ｙ１、ｘ２、ｙ２）を特定し、信号機の位置に対応する特徴点（ＳＩＦＴ特徴、ＨＯＧ特徴など）を抽出する。次の各フレームの画像について、（ｘ１、ｙ１、ｘ２、ｙ２）を外方へ一部拡大し、同様の特徴抽出方法を用いて特徴点を抽出した後、特徴点マッチングを行う。マッチングした特徴点から、履歴画像の信号機位置に対する現在の画像の信号機位置のオフセット量を計算する。

本出願の実施形態は、画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォームを提供する。

第１態様では、本出願の実施形態は、画像シーケンスにおける現在の画像に対して、現在の画像の各手ぶれ補正ボックスとテンプレート画像の少なくとも一つの手ぶれ補正ボックスにおける対応する手ぶれ補正ボックスとの間の第１オフセットを算出することと、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量をテンプレート画像の対応する手ぶれ補正ボックスの観察リストに追加し、ここで、第１事前設定条件は第１オフセット量が事前設定オフセット閾値以下であることと、少なくとも一つの手ぶれ補正ボックスの観察リスト内の第１オフセット量とテンプレート画像の信号機位置に基づき、現在の画像の信号機位置を確定することとを含む画像の手ぶれ補正方法を提供する。

第２態様では、本出願の実施形態は、画像シーケンスにおける現在の画像に対して、現在の画像の各手ぶれ補正ボックスとテンプレート画像の少なくとも一つの手ぶれ補正ボックスにおける対応する手ぶれ補正ボックスとの間の第１オフセット量を算出するように構成される演算モジュールと、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量をテンプレート画像の対応する手ぶれ補正ボックスの観察リストに追加するように構成され、ここで、第１事前設定条件は第１オフセット量が事前設定オフセット量閾値以下である追加モジュールと、少なくとも一つの手ぶれ補正ボックスの観察リストにおける第１オフセット量と、テンプレート画像の信号機位置とに基づき、現在の画像の信号機位置を確定するように構成される確定モジュールとを備える画像の手ぶれ補正装置を提供する。

第３態様では、本出願の実施形態は、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも一つのプロセッサによって実行可能な指令が格納されており、前記指令が前記少なくとも一つのプロセッサによって実行されるとき、前記少なくとも一つのプロセッサに第１態様のいずれかの実施形態に記載の手ぶれ補正方法を実行させる、電子機器を提供する。

第４態様では、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
コンピュータ指令はコンピュータに第１態様のいずれかの実施形態に記載の手ぶれ補正方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

第５態様では、プロセッサによって実行されるとき、第１態様のいずれかの実施形態に記載の手ぶれ補正方法が実行されるコンピュータプログラムを含む、コンピュータプログラム製品を提供する。

第６態様では、本出願の実施形態は、第３態様に記載の電子機器を備える路側機を提供する。

第７態様では、本出願の実施形態は、第３態様に記載の電子機器を備えるクラウド制御プラットフォームを提供する。

なお、発明の概要に記載された内容は、本出願の実施形態のかなめとなる特徴又は重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解されるであろう。

本出願の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになるであろう。図面は本出願をよりよく理解するために用いられ、本出願に対する限定を構成しない。
本出願を適用可能な例示的なシステムアーキテクチャを示す図である。 本出願に画像の手ぶれ補正方法の一実施形態を示すフローチャートである。 本出願に画像の手ぶれ補正方法のさらなる実施形態を示すフローチャートである。 本出願に係る画像の手ぶれ補正装置の一実施形態を示す構造概略図である。 本出願の実施形態に係る画像の手ぶれ補正方法を実現するための電子機器のブロック図である。

以下は図面を参照して本出願の例示的な実施形態を説明し、ここでは理解に役立つため、本出願の実施形態の様々な詳細が記載されるが、これらは単なる例示的なものに過ぎない。従って、本出願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更や修正を行うことができることは自明である。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。

なお、矛盾しない限り、本出願における実施形態および実施形態における特徴を互いに組み合わせることができる。以下、図面を参照しながら実施形態と組み合わせて本出願を詳細に説明する。

図１は、本出願に係る画像の手ぶれ補正方法または画像の手ぶれ補正装置の実施形態が適用可能な例示的なシステムアーキテクチャ１００を示している。図１に示すように、システムアーキテクチャ１００は、カメラ１０１、ネットワーク１０２、およびサーバ１０３を含んでもよい。ネットワーク１０２は、カメラ１０１とサーバ１０３の間で通信リンクを提供するための媒体として使用される。ネットワーク１０２は、有線、無線通信リンク又は光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

メッセージを送受信するために、カメラ１０１はネットワーク１０２を介してサーバ１０３と情報のやり取りをすることができる。

カメラ１０１は、一般的には、路側に設置され、信号機の画像を取り込むことができる撮像機器である。例えば、交差点の信号機用ポールや監視灯用ポールに取り付けられたカメラが挙げられる。カメラは信号機用ポールまたは監視灯用ポールに取り付けられ、ポールの熱膨張、収縮、地面沈下、カメラ取り付けの緩みなどの原因でわずかに移動し、カメラと信号機との相対位置の変化につながる。本出願の目的は、発生した位置ずれを補正する画像手ぶれ補正方法を提供することである。

サーバ１０３は、様々なサービスを提供することができる。例えば、サーバ１０３は、カメラ１０１から取得した画像シーケンスなどのデータを解析するなどの処理を行い、処理結果（例えば、現在の画像の信号機位置）を生成することができる。

なお、サーバは、ハードウェアであってもよく、ソフトウェアであってもよい。サーバがハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実装され得る。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのソフトウェア又はソフトウェアモジュール）として実現されてもよく、又は単一のソフトウェア若しくはソフトウェアモジュールとして実現されてもよい。ここでは特に限定しない。

また、サーバ１０３は、路側機（例えば、路側計算装置ＲＳＣＵ）、クラウド制御プラットフォーム等によって代替されてもよい。

なお、本出願の実施形態に係る画像手ぶれ補正方法は一般的にサーバ、路側機、クラウド制御プラットフォームにより実行され、これに応じて、画像手ぶれ補正装置は一般的にサーバ、路側機、クラウド制御プラットフォームに設置される。

図１におけるカメラ、ネットワークおよびサーバの数が例示的なものに過ぎないことを理解されたい。実装の必要性に応じて、カメラ、ネットワークおよびサーバの数を任意に加減してもよい。

次に、図２を参照し、本出願に係る画像手ぶれ補正方法の一実施形態のフロー２００を示している。該画像手ぶれ補正方法は、次のステップを含む。

ステップ２０１、画像シーケンスにおける現在の画像に対して、現在の画像の各手ぶれ補正ボックス（ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ ｂｏｘ）とテンプレート画像の対応する手ぶれ補正ボックスとの間の第１オフセット量を計算する。

本実施形態において、画像手ぶれ補正方法の実行主体（例えば図１に示すサーバ１０３）は路側に設置されたカメラ（例えば図１に示すカメラ１０１）からその採集した画像シーケンスをリアルタイムに受信することができる。画像シーケンス内の現在の画像について、上記実行主体は、現在の画像の各手ぶれ補正ボックスとテンプレート画像の対応する手ぶれ補正ボックスとの間の第１オフセット量を計算することができる。

ここで、信号機とは、通常、道路交通信号機をいい、十字やＴ字などの交差点に設置され、道路交通信号制御機によって制御され、車両や歩行者を安全かつ整然と通行させるようにガイドするものである。

通常、カメラは路側に設置され、信号機の画像を採集できる。例えば、交差点の信号機用ポールや監視灯用ポールに設置される。カメラは定期的に画像を採集し、リアルタイムで上記実行主体に送信することができる。採集時間に応じて、カメラにより採集された一連の画像は画像シーケンスを構成することができる。上記実行主体は、採集時間に応じて、画像シーケンスにおける画像を順次処理してもよい。

画像シーケンスにおける現在の画像に対して、上記実行主体はまず目標検出アルゴリズムを利用して現在の画像の手ぶれ補正ボックスを検出し、続いてテンプレート画像の手ぶれ補正ボックス位置から現在の画像の手ぶれ補正ボックスの位置を減算し、現在の画像の手ぶれ補正ボックスとテンプレート画像の手ぶれ補正ボックスとの間の第１オフセット量を取得することができる。ここで、テンプレート画像は、カメラが予め採集した信号機の画像であってもよく、画像上に信号機と手ぶれ補正ボックスの位置をマークしてもよい。イメージノイズと露出オーバーの問題を回避し、マーキング精度を保証するために、テンプレート画像はカメラにより日中に採集された画像であってもよい。画像の手ぶれ補正ボックスは道路上の矩形枠であってもよく、検出を容易にするために画像の手ぶれ補正ボックス内に道路標示線交差点を含んでもよい。検出精度を向上させるために、画像の手ぶれ補正ボックスの数は複数であってもよい。信号機と画像の手ぶれ補正ボックスの位置は、信号機の事前設定座標系での座標であってもよく、例えば、信号機の境界ボックスと手ぶれ補正ボックスの左上角の点と右下角の点の画素座標系での座標である。ただし、画素座標系は可視化後の画像の座標系であり、通常左上角が原点であり、右向き下向きが正方向である。

ステップ２０２、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量をテンプレート画像の対応する手ぶれ補正ボックスの観察リストに追加する。

本実施形態では、上記実行主体は、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量をテンプレート画像の対応する手ぶれ補正ボックスの観察リストに追加することができる。

通常、第１事前設定条件を満たす第１オフセット量に対応する画像は、テンプレート画像との画像類似性が高い。例えば、第１事前設定条件は、第１オフセット量が事前設定オフセット閾値以下であることであってもよい。オフセット量が小さい画像ほど類似性が高い。ここでは、第１事前設定条件を満たす第１オフセット量を、対応する手ぶれ補正ボックスの観察リストに追加する。第１事前設定条件を満たさない第１オフセット量に対応する画像をフィルタリングする。また、第１オフセット量を観察リストに追加する画像の数が一定の数に蓄積されれば、現在の画像の信号機位置の計算精度が高いことを保証することができる。また、第２事前設定条件を満たす観察リストが存在する場合には、十分な枚数の画像が蓄積されたことを示している。例えば、第２事前設定条件は、観察リストの長さが事前設定された長さの閾値以上であることであってもよい。観察リストの長さが長いほど、蓄積される画像の数が多くなる。そのうち、テンプレート画像の一つの手ぶれ補正ボックスは一つの観察リストに対応することができ、一つ又は複数の観察リストは第２事前設定条件を満たす場合、第２事前設定条件を満たす観察リストが存在する。

なお、第１オフセット量が観察リストに追加された画像の数の蓄積が十分である場合、観察リストに新たな第１オフセット量を追加するたびに、該観察リストに最も早く追加された第１オフセット量を削除することができ、早期画像の干渉を回避し、算出された信号機位置の精度を向上させることができる。

ステップ２０３、少なくとも一つの手ぶれ補正ボックスの観察リスト内の第１オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定する。

本実施形態では、上記実行主体は、少なくとも一つの手ぶれ補正ボックスの観察リスト内の第１オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定してもよい。

一般に、上記実行主体は、現在の画像の信号機位置を確定するために、主に以下の３つの手ぶれ補正ポリシーを使用することができる。

一、ホモグラフィ行列変換に基づく信号機手ぶれ補正ポリシーの具体的なステップは以下のとおりである。

まず、テンプレート画像の手ぶれ補正ボックスから現在の画像の手ぶれ補正ボックスへのホモグラフィ行列を計算する。

任意の手ぶれ補正ボックスを例として、テンプレート画像の手ぶれ補正ボックスの位置と現在の画像の手ぶれ補正ボックスの位置とに基づいて、テンプレート画像の手ぶれ補正ボックスから現在の画像の手ぶれ補正ボックスまでのホモグラフィ行列を計算することができる。ここで、ホモグラフィ行列の計算式は以下のとおりである：

そして、テンプレート画像の信号機位置にホモグラフィ行列を乗算して、現在の画像の信号機位置を得る。

なお、現在の画像の手ぶれ補正ボックスの位置は目標検出アルゴリズムを利用して検出することができる。計算精度を向上させるために、現在の画像の手ぶれ補正ボックスの位置もまた、手ぶれ補正ボックスの観察リスト内の第１オフセット量とテンプレート画像の手ぶれ補正ボックスの位置とを使用して計算することができる。例えば、まず手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算し、現在の画像とテンプレート画像との手ぶれ補正ボックス間のオフセット量とし、続いてテンプレート画像の手ぶれ補正ボックスの位置と手ぶれ補正ボックスとの間のオフセット量を減算し、現在の画像の手ぶれ補正ボックスの位置を取得することができる。

ホモグラフィ行列変換に基づく信号機の手ぶれ補正方法を利用して手ぶれ補正を行い、すべての手ぶれ補正ボックスの観察リストを利用して計算し、手ぶれ補正効果の精度を向上させることができる。

二、最も近接する信号機の画像の手ぶれ補正ポリシーの具体的なステップは以下のとおりである。

まず、信号機の最も近接する手ぶれ補正ボックスを選択する。

具体的には、一方向の信号機の中心座標と各手ぶれ補正ボックスの中心座標との距離を算出する。ここで、最も距離が近い手ぶれ補正ボックスは、信号機の最も近接する手ぶれ補正ボックスである。１つの交差点の１つの方向に１つの信号機が存在する場合、該信号機の中心座標は該方向信号機の中心座標である。１つの交差点の１つの方向に複数の信号機が存在する場合、複数の信号機の中心座標の中心を計算して該方向信号機の中心座標とする。

次に、最も近接する手ぶれ補正ボックスの観察リスト内の第１オフセット量の平均値を計算し、現在の画像とテンプレート画像との信号機間の第２オフセット量とする。

現在の画像とテンプレート画像との任意の静止物体間のオフセットが同じであるため、現在の画像とテンプレート画像との手ぶれ補正ボック間のオフセットは、現在の画像とテンプレート画像との信号機間のオフセットと等しい。

最後に、第２オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定する。

具体的には、テンプレート画像の信号機位置から第２オフセット量を減算し、現在の画像の信号機位置を得ることができる。

最も近接する信号機の手ぶれ補正方法を用いて手ぶれ補正を行い、最も近接する手ぶれ補正ボックスの観察リストのみを用いて計算を行うことで、計算量を低減することができる。

三、平均値に基づく信号機手ぶれ補正ポリシーの具体的なステップは以下のとおりである。

まず、各手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算し、現在の画像とテンプレート画像との信号機間の第２オフセット量とする。

現在の画像とテンプレート画像との任意の静止物体間のオフセットが同じであるため、現在の画像とテンプレート画像との手ぶれ補正ボック間のオフセットは、現在の画像とテンプレート画像との信号機間のオフセットと等しい。

そして、第２オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定する。

具体的には、テンプレート画像の信号機位置から第２オフセット量を減算し、現在の画像の信号機位置を得ることができる。

平均値に基づく信号機手ぶれ補正ポリシーを利用して手ぶれ補正を行い、すべての手ぶれ補正ボックスの観察リストを利用して計算し、手ぶれ補正効果の精度を向上させることができる。

本出願の実施形態に係る画像手ぶれ補正方法は、まず画像シーケンスにおける現在の画像に対して、現在の画像とテンプレート画像との各手ぶれ補正ボックス間の第１オフセット量を算出する。続いて、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量を対応する手ぶれ補正ボックスの観察リストに追加する。最後に、少なくとも一つの手ぶれ補正ボックスの観察リストにおける第１オフセット量とテンプレート画像の信号機位置とに基づき、現在の画像の信号機位置を確定する。画像の類似度に基づく信号機の手ぶれ補正方法を提供し、第１事前設定条件を満たす第１オフセット量のみを観察リストに追加し、類似度の低い画像をフィルタリングし、類似度の高い画像に基づいて信号機の手ぶれ補正を行うことができ、手ぶれ補正効果を向上させる。画像中の特徴を抽出する必要がなく、計算リソースの消費を減らし、画像の手ぶれ補正にかかる時間を短縮する。車両用灯具の照射による影響をほとんど受けず、手ぶれ補正効果の安定性が向上する。

さらに、本出願に係る画像手ぶれ補正方法のもう一つの実施形態のフロー３００が示される図３を参照する。該画像手ぶれ補正方法は、次のステップを含む。

ステップ３０１、画像シーケンスにおける現在の画像に対して、現在の画像の各手ぶれ補正ボックスとテンプレート画像の対応する手ぶれ補正ボックスとの間の第１オフセット量を計算する。

ステップ３０２、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量をテンプレート画像の対応する手ぶれ補正ボックスの観察リストに追加する。

本実施形態では、ステップ３０１～３０２の具体的な動作は、図２に示す実施形態のステップ２０１～２０２で詳細に記述したので、ここではその説明を省略する。

ステップ３０３、各観察リストが第２事前設定条件を満たすか否かを判定する。

本実施形態では、画像手ぶれ補正方法の実行主体（例えば図１に示すサーバ１０３）は各観察リストが第２事前設定条件を満たすか否かを判断することができる。もし各観察リストが第２事前設定条件を満たしていれば、ステップ３０４を実行し、ホモグラフィ行列変換に基づく信号機手ぶれ補正ポリシーを用いて手ぶれ補正を行う。もし各観察リストがいずれも第２事前設定条件を満たしていなければ、すなわち、第２事前設定条件を満たす観察リストの数は全観察リストの数より小さく、ステップ３０６を実行する。

ステップ３０４、テンプレート画像の手ぶれ補正ボックスから現在の画像の手ぶれ補正ボックスへのホモグラフィ行列を計算する。

本実施形態では、上記実行主体は、各観察リストが第２事前設定条件を満たす場合に、テンプレート画像の手ぶれ補正ボックスから現在の画像の手ぶれ補正ボックスへのホモグラフィ行列を算出することができる。

任意の手ぶれ補正ボックスを例として、テンプレート画像の手ぶれ補正ボックスの位置と現在の画像の手ぶれ補正ボックスの位置とに基づいて、テンプレート画像の手ぶれ補正ボックスから現在の画像の手ぶれ補正ボックスまでのホモグラフィ行列を計算することができる。ここで、ホモグラフィ行列の計算式は以下のとおりである：

ステップ３０５、テンプレート画像の信号機位置にホモグラフィ行列を乗算し、現在の画像の信号機位置を得る。

本実施形態では、上記実行主体はテンプレート画像の信号機位置にホモグラフィ行列を乗算し、現在の画像の信号機位置を得ることができる。

ステップ３０６、第２事前設定条件を満たす観察リストは最も近接する手ぶれ補正ボックスの観察リストを含むか否かを判定する。

本実施形態において、第２事前設定条件を満たす観察リストの数が全観察リストの数より小さい場合、上記実行主体は第２事前設定条件を満たす観察リストに最も近接する手ぶれ補正ボックスの観察リストが含まれるか否かを判定することができる。第２事前設定条件を満たす観察リストが最も近接する手ぶれ補正ボックスの観察リストを含む場合、ステップ３０７を実行し、最も近接する信号機の手ぶれ補正ポリシーを用いて手ぶれ補正を行う。第２事前設定条件を満たす観察リストが最も近接する手ぶれ補正ボックスの観察リストを含まない場合、ステップ３１０を実行し、平均値に基づく信号機手ぶれ補正ポリシーを用いて手ぶれ補正を行う。

ステップ３０７、信号機の最も近接する手ぶれ補正ボックスを選択する。

本実施形態では、第２事前設定条件を満たす観察リストが、最も近接する手ぶれ補正ボックスの観察リストを含む場合、上記実行主体は信号機の最も近接する手ぶれ補正ボックスを選択することができる。具体的には、一方向の信号機の中心座標と各手ぶれ補正ボックスの中心座標との距離を算出する。ここで、最も距離が近い手ぶれ補正ボックスは、信号機の最も近接する手ぶれ補正ボックスである。１つの交差点の１つの方向に１つの信号機が存在する場合、該信号機の中心座標は該方向信号機の中心座標である。１つの交差点の１つの方向に複数の信号機が存在する場合、複数の信号機の中心座標の中心を計算して該方向信号機の中心座標とする。

ステップ３０８、最も近接する手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算して、現在の画像とテンプレート画像との信号機間の第２オフセット量とする。

本実施形態において、上記実行主体は、最も近接する手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算して、現在の画像とテンプレート画像との信号機間の第２オフセット量としてもよい。

現在の画像とテンプレート画像との任意の静止物体間のオフセットが同じであるため、現在の画像とテンプレート画像との手ぶれ補正ボック間のオフセットは、現在の画像とテンプレート画像との信号機間のオフセットと等しい。

ステップ３０９、第２オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定する。

本実施形態において、上記実行主体は、第２オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定してもよい。

具体的には、テンプレート画像の信号機位置から第２オフセット量を減算し、現在の画像の信号機位置を得ることができる。

ステップ３１０、各手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算して、現在の画像とテンプレート画像との信号機間の第２オフセット量とする。

本実施形態において、第２事前設定条件を満たす観察リストに最も近接する手ぶれ補正ボックスの観察リストが含まれない場合、上記実行主体は各手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算し、現在の画像とテンプレート画像との信号機間の第２オフセット量とすることができる。

現在の画像とテンプレート画像との任意の静止物体間のオフセットが同じであるため、現在の画像とテンプレート画像との手ぶれ補正ボック間のオフセットは、現在の画像とテンプレート画像との信号機間のオフセットと等しい。

ステップ３１１、第２オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定する。

本実施形態において、上記実行主体は、第２オフセット量とテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定してもよい。具体的には、テンプレート画像の信号機位置から第２オフセット量を減算し、現在の画像の信号機位置を得ることができる。

図３から分かるように、本実施形態における画像手ぶれ補正方法は、図２に対応する実施形態と比較して、信号機位置の確定ステップが強調された。これにより、本実施形態による方案は、各観察リストが第２事前設定条件を満たす場合に、ホモグラフィ行列変換に基づく信号機の手ぶれ補正ポリシーを選択して手ぶれ補正を行う。第２事前設定条件を満たす観察リストの数が全観察リストの数よりも小さく、且つ第２事前設定条件を満たす観察リストが最も近接する手ぶれ補正ボックスの観察リストを含む場合、最も近接する信号機の手ぶれ補正ポリシーを選択して手ぶれ補正を行う。第２事前設定条件を満たす観察リストの数が全観察リストの数より小さく、且つ第２事前設定条件を満たす観察リストが信号機の最も近接する手ぶれ補正ボックスの観察リストを含まない場合、平均値に基づく信号機手ぶれ補正ポリシーを選択して手ぶれ補正を行う。観察リストの状況に応じて対応する手ぶれ補正ポリシーを選択すると、計算量を低下させるだけでなく、手ぶれ補正効果の精度も向上された。

更に図４を参照すると、上記の図に示された方法の実施態様として、本出願は、画像手ぶれ補正装置の一実施形態を提供し、該装置の実施形態は、図２に示された方法の実施形態に対応しており、該装置は、具体的に様々な電子機器に適用することができる。

図４に示すように、本実施形態の画像手ぶれ補正装置４００は、演算モジュール４０１、追加モジュール４０２および確定モジュール４０３を備えてもよい。ここで、演算モジュール４０１は、画像シーケンスにおける現在の画像に対して、現在の画像の各手ぶれ補正ボックスとテンプレート画像の対応する手ぶれ補正ボックスとの間の第１オフセット量を算出するように構成される。追加モジュール４０２は、第２事前設定条件を満たす観察リストが存在するまで、第１事前設定条件を満たす第１オフセット量をテンプレート画像の対応する手ぶれ補正ボックスの観察リストに追加するように構成され、ここで、第１事前設定条件は第１オフセット量が事前設定オフセット量閾値以下である。確定モジュール４０３は、少なくとも一つの手ぶれ補正ボックスの観察リストにおける第１オフセット量と、テンプレート画像の信号機位置とに基づき、現在の画像の信号機位置を確定するように構成される。

本実施形態において、画像手ぶれ補正装置４００は、演算モジュール４０１、追加モジュール４０２、確定モジュール４０３の具体的な処理およびそれらの技術効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０３の関連する説明を参照することができ、ここではその説明を省略する。

本実施形態のいくつかのオプション的な実施態様では、確定モジュール４０３はさらに、テンプレート画像の手ぶれ補正ボックスから現在の画像の手ぶれ補正ボックスまでのホモグラフィ行列を計算し、テンプレート画像の信号機位置にホモグラフィ行列を乗算し、現在の画像の信号機位置を取得するように構成される。

本実施形態のいくつかのオプション的な実施態様では、各観察リストは第２事前設定条件を満たす。

本実施形態のいくつかのオプション的な実施態様では、確定モジュール４０３はさらに、信号機の最も近接する手ぶれ補正ボックスを選択し、最も近接する手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を算出し、現在の画像とテンプレート画像との信号機間の第２オフセット量とし、第２オフセット量とテンプレート画像の信号機位置に基づき、現在の画像の信号機位置を確定するように構成される。

本実施形態のいくつかのオプション的な実施態様では、第２事前設定条件を満たす観察リストの数は全観察リストの数より小さく、且つ第２事前設定条件を満たす観察リストは最も近接する手ぶれ補正ボックスの観察リストを含む。

本実施形態のいくつかのオプション的な実施態様では、確定モジュール４０３はさらに、現在の画像とテンプレート画像との信号機間の第２オフセット量として、各手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を計算し、第２オフセット量およびテンプレート画像の信号機位置とに基づいて、現在の画像の信号機位置を確定するように構成される。

本実施形態のいくつかのオプション的な実施態様では、第２事前設定条件を満たす観察リストの数は全観察リストの数より小さく、且つ第２事前設定条件を満たす観察リストは信号機の最も近接する手ぶれ補正ボックスの観察リストを含まない。

本実施形態のいくつかのオプション的な実施態様では、第２事前設定条件は、観察リストの長さが事前設定された長さの閾値以上であることである。

本出願の実施形態によれば、本出願はさらに電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム製品を提供する。

図５は、本出願の実施形態を実施するために使用できる例示的な電子機器５００の概略ブロック図を示している。

電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも一例であり、ここで記述および／または要求した本出願の実施形態を限定することを意図するものではない。

図５に示すように、電子機器５００は、読み出し専用メモリ（ＲＯＭ）５０２に記憶されているコンピュータプログラム又は記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる演算ユニット５０１を備える。ＲＡＭ５０３には、電子機器５００の動作に必要な様々なプログラムおよびデータが更に格納されることが可能である。

演算ユニット５０１、ＲＯＭ５０２およびＲＡＭ５０３は、バス５０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

電子機器５００において、キーボード、マウスなどの入力ユニット５０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット５０７と、磁気ディスク、光ディスクなどの記憶ユニット５０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット５０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース５０５に接続されている。通信ユニット５０９は、電子機器５００がインターネットなどのコンピュータネットワークおよび／又は様々な電気通信ネットワークを介して他の装置と情報又はデータのやりとりを可能にする。

演算ユニット５０１は、処理および演算能力を有する様々な汎用および／又は専用処理コンポーネントであってもよい。演算ユニット５０１のいくつかの例としては、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算ユニット５０１は、上述した画像手ぶれ補正方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、画像手ぶれ補正方法は、記憶ユニット５０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ５０２および／又は通信ユニット５０９を介して電子機器５００にロードおよび／又はインストールされてもよい。コンピュータプログラムがＲＡＭ５０３にロードされ、演算ユニット５０１によって実行されると、上述の画像手ぶれ補正方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、演算ユニット５０１は、他の任意の適切な形態によって（例えば、ファームウェアによって）画像手ぶれ補正方法を実行するように構成されていてもよい。

ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つ又は複数のコンピュータプログラムに実装され、該１つ又は複数のコンピュータプログラムは少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／又は解釈することができ、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置および少なくとも一つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を該記憶システム、該少なくとも一つの入力装置および該少なくとも一つの出力装置に伝送することを含み得る。

本出願の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

本出願のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、コマンド実行システム、装置またはデバイスが使用するため、またはコマンド実行システム、装置またはデバイスと組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置もユーザとのやりとりを行うことに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力若しくは触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで説明したシステムおよび技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。

本出願の実施形態によれば、本出願はさらに路側機を提供する。路側機は、図５に示す電子機器を含んでもよい。オプションで、路側機は、電子機器のほか、通信手段などを備えていてもよく、電子機器は、通信手段と一体集積化されていても、別体であってもよい。電子機器は感知装置（例えば、路側カメラ）のデータ（例えば画像および映像等）を取得することができ、それにより画像映像処理およびデータ演算を行う。オプションで、電子機器自体も感知データ取得機能および通信機能を備えることができ、例えばＡＩカメラであり、電子機器は取得した感知データに直接基づいて画像映像処理およびデータ計算を行うことができる。

本出願の実施形態によれば、本出願はさらにクラウド制御プラットフォーム提供する。クラウド制御プラットフォームは、図５に示す電子機器を含んでもよい。オプションで、クラウド制御プラットフォームはクラウド側で処理を実行し、クラウド制御プラットフォームに含まれる電子機器は感知装置（例えば路側カメラ）のデータ（例えば画像および映像等）を取得することができ、それにより画像映像処理およびデータ演算を行う。クラウド制御プラットフォームは路車協調管理プラットフォーム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォーム、センターシステム、クラウドサーバ等とも呼ばれる。

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順番に実行されてもよいし、異なる順序で実行されてもよい。本明細書では、これを制限しない。

上記具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および代替を行うことができることは理解される。本出願の精神および原理内で行われたあらゆる補正、均等な置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (19)

1. 画像シーケンスにおける現在の画像に対して、信号機からの距離が最も近い手ぶれ補正ボックスを最も近接する手ぶれ補正ボックスとして選択することと、
   前記現在の画像の最も近接する手ぶれ補正ボックスとテンプレート画像における前記現在の画像の最も近接する手ぶれ補正ボックスに対応する手ぶれ補正ボックスとの間の第１オフセットを算出することと、
   第２事前設定条件を満たす観察リストが存在するまで、第１オフセット量が事前設定オフセット閾値以下であるという第１事前設定条件を満たす第１オフセット量を前記テンプレート画像の対応する最も近接する手ぶれ補正ボックスの観察リストに追加することと、
   前記最も近接する手ぶれ補正ボックスの観察リスト内の第１オフセット量と前記テンプレート画像の信号機位置に基づき、前記現在の画像の信号機位置を確定することとを含み、
   前記手ぶれ補正ボックスは道路標示線交差点を含む矩形枠である、
   画像の手ぶれ補正方法。
2. 前記最も近接する手ぶれ補正ボックスの観察リスト内の第１オフセット量と前記テンプレート画像の信号機位置に基づき、前記現在の画像の信号機位置を確定することは、
   前記テンプレート画像の前記現在の画像の最も近接する手ぶれ補正ボックスに対応する手ぶれ補正ボックスから、前記現在の画像の前記最も近接する手ぶれ補正ボックスまでのホモグラフィ行列を計算することと、
   前記テンプレート画像の信号機位置に前記ホモグラフィ行列を乗算し、前記現在の画像の信号機位置を得ることとを含む、請求項１に記載の画像の手ぶれ補正方法。
3. 前記最も近接する手ぶれ補正ボックスの観察リストは、前記第２事前設定条件を満たす場合に、観察リストに新たな第１オフセット量を追加するたびに、当該観察リストに最も早く追加された第１オフセット量を削除する、請求項１に記載の画像の手ぶれ補正方法。
4. 画像シーケンスにおける現在の画像に対して、信号機からの距離が最も近い手ぶれ補正ボックスを最も近接する手ぶれ補正ボックスとして選択することは、
   一方向の信号機の中心座標と各手ぶれ補正ボックスの中心座標との距離を算出し、前記信号機からの距離が最も近い手ぶれ補正ボックスを前記信号機の最も近接する手ぶれ補正ボックスとすることを含む、請求項１に記載の画像の手ぶれ補正方法。
5. １つの交差点の１つの方向に複数の信号機が存在する場合、複数の信号機の中心座標の中心を計算して当該方向の信号機の中心座標とする、請求項４に記載の画像の手ぶれ補正方法。
6. 前記最も近接する手ぶれ補正ボックスの観察リスト内の第１オフセット量と前記テンプレート画像の信号機位置に基づき、前記現在の画像の信号機位置を確定することは、
   前記最も近接する手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を算出し、前記現在の画像と前記テンプレート画像との信号機間の第２オフセット量とすることと、
   前記第２オフセット量と前記テンプレート画像の信号機位置の差に基づき、前記現在の画像の信号機位置を確定することとを含む請求項１に記載の画像の手ぶれ補正方法。
7. 前記第２事前設定条件は観察リストの長さが事前設定された長さの閾値以上であることである請求項１～６のいずれか１項に記載の画像の手ぶれ補正方法。
8. 画像シーケンスにおける現在の画像に対して、信号機からの距離が最も近い手ぶれ補正ボックスを最も近接する手ぶれ補正ボックスとして選択するように構成される選択モジュールと、
   前記現在の画像の最も近接する手ぶれ補正ボックスとテンプレート画像における前記現在の画像の最も近接する手ぶれ補正ボックスに対応する手ぶれ補正ボックスとの間の第１オフセット量を算出するように構成される演算モジュールと、
   第２事前設定条件を満たす観察リストが存在するまで、第１オフセット量が事前設定オフセット量閾値以下であるという第１事前設定条件を満たす第１オフセット量を前記テンプレート画像の対応する最も近接する手ぶれ補正ボックスの観察リストに追加するように構成される追加モジュールと、
   前記最も近接する手ぶれ補正ボックスの観察リストにおける第１オフセット量と、前記テンプレート画像の信号機位置とに基づき、前記現在の画像の信号機位置を確定するように構成される確定モジュールとを備え、
   前記手ぶれ補正ボックスは道路標示線交差点を含む矩形枠である、画像の手ぶれ補正装置。
9. 前記確定モジュールは、さらに
   前記テンプレート画像の前記現在の画像の最も近接する手ぶれ補正ボックスに対応する手ぶれ補正ボックスから、前記現在の画像の前記最も近接する手ぶれ補正ボックスまでのホモグラフィ行列を計算することと、
   前記テンプレート画像の信号機位置に前記ホモグラフィ行列を乗算し、前記現在の画像の信号機位置を得ることとを行うように構成される、請求項８に記載の画像の手ぶれ補正装置。
10. 前記最も近接する手ぶれ補正ボックスの観察リストは、前記第２事前設定条件を満たす場合に、観察リストに新たな第１オフセット量を追加するたびに、当該観察リストに最も早く追加された第１オフセット量を削除する、請求項９に記載の画像の手ぶれ補正装置。
11. 前記選択モジュールは、さらに
    一方向の信号機の中心座標と各手ぶれ補正ボックスの中心座標との距離を算出し、前記信号機からの距離が最も近い手ぶれ補正ボックスを前記信号機の最も近接する手ぶれ補正ボックスとするように構成される、請求項９に記載の画像の手ぶれ補正装置。
12. 前記選択モジュールは、さらに１つの交差点の１つの方向に複数の信号機が存在する場合、複数の信号機の中心座標の中心を計算して当該方向の信号機の中心座標とするように構成される、請求項１１に記載の画像の手ぶれ補正装置。
13. 前記確定モジュールは、さらに
    前記最も近接する各手ぶれ補正ボックスの観察リストにおける第１オフセット量の平均値を算出し、前記現在の画像と前記テンプレート画像との信号機間の第２オフセット量とすることと、
    前記第２オフセット量と前記テンプレート画像の信号機位置の差に基づき、前記現在の画像の信号機位置を確定することとを行うように構成される請求項８に記載の画像の手ぶれ補正装置。
14. 前記第２事前設定条件は、観察リストの長さが事前設定された長さの閾値以上であることである請求項８～１３のいずれか１項に記載の画像の手ぶれ補正装置。
15. 少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信可能に接続されたメモリとを備えるコードをテストするための電子機器であって、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な指令が格納されており、前記指令が前記少なくとも一つのプロセッサによって実行されると、前記少なくとも一つのプロセッサに請求項１～７のいずれか１項に記載の方法が実行される、電子機器。
16. コンピュータ命令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ命令はコンピュータに請求項１～７のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
17. プロセッサによって実行されるとき、請求項１～７のいずれか１項に記載の画像の手ぶれ補正方法が実行されるコンピュータプログラムを含む、コンピュータプログラム製品。
18. 請求項１５に記載の電子機器を備える路側機。
19. 請求項１５に記載の電子機器を備えるクラウド制御プラットフォーム。

Images