JP7163129B2

JP7163129B2 - オブジェクトトラッキング方法及び装置

Info

Publication number: JP7163129B2
Application number: JP2018193230A
Authority: JP
Inventors: 珍九許; 東▲ぎょん▼ 南
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2017-10-27
Filing date: 2018-10-12
Publication date: 2022-10-31
Anticipated expiration: 2038-10-12
Also published as: CN109727271B; JP2019083004A; KR102495359B1; US10755420B2; US20200357124A1; US10977801B2; CN109727271A; EP3477540A1; US11676421B2; KR20190050876A; US20190130579A1; US20210233253A1

Description

本発明の実施形態はオブジェクトトラッキング方法及び装置に関する。

オブジェクトのトラッキングは、一般に、カメラで取得した映像からオブジェクトを検出し、オブジェクトに関する代表的な特徴点を抽出し、特徴点を用いてフレームごとにオブジェクトの座標を抽出する。一方、円滑な３Ｄ視聴のためには両眼の３次元座標が必要である。両眼の３次元座標を取得するために、両眼の２次元情報、顔の回転情報、及び両眼の間の距離等が用いられる。両眼の３次元座標をフレームごとに抽出することで両眼の位置をトラッキングし、両眼の位置に合わせて３Ｄ映像を生成することができる。

実施形態の目的は、マルチモダリティを用いて様々な環境でオブジェクトをトラッキングすることにある。

一実施形態によれば、オブジェクトトラッキング方法は、第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトを検出するステップと、前記第１タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第１タイプの入力映像から前記対象オブジェクトをトラッキングするステップと、前記第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して前記第１タイプの入力映像の信頼度を測定するステップと、前記第１タイプの入力映像の信頼度が第１閾値よりも低い場合、第２波長帯域の光に基づいた第２タイプの入力映像から、前記検出情報を用いて前記対象オブジェクトをトラッキングするステップとを含む。

前記第１波長帯域は可視線帯域を含み、前記第２波長帯域は赤外線帯域を含み得る。前記第１タイプの入力映像及び前記第２タイプの入力映像は、赤外線遮断フィルタが除去されたカメラを用いて取得され、前記第１タイプの入力映像の信頼度が前記第１閾値よりも低い場合、赤外線帯域の光を提供する赤外線光源を制御するステップをさらに含み得る。前記第１波長帯域が可視線領域を含む場合、前記赤外線光源を制御するステップは、前記赤外線光源を活性化させるステップを含み得る。前記第１データベースに格納された少なくとも１つの映像は、予め決定した基準よりも高い信頼度を有し、前記第１波長帯域の光に基づいて取得された少なくとも１つの第１参照映像を含み得る。

前記オブジェクトトラッキング方法は、記第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像とを比較して前記第２タイプの入力映像の信頼度を測定するステップと、前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記第１タイプの入力映像又は第２タイプの入力映像から前記対象オブジェクトを検出するステップとをさらに含み得る。前記第２データベースに格納された少なくとも１つの映像は、予め決定した閾値よりも高い信頼度を有し、前記第２波長帯域の光に基づいて取得された少なくとも１つの第２参照映像を含み得る。

前記オブジェクトトラッキング方法は、前記第１タイプの入力映像から前記対象オブジェクトが検出されない場合、前記第２タイプの入力映像から前記対象オブジェクトをトラッキングするステップをさらに含み得る。前記オブジェクトトラッキング方法は、前記第２タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第２タイプの入力映像から前記対象オブジェクトをトラッキングするステップと、前記第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像とを比較して前記第２タイプの入力映像の信頼度を測定するステップと、前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記検出情報を用いて第１タイプの入力映像から前記対象オブジェクトをトラッキングするステップとをさらに含み得る。

前記第１タイプの入力映像から対象オブジェクトを検出するステップは、エラーデータに基づいて予め学習された第１検出器を用いて実行され、前記エラーデータは、トレーニングデータのうち前記対象オブジェクトの検出が完了されていないデータ、及び前記トレーニングデータのうち他のオブジェクトが前記対象オブジェクトに間違って検出されたデータのうち少なくとも１つを含み得る。

前記検出情報は、前記第１タイプの入力映像の第１フレームで前記対象オブジェクトに対応する検出領域を含み、前記第１タイプの入力映像から前記対象オブジェクトをトラッキングするステップは、前記検出領域を用いて前記第１タイプの入力映像の第２フレームから前記対象オブジェクトをトラッキングするステップを含み得る。

一実施形態によれば、オブジェクトトラッキング装置は、プロセッサと、前記プロセッサで読み出し可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されると、前記プロセッサは、第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトを検出し、前記第１タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第１タイプの入力映像から前記対象オブジェクトをトラッキングし、前記第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して前記第１タイプの入力映像の信頼度を測定し、前記第１タイプの入力映像の信頼度が第１閾値よりも低い場合、第２波長帯域の光に基づいた第２タイプの入力映像から、前記検出情報を用いて前記対象オブジェクトをトラッキングする。

本発明によれば、マルチモダリティを用いて様々な環境でオブジェクトをトラッキングすることができる。

一実施形態に係るオブジェクトトラッキング装置を示すブロック図である。一実施形態に係るオブジェクトトラッキング方法を示す動作フローチャートである。一実施形態に係る信頼度測定器の動作を示す図である。一実施形態に係る入力映像の信頼度を測定する過程を示す図である。一実施形態に係るトラッキング領域を用いてオブジェクトをトラッキングする過程を示す図である。一実施形態に係る品質測定に基づくトラッカーを示すブロック図である。一実施形態に係るトレーニング装置を示すブロック図である。一実施形態に係る検出器の学習過程を示すブロック図である。一実施形態に係る第１波長帯域の光に基づいた入力映像から対象オブジェクトをトラッキングするトラッカーをトレーニングする過程を示す図である。一実施形態に係る第２波長帯域の光に基づいた入力映像から対象オブジェクトをトラッキングするトラッカーをトレーニングする過程を示す図である。一実施形態に係るステレオカメラを用いたオブジェクトトラッキング方法を示す動作フローチャートである。一実施形態に係る映像処理装置を示すブロック図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更されてもよい。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るオブジェクトトラッキング装置を示すブロック図である。図１を参照すれば、オブジェクトトラッキング装置１００は、映像処理装置１１０、カメラ１２０、及び赤外線光源１３０を含む。オブジェクトトラッキング装置１００は、カメラ１２０によって取得した入力映像から対象オブジェクト１５０を検出し、検出された対象オブジェクト１５０をトラッキングする。一実施形態によれば、対象オブジェクト１５０はユーザの目であってもよく、オブジェクトトラッキング装置１００は、入力映像からユーザの目を対象オブジェクト１５０として高い精度でトラッキングできる。対象オブジェクト１５０は、ユーザの目の他に、顔、手のような身体部位、及び車両、自転車のような物体を含み得る。以下では、対象オブジェクト１５０がユーザの目である場合について説明するが、以下の説明は対象オブジェクト１５０がユーザの目以外のものであっても適用され得る。

裸眼式３Ｄを提供するためにユーザの目の位置が求められる。裸眼式３Ｄ装置は、カメラを用いてユーザの目をトラッキングし、目の位置に対応する３Ｄ映像を出力する。３Ｄヘッドアップディスプレイ（ＨｅａｄＵｐＤｉｓｐｌａｙ：ＨＵＤ）は、ナビゲーション情報、悪天候等における運転補助のための情報、及び危険状況や危険対象等をウィンドシールド（ｗｉｎｄｓｈｉｅｌｄ）に表示する。３ＤＨＵＤにおいては、３Ｄ情報が道路上で正確に表現されることが重要であるため、目の位置が持続的に精密に検出されなければならない。例えば、照度の低い環境やメガネのような障害物が存在する環境であっても、目の位置が持続的に精密に検出されなければならない。クロストークによりユーザに誤った３Ｄ情報が提供される場合、交通事故のような生命に危険な状況が発生する虞があるためである。オブジェクトトラッキング装置１００は、照度の低い環境やメガネのような障害物が存在する環境などの様々な環境で撮影された入力映像から、このような対象オブジェクト１５０をトラッキングし得る。

カメラ１２０は、対象オブジェクト１５０を撮影して映像処理装置１１０に入力映像を提供する。映像処理装置１１０は、入力映像から対象オブジェクト１５０をトラッキングして対象オブジェクト１５０の座標を決定する。カメラ１２０は、シングルカメラ又はステレオカメラであってもよい。カメラ１２０がシングルカメラである場合、映像処理装置１１０は、入力映像から対象オブジェクト１５０の２Ｄ座標を抽出し、これをユーザの瞳孔間距離（ＩｎｔｅｒＰｕｐｉｌＤｉｓｔａｎｃｅ：ＩＰＤ）と組み合わせて対象オブジェクト１５０の３Ｄ座標を決定する。カメラ１２０がステレオカメラである場合、映像処理装置１１０は、少なくとも２つの位置で撮影された入力映像から対象オブジェクト１５０の２Ｄ座標を抽出し、三角測量方式によって対象オブジェクト１５０の３Ｄ座標を決定する。

カメラ１２０は、第１波長帯域の光に基づいて第１タイプの入力映像を生成し、第２波長帯域の光に基づいて第２タイプの入力映像を生成する。カメラ１２０は、可視線を用いるビジュアルカメラ及び赤外線を用いるＩＲカメラ（Ｉｎｆｒａｒｅｄｃａｍｅｒａ）の役割を果たす。言い換えれば、カメラ１２０は、可視線及び赤外線の全てを利用できるハイブリッドカメラであり得る。例えば、カメラ１２０から赤外線遮断フィルタ（ＩＲｃｕｔｆｉｌｔｅｒ）が除去され、カメラ１２０は、可視線が提供される環境では可視線を用いて対象オブジェクト１５０を撮影し、或いはカメラ１２０は赤外線が提供される環境では赤外線を用いて対象オブジェクト１５０を撮影する。一例として、カメラ１２０は、ハイブリッド方式のステレオカメラであり得る。

ビジュアルカメラの場合、低照度で対象オブジェクト１５０をトラッキングするには限界がある。低照度の環境でビジュアルカメラを用いて対象オブジェクト１５０をトラッキングしようとすると、ビジュアルカメラのフレームレートを低下させたり絞りを開放したりしなければならない。この場合、低いフレームレートによってカメラ遅延や映像ぼけが発生する虞がある。低照度の環境ではＩＲカメラを使用することが考えられるかもしれないが、ＩＲカメラを使用する場合、持続的なＩＲの使用に起因して安全性の問題が発生し、メガネによって目の周辺にホワイトスポット又は白点（ｗｈｉｔｅｓｐｏｔ）が生じたり、強い外光が存在する環境で対象オブジェクト１５０の検出精度が減少したりしてしまうことが懸念される。

カメラ１２０は、状況に応じて適切にビジュアルカメラとして動作したり、ＩＲカメラとして動作する。例えば、映像処理装置１１０が可視線に基づいた入力映像から対象オブジェクト１５０の検出に失敗した場合、カメラ１２０は、赤外線に基づいて対象オブジェクト１５０を撮影してもよい。このようにカメラ１２０がＩＲカメラとして動作する場合、赤外線撮影のために赤外線光源１３０が活性化し、赤外線光源１３０は、活性化状態で赤外線帯域の光を提供し得る。カメラ１２０から赤外線遮断フィルタが除去されている場合、カメラ１２０は赤外線に基づいて対象オブジェクト１５０を撮影することが可能である。また、映像処理装置１１０が、可視線に基づいた入力映像の信頼度は低下したと判断した場合、カメラ１２０は、赤外線に基づいて対象オブジェクト１５０を撮影する。

照度が高い場合に可視線映像を用いることが必ずしもトラッキングに有利ではなく、照度が低い場合に赤外線映像を用いることが必ずしもトラッキングに有利であるとは限らない。例えば、照度が低い場合であっても可視線映像を用いることがトラッキングに有利な状況が存在する。言い換えれば、照度値に応じてカメラ１２０が用いる波長帯域を決定することは、トラッキングの精度を保障できるとは限らない。

実施形態によれば、入力映像の信頼度を出力するようトレーニングされた信頼度測定器を用いて入力映像の信頼度を測定し、入力映像の信頼度に応じてモダリティ（ｍｏｄａｌｉｔｙ）をスイッチングする。ここで、モダリティは、特定の波長帯域に関する装置又は動作を示す。入力映像の信頼度が高いことは、入力映像を用いたトラッキング過程の信頼度が高いことを含む。信頼度測定器を用いて信頼度が低く測定される場合、モダリティをスイッチングしてトラッキング過程の信頼度を向上させる。信頼度測定器を用いる場合、単に照度に依存するよりも、トラッキングの精度が向上され得る。

オブジェクトトラッキング装置１００は、車両の３ＤＨＵＤデバイスのために運転者の目の位置をトラッキングしたり、ＴＶやモバイルデバイスのようなディスプレイデバイスの３Ｄディスプレイから視聴者の目の位置をトラッキングしたりするために用いられる。また、オブジェクトトラッキング装置１００は、運転者の視点、運転者の視線追跡状態をモニタリングするために用いられる。

オブジェクトトラッキング装置１００は、検出モードから対象オブジェクト１５０を検出し、検出された対象オブジェクト１５０の領域情報を用いてトラッキングモードから対象オブジェクト１５０をトラッキングする。例えば、第１フレームからオブジェクトが検出された場合、オブジェクトトラッキング装置１００は検出情報を生成し、検出情報を用いて第２フレームから対象オブジェクト１５０をトラッキングする。ここで、第２フレームは、第１フレームの次のフレームであってもよく、検出情報は、検出された対象オブジェクト１５０に対応する検出領域を含む。オブジェクトトラッキング装置１００がトラッキングモードに入る場合、入力映像の全体領域ではない一部領域で対象オブジェクト１５０を検出することから、対象オブジェクト１５０を検出するためのリソースが節約される。

一実施形態によれば、オブジェクトトラッキング装置１００は、検出モードでエラーデータベースにトレーニングされた検出器を用いる。エラーデータは、オブジェクト検出の難易度の高いトレーニングデータを意味し、エラーデータを用いて検出器をトレーニングすることで検出器の検出性能を向上させ得る。例えば、エラーデータは、トレーニングデータのうち対象オブジェクト１５０の検出が完了されていないデータ、及びトレーニングデータのうち他のオブジェクトが対象オブジェクト１５０に間違って検出されたデータのうち少なくとも１つを含む。対象オブジェクト１５０の検出が完了できないことは、対象オブジェクト１５０の検出に失敗したことを意味する。

一実施形態によれば、オブジェクトトラッキング装置１００は、トラッキングモードで品質に基づいてトレーニングされたトラッカーを用いることができる。品質測定器は、入力映像の品質に応じて入力映像を分類する。例えば、品質測定器により、入力映像は、高い品質、中間品質、及び低い品質のいずれか１つに分類される。入力映像の品質は、トラッキング難易度を含む。トラッカーは、高い品質の入力映像から対象オブジェクト１５０をトラッキングするようトレーニングされた第１トラッカー、中間品質の入力映像から対象オブジェクト１５０をトラッキングするようトレーニングされた第２トラッカー、及び低い品質の入力映像から対象オブジェクト１５０をトラッキングするようトレーニングされた第３トラッカーを含む。品質測定器が入力映像の品質を測定すれば、測定された品質に対応するトラッカーが対象オブジェクト１５０をトラッキングする。品質に基づいてトレーニングされたトラッカーを用いる場合、トラッキングの精度が向上される。

図２は、一実施形態に係るオブジェクトトラッキング方法を示す動作フローチャートである。下記で可視線カメラにより使用される波長帯域、言い換えれば、可視線帯域を含む帯域を第１波長帯域と称し、ＩＲカメラにより使用される波長帯域、言い換えれば、赤外線帯域を含む帯域を第２波長帯域と称する。また、第１波長帯域に関する装置又は動作は第１モダリティと称し、第２波長帯域に関する装置又は動作は第２モダリティと称する。

以下の説明は、入力映像を提供するカメラがシングルカメラである場合、及びステレオカメラである場合等の全てに適用され得る。例えば、シングルカメラが用いられる場合の下記の説明は、シングルカメラに関してそのまま適用され、ステレオカメラが用いられる場合の下記の説明は、ステレオカメラを構成する各カメラに関して適用される。

図２を参照すれば、ステップＳ２１０において、オブジェクトトラッキング装置は、現在のモダリティに基づいて入力映像から対象オブジェクトを検出する。現在のモダリティは、第１モダリティ又は第２モダリティである。例えば、現在のモダリティが第１モダリティである場合、オブジェクトトラッキング装置は、第１波長帯域の光に基づいた第１タイプの入力映像を取得し、第１タイプの入力映像から対象オブジェクトを検出する。現在のモダリティは、予め決定した条件に応じてステップＳ２４０又はステップＳ２９０でスイッチングされる。以下では、現在のモダリティが第１モダリティから開始することを仮定して説明するが、下記の説明は、現在のモダリティが第２モダリティから開始する場合にも同様に適用され得る。

ステップＳ２２０において、オブジェクトトラッキング装置は、第１タイプの入力映像から対象オブジェクトが検出されたか否かを判断する。第１タイプの入力映像から対象オブジェクトが検出された場合、オブジェクトトラッキング装置の動作モードが検出モードからトラッキングモードに切り替えられ、ステップＳ２５０が実行される。第１タイプの入力映像から対象オブジェクトが検出されない場合、ステップＳ２３０及びステップＳ２４０が実行される。以下ではステップＳ２１０において、第１タイプの入力映像から対象オブジェクトが検出された場合、及び第１タイプの入力映像から対象オブジェクトが検出されない場合について説明する。

＜第１タイプの入力映像から対象オブジェクトが検出されない場合＞
第１タイプの入力映像から対象オブジェクトが検出されない場合、オブジェクトトラッキング装置は、ステップＳ２３０において、光源及びカメラのうち少なくとも１つを制御し、ステップＳ２４０において、モダリティをスイッチングする。例えば、第１タイプの入力映像から対象オブジェクトが検出されない場合、オブジェクトトラッキング装置は、赤外線光源を活性化させて現在のモダリティを第１モダリティから第２モダリティにスイッチングする。その他に、ステップＳ２３０で、カメラのＩＳＯ、シャッター速度、絞り（ａｐｅｒｔｕｒｅ）などが調整され得る。

第１モダリティでは、第１波長帯域の光に基づいた第１タイプの入力映像に基づいた動作が実行され、第２モダリティでは、第２波長帯域の光に基づいた第２タイプの入力映像に基づいた動作が実行される。例えば、ステップＳ２４０で現在のモダリティが第１モダリティから第２モダリティにスイッチングされた場合、オブジェクトトラッキング装置は、ステップＳ２１０で第２タイプの入力映像を取得し、第２タイプの入力映像から対象オブジェクトを検出する。その後、オブジェクトトラッキング装置は、ステップＳ２２０で第２タイプの入力映像から対象オブジェクトが検出されたか否かを判断し、第２タイプの入力映像から対象オブジェクトが検出された場合、動作モードを検出モードからトラッキングモードに切り替え、ステップＳ２５０を行う。一方、第２タイプの入力映像から対象オブジェクトが検出されない場合、オブジェクトトラッキング装置は、ステップＳ２３０及びステップＳ２４０を行う。

第２タイプの入力映像から対象オブジェクトが検出された場合、オブジェクトトラッキング装置は、ステップＳ２５０において、対象オブジェクトの検出情報を用いて第２タイプの入力映像から対象オブジェクトをトラッキングする。ここで、検出情報は、前述したステップＳ２１０で第２タイプの入力映像から対象オブジェクトが検出されることにより生成されたものである。オブジェクトトラッキング装置は、ステップＳ２６０において、第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像とを比較して第２タイプの入力映像の信頼度を測定し、第２タイプの入力映像の信頼度が第２閾値よりも低い場合、ステップＳ２７０、ステップＳ２８０及びステップＳ２９０を行う。第１タイプの入力映像の信頼度と比較される閾値は第１閾値と称し、第２タイプの入力映像の信頼度と比較される閾値は第２閾値と称する。

第２タイプの入力映像の信頼度が第２閾値よりも低い結果、ステップＳ２９０で現在のモダリティが第２モダリティから第１モダリティに切り替えられた場合、ステップＳ２５０でオブジェクトトラッキング装置は、第１タイプの入力映像から対象オブジェクトをトラッキングする。第２データベースに格納された少なくとも１つの映像は、予め決定した閾値よりも高い信頼度を有し、第２波長帯域の光に基づいて取得された少なくとも１つの第２参照映像を含む。したがって、第２タイプの入力映像は、第２データベースに格納された少なくとも１つの映像に類似するほど信頼度が高く測定され得る。

オブジェクトトラッキング装置は、検出情報を用いて対象オブジェクトをトラッキングする。ここで、検出情報は、前述したステップＳ２１０で第２タイプの入力映像から対象オブジェクトが検出されることにより生成されたものである。一実施形態によれば、検出情報は検出情報が生成されたモダリティに関係がなく用いてもよい。例えば、第２モダリティで検出情報が生成された場合、生成された検出情報は第１モダリティでも用いてもよい。検出情報の検出領域は一定の領域を示すため、入力映像のサイズが同一であれば、現在のモダリティに関係がなく用いることができる。

＜第１タイプの入力映像から対象オブジェクトが検出された場合＞
第１タイプの入力映像から対象オブジェクトが検出された場合、オブジェクトトラッキング装置は、検出領域を含む検出情報を生成する。ステップＳ２５０でオブジェクトトラッキング装置は、第１タイプの入力映像の次のフレームを取得し、取得されたフレームから対象オブジェクトをトラッキングする。オブジェクトトラッキング装置は、検出情報を用いて対象オブジェクトをトラッキングする。

ステップＳ２６０において、オブジェクトトラッキング装置は、第１タイプの入力映像と第１データベースに格納された映像とを比較して第１タイプの入力映像の信頼度を測定し、第１タイプの入力映像の信頼度及び第１閾値を比較する。第１データベースに格納された少なくとも１つの映像を予め決定した基準よりも高い信頼度を有し、第１波長帯域の光に基づいて取得された少なくとも１つの第１参照映像を含む。したがって、第１タイプの入力映像は、第１データベースに格納された少なくとも１つの映像に類似するほど信頼度が高く測定される。

第１タイプの入力映像の信頼度が第１閾値よりも高い場合、ステップＳ２５０が実行される。言い換えれば、第１タイプの入力映像の信頼度が第１閾値よりも高い場合、第１モダリティを通したトラッキングモードが持続される。オブジェクトトラッキング装置は、第１タイプの入力映像の次のフレームを取得し、取得されたフレームから対象オブジェクトをトラッキングする。第１タイプの入力映像の信頼度が持続的に高く測定される場合、オブジェクトトラッキング装置は、第１タイプの入力映像の連続的なフレームを続けて取得し、第１タイプの入力映像から対象オブジェクトをトラッキングする。

第１タイプの入力映像の信頼度が第１閾値よりも低い場合、ステップＳ２７０において、全てのモダリティがチェックされたことを確認した後、ステップＳ２８０及びステップＳ２９０が実行される。ここで、全てのモダリティは、第１モダリティ及び第２モダリティを含む。例えば、第１モダリティによる信頼度が低い場合であっても、トラッキングモードから直ちに離脱することなく、第２モダリティでトラッキングモードを向上させ得る。第１モダリティ及び第２モダリティの全てから信頼度が低く測定される場合、トラッキングモードから離脱して検出モードが実行され得る。したがって、ステップＳ２７０において、全てのモダリティがチェックされたことが確認される場合、ステップＳ２１０により検出モードが実行され、一部のモダリティのみがチェックされたことが確認される場合、ステップＳ２８０及びステップＳ２９０が実行される。

オブジェクトトラッキング装置は、ステップＳ２８０において光源及びカメラのうち少なくとも１つを制御し、ステップＳ２９０においてモダリティをスイッチングする。例えば、第１タイプの入力映像から対象オブジェクトが検出されない場合、オブジェクトトラッキング装置は、赤外線光源を活性化させて現在のモダリティを第１モダリティから第２モダリティにスイッチングする。その他に、ステップＳ２８０及びステップＳ２９０には、前述したステップＳ２３０及びステップＳ２４０に関する説明が適用され得る。

ステップＳ２９０において、現在のモダリティが第１モダリティから第２モダリティにスイッチングされた場合、オブジェクトトラッキング装置は、ステップＳ２５０で第２タイプの入力映像から次のフレームを取得し、取得されたフレームから対象オブジェクトをトラッキングする。オブジェクトトラッキング装置は、検出情報を用いて対象オブジェクトをトラッキングする。ここで、検出情報は、前述したステップＳ２１０で、１タイプの入力映像から対象オブジェクトが検出されることにより生成されたものであり得る。

ステップＳ２６０で、オブジェクトトラッキング装置は、第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像とを比較して第２タイプの入力映像の信頼度を測定し、第２タイプの入力映像の信頼度と第２閾値とを比較する。第２タイプの入力映像の信頼度が第２閾値よりも低い場合、ステップＳ２７０が実行される。第１モダリティ及び第２モダリティが全てチェックされた場合、トラッキングモードから離脱し、ステップＳ２１０で検出モードが開始できる。検出モードが新しく開始される場合、現在のモダリティが維持又はスイッチングされる。前述した例示において、オブジェクトトラッキング装置は、引き続き第２モダリティとして動作し、或いは現在のモダリティを第２モダリティから第１モダリティに切り替えて第１モダリティとして動作する。したがって、ステップＳ２１０でオブジェクトトラッキング装置は、現在のモダリティに応じて第１タイプの入力映像又は第２タイプの入力映像から対象オブジェクトを検出し得る。

図３は、一実施形態に係る信頼度測定器の動作を示す図である。図３を参照すれば、信頼度測定器３１０は、入力映像及びデータベース３２０に格納された少なくとも１つの映像を比較して入力映像の信頼度を出力する。オブジェクトトラッキング装置は、信頼度測定器３１０を用いて入力映像の信頼度を測定し、或いは以下で説明される信頼度測定器３１０の動作を直接的に行う。

データベース３２０は、第１データベース３２１及び第２データベース３２３を含む。入力映像が第１モダリティに対応する場合、信頼度測定器３１０は、入力映像と第１データベース３２１に格納された少なくとも１つの映像とを比較し、入力映像が第２モダリティに対応する場合、信頼度測定器３１０は、入力映像と及び第２データベース３２３に格納された少なくとも１つの映像とを比較する。第１データベース３２１に格納された少なくとも１つの映像は、予め決定した基準よりも高い信頼度を有し、第１波長帯域の光に基づいて取得された少なくとも１つの第１参照映像を含む。第２データベース３２３に格納された少なくとも１つの映像は、予め決定した基準よりも高い信頼度を有し、第２波長帯域の光に基づいて取得された少なくとも１つの第２参照映像を含む。一実施形態によれば、品質に基づいて学習されたトラッカーによって高い信頼度を有するものとして分類された参照映像からデータベース３２０が構成され得る。

図４は、一実施形態に係る入力映像の信頼度を測定する過程を示す図である。参照映像４１０は、入力映像４２０のモダリティに応じて第１データベース又は第２データベースに取得される。例えば、入力映像４２０が第２タイプである場合、参照映像４１０は第２データベースから取得される。参照映像４１０の数は、オブジェクトトラッキング装置の性能や求められるトラッキングの精度などによって決定され得る。

オブジェクトトラッキング装置は、参照映像４１０から広域特徴（又はグローバル特徴）４１１及び地域特徴（又はローカル特徴）４１３を抽出し、入力映像４２０から広域特徴４２１及び地域特徴４２３を抽出する。広域特徴４１１、４２１の数は１（エル）であり、地域特徴４１３、４２３の数はｍであり、１（エルｌ）＋ｍ＝ｎであると仮定する。ｎは、参照映像４１０から抽出された特徴の数、及び入力映像４２０から抽出された特徴の数を示す。１（エル）、ｍ、ｎは全て自然数である。

オブジェクトトラッキング装置は、広域特徴４１１、４２１及び地域特徴４１３、４２３のそれぞれに関して平均値（ｍｅａｎ）及び標準値（ｓｔｄ）を算出する。例えば、オブジェクトトラッキング装置は、広域特徴４１１に関して平均値Ｇ＿ｇｆ１＿ｍｅａｎないしＧ＿ｇｆｌ（エル）＿ｍｅａｎ、及び標準値Ｇ＿ｇｆ１＿ｓｔｄないしＧ＿ｇｆｌ（エル）＿ｓｔｄを算出し、広域特徴４２１に関して平均値Ｉ＿ｇｆ１＿ｍｅａｎないしＩ＿ｇｆｌ（エル）＿ｍｅａｎ、及び標準値Ｉ＿ｇｆ１＿ｓｔｄないしＩ＿ｇｆｌ（エル）＿ｓｔｄを算出する。また、オブジェクトトラッキング装置は、地域特徴４１３に関して平均値Ｇ＿ｌｆ１＿ｍｅａｎないしＧ＿ｌｆｍ＿ｍｅａｎ、及び標準値Ｇ＿ｌｆ１＿ｓｔｄないしＧ＿ｌｆｍ＿ｓｔｄを算出し、地域特徴４２３に関して平均値Ｉ＿ｌｆ１＿ｍｅａｎないしＩ＿ｌｆｍ＿ｍｅａｎ及び標準値Ｉ＿ｌｆ１＿ｓｔｄないしＩ＿ｌｆｍ＿ｓｔｄを算出する。

オブジェクトトラッキング装置は、算出された平均値及び標準値に基づいて特徴の間の距離を算出する。例えば、特徴の間の距離は、下記の数式（１）によって算出される。

数式（１）において、ｄ＿ｉは、参照映像のｉ番目の特徴と入力映像のｉ番目の特徴との間の距離を示し、Ｉ＿ｇｆｉ＿ｍｅａｎは入力映像のｉ番目の広域特徴の平均値を示し、Ｉ＿ｇｆｉ＿ｓｔｄは入力映像のｉ番目の広域特徴の標準値を示し、Ｇ＿ｇｆｉ＿ｍｅａｎは参照映像のｉ番目の広域特徴の平均値を示し、Ｇ＿ｇｆｉ＿ｓｔｄは参照映像のｉ番目の広域特徴の標準値を示す。Ｉ＿ｌｆｉ＿ｍｅａｎは入力映像のｉ番目の地域特徴の平均値を示し、Ｉ＿ｌｆｉ＿ｓｔｄは入力映像のｉ番目の地域特徴の標準値を示し、Ｇ＿ｌｆｉ＿ｍｅａｎは参照映像のｉ番目の地域特徴の平均値を示し、Ｇ＿ｌｆｉ＿ｓｔｄは参照映像のｉ番目の地域特徴の標準値を示す。

オブジェクトトラッキング装置は、特徴の間の距離に基づいて特徴のスコアを算出する。例えば、複数の特徴のスコアは下記の数式（２）によって算出される。

数式（２）において、Ｆ＿ｓｃｏｒｅ＿ｉはｉ番目の特徴のスコアを示し、ｄ＿ｉは参照映像のｉ番目の特徴と入力映像のｉ番目の特徴との間の距離を示し、ｄ＿ｉ＿ｍａｘはｄ＿ｉの最大値を示し、ｄ＿ｉ＿ｍｉｎはｄ＿ｉの最小値を示す。

オブジェクトトラッキング装置は、複数の特徴のスコアを加重平均して入力映像の信頼度を算出する。例えば、入力映像の信頼度は、下記の数式（３）によって算出される。

数式（３）において、Ｓは入力映像の信頼度を示し、Ｆ＿ｓｃｏｒｅ＿ｋはｋ番目の特徴スコアを示し、ｗ＿ｋはｋ番目の加重値を示し、ｎは抽出された特徴の数を示し、ｋは演算インデックスを示す。オブジェクトトラッキング装置は、図４を参照して説明された方法に基づいて入力映像の信頼度を測定し得る。

図５は、一実施形態に係るトラッキング領域を用いてオブジェクトをトラッキングする過程を示す図である。対象オブジェクトをトラッキングするために、オブジェクトトラッキング装置は、第１フレームＦ１で対象オブジェクトに対応するものと推定される検出領域を決定する。検出領域は、位置及びサイズに特定され得る。実施形態によって、検出領域のサイズは予め決定されてもよく、検出領域の位置がオブジェクトトラッキング装置によって決定されてもよい。

オブジェクトトラッキング装置は、第１フレームＦ１で検出領域から対象オブジェクトに関する特徴点を抽出することで対象オブジェクトを整列する。例えば、オブジェクトトラッキング装置は、第１フレームＦ１で検出領域に該当する部分の映像から対象オブジェクトの形状を示す特徴点を抽出することで、対象オブジェクトの幾何学的な構造を識別し得る。オブジェクトトラッキング装置は、対象オブジェクトを整列した後、前記特徴点に基づいて対象オブジェクトをトラッキングするためのトラッキング領域５１０を決定する。一側面によれば、オブジェクトトラッキング装置は、前記特徴点を中心に含む領域をトラッキング領域として決定する。オブジェクトトラッキング装置は、トラッキング領域５１０を用いて第２フレームＦ２で対象オブジェクトをトラッキングする。言い換えれば、フレームＦ１の信頼度が閾値に比べて高い場合、フレームＦ２ではオブジェクト検出が再び実行されなくてもよい。

フレームＦ２で対象オブジェクトは、フレームＦ１における対象オブジェクトの位置に比べて右側上段に位置する。オブジェクト検出装置は、フレームＦ２でトラッキング領域５１０から対象オブジェクトの特徴点を抽出する。オブジェクトトラッキング装置は、フレームＦ２でトラッキング領域５１０から抽出された特徴点に基づいて新しいトラッキング領域５２０を決定する。例えば、オブジェクトトラッキング装置は、トラッキング領域５１０で抽出された特徴点を中心に含む領域をトラッキング領域５２０として決定する。フレームＦ３においても、フレームＦ２と同様に、トラッキング領域５２０から対象オブジェクトの特徴点が抽出され、新しいトラッキング領域５３０が決定される。このように、入力映像の信頼度が閾値に比べて高い場合、オブジェクトトラッキング装置は、トラッキングモードで対象オブジェクトを持続的にトラッキングできる。

オブジェクトトラッキング装置は、対象オブジェクトをトラッキングするとき検出器の使用を最小化することができる。検出器の使用を最小化する理由は、検出器の検出動作に消耗するコンピューティングリソースのためである。検出器は、対象オブジェクトを検出するために入力映像の全体領域をスキャンするため、検出器の検出動作にはコンピューティングリソースが大きく消耗してしまう。

オブジェクトトラッキング装置は、入力映像に含まれた対象オブジェクトをトラッキングしながら対象オブジェクトの位置情報を出力する。例えば、対象オブジェクトの位置情報はユーザの目の位置を含む。オブジェクトトラッキング装置は、入力映像に含まれた複数のフレームから対象オブジェクトをトラッキングし、それぞれのフレームに関してユーザの目の位置を出力し得る。目の位置は、２次元又は３次元座標に特定され得る。

図６は、一実施形態に係る品質測定に基づくトラッカーを示すブロック図である。図６を参照すれば、トラッカー６２０は、第１トラッカー６１１、第２トラッカー６１３、及び第３トラッカー６１５を含む。下記では、説明の便宜のためにトラッカー６２０が３個のサブトラッカーを含むものとして説明するが、トラッカー６２０は、２個又は４つ以上のサブトラッカーを含んでもよい。サブトラッカーは、互いに異なる品質を有する映像を学習する。例えば、第１トラッカー６１１は高い品質の映像を学習し、第２トラッカー６１３は中間品質の映像を学習し、第３トラッカー６１５は低い品質の映像を学習してもよい。より一般的に言えば、複数のサブトラッカーの各々は、各自異なる品質の映像を学習する。

オブジェクトトラッキング装置は、入力映像の品質を測定し、入力映像及び入力映像の品質情報をトラッカー６２０に入力する。オブジェクトトラッキング装置は、品質測定器６１０を用いて入力映像の品質を測定する。トラッカー６２０は、サブトラッカーのうち入力映像の品質情報に対応するサブトラッカーを選択し、選択されたサブトラッカーに入力映像を提供できる。例えば、入力映像の品質が高い場合、高い品質の映像を学習した第１トラッカー６１１に入力映像を提供し得る。入力映像が提供されたサブトラッカーは、入力映像から対象オブジェクトをトラッキングし得る。

図７は、一実施形態に係るトレーニング装置を示すブロック図である。図７を参照すれば、トレーニング装置７００は、プロセッサ７１０及びメモリ７２０を含む。メモリ７２０は、ニューラルネットワーク７２５及びプロセッサ７１０で読み出し可能な命令語を含む。ニューラルネットワーク７２５は、検出器、トラッカー、信頼度測定器、及び品質測定器に対応する。前記命令語がプロセッサ７１０で実行されると、プロセッサ７１０は、ニューラルネットワーク７２５のためにトレーニングさせ得る。ニューラルネットワーク７２５をトレーニングすることは、ニューラルネットワーク７２５のパラメータをトレーニングすること、ニューラルネットワーク７２５を更新すること、あるいはニューラルネットワーク７２５のパラメータを更新すること等を含む。メモリ７２０は、トレーニング動作に必要なデータ及びトレーニングが完了した状態のニューラルネットワーク７２５を格納する。

図８は、一実施形態に係る検出器の学習過程を示すブロック図である。図８を参照すれば、第１サンプル検出器８１０は、第１トレーニングデータから対象オブジェクトを検出し、第１サンプル検出器８１０の出力に基づいて第１エラーデータ８３１が構成される。第１トレーニングデータは、第１波長帯域に基づいた映像から構成され、第１サンプル検出器８１０は、第１波長帯域に基づいた映像から対象オブジェクトを検出するよう予めトレーニングされる。第２サンプル検出器８２０は、第２トレーニングデータから対象オブジェクトを検出し、第２サンプル検出器８２０の出力に基づいて第２エラーデータ８３３が構成される。第２トレーニングデータは、第２波長帯域に基づいた映像から構成され、第２サンプル検出器８２０は、第２波長帯域に基づいた映像から対象オブジェクトを検出するよう予めトレーニングされ得る。

エラーデータベース８３０は、第１エラーデータ８３１及び第２エラーデータ８３３を格納する。エラーデータは、オブジェクト検出に難易度の高いトレーニングデータを意味し、エラーデータを用いて検出器をトレーニングすることによって検出器の検出性能を向上させ得る。例えば、エラーデータは、トレーニングデータのうち対象オブジェクトの検出が完了されていないデータ、及びトレーニングデータのうち他のオブジェクトが対象オブジェクトとして間違って検出されたデータのうち少なくとも１つを含む。第１エラーデータ８３１は、第１波長帯域に基づいた映像のうちオブジェクト検出に難易度の高いものを含み、第２エラーデータ８３３は、第２波長帯域に基づいた映像のうちオブジェクト検出に難易度の高いものを含む。

第１検出器８４０は第１エラーデータ８３１でトレーニングされ、第２検出器８５０は第２エラーデータ８３３でトレーニングされる。したがって、第１検出器８４０は、第１波長帯域の映像のうちオブジェクト検出に難易度の高い映像から対象オブジェクトを検出できる性能を保有し、第２検出器８５０は、第２波長帯域の映像のうちオブジェクト検出に難易度の高い映像から対象オブジェクトを検出できる性能を保有する。オブジェクトトラッキング装置は、第１タイプの入力映像から対象オブジェクトを検出するために第１検出器８４０を利用し、第２タイプの入力映像から対象オブジェクトを検出するために第２検出器８５０を用いる。言い換えれば、オブジェクトトラッキング装置は、モダリティごとに学習された検出器を用いて入力映像から対象オブジェクトを検出することができる。

図９は、一実施形態に係る第１波長帯域の光に基づいた入力映像から対象オブジェクトをトラッキングするトラッカーをトレーニングする過程を示す図である。図９を参照すれば、トレーニングデータ９１０は、高い品質データ９２１、中間品質データ９２３、及び低い品質データ９２５に分類される。トレーニングデータ９１０は、第１波長帯域の光に基づいて撮影された映像である。トレーニングデータ９１０は、品質測定器を用いて分類される。目が鮮明に表現された映像は高い品質データ９２１に分類され、目がそれ程鮮明に表現さてない映像は中間品質データ９２３に分類され、低い照度で撮影された映像、あるいは目の中心が不確実に表現された映像は低い品質のデータ９２５に分類される。

第１トラッカー９３１は高い品質データ９２１に基づいてトレーニングされ、第２トラッカー９３３は中間品質データ９２３に基づいてトレーニングされ、第３トラッカー９３５は低い品質データ９２５に基づいてトレーニングされる。第１トラッカー９３１ないし第３トラッカー９３５のそれぞれはサブトラッカーと称され、第１トラッカー９３１ないし第３トラッカー９３５のトレーニングが完了したバージョンが、図６を参照して説明した第１トラッカー６１１ないし第３トラッカー６１５に対応する。

説明の便宜のため、このように品質に基づいてトレーニングされたトラッカーをマルチモデルと称する。マルチモデルは、シングルモデルに比べて高いトラッキング性能を発揮し、マルチモデルで図３を参照して説明した第１データベース３２１を構成している場合、入力映像の信頼度を高い性能に測定できる。例えば、マルチモデルは、一定のトレーニングデータセットをテストし、テストエラーごとに分類し得る。トレーニングデータセットがエラーの低い第１グループ、エラーの普通である第２グループ、及びエラーの高い第３グループに分類された場合、第１グループとして第１データベース３２１が構成され得る。

図１０は、一実施形態に係る第２波長帯域の光に基づいた入力映像から対象オブジェクトをトラッキングするトラッカーをトレーニングする過程を示す図である。図１０を参照すれば、トレーニングデータ１０１０は、高い品質データ１０２１、中間品質データ１０２３、及び低い品質データ１０２５に分類される。トレーニングデータ１０１０は、第２波長帯域の光に基づいて撮影された映像である。トレーニングデータ１０１０は、品質測定器を用いて分類される。目が鮮明に表現された映像は、高い品質データ１０２１に分類され、弱いメガネ反射を含んだり、目がそれ程鮮明に表現されてない映像は中間品質データ１０２３に分類され、強いメガネ反射を含んだり、目の中心が不確実に表現された映像は低い品質のデータ１０２５に分類される。

第４トラッカー１０３１は、高い品質データ１０２１に基づいてトレーニングされ、第５トラッカー１０３３は中間品質データ１０２３に基づいてトレーニングされ、第６トラッカー１０３５は低い品質データ１０２５に基づいてトレーニングされる。第４トラッカー１０３１ないし第６トラッカー１０３５から構成されたマルチモデルを用いて、図３を参照して説明した第２データベース３２３が構成され得る。例えば、マルチモデルは、一定のトレーニングデータセットをテストし、トレーニングデータセットをエラーの低い第４グループ、エラーの普通である第５グループ、及びエラーの高い第６グループに分類し、第４グループで第２データベース３２３が構成され得る。

図１１は、一実施形態に係るステレオカメラを用いたオブジェクトトラッキング方法を示す動作フローチャートである。ステレオカメラは、第１カメラを用いて第１入力映像を生成し、第２カメラを用いて第２入力映像を生成する。例えば、第１カメラ及び第２カメラは、第１モダリティで第１波長帯域の光に基づいて第１タイプの第１入力映像と第１タイプの第２入力映像とを生成する。ステップＳ１１１０、Ｓ１１１１、Ｓ１１１２、Ｓ１１１３、Ｓ１１１４は第１入力映像に基づいて実行され、ステップＳ１１２０、Ｓ１１２１、Ｓ１１２２、Ｓ１１２３、Ｓ１１２４は第２入力映像に基づいて実行される。ステップＳ１１１０、Ｓ１１１１、Ｓ１１１２、Ｓ１１１３、Ｓ１１１４及びステップＳ１１２０、Ｓ１１２１、Ｓ１１２２、Ｓ１１２３、Ｓ１１２４は互いに同期化状態で実行される。以下、現在のモダリティが第１モダリティで開始する場合について説明する。

オブジェクトトラッキング装置は、ステップＳ１１１０において、第１タイプの第１入力映像を取得して第１タイプの第１入力映像から対象オブジェクトを検出し、ステップＳ１１２０において、第１タイプの第２入力映像を取得して第１タイプの第２入力映像から対象オブジェクトを検出する。オブジェクトトラッキング装置は、ステップＳ１１１１、Ｓ１１２１で対象オブジェクトの検出の有無を決定する。対象オブジェクトが検出された場合、ステップＳ１１１２、Ｓ１１２２が実行され、対象オブジェクトが検出されない場合、ステップＳ１１３０、Ｓ１１３１が実行される。第１タイプの第１入力映像及び第１タイプの第２入力映像のいずれか１つでも対象オブジェクトが検出されない場合、ステップＳ１１３０、Ｓ１１３１が実行される。ステップＳ１１３０、Ｓ１１３１でオブジェクトトラッキング装置は、光源及びカメラのうち少なくとも１つを制御し、モダリティをスイッチングする。

オブジェクトトラッキング装置は、ステップＳ１１１２において、第１タイプの第１入力映像の次のフレームを取得し、第１タイプの第１入力映像の次のフレームから対象オブジェクトをトラッキングし、ステップＳ１１２２において、第１タイプの第２入力映像の次のフレームを取得し、第１タイプの第２入力映像の次のフレームから対象オブジェクトをトラッキングする。オブジェクトトラッキング装置は、検出情報を用いて対象オブジェクトをトラッキングし得る。

オブジェクトトラッキング装置は、ステップＳ１１１３、Ｓ１１２３で入力映像の信頼度を測定し、測定された信頼度及び閾値を比較する。信頼度が閾値よりも高い場合、ステップＳ１１１４、Ｓ１１２４が実行され、信頼度が閾値よりも低い場合、ステップＳ１１４０、Ｓ１１４１が実行される。第１タイプの第１入力映像及び第１タイプの第２入力映像のいずれか１つでも閾値よりも低い信頼度で測定された場合、ステップＳ１１４０、Ｓ１１４１が実行される。信頼度が閾値よりも低く測定され、全てのモダリティがチェックされた場合、ステップＳ１１１０、Ｓ１１２０が実行される。その他に、ステレオカメラを用いたオブジェクトトラッキング方法については図２を参照して説明した内容が適用され得る。

図１２は、一実施形態に係る映像処理装置を示すブロック図である。図１２を参照すれば、映像処理装置１２００は、プロセッサ１２１０及びメモリ１２２０を含む。メモリ１２２０は、オブジェクトトラッキングのためのデータ及びプロセッサ１２１０で読み出し可能な命令語を含む。オブジェクトトラッキングのためのデータは、トレーニングが完了した検出器、トラッカー、信頼度測定器、及び品質測定器を含む。メモリ１２２０内の命令語がプロセッサ１２１０で実行されると、プロセッサ１２１０は、オブジェクトトラッキングのための動作を行う。例えば、プロセッサ１２１０は、第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトを検出し、第１タイプの入力映像から対象オブジェクトが検出された場合、対象オブジェクトの検出情報を用いて第１タイプの入力映像から対象オブジェクトをトラッキングし、第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して第１タイプの入力映像の信頼度を測定し、第１タイプの入力映像の信頼度が第１閾値よりも低い場合、検出情報を用いて第２波長帯域の光に基づいた第２タイプの入力映像から対象オブジェクトをトラッキングする。その他に、映像処理装置１２００については、図１～図１１を参照して説明された内容が適用され得る。

以上述した実施形態はハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現する。例えば、実施形態で説明された装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ＡｒｉｔｈｍｅｔｉｃＬｏｇｉｃＵｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＰＬＵ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＵｎｉｔ）、マイクロプロセッサー、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なるいかなる装置と共に、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現される。処理装置は運営体制（ＯＳ）及び前記運営体制上で実行される１つ以上のソフトウェアアプリケーションを行う。また、処理装置はソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成することもできる。理解の便宜のために、処理装置は１つが使用されることによって説明された場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔ）及び／又は複数タイプの処理要素を含んでもよくるということがわかる。例えば、処理装置は複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（ｐｒｏｃｅｓｓｉｎｇｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられ、或いは他の構成要素又は均等物によって置き換えられ又は交換されたとしても適切な結果を達成することができる。

Claims

現在のモダリティを第1波長帯域の光を用いる第１モダリティとして設定するステップと、
前記第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトを検出するステップと、
前記第１タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第１タイプの入力映像から前記対象オブジェクトをトラッキングするステップと、
前記第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して前記第１タイプの入力映像の信頼度を測定するステップであって、前記第１タイプの入力映像に含まれる複数の特徴と前記第１データベースに格納された映像に含まれる複数の特徴との間の距離に基づいて複数のスコアを算出することによって前記信頼度を測定するステップと、
前記第１タイプの入力映像の信頼度が持続的に高く測定される場合、前記第１タイプの入力映像の連続的なフレームを取得し続けて前記第１タイプの入力映像で前記対象オブジェクトをトラッキングするステップと、
前記第１タイプの入力映像の信頼度が第１閾値よりも低い場合、前記現在のモダリティを第２波長帯域の光を用いる第２モダリティとして設定するステップと、
前記第２波長帯域の光に基づいた第２タイプの入力映像から、前記検出情報を用いて前記対象オブジェクトをトラッキングするステップと、
前記第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像を比較して前記第２タイプの入力映像の信頼度を測定するステップと、
前記第２タイプの入力映像の信頼度が持続的に高く測定される場合、前記第２タイプの入力映像の連続的なフレームを取得し続けて前記第２タイプの入力映像で前記対象オブジェクトをトラッキングするステップと、
前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記現在のモダリティを前記第１モダリティとして設定するステップと、
を含むオブジェクトトラッキング方法。
前記第１波長帯域は可視線帯域を含み、前記第２波長帯域は赤外線帯域を含む、請求項１に記載のオブジェクトトラッキング方法。
前記第１タイプの入力映像及び前記第２タイプの入力映像は、赤外線遮断フィルタが除去されたカメラを用いて取得され、
前記第１タイプの入力映像の信頼度が前記第１閾値よりも低い場合、赤外線帯域の光を提供する赤外線光源を制御するステップをさらに含む、請求項１又は２に記載のオブジェクトトラッキング方法。
前記第１波長帯域が可視線帯域を含む場合、前記赤外線光源を制御するステップは、前記赤外線光源を活性化させるステップを含む、請求項３に記載のオブジェクトトラッキング方法。
前記第１データベースに格納された少なくとも１つの映像は、予め決定した基準よりも高い信頼度を有し、前記第１波長帯域の光に基づいて取得された少なくとも１つの第１参照映像を含む、請求項１ないし４のうちの何れか一項に記載のオブジェクトトラッキング方法。
前記第２データベースに格納された少なくとも１つの映像は、予め決定した閾値よりも高い信頼度を有し、前記第２波長帯域の光に基づいて取得された少なくとも１つの第２参照映像を含む、請求項１に記載のオブジェクトトラッキング方法。
前記第１タイプの入力映像から対象オブジェクトを検出するステップは、エラーデータに基づいて予め学習された第１検出器を用いて実行され、
前記エラーデータは、トレーニングデータのうち前記対象オブジェクトの検出が完了されていないデータ、及び前記トレーニングデータのうち他のオブジェクトが前記対象オブジェクトに間違って検出されたデータのうち少なくとも１つを含む、請求項１ないし６のうちの何れか一項に記載のオブジェクトトラッキング方法。
前記検出情報は、前記第１タイプの入力映像の第１フレームで前記対象オブジェクトに対応する検出領域を含み、
前記第１タイプの入力映像から前記対象オブジェクトをトラッキングするステップは、前記検出領域を用いて前記第１タイプの入力映像の第２フレームから前記対象オブジェクトをトラッキングするステップを含む、請求項１ないし７のうちの何れか一項に記載のオブジェクトトラッキング方法。
現在のモダリティを第１波長帯域の光を用いる第１モダリティとして設定するステップと、
前記第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトが検出されたか否かを判断するステップと、
前記第１タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第１タイプの入力映像から前記対象オブジェクトをトラッキングするステップと、
前記第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して前記第１タイプの入力映像の信頼度を測定するステップであって、前記第１タイプの入力映像に含まれる複数の特徴と前記第１データベースに格納された映像に含まれる複数の特徴との間の距離に基づいて複数のスコアを算出することによって前記信頼度を測定するステップと、
前記第１タイプの入力映像の信頼度が持続的に高く測定される場合、前記第１タイプの入力映像の連続的なフレームを取得し続けて前記第１タイプの入力映像で前記対象オブジェクトをトラッキングするステップと、
前記第１タイプの入力映像の信頼度が第１閾値よりも低い場合、前記現在のモダリティを第２波長帯域の光を用いる第２モダリティとして設定するステップと、
前記第２波長帯域の光に基づいた第２タイプの入力映像から、前記検出情報を用いて前記対象オブジェクトをトラッキングするステップと、
前記第１タイプの入力映像から前記対象オブジェクトが検出されない場合、前記第２タイプの入力映像から前記対象オブジェクトを検出するステップと、
前記第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像を比較して前記第２タイプの入力映像の信頼度を測定するステップと、
前記第２タイプの入力映像の信頼度が持続的に高く測定される場合、前記第２タイプの入力映像の連続的なフレームを取得し続けて前記第２タイプの入力映像で前記対象オブジェクトをトラッキングするステップと、
前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記現在のモダリティを前記第１モダリティとして設定するステップと、
を含む、オブジェクトトラッキング方法。
前記第１タイプの入力映像から前記対象オブジェクトが検出されない場合、前記対象オブジェクトの検出情報を用いて前記第２タイプの入力映像から前記対象オブジェクトをトラッキングするステップと、
前記第２タイプの入力映像と前記第２データベースに格納された少なくとも１つの映像とを比較して前記第２タイプの入力映像の信頼度を測定するステップと、
をさらに含む、請求項９に記載のオブジェクトトラッキング方法。
請求項１ないし請求項１０のうちいずれか一項に記載のオブジェクトトラッキング方法をコンピュータのプロセッサに実行させるコンピュータプログラム。
プロセッサと、
前記プロセッサで読み出し可能な命令語を含むメモリと、
を含むオブジェクトトラッキング装置であって、
前記命令語が前記プロセッサで実行されると、前記プロセッサは、現在のモダリティを第１波長帯域の光を用いる第１モダリティとして設定し、前記第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトを検出し、前記第１タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第１タイプの入力映像から前記対象オブジェクトをトラッキングし、前記第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して前記第１タイプの入力映像の信頼度を測定し、前記第１タイプの入力映像の信頼度が持続的に高く測定される場合、前記第１タイプの入力映像の連続的なフレームを取得し続けて前記第１タイプの入力映像で前記対象オブジェクトをトラッキングし、前記第１タイプの入力映像の信頼度が第１閾値よりも低い場合、前記現在のモダリティを第２波長帯域の光を用いる第２モダリティとして設定し、前記第２波長帯域の光に基づいた第２タイプの入力映像から、前記検出情報を用いて前記対象オブジェクトをトラッキングし、前記第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像を比較して前記第２タイプの入力映像の信頼度を測定し、前記第２タイプの入力映像の信頼度が持続的に高く測定される場合、前記第２タイプの入力映像の連続的なフレームを取得し続けて前記第２タイプの入力映像で前記対象オブジェクトをトラッキングし、前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記現在のモダリティを前記第１モダリティとして設定し、前記第１タイプの入力映像の信頼度を測定することは、前記第１タイプの入力映像に含まれる複数の特徴と前記第１データベースに格納された映像に含まれる複数の特徴との間の距離に基づいて複数のスコアを算出することによって前記信頼度を測定することを含む、オブジェクトトラッキング装置。
前記第１波長帯域は可視線帯域を含み、前記第２波長帯域は赤外線帯域を含む、請求項１２に記載のオブジェクトトラッキング装置。
前記第１波長帯域の光に基づいて前記第１タイプの入力映像を生成し、前記第２波長帯域の光に基づいて前記第２タイプの入力映像を生成するカメラと、
赤外線帯域の光を提供する赤外線光源と、
をさらに含む、請求項１２又は１３に記載のオブジェクトトラッキング装置。
前記第１波長帯域が可視線帯域を含む場合、前記第１タイプの入力映像の信頼度が前記第１閾値よりも低いことに対応して前記赤外線光源が活性化される、請求項１４に記載のオブジェクトトラッキング装置。
前記第１データベースに格納された少なくとも１つの映像は、予め決定した基準よりも高い信頼度を有し、前記第１波長帯域の光に基づいて取得された少なくとも１つの第１参照映像を含む、請求項１２ないし１５のうち何れか一項に記載のオブジェクトトラッキング装置。
前記プロセッサは、前記第２タイプの入力映像と前記第２データベースに格納された少なくとも１つの映像とを比較して前記第２タイプの入力映像の信頼度を測定し、前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記第１タイプの入力映像又は第２タイプの入力映像から前記対象オブジェクトを検出する、請求項１２ないし１６のうち何れか一項に記載のオブジェクトトラッキング装置。
プロセッサと、
前記プロセッサで読み出し可能な命令語を含むメモリと、
を含み、
前記命令語が前記プロセッサで実行されると、前記プロセッサは、現在のモダリティを第１波長帯域の光を用いる第１モダリティとして設定し、前記第１波長帯域の光に基づいた第１タイプの入力映像から対象オブジェクトが検出されたか否かを判断し、前記第１タイプの入力映像から前記対象オブジェクトが検出された場合、前記対象オブジェクトの検出情報を用いて前記第１タイプの入力映像から前記対象オブジェクトをトラッキングし、前記第１タイプの入力映像と第１データベースに格納された少なくとも１つの映像とを比較して前記第１タイプの入力映像の信頼度を測定し、前記第１タイプの入力映像の信頼度が持続的に高く測定される場合、前記第１タイプの入力映像の連続的なフレームを取得し続けて前記第１タイプの入力映像で前記対象オブジェクトをトラッキングし、前記第１タイプの入力映像の信頼度が第１閾値よりも低い場合、前記現在のモダリティを第２波長帯域の光を用いる第２モダリティとして設定し、前記第２波長帯域の光に基づいた第２タイプの入力映像から、前記検出情報を用いて前記対象オブジェクトをトラッキングし、前記第１タイプの入力映像から前記対象オブジェクトが検出されない場合、前記第２タイプの入力映像から前記対象オブジェクトを検出し、前記第２タイプの入力映像と第２データベースに格納された少なくとも１つの映像を比較して前記第２タイプの入力映像の信頼度を測定し、前記第２タイプの入力映像の信頼度が持続的に高く測定される場合、前記第２タイプの入力映像の連続的なフレームを取得し続けて前記第２タイプの入力映像で前記対象オブジェクトをトラッキングし、前記第２タイプの入力映像の信頼度が第２閾値よりも低い場合、前記現在のモダリティを前記第１モダリティとして設定し、前記第１タイプの入力映像の信頼度を測定することは、前記第１タイプの入力映像に含まれる複数の特徴と前記第１データベースに格納された映像に含まれる複数の特徴との間の距離に基づいて複数のスコアを算出することによって前記信頼度を測定することを含む、オブジェクトトラッキング装置。
前記プロセッサは、前記第１タイプの入力映像から前記対象オブジェクトが検出されない場合、前記対象オブジェクトの検出情報を用いて前記第２タイプの入力映像から前記対象オブジェクトをトラッキングし、前記第２タイプの入力映像と前記第２データベースに格納された少なくとも１つの映像とを比較して前記第２タイプの入力映像の信頼度を測定する、請求項１８に記載のオブジェクトトラッキング装置。