JP7026868B2 - 目標追尾装置および目標追尾方法 - Google Patents

Description

本開示は、単一または複数の目標の追尾処理を行う目標追尾装置および目標追尾方法に関する。

目標追尾装置には、識別情報に対応付けられた点滅パターンの光源を用いて目標の追尾処理を行うものがある。例えば、特許文献１には、カメラとともに移動する目標の位置および姿勢を推定する光学マーカシステムが記載されている。この光学マーカシステムは、複数のＬＥＤマーカ、カメラ、候補点検出部、発光状態検出部、マーカ特定部およびカメラ位置姿勢推定部を備える。

複数のＬＥＤマーカは、予め定められた位置に取り付けられ、各ＬＥＤマーカに一意に割り付けられた識別情報に対応した点滅パターンで点滅する。カメラは、ＬＥＤマーカの発光点および特徴点を含む画像を撮影する。特徴点は、常に一定値以上の明るさを有しているため、ＬＥＤマーカの発光点が消灯している間であっても撮影可能である。

候補点検出部は、カメラによって撮影された画像に含まれる発光点および特徴点を候補点として検出し、発光状態検出部は、各候補点を追跡して点滅パターンを検出し、マーカ特定部は、発光状態検出部によって検出された点滅パターンに基づいて、ＬＥＤマーカを特定する。カメラ位置姿勢推定部は、マーカ特定部によって特定された複数のＬＥＤマーカの３次元位置に基づいて、カメラとともに移動する目標の位置および姿勢を推定する。

特開２００９－３３３６６号公報

特許文献１に記載されたシステムは、識別情報を送信するために光源（発光点）を点滅させているので、発光点が消灯している間でも撮影可能な特徴点が必要であるという課題があった。

本開示は上記課題を解決するものであり、識別情報を送信する発光点以外を用いることなく、目標の追尾処理を行うことができる目標追尾装置および目標追尾方法を得ることを目的とする。

本開示に係る目標追尾装置は、個々に一意に割り当てられた識別情報の変調信号を生成する信号生成部と、変調信号に対応した発光状態の変化によって識別情報の変調信号を送信する光源部とをそれぞれ有した複数の送信部と、光源部の発光点を含む画像を撮影し、撮影した画像から発光点の発光状態および画像中の発光点の位置を検出する受光部と、受光部によって検出された発光点の発光状態および画像中の発光点の位置に基づいて、送信部の追尾処理を行う追尾処理部とを有した受信部を備え、光源部は、受光部によって発光点を含む画像の撮影が可能な範囲内で発光状態が変化し、信号生成部は、識別情報を振幅偏移変調した変調信号を生成し、送信部は、光源部の発光状態の変化による変調信号の送信を繰り返し、光源部は、変調信号に応じて発光状態を変化させる間隔をランダムに変更し、受信部は、変調信号から識別情報が復調されるまで画像の検出を行うことを特徴とする。

本開示によれば、光源部の発光状態の変化によって識別情報の変調信号が送信され、受光部によって光源部の発光点を含む画像が撮影され、撮影された画像から発光点の発光状態および画像中の発光点の位置が検出される。検出された発光点の発光状態および発光点の位置に基づいて、目標の追尾処理が行われる。光源部は、受光部によって発光点を含む画像の撮影が可能な範囲内で発光状態が変化する。これにより、受光部によって発光点を含む画像が常に撮影可能であるので、本開示に係る目標追尾装置は、識別情報を送信する発光点以外を用いることなく、目標の追尾処理を行うことができる。

実施の形態１に係る目標追尾装置の構成を示すブロック図である。 実施の形態１に係る目標追尾方法を示すフローチャートである。 実施の形態１における光信号の受信処理の例を示す概要図である。 図２のステップＳＴ３の詳細な処理を示すフローチャートである。 図５Ａは、実施の形態１に係る目標追尾装置の機能を実現するハードウェア構成を示すブロック図であり、図５Ｂは、実施の形態１に係る目標追尾装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態２に係る目標追尾装置の構成を示すブロック図である。

実施の形態１．
図１は、実施の形態１に係る目標追尾装置の構成を示すブロック図である。目標追尾装置１は、複数の目標の動きを追尾する装置であり、複数の送信部２、受信部３、識別ＩＤデータベース４および表示部５を備える。送信部２は、例えば目標ごとに設けられ、目標とともに移動する。目標は、人間であってもよいし、人間以外の移動体であってもよい。識別ＩＤデータベース４には、個々の送信部２に対して一意に割り当てられた識別ＩＤ（識別情報）が登録されている。識別ＩＤは、自然数である。

複数の送信部２のそれぞれは、信号生成部２１および光源部２２を備える。信号生成部２１は、自身を備える送信部２に対して一意に割り当てられた識別ＩＤを、識別ＩＤデータベース４から読み出し、読み出した識別ＩＤに変調処理を施すことにより、識別ＩＤの変調信号を生成する。例えば、信号生成部２１は、識別ＩＤに対して変調を施すことにより、識別ＩＤを電気信号（変調信号）に変換する。

光源部２２は、信号生成部２１によって生成された識別ＩＤの変調信号を光信号に変換し、変換した光信号を出力する。すなわち、光源部２２は、識別ＩＤの変調信号に対応した発光状態の変化によって当該変調信号を送信する。光源部２２の発光状態は、例えば、輝度成分または色成分がある。光源部２２が発光する光は、例えば、赤外光である。受信部３は、光源部２２の発光点を一定のフレームレートで連続して撮影し、連続して撮影した複数の画像に含まれる光源部２２の発光状態の変化に基づいて変調信号が受信される。

光源部２２は、受信部３によって発光点を含む画像の撮影が可能な範囲内で発光状態が変化する。例えば、光源部２２は、受信部３によって撮影された全てのフレームの画像に光源部２２の発光点が含まれるように、一定値以上の輝度で発光する。識別ＩＤの変調信号は、識別ＩＤをｎ進数で表現し、各桁の値に対して輝度ないしは色を割り当てた系列である。ここで、各桁の値に割り当てられた輝度のうち、最小のものは、受光部３によって撮影が可能な一定値以上の輝度である。これにより、識別情報を送信する発光点以外を用いなくても、受信部３は、光源部２２の発光点を含む画像を常に撮影可能である。

受信部３は、受光部３１、追尾処理部３２および航跡決定部３３を備える。受光部３１は、光源部２２の発光点を含む画像を撮影し、撮影した画像から光源部２２の発光状態と当該画像中の発光点の位置を検出する。受光部３１は、撮影部３１１および検出部３１２を備える。撮影部３１１は、光源部２２の発光点を一定のフレームレートで連続して撮影する。検出部３１２は、撮影部３１１によって連続して撮影された複数の画像に含まれる発光点の発光状態および画像中の発光点の位置を検出する。

追尾処理部３２は、検出部３１２によって検出された発光点の発光状態および画像中の発光点の位置に基づいて、送信部２の追尾処理を行う。送信部２の追尾処理とは、送信部２が設けられた移動体の位置および速度を継続的に予測していく処理である。以下、送信部２が設けられた移動体を目標と記載する。また、検出部３１２によって複数の発光点の位置および発光状態が検出された場合に、追尾処理部３２は、これらの検出値がいずれの目標に対応するのかを判定する相関処理を行う。

追尾処理部３２は、図１に示すように、航跡予測部３２１、相関仮説生成部３２２、相関仮説評価部３２３、航跡更新部３２４、ＩＤ識別部３２５および相関仮説保存部３２６を備える。航跡予測部３２１は、相関仮説保存部３２６に保存された相関仮説を入力し、相関仮説に含まれる全ての航跡に対する予測処理を行い、相関仮説に含まれる航跡を予測後の航跡に置き換える。

相関仮説とは、受光部３１によって検出された発光点の発光状態および画像中の発光点の位置が、航跡予測部３２１から出力された相関仮説に含まれる既存の航跡のうち、いずれの航跡と相関があるかを示す仮説データである。相関仮説には、例えば、目標ごとに予測された１つ以上の航跡、航跡ごとに対応するキューデータ、航跡ごとに対応する識別ＩＤおよび相関仮説の評価値が含まれる。

航跡は、目標の時間的な移動状態を示すデータであり、各時刻における発光点の位置と速度の予測値を表す確率変数であり、ベクトルを用いて表される。キューデータは、航跡に相関がある発光点の位置および発光状態（例えば、輝度）の検出値からなるベクトル（検出値ベクトル）の時系列である。相関仮説に含まれる識別ＩＤは、発光点の発光状態の変化の時系列を用いて復調されたデジタルデータである。

相関仮説生成部３２２は、航跡予測部３２１から入力した１つ以上の相関仮説と、検出部３１２によって検出された発光点の位置および発光状態とに基づいて、新たな相関仮説を生成する。例えば、相関仮説生成部３２２は、検出部３１２によって検出された発光点の位置および発光状態によって構成される検出値ベクトルを、相関仮説に含まれるキューデータに追加することで、新たな相関仮説を生成する。

相関仮説評価部３２３は、相関仮説生成部３２２から入力した１つ以上の相関仮説の尤もらしさの評価値を算出し、算出した評価値を用いて相関仮説に含まれる評価値を更新する。航跡更新部３２４は、相関仮説評価部３２３から入力した１つ以上の相関仮説に含まれる航跡を、相関がある発光点の位置の検出値を用いて更新し、相関仮説に含まれる航跡を更新後の航跡に置き換える。

ＩＤ識別部３２５は、航跡更新部３２４から入力した１つ以上の相関仮説に含まれるキューデータから、航跡に相関がある発光点の発光状態（例えば、輝度）の変化の時系列を取得し、発光点の発光状態の変化の時系列に基づいて特定した変調信号から、識別ＩＤを復調する。相関仮説保存部３２６には、航跡更新部３２４によって航跡が更新された相関仮説が保存される。航跡決定部３３は、ＩＤ識別部３２５から入力した１つ以上の相関仮説から、相関仮説に含まれる評価値に基づいて表示部５に表示する相関仮説を決定する。

図２は、実施の形態１に係る目標追尾方法を示すフローチャートである。
複数の送信部２のそれぞれにおいて、光源部２２が、発光状態の変化によって、個々の送信部２に一意に割り当てられた識別ＩＤの変調信号を送信する（ステップＳＴ１）。
例えば、信号生成部２１が、識別ＩＤデータベース４から読み出した識別ＩＤに対して変調処理を施すことにより、識別ＩＤの変調信号を生成する。光源部２２は、変調信号のシンボルごとに異なる輝度で発光する。ただし、光源部２２の輝度は、撮影部３１１によって撮影が可能な一定値以上の輝度である。

変調信号のシンボルごとのビットレートであるシンボルレートは、撮影部３１１による画像撮影におけるフレームレートと同一であるものとする。光源部２２は、シンボルごとに対応する輝度で発光する。目標追尾装置１においては、光源部２２の発光状態の変化によって、識別ＩＤの変調信号に対応する光信号が送信される。

受光部３１が、光源部２２の発光点を含む画像を撮影し、撮影した画像から、発光点の発光状態および画像中の発光点の位置を検出する（ステップＳＴ２）。撮影部３１１が、光源部２２の発光点を、識別ＩＤの変調信号のシンボルレートと同一のフレームレートで連続して撮影する。検出部３１２は、撮影部３１１によって連続して撮影された複数の画像に含まれる発光点の発光状態および画像中の発光点の位置を逐次検出する。

図３は、実施の形態１における光信号の受信処理の例を示す概要図である。光源部２２の発光点の輝度２２Ａは、識別ＩＤの変調信号のシンボルの時間変化に伴って変化する。符号１０を付した枠は、撮影部３１１による画像撮影におけるフレーム１０である。図３において、シンボルレートとフレームレートとが一致しているため、シンボルごとに対応した輝度２２Ａで光源部２２が発光している時間は、個々のフレーム１０の時間と同じである。

しかしながら、目標追尾装置１において、光源部２２の発光点の輝度２２Ａがシンボルごとに切り替わるタイミングと、撮影部３１１による画像撮影でフレーム１０が切り替わるタイミングとが、一致しているとは限らない。このため、期間Ｔ１に示すように、光源部２２の発光点の輝度２２Ａが切り替わるタイミングが、撮影部３１１による画像撮影で次のフレーム１０に切り替わるタイミングからずれる可能性がある。この場合、撮影部３１１は、変調信号のシンボルに対応した輝度２２Ａの発光点を正しく撮影できない。これにより、受信部３は、光源部２２の発光点を含む画像から変調信号を正確に特定できず、識別ＩＤを正しく復調できない。

そこで、目標追尾装置１において、送信部２は、光源部２２の輝度２２Ａの変化による変調信号の送信を繰り返す。変調信号の送信の繰り返しにおいて、光源部２２は、変調信号に応じて輝度２２Ａを変化させる間隔をランダムに変更する。例えば、図３に示すように、光源部２２は、期間Ｔ１における変調信号に応じた輝度２２Ａの変化が完了すると、ランダムに変更された間隔Ｔ２を空けた後に、再び、変調信号に応じて輝度２２Ａを変化させる。これにより、期間Ｔ３に示すように、光源部２２の発光点の輝度２２Ａが切り替わるタイミングと、撮影部３１１による画像撮影で次のフレーム１０に切り替わるタイミングとが一致する状態が発生する頻度を確率的に高めることができる。

なお、識別ＩＤの変調信号が送信されない時間間隔において、信号生成部２１は、光源部２２の発光出力が最大となる電気信号を光源部２２へ出力する。光源部２２は、信号生成部２１から入力した電気信号に応じて、変調信号を送信している時間よりも大きな出力で発光する。これにより、受信部３は、光源部２２の発光点を含む画像を常に撮影可能である。

続いて、追尾処理部３２が、検出部３１２によって検出された発光点の発光状態および画像中の発光点の位置に基づいて、目標の追尾処理を行う（ステップＳＴ３）。例えば、追尾処理部３２は、多数の目標の位置および速度を継続的に予測する。同一のサンプリング時刻において、発光点の発光状態および位置についての多数の検出値が得られるので、追尾処理部３２は、これらの検出値がいずれの目標に対応するのかを判定する相関処理を行う。

航跡決定部３３は、目標の航跡の予測の尤もらしさに基づいて、追尾処理部３２による追尾処理で得られた航跡を選別し、選別した航跡を含む情報を表示部５に出力する。表示部５は、航跡決定部３３から入力した情報を表示する。

図４は、図２のステップＳＴ３の詳細な処理を示すフローチャートであり、追尾処理部３２による一連の処理を示している。航跡予測部３２１は、相関仮説保存部３２６に保存された１つ以上の相関仮説を入力し、相関仮説に含まれる全ての航跡に対して予測処理を行う（ステップＳＴ１ａ）。例えば、航跡予測部３２１は、カルマンフィルタを用いて、相関仮説に含まれる既存の航跡に対応する、現在時刻における目標の位置と速度の予測値を含む予測航跡を算出する。航跡予測部３２１は、相関仮説に含まれる既存の航跡を予測航跡に置き換える。

相関仮説生成部３２２は、航跡予測部３２１から入力した１つ以上の相関仮説と、検出部３１２によって検出された発光点の位置および発光状態とに基づいて、新たな相関仮説を生成する（ステップＳＴ２ａ）。例えば、相関仮説生成部３２２は、航跡予測部３２１から現在時刻よりも１単位時間前の時刻（前時刻）における全ての相関仮説を入力し、検出部３１２から現在時刻における発光点の検出値を入力する。単位時間は、検出部３１２による発光点の検出間隔である。相関仮説生成部３２２は、相関仮説に含まれる航跡と、発光点の発光状態および位置の検出値とを組み合わせて、発光点の発光状態および位置の検出値から得られる検出値ベクトルを、相関仮説に含まれるキューデータに追加することにより、新たな相関仮説を生成する。

また、相関仮説生成部３２２は、ＭＨＴ（Ｍｕｌｔｉｐｌｅ Ｈｙｐｏｔｈｅｓｉｓ Ｔｒａｃｋｉｎｇ）アルゴリズムを用いて、相関仮説に含まれる航跡と発光点の検出値との組み合わせを決定してもよい。ＭＨＴアルゴリズムでは、組み合わせの中に、発光点の検出値と相関がない航跡があってもよい。この場合、相関仮説生成部３２２は、相関がある発光点の検出値がないことを示すシンボルをキューデータに追加する。

次に、相関仮説評価部３２３が、相関仮説生成部３２２から１つ以上の相関仮説を入力し、相関仮説を評価する（ステップＳＴ３ａ）。例えば、相関仮説評価部３２３は、航跡予測部３２１によって算出された現在時刻で航跡に相関のある発光点の位置の予測値と、検出部３１２によって検出された発光点の位置との距離を指標として相関仮説の尤もらしさの評価値を算出する。相関仮説評価部３２３は、相関仮説に含まれる評価値を、新たに算出した評価値で更新する。相関仮説の評価値の更新には、例えば、ＭＨＴアルゴリズムが用いられる。

次に、航跡更新部３２４は、相関仮説評価部３２３から１つ以上の相関仮説を入力し、入力した相関仮説に含まれる航跡を更新する（ステップＳＴ４ａ）。例えば、航跡更新部３２４は、相関仮説に含まれるキューデータから、現在時刻で航跡に相関がある発光点の位置の検出値を取得し、取得した発光点の位置の検出値を用いて、当該航跡を更新する。航跡の更新処理には、例えばカルマンフィルタが用いられる。航跡更新部３２４は、相関仮説に含まれる航跡を、更新後の航跡に置き換える。

次に、ＩＤ識別部３２５は、航跡更新部３２４から１つ以上の相関仮説を入力し、相関仮説ごとに対応する識別ＩＤを復調する（ステップＳＴ５ａ）。例えば、ＩＤ識別部３２５は、相関仮説に含まれるキューデータから、航跡に相関がある発光点の発光状態の変化の時系列を取得し、発光点の発光状態の変化の時系列に基づいて特定した変調信号から、識別ＩＤを復調する。

続いて、ＩＤ識別部３２５は、復調した識別ＩＤが識別ＩＤデータベース４に存在するか否かを確認する。復調した識別ＩＤが識別ＩＤデータベース４に存在すれば、ＩＤ識別部３２５は、相関仮説において、復調した識別ＩＤに対応する航跡について既存の識別ＩＤを、復調した識別ＩＤに置き換える。

復調した識別ＩＤが識別ＩＤデータベース４に存在しなければ、ＩＤ識別部３２５は、航跡に対応する識別ＩＤの復調に失敗したものとみなして、復調に失敗したことを示すデジタルデータである失敗データを生成する。そして、ＩＤ識別部３２５は、相関仮説において、識別ＩＤの復調に失敗した航跡について既存の識別ＩＤを、失敗データに置き換える。

相関仮説保存部３２６は、航跡更新部３２４から出力された１つ以上の相関仮説を保存する（ステップＳＴ６ａ）。また、航跡更新部３２４が、相関仮説評価部３２３によって更新された相関仮説の評価値に基づいて相関仮説保存部３２６へ出力する相関仮説を選別してもよい。例えば、航跡更新部３２４が、相関仮説評価部３２３から入力した相関仮説のうち、評価値が一定値よりも高い相関仮説を選別する。航跡更新部３２４によって選別された相関仮説は、相関仮説保存部３２６に保存される。

航跡決定部３３は、ＩＤ識別部３２５から入力した相関仮説のうち、相関仮説に含まれる評価値が最も高いものを表示対象の相関仮説に決定する。表示部５は、航跡決定部３３によって決定された相関仮説に含まれる航跡を表示する。

図５Ａは、目標追尾装置１の機能を実現するハードウェア構成を示すブロック図であり、図５Ｂは、目標追尾装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図５Ａおよび図５Ｂにおいて、入力インタフェース１００は、例えば、送信部２が備える信号生成部２１に対して識別ＩＤデータベース４から入力される識別ＩＤを中継するインタフェースである。また、入力インタフェース１００は、受信部３において、検出部３１２に対して撮影部３１１から入力される画像情報を中継する。出力インタフェース１０１は、受信部３が備える航跡決定部３３から表示部５へ出力される追尾結果（相関仮説）を中継するインタフェースである。

目標追尾装置１における送信部２および受信部３の機能は、処理回路によって実現される。すなわち、目標追尾装置１は、図２に示したステップＳＴ１からステップＳＴ３までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

処理回路が図５Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。目標追尾装置１における送信部２および受信部３の機能は、別々の処理回路で実現されてもよく、これらの機能がまとめて１つの処理回路で実現されてもよい。

処理回路が図５Ｂに示すプロセッサ１０３である場合、目標追尾装置１における送信部２および受信部３の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより目標追尾装置１における送信部２および受信部３の機能を実現する。例えば、目標追尾装置１は、プロセッサ１０３によって実行されるときに、図２に示したフローチャートにおけるステップＳＴ１からステップＳＴ３の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、送信部２および受信部３の手順または方法をコンピュータに実行させる。メモリ１０４は、コンピュータを、送信部２および受信部３として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

目標追尾装置１における送信部２および受信部３の機能の一部が、専用のハードウェアで実現され、一部がソフトウェアまたはファームウェアで実現されてもよい。例えば、送信部２は、専用のハードウェアである処理回路１０２により機能を実現し、受信部３は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することにより機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより、上記機能を実現することができる。

以上のように、実施の形態１に係る目標追尾装置１において、光源部２２の発光状態の変化によって識別ＩＤの変調信号が送信され、受光部３１によって光源部２２の発光点を含む画像が撮影され、撮影された画像から発光点の発光状態および画像中の発光点の位置が検出される。検出された発光点の発光状態および発光点の位置に基づいて、目標の追尾処理が行われる。光源部２２は、受光部３１によって発光点を含む画像の撮影が可能な範囲内で発光状態が変化する。受光部３１によって発光点を含む画像が常に撮影可能であるので、目標追尾装置１は、識別ＩＤを送信する発光点以外を用いることなく、目標の追尾処理を行うことができる。

実施の形態２．
図６は、実施の形態２に係る目標追尾装置１Ａの構成を示すブロック図である。図６において、図１と同一の構成要素には、同一の符号が付されて説明が省略される。目標追尾装置１Ａは、図６に示すように、複数の送信部２、受信部３Ａ、識別ＩＤデータベース４および表示部５を備える。受信部３Ａは、受光部３１、追尾処理部３２Ａおよび航跡決定部３３を備える。追尾処理部３２Ａは、航跡予測部３２１、相関仮説生成部３２２、相関仮説評価部３２３Ａ、航跡更新部３２４、ＩＤ識別部３２５、相関仮説保存部３２６および輝度予測部３２７を備える。

輝度予測部３２７は、相関仮説に含まれる航跡に相関がある発光点の次時刻における輝度を予測する。次時刻とは、現在時刻から１単位時間先の時刻である。例えば、輝度予測部３２７は、航跡予測部３２１から１つ以上の相関仮説を入力し、入力した相関仮説に含まれる航跡に対応する識別ＩＤが失敗データではない場合、この航跡に対応するキューデータから、現在時刻までの発光点の輝度の変化の時系列を取得する。そして、輝度予測部３２７は、取得した時系列と、ＩＤ識別部３２５によって復調される前の発光点の輝度の変化の時系列とを照合することにより、次時刻における発光点の輝度を予測する。

輝度予測部３２７は、発光点の輝度の予測値を、この発光点と相関がある航跡に対応付けて相関仮説に含める。また、相関仮説に含まれる航跡の識別ＩＤが失敗データであった場合、輝度予測部３２７は、発光点の予測不能ラベルデータを生成し、この発光点と相関がある航跡に対応付けて予測不能ラベルデータを相関仮説に含める。

相関仮説評価部３２３Ａは、相関仮説生成部３２２から１つ以上の相関仮説を入力し、発光点の位置および発光点の発光状態の予測値に基づいて相関仮説の尤もらしさの評価値を算出し、算出した評価値を用いて相関仮説に含まれる評価値を更新する。

例えば、相関仮説評価部３２３Ａは、航跡予測部３２１によって算出された現在時刻における発光点の位置の予測値と、検出部３１２によって検出された当該発光点の位置との距離に加えて、発光点の輝度の予測が可能であったか否かを指標として、相関仮説の尤もらしさの評価値を算出する。そして、相関仮説評価部３２３Ａは、新たに算出した評価値で相関仮説に含まれる評価値を更新する。相関仮説の評価値の更新には、例えば、振幅情報を利用するＭＨＴアルゴリズムが用いられる。

航跡更新部３２４は、相関仮説評価部３２３Ａによって更新された相関仮説の評価値に基づいて、相関仮説保存部３２６へ出力する相関仮説を選別する。例えば、航跡更新部３２４は、相関仮説評価部３２３Ａから入力した相関仮説のうち、評価値が一定値より高い相関仮説を選別する。航跡更新部３２４によって選別された相関仮説は、相関仮説保存部３２６に保存される。

例えば、複数の目標が狭い範囲に近接して存在する場合、発光点の位置の予測値のみに基づいて相関仮説が評価されると、航跡と発光点との相関が誤って判断される虞がある。これに対して、目標追尾装置１Ａは、発光点の位置の予測値に加え、発光点の輝度の予測結果に基づいて、相関仮説の尤もらしさが評価され、この評価結果に基づいて、保存する相関仮説が選別される。これにより、航跡と発光点との誤相関の発生が低減される。

実施の形態２に係る目標追尾装置１Ａは、発光点の輝度を予測する輝度予測部３２７を備える。ただし、実施の形態２に係る目標追尾装置１Ａは、発光点の輝度を予測するものに限定されない。実施の形態２に係る目標追尾装置１Ａは、発光点の位置の予測値に加えて、発光点の発光状態の予測結果に基づいて、相関仮説を評価するものであり、発光点の発光状態は、例えば、光の色成分であってもよい。

目標追尾装置１Ａにおける送信部２および受信部３Ａの機能は、処理回路によって実現される。処理回路は、専用のハードウェアであってもよいし、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

以上のように、実施の形態２に係る目標追尾装置１Ａにおいて、追尾処理部３２Ａが、受光部３１によって検出された発光点の発光状態および画像中の発光点の位置が、既存の航跡のいずれの航跡に相関があるかを示す相関仮説を生成し、発光点の位置の予測値に加え、発光点の発光状態の予測結果に基づいて相関仮説の尤もらしさを評価し、評価結果に基づいて、保存する相関仮説を選別する。

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

本開示に係る目標追尾装置は、例えば、多数の目標の追尾に利用可能である。

１，１Ａ 目標追尾装置、２ 送信部、３，３Ａ 受信部、４ 識別ＩＤデータベース、５ 表示部、１０ フレーム、２１ 信号生成部、２２ 光源部、２２Ａ 輝度、３１ 受光部、３２，３２Ａ 追尾処理部、３３ 航跡決定部、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ、３１１ 撮影部、３１２ 検出部、３２１ 航跡予測部、３２２ 相関仮説生成部、３２３，３２３Ａ 相関仮説評価部、３２４ 航跡更新部、３２５ ＩＤ識別部、３２６ 相関仮説保存部、３２７ 輝度予測部。

Claims (8)

1. 個々に一意に割り当てられた識別情報の変調信号を生成する信号生成部と、前記変調信号に対応した発光状態の変化によって前記識別情報の前記変調信号を送信する光源部とをそれぞれ有した複数の送信部と、
   前記光源部の発光点を含む画像を撮影し、撮影した前記画像から前記発光点の発光状態および前記画像中の前記発光点の位置を検出する受光部と、前記受光部によって検出された前記発光点の発光状態および前記画像中の前記発光点の位置に基づいて、前記送信部の追尾処理を行う追尾処理部とを有した受信部と、を備え、
   前記光源部は、前記受光部によって前記発光点を含む前記画像の撮影が可能な範囲内で発光状態が変化し、
   前記信号生成部は、前記識別情報を振幅偏移変調した前記変調信号を生成し、
   前記送信部は、前記光源部の発光状態の変化による前記変調信号の送信を繰り返し、
   前記光源部は、前記変調信号に応じて発光状態を変化させる間隔をランダムに変更し、
   前記受信部は、前記変調信号から前記識別情報が復調されるまで前記画像の検出を行う
   ことを特徴とする目標追尾装置。
2. 前記光源部は、前記受光部によって前記発光点を含む前記画像の撮影が可能な範囲内で輝度が変化すること
   を特徴とする請求項１に記載の目標追尾装置。
3. 前記信号生成部は、前記識別情報を振幅偏移変調した前記変調信号を生成すること
   を特徴とする請求項１または請求項２に記載の目標追尾装置。
4. 個々に一意に割り当てられた識別情報の変調信号を生成する信号生成部と、前記変調信号に対応した発光状態の変化によって前記識別情報の前記変調信号を送信する光源部とをそれぞれ有した複数の送信部と、
   前記光源部の発光点を含む画像を撮影し、撮影した前記画像から前記発光点の発光状態および前記画像中の前記発光点の位置を検出する受光部と、前記受光部によって検出された前記発光点の発光状態および前記画像中の前記発光点の位置に基づいて、前記送信部の追尾処理を行う追尾処理部とを有した受信部と、を備え、
   前記光源部は、前記受光部によって前記発光点を含む前記画像の撮影が可能な範囲内で発光状態が変化し、
   前記追尾処理部は、複数の前記送信部の各航跡に相関があった前記発光点の発光状態を逐次保存し、前記発光点の発光状態の時系列に基づいて複数の前記送信部の各航跡に対応する前記識別情報を復調する
   ことを特徴とする目標追尾装置。
5. 前記追尾処理部は、前記受光部によって検出された前記発光点の発光状態および前記画像中の前記発光点の位置が、既存の航跡のいずれの航跡に相関があるかを示す相関仮説を生成し、前記発光点の位置の予測値に基づいて前記相関仮説の尤もらしさを評価し、評価結果に基づいて、保存する前記相関仮説を選別すること
   を特徴とする請求項４に記載の目標追尾装置。
6. 前記追尾処理部は、前記受光部によって検出された前記発光点の発光状態および前記画像中の前記発光点の位置が、既存の航跡のいずれの航跡に相関があるかを示す相関仮説を生成し、前記発光点の位置の予測値に加え、前記発光点の発光状態の予測結果に基づいて前記相関仮説の尤もらしさを評価し、評価結果に基づいて、保存する前記相関仮説を選別すること
   を特徴とする請求項４に記載の目標追尾装置。
7. 複数の送信部が、個々に一意に割り当てられた識別情報の変調信号を生成し、前記変調信号に対応した光源部の発光状態の変化によって前記識別情報の前記変調信号を送信するステップと、
   受光部が、前記光源部の発光点を含む画像を撮影し、撮影した前記画像から前記発光点の発光状態および前記画像中の前記発光点の位置を検出するステップと、
   追尾処理部が、前記受光部によって検出された前記発光点の発光状態および前記画像中の前記発光点の位置に基づいて、前記送信部の追尾処理を行うステップと、を備え、
   前記光源部は、前記受光部によって前記発光点を含む前記画像の撮影が可能な範囲内で発光状態が変化し、
   前記送信部は、前記識別情報を振幅偏移変調した前記変調信号を生成して、前記光源部の発光状態の変化による前記変調信号の送信を繰り返し、
   前記光源部は、前記変調信号に応じて発光状態を変化させる間隔をランダムに変更し、
   前記受光部は、前記変調信号から前記識別情報が復調されるまで前記画像の検出を行う
   ことを特徴とする目標追尾方法。
8. 複数の送信部が、個々に一意に割り当てられた識別情報の変調信号を生成し、前記変調信号に対応した光源部の発光状態の変化によって前記識別情報の前記変調信号を送信するステップと、
   受信部が、前記光源部の発光点を含む画像を撮影し、撮影した前記画像から前記発光点の発光状態および前記画像中の前記発光点の位置を検出し、検出した前記発光点の発光状態および前記画像中の前記発光点の位置に基づいて、前記送信部の追尾処理を行うステップと、を備え、
   前記光源部は、前記受信部によって前記発光点を含む前記画像の撮影が可能な範囲内で発光状態が変化し、
   前記受信部は、複数の前記送信部の各航跡に相関があった前記発光点の発光状態を逐次保存し、前記発光点の発光状態の時系列に基づいて複数の前記送信部の各航跡に対応する前記識別情報を復調する
   ことを特徴とする目標追尾方法。

Images