JP4815208B2 - 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器 - Google Patents

Description

本発明は、移動型電子機器における人間追跡技術に係り、特に、前方カメラと構造化光（ＳＬ：Structured Light）を利用する人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備える移動型電子機器に関する。

移動型ロボット（以下、「ロボット」という）は、人間の代わりに単純な作業を反復して行う移動型電子機器である。
しかし、さらに知能的なロボットが要求されるにつれ、ロボットと人間との相互作用に関連した多くの技術が研究されている。ロボットと人間との円滑な相互作用のために、優先的に要求される課題は、ロボットが人間を追跡できねばならないということである。

既に提案された人間追跡技術として、背景映像と入力映像との間の差映像を利用して物体の動きを検出する方法がある。しかし、前記差映像を利用する方法は、同じ背景を有する映像の場合には効果的であるが、異なる背景を有する映像の場合には効果的ではない。ロボットは、主に異なる背景を有する映像を使用するので、前記差映像を利用する方法によって人間を追跡する場合に、ロボットの運用は、非効果的になってしまう。

また、テンプレートマッチングを介して全方向（omni-directional）カメラから検出された人間領域とレーザレインジファインダ（laser rangefinder）のプロファイルデータとを比較し、ロボットと人間との相手位置によってモータを制御する人間追跡方法がある。しかし、この方法は、全方向カメラ映像で、テンプレートマッチングが失敗した場合に、追跡対象を失い、人ではない類似パターンを追跡してしまうことにもなる。

さらに、磁石を利用した発信装置のような装置をユーザが携帯し、ロボットが前記発信装置を感知してユーザを追跡する方法がある。しかし、この方法は、ユーザが別途の発信装置を常に携帯しなければならないという面倒さがある。
また、前記した既存の人間追跡方法は、障害物を考慮しておらず、ロボットが障害物を回避しながら人間を追跡することができず、さらに、ほとんどのユーザの顔を基に追跡するので、ユーザの後ろ姿を基とした追跡が不可能である。

本発明が解決しようとする技術的課題は、前方カメラとＳＬとを利用してユーザを追跡できる装置及び方法と、その方法を行うためのプログラムが記録された記録媒体とを提供することである。
また、本発明が解決しようとする他の技術的課題は、ユーザの上体と足とを対象にユーザを追跡できる装置及び方法と、その方法を行うためのプログラムが記録された記録媒体とを提供することである。

さらに、本発明が解決しようとする他の技術的課題は、ユーザを追跡しつつ障害物回避が可能なユーザ追跡装置及び方法と、その方法を行うためのプログラムが記録された記録媒体とを提供することである。
また、本発明が解決しようとする他の技術的課題は、ユーザが別途の発信装置を携帯せずとも、移動型電子機器によるユーザ追跡を可能にするユーザ追跡装置及び方法と、その方法を行うためのプログラムが記録された記録媒体とを提供することである。
さらに、本発明が解決しようとする他の技術的課題は、前記人間追跡装置を有する移動型電子機器を提供することである。

前記技術的課題を解決するために本発明は、人間の少なくとも１つの上体位置情報を検出する上体位置情報検出モジュールと、前記人間の少なくとも１つの足位置情報を検出する足位置情報検出モジュールと、前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、前記追跡対象選択モジュールにより選択された追跡対象を追跡するために人間追跡装置を駆動する駆動モジュールとを備える人間追跡装置を提供する。

前記技術的課題を解決するために本発明は、人間の少なくとも１つの上体位置情報を検出する上体位置情報検出モジュールと、前記人間の少なくとも１つの足位置情報を検出する足位置情報検出モジュールと、前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、前記追跡対象選択モジュールで選択された追跡対象を追跡するための前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、前記移動型電子機器を駆動するためのモータと、前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部とを備える人間追跡装置を提供する。

前記人間追跡装置は、前記追跡対象選択モジュールで選択された追跡対象の位置情報と前記足位置情報検出モジュールで検出された位置情報とを基に障害物を検出し、検出された障害物を登録する障害物登録部をさらに備えることが望ましい。また、前記足位置情報検出モジュールで検出された位置情報は、取得されたレーザライン映像に含まれているＳＬ（Structured Light）レーザラインパターンを基にした情報であることが望ましい。さらに、前記追跡速度及び方向計算部は、前記選択された追跡対象の位置情報と前記障害物登録部に登録された障害物の位置情報とを利用し、前記追跡速度及び方向を計算することが望ましい。

前記技術的課題を解決するために本発明は、人間の少なくとも１つの上体位置情報と少なくとも１つの足位置情報とを検出するステップと、前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択するステップと、前記選択された追跡対象を追跡するステップとを含む人間追跡方法を提供する。

前記技術的課題を解決するために本発明は、人間の少なくとも１つの上体位置情報と少なくとも１つの足位置情報とを検出するステップと、前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択するステップと、前記選択された追跡対象を追跡するために、前記移動型電子機器の追跡速度及び方向を計算するステップと、前記計算された追跡速度及び方向を基に、前記移動型電子機器の駆動を制御するステップとを含む人間追跡方法を提供する。

前記技術的課題を解決するために本発明は、移動型電子機器により使用される人間追跡方法を行うためのプログラムが記録された記録媒体であって、前記人間追跡方法は、人間の少なくとも１つの上体位置情報と少なくとも１つの足位置情報とを検出するステップと、前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択するステップと、前記選択された追跡対象を追跡するために、前記移動型電子機器の追跡速度及び方向を計算するステップと、前記計算された追跡速度及び方向を基に、前記移動型電子機器の駆動を制御するステップとを含む記録媒体を提供する。

前記技術的課題を解決するために本発明は、少なくとも１つの上体位置情報を検出する上体位置情報検出モジュールと、少なくとも１つの足位置情報を検出する足位置情報検出モジュールと、前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、前記追跡対象選択モジュールで選択された追跡対象を追跡するための前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、前記移動型電子機器を駆動するモータと、前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部とを備える移動型電子機器を提供する。

本発明によれば、人間（ユーザ）が別途の発信装置を携帯せずとも、移動型電子機器（ロボット）が人間を追跡できる。また、移動型電子機器が人間の正面、背面、及び側面をいずれも考慮して上体映像を追跡するので、人間がいかなる姿勢で移動しても、移動型電子機器による人間の追跡が可能である。

また、追跡対象と障害物の検出結果を利用し、移動型電子機器の追跡速度及び方向を制御することにより、人間を追跡しつつ障害物回避が可能である移動型電子機器を提供できる。そして、人間の上体及び足を追跡した結果を利用することにより、移動型電子機器の誤追跡を防止できる。

以下、添付された図面を参照し、本発明による望ましい実施形態を詳細に説明する。
図１は、本発明の一実施形態による人間追跡装置の機能ブロック図である。図１に示すように、人間追跡装置Ｈは、上体位置情報検出モジュール１００、足位置情報検出モジュール１１０、追跡対象選択モジュール１３０、障害物登録部１４０、追跡速度及び方向計算部１５０、モータ制御部１６０、及びモータ１７０を備える。図１に示した人間追跡装置Ｈは、ロボットのような移動型電子機器に含まれうる。
上体位置情報検出モジュール１００は、人間の少なくとも１つの上体位置情報を検出するために、第１カメラ１０１、上体映像取得部１０２、及び上体候補検出部１０３を備える。

第１カメラ１０１は、所定の撮像手段によって撮像した映像を出力するものであり、人間を撮像できるものであれば、いかなる形態のカメラであってもよい。第１カメラ１０１は、ユーザが追跡開始を指示すれば、事前に設定された撮影距離の前を撮影する。前記事前に設定された撮影距離は、本発明による人間追跡装置Ｈを備えた移動型電子機器が前記ユーザの上体を撮影できる距離である。前記事前に設定された撮影距離は、実験的な結果を基に決定できるが、ユーザの追跡開始指示を基にしても決定できる。例えば、前記移動型電子機器が、人間の音声または拍手の音を利用した追跡開始指示を認識するように具現された場合、受信された音声または拍手の音を基に算出されたユーザと移動型電子機器との間の距離を、前記事前に設定された撮影距離と決定できる。前記事前に設定された撮影距離は、例えば１メートル（ｍ）と設定できる。
上体映像取得部１０２は、第１カメラ１０１から出力される映像で事前に設定された領域の映像を上体映像として取得する。すなわち、第１カメラ１０１から入力映像が提供されれば、例えば、図２の領域２０１の映像を上体映像として取得する。

図２は、図１に示した上体映像取得部１０２により取得される上体映像領域の例示図である（適宜図１参照）。領域２０１は、事前に設定された上体映像領域であり、第１カメラ１０１により撮影された映像に含まれている上体映像がユーザの正面にしろ、背面にしろ、左側面にしろ、右側面にしろ、前記上体映像を検出できる領域である。領域２０１に対する二次元座標情報は、実験的な結果を基に事前に設定される。
上体映像取得部１０２は、取得された領域２０１内の上体映像についてのカラーヒストグラムを利用し、領域２０１内の色相数を定量化した数値を上体候補検出部１０３に提供する。

上体候補検出部１０３は、初期フレームの場合に、事前に設定された領域２０１の二次元座標情報を上体候補（または上体候補映像）の位置情報（または相対座標値）として出力する。
初期フレーム以外のフレームの場合に、上体候補検出部１０３は、上体映像取得部１０２から提供された上体映像についての色相数の定量化された数値を基に、第１カメラ１０１から提供される入力映像についてパーチクルフィルタリング（particle-filtering）及び平均移動追跡を行い、少なくとも１つの上体候補を検出する。

図３は、図１に示した上体候補検出部１０３による上体候補の検出方法を示すフローチャートである。以下、図３を参照しながら，上体候補の検出方法について説明する（適宜図１参照）。
図３に示したように、上体候補検出部１０３は、第１カメラ１０１から提供される現在フレーム映像にいくつかのパーチクル（点）を振りまき、前記パーチクルを中心にいくつかのウィンドー（領域２０１と同様の長方形の領域）を形成する（ステップ３０１）。もし１０個のパーチクルがまかれれば、前記１０個のウィンドーが形成される。前記ウィンドーは、前記領域２０１と同じサイズおよび形を有する。

上体候補検出部１０３は、各ウィンドーについてのカラーヒストグラムを利用し、ウィンドー内の色相数を定量化する（ステップ３０２）。
上体候補検出部１０３は、各ウィンドーについて定量化された数値をバタリア係数（Bhattacharyya coefficient）に変換し、以前映像での追跡対象ウィンドーと前記現在フレーム映像に形成された各ウィンドーとの間の類似度を比較する（ステップ３０３）。以前映像での追跡対象ウィンドーについての情報は、上体映像取得部１０２で取得した領域２０１映像についての定量化された数値である。

上体候補検出部１０３は、前記現在フレーム映像に形成された各ウィンドーのうち、前記以前映像での追跡対象ウィンドーと類似度の高いウィンドーとに、さらに多くの加重値を与え、前記類似度が高いウィンドーの位置にパーチクルを集め、現在フレーム映像での上体映像についての候補領域を検出する（ステップ３０４）。

上体候補検出部１０３は、平均移動追跡方式を利用し、前記検出された候補領域（または、パーチクル）のうち、１つの候補領域を検出する。すなわち、上体候補検出部１０３は、上体映像取得部１０２で取得された上体映像を基準モデルとして、前記候補領域のうち前記上体映像取得部１０２で取得した上体映像と最も隣接し、かつ類似度の高い候補領域を検索し、検索された候補領域の位置を検出された上体候補の位置と決定し、この決定された上体候補の位置情報を出力する（ステップ３０５）。前記位置情報は、第１カメラ１０１を介して入力される映像での二次元座標値を相対座標値とする。前記上体映像の位置情報は、上体の方向（orientation θ）と表現可能である。前記上体映像追跡部１０３で出力される上体映像の位置情報は、追跡対象選択モジュール１３０に提供される。

一方、図１に示すように、足位置情報検出モジュール１１０は、人間の少なくとも１つの足位置情報を検出するために、レーザ発振部１１１、第２カメラ１１２、足映像取得部１１３、映像歪曲補償部１１４、及び足候補検出部１１５を備える。
ユーザが追跡開始を指示すれば、足映像取得部１１３は、レーザ発振部１１１を制御し、レーザを水平方向にプロジェクション（投射）する。前記プロジェクションされたレーザ光は、ＳＬ（Structured Light）という。前記レーザは、赤外線レーザを使用できる。

第２カメラ１１２は、レーザ発振部１１１が赤外線レーザを発振させるように構成された場合に、赤外線フィルタを装着したカメラを使用する。第２カメラ１１２は、レーザ発振部１１１からのＳＬレーザラインを撮像した映像を出力する。特に、第２カメラ１１２は、さらに広い領域を撮影するために魚眼レンズを装着してもよい。
足映像取得部１１３は、レーザ発振部１１１を制御し、第２カメラ１１２から撮像された入力映像から足映像を取得する。前記取得される足映像は、プロジェクションフレーム映像である。足映像取得部１１３で取得される足映像は、第２カメラ１１２から出力される映像と同一である。

しかし、足映像取得部１１３は、上体映像取得部１０２と同様に、第２カメラ１１２で撮影された映像について、事前に設定された特定領域を足映像として取得するように具現できる。
映像歪曲補償部１１４は、足映像取得部１１３で取得されたプロジェクションフレーム映像の歪曲を補償する。前記映像の歪曲は、第２カメラ１１２に装着されたレンズ（図示せず）による幾何学的映像歪曲である。従って、前記第２カメラ１１２に魚眼レンズが装着された場合に、映像歪曲補償部１１４は、プロジェクションフレーム映像についての放射状方向の歪曲と接線方向の歪曲とをいずれも補償する。従って、映像歪曲補償部１１４から出力されるプロジェクション映像は、図４に示したように、レンズによる映像歪曲が補償された映像である。図４は、図１に示した映像歪曲補償部で補償された足映像の例示図である（詳細は後記）。

足候補検出部１１５は、映像歪曲補償部１１４から歪曲が補償されたプロジェクション映像が入力されれば、入力されたプロジェクション映像に含まれているＳＬレーザラインを基に、反射体の各画素の距離を求める。
レーザ発振部１１１と第２カメラ１１２及びＳＬにより形成されるプロジェクション面間の関係は、図５に示したように定義できる。図５で、Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐは、レーザ発振部１１１のフレームであり、Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃは、第２カメラ１１２のフレームであり、αは、第２カメラ１１２のフレームとレーザ発振部１１１のフレームとの間のＸ軸を中心にした回転角である。Ｐ_ｙは、第２カメラ１１２のフレームとレーザ発振部１１１のフレームとの間のＹ軸方向へのオフセットである。前記フレームＸ_ｐ，Ｙ_ｐ，Ｚ_ｐと前記フレームＸ_ｃ，Ｙ_ｃ，Ｚ_ｃとの関係は数式（１）のように定義される。

前記数式（１）に定義されたようなレーザ発振部１１１、第２カメラ１１２及びＳＬプロジェクション面の関係式により、足候補検出部１１５は、取得された足映像に含まれているＳＬレーザラインそれぞれと本願発明による人間追跡装置Ｈを備えた移動型電子機器との間の距離Ｚ_ｐと、前記移動型電子機器とＳＬレーザラインとの間の左右距離Ｘ_ｐとを求める。

すなわち、ＳＬレーザプロジェクション面上のＹ_ｐが０であるとき、第２カメラ１１２のフレームＸ_ｃ，Ｙ_ｃ，Ｚ_ｃは、数式（２）のように定義されうる。
数式（２）で、（Ｘｓ，Ｙｓ）は、物体の映像座標であり、Ｓ_ｘ／ｆ、Ｓ_ｘ／ｆは、前記物体の映像座標（Ｘｓ，Ｙｓ）を空間座標に変換するためのスケール定数である。

ＳＬレーザプロジェクション面上のＹｐ＝０である条件と数式（２）とを利用すれば、数式（３）のような値を得ることができる。
数式（１）、数式（２）及び数式（３）から、前記ＳＬレーザラインそれぞれと本願発明による人間追跡装置Ｈを備えた移動型電子機器との間の距離Ｚ_ｐと、前記移動型電子機器とＳＬレーザラインとの間の左右距離Ｘ_ｐとを数式（４）のように求めることができる。

このように、移動型電子機器と人間の足との間の距離Ｚ_ｐと移動型電子機器と足との間の左右距離Ｘ_ｐとが求められれば、足候補検出部１１５は、求められたＺ_ｐとＸ_ｐを二次元マッピングする。
従って、足候補検出部１１５は、図６に示したようなＳＬレーザラインパターンの含まれている二次元映像を得る。

図６は、図４に示したプロジェクションフレーム映像に相応するＳＬレーザラインパターンの含まれている二次元映像である（適宜図１参照）。
足候補検出部１１５は、画素間の距離により、図６に示したように、二次元マッピングされた映像をグルーピング及びクラスタリングして足候補を検出する。すなわち、二次元マッピングされた映像について、前記のグルーピング及びクラスタリングを行えば、図６の領域６１０から領域６１１、領域６１２を得る。領域６１０は、二次元マッピングされた映像を拡大して図示したものである。

足候補検出部１１５は、前記領域６１１、領域６１２の対角線長さｌを検出し、検出された対角線長さｌと、事前に設定された足パターンサイズについての特性値とを比較して足候補を検出する。これは、前記グルーピング及びクラスタリングにより設定された領域の対角線長さｌと足パターンサイズに対する特性値とが近似した値を有するためである。
前記の足パターンサイズは、最適の足パターンの属性として定義できる。前記足パターンサイズは、移動型電子機器が人間を正面、背面、側面（左右面）に見たとき、１メートル（ｍ）と３メートル（ｍ）とで測定された多数の成人男女の足パターンのサイズを基に設定されうる。

このように、足候補検出部１１５で検出された足候補の二次元座標値（相対座標値）は、追跡対象選択モジュール１３０に伝送される。
追跡対象選択モジュール１３０は、上体候補検出部１０３から提供された上体候補の二次元座標値と、足候補検出部１１５から提供された足候補の二次元座標値とを利用して追跡対象を選択する。
追跡対象選択モジュール１３０は、追跡候補検出部１３１及び追跡対象選択部１３２を備える。

追跡候補検出部１３１は、最初のフレーム映像に対する追跡対象選択時には、足候補検出部１１５から提供される足候補と、上体候補検出部１０３から提供された位置情報を基にした上体候補とをいずれも追跡候補として検出する。しかし、第二のフレーム映像で、追跡候補検出部１３１は、以前フレームで追跡対象として選択された足候補の位置を中心座標とした探索範囲を設定する。

図７の（ａ）及び（ｂ）は、最初のフレーム映像で検出された追跡対象を基にした探索範囲設定の例示図である（適宜図１参照）。図７（ａ）に示したプロジェクションフレーム映像で検出された追跡対象が、図７（ｂ）に示した符号７０１及び符号７０２で表わされたものであるとき、探索範囲は、領域７０３のように設定されうる。前記探索領域は、成人男女が前に歩く場合と横に歩く場合の平均歩幅、平均速度、移動型電子機器の反応速度などを考慮して決定されうる。

図１に示すように、追跡候補検出部１３１は、前記設定された探索領域に含まれるあらゆる足候補を追跡候補として検出する。
また、追跡候補検出部１３１は、上体候補検出部１０３から提供された上体候補の位置情報（または、二次元座標情報）が、前記探索領域内に含まれているか否かチェックする。もし、上体候補の位置情報が前記探索領域の外に外れれば、追跡候補検出部１３１は、前記上体候補の位置情報を無視する。これは、上体候補の位置情報を誤って検出することによる誤追跡を防止するためのものである。

探索領域外に追跡上体映像の位置情報が外れれば、追跡候補検出部１３１は、ユーザを呼び出すか、またはそれ以外の方法で追跡対象の消失をユーザに通報可能である。
前記探索領域が入力された足候補の位置を含んでいないとき、追跡候補検出部１３１は、ユーザに追跡対象の消失を知らせることができる。
上体候補検出部１０３から上体候補の位置情報が提供されていないか、または足候補検出部１１５から足候補の位置情報が提供されていない場合にも、追跡候補検出部１３１は、ユーザを呼び出すか、またはそれ以外の方法で追跡対象の消失をユーザに通報できる。

追跡候補検出部１３１は、検出された追跡候補の位置情報を追跡対象選択部１３２に出力する。
追跡対象選択部１３２は、追跡候補検出部１３１から追跡候補と判断された上体候補の位置情報と、追跡候補と決定された足候補の位置情報とを受信し、受信された位置情報を利用して最適の追跡対象を選択する。

図８は、図１の追跡対象選択部１３２での追跡対象選択過程を説明するための図面である（適宜図１参照）。図８に示すように、追跡対象選択部１３２が以前の追跡対象位置８０１を基に設定された探索領域８００に含まれる複数の足候補８０２，８０３，８０４，８０５についての位置情報と、上体候補８１１の位置情報とを受信すれば、追跡対象選択部１３２は、上体候補８１１の位置と最も近い距離に位置した足候補８０４を追跡対象として選択するか、または以前の追跡対象位置８０１から最も近い足パターン候補の位置を追跡対象として選択するか、または以前の追跡対象位置８０１から、上体候補の位置の異なった足パターン候補の位置より近い場合に、上体候補の位置を追跡対象として選択することができる。

足候補の位置と上体候補の位置とが一致しない場合に、追跡対象選択部１３２は、以前の追跡位置で最も変位量の小さな位置を追跡対象として選択できる。
このように、追跡対象を選択するために、追跡対象選択部１３２は、足候補の二次元座標値を利用して方向誤差と距離誤差とを求め、上体候補の二次元座標値を利用して方向誤差を求める。前記方向誤差及び距離誤差は、数式（５）により求めることができる。

数式（５）で、ＤＯは、移動型電子機器と人間との間の追跡維持間隔であり、ｘ、ｙは、図１０で足１００１の位置間の中央に表示された二次元座標値（ｘ，ｙ）に該当する。
数式（５）により求められた方向誤差及び距離誤差値を利用し、探索範囲内の各足候補、上体候補、及び以前追跡対象間の位置関係を把握できる。
追跡対象が選択されれば、追跡対象選択部１３２は、選択された追跡対象の位置情報を障害物登録部１４０と、追跡速度及び方向計算部１５０とに提供する。

障害物登録部１４０は、ＳＬレーザラインパターンを基にした足候補検出部１１５から提供される足映像の位置情報と、追跡対象選択部１３２から提供される追跡対象の位置情報とを比較する。前記ＳＬレーザラインパターンを基にした足映像の位置情報は、足候補検出部１１５で足候補として検出されたＳＬレーザラインパターンの位置情報と、足候補として検出されていないＳＬレーザラインパターンの位置情報とをいずれも含む。

比較した結果、前記追跡対象の位置情報以外のＳＬレーザラインパターンの位置情報が検出されれば、障害物登録部１４０は、前記検出されたＳＬレーザラインパターンの位置情報のうち、移動型電子機器と最も近いところの位置情報を有するＳＬレーザラインパターンを移動型電子機器が避ける障害物として認識する。
従って、障害物登録部１４０は、前記移動型電子機器と最も近いところに位置したＳＬレーザラインパターンを障害物として選択し、選択された障害物の位置情報を登録する。障害物として選択されるＳＬレーザラインパターンの位置情報は、ＳＬレーザラインパターンをグルーピング及びクラスタリングにより得られた位置情報でありうる。

図９は、追跡速度と障害物回避速度との関係を説明するための図面である（適宜図１参照）。図９に示すように、追跡速度及び方向計算部１５０は、追跡対象選択部１３２から追跡対象の位置情報を、障害物登録部１４０から障害物の位置情報を受信し、人間９００と移動型電子機器９０１との間の引力と障害物９０２と移動型電子機器９０１との間の斥力とのベクトル和を利用し、移動型電子機器９０１の最終追跡方向及び速度を決定する。

図１０は、図１に示した追跡速度及び方向計算部１５０で、移動型電子機器の左右回転速度の決定過程を説明するための図面である（適宜図１参照）。図１０に示すように、追跡速度及び方向計算部１５０は、選択された追跡対象の足１００１と移動型電子機器１００２との間の距離ｄと方向θの相対誤差を基に、移動型電子機器１００２の左右の輪１００３，１００４の回転速度を決定する。このとき、追跡速度及び方向計算部１５０は、障害物の位置と逆方向に移動型電子機器１００２を移動させるように移動型電子機器１００２の左右の輪１００３，１００４の回転速度を決定できる。左右の輪１００３，１００４の回転速度を決定する方法としては、ＰＩＤ（Proportional integral Derivative）制御アルゴリズムなどを活用できる。

モータ制御部１６０は、前記のように計算された追跡速度及び方向により、移動型電子機器に装着されたモータ１７０の回転方向及び速度を制御する。前記モータ１７０は、図１０に示したような、移動型電子機器１００２に装着された左右の輪１００３，１００４を回転させるモータである。
追跡速度及び方向計算部１５０、モータ制御部１６０及びモータ１７０は、選択された追跡対象を追跡するために、人間追跡装置Ｈを駆動する駆動モジュールと定義可能である。しかし、選択された追跡対象を追跡するために、人間追跡装置Ｈは、固定された位置で追跡方向だけを計算し、計算された追跡方向を基に、追跡対象を追跡するように具現できる。

図１１は、本発明の他の実施形態による人間追跡方法のフローチャートである（適宜図１参照）。図１と図１１に示すように、ユーザの音声または拍手音による追跡開始指示（信号）が受信されれば（ステップ１１０１で「はい」）、移動型電子機器は、第１カメラ１０１を制御して所定距離前方を撮影する。移動型電子機器は、撮影された映像からユーザの上体映像を取得する（ステップ１１０２）。上体映像は、図１の上体映像取得部１０２と同じ方法で取得される。従って、撮影された映像がユーザの前面、背面、側面であるか否かに関係なく、撮影された映像から上体映像を取得することができる。

移動型電子機器は、前記取得された上体映像を基に、次のフレーム映像での上体候補（または、上体候補映像）を検出する（ステップ１１０３の前半）。上体候補検出は、図１の上体候補検出部１０３の場合と同様に、パーチクルフィルタリング及び平均移動追跡方式により行われる。移動型電子機器は、検出された上体候補の位置情報を検出する（１１０３の後半）。前記位置情報は、二次元座標情報でありうる。
一方、移動型電子機器は、レーザ発振部１１１を制御してレーザを発振し、第２カメラ１１２を介してＳＬレーザラインを含むプロジェクション映像を足映像として取得する（ステップ１１０４）。

次に、移動型電子機器は、取得された足映像の歪曲を補償する（ステップ１１０５）。補償される映像歪曲は、第２カメラ１１２に装着されたレンズによる歪曲である。移動型電子機器は、歪曲が補償された映像で、図１の足候補検出部１１５の場合とと同様に、歪曲が補償された映像のＳＬレーザラインパターンを利用して足候補を検出し、検出された足候補の位置情報を検出する（ステップ１１０６）。足候補の位置情報は、二次元座標情報である。

移動型電子機器は、ステップ１１０３で検出された上体候補の位置情報と、第１１０６ステップで検出された足候補の位置情報とを利用して追跡候補を検出する。追跡候補は、図１の追跡候補検出部１３１の場合と同様に検出する（１１０７）。ステップ１１０３で、上体候補の位置情報が検出されていないか、またはステップ１１０６で、足候補の位置情報が検出されていないか、または検出された上体候補の位置情報または足候補の位置情報が以前の追跡対象を基に設定された探索領域を外れれば、移動型電子機器は、追跡対象の消失をユーザに知らせることができる。

移動型電子機器は、検出された追跡候補から追跡対象を選択する（ステップ１１０８）。追跡対象は、図１の追跡対象選択部１３２の場合と同様に選択される。
追跡対象が選択されれば、移動型電子機器は、選択された追跡対象の位置情報と、ステップ１１０６で、足候補を検出するために利用されたＳＬレーザラインパターンを基とした位置情報とを利用して障害物を登録する（ステップ１１０９）。すなわち、図１の障害物登録部１４０の場合と同様に、移動型電子機器は、前記ＳＬレーザラインパターンを基とした位置情報で、前記選択された追跡対象の位置情報を除外し、前記選択された追跡対象の位置情報が除外されたＳＬレーザラインパターンの位置情報のうち、移動型電子機器に最も近いところの位置情報を有するＳＬレーザラインパターンを障害物として登録する。登録情報は、ＳＬレーザラインパターンの位置情報である。前記ＳＬレーザラインパターンの位置情報は、グルーピング及びクラスタリングにより得られた位置情報でありうる。

ステップ１１０８から選択された追跡対象の位置情報と、ステップ１１０９で登録された障害物の位置情報とを利用し、移動型電子機器は、追跡速度及び方向を図１の追跡速度及び方向計算部１５０の場合と同様に計算する（ステップ１１１０）。
移動型電子機器は、計算された追跡速度及び方向を基に、移動型電子機器の移動を制御するモータ（図示せず）を制御する（ステップ１１１１）。移動型電子機器は、ユーザによる追跡終了命令を受信すれば（ステップ１１１２で「はい」）、上体候補及び足候補追跡作業を終了する。しかし、移動型電子機器は、ユーザによる追跡終了命令を受信しなければ（ステップ１１１２で「いいえ」）、ステップ１１０２及びステップ１１０４に戻って前記の過程を繰り返す。

本願発明による移動型電子機器において、ユーザ追跡方法を行うためのプログラムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み込み可能なデータが保存されるあらゆる種類の保存装置のいずれであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形で具現されるものも含む。

また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されてもよい。そして、前記ユーザ追跡方法を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマらにより容易に推論可能である。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明の属する技術分野における当業者は、本発明が本発明の本質的な特性を外れない範囲で変形された形に具現可能であることを理解できるであろう。従って、開示された実施形態は、限定的な観点ではなくして説明的な観点で考慮されねばならない。本発明の範囲は、以上の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれていると解釈されるものである。

本発明の一実施形態による人間追跡装置の機能ブロックである。 図１に示した上体映像取得部により取得される上体映像領域の例示図である。 図１に示した上体候補検出部のフローチャートである。 図１に示した映像歪曲補償部で補償された足映像の例示図である。 図１に示したレーザ発振部、第２カメラ及びＳＬにより形成されるプロジェクション面間の関係を説明する図面である。 図４に相応するＳＬレーザラインパターンを含む二次元映像を示した図面である。 （ａ）は、最初のフレーム映像で検出された追跡対象を基にした探索範囲設定の例示図であり、（ｂ）は、最初のフレーム映像で検出された追跡対象を基にした探索範囲設定の例示図である。 図１の追跡対象選択部での追跡対象選択過程を説明するための図面である。 追跡速度と障害物回避速度との関係を説明するための図面である。 図１に示した追跡速度及び方向計算部での移動型電子機器の左右回転速度の決定過程を説明するための図面である。 本発明の他の実施形態による人間追跡方法のフローチャートである。

符号の説明

１００ 上体位置情報検出モジュール
１０１ 第１カメラ
１０２ 上体映像取得部
１０３ 上体候補検出部
１１０ 足位置情報検出モジュール
１１１ レーザ発振部
１１２ 第２カメラ
１１３ 足映像取得部
１１４ 映像歪曲補償部
１１５ 足候補検出部
１３０ 追跡対象選択モジュール
１３１ 追跡候補検出部
１３２ 追跡対象選択部
１４０ 障害物登録部
１５０ 追跡速度及び方向計算部
１６０ モータ制御部
１７０ モータ
Ｈ 人間追跡装置

Claims (18)

1. 移動型電子機器に利用される人間追跡装置であって、
   第１カメラにより撮影された上体映像から人間の少なくとも１つの上体位置情報を検出する上体位置情報検出モジュールと、
   第２カメラにより撮影された足映像から前記人間の少なくとも１つの足位置情報を検出する足位置情報検出モジュールと、
   前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、
   前記追跡対象選択モジュールで選択された追跡対象を追跡するための、前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、
   前記移動型電子機器を駆動するモータと、
   前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部と、
   を備え、
   前記追跡対象選択モジュールは、
   前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報のうちから、所定の探索範囲に含まれる上体位置情報と足位置情報とを追跡候補情報として検出する追跡候補検出部と、
   前記追跡候補検出部で検出された追跡候補情報に含まれている足位置情報が複数個ならば、前記追跡候補情報に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択する追跡対象選択部とを備え、
   前記追跡候補検出部は、
   前記所定の探索範囲を、以前フレームで追跡対象として選択された足候補の位置を中心座標とし、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及び前記移動型電子機器の反応速度を基に決定することを特徴とする人間追跡装置。
2. 前記追跡候補検出部は、
   前記所定の探索範囲に少なくとも１つの上体位置情報が含まれていないか、または少なくとも１つの足位置情報が含まれていなければ、追跡対象の消失を知らせる信号を出力することを特徴とする請求項１に記載の人間追跡装置。
3. 前記足位置情報検出モジュールは、
   レーザを発振させるレーザ発振部と、
   前記レーザ発振部から発生したレーザラインを撮像する前記第２カメラと、
   前記第２カメラを介して撮像されたレーザライン映像を足映像として取得する足映像取得部と、
   前記足映像取得部で取得された足映像から、前記少なくとも１つの足位置情報を足候補として検出する足候補検出部と、
   を備えることを特徴とする請求項１に記載の人間追跡装置。
4. 前記足候補検出部は、
   前記移動型電子機器と前記レーザラインとの間の距離と、前記移動型電子機器と前記レーザラインとの間の左右距離とを求め、
   前記求められた距離を利用して二次元マッピングした映像を得て、
   前記二次元マッピングされた映像に対してグルーピング及びクラスタリングを行い、
   前記クラスタリングにより設定された映像領域の対角線長さと事前に設定された足パターン属性とを比較し、前記少なくとも１つの足位置情報を検出する
   ことを特徴とする請求項３に記載の人間追跡装置。
5. 前記足パターン属性は、前記移動型電子機器が人間を正面、背面、側面に見たとき、所定距離で測定された多数の成人男女の足パターンのサイズを基に設定されたことを特徴とする請求項４に記載の人間追跡装置。
6. 前記追跡対象選択モジュールで選択された追跡対象の位置情報と前記足位置情報検出モジュールで検出された位置情報とを基に障害物を検出し、前記検出された障害物の位置情報を登録する障害物登録部をさらに備える
   ことを特徴とする請求項３に記載の人間追跡装置。
7. 前記障害物登録部は、
   前記足位置情報検出モジュールで検出された位置情報で、前記選択された追跡対象の位置情報を除外した位置情報のうちから、前記移動型電子機器と最も近いところの位置情報を前記検出された障害物の位置情報として登録することを特徴とする請求項６に記載の人間追跡装置。
8. 前記足位置情報検出モジュールで検出された位置情報は、前記レーザライン映像に含まれているレーザラインパターンを基にした情報であることを特徴とする請求項６に記載の人間追跡装置。
9. 前記追跡速度及び方向計算部は、
   前記選択された追跡対象の位置情報と前記障害物登録部に登録された障害物の位置情報とを利用し、前記追跡速度及び方向を計算することを特徴とする請求項６に記載の人間追跡装置。
10. 前記追跡速度及び方向計算部は、
    前記選択された追跡対象の位置情報と前記障害物登録部に登録された障害物の位置情報とを基にした前記人間と前記人間追跡装置との間の引力及び前記障害物と前記移動型電子機器との間の斥力のベクトル和を利用して前記追跡速度及び方向を決定することを特徴とする請求項６に記載の人間追跡装置。
11. 前記追跡対象選択モジュールで選択された追跡対象の位置情報と前記足位置情報検出モジュールで検出された位置情報とを基に障害物を検出し、前記検出された障害物の位置情報を登録する障害物登録部をさらに備える
    ことを特徴とする請求項１に記載の人間追跡装置。
12. 前記上体位置情報検出モジュールは、
    前記人間の正面、背面、側面を考慮した領域を基に前記第１カメラを利用して撮像された映像から、前記少なくとも１つの上体位置情報を検出することを特徴とする請求項１に記載の人間追跡装置。
13. 移動型電子機器により使用される人間追跡方法であって、
    第１カメラにより撮影された上体映像から人間の少なくとも１つの上体位置情報と、第２カメラにより撮影された足映像から少なくとも１つの足位置情報とを検出するステップと、
    前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択するステップと、
    前記選択された追跡対象を追跡するために、前記移動型電子機器の追跡速度及び方向を計算するステップと、
    前記計算された追跡速度及び方向を基に、前記移動型電子機器の駆動を制御するステップと、
    を含み、
    前記追跡対象を選択するステップは、
    前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報のうちから、所定探索範囲に含まれる上体位置情報と足位置情報とを追跡候補の位置情報として検出するステップと、
    前記検出された追跡候補の位置情報に含まれている足位置情報が複数個ならば、前記追跡候補情報に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択するステップと、
    を含み、
    前記所定の探索範囲は、以前フレームで追跡対象として選択された足候補の位置を中心座標とし、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及び前記移動型電子機器の反応速度を基に決定されることを特徴とする人間追跡方法。
14. 前記足位置情報を検出するために取得された足映像で検出された位置情報で、前記選択された追跡対象の位置情報を除外した位置情報のうちから、前記移動型電子機器と最も近接した位置情報を障害物の位置情報として検出して障害物位置情報として登録するステップをさらに含むことを特徴とする請求項１３に記載の人間追跡方法。
15. 前記取得された足映像は、レーザラインパターンを有し、前記取得された足映像で検出された位置情報は、前記レーザラインパターンを基とすることを特徴とする請求項１４に記載の人間追跡方法。
16. 前記追跡速度及び方向は、前記選択された追跡対象の位置情報と前記障害物位置情報とを基に決定されることを特徴とする請求項１４に記載の人間追跡方法。
17. 移動型電子機器により使用される人間追跡方法を実行するためのプログラムが記録された記録媒体であって、
    前記人間追跡方法は、
    第１カメラにより撮影された上体映像から人間の少なくとも１つの上体位置情報と、第２カメラにより撮影された足映像から少なくとも１つの足位置情報とを検出するステップと、
    前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択するステップと、
    前記選択された追跡対象を追跡するために、前記移動型電子機器の追跡速度及び方向を計算するステップと、
    前記計算された追跡速度及び方向を基に、前記移動型電子機器の駆動を制御するステップと、
    を含み、
    前記追跡対象を選択するステップは、
    前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報のうちから、所定探索範囲に含まれる上体位置情報と足位置情報とを追跡候補の位置情報として検出するステップと、
    前記検出された追跡候補の位置情報に含まれている足位置情報が複数個ならば、前記追跡候補情報に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択するステップと、
    を含み、
    前記所定の探索範囲は、以前フレームで追跡対象として選択された足候補の位置を中心座標とし、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及び前記移動型電子機器の反応速度を基に決定されることを特徴とする記録媒体。
18. 第１カメラにより撮影された上体映像から人間の少なくとも１つの上体位置情報を検出する上体位置情報検出モジュールと、
    第２カメラにより撮影された足映像から前記人間の少なくとも１つの足位置情報を検出する足位置情報検出モジュールと、
    前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、
    前記追跡対象選択モジュールで選択された追跡対象を追跡するための、前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、
    前記移動型電子機器を駆動するモータと、
    前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部と、
    を備え、
    前記追跡対象選択モジュールは、
    前記少なくとも１つの上体位置情報と前記少なくとも１つの足位置情報のうちから、所定の探索範囲に含まれる上体位置情報と足位置情報とを追跡候補情報として検出する追跡候補検出部と、
    前記追跡候補検出部で検出された追跡候補情報に含まれている足位置情報が複数個ならば、前記追跡候補情報に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択する追跡対象選択部と、を有する人間追跡装置を備え、
    前記追跡候補検出部は、
    前記所定の探索範囲を、以前フレームで追跡対象として選択された足候補の位置を中心座標とし、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及び前記移動型電子機器の反応速度を基に決定することを特徴とする移動型電子機器。