JP3489491B2 - 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 - Google Patents
人物行動解析装置及び人物行動解析プログラムを記録した記録媒体Info
- Publication number
- JP3489491B2 JP3489491B2 JP17783999A JP17783999A JP3489491B2 JP 3489491 B2 JP3489491 B2 JP 3489491B2 JP 17783999 A JP17783999 A JP 17783999A JP 17783999 A JP17783999 A JP 17783999A JP 3489491 B2 JP3489491 B2 JP 3489491B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- observer
- space
- sight
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、人物の行動を解析
する装置及びプログラムを記録した媒体に係わり、特
に、監視対象となる空間内で人物の移動軌跡や、空間内
の各地点における人物の注目対象を自動収集する人物行
動解析装置及び人物行動解析プログラムを記録した記録
媒体に関するものである。
する装置及びプログラムを記録した媒体に係わり、特
に、監視対象となる空間内で人物の移動軌跡や、空間内
の各地点における人物の注目対象を自動収集する人物行
動解析装置及び人物行動解析プログラムを記録した記録
媒体に関するものである。
【０００２】
【従来の技術】従来、この種の人物行動解析手法は、人
物の視線方向を検出し、監視対象となる空間内に存在す
る商品や広告などに対する注目度や関心度を分析するた
めに用いられている。
物の視線方向を検出し、監視対象となる空間内に存在す
る商品や広告などに対する注目度や関心度を分析するた
めに用いられている。
【０００３】また、人物の視線方向を検出するための従
来技術としては、接触型と非接触型の２つの技術に大別
される。
来技術としては、接触型と非接触型の２つの技術に大別
される。
【０００４】接触型の従来技術の手法として、特開平０
６−３４７８６６号公報に記載されているようなアイカ
メラを用いた技術が知られている。このアイカメラは、
自分の視線方向を検出するために、眼球に近赤外線を照
射し、反射光をビデオカメラで撮影することにより視線
方向を検出するが、近赤外線の照射装置/ビデオカメラ
を眼球部に接触あるいは近接させているため、頭部の動
きに無関係に眼球の動き、すなわち視線方向が検出でき
る特徴を有する。
６−３４７８６６号公報に記載されているようなアイカ
メラを用いた技術が知られている。このアイカメラは、
自分の視線方向を検出するために、眼球に近赤外線を照
射し、反射光をビデオカメラで撮影することにより視線
方向を検出するが、近赤外線の照射装置/ビデオカメラ
を眼球部に接触あるいは近接させているため、頭部の動
きに無関係に眼球の動き、すなわち視線方向が検出でき
る特徴を有する。
【０００５】また、非接触型の手法として、ＣＣＤカメ
ラなどの撮像装置で撮像された画像から人物の視線方向
を推定する手法が多く提案されている。例えば、顔領域
が楕円に近いことを利用してその主軸の傾きから顔の向
きを推定する手法が、１９９８年４月に開催された 第
２回顔とジェスチャの自動認識に関する国際シンポジウ
ムで発行された講演集第８３〜９３頁にある(pp.88-93,
The 2nd International Symposium on Automatic Face
and Gesture Recognition,Nara,Apl.1998)の谷内田(Yac
hida)らによる「スリーディー ヘッド ポーズ エスティ
メーション ウィズアウト フィーチャー トラッキング
(3D Head Pose Estimation without Feature Trackin
g)」によって紹介されている。また、目、鼻、口のよう
な顔面上の特徴点の位置関係の見かけの形状変化をもと
に視線方向を推定する手法が、１９９８年１０月アイト
リプルイーのコンピュータビジョンのアプリケーション
に関するワークショップの講演集第２５６-２５７頁に
ある(pp.256-257,IEEE workshop on Applications of C
omputer Vision, Princeton, Oct.1998)のストックマン
（George Stockman）らによる「リアルタイム トラッキ
ング オブ フェースフィーチャーズ アンド ゲイズ デ
ィレクション ディターミネーション(Real-time Tracki
ng of Face Features and Gaze Direction Determinati
on)」に紹介されている。
ラなどの撮像装置で撮像された画像から人物の視線方向
を推定する手法が多く提案されている。例えば、顔領域
が楕円に近いことを利用してその主軸の傾きから顔の向
きを推定する手法が、１９９８年４月に開催された 第
２回顔とジェスチャの自動認識に関する国際シンポジウ
ムで発行された講演集第８３〜９３頁にある(pp.88-93,
The 2nd International Symposium on Automatic Face
and Gesture Recognition,Nara,Apl.1998)の谷内田(Yac
hida)らによる「スリーディー ヘッド ポーズ エスティ
メーション ウィズアウト フィーチャー トラッキング
(3D Head Pose Estimation without Feature Trackin
g)」によって紹介されている。また、目、鼻、口のよう
な顔面上の特徴点の位置関係の見かけの形状変化をもと
に視線方向を推定する手法が、１９９８年１０月アイト
リプルイーのコンピュータビジョンのアプリケーション
に関するワークショップの講演集第２５６-２５７頁に
ある(pp.256-257,IEEE workshop on Applications of C
omputer Vision, Princeton, Oct.1998)のストックマン
（George Stockman）らによる「リアルタイム トラッキ
ング オブ フェースフィーチャーズ アンド ゲイズ デ
ィレクション ディターミネーション(Real-time Tracki
ng of Face Features and Gaze Direction Determinati
on)」に紹介されている。
【０００６】このように、人物の視線方向を検出する手
法は、接触型と非接触型に大別されるが、ある空間内に
存在する商品や広告などに対する注目度や関心度を分析
することを考えると、観測者に対し何らかのセンサを取
り付ける接触型の手法を用いることは、観測者に対して
負担をかけてしまい好ましくない。よって、この手の人
物行動解析手法には、非接触型の視線方向検出手法が用
いられることが好ましい。非接触型の視線方向検出手法
を用いた人物行動解析手法の従来技術としては、特開平
１１−２４６０３号公報に記載されている手法が知られ
ている。
法は、接触型と非接触型に大別されるが、ある空間内に
存在する商品や広告などに対する注目度や関心度を分析
することを考えると、観測者に対し何らかのセンサを取
り付ける接触型の手法を用いることは、観測者に対して
負担をかけてしまい好ましくない。よって、この手の人
物行動解析手法には、非接触型の視線方向検出手法が用
いられることが好ましい。非接触型の視線方向検出手法
を用いた人物行動解析手法の従来技術としては、特開平
１１−２４６０３号公報に記載されている手法が知られ
ている。
【０００７】ここで、この特開平１１−２４６０３号公
報に開示されている構成のブロック図を図１１に示し、
以下、この図１１を用いて従来技術の手法を説明する。
報に開示されている構成のブロック図を図１１に示し、
以下、この図１１を用いて従来技術の手法を説明する。
【０００８】提示情報記憶部１４には、注目度や関心度
を分析する映像（主にコマーシャル）が格納されてお
り、この映像は表示部１８を介して表示される。次に、
カメラ１９によって、表示部１８に表示されている映像
を鑑賞している人物を撮像し、視線検出部１２は、上記
の非接触型の視線検出手法を用いてその人物の視線方向
を検出する。判断部２０では、視線検出部１２から得ら
れる視線方向が表示部１８に表示している映像のどの箇
所に対応するかを計算し、この計算結果を収集情報記憶
部１６に記憶させる。
を分析する映像（主にコマーシャル）が格納されてお
り、この映像は表示部１８を介して表示される。次に、
カメラ１９によって、表示部１８に表示されている映像
を鑑賞している人物を撮像し、視線検出部１２は、上記
の非接触型の視線検出手法を用いてその人物の視線方向
を検出する。判断部２０では、視線検出部１２から得ら
れる視線方向が表示部１８に表示している映像のどの箇
所に対応するかを計算し、この計算結果を収集情報記憶
部１６に記憶させる。
【０００９】
【発明が解決しようとする課題】上記従来の技術の第１
の課題は、観測者が撮像装置（カメラ）からある程度離
れてしまうと、精度のよい視線検出は極めて困難となる
ことである。その理由は、撮像装置の解像度によって人
物の視線方向を算出しているので、撮像装置からある程
度離れた場所に人物がいると、正しい視線方向が検出で
きないからである。
の課題は、観測者が撮像装置（カメラ）からある程度離
れてしまうと、精度のよい視線検出は極めて困難となる
ことである。その理由は、撮像装置の解像度によって人
物の視線方向を算出しているので、撮像装置からある程
度離れた場所に人物がいると、正しい視線方向が検出で
きないからである。
【００１０】また、従来の技術の第２の課題は、観測者
の顔の向いている方向が撮像装置に対してずれている場
合に視線方向が検出されないので、観測者がどのように
移動したかなど、必ずしも観測者の行動解析が行えない
点である。その理由は、従来の技術は視線方向を検出し
てその視線方向にある注目点をカウントするだけであ
り、視線方向が検出できない観測者についてどのような
行動を取ったのかを知る手段がないためである。
の顔の向いている方向が撮像装置に対してずれている場
合に視線方向が検出されないので、観測者がどのように
移動したかなど、必ずしも観測者の行動解析が行えない
点である。その理由は、従来の技術は視線方向を検出し
てその視線方向にある注目点をカウントするだけであ
り、視線方向が検出できない観測者についてどのような
行動を取ったのかを知る手段がないためである。
【００１１】よって、本願発明の目的は、上述した従来
技術の課題を解決する人物行動解析装置を提供すること
にある。
技術の課題を解決する人物行動解析装置を提供すること
にある。
【００１２】
【課題を解決するための手段】本発明の第１の人物行動
解析装置は、監視対象となる空間において、人物がどの
位置／向きに立っていても調査対象となる各物品に対す
る視線をなるべく網羅して観測可能なように、視線検出
装置（図１の１）の観測可能範囲の大きさに合わせて監
視対象となる空間を分割して複数配置する。この視線検
出装置は、それぞれの領域において人物がどの向きに向
いても視線検出が可能なように、視線検出装置を死角の
ないように必要に応じて配置されていることが望まし
い。また、観測可能領域記憶部（図１の２）には、各視
線検出装置が空間中のどの領域において観測可能かを記
憶しておき、空間地図記憶部（図１の３）では、監視対
象となる空間のレイアウトと人物に注目されているかど
うか調査する物品の位置を記載しておく。
解析装置は、監視対象となる空間において、人物がどの
位置／向きに立っていても調査対象となる各物品に対す
る視線をなるべく網羅して観測可能なように、視線検出
装置（図１の１）の観測可能範囲の大きさに合わせて監
視対象となる空間を分割して複数配置する。この視線検
出装置は、それぞれの領域において人物がどの向きに向
いても視線検出が可能なように、視線検出装置を死角の
ないように必要に応じて配置されていることが望まし
い。また、観測可能領域記憶部（図１の２）には、各視
線検出装置が空間中のどの領域において観測可能かを記
憶しておき、空間地図記憶部（図１の３）では、監視対
象となる空間のレイアウトと人物に注目されているかど
うか調査する物品の位置を記載しておく。
【００１３】次に、人物位置検出部（図１の４）で監視
カメラ／赤外線センサ／圧力センサ／無線などを用いて
人物が空間中のどの位置に存在するか検出し、装置選択
部（図１の５）において、人物位置検出部で検出された
位置の人物はどの視線検出装置で観測可能かを観測可能
領域記憶部の情報をもとに判断し、必要な視線検出装置
を１つまたは複数選択する。視線決定部（図１の６）で
は、先程選択された視線検出装置の処理結果を統合して
最終的な人物の視線方向を決定する。人物注目対象検出
部（図１の７）では、人物位置検出部で検出された人物
位置から視線決定部で検出された視線方向に存在する物
品を空間地図記憶部の情報を参照しながら推定し、その
物品を人物の注目対象として抽出する。人物注目対象記
憶部８（図１の８）は、人物注目対象検出部で検出され
た注目対象を人物別に測定時刻とともに記録する。
カメラ／赤外線センサ／圧力センサ／無線などを用いて
人物が空間中のどの位置に存在するか検出し、装置選択
部（図１の５）において、人物位置検出部で検出された
位置の人物はどの視線検出装置で観測可能かを観測可能
領域記憶部の情報をもとに判断し、必要な視線検出装置
を１つまたは複数選択する。視線決定部（図１の６）で
は、先程選択された視線検出装置の処理結果を統合して
最終的な人物の視線方向を決定する。人物注目対象検出
部（図１の７）では、人物位置検出部で検出された人物
位置から視線決定部で検出された視線方向に存在する物
品を空間地図記憶部の情報を参照しながら推定し、その
物品を人物の注目対象として抽出する。人物注目対象記
憶部８（図１の８）は、人物注目対象検出部で検出され
た注目対象を人物別に測定時刻とともに記録する。
【００１４】よって、本発明の第１の人物行動解析装置
は、複数の視線検出装置を用いて観測者の視線方向を検
出し、観測対象となる空間における観測者の位置を検出
することによって、この検出された観測者の位置に対応
する視線検出装置を選択し、この選択された視線検出装
置の視線方向情報から観測者の注目対象を検出している
ので、観測対象となる人物が撮像装置からある程度離れ
てしまうと、精度のよい視線検出は極めて困難となると
いう第１の課題を解決できる。
は、複数の視線検出装置を用いて観測者の視線方向を検
出し、観測対象となる空間における観測者の位置を検出
することによって、この検出された観測者の位置に対応
する視線検出装置を選択し、この選択された視線検出装
置の視線方向情報から観測者の注目対象を検出している
ので、観測対象となる人物が撮像装置からある程度離れ
てしまうと、精度のよい視線検出は極めて困難となると
いう第１の課題を解決できる。
【００１５】本発明の第２の人物行動解析装置は、第１
の人物行動解析装置の構成に加えて、人物位置検出部で
得られた人物位置情報を測定時刻とともに記録する人物
動線記憶部９を有する。
の人物行動解析装置の構成に加えて、人物位置検出部で
得られた人物位置情報を測定時刻とともに記録する人物
動線記憶部９を有する。
【００１６】よって、本発明の第２の人物行動解析装置
は、人物位置情報によって、観測者が空間内でどのよう
に移動したかについても解析できるので、従来技術のよ
うに、観測者の顔の向いている方向が撮像装置に対して
ずれている場合に、その観測者がどのような行動を取っ
たか分からないという第２の課題を解決できる。
は、人物位置情報によって、観測者が空間内でどのよう
に移動したかについても解析できるので、従来技術のよ
うに、観測者の顔の向いている方向が撮像装置に対して
ずれている場合に、その観測者がどのような行動を取っ
たか分からないという第２の課題を解決できる。
【００１７】本発明の第３の人物行動解析装置は、第１
または第２の人物行動解析装置の装置選択部で選択され
た画像をモニタ（図３の１０）に表示し、人物画像記憶
部（図３の１１）で個別の人物画像を保存するので、従
来の監視システムと同様の役割を持たせることができ
る。
または第２の人物行動解析装置の装置選択部で選択され
た画像をモニタ（図３の１０）に表示し、人物画像記憶
部（図３の１１）で個別の人物画像を保存するので、従
来の監視システムと同様の役割を持たせることができ
る。
【００１８】
【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して詳細に説明する。
て、図面を参照して詳細に説明する。
【００１９】［第１の実施の形態］まず、本発明の第１
の人物行動解析装置の実施の形態を説明する （構成の説明）図１は、本発明の第１の人物行動解析装
置の構成の一実施の形態を示したブロック図である。
の人物行動解析装置の実施の形態を説明する （構成の説明）図１は、本発明の第１の人物行動解析装
置の構成の一実施の形態を示したブロック図である。
【００２０】この図１を参照すると、本発明の第１の人
物行動解析装置は、視線検出装置１と、観測可能領域記
憶部２と、空間地図記憶部３と、人物位置検出部４と装
置選択部５と、視線決定部６と、人物注目対象検出部７
と、人物注目対象記憶部８とを有して構成されている。
物行動解析装置は、視線検出装置１と、観測可能領域記
憶部２と、空間地図記憶部３と、人物位置検出部４と装
置選択部５と、視線決定部６と、人物注目対象検出部７
と、人物注目対象記憶部８とを有して構成されている。
【００２１】視線検出装置１は、観測対象となる空間内
に複数配置され、観測者（人物）の視線方向を検出す
る。また、視線検出装置１は、監視対象となる空間内に
観測者がどの向きにいても、視線方向が検出できるよう
に配置されていることが好ましい。また、この視線検出
装置１は、従来の技術で述べた谷内田やストックマンの
手法をそのまま用いてもよいし、他に代用する装置があ
ればそれを用いてもよい。
に複数配置され、観測者（人物）の視線方向を検出す
る。また、視線検出装置１は、監視対象となる空間内に
観測者がどの向きにいても、視線方向が検出できるよう
に配置されていることが好ましい。また、この視線検出
装置１は、従来の技術で述べた谷内田やストックマンの
手法をそのまま用いてもよいし、他に代用する装置があ
ればそれを用いてもよい。
【００２２】観測可能領域記憶部２は、位置情報から各
視線検出装置１のどの領域において視線方向の検出が可
能かを記憶している。
視線検出装置１のどの領域において視線方向の検出が可
能かを記憶している。
【００２３】空間地図記憶部３では、監視対象となる空
間のレイアウトと、観測者が注目しているかどうかを調
査する物品の位置を記載している。
間のレイアウトと、観測者が注目しているかどうかを調
査する物品の位置を記載している。
【００２４】人物位置検出部４は、観測対象となる空間
内で、観測者がどの位置にいるかを検出し、その位置情
報を出力する。具体的には、監視カメラ・赤外線センサ
・圧力センサ・無線などの公知の技術を用いて、観測者
が空間中のどの位置に存在するか検出できればよい。
内で、観測者がどの位置にいるかを検出し、その位置情
報を出力する。具体的には、監視カメラ・赤外線センサ
・圧力センサ・無線などの公知の技術を用いて、観測者
が空間中のどの位置に存在するか検出できればよい。
【００２５】装置選択部５は、観測可能領域記憶部２を
参照して、人物位置検出部４で検出された観測者の位置
に対応してこの観測者の視線方向を検出可能な視線検出
装置１を選択する。
参照して、人物位置検出部４で検出された観測者の位置
に対応してこの観測者の視線方向を検出可能な視線検出
装置１を選択する。
【００２６】視線決定部６は、装置選択部５によって選
択された視線検出装置１で検出された視線方向情報を参
照して観測者の視線方向を最終的に決定する。また、装
置選択部５で選択される視線検出装置１は、１つとは限
らず複数の場合も考えられる。この場合は、複数の視線
選出装置１から得られる視線方向情報の平均を取るなど
して視線方向情報を統合するようにしてもよい。
択された視線検出装置１で検出された視線方向情報を参
照して観測者の視線方向を最終的に決定する。また、装
置選択部５で選択される視線検出装置１は、１つとは限
らず複数の場合も考えられる。この場合は、複数の視線
選出装置１から得られる視線方向情報の平均を取るなど
して視線方向情報を統合するようにしてもよい。
【００２７】人物注目対象検出部７は、空間地図記憶部
３を参照し、人物位置検出部４で検出された人物位置か
ら視線決定部６で検出された視線方向に存在する物品を
観測者の注目対象として抽出する。
３を参照し、人物位置検出部４で検出された人物位置か
ら視線決定部６で検出された視線方向に存在する物品を
観測者の注目対象として抽出する。
【００２８】人物注目対象記憶部８は、人物注目対象検
出部７が抽出した注目対象を記憶する。
出部７が抽出した注目対象を記憶する。
【００２９】（動作の説明）次に、図５に示した第１の
人物行動解析装置の動作の一実施の形態を示したフロー
チャートをもとに本実施の形態における動作を説明す
る。
人物行動解析装置の動作の一実施の形態を示したフロー
チャートをもとに本実施の形態における動作を説明す
る。
【００３０】ここで挙げる例としては、監視対象となる
空間として図６に示したような通路のような細長い空間
を挙げる。図６において、Si（i = １〜M）は監視対象
となる空間を分割したもので、分割された各空間では視
線検出装置１によって観測可能な大きさになっている。
Ci１〜Ci４(i = １〜M）は各Siに対して４方向に配置さ
れた視線検出装置１で、Siに存在する観測者に対してど
れかの観測装置で観測者の顔を捕捉でき、観測者の注視
点が推定できるようになっている。ただし、このCi、Si
はあくまで例である。SiはCiの観測可能範囲から自動的
に求められるようにしてもよい。また、ａｊ（ｊ = １
〜N）は、観測者に注目されているかどうか調査する各
物品の位置を示している。また、図６の中のＣM3、ＣM4
については、これらがあることによって観測される視
線方向によって検出されるであろう注目点の集合Trefの
中にａｊ（ｊ = １〜N）が存在しない。このような視線
検出装置１については特に配置しなくてもよい。また、
この図６に示した監視対象となる空間のレイアウトや、
観測者が注目しているかどうかを調査する物品の位置に
関する情報は、空間地図記憶部３に記憶され、また、各
領域Si（i = １〜M）の位置情報と対応する視線検出装
置が観測可能な領域に関する情報は観測可能領域記憶部
２に予め記憶されているものとする。
空間として図６に示したような通路のような細長い空間
を挙げる。図６において、Si（i = １〜M）は監視対象
となる空間を分割したもので、分割された各空間では視
線検出装置１によって観測可能な大きさになっている。
Ci１〜Ci４(i = １〜M）は各Siに対して４方向に配置さ
れた視線検出装置１で、Siに存在する観測者に対してど
れかの観測装置で観測者の顔を捕捉でき、観測者の注視
点が推定できるようになっている。ただし、このCi、Si
はあくまで例である。SiはCiの観測可能範囲から自動的
に求められるようにしてもよい。また、ａｊ（ｊ = １
〜N）は、観測者に注目されているかどうか調査する各
物品の位置を示している。また、図６の中のＣM3、ＣM4
については、これらがあることによって観測される視
線方向によって検出されるであろう注目点の集合Trefの
中にａｊ（ｊ = １〜N）が存在しない。このような視線
検出装置１については特に配置しなくてもよい。また、
この図６に示した監視対象となる空間のレイアウトや、
観測者が注目しているかどうかを調査する物品の位置に
関する情報は、空間地図記憶部３に記憶され、また、各
領域Si（i = １〜M）の位置情報と対応する視線検出装
置が観測可能な領域に関する情報は観測可能領域記憶部
２に予め記憶されているものとする。
【００３１】この図６のような監視対象となる空間にお
いて、まず、人物位置検出部４で監視カメラ、赤外線セ
ンサ、圧力センサ、無線などの既存の技術を用いて観測
者が空間内のどの位置に存在するか検出する（図５、ス
テップ１）。赤外線センサ、圧力センサ、無線を用いる
場合は、各領域Si内部の人の所在を検出できるようにセ
ンサを配置すれば良い。この実施の形態では、空間上部
に配置した特に図示しない監視カメラを用いて観測者の
空間内の位置を検出する手法について説明する。
いて、まず、人物位置検出部４で監視カメラ、赤外線セ
ンサ、圧力センサ、無線などの既存の技術を用いて観測
者が空間内のどの位置に存在するか検出する（図５、ス
テップ１）。赤外線センサ、圧力センサ、無線を用いる
場合は、各領域Si内部の人の所在を検出できるようにセ
ンサを配置すれば良い。この実施の形態では、空間上部
に配置した特に図示しない監視カメラを用いて観測者の
空間内の位置を検出する手法について説明する。
【００３２】図４にこの場合の人物位置検出部４の詳し
い一構成例を示したブロック図を示す。
い一構成例を示したブロック図を示す。
【００３３】画像入力部４１は、魚眼カメラや広角カメ
ラなど、空間の広範囲を撮影することの可能なカメラ
（Hyper Omni Vision(参考:山澤、八木、谷内田：“移
動ロボットのナビゲーションのための全方位センサHype
r Omni Vision の提案”電子情報通信学会論文誌D-II,V
ol.J79-D-II,No.5,pp.698-707(1996)）などの全方位カ
メラ)によって、監視対象となる空間の全体を示す画像
を入力する。
ラなど、空間の広範囲を撮影することの可能なカメラ
（Hyper Omni Vision(参考:山澤、八木、谷内田：“移
動ロボットのナビゲーションのための全方位センサHype
r Omni Vision の提案”電子情報通信学会論文誌D-II,V
ol.J79-D-II,No.5,pp.698-707(1996)）などの全方位カ
メラ)によって、監視対象となる空間の全体を示す画像
を入力する。
【００３４】人物検出部４２は、画像入力部４１で得た
画像から人物像を抽出する。人物像を抽出する手法とし
ては、１９９８年４月第２回顔とジェスチャの自動認識
に関する国際シンポジウムの２２２-２２７頁に記載の
(pp.222-227,The 2nd International Conference on Fa
ce and Gesture Recognition) ハリタオグル(Haritaogl
u)らの「ダブル４：フー？フェン？フェア？ファット？
ア リアルタイム システム フォー ディテクティング
(W４: Who? When? Where? What? A Realtime System fo
r Detecting and Tracking People)」等多くの手法があ
るが、複数の人物がフレームによって重なることがあっ
ても、過去の移動履歴をもとにそれぞれの人物が別々に
抽出できる手法であれば何でもよい。
画像から人物像を抽出する。人物像を抽出する手法とし
ては、１９９８年４月第２回顔とジェスチャの自動認識
に関する国際シンポジウムの２２２-２２７頁に記載の
(pp.222-227,The 2nd International Conference on Fa
ce and Gesture Recognition) ハリタオグル(Haritaogl
u)らの「ダブル４：フー？フェン？フェア？ファット？
ア リアルタイム システム フォー ディテクティング
(W４: Who? When? Where? What? A Realtime System fo
r Detecting and Tracking People)」等多くの手法があ
るが、複数の人物がフレームによって重なることがあっ
ても、過去の移動履歴をもとにそれぞれの人物が別々に
抽出できる手法であれば何でもよい。
【００３５】画像／空間対応関係記憶部４３は、広角カ
メラで得た画像中の各画素が実空間中のどの場所に対応
するか記載したものである。この画像／空間対応関係記
憶部４３に記憶している情報は、図７のように広角カメ
ラの各画素P(u,v)と実空間の位置P’(x,y)との対応をテ
ーブルに記載したものである。広角カメラの各画素と実
空間の位置との対応を求める際には、例えば施設のレイ
アウトがわかっていると、床の上のコーナーなどの特徴
点の空間中の位置が分かるので、そのような点を示す画
素を画像内から手動で抽出し、残りの画素については、
先程求めた画素の空間中の位置をもとに線形補間などに
より推定をすることにより、より高精度の対応関係を求
めることができる。ただし、PとP’の対応が解析的に求
まるのなら特にテーブルに保存せずに対応関係を記載し
た式をあらかじめ求めておくのでもよい。なお、PとP’
の対応関係は便宜上床面の点についてのみ行う。
メラで得た画像中の各画素が実空間中のどの場所に対応
するか記載したものである。この画像／空間対応関係記
憶部４３に記憶している情報は、図７のように広角カメ
ラの各画素P(u,v)と実空間の位置P’(x,y)との対応をテ
ーブルに記載したものである。広角カメラの各画素と実
空間の位置との対応を求める際には、例えば施設のレイ
アウトがわかっていると、床の上のコーナーなどの特徴
点の空間中の位置が分かるので、そのような点を示す画
素を画像内から手動で抽出し、残りの画素については、
先程求めた画素の空間中の位置をもとに線形補間などに
より推定をすることにより、より高精度の対応関係を求
めることができる。ただし、PとP’の対応が解析的に求
まるのなら特にテーブルに保存せずに対応関係を記載し
た式をあらかじめ求めておくのでもよい。なお、PとP’
の対応関係は便宜上床面の点についてのみ行う。
【００３６】人物位置推定部４４では、人物検出部４２
で人物の領域を切り出した画像において、観察者を示す
領域（図７(a)でＳ１、Ｓ２、Ｓ３で示したもの）内の
点で最も画像中心に近い点（図７(a)でＭ１、Ｍ２、Ｍ
３で示したもの）を抽出する。そして、Ｍ１、Ｍ２、Ｍ
３が空間中のどの位置にあるかを画像／空間対応関係記
憶部４３で記憶しているテーブルの値をもとに推定し、
各人物の空間中の位置（図７(b)中のＭ’１、Ｍ’２、
Ｍ’３）を求める。このＭ１、Ｍ２、Ｍ３の点を人物の
位置と推定した理由は、IEEE Workshop on Visual Surv
eillance(Jan.1998, Bombay, India)の予稿集pp.2-9に
記載のIndoor Monitoring Via the Collaboration Betw
een a Peripheral Sensorand a Foveal Sensor(Y.cui,
S.Samarasekera,Q.Huang,M.Greiffenhagen)に記載され
ているように、人物が直立したり歩行したりする際には
これらの点が足元を指しており、利用者の位置を正確に
把握することが可能であるからである。
で人物の領域を切り出した画像において、観察者を示す
領域（図７(a)でＳ１、Ｓ２、Ｓ３で示したもの）内の
点で最も画像中心に近い点（図７(a)でＭ１、Ｍ２、Ｍ
３で示したもの）を抽出する。そして、Ｍ１、Ｍ２、Ｍ
３が空間中のどの位置にあるかを画像／空間対応関係記
憶部４３で記憶しているテーブルの値をもとに推定し、
各人物の空間中の位置（図７(b)中のＭ’１、Ｍ’２、
Ｍ’３）を求める。このＭ１、Ｍ２、Ｍ３の点を人物の
位置と推定した理由は、IEEE Workshop on Visual Surv
eillance(Jan.1998, Bombay, India)の予稿集pp.2-9に
記載のIndoor Monitoring Via the Collaboration Betw
een a Peripheral Sensorand a Foveal Sensor(Y.cui,
S.Samarasekera,Q.Huang,M.Greiffenhagen)に記載され
ているように、人物が直立したり歩行したりする際には
これらの点が足元を指しており、利用者の位置を正確に
把握することが可能であるからである。
【００３７】次に、装置選択部５では、人物位置検出部
４で検出された位置が先程の領域Si（i = １〜M）のど
の領域内に存在するかを観測可能領域記憶部２を参照し
て調べる（ステップ２）。どの領域内にも観察者が存在
しない場合には処理を終了し（ステップ７）、存在する
場合には、その領域内に存在する人物の視線方向を検出
できる可能性のある視線検出装置１（Ci１〜Ci４）を選
択し（ステップ３）、この選択した視線検出装置１から
得られる視線方向情報を視線決定部６に出力する。尚、
この実施の形態では、図８に示すように、推定された人
物位置PmがSi内に存在するものとして、説明を続ける。
４で検出された位置が先程の領域Si（i = １〜M）のど
の領域内に存在するかを観測可能領域記憶部２を参照し
て調べる（ステップ２）。どの領域内にも観察者が存在
しない場合には処理を終了し（ステップ７）、存在する
場合には、その領域内に存在する人物の視線方向を検出
できる可能性のある視線検出装置１（Ci１〜Ci４）を選
択し（ステップ３）、この選択した視線検出装置１から
得られる視線方向情報を視線決定部６に出力する。尚、
この実施の形態では、図８に示すように、推定された人
物位置PmがSi内に存在するものとして、説明を続ける。
【００３８】次に、視線決定部６では、Ci1〜Ci4に示し
たすべての視線検出装置１で検出された情報を統合し、
人物の視線方向を最終的に決定する（ステップ４）。こ
れは、すべての視線検出装置１で人物の視線方向を検出
できる訳ではなく、通常人物の向いている方向に非常に
近い位置に配置された視線検出装置１のみ（図８の例だ
と、Ci1）が人物の視線方向を観測することが出来、そ
の他の視線検出装置１では通常観測することはできない
からである。
たすべての視線検出装置１で検出された情報を統合し、
人物の視線方向を最終的に決定する（ステップ４）。こ
れは、すべての視線検出装置１で人物の視線方向を検出
できる訳ではなく、通常人物の向いている方向に非常に
近い位置に配置された視線検出装置１のみ（図８の例だ
と、Ci1）が人物の視線方向を観測することが出来、そ
の他の視線検出装置１では通常観測することはできない
からである。
【００３９】また、視線決定部６では、視線方向を検出
できた視線検出装置１の検出結果を最終的な視線方向と
して出力する。視線方向を検出できた視線検出装置１が
複数存在する場合は、平均をとるか、有効度の高いもの
を最終的な視線方向とする。
できた視線検出装置１の検出結果を最終的な視線方向と
して出力する。視線方向を検出できた視線検出装置１が
複数存在する場合は、平均をとるか、有効度の高いもの
を最終的な視線方向とする。
【００４０】次に、人物注目対象検出部７では、人物位
置検出部４で検出された人物位置Pmから視線決定部６で
検出された視線方向に存在する物品（図８の例だとaj）
を空間地図記憶部３の情報を参照して観測者の注目対象
として抽出する（ステップ５）。
置検出部４で検出された人物位置Pmから視線決定部６で
検出された視線方向に存在する物品（図８の例だとaj）
を空間地図記憶部３の情報を参照して観測者の注目対象
として抽出する（ステップ５）。
【００４１】人物注目対象記憶部８は、人物注目対象検
出部７で検出された注目対象を人物別に測定時刻ととも
に記録する（ステップ６）。
出部７で検出された注目対象を人物別に測定時刻ととも
に記録する（ステップ６）。
【００４２】ここで、人物注目対象記憶部８において記
録されている情報の例を図９に示す。図９において、人
物ＩＤは監視領域の内部に存在する各人物を識別するた
めのものである。図９には１，２，…と記載している
が、識別できるものなら何でもよい。また、測定時刻は
（時：分：秒）で示しているが、必要に応じて単位は任
意に設定してよい。また、日にち別に集計するような場
合においては、年月のようなデータがその中に含まれて
いてもよい。経過時間はその人物が監視領域に侵入して
からの経過時間を記載する。こちらも（時：分：秒）で
示しているが、必要に応じて単位は自由に設定してよ
い。最後に人物注視対象は、人物のその時刻での注目し
ている物品を示したもので、図６のａｊ（ｊ = １〜N）
をお互いに識別できるような形で記載される。ただし、
時刻によっては人物が観測対象のどの物品にも注目して
いない場合もあるので、そのような場合は該当なしと
し、計算機にはNULLなどとして保存する。
録されている情報の例を図９に示す。図９において、人
物ＩＤは監視領域の内部に存在する各人物を識別するた
めのものである。図９には１，２，…と記載している
が、識別できるものなら何でもよい。また、測定時刻は
（時：分：秒）で示しているが、必要に応じて単位は任
意に設定してよい。また、日にち別に集計するような場
合においては、年月のようなデータがその中に含まれて
いてもよい。経過時間はその人物が監視領域に侵入して
からの経過時間を記載する。こちらも（時：分：秒）で
示しているが、必要に応じて単位は自由に設定してよ
い。最後に人物注視対象は、人物のその時刻での注目し
ている物品を示したもので、図６のａｊ（ｊ = １〜N）
をお互いに識別できるような形で記載される。ただし、
時刻によっては人物が観測対象のどの物品にも注目して
いない場合もあるので、そのような場合は該当なしと
し、計算機にはNULLなどとして保存する。
【００４３】よって、本発明の第１の人物行動解析装置
は、視線検出装置の観測可能範囲の大きさに合わせて監
視対象となる空間を分割し、それぞれの領域において人
物がどの向きに向いても視線検出ができる。
は、視線検出装置の観測可能範囲の大きさに合わせて監
視対象となる空間を分割し、それぞれの領域において人
物がどの向きに向いても視線検出ができる。
【００４４】［第２の実施の形態］次に、本発明の第２
の人物行動解析装置の実施の形態を説明する図２は、本
発明の第２の人物行動解析装置の構成の一実施の形態を
示したブロック図である。本発明の第２の人物行動解析
装置は、本発明の第１の人物行動解析装置の構成と比べ
て、人物動線記憶部９が新たな構成要素として加わって
いる。
の人物行動解析装置の実施の形態を説明する図２は、本
発明の第２の人物行動解析装置の構成の一実施の形態を
示したブロック図である。本発明の第２の人物行動解析
装置は、本発明の第１の人物行動解析装置の構成と比べ
て、人物動線記憶部９が新たな構成要素として加わって
いる。
【００４５】人物動線記憶部９は、人物位置検出部４に
よって観測者が空間内のどの位置に存在するのか検出し
た時に、この人物位置検出部４から得られる人物位置情
報を測定時刻とともに格納している。
よって観測者が空間内のどの位置に存在するのか検出し
た時に、この人物位置検出部４から得られる人物位置情
報を測定時刻とともに格納している。
【００４６】ここで、人物動線記憶部９に格納された人
物位置情報と人物注目対象記憶部８に格納されている情
報との対応関係を示した例を図１０に示す。人物動線記
憶部９では、人物位置検出部４で求めた人物の空間中の
位置（図７(b)中のＭ’１、Ｍ’２、Ｍ’３）を測定時
刻とともに記録しているので、人物注目対象記憶部８に
記憶されている情報との対応関係をとることが可能であ
る。また、人物動線記憶部９に記憶される人物位置情報
は、監視領域の水平面上のある特定位置を基準にした直
交座標系で記載している。ただし、用途に応じて極座標
系など別の座標系の方が便利な場合はそれを使用しても
よい。
物位置情報と人物注目対象記憶部８に格納されている情
報との対応関係を示した例を図１０に示す。人物動線記
憶部９では、人物位置検出部４で求めた人物の空間中の
位置（図７(b)中のＭ’１、Ｍ’２、Ｍ’３）を測定時
刻とともに記録しているので、人物注目対象記憶部８に
記憶されている情報との対応関係をとることが可能であ
る。また、人物動線記憶部９に記憶される人物位置情報
は、監視領域の水平面上のある特定位置を基準にした直
交座標系で記載している。ただし、用途に応じて極座標
系など別の座標系の方が便利な場合はそれを使用しても
よい。
【００４７】尚、本実施の形態では、人物注目対象記憶
部８と人物動線記憶部９とを別の構成としているが、人
物注目対象記憶部８に人物位置情報を格納する構成でも
同様な効果が得られる。
部８と人物動線記憶部９とを別の構成としているが、人
物注目対象記憶部８に人物位置情報を格納する構成でも
同様な効果が得られる。
【００４８】よって、本発明の第２の人物行動解析装置
では、人物位置情報によって、観測者が空間内でどのよ
うに移動したかについても解析できるので、観測者の視
線方向情報が得られなくても、観測者がどの様に行動し
たかを解析することが可能である。
では、人物位置情報によって、観測者が空間内でどのよ
うに移動したかについても解析できるので、観測者の視
線方向情報が得られなくても、観測者がどの様に行動し
たかを解析することが可能である。
【００４９】［第３の実施の形態］次に、本発明の第３
の人物行動解析装置の実施の形態を説明する図３は、本
発明の第３の人物行動解析装置の構成の一実施の形態を
示したブロック図である。本発明の第３の人物行動解析
装置は、本発明の第１の人物行動解析装置の構成と比べ
てモニタ１０と人物画像記憶部１１を備える。
の人物行動解析装置の実施の形態を説明する図３は、本
発明の第３の人物行動解析装置の構成の一実施の形態を
示したブロック図である。本発明の第３の人物行動解析
装置は、本発明の第１の人物行動解析装置の構成と比べ
てモニタ１０と人物画像記憶部１１を備える。
【００５０】モニタ１０は、装置選択部５で選択された
視線検出装置１から得られる画像を映し出す。
視線検出装置１から得られる画像を映し出す。
【００５１】人物画像記憶部１１は、装置選択部５で選
択された視線検出装置１から得られる画像を、既存のＶ
ＴＲなどの記録媒体に記録する。
択された視線検出装置１から得られる画像を、既存のＶ
ＴＲなどの記録媒体に記録する。
【００５２】よって、本発明の第３の人物行動解析装置
では、人物行動解析装置に既存の監視システムと同等の
機能を持たせることが可能である。
では、人物行動解析装置に既存の監視システムと同等の
機能を持たせることが可能である。
【００５３】また、本発明の人物行動解析装置をコンピ
ュータによって実現するには、視線検出装置１、人物位
置検出部４の機能を持つデバイス（撮像装置等）の出力
をコンピュータへの入力とし、コンピュータには、上記
した装置選択部５、視線決定部６、人物注目対象検出部
７、観測可能領域記憶部２、空間地図記憶部３、人物注
目対象記憶部８のそれぞれが持つ機能を実現するコンピ
ュータプログラムを作成し、そのコンピュータプログラ
ムをＣＤ−ＲＯＭやフロッピーディスクや半導体メモリ
に代表される記録媒体に記録しておき、コンピュータ側
では、このプログラムが記録された記録媒体を読み出す
ことにより、コンピュータに上記各機能を生成するよう
にすれば、本発明の機能をコンピュータによって実現す
ることができる。また、このコンピュータプログラム
は、例えばサーバ内の記録装置に記録されている形態で
もかまわなく、ネットワークを介してこのサーバ内に含
まれるプログラムを提供する形態でもよい。
ュータによって実現するには、視線検出装置１、人物位
置検出部４の機能を持つデバイス（撮像装置等）の出力
をコンピュータへの入力とし、コンピュータには、上記
した装置選択部５、視線決定部６、人物注目対象検出部
７、観測可能領域記憶部２、空間地図記憶部３、人物注
目対象記憶部８のそれぞれが持つ機能を実現するコンピ
ュータプログラムを作成し、そのコンピュータプログラ
ムをＣＤ−ＲＯＭやフロッピーディスクや半導体メモリ
に代表される記録媒体に記録しておき、コンピュータ側
では、このプログラムが記録された記録媒体を読み出す
ことにより、コンピュータに上記各機能を生成するよう
にすれば、本発明の機能をコンピュータによって実現す
ることができる。また、このコンピュータプログラム
は、例えばサーバ内の記録装置に記録されている形態で
もかまわなく、ネットワークを介してこのサーバ内に含
まれるプログラムを提供する形態でもよい。
【００５４】
【発明の効果】本発明は、視線検出装置の観測可能範囲
の大きさに合わせて監視対象となる空間を分割し、それ
ぞれの領域において人物がどの向きに向いても視線方向
を検出するように構成しているので、観測者が何処に注
目していたかを精度良く検出することができる。
の大きさに合わせて監視対象となる空間を分割し、それ
ぞれの領域において人物がどの向きに向いても視線方向
を検出するように構成しているので、観測者が何処に注
目していたかを精度良く検出することができる。
【００５５】また、本発明は、人物位置情報によって、
観測者が空間内でどのように移動したかについて解析し
ているので、視線方向情報が得られなくても観測者の行
動を解析することができる。
観測者が空間内でどのように移動したかについて解析し
ているので、視線方向情報が得られなくても観測者の行
動を解析することができる。
【図１】本発明の第１の実施の形態の構成の一例を示す
ブロック図である。
ブロック図である。
【図２】本発明の第２の実施の形態の構成の一例を示す
ブロック図である。
ブロック図である。
【図３】本発明の第３の実施の形態の構成の一例を示す
ブロック図である。
ブロック図である。
【図４】監視カメラによって人物位置検出を行う場合の
人物位置検出部４の処理を詳細な内容を示すブロック図
である。
人物位置検出部４の処理を詳細な内容を示すブロック図
である。
【図５】本発明の第１の実施の形態の動作の一例を示す
フローチャートである。
フローチャートである。
【図６】観測可能領域記憶部２と空間地図記憶部３の内
容を説明した図である。
容を説明した図である。
【図７】監視カメラによって人物位置検出を行う場合の
人物位置検出部４の処理を説明するための図である。
人物位置検出部４の処理を説明するための図である。
【図８】装置選択部５から人物注目対象検出部７の処理
内容を説明するための図である。
内容を説明するための図である。
【図９】本発明の第１の実施の形態において人物注目対
象記憶部９を記載した内容を示した図である。
象記憶部９を記載した内容を示した図である。
【図１０】本発明の第２の実施の形態において人物動線
記憶部１０と人物注目対象記憶部９とを対応を取った場
合の内容を示した図である。
記憶部１０と人物注目対象記憶部９とを対応を取った場
合の内容を示した図である。
【図１１】本発明に関連する従来技術の構成を示すブロ
ック図である。
ック図である。
１ 視線検出装置
２ 観測可能領域記憶部
３ 空間地図記憶部
４ 人物位置検出部
５ 装置選択部
６ 視線決定部
７ 人物注目対象検出部
８ 人物注目対象記憶部
９ 人物動線記憶部
１０ モニタ
１１ 人物画像記憶部
Claims (7)
- 【請求項１】観測者の視線方向を検出し、観測対象とな
る空間内に存在する観測者が前記観測対象の空間内に存
在する間にどの物品を注目しているかについての情報を
収集する人物行動解析装置において、 観測対象となる空間において、視線検出装置の観測可能
範囲の大きさに合わせて観測対象となる空間を分割し
て、当該分割された空間内にいる前記観測者の前記物品
に対する視線方向を検出するために、前記分割された空
間に１または複数の視線検出装置を配置して、 画像処理、圧力センサもしくは無線を用いて前記観測者
の位置を検出し、当該検出した観測者の位置が前記分割
された空間のうちどの空間に属するかを基にして観測者
の視線を検出する可能性のある１または複数の視線検出
装置を選択し、当該選択した視線検出装置の情報を統合
して前記観測者の視線方向を検出し、前記観測者の位置
情報と視線方向情報とから観測者の注目対象を検出し、 前記観測者が前記観測対象となる空間内に存在する間に
検出された前記注目対象を前記観測者ごとに記憶するこ
とを特徴とする人物行動解析装置。 - 【請求項２】観測者の視線方向を検出し、観測対象とな
る空間内に存在する観測者が前記観測対象の空間内に存
在する間にどの物品を注目しているかについての情報を
収集する人物行動解析装置において、 観測対象となる空間において、視線検出装置の観測可能
範囲の大きさに合わせて観測対象となる空間を分割し
て、当該分割された空間内にいる前記観測者の前記物品
に対する視線方向を検出するために、前記分割された空
間に１または複数の視線検出装置を配置して、 画像処理、圧力センサもしくは無線を用いて前記観測者
の位置を検出し、当該検出した観測者の位置が前記分割
された空間のうちどの空間に属するかを基にして観測者
の視線を検出する可能性のある１または複数の視線検出
装置を選択し、当該選択した視線検出装置の情報を統合
して前記観測者の視線方向を検出し、前記観測者の位置
情報と視線方向情報とから観測者の注目対象を検出し、 前記観測者が前記観測対象となる空間内に存在する間に
検出された前記注目対象と前記観測者の位置情報とを前
記観測者ごとに記憶することを特徴とする人物行動解析
装置。 - 【請求項３】観測者の視線方向を検出し、観測対象とな
る空間内に存在する観測者が前記観測対象の空間内に存
在する間にどの物品を注目しているかについての情報を
収集する人物行動解析装置において、 観測可能範囲の大きさに合わせて分割された観測対象と
なる空間内にいる前記観測者の前記物品に対する視線方
向を検出するために、前記分割された空間に配置された
１または複数の視線検出装置と、 それぞれの視線検出装置が前記空間のどの領域において
観測可能かを記憶した観測可能領域記憶部と、 前記空間のレイアウトと前記空間に存在する物品の位置
情報を記憶した空間地図記憶部と、 画像処理、圧力センサもしくは無線を用いて観測者が該
空間中のどの位置に存在するかを検出する人物位置検出
部と、 前記人物位置検出部が検出した位置情報をもとに、前記
観測可能領域記憶部を参照して利用可能な視線検出装置
を選択する装置選択部と、 前記装置選択部が選択した視線検出装置が検出した視線
方向情報を参照して該観測者の視線方向を決定する視線
決定部と、 前記人物位置検出部が検出した位置情報から前記視線決
定部で検出された視線方向に存在する物品を空間地図記
憶部を参照して決定し、その物品を該観測者の注目対象
として検出する人物注目対象検出部と、 前記観測者が前記観測対象となる空間内に存在する間に
検出された前記注目対象を前記観測者ごとに記憶する人
物注目対象記憶部とを有することを特徴とする人物行動
解析装置。 - 【請求項４】前記人物注目対象記憶部が、前記観測者が
前記観測対象となる空間内に存在する間に検出された前
記注目対象と前記位置検出部で検出された該観測者の位
置情報とを前記観測者ごとに記録することを特徴とする
請求項３に記載の人物行動解析装置。 - 【請求項５】前記視線検出装置が撮像装置を用いて視線
方向情報を検出するものであって、 前記装置選択部において選択された視線検出装置が撮像
した対象を出力する手段を更に有することを特徴とする
請求項３または４に記載の人物行動解析装置。 - 【請求項６】前記人物位置検出部が、 前記観測対象となる空間の全体を示す画像を入力可能な
画像入力部と、 前記画像入力部で得られた画像から観測者の人物像を抽
出する人物検出部と、 画像入力部で得られる画像中の各画素が前記空間中のど
の位置に対応するかを記憶した画像／空間対応関係記憶
部と、 前記画像／空間対応関係記憶部を参照することにより、
前記人物検出部で抽出した人物像の前記空間中の位置を
算出する人物位置推定部と、 を有して構成されることを特徴とする請求項３〜５のい
ずれか一項に記載の人物行動解析装置。 - 【請求項７】観測対象となる空間に複数配置され、観測
者の視線方向を検出可能な視線検出装置と、画像処理、
圧力センサもしくは無線を用いて観測者が該空間中のど
の位置に存在するかを検出する人物位置検出部からの出
力をコンピュータに入力し、 該コンピュータに、 それぞれの視線検出装置が前記空間のどの領域において
観測可能かを記憶させた観測可能領域記憶機能と、 前記空間のレイアウトと前記空間に存在する物品の位置
情報を記憶させた空間地図記憶機能と、 前記人物検出部が検出した位置情報をもとに、前記観測
可能領域記憶機能を参照して利用可能な視線検出装置を
選択する装置選択機能と、 前記装置選択機能によって選択させた視線検出装置が検
出した視線方向情報を統合して、該観測者の視線方向を
決定する視線決定機能と、 前記人物位置検出部が検出した位置情報に基づき、前記
視線決定機能によって検出された視線方向に存在する物
品を空間地図記憶機能で記憶された情報を参照しながら
決定し、その物品を該観測者の注目対象として検出する
人物注目対象検出機能と、 前記観測者が前記観測対象となる空間内に存在する間に
検出された前記注目対象を前記観測者ごとに記憶させる
人物注目対象記憶機能とを実現して、前記観測対象とな
る空間内に存在する観測者が前記観測対象の空間内に存
在する間にどの物品を注目しているかについての情報を
収集することを特徴とする人物行動解析プログラムを記
録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17783999A JP3489491B2 (ja) | 1999-06-24 | 1999-06-24 | 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17783999A JP3489491B2 (ja) | 1999-06-24 | 1999-06-24 | 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001008197A JP2001008197A (ja) | 2001-01-12 |
| JP3489491B2 true JP3489491B2 (ja) | 2004-01-19 |
Family
ID=16038028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17783999A Expired - Fee Related JP3489491B2 (ja) | 1999-06-24 | 1999-06-24 | 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3489491B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002344946A (ja) * | 2001-05-16 | 2002-11-29 | Oki Electric Ind Co Ltd | 監視装置 |
| JP4932161B2 (ja) * | 2005-01-14 | 2012-05-16 | 三菱電機株式会社 | 視聴者情報測定装置 |
| EP2000889B1 (en) | 2006-03-15 | 2018-06-27 | Omron Corporation | Monitor and monitoring method, controller and control method, and program |
| JP4797720B2 (ja) * | 2006-03-15 | 2011-10-19 | オムロン株式会社 | 監視装置および方法、画像処理装置および方法、並びにプログラム |
| JP4876687B2 (ja) | 2006-04-19 | 2012-02-15 | 株式会社日立製作所 | 注目度計測装置及び注目度計測システム |
| JP4990552B2 (ja) * | 2006-04-28 | 2012-08-01 | 綜合警備保障株式会社 | 注目位置特定システム、注目位置特定方法、及び注目位置特定プログラム |
| JP2008226161A (ja) * | 2007-03-15 | 2008-09-25 | Nippon Signal Co Ltd:The | 注視認識システム |
| JP5111934B2 (ja) * | 2007-05-15 | 2013-01-09 | パナソニック株式会社 | 監視装置 |
| JP4996404B2 (ja) * | 2007-09-20 | 2012-08-08 | 技研トラステム株式会社 | 人物行動検索装置 |
| JP5206314B2 (ja) * | 2008-10-28 | 2013-06-12 | 三菱自動車工業株式会社 | 車載用電子機器 |
| JP5971239B2 (ja) | 2011-05-09 | 2016-08-17 | 日本電気株式会社 | 機器制御装置、機器制御システム、及び、機器制御方法 |
| JP5834941B2 (ja) * | 2012-01-19 | 2015-12-24 | 富士通株式会社 | 注目対象特定装置、注目対象特定方法、及びプログラム |
| JP6253311B2 (ja) * | 2013-08-28 | 2017-12-27 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6133766B2 (ja) * | 2013-12-25 | 2017-05-24 | Ｎｅｃプラットフォームズ株式会社 | 表示装置、表示方法および表示プログラム |
| KR101490505B1 (ko) * | 2014-07-08 | 2015-02-10 | 주식회사 테라클 | 관심도 생성 방법 및 장치 |
| JP7531764B1 (ja) | 2023-11-17 | 2024-08-09 | 三菱電機株式会社 | 視線推定装置、視線推定方法及び視線推定プログラム |
-
1999
- 1999-06-24 JP JP17783999A patent/JP3489491B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001008197A (ja) | 2001-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3489491B2 (ja) | 人物行動解析装置及び人物行動解析プログラムを記録した記録媒体 | |
| US6690374B2 (en) | Security camera system for tracking moving objects in both forward and reverse directions | |
| US7834912B2 (en) | Attention level measuring apparatus and an attention level measuring system | |
| US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
| US9124778B1 (en) | Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest | |
| US10839227B2 (en) | Queue group leader identification | |
| TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
| US9805265B2 (en) | Surveillance camera control device and video surveillance system | |
| US8913781B2 (en) | Methods and systems for audience monitoring | |
| JP2018093283A (ja) | 監視情報収集システム | |
| US20170330208A1 (en) | Customer service monitoring device, customer service monitoring system, and customer service monitoring method | |
| JP2011248836A (ja) | 滞留検出システム及びプログラム | |
| US11924585B2 (en) | Video monitoring apparatus, control method thereof, and computer readable medium | |
| US10460466B2 (en) | Line-of-sight measurement system, line-of-sight measurement method and program thereof | |
| KR101577751B1 (ko) | 정보 관리를 위한 장치 및 방법 | |
| JP2021196741A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP7329967B2 (ja) | 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム | |
| KR20160068281A (ko) | 객체 인식 방법 | |
| WO2011025359A1 (en) | System and method to determine suspicious behavior | |
| JP6573259B2 (ja) | カメラによる属性収集システム | |
| López-Palma et al. | Oriented trajectories as a method for audience measurement | |
| US20220269890A1 (en) | Method and system for visual analysis and assessment of customer interaction at a scene | |
| US20120019656A1 (en) | System and method for monitoring subjects of interest | |
| JP5108635B2 (ja) | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 | |
| CN114549580A (zh) | 实现室内监控的方法及装置和服务端和客户端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031007 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |