JP7416348B1 - 移動方向判定装置、移動方向判定方法、及び移動方向判定プログラム - Google Patents

Abstract

より精度良く人物が対象物の方向に移動しているかを判定することができる移動方向判定装置を得ることを目的とする。本開示に係る移動方向判定装置は、画像上において、人物の移動先となる対象物の上辺と下辺から消失点を算出する消失点算出部と、画像上に映る人物の移動方向を示す動きベクトルを算出する動きベクトル算出部と、消失点と動きベクトルの始点を結んだ線分と、消失点と動きベクトルの終点を結んだ線分とがなす角度に基づき、人物が対象物の方向に移動しているかを判定する判定部と、を備えた。

Description

本開示は、移動方向判定装置、移動方向判定方法、及び移動方向判定プログラムに関する。

公共交通機関やビル内のエレベータにおける自動ドアは、開状態と閉状態とを効率よく制御し、公共交通機関やエレベータの運用効率を向上させることが求められている。近年では、カメラ映像を用いて自動ドア周辺の利用者の移動状況に応じたドア開閉の自動制御技術が提案されている。

例えば、特許文献１では、エレベータ乗り場に対して、第１検出領域と第１検出領域よりドアに近い第２検出領域を定義し、その領域間を移動する乗客の動作を検出し、自動ドアの開閉を制御する方法が開示されている。

特開２０１８－１９７１４０号公報

従来技術では、第１検出領域から第２検出領域へ向かう乗客の動作を搭乗動作とし、乗客の動作が搭乗動作である場合にドアを停止又は反転戸開させる。すなわち、人物の移動方向を第１検出領域から第２検出領域への移動で判定しているため、ドアに対して平行な移動をしている場合など、その人物に乗車意思がない場合にも登場動作をしていると誤判定してしまう場合があった。

本開示は、上記のような課題を解決するためになされたものであり、より精度良く人物が対象物の方向に移動しているかを判定することができる移動方向判定装置を得ることを目的とする。

本開示に係る移動方向判定装置は、画像上において、人物の移動先となる対象物の上辺と下辺から消失点を算出する消失点算出部と、画像上に映る人物の移動方向を示す動きベクトルを算出する動きベクトル算出部と、消失点と動きベクトルの始点を結んだ線分と、消失点と動きベクトルの終点を結んだ線分とがなす角度に基づき、人物が対象物の方向に移動しているかを判定する判定部と、を備えた。

本開示に係る移動方向判定装置は、消失点と動きベクトルの始点を結んだ線分と、消失点と動きベクトルの終点を結んだ線分とがなす角度に基づき、人物が対象物の方向に移動しているかを判定する判定部を備えたので、画像上における消失点と動きベクトルのなす角度に基づいて、人物が対象物の方向に移動しているかを判定することにより、より精度良く人物が対象物の方向に移動しているかを判定することができる。

実施の形態１に係る移動方向判定装置１００及び制御システム１０００の構成を示す構成図である。 実施の形態１に係る消失点算出部１０５が消失点を算出する処理の具体例を示す概念図である。 実施の形態１に係る判定部１０６が人物が対象物の方向に移動しているかを判定する処理の具体例を示す概念図である。 実施の形態１に係る判定部１０６が人物が対象物の方向に移動しているかを判定する処理の具体例を示す概念図である。 実施の形態１に係る判定部１０６が人物が対象物の方向に移動しているかを判定する処理の具体例を示す概念図である。 実施の形態１に係る移動方向判定装置１００のハードウェア構成を示すハードウェア構成図である。 実施の形態１に係る移動方向判定装置１００の動作を示すフローチャートである。 実施の形態１に係る移動方向判定装置１００の消失点算出処理を示すフローチャートである。 実施の形態２に係る移動方向判定装置２１００及び制御システム２０００の構成を示す構成図である。 実施の形態２に係る移動方向判定装置２１００の動作を示すフローチャートである。 実施の形態２に係る移動方向判定装置２１００の移動方向基準決定処理を示すフローチャートである。 実施の形態２に係る移動方向判定装置２１００の変形例の動作を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る移動方向判定装置１００及び制御システム１０００の構成を示す構成図である。
制御システム１０００は、自動ドアやサイネージといった制御対象の制御を行うものであり、移動方向判定装置１００、カメラ２００、画像記録装置３００、及び制御装置４００を備える。

移動方向判定装置１００は、画像上に映った人物の移動方向を判定するものであり、
外部装置であるカメラ２００、画像記録装置３００及び制御装置４００と無線又は有線にて接続される。実施の形態１において、移動方向判定装置１００は、人物の移動方向を判定する機能に加えて、判定した移動方向に基づいて人物の移動先となる対象物の制御内容を決定する機能も有する。ここで、人物の移動先となる対象物とは、制御システム１０００の制御対象となるものであり、電車やエレベータの自動ドア、広告表示や案内表示を行うサイネージ等の表示装置である。

カメラ２００は人物の移動方向を判定する対象領域を撮像し、画像を生成するものであり、人物の移動先となる対象物の周辺を撮像するように設置される。例えば、カメラ２００は、エレベータホールや駅のホームに設置される。また、カメラ２００は、対象物を斜め上方から撮像することが望ましい。

画像記録装置３００は、カメラ２００によって撮像された画像を記憶した後、一定時間分抽出し、移動方向判定装置１００に送信するものである。ここで、画像記録装置３００は、移動方向判定装置１００からの要求に応じて画像を送信するようにしてもよい。

制御装置４００は、移動方向判定装置１００で決定された制御内容に基づいて、対象物の制御を行うものである。制御内容は、例えば、制御対象が自動ドアの場合、自動ドアの開閉、制御対象が表示装置の場合、広告や案内の液晶表示等である。

移動方向判定装置１００は、画像取得部１０１、人物検出部１０２、動きベクトル算出部１０３、対象物検出部１０４、消失点算出部１０５、判定部１０６、及び制御内容決定部１０７を備える。

画像取得部１０１は、カメラ２００又は画像記録装置３００から対象物周辺を撮像した画像を取得するものである。

人物検出部１０２は、画像取得部１０１が取得した画像に映った人物を検出するものである。ここで、人物の検出方法としては、学習済モデルを用いたＡＩによる方法が考えられる。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいて、人物が映った少なくとも一つ以上の画像を学習用データとして生成された学習済モデルを用いることができる。

動きベクトル算出部１０３は、画像上に映る人物の動きベクトルを算出するものであり、より具体的には、人物検出部１０２が検出した人物の動きベクトルを算出するものである。ここで、動きベクトルとは、画像上における人物の移動方向を示すものである。例えば、連続した画像データの最初のフレームの人物位置を始点とし、最後のフレームの人物位置を終点とすることにより、動きベクトルを算出することができる。

対象物検出部１０４は、画像取得部１０１が取得した画像に映った対象物を検出するものである。例えば、対象物検出部１０４は、画像を入力とし、対象物を検出する学習済モデルを用いて、画像上において、対象物を検出する。学習済モデルとしては、人物検出部１０２と同様、ＣＮＮに基づいて、対象物が映った少なくとも一つ以上の画像を学習用データとして生成された学習済モデルを用いることができる

また、対象物検出部１０４は、タッチパネルやマウス等によるユーザの入力を受け付ける機能を有し、ユーザの入力により対象物を検出するようにしてもよい。例えば、ユーザが対象物の輪郭を特定したり、対象物が矩形の場合は四隅を特定したりすることにより、対象物を検出するようにしてもよい。

消失点算出部１０５は、画像上において、人物の移動先となる対象物の上辺と下辺から消失点を算出するものである。より具体的には、消失点算出部１０５は、上辺を延長した直線と、下辺を延長した直線が交差する点を消失点として算出する。ここで、消失点とは、３次元空間において本来平行な直線が画像上において交差する点である。

上辺及び下辺の決定は、ＡＩに基づく方式や、Ｃａｎｎｙ Ｆｉｌｔｅｒなどに代表されるエッジ検出処理やＨｏｕｇｈ変換などの直線推定処理を用いることができる。また、対象物がサイネージやドアなど時間によって外見が変化する物体である場合、背景差分、フレーム間差分、動き検出処理等により対象物体を検出し、その物体境界線として上辺下辺を決定するような方式であってもよい。

上記においては、消失点算出部１０５が自動で対象物の上辺と下辺を決定する方法について説明したが、対象物検出部１０４と同様にユーザの入力により上辺と下辺を決定するようにしてもよい。すなわち、対象物の検出及び上辺と下辺の決定まではユーザの手作業により行い、消失点の算出からを自動で行うようにしてもよい。

判定部１０６は、消失点算出部１０５が算出した消失点と動きベクトル算出部１０３が算出した動きベクトルの始点を結んだ線分と、当該消失点と当該動きベクトルの終点を結んだ線分とがなす角度に基づき、人物が対象物の方向に移動しているかを判定するものである。ここで、上記の角度は、消失点Ｏと動きベクトルの始点Ａを結んだ線分ＡＯと、消失点Ｏと動きベクトルの終点Ｂを結んだ線分ＢＯがなす角∠ＡＯＢの大きさを意味する。また、対象物の方向に移動するとは、対象物に向かう移動をすることを意味する。

より具体的には、判定部１０６は、∠ＡＯＢの大きさをθとしたとき、算出したθの大きさと予め設定された閾値の大きさを比較するとともに、動きベクトルが対象物の方向に傾いている場合、対象物の方向に移動していると判定する。ここで、動きベクトルが対象物の方向に傾いているか否かは、動きベクトルの始点よりも動きベクトルの終点の方が対象物との距離が近づいているか否かにより判定する。すなわち、動きベクトルの終点と対象物との距離が、動きベクトルの始点と対象物との距離よりも小さくなっている場合、動きベクトルが対象物の方向に傾いていると判定する。

以上をまとめると判定部１０６は以下の基準により、人物が対象物の方向に移動をしているか否かを判定する。
・閾値＜θ値で動きベクトルが対象物方向に傾いていれば対象物に向かう移動
・閾値＜θ値で動きベクトルが対象物方向に傾いていなければ対象物から離れる移動
・閾値＞θ値であれば対象物に向かうまたは離れる移動ではない

ここで、消失点算出部１０５が消失点を算出する処理と、判定部１０６が人物が対象物の方向に移動しているかを判定する処理の具体例を図面を用いて説明する。

図２は、消失点算出部１０５が対象物の上辺と下辺から消失点を算出する処理の具体例を説明するための概念図である。消失点算出部１０５は対象物の上辺である線分ＸＹと、対象物の下辺である線分ＺＷをそれぞれ延長し、延長した直線ＸＹと直線ＺＷが交差する点Ｏを消失点として算出する。

図３～５は、判定部１０６が人物が対象物の方向に移動しているかを判定する処理の具体例を説明するための概念図である。ここでは、説明のために閾値が１５度として説明する。

図３では、消失点と動きベクトルのなす角θは閾値よりも大きく、動きベクトルは対象物の方向に傾いている。したがって、図３の場合において、判定部１０６は、人物が対象物の方向に移動している（対象物に向かって移動している）と判定する。

図４では、消失点と動きベクトルのなす角θは閾値よりも大きいが、動きベクトルは対象物の方向に傾いていない。したがって、図４の場合において、判定部１０６は、人物が対象物の方向に移動している（対象物から離れている）と判定する。

図５では、消失点と動きベクトルのなす角θは閾値より小さい。したがって、判定部１０６は、人物は対象物に向かう又は離れる移動をしていないと判定する。

制御内容決定部１０７は、判定部１０６の判定結果に基づき、対象物の制御内容を決定ものである。例えば、対象物が自動ドアである場合、制御内容決定部１０７は、自動ドアの開閉状態を決定し、対象物がサイネージ等の表示装置である場合、制御内容決定部１０７は、表示装置の表示内容を決定する。また、人物検出部１０２で複数の人物が検出されており、判定部１０６が、少なくとも一人以上の人物が対象物の方向に移動していると判定した場合、制御内容決定部１０７は、人物が対象物の方向に移動している場合の制御内容を対象物に行わせる制御内容として決定する。

より具体的には、対象物が自動ドアであり、判定部１０６が人物が自動ドアの方向に移動していると判定した場合、制御内容決定部１０７は、ドアを開状態とすることを決定し、判定部１０６が人物が自動ドアの方向に移動していないと判定した場合、制御内容決定部１０７は、自動ドアを閉状態とすることを決定することが考えられる。

また、対象物がサイネージであり、当該サイネージが人流誘導を行うものである場合、判定部１０６が人物がサイネージの方向に移動していると判定した場合には、制御内容決定部１０７はサイネージに人流誘導方向を表示させることを決定し、判定部１０６が人物がサイネージの方向に移動していないと判定した場合には、制御内容決定部１０７はサイネージに当該サイネージが案内板であることを示す表示を行うこと決定することが考えられる。

また、対象物がサイネージであり、当該サイネージが地図表示を行うものである場合、判定部１０６が人物がサイネージの方向に移動していると判定した場合には、制御内容決定部１０７はサイネージが設置された建物における詳細な地図を表示させる制御を行い、判定部１０６が人物がサイネージに向かっていないと判定した場合には、制御内容決定部１０７はより簡略化した地図を表示させる制御を行うことが考えられる。

また、制御内容は、制御対象に何も行わせないことを含む。例えば、自動ドアが既に閉状態である場合に、自動ドアを閉状態とする制御内容が選択された場合、制御内容決定部１０７は、自動ドアに何も行わせないことを制御装置４００に伝える、あるいは、何の情報も伝えないようにしてもよい。

次に、移動方向判定装置１００のハードウェア構成について説明する。
図６は、移動方向判定装置１００のハードウェア構成を示すハードウェア構成図である。
移動方向判定装置１００が備える画像取得部１０１、人物検出部１０２、動きベクトル算出部１０３、対象物検出部１０４、消失点算出部１０５、判定部１０６、及び制御内容決定部１０７は、記憶装置２に格納されたプログラムが処理装置１で実行されることにより実現される。

処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等のプロセッサである。また、複数のプロセッサにより、移動方向判定装置１００の各機能を実現しても良い。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ等で移動方向判定装置１００の各機能を実現しても良い。

記憶装置２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであっても良いし、ハードディスク、フレキシブルディスク等の磁気ディスクであっても良いし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクでも良い。

通信装置３は、外部機器と通信を行うものであり、レシーバ及びトランスミッタとしての機能を有する。例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

入力装置４は、ユーザからの入力を受け付ける装置であり、例えば、キーボードやマウスである。

出力装置５は、ユーザに対して情報の提示を行うものであり、例えば、ディスプレイやスピーカーである。

以上のように、移動方向判定装置１００は構成される。
次に、移動方向判定装置１００の動作について説明する。
図７は、実施の形態１に係る移動方向判定装置１００の動作を示すフローチャートである。
ここで、移動方向判定装置１００の動作が移動方向判定方法に対応し、移動方向判定装置１００の動作をコンピュータに実行させるプログラムが移動方向判定プログラムに対応する。また、「部」は適宜「工程」に読み替えてもよい。

まず、ステップＳ１で移動方向判定装置１００は、消失点算出処理を行う。この処理の詳細については図８で後述する。

次に、ステップＳ２で画像取得部１０１が、カメラ２００又は画像記録装置３００から現在時刻の画像を取得する。

次に、ステップＳ３で人物検出部１０２は、ステップＳ１で取得した画像上に映る人物を検出する。人物が検出できた場合、画像取得部１０１は、画像記録装置３００から所定時間遡った時刻から現在時刻までの連続した複数の画像を取得する。人物検出部１０２は、画像取得部１０１が取得した複数の画像について人物の検出を行い、検出結果を動きベクトル算出部１０３に送信する。

ステップＳ４で動きベクトル算出部１０３は、ステップＳ３で検出した人物の動きベクトルを算出する。より具体的には、動きベクトル算出部１０３は、連続した複数の画像から人物の動きベクトルを算出する。

次に、ステップＳ５で判定部１０６は、ステップＳ２で検出した人物が対象物の方向に移動しているかをステップＳ１で算出した消失点に基づいて判定する。より具体的には、判定部１０６は、消失点と動きベクトルの始点を結んだ線分と、消失点と動きベクトルの終点を結んだ線分とがなす角度に基づき、人物が前記対象物の方向に移動しているかを判定する。

ステップＳ６で、判定部１０６は、画像上に映る全人物について移動方向を判定したかを判定する。まだ判定していない人物が残っている場合、ステップＳ５に戻り、全人物について判定が終了した場合、ステップＳ７に進む。

ステップＳ７で制御内容決定部１０７はステップＳ６の判定結果に基づき、対象物の制御内容を決定し、制御内容を示す信号を制御装置に送信する。

以上で移動方向判定装置１００は動作を終了する。

次に、消失点算出処理の詳細について説明する。
図８は、消失点算出処理の詳細を示すフローチャートである。
まず、ステップＳ１０１で画像取得部１０１がカメラ２００又は画像記録装置３００から対象物周辺を撮像した画像を取得する。

ステップＳ１０２で、対象物検出部１０４は、ステップＳ１０１で取得した画像上に映る対象物を検出する。

ステップＳ１０３で、消失点算出部１０５は、ステップＳ１０２で検出した対象物の上辺と下辺を検出する。

ステップＳ１０４で、消失点算出部１０５は、ステップＳ１０３で検出した対象物の上辺と下辺を延長し、延長線上の交点を消失点として算出する。

以上で、移動方向判定装置１００は消失点算出処理を終了する。
消失点算出処理は、カメラの画角が変わらない場合や対象物の位置が変わらない場合には、初期設定として一度行うだけでも良い。

また、移動方向判定装置１００の動作において、ステップＳ１で消失点算出処理を行う場合には、ステップＳ１０１で画像取得部１０１が画像を取得しているため、ステップＳ２の処理を省略し、ステップＳ１０１で取得した画像を用いるようにしても良い。

以上のように、移動方向判定装置１００は、消失点と動きベクトルの始点を結んだ線分と、消失点と動きベクトルの終点を結んだ線分とがなす角度に基づき、人物が対象物の方向に移動しているかを判定するので、人物が対象物の方向に移動しているかをより正確に判定することができる。

また、対象物検出部１０４が学習済モデルを用いて対象物を検出するようにしたので、首振り機能が搭載されたカメラの画角が変わったり、電車のホーム等において自動ドアの位置が変わったりする場合においても、自動で対象物の位置を検出することにより、人手による設定を必要とせずに、人物の移動方向を判定することができる。

実施の形態２．
次に、実施の形態２に係る移動方向判定装置２１００及び制御システム２０００について説明する。

図９は、実施の形態２に係る移動方向判定装置２１００及び制御システム２０００の構成を示す構成図である。
実施の形態２における対象物は、エレベータや電車に搭載された自動ドアであり、移動方向判定装置２１００は、実施の形態１に係る移動方向判定装置１００の構成に加え、消失点が算出できない場合に、人物が自動ドアから出てきた方向に基づいて移動方向の基準を決定する移動方向基準決定部２１０８を有する。

ここで、消失点が算出できない場合とは、例えば、対象物の上辺と下辺が画像上平行に撮像され、上辺の延長線と下辺の延長線が交わる点を算出できない場合である。

移動方向基準決定部２１０８は、ドアから出てきた第一の人物が一歩目を踏み出した方向に基づき、移動方向の基準を決定するものであり、骨格情報抽出部２１０９及び踏み出し方向検出部２１１０を備える。

骨格情報抽出部２１０９は、人物検出部２１０２が検出した人物の骨格情報を抽出するものである。骨格情報の抽出は、既存のＡＩによる方法を用いればよいが、例えば、関節や手の位置といった特徴点を検出し、各特徴点をつなぎ合わせることにより、人物の動きや体の向きを示す情報を生成することが考えられる。すなわち、ここでの骨格情報とは、体の向きや足の動きを特徴点によって表現したものを意味する。

踏み出し方向検出部２１１０は、骨格情報抽出部２１０９が抽出した骨格情報に基づき、自動ドアから出てくる人物が一歩目を踏み出した方向を検出し、当該自動ドアの出入り方向に基づき移動方向の基準を決定するものである。一歩目の検出方法としては、例えば、対象物付近に境界線を設定し、その境界線を越えた脚の動きを一歩目として検出することが考えられる。この境界線は、例えば、自動ドアを閉じた状態での自動ドアの扉の位置に設定すればよい。

また、より詳細には、踏み出し方向検出部２１１０は、自動ドアから出てくる人物が一歩目を踏み出した方向を検出するため、当該一歩目を踏み出した方向は自動ドアから離れる方向である。踏み出し方向検出部２１１０は、例えば、自動ドアの中心位置から当該一歩目を踏み出した方向に延びるベクトルを移動方向の基準として決定してもよいし、当該一歩目を踏み出した方向の反対方向（１８０度回転させた方向）に延びるベクトルを移動方向の基準として決定してもよい。

上記において、移動方向の基準は、ベクトルとして決定されていたが、人物が自動ドアに近づいているかを実施の形態１と同様に動きベクトルが対象物の方向に傾いているかに基づいて判断する場合には、移動方向の基準に向きの情報は持たせず、単に一歩目を踏み出した方向に延びる直線を移動方向の基準として決定しても良い。

判定部２１０６は、消失点が算出できていない場合、移動方向基準決定部２１０８が決定した移動方向の基準に基づいて、人物が自動ドアの方向に移動しているかを判定する。ここで、移動方向基準決定部２１０８が、移動方向の基準を決定するまでは、判定部２１０６は人物が自動ドアの方向に移動しているかは判定できないため、判定部２１０６が移動方向を判定する人物は、移動方向の基準を決定するのに採用した人物とは異なる人物である。すなわち、判定部２１０６は、移動方向の基準と、第一の人物とは異なる第二の人物の動きベクトルとのなす角度に基づき、第二の人物の移動方向を判定する。

判定部２１０６の判定方法の具体例について説明する。
例えば、移動方向の基準として自動ドアの方向を向いたベクトルを用いる場合には、判定部２１０６は、移動方向の基準であるベクトルと動きベクトルのなす角度が所定の閾値以下か否か判定し、所定の閾値以下である場合に、人物が自動ドアの方向に移動していると判定する。また、移動方向の基準として自動ドアから離れる方向のベクトルを用いる場合には、判定部２１０６は、移動方向の基準であるベクトルと動きベクトルのなす角度が所定の閾値以上か否か判定し、所定の閾値以上である場合に、人物が自動ドアの方向に移動していると判定する。

また、移動方向の基準として直線を用いる場合には、判定部２１０６は、移動方向の基準である直線と動きベクトルのなす角度が所定の閾値以下か判定するとともに、動きベクトルが自動ドアの方向に傾いているか判定することにより、人物が自動ドアの方向に移動しているかを判定する。すなわち、移動方向の基準である直線と動きベクトルのなす角度が所定の閾値以下であり、動きベクトルが自動ドアの方向に傾いている場合に、人物が自動ドアの方向に移動していると判定する。ここで、動きベクトルが自動ドアの方向に傾いているか否かの判定は実施の形態１と同様の方法を用いればよい。

以上のように実施の形態２に係る移動方向判定装置２１００及び制御システム２０００は構成される。その他の構成については、実施の形態１と同様である。移動方向判定装置２１００のハードウェア構成についても実施の形態１に係る移動方向判定装置１００と同様であり、移動方向基準決定部２１０８は、図６に示したように、記憶装置２に格納されたプログラムを処理装置１が実行することにより実現される。

次に、実施の形態２に係る移動方向判定装置２１００の動作について説明する。
図１０は、実施の形態２に係る移動方向判定装置２１００の動作を示すフローチャートである。

まず、ステップＳ２０１で移動方向判定装置２１００は、移動方向基準決定処理を行う。この処理は初期設定として１回行うだけでよい。また、この処理の詳細については図１２で後述する。

次に、ステップＳ２０２で画像取得部２１０１が、カメラ２２００又は画像記録装置２３００から現在時刻の画像を取得する。

次に、ステップＳ２０３で人物検出部２１０２は、ステップＳ２０２で取得した画像上に映る人物を検出する。人物が検出できた場合、画像取得部２１０１は、画像記録装置２３００から所定時間遡った時刻から現在時刻までの連続した複数の画像を取得する。人物検出部２１０２は、画像取得部２１０１が取得した複数の画像について人物の検出を行い、検出結果を動きベクトル算出部２１０３に送信する。

ステップＳ２０４で動きベクトル算出部２１０３は、ステップＳ３で検出した人物の動きベクトルを算出する。動きベクトル算出部２１０３は、連続した複数の画像から人物の動きベクトルを算出する。

次に、ステップＳ２０５で判定部２１０６は、ステップＳ２０２で検出した人物の移動方向をステップＳ２０１で設定した移動方向の基準に基づいて判定する。

ステップＳ２０６で、判定部２１０６は、画像上に映る全人物について移動方向を判定したかを判定する。まだ判定していない人物が残っている場合、ステップＳ２０５に戻り、全人物について判定が終了した場合、ステップＳ２０７に進む。

ステップＳ２０７で制御内容決定部２１０７はステップＳ２０６の判定結果に基づき、対象物の制御内容を決定し、制御信号を制御装置に送信する。

以上で移動方向判定装置２１００は動作を終了する。

次に、移動方向基準決定処理の詳細について説明する。
図１１は、移動方向基準決定処理の詳細を示すフローチャートである。
まず、ステップS３０１において、画像取得部２１０１は、自動ドア周辺を映した画像をカメラ２２００又は画像記録装置２３００から取得する。

次に、ステップS３０２で対象物検出部２１０４は、画像上に映る自動ドアを検出する。

次に、ステップS３０３で、人物検出部２１０２は、自動ドアから出てくる人物を検出する。

次に、ステップＳ３０４で、骨格情報抽出部２１０９は、ステップＳ３０３で検出した人物の骨格情報を抽出する。

次に、ステップＳ３０５で踏み出し方向検出部２１１０は、ステップＳ３０４で抽出した骨格情報に基づいて、人物が自動ドアから出る一歩目を踏み出した方向を検出し、その方向に基づいて移動方向の基準を決定する。

以上で、移動方向判定装置２１００は出入り方向判定処理を終了する。

実施の形態１と同様、移動方向判定装置２１００の動作において、ステップＳ２０１で移動方向基準決定処理を行う場合には、ステップＳ３０１で画像取得部２１０１が画像を取得しているため、ステップＳ２０２の処理を省略し、ステップＳ３０１で取得した画像を用いるようにしても良い。

以上のように、移動方向判定装置２１００は、自動ドアから出てきた人物が一歩目を踏み出した方向に基づいて、移動方向の基準を決定するので、対象物の上辺と下辺を検出できない場合においても、人物が対象物に向かう移動をしているかを判定することができる。

次に、実施の形態２に係る移動方向判定装置２１００の変形例について説明する。
実施の形態２では、実施の形態１で説明した判定方法に加えて、自動ドアから出てきた人物が一歩目を踏み出した方向を出入り方向として設定し、当該出入り方向に基づいて移動方向を判定する方法について説明した。ここで、どちらの方法を用いるかは、ユーザが予め設定しても良いし、消失点が算出できない場合に、出入り方向を用いる方法を自動で使用するようにしてもよい。

本変形例では、消失点が算出できない場合に、自動ドアから出てくる人物が一歩目を踏む出した方向を移動方向の基準として自動で決定する場合の処理について説明する。
図１２は、本変形例の移動方向判定装置２１００の動作を示すフローチャートである。

まず、ステップＳ４０１で移動方向判定装置２１００は、消失点算出処理を行う。この処理は図７に示したステップＳ１の処理と同じである。

次に、ステップＳ４０２で消失点算出部２１０５は、ステップＳ４０１で消失点を算出できたかを判定する。消失点を算出できた場合、ステップＳ４０３に進み、消失点を算出できなかった場合、ステップＳ４１０に進む。

ステップＳ４０３からステップＳ４０９までの処理は、図７に示したステップＳ２からステップＳ７までの処理と同じであり、ステップＳ４１０からステップＳ４１６までの処理は、図１０に示したステップＳ２０２からステップＳ２０７までの処理と同じである。

以上のような動作により、本変形例における移動方向判定装置２１００は、消失点を算出できない場合に、自動ドアから出てくる人物が一歩目を踏む出した方向を移動方向の基準として自動で決定するので、ユーザの作業負荷を軽減することができる。

本開示に係る移動方向判定装置は、エレベータや電車の自動ドアの制御や、サイネージ等の表示機器の制御において、人物の移動方向の判定に用いるのに適している。

１０００，２０００ 制御システム、１００，２１００ 移動方向判定装置、２００，２２００ カメラ、３００，２３００ 画像記録装置、４００，２４００ 制御装置、１０１，２１０１ 画像取得部、１０２，２１０２ 人物検出部、１０３，２１０３ 動きベクトル算出部、１０４，２１０４ 対象物検出部、１０５，２１０５ 消失点算出部、１０６，２１０６ 判定部、１０７，２１０７ 制御内容決定部、２１０８ 移動方向基準決定部、２１０９ 骨格情報抽出部、２１１０ 踏み出し方向検出部、１ 処理装置、２ 記憶装置、３ 通信装置、４ 入力装置、５ 出力装置。

Claims (8)

1. 画像上において、人物の移動先となる対象物の上辺と下辺から消失点を算出する消失点算出部と、
   前記画像上に映る人物の移動方向を示す動きベクトルを算出する動きベクトル算出部と、
   前記消失点と前記動きベクトルの始点を結んだ線分と、前記消失点と前記動きベクトルの終点を結んだ線分とがなす角度に基づき、前記人物が前記対象物の方向に移動しているかを判定する判定部と、
   を備える移動方向判定装置。
2. 前記画像を入力とし、前記対象物を検出する学習済モデルを用いて、前記画像上において、前記対象物を検出する対象物検出部と、
   をさらに備えることを特徴とする請求項１に記載の移動方向判定装置。
3. 前記判定部の判定結果に基づき、前記対象物の制御内容を決定する制御内容決定部
   をさらに備えることを特徴とする請求項１又は２に記載の移動方向判定装置。
4. 前記対象物は自動ドアであり、
   前記制御内容決定部は、前記自動ドアの開閉状態を決定する
   ことを特徴とする請求項３に記載の移動方向判定装置。
5. 前記対象物は表示装置であり、
   前記制御内容決定部は、前記表示装置の表示内容を決定する
   ことを特徴とする請求項３に記載の移動方向判定装置。
6. 前記自動ドアから出てきた第一の人物が一歩目を踏み出した方向に基づき、移動方向の基準を決定する移動方向基準決定部と、をさらに備え、
   前記判定部は、前記移動方向の基準と、前記第一の人物とは異なる第二の人物の前記動きベクトルとのなす角度に基づき、前記第二の人物の移動方向を判定する
   ことを特徴とする請求項４に記載の移動方向判定装置。
7. コンピュータが、画像上において、人物の移動先となる対象物の上辺と下辺から消失点を算出する消失点算出工程と、
   コンピュータが、前記画像上に映る人物の移動方向を示す動きベクトルを算出する動きベクトル算出工程と、
   コンピュータが、前記消失点と前記動きベクトルの始点を結んだ線分と、前記消失点と前記動きベクトルの終点を結んだ線分とがなす角度に基づき、前記人物が前記対象物の方向に移動しているかを判定する判定工程と、
   を含む移動方向判定方法。
8. 請求項７に記載の全工程をコンピュータに実行させる移動方向判定プログラム。

Images