JP6996669B2 - 表示処理装置、表示処理方法及びプログラム - Google Patents

表示処理装置、表示処理方法及びプログラム Download PDF

Info

Publication number
JP6996669B2
JP6996669B2 JP2021550883A JP2021550883A JP6996669B2 JP 6996669 B2 JP6996669 B2 JP 6996669B2 JP 2021550883 A JP2021550883 A JP 2021550883A JP 2021550883 A JP2021550883 A JP 2021550883A JP 6996669 B2 JP6996669 B2 JP 6996669B2
Authority
JP
Japan
Prior art keywords
vector
angle
candidate
coordinates
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021550883A
Other languages
English (en)
Other versions
JPWO2021064943A1 (ja
Inventor
悠介 中田
義幸 加藤
圭子 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021064943A1 publication Critical patent/JPWO2021064943A1/ja
Application granted granted Critical
Publication of JP6996669B2 publication Critical patent/JP6996669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Description

この発明は表示処理装置、表示処理方法及びプログラムに関する。
従来から、交通機関,商業施設などの所定の空間において、通行人などの移動軌跡を示す座標を算出し、算出した座標に基づいて動体の動線を表示する技術が知られている。
例えば、特許文献1には、画像データから人物を抽出し、人物が対象へ向いている方向と時間を動線とともに表示する技術が開示されている。
また、例えば、特許文献2には、所定の空間を通行する通行人の位置をトラッキングして通行軌跡(動線)を求め、所定の空間を所定時間内に通行した通行人全ての動線を表示する技術が開示されている。
WO2017-170084号公報 特開2005―346617号公報
特許文献1に開示された技術では、一本の動線を表示することしか想定されていないという課題があった。
また、上記特許文献2に開示された技術では、複数本の動線が表示されるが、複数本の動線が重ね合わされた状態で表示されるため、表示される動線の本数が増えるにつれて動体の移動の態様が把握し難くなるという課題があった。
この発明は上述した問題点を解決するためになされたものであり、動体の移動軌跡を示す複数の動線を構成するベクトル同士を合成した矢印を描画することで、動体の移動の態様を把握しやすくすることを目的とするものである。
この発明に係る表示処理装置は、動体が存在した位置を示す座標と、当該座標が示す位置に動体が存在した時刻を示す時間情報を含む動線データによって示される複数の動線を構成するベクトルを取得するベクトル取得部と、前記ベクトル取得部で取得した複数のベクトルの中から、基準となる基準ベクトルと、当該基準ベクトルの合成の候補となる複数の候補ベクトルとを抽出する基準ベクトル抽出部と、前記基準ベクトル抽出部で抽出されたそれぞれの前記候補ベクトルの始点の座標から、前記基準ベクトルの始点の座標までの距離に基づいて始点間距離distSPを算出する始点間距離算出部と、前記基準ベクトル抽出部で抽出されたそれぞれの前記候補ベクトルと前記基準ベクトルとがなす角度θANGLE(0°≦θANGLE≦180°)に基づいてベクトル角度distANGLEを算出するベクトル角度算出部と、前記始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる前記候補ベクトルを選択する候補ベクトル選択部と、前記候補ベクトル選択部で選択された前記候補ベクトルと前記基準ベクトルとを合成した矢印を描画する描画部とを備えることを特徴とするものである。
この発明の表示処理装置は、動体の移動軌跡を示す複数の動線を構成するベクトル同士を合成した矢印を描画することで、動体の移動の態様を把握しやすくすることができるという効果を奏する。
本発明の実施の形態1に係る表示処理装置の構成図である。 工場内におけるカメラの設置例を示す図である。 動線データ管理テーブルの一例を示す図である。 動線抽出部により抽出された動線の一例を示す図である。 動線を3分割して得られる2個の分割点を示す図である。 ベクトル取得部により取得された複数の動線を構成するベクトルの一例を示す図である。 基準ベクトルと候補ベクトルの一例を示す図である。 候補ベクトルと基準ベクトルとを合成した矢印の一例を示す図である。 図1のシステムを構成するハードウェア装置の一例を示す図である。 表示処理装置の処理を示すフローチャート図である。 ベクトルの始点間の距離について説明するための図である。 始点間距離distSPの算出方法について説明するための図である。 基準ベクトルと候補ベクトルの始点間の距離を、合成ベクトルが示す方向の成分dと、合成ベクトルGBが示す方向に垂直な方向の成分dで示す図である。 候補ベクトルと基準ベクトルとを合成した矢印の一例を示す図である。 本発明の実施の形態3に係る表示処理装置の構成図である。 矢印を用いて代表的な動線を示す図である。 表示装置に表示されたスライダーバーを示す図である。 幅方向の長さ、及び/又は、色を変えた矢印を示す図である。
実施の形態1
図1は、本発明の実施の形態1に係る表示処理装置1の構成図である。カメラ10a~10nは、施設内の天井付近など見通しの良い場所に設置され、移動する人物や物体(以降、それぞれを区別する必要がない場合には動体と称する。)を撮影する。カメラ10a~10nは、互いに連携し、動体が施設内のどの場所にいても切れ目なく撮影可能な位置に設置される。図2は、工場内におけるカメラの設置例を示す図である。工場には、カメラ10a~10nの他、工場の柱と壁などの躯体200、製造装置、ロボット、作業台などの設備207が配置されている。カメラ10a~10nは、撮影対象の死角を少なくするため、画角の大きなレンズを用いて広い範囲を撮影する。
識別部100は、カメラ10a~10nにより撮影された映像から施設内を移動する同一の動体を識別するとともに識別した動体をカメラ10a~10nの全撮影エリアにわたって追跡する。動体を識別する手法として、作業服やヘルメットに貼り付けた固有のマーカーやバーコードを認識する画像識別法を用いることができる。また、機械学習による動体推定法を用いてもよい。機械学習では、複数の動体がすれ違う場合や、動体の一部が物体の陰に隠れてしまう場合でも、その動体を正しく識別できるよう学習を行ってもよい。
位置算出部101は、追跡した動体の移動軌跡を示す座標を算出する。一般的に、カメラの撮影映像から算出した動体の座標は、個々のカメラに固有なローカルな座標系(カメラ座標系)で表現されるため、位置算出部101は、カメラ10a~10nの設置位置、向き、レンズの画角、レンズの焦点距離、レンズの収差などのパラメータを用いて、カメラ座標系をグローバルな世界座標系へ座標変換する。座標変換に用いる式を求めるため、先述のパラメータを用いて、カメラ間の位置合わせ調整(キャリブレーション)が事前に行われているものとする。
動線データ管理テーブル102には、位置算出部101から出力される動体の移動軌跡を示す動線データが記録される。図3は、動線データ管理テーブル102の一例を示す図である。動線データ管理テーブル102は、動体が存在した位置を示す座標303、所定の時間間隔の時刻であって、各座標が示す位置に動体が存在した時刻を示す時間情報300、動体の識別情報301及び動体の属性情報302が動線データとして記録される。時間情報300は、例えば、年4桁、月2桁、日2桁、時2桁(24時間制)、分2桁、秒2桁、ミリ秒3桁で表される。識別情報301は、例えば、作業者IDなど、動体を1つに識別するための情報である。属性情報302は、識別情報301に対応付けられた情報であり、特定の動体が存在するエリアを示す情報である。動体が作業者である場合、属性情報302は、例えば、作業者が担当する作業エリアを表す。また、動体が物体である場合、属性情報302は、例えば、物体が一時的に保管されるエリアや倉庫を表す。これらの情報は、カメラ撮影のフレーム単位で記録可能であるが、識別部100及び位置算出部101の処理負荷、可視化したい動線の時間間隔などに応じて決定されてもよい。
エリア特定部110は、動線データ管理テーブル102に記録された動線データから動体の停留時間が長いエリアを特定する。
動線抽出部111は、エリア特定部110で特定されたエリア間を移動する動体の移動軌跡を示す複数の動線を、動線データ管理テーブル102に記録された動線データから抽出する。図4は、動線抽出部111により抽出された動線の一例を示す図である。ar1,ar2は、エリア特定部110で特定されたエリアであり、ar1を出発エリア、ar2を到着エリアと称する。a,b,cは、出発エリアar1から到着エリアar2に移動する動体の移動軌跡を示す動線であり、それぞれ座標P100~P106,P200~P207,P300~P308により表される。動線抽出部111は、動線データ管理テーブル102に記録された動線の座標を取得することにより動線a,b,cを抽出する。
分割点取得部112は、動線抽出部111で抽出された動線をそれぞれ、図示せぬ操作部によって指定された分割数N(Nは2以上の整数)で分割することによりN-1個の分割点の座標を取得する。図5は、動線a,b,cを3分割して得られる2個の分割点を示す図である。分割点取得部112は、動線a,b,cをそれぞれ構成する座標のうち、出発エリアar1に属する座標(出発点)P100,P200,P300と、到着エリアar2に属する座標(到着点)P106,P207,P308の間に存在する座標P100~P106,P200~P207,P300~P308のそれぞれから、2つの座標を分割点として取得する。分割点はサンプリング間隔が等しくなるように取得され、動線aについては、座標P102,P104が分割点B102,B104として取得される。同様に、動線bについては、座標P203,P205が分割点B203,B205として取得され、動線cについては、座標P303,P306が分割点B303,B306として取得される。
ベクトル取得部103は、分割点取得部112で取得された分割点の座標、出発エリアar1に属する出発点の座標、到着エリアar2に属する到着点の座標を始点座標、又は、終点座標とするベクトルであって、動線データによって示される複数の動線を構成するベクトルを取得する。図6は、ベクトル取得部103により取得された複数の動線を構成するベクトルの一例を示す図である。動線aは、ベクトルA1~A3により構成され、動線bは、ベクトルB1~B3により構成され、動線cは、ベクトルC1~C3により構成される。
基準ベクトル抽出部104は、ベクトル取得部103で取得した複数のベクトルの中から、基準となるベクトル(以降、基準ベクトルと称する)と、基準ベクトルと合成されるベクトルの候補となる候補ベクトルを抽出する。具体的には、基準ベクトル抽出部104は、出発エリアar1から到着エリアar2に移動した距離が最も短い動線、又は、図示せぬ操作部によって指定された動線を基準となる動線とし、当該基準となる動線を構成する複数のベクトルを基準ベクトルとして抽出する。また、基準ベクトル抽出部104は、基準となる動線とは異なる動線を構成するベクトルを候補ベクトルとして抽出する。
図7は、基準ベクトルと候補ベクトルの一例を示す図である。基準ベクトル抽出部104は、基準となる動線aを構成するベクトルA1,A2,A3を基準ベクトルとして抽出し、基準動線以外の動線b,cを構成するベクトルB1~B3,C1~C3を候補ベクトルとして抽出する。
始点間距離算出部105は、基準ベクトル抽出部104で抽出された基準ベクトルの始点の座標から、当該座標を基準として抽出された候補ベクトルの始点の座標までの距離に基づいて始点間距離distSPを算出する。基準ベクトルA1については、基準ベクトルA1の始点の座標から候補ベクトルB1の始点の座標までの距離として始点間距離distSP(A1-B1)が算出され、基準ベクトルA1の始点の座標から候補ベクトルC1の始点の座標までの距離として始点間距離distSP(A1-C1)が算出される。同様に、基準ベクトルA2については、基準ベクトルA2の始点の座標から候補ベクトルB2の始点の座標までの距離として始点間距離distSP(A2-B2)が算出され、基準ベクトルA2の始点の座標から候補ベクトルC2の始点の座標までの距離として始点間距離distSP(A2-C2)が算出される。同様に、基準ベクトルA3については、基準ベクトルA3の始点の座標から候補ベクトルB3の始点の座標までの距離として始点間距離distSP(A3-B3)が算出され、基準ベクトルA3の始点の座標から候補ベクトルC3の始点の座標までの距離として始点間距離distSP(A3-C3)が算出される。
ところで、基準ベクトルの合成の対象として、基準ベクトルの方向成分と大きく異なる方向成分を有する候補ベクトルを選択した場合、ベクトル同士を合成した矢印の向きが基準ベクトルの向きと乖離してしまい、動体の移動の態様を正確に把握することができなくなってしまう。そこで、本願では、基準ベクトルと候補ベクトルの始点間距離だけでなく、基準ベクトルと候補ベクトルのなす角度に基づいて、基準となる動線を構成する基準ベクトルと、合成の対象となる動線を構成する候補ベクトルとを選択することとした。
ベクトル角度算出部113は、基準ベクトル抽出部104で抽出されたそれぞれの候補ベクトルと基準ベクトルとがなす角度θANGLE(0°≦θANGLE≦180°)が180°に近づくにつれて大きくなる値に対して、第2の重み付け係数α(α≧0)を用いて重み付けしたベクトル角度distANGLEを算出する。より具体的には、ベクトル角度算出部113は、数1を用いることにより、基準ベクトルと候補ベクトルとがなす角度が180°に近づくにつれて大きな値となるベクトル角度distANGLEを算出する。
Figure 0006996669000001
基準ベクトルA1については、基準ベクトルA1と候補ベクトルB1とが成す角度に基づいてベクトル角度distANGLE(A1-B1)が算出され、基準ベクトルA1と候補ベクトルC1とが成す角度に基づいてベクトル角度distANGLE(A1-C1)が算出される。同様に、基準ベクトルA2については、基準ベクトルA2と候補ベクトルB2とが成す角度に基づいてベクトル角度distANGLE(A2-B2)が算出され、基準ベクトルA2と候補ベクトルC2とが成す角度に基づいてベクトル角度distANGLE(A2-C2)が算出される。同様に、基準ベクトルA3については、基準ベクトルA3と候補ベクトルB3とが成す角度に基づいてベクトル角度distANGLE(A3-B3)が算出され、基準ベクトルA3と候補ベクトルC3とが成す角度に基づいてベクトル角度distANGLE(A3-C3)が算出される。なお、第2の重み付け係数αの上限値として、ベクトル同士の合成を所望する始点間距離distSPの最大値を、ベクトル同士の合成を所望するベクトル角度distANGLEの最大値で除した値を設定してもよい。
候補ベクトル選択部106は、始点間距離算出部105で算出した始点間距離distSPと、ベクトル角度算出部113で算出したベクトル角度distANGLEの和を動線毎に算出する。また、候補ベクトル選択部106は、算出した値が最小となる動線を構成する候補ベクトルを、基準ベクトル抽出部104で抽出された複数の候補ベクトルのなかから選択し、基準ベクトルの合成の対象とする。ここでは、候補ベクトル選択部106は、始点間距離distSPとベクトル角度distANGLEの和が最小となる動線として動線bを選択し、動線bを構成する候補ベクトルB1,B2,B3をそれぞれ基準ベクトルA1,A2,A3の合成の対象として選択する。
図8は、候補ベクトルと基準ベクトルとを合成した矢印の一例を示す図である。描画部107は、図8に示すように、候補ベクトル選択部106で選択した候補ベクトルB1と基準ベクトルA1とを合成した矢印YA1B1、候補ベクトルB2と基準ベクトルA2とを合成した矢印YA2B2、候補ベクトルB3と基準ベクトルA3とを合成した矢印YA3B3を描画する。ここで、描画部107は、矢印YA1B1の始点の座標を、基準ベクトルA1の始点の座標と候補ベクトルB1の始点の座標とを結ぶ線分の中点に描画しているが、これに限らず、基準ベクトルA1の始点の座標と候補ベクトルB1の始点の座標とを結ぶ線分上に描画してもよい。ただし、矢印Yの終点の座標は、隣り合う矢印Yの始点の座標と同一又は近傍であることが望ましい。また、描画部107は、ベクトルの形状の矢印に限らず、例えば、V字形状や三角形状の矢印を描画してもよい。なお、描画部107は、点線で示された基準ベクトルA1,A2,A3と候補ベクトルB1,B2,B3を描画していないものとする。
表示装置11は、例えば、液晶ディスプレイであり、表示処理装置1から出力された各種データを表示する。
図9は、図1のシステムを構成するハードウェア装置の一例を示す図である。CPU808は、主記憶809に格納されたプログラムなどを実行することにより、図1に示す、識別部100、位置算出部101、動線データ管理テーブル102、エリア特定部110、動線抽出部111、分割点取得部112、ベクトル取得部103、基準ベクトル抽出部104、始点間距離算出部105、ベクトル角度算出部113、候補ベクトル選択部106及び描画部107という各機能を実現する。主記憶809は、例えば、不揮発性のメモリであり、CPU808に実行される各種プログラムを記憶する。GPU(Graphical Processing Unit)810は、描画を行うためのグラフィックプロセッサであり、動線及びGUI(Graphical User Interface)などの描画処理を行う。GPU810の描画は、専用の画像メモリ(フレームブッファ)に対して行われる。GPU810は、描画された画像を表示装置11へ出力する。表示装置11は、例えば、液晶ディスプレイであり、表示処理装置1から出力された画像を表示する。なお、表示装置11は、表示処理装置1に備えられていてもよい。ネットワークインターフェース804は、ネットワーク803を介して、ネットワークカメラ801で撮影された映像データを入力するためのインターフェースである。ネットワーク803は、有線又は無線のどちらでもよい。I/Oインターフェース805は、例えば、USB(Universal Serial Bus)を介して、カメラ802で撮影された映像データを入力するためのインターフェースである。なお、ネットワークカメラ801及びカメラ802は、図1のカメラ10a~10nの一例である。記憶部806は、CPU808やGPU810に処理される各種データ(映像データ、動線データ、プログラムデータなど)を記憶する。記憶部806は、システムバス807を介して、記憶されたデータをCPU808やGPU810へと転送する。
図10は、表示処理装置1の処理を示すフローチャート図である。まず、ベクトル取得部103は、動線データ管理テーブル102に記録された動線データによって示される複数の動線を構成するベクトルを取得する(S900)。次に、基準ベクトル抽出部104は、ベクトル取得部103で取得した複数のベクトルの中から、基準となる基準ベクトルと、基準ベクトルの合成の候補となる複数の候補ベクトルとを抽出する(S901)。次に、始点間距離算出部105は、それぞれの候補ベクトルの始点の座標から、基準ベクトルの始点の座標までの距離に基づいて始点間距離distSPを算出する(S902)。次に、ベクトル角度算出部113は、それぞれの候補ベクトルと基準ベクトルとがなす角度θANGLE(0°≦θANGLE≦180°)に基づいてベクトル角度distANGLEを算出する(S903)。次に、候補ベクトル選択部106は、始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる候補ベクトルを選択する(S904)。次に、描画部107は、候補ベクトル選択部106で選択された候補ベクトルと基準ベクトルとを合成した矢印を描画する(S905)。
本実施形態によれば、表示処理装置1は、複数の動線を構成するベクトル同士を合成した矢印を描画することで、動体の移動の態様を把握しやすくすることができる。また、表示処理装置1は、始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる候補ベクトルを選択することで、始点間距離の遠い候補ベクトル及び/又はベクトル角度の大きな候補ベクトルと基準ベクトルとが合成されにくくすることができる。また、利用者は、第2の重み付け係数αの値に応じて、基準ベクトルに対する候補ベクトルの合成されやすさを調整できるから、所望の位置関係にあるベクトル同士を合成した矢印を描画することが可能となる。
実施の形態2
実施の形態1では、基準ベクトル抽出部104は、基準となる動線を構成する複数のベクトルを基準ベクトルとし、基準となる動線とは異なる動線を構成するベクトルを候補ベクトルとして抽出した。そのため、基準ベクトルと同一の動線を構成するベクトルが候補ベクトルとして抽出されることがなかった。これに対し、実施の形態2では、基準ベクトル抽出部104は、図示せぬ操作部によって指定されたベクトルを基準ベクトルとし、基準ベクトルの始点の座標から所定の範囲(以降、抽出範囲と称する)に始点を有するベクトルを候補ベクトルとして抽出する。また、実施の形態2では、動線データ管理テーブル102に属性情報302や識別情報301を含まないものとする。
この場合、基準ベクトル抽出部104は、抽出した候補ベクトルが、基準ベクトルと同一の動線を構成するベクトルであるのか、基準ベクトルと異なる動線を構成するベクトルであるのかを区別することができない。また、図11に示すように、A2を基準ベクトルとし、半径R1を抽出範囲とした場合、基準ベクトル抽出部104は、基準ベクトルA2と同一の動線aを構成するA3を候補ベクトルとして抽出するだけで、基準ベクトルA2と異なる動線を構成するベクトルを候補ベクトルとして抽出することができない。また、A2を基準ベクトルとし、半径R2(半径R2>半径R1)を抽出範囲とした場合、基準ベクトル抽出部104は、基準ベクトルA2と同一の動線aを構成するA3だけでなく、基準ベクトルA2と異なる動線bを構成するB2及び動線cを構成するC2も候補ベクトルとして抽出することができる。しかしながら、始点間距離distSPが最短となる候補ベクトルは基準ベクトルA2と同一の動線を構成する候補ベクトルA3であるから、単に、始点間距離が最短となる候補ベクトルを基準ベクトルの合成の対象として選択したとしても、異なる動線を構成するベクトル同士を合成することができない。従って、複数の動線を構成するベクトル同士を合成した矢印を描画することができない。
以上のことから、実施の形態2では、同一の動線を構成するベクトルから算出された始点間距離distSPの値が大きく、異なる動線を構成するベクトルから算出された始点間距離distSPの値が小さくなるように重み付けをした始点間距離distSPを算出する。具体的には、図11において、A2を基準ベクトルとした場合には、基準ベクトルA2と候補ベクトルA3の始点間距離distSP(A2-A3)の値が大きく、基準ベクトルA2と候補ベクトルB2の始点間距離distSP(A2-B2)の値が小さくなるような重み付けをした始点間距離distSPを算出する。
図12は、始点間距離distSPの算出方法について説明するための図である。A2は、B102を始点の座標とし、X軸とのなす角度がθa2の基準ベクトルを示す。A3は、B104を始点の座標とし、X軸とのなす角度がθa3の候補ベクトルを示す。基準ベクトルA2と候補ベクトルA3は、同一の動線aを構成するベクトルを示す。B2は、B203を始点の座標とし、X軸とのなす角度がθb2の候補ベクトルを示す。ここでは、θa3とθb2は等しいものとする。GBは、基準ベクトルA2に対して候補ベクトルA3又は候補ベクトルB2を合成した合成ベクトルであり、X軸とのなす角度がθGBの合成ベクトルを示す。なお、合成ベクトルGBは、説明の便宜上図示したものであり、実際には描画されないものとする。
始点間距離算出部105は、数2、数3を用いて、基準ベクトル抽出部104で抽出された基準ベクトルA2と候補ベクトルA3の始点間の距離と、基準ベクトルA2と候補ベクトルB2の始点間の距離を、夫々、合成ベクトルGBが示す方向の成分dと、合成ベクトルGBが示す方向に垂直な方向の成分dとに分解する。
Figure 0006996669000002
Figure 0006996669000003
θGB:基準ベクトルと候補ベクトルを合成した合成ベクトルとX軸のなす角度
R(θGB):或る座標を、原点を中心にθGB度回転(時計回り)させる回転行列
(x2,):候補ベクトルの始点座標
(x1,):基準ベクトルの始点座標
図13は、基準ベクトルA2と候補ベクトルA3の始点間の距離と、基準ベクトルA2と候補ベクトルB2の始点間の距離を、合成ベクトルGBが示す方向の成分dと、合成ベクトルが示す方向に垂直な方向の成分dで示す図である。基準ベクトルA2と候補ベクトルA3のように、同一の動線を構成するベクトルから算出された成分dx(A2-A3)は、基準ベクトルA2と候補ベクトルB2のように、異なる動線を構成するベクトル同士から算出された成分dx(A2-B2)よりも大きくなる傾向がある。そこで、始点間距離算出部105は、数4を用いて、第1の重み付け係数β(β≧1)を用いて重み付けをした成分dと、成分dとに基づいて、始点間の距離に対して重み付けをした始点間距離distSPを算出する。これにより、基準ベクトルA2と候補ベクトルA3のように、同一の動線を構成するベクトルから算出された始点間距離distSP(A2-A3)よりも、基準ベクトルA2と候補ベクトルB2のように、異なる動線を構成するベクトルから算出された始点間距離distSP(A2-B2)の方が小さな値が算出されやすくなる。なお、合成が所望されるベクトル同士において、成分dが0のときに成分dが取り得る最大値を、成分dが0のときに成分dが取り得る最大値で除した値を第1の重み付け係数βの上限値として設定してもよい。
Figure 0006996669000004
次に、ベクトル角度算出部113は、上述した数1を用いて、基準ベクトル抽出部104で抽出された基準ベクトルA2と候補ベクトルA3がなす角度、基準ベクトルA2と候補ベクトルB2がなす角度のそれぞれが180°に近づくにつれて大きくなる値に対して、第2の重み付け係数α(α≧0)を用いて重み付けしたベクトル角度distANGLE(A2-A3)、ベクトル角度distANGLE(A2-B2)を算出する。
候補ベクトル選択部106は、始点間距離算出部105で算出した始点間距離distSPと、ベクトル角度算出部113で算出したベクトル角度distANGLEの和を算出する。そして、候補ベクトル選択部106は、始点間距離distSP(A2-A3)とベクトル角度distANGLE(A2-A3)、始点間距離distSP(A2-B2)とベクトル角度distANGLE(A2-A3)のそれぞれの和が最小となる候補ベクトルを選択する。ここでは、候補ベクトル選択部106は、候補ベクトルB2を基準ベクトルA2の合成の対象として選択する。
図14は、候補ベクトルと基準ベクトルとを合成した矢印の一例を示す図である。描画部107は、図14に示すように、候補ベクトル選択部106で選択された候補ベクトルB2と基準ベクトルA2とを合成した矢印YA2B2を描画する。ここで、描画部107は、矢印YA2B2の始点を、基準ベクトルA2の始点の座標と候補ベクトルB2の始点の座標とを結ぶ線分の中点に描画しているが、これに限らず、基準ベクトルA2の始点と候補ベクトルB2の始点とを結ぶ線分上に描画してもよい。ただし、矢印Yの終点の座標は、隣り合う矢印Yの始点の座標と同一又は近傍であることが望ましい。また、描画部107は、ベクトルの形状の矢印に限らず、例えば、V字形状や三角形状の矢印を描画してもよい。なお、描画部107は、点線で示された基準ベクトルA2と候補ベクトルB2を描画していないものとする。
表示装置11は、例えば、液晶ディスプレイであり、表示処理装置1から出力された各種データを表示する。
本実施形態によれば、表示処理装置1は、複数の動線を構成するベクトル同士を合成した矢印を描画することで、動体の移動の態様を把握しやすくすることができる。また、表示処理装置1は、始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる候補ベクトルを選択することで、始点間距離の遠い候補ベクトル及び/又はベクトル角度の大きな候補ベクトルと基準ベクトルとが合成されにくくすることができる。また、利用者は、第2の重み付け係数αの値及び/又は第1の重み付け係数βの値に応じて、基準ベクトルに対する候補ベクトルの合成されやすさを調整できるから、所望の位置関係にあるベクトル同士を合成した矢印を描画することが可能となる。
実施の形態3
この発明の実施の形態3の表示処理装置1について図15、図16を用いて説明する。図15は、実施の形態3に係る表示処理装置1の構成図であり、図1に示す実施の形態1に関わる表示処理装置1に加え、工程経路描画部108、生産工程管理テーブル109を備えたことを特徴とする。生産工程管理テーブル109には、生産工程管理データ、別名MES(Manufacturing Execution System:製造実行システム)データと呼ばれる、作業工程手順、入荷・出荷、品質、保守、設備、製造実行、仕掛品などを管理するためのデータが記録され、少なくとも、生産ラインにおける各工程の内容を特定する工程情報(加工、組立、検査、梱包など)と、工程の順序を特定する工程経路情報とを含む。工程経路情報は、部品、材料、製品などのモノの流れ及び/又は作業工程、生産工程の流れといった工程の経路を示す。工程経路描画部108は、生産工程管理データから工程経路情報と工程情報とを抽出し、工程経路を示す矢印及び/又は工程情報を描画する。この工程経路描画部108により描画された工程経路を示す矢印及び/又は工程情報は、描画部107により描画された矢印と共に表示装置11に重畳表示される。以降、それぞれの矢印を区別して説明する場合には、工程経路描画部108により描画された矢印を工程経路矢印、描画部107により描画された矢印を動体矢印と称する。
図16は、矢印を用いて代表的な動線を示す図である。1000a~lは、工程経路矢印を示しており、2000は、動体矢印を示している。工程経路矢印1000と動体矢印2000は、夫々を区別するために、少なくとも、色(濃度,明度,彩度)、実線、点線、幅方向の長さの何れかが異なる表示態様の矢印で描画される。また、工程経路描画部108は、各工程の内容や作業工程やモノの種類に応じて、色(濃度,明度,彩度)、実線、点線、幅方向の長さを変えた工程経路矢印1000を描画してもよい。図16の例では、工程経路矢印1000a~cと、動体矢印2000が同じ方向に向かっており、工程経路に沿って作業者が移動していることが示されている。また、マウスなどの図示せぬ操作手段を介して動体矢印2000が選択された場合には、作業者の属性情報や移動履歴などが1100のように表示される。同様に、作業工程を示す工程経路矢印1000が選択された場合には、該当の作業工程を担う設備の稼働状況、生産状況、保守状況、品質状況などが表示される。このように、作業者の移動の態様を示す動体矢印2000だけでなく、工程経路を示す工程経路矢印1000を重畳表示することによって、作業者の移動と、工程経路の相関関係を可視化することができる。これにより、作業者の移動や、工程経路の無駄を把握することが容易となり、工場のレイアウト改善や人員配置など、作業の効率化に役立てることが可能となる。
その他の応用例
上述した実施例は本発明の実施の一例に過ぎず、以下のような構成を追加/変更した応用例が考えられる。
上述した実施形態においては、或る基準ベクトルに対して、1本の候補ベクトルを合成した矢印を描画したがこれに限られない。具体的には、表示処理装置1は、或る基準ベクトルに対して、複数本の候補ベクトルを合成した矢印を描画してもよい。図17は、表示装置11に表示されたスライダーバーを示す図である。702は、合成する候補ベクトルの本数(以降、合成数と称する。)の指定を受け付けるためのスライダーバーである。表示処理装置1は、スライダーバー702を介して合成数の指定を受け付ける。候補ベクトル選択部106は、始点間距離distSPとベクトル角度distANGLEの和が小さい候補ベクトルから順に、指定された合成数の候補ベクトルを選択する。そして、描画部107は、或る基準ベクトルと、候補ベクトル選択部106で選択された複数の候補ベクトルとを合成した矢印を描画する。このように、スライダーバー702の操作に応じて逐次変化する矢印を確認しながら、合成数を指定することができるから、利用者は、所望の合成数の矢印に基づいて、動体の移動の態様を把握することができる。
また、表示処理装置1は、所定の期間に移動した動体の動線を構成するベクトルのみを合成した矢印を描画してもよい。図17の703は、期間の指定を受け付けるためのスライダーバーである。ベクトル取得部103は、スライダーバー703を介して指定された期間に含まれた時間情報を含む動線データを動線データ管理テーブル102から抽出し、当該動線データによって表される複数の動線を構成するベクトルを取得してもよい。このように、スライダーバー703の操作に応じて逐次変化する矢印を確認しながら、期間を指定することができるから、利用者は、所望の期間のベクトルを合成した矢印に基づいて、動体の移動の態様を把握することができる。
また、描画部107は、合成したベクトルの本数に応じて、幅方向の長さ(太さ)、及び/又は、色(濃度、明度、彩度)を変えた矢印を描画してもよい。図18は、幅方向の長さ、及び/又は、色を変えた矢印を示す図である。描画部107は、合成したベクトルの本数が閾値未満の場合には、矢印Y701のように幅方向の長さを短くし、合成したベクトルの本数が閾値以上の場合には、矢印Y700のように幅方向の長さを長くする。また、描画部107は、合成したベクトルの本数が閾値未満の場合には、矢印Y700のように色の濃度を薄く、彩度を低く、又は、背景色との明度差を小さくし、合成したベクトルの本数が閾値以上の場合には、矢印Y700のように色の濃度を濃く、彩度を高く、又は、背景色との明度差を大きくする。これにより、描画部107が描画した矢印から、動体が移動した頻度を把握しやすくすることができるという効果を奏する。なお、矢印の幅方向の長さ、及び/又は、色(濃度,明度,彩度)を変化させる基準となる閾値は複数設定されていてもよい。
また、描画部107は、動体の移動速度に応じて、幅方向の長さ(太さ)、及び/又は、色(濃度,明度,彩度)を変えた矢印を描画してもよい。具体的には、図18に示すように、描画部107は、矢印Y701のように長さが閾値未満(つまり、動体の移動速度が閾値未満)の場合には、幅方向の長さを短くし、矢印Y700のように長さが閾値以上(つまり、動体の移動速度が閾値以上)の場合には、矢印Y700のように幅方向の長さを長くする。また、描画部107は、矢印Y701のように長さが閾値未満(つまり、動体の移動速度が閾値未満)の場合には、矢印の色の濃度を薄く、彩度を低く、又は、背景色との明度差を小さくし、矢印Y700のように長さが閾値以上(つまり、動体の移動速度が閾値以上)の場合には、矢印の色の濃度を濃く、彩度を高く、又は、背景色との明度差を大きくする。これにより、描画部107が描画した矢印に基づいて、動体の移動速度の変化を把握しやすくすることができるという効果を奏する。なお、矢印の幅方向の長さ、及び/又は、色(濃度,明度,彩度)を変化させる基準となる閾値は複数設定されていてもよい。
ベクトル取得部103は、図示せぬ操作部から指定された作業者IDなどの識別情報301や、作業者が担当する作業エリアなどの属性情報302を含む動線データを動線データ管理テーブル102から抽出し、当該動線データによって表される複数の動線を構成するベクトルを取得してもよい。これにより、所望の識別情報301又は属性情報302に関連した動体の移動の態様を把握しやすくすることができるという効果を奏する。
上述した表示処理装置1が実施する複数の動線を構成するベクトルを合成した矢印を描画する処理は、表示処理方法として構成されてもよいし、コンピュータを機能させるためのプログラムとして構成されてもよい。
1 表示処理装置、100 識別部、101 位置算出部、102 動線データ管理テーブル、103 ベクトル取得部、104 基準ベクトル抽出部、105 始点間距離算出部、106 候補ベクトル選択部、107 描画部、108 工程経路描画部、109 生産工程管理テーブル、110 エリア特定部、111 動線抽出部、112 分割点取得部、113 ベクトル角度算出部

Claims (10)

  1. 動体が存在した位置を示す座標と、当該座標が示す位置に動体が存在した時刻を示す時間情報を含む動線データによって示される複数の動線を構成するベクトルを取得するベクトル取得部と、
    前記ベクトル取得部で取得した複数のベクトルの中から、基準となる基準ベクトルと、当該基準ベクトルの合成の候補となる複数の候補ベクトルとを抽出する基準ベクトル抽出部と、
    前記基準ベクトル抽出部で抽出されたそれぞれの前記候補ベクトルの始点の座標から、前記基準ベクトルの始点の座標までの距離に基づいて始点間距離distSPを算出する始点間距離算出部と、
    前記基準ベクトル抽出部で抽出されたそれぞれの前記候補ベクトルと前記基準ベクトルとがなす角度θANGLE(0°≦θANGLE≦180°)に基づいてベクトル角度distANGLEを算出するベクトル角度算出部と、
    前記始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる前記候補ベクトルを選択する候補ベクトル選択部と、
    前記候補ベクトル選択部で選択された前記候補ベクトルと前記基準ベクトルとを合成した矢印を描画する描画部と
    を備えることを特徴とする表示処理装置。
  2. 前記ベクトル角度算出部は、
    以下の式に従ってベクトル角度distANGLEを算出する
    Figure 0006996669000005
    θANGLE:基準ベクトルと候補ベクトルとがなす角度
    α:第2の重み付け係数(α≧0)
    ことを特徴とする請求項1に記載の表示処理装置。
  3. 前記始点間距離算出部は、前記基準ベクトルの始点の座標から前記候補ベクトルの始点の座標までの距離を、当該基準ベクトルと当該候補ベクトルを合成した合成ベクトルが示す方向の成分dと、当該合成ベクトルが示す方向に垂直な方向の成分dとに分解し、当該成分dに対して第1の重み付け係数β(β≧1)を用いて重み付けした値と、当該成分dとに基づいて始点間距離distSPを算出する
    ことを特徴とする請求項1又は2の何れかに記載の表示処理装置。
  4. 前記始点間距離算出部は、
    以下の式に従って前記始点間距離distSPを算出する
    Figure 0006996669000006
    Figure 0006996669000007
    Figure 0006996669000008
    θGB:基準ベクトルと候補ベクトルを合成した合成ベクトルとX軸のなす角度
    β:第1の重み付け係数(β≧1)
    (x2,):候補ベクトルの始点座標
    (x1,):基準ベクトルの始点座標
    ことを特徴とする請求項1~3の何れか1つに記載の表示処理装置。
  5. 前記描画部は、
    合成したベクトルの数に応じて色及び/又は幅方向の長さを変えた矢印を描画する
    ことを特徴とする請求項1~4の何れか1つに記載の表示処理装置。
  6. 前記描画部は、
    前記動体の移動速度に応じて色及び/又は幅方向の長さを変えた矢印を描画する
    ことを特徴とする請求項1~5の何れか1つに記載の表示処理装置。
  7. 時間情報の範囲を指定するための時間情報指定部を備え、
    前記ベクトル取得部は、前記時間情報指定部で指定された時間情報の範囲に含まれた時間情報を含む動線データによって示される複数の動線を構成するベクトルを取得する
    ことを特徴とする請求項1~6の何れか1つに記載の表示処理装置。
  8. モノや工程の流れを示す矢印を描画する工程経路描画部を更に備える
    ことを特徴とする請求項1~7の何れか1つに記載の表示処理装置。
  9. 動体が存在した位置を示す座標と、当該座標が示す位置に動体が存在した時刻を示す時間情報を含む動線データによって示される複数の動線を構成するベクトルを取得するベクトル取得ステップと、
    前記ベクトル取得ステップで取得した複数のベクトルの中から、基準となる基準ベクトルと、当該基準ベクトルの合成の候補となる複数の候補ベクトルとを抽出する基準ベクトル抽出ステップと、
    前記基準ベクトル抽出ステップで抽出されたそれぞれの前記候補ベクトルの始点の座標から、前記基準ベクトルの始点の座標までの距離に基づいて始点間距離distSPを算出する始点間距離算出ステップと、
    前記基準ベクトル抽出ステップで抽出されたそれぞれの前記候補ベクトルと前記基準ベクトルとがなす角度θANGLE(0°≦θANGLE≦180°)に基づいてベクトル角度distANGLEを算出するベクトル角度算出ステップと、
    前記始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる前記候補ベクトルを選択する候補ベクトル選択ステップと、
    前記候補ベクトル選択ステップで選択された前記候補ベクトルと前記基準ベクトルとを合成した矢印を描画する描画ステップと
    を備えることを特徴とする表示処理方法。
  10. 動体が存在した位置を示す座標と、当該座標が示す位置に動体が存在した時刻を示す時間情報を含む動線データによって示される複数の動線を構成するベクトルを取得するベクトル取得ステップと、
    前記ベクトル取得ステップで取得した複数のベクトルの中から、基準となる基準ベクトルと、当該基準ベクトルの合成の候補となる複数の候補ベクトルとを抽出する基準ベクトル抽出ステップと、
    前記基準ベクトル抽出ステップで抽出されたそれぞれの前記候補ベクトルの始点の座標から、前記基準ベクトルの始点の座標までの距離に基づいて始点間距離distSPを算出する始点間距離算出ステップと、
    前記基準ベクトル抽出ステップで抽出されたそれぞれの前記候補ベクトルと前記基準ベクトルとがなす角度θANGLE(0°≦θANGLE≦180°)に基づいてベクトル角度distANGLEを算出するベクトル角度算出ステップと、
    前記始点間距離distSPとベクトル角度distANGLEの和に基づいて合成の対象となる前記候補ベクトルを選択する候補ベクトル選択ステップと、
    前記候補ベクトル選択ステップで選択された前記候補ベクトルと前記基準ベクトルとを合成した矢印を描画する描画ステップと
    をコンピュータに実行させるプログラム。
JP2021550883A 2019-10-03 2019-10-03 表示処理装置、表示処理方法及びプログラム Active JP6996669B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039127 WO2021064943A1 (ja) 2019-10-03 2019-10-03 表示処理装置、表示処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021064943A1 JPWO2021064943A1 (ja) 2021-04-08
JP6996669B2 true JP6996669B2 (ja) 2022-02-04

Family

ID=75337935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021550883A Active JP6996669B2 (ja) 2019-10-03 2019-10-03 表示処理装置、表示処理方法及びプログラム

Country Status (3)

Country Link
JP (1) JP6996669B2 (ja)
TW (1) TW202115464A (ja)
WO (1) WO2021064943A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346617A (ja) 2004-06-07 2005-12-15 East Japan Railway Co 通行人行動解析システム
WO2012111138A1 (ja) 2011-02-18 2012-08-23 株式会社日立製作所 歩行者移動情報検出装置
WO2017170084A1 (ja) 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体
WO2019162988A1 (ja) 2018-02-20 2019-08-29 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003022309A (ja) * 2001-07-06 2003-01-24 Hitachi Ltd 動線情報を基にした施設管理装置
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346617A (ja) 2004-06-07 2005-12-15 East Japan Railway Co 通行人行動解析システム
WO2012111138A1 (ja) 2011-02-18 2012-08-23 株式会社日立製作所 歩行者移動情報検出装置
WO2017170084A1 (ja) 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体
WO2019162988A1 (ja) 2018-02-20 2019-08-29 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2021064943A1 (ja) 2021-04-08
WO2021064943A1 (ja) 2021-04-08
TW202115464A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
Braun et al. Combining inverse photogrammetry and BIM for automated labeling of construction site images for machine learning
US11710322B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
US10755480B2 (en) Displaying content in an augmented reality system
US11436755B2 (en) Real-time pose estimation for unseen objects
CN112432641B (zh) 基于点云数字孪生技术的变电站操作票执行方法
JPH05334438A (ja) カメラ映像内の物体位置のマッピング方法及び物体同定方法
Liu et al. Image-based semantic construction reconstruction
JP7004116B2 (ja) 表示処理装置、表示処理方法及びプログラム
Devaux et al. 3D urban geovisualization: In situ augmented and mixed reality experiments
JP6996669B2 (ja) 表示処理装置、表示処理方法及びプログラム
Hönig et al. Dynamic multi-target coverage with robotic cameras
JP2023100805A (ja) 撮像装置、撮像方法及び撮像プログラム
WO2023197705A1 (zh) 图像处理方法、装置、计算机设备、存储介质和计算机程序
JP2009009539A (ja) 円形状検出装置
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
Tasneem PATH PLANNING FOR ROBOTIC VISUAL INSPECTION BASED ON THE OBJECT SHAPE
Li et al. Research on Multi-sensor Fusion Traffic Environment Perception Method for Autonomous Driving
Walther et al. Project controlling of road construction sites as a comparison of as-built and as-planned models using convex hull algorithm
JP2004252815A (ja) 画像表示装置、画像表示方法およびプログラム
Arques et al. Applying distance histograms for robust object recognition
JPH01154284A (ja) オプティカルフロー補間方式
JP2021174285A (ja) 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム
JPH08137542A (ja) テレビカメラ映像による監視制御装置
Asadzadeh et al. Geometrical scene analysis for vision-based construction monitoring: Fully automatic far-field camera calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129