JP7004116B2 - 表示処理装置、表示処理方法及びプログラム - Google Patents

表示処理装置、表示処理方法及びプログラム Download PDF

Info

Publication number
JP7004116B2
JP7004116B2 JP2021534843A JP2021534843A JP7004116B2 JP 7004116 B2 JP7004116 B2 JP 7004116B2 JP 2021534843 A JP2021534843 A JP 2021534843A JP 2021534843 A JP2021534843 A JP 2021534843A JP 7004116 B2 JP7004116 B2 JP 7004116B2
Authority
JP
Japan
Prior art keywords
area
flow line
unit
average
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021534843A
Other languages
English (en)
Other versions
JPWO2021014479A1 (ja
Inventor
悠介 中田
義幸 加藤
圭子 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021014479A1 publication Critical patent/JPWO2021014479A1/ja
Application granted granted Critical
Publication of JP7004116B2 publication Critical patent/JP7004116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuits Of Receivers In General (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Image Generation (AREA)

Description

この発明は表示処理装置、表示処理方法及びプログラムに関する。
従来から、交通機関,商業施設などの所定の空間において、通行人などの移動軌跡を表す座標を算出し、算出した座標に基づいて動体の動線を表示する技術が知られている。
例えば、特許文献1には、画像データから人物を抽出し、人物が対象へ向いている方向と時間を動線とともに表示する技術が開示されている。
また、例えば、特許文献2には、所定の空間を通行する通行人の位置をトラッキングして通行軌跡(動線)を求め、所定の空間を所定時間内に通行した通行人全ての動線を表示する技術が開示されている。
WO2017-170084号公報(図5) 特開2005―346617号公報(図6)
特許文献1に開示された技術では、一本の動線を表示することしか想定されていないという課題があった。
また、上記特許文献2に開示された技術では、複数本の動線が表示されるが、複数本の動線が重ね合わされた状態で表示されるため、表示される動線の本数が増えるにつれて動体の移動の態様を把握し難くなるという課題があった。
この発明は上述した問題点を解決するためになされたものであり、第1のエリアを出発し第2のエリアに到着する動体の軌跡及び/又は第2のエリアを出発し第1のエリアに到着する動体の軌跡を示す複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすることを目的とするものである。
この発明に係る表示処理装置は、第1のエリアを出発し第2のエリアに到着する動体の軌跡及び/又は第2のエリアを出発し第1のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出部と、前記動線抽出部で抽出された動線をそれぞれ、分割数N(Nは2以上の整数)で分割することによりN-1個の分割点を取得する分割点取得部と、前記分割点取得部で取得された異なる動線に属する分割点の座標同士を平均することによりN-1個の平均点を算出する平均点算出部と、前記平均点算出部で取得されたN-1個の平均点、前記第1のエリア及び前記第2のエリアを通る動線を描画する描画部とを備えることを特徴とするものである。
この発明の表示処理装置は、第1のエリアを出発し第2のエリアに到着する動体の軌跡及び/又は第2のエリアを出発し第1のエリアに到着する動体の軌跡を示す複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすることができるという効果を奏する。
本発明の一実施形態に係る表示処理装置の構成図である。 工場内におけるカメラの設置例を示す図である。 動線データ管理テーブル107の一例を示す図である。 動線抽出部109により抽出された動線の一例を示す図である。 動線D1,D2,D3を3分割して得られる2個の分割点を示す図である。 動線D1,D2,D3に基づく代表的な動線Rを示す図である。 表示処理装置100の処理を示すフローチャート図である。 図1のシステムを構成するハードウェア装置の一例を示す図である。 矢印を用いて代表的な動線を示す図である。 矢印を用いて代表的な動線を示す図である。 実施の形態3に係る表示処理装置の構成図である。 表示画面11の一例を示す図である。 表示装置11に表示されたスライダーバーを示す図である。
1.実施の形態1
図1は、本発明の一実施形態に係る表示処理装置の構成図である。カメラ10a~10nは、施設内の天井付近など見通しの良い場所に設置され、移動する人物や物体(以降、それぞれを区別する必要がない場合には動体と称する。)を撮影する。カメラ10a~10nは、互いに連携し、動体が施設内のどの場所にいても切れ目なく撮影可能な位置に設置される。図2は、工場内におけるカメラの設置例を示す図である。工場には、カメラ10a~10nの他、工場の柱と壁などの躯体200、製造装置、ロボット、作業台などの設備207が配置されている。カメラ10a~10nは、撮影対象の死角を少なくするため、画角の大きなレンズを用いて広い範囲を撮影する。
識別部105は、カメラ10a~10nにより撮影された映像から施設内を移動する同一の動体を識別するとともに識別した動体をカメラ10a~10nの全撮影エリアにわたって追跡する。動体を識別する手法として、作業服やヘルメットに貼り付けた固有のマーカーやバーコードを認識する画像識別法を用いることができる。また、機械学習による動体推定法を用いてもよい。機械学習では、複数の動体がすれ違う場合や、動体の一部が物体の陰に隠れてしまう場合でも、その動体を正しく識別できるよう学習を行ってもよい。
位置算出部106は、追跡した動体の移動軌跡を表す座標を算出する。一般的に、カメラの撮影映像から算出した動体の座標は、個々のカメラに固有なローカルな座標系(カメラ座標系)で表現されるため、位置算出部106は、カメラ10a~10nの設置位置、向き、レンズの画角、レンズの焦点距離、レンズの収差などのパラメータを用いて、カメラ座標系をグローバルな世界座標系へ座標変換する。座標変換に用いる式を求めるため、先述のパラメータを用いて、カメラ間の位置合わせ調整(キャリブレーション)が事前に行われているものとする。
動線データ管理テーブル107には、位置算出部106から出力される動体の移動軌跡を示す動線データが記録される。図3は、動線データ管理テーブル107の一例を示す図である。動線データ管理テーブル107は、動体の移動軌跡を示す座標303、所定の時間間隔の時刻であって、各座標に動体が存在した時刻を示す時間情報300、動体の識別情報301及び動体の属性情報302が動線データとして記録される。時間情報300は、例えば、年4桁、月2桁、日2桁、時2桁(24時間制)、分2桁、秒2桁、ミリ秒3桁で表される。識別情報301は、例えば、作業者IDなど、動体を1つに識別するための情報である。属性情報302は、識別情報301に対応付けられた情報であり、特定の動体が存在するエリアを示す情報である。動体が作業者である場合、属性情報302は、例えば、作業者が担当する作業エリアを表す。また、動体が物体である場合、属性情報302は、例えば、物体が一時的に保管されるエリアや倉庫を表す。これらの情報は、カメラ撮影のフレーム単位で記録可能であるが、識別部105及び位置算出部106の処理負荷、可視化したい動線の時間間隔などに応じて決定されてもよい。
エリア特定部108は、動線データ管理テーブル107に記録された動線データから動体の停留時間が長いエリアを特定する。
動線抽出部109は、エリア特定部108で特定されたエリア間を移動する動体の移動軌跡を示す複数の動線を抽出する。図4は、動線抽出部109により抽出された動線の一例を示す図である。a1,a2は、エリア特定部108で特定されたエリアであり、a1を出発エリア、a2を到着エリアと称する。D1,D2,D3は、出発エリアa1から到着エリアa2に移動する動体の移動軌跡を表す動線であり、それぞれ座標P100~P110,P200~P206,P300~P307により表される。動線抽出部109は、動線データ管理テーブル107(図3)に記録された動線の座標を取得することにより動線D1,D2,D3を抽出する。
分割点取得部110は、動線抽出部109で抽出された動線をそれぞれ、分割数N(Nは2以上の整数)で分割することによりN-1個の分割点の座標を取得する。図5は、動線D1,D2,D3を3分割して得られる2個の分割点を示す図である。分割点取得部110は、動線D1,D2,D3をそれぞれ構成する座標のうち、出発エリアa1に属する座標(出発点)P100,P200,P300と、到着エリアa2に属する座標(到着点)P110,P206,P307の間に存在する座標P101~P109,P201~P205,P301~P306のそれぞれから、2つの座標を分割点として取得する。分割点はサンプリング間隔が等しくなるように取得され、動線D1については、座標P103,P106が分割点B103,B106として取得される。同様に、動線D2については、座標P202,P204が分割点B202,B204として取得され、動線D3については、座標P302,P304が分割点B302,B304として取得される。
平均点算出部111は、分割点取得部110で取得された異なる動線に属する分割点の座標同士を平均することによりN-1個の平均点の座標を算出する。また、平均点算出部111は、出発エリアa1に含まれる出発点の座標の平均値を平均出発点、到着エリアa2に含まれる到着点の座標の平均値を平均到着点として算出する。
描画部112は、平均点算出部111で算出された平均出発点、N-1個の平均点、および、平均到着点を通る線を描画する。これにより、動線抽出部109で抽出された複数の動線に基づく代表的な動線を得ることができる。図6は、動線D1,D2,D3に基づく代表的な動線Rを示す図である。図6において、H0は平均出発点、H3は平均到着点であり、H1は分割点B103,B202,B302の平均点であり、H2は分割点B106,B204,B304の平均点である。平均出発点H0,平均点H1,H2,平均到着点H3を結ぶことにより、動線D1,D2,D3を代表する動線Rが描画される。
表示装置11は、例えば、液晶ディスプレイであり、表示処理装置100から出力された各種データを表示する。
図7は、表示処理装置100の処理を示すフローチャート図である。まず、エリア特定部108は、動線データ管理テーブル107に記録された動線データから動体の停留時間が長いエリアを特定する(S400)。次に、動線抽出部109は、エリア特定部108で特定されたエリア間を移動する動体の移動軌跡を示す複数の動線を抽出する(S401)。次に、分割点取得部110は、動線抽出部109で抽出された動線をそれぞれ、分割数N(Nは2以上の整数)で分割することによりN-1個の分割点の座標を取得する(S402)。次に、平均点算出部111は、分割点取得部110で取得された異なる動線に属する分割点の座標同士を平均することによりN-1個の平均点の座標を算出する。また、平均点算出部111は、出発エリアa1に含まれる座標の平均値を平均出発点、到着エリアa2に含まれる座標の平均値を平均到着点として算出する(S403)。描画部112は、平均点算出部111で算出されたN-1個の平均点、出発エリアa1に含まれる平均出発点及び到着エリアa2に含まれる到着平均点を通る動線を描画する(S404)。
図8は、図1のシステムを構成するハードウェア装置の一例を示す図である。CPU808は、主記憶809に格納されたプログラムなどを実行することにより、図1に示す、識別部105、位置算出部106、エリア特定部108、動線抽出部109、分割点取得部110、平均点算出部111及び描画部112という各機能を実現する。主記憶809は、例えば、不揮発性のメモリであり、CPU808に実行される各種プログラムを記憶する。GPU(Graphical Processing Unit)810は、描画を行うためのグラフィックプロセッサであり、動線及びGUI(Graphical User Interface)などの描画処理を行う。GPU810の描画は、専用の画像メモリ(フレームブッファ)に対して行われる。GPU810は、描画された画像を表示装置11へ出力する。表示装置11は、例えば、液晶ディスプレイであり、表示処理装置100から出力された画像を表示する。なお、表示装置11は、表示処理装置100に備えられていてもよい。ネットワークインターフェース804は、ネットワーク803を介して、ネットワークカメラ801で撮影された映像データを入力するためのインターフェースである。ネットワーク803は、有線又は無線のどちらでもよい。I/Oインターフェース805は、例えば、USB(Universal Serial Bus)のようなインターフェースを介して、カメラ802で撮影された映像データを入力するためのインターフェースである。なお、ネットワークカメラ801及びカメラ802は、図1のカメラ10a~10nの一例である。記憶部806は、CPU808やGPU810に処理される各種データ(映像データ、動線データ、プログラムデータなど)を記憶する。記憶部806は、システムバス807を介して、記憶されたデータをCPU808やGPU810へと転送する。
本実施形態によれば、表示処理装置100は、複数の動線を平均した動線を描画することで、動体の移動の態様を把握しやすくすることができる。また、表示処理装置100は、動体の停留時間が長いエリアを出発した、又は、動体の停留時間が長いエリアに到着した複数の動線を平均した動線を描画することで、例えば、作業者が作業するエリアや部品が保管されているエリアを中心とした作業者や部品の移動の態様を把握しやすくすることができる。
2.実施の形態2
この発明の実施の形態2の表示処理装置について図9、図10を用いて説明する。図9及び図10は、矢印を用いて代表的な動線を示す図である。図9において、図6と同一符号は同一部分を示す。実施の形態1における描画部112は、平均出発点,平均点,平均到着点の各々を結ぶことで代表的な動線を表す線を描画したが、実施の形態2における描画部112は、図9に示すように、矢印R11,R12,R13を用いて代表的な動線を描画する。図9に示すように、矢印R11,R12,R13は、平均出発点H0と平均点H1、平均点H1と次の平均点H2、平均点H2と到着平均点H3をむすぶように描画される。これにより、動体の移動方向を把握することができるという効果を奏する。なお、描画部112は、図9に示すような矢印以外に、V字形状、ベクトル形状などで表される矢印を描画することで、動体が移動した方向を示してもよい。
図10において、V字形状で表された矢印R101~R119は、a3を出発エリアとし、a4を到着エリアとする動体の代表的な動線を示している。矢印R201~R212は、a4を出発エリアとし、a3を到着エリアとする動体の代表的な動線を示している。矢印R301~R308は、a5を出発エリアとし、a6を到着エリアとする動体の代表的な動線を示している。
ここで、描画部112は、動体の移動速度に応じて、色(濃度,明度,彩度)及び/又は幅方向の長さを変えた矢印を描画してもよい。具体的には、描画部112は、矢印R106~R115のように隣り合う平均点の距離が閾値未満(つまり、動体の移動速度が閾値未満)の場合には、矢印の色の濃度を薄く、彩度を低く、又は、背景色との明度差を小さくし、矢印R101~R105,R116~R119のように隣り合う平均点の距離が閾値以上(つまり、動体の移動速度が閾値以上)の場合には、矢印の色の濃度を濃く、彩度を高く、又は、背景色との明度差を大きくする。これにより、描画部112が描画した矢印に基づいて、動体の移動速度の変化を把握しやすくすることができるという効果を奏する。なお、矢印の色(濃度,明度,彩度)を変化させる基準となる閾値は複数設定されていてもよい。また、描画部112は、動体の移動速度が閾値未満の場合には、矢印R106~R115のように幅方向の長さを短くし、動体の移動速度が閾値以上の場合には、矢印R101~R105,R116~R119のように幅方向の長さを長くする。
また、描画部112は、動線抽出部109で抽出された動線の本数に応じて、幅方向の長さ、及び/又は、色(濃度、明度、彩度)を変えた矢印を描画してもよい。具体的には、描画部112は、動線抽出部109で抽出された動線の本数が閾値未満の場合には、矢印R301~308のように幅方向の長さを短くし、抽出された動線の本数が閾値以上の場合には、矢印R201~212のように幅方向の長さを長くする。また、描画部112は、抽出された動線の本数が閾値未満の場合には、矢印R301~308のように色の濃度を薄く、彩度を低く、又は、背景色との明度差を小さくし、抽出された動線の本数が閾値以上の場合には、矢印R201~212のように色の濃度を濃く、彩度を高く、又は、背景色との明度差を大きくする。これにより、描画部112が描画した矢印から、動体が移動した頻度を把握しやすくすることができるという効果を奏する。なお、矢印の幅方向の長さ、及び/又は、色(濃度,明度,彩度)を変化させる基準となる閾値は複数設定されていてもよい。
3.実施の形態3
この発明の実施の形態3の表示処理装置について図11、図12を用いて説明する。図11は、実施の形態3に係る表示処理装置の構成図であり、図1に示す実施の形態1に関わる表示処理装置に加え、工程経路描画部113、生産工程管理テーブル114を備えたことを特徴とする。生産工程管理テーブル114には、生産工程管理データ、別名MES(Manufacturing Execution System:製造実行システム)データと呼ばれる、作業工程手順、入荷・出荷、品質、保守、設備、製造実行、仕掛品などを管理するためのデータが記録され、少なくとも、生産ラインにおける各工程の内容を特定する工程情報(加工、組立、検査、梱包など)と、工程の順序を特定する工程経路情報とを含む。工程経路情報は、部品、材料、製品などのモノの流れ及び/又は作業工程、生産工程の流れといった工程の経路を示す。工程経路描画部113は、生産工程管理データから工程経路情報と工程情報とを抽出し、工程経路を示す矢印及び/又は工程情報を描画する。この工程経路描画部113により描画された工程経路を示す矢印及び/又は工程情報は、描画部112により描画された矢印と共に表示装置11に重畳表示される。以降、それぞれの矢印を区別して説明する場合には、工程経路描画部113により描画された矢印を工程経路矢印、描画部112により描画された矢印を動体矢印と称する。
図12に、表示画面の一例を示す。1000a~lは、工程経路矢印を示しており、2000は、動体矢印を示している。工程経路矢印1000と動体矢印2000は、夫々を区別するために、少なくとも、色(濃度,明度,彩度)、実線、点線、幅方向の長さの何れかが異なる表示態様の矢印で描画される。また、工程経路描画部113は、各工程の内容や作業工程やモノの種類に応じて、色(濃度,明度,彩度)、実線、点線、幅方向の長さを変えた工程経路矢印1000を描画してもよい。図12の例では、工程経路矢印1000a~cと、動体矢印2000が同じ方向に向かっており、工程経路に沿って作業者が移動していることが示されている。また、マウスなどの図示せぬ操作手段を介して動体矢印2000が選択された場合には、作業者の属性情報や移動履歴などが1100のように表示される。同様に、作業工程を示す工程経路矢印1000が選択された場合には、該当の作業工程を担う設備の稼働状況、生産状況、保守状況、品質状況などが表示される。このように、作業者の移動の態様を示す動体矢印2000だけでなく、工程経路を示す工程経路矢印1000を重畳表示することによって、作業者の移動と、工程経路の相関関係を可視化することができる。これにより、作業者の移動や、工程経路の無駄を把握することが容易となり、工場のレイアウト改善や人員配置など、作業の効率化に役立てることが可能となる。
4.その他の応用例
上述した実施例は本発明の実施の一例に過ぎず、以下のような構成を追加/変更した応用例が考えられる。
図1に示す分割点取得部110は、表示装置11に表示されたスライダーバーを介して、図示せぬ操作部から指定された分割数を受け付けてもよい。図13は、表示装置11に表示されたスライダーバーを示す図である。702は、分割数を指定するためのスライダーバーである。分割点取得部110は、スライダーバー702を介して指定された分割数を用いて動線を分割してもよい。また、703は、時間情報の範囲を指定するためのスライダーバーであり、この発明の時間情報指定部の一例として機能する。図1に示す動線抽出部109は、スライダーバー703を介して指定された時間情報の範囲に含まれた時間情報を含む動線データを動線データ管理テーブル107から抽出し、当該動線データによって表される複数の動線を抽出してもよい。さらに、描画部112は、スライダーバー702,703を介して指定された分割数,時間情報の範囲に応じて逐次変化させた動線を描画してもよい。また、分割点取得部110は、表示装置11の画面サイズや解像度に予め対応づけられた分割数を用いてもよいし、図示せぬ操作部から指定された数値を分割数として用いてもよい。
図1に示す動線抽出部109は、図示せぬ操作部から指定された作業者IDなどの識別情報301や、作業者が担当する作業エリアなどの属性情報302を含む動線データを動線データ管理テーブル107から抽出し、当該動線データによって表される複数の動線から、出発エリア及び到着エリアを通る複数の動線を抽出してもよい。これにより、所望の識別情報301又は属性情報302に関連した動体の移動の態様を把握しやすくすることができるという効果を奏する。
図1に示すエリア特定部108は、動体の停留時間の長さだけでなく、作業エリア,専用機械/ロボット設置エリア,部品/製品保管エリア,事務所など動体が一定時間とどまるエリアの種類に基づいて出発エリアを特定してもよい。更に、特定された出発エリアの種類と、機能別生産,ライン生産,セル生産などの生産方式や、加工,組立,検査,梱包,操作又は搬送などの生産工程といった動体の移動の態様がパターン化される作業の種類の組み合わせに基づいて到着エリアを特定してもよい。具体的には、或る作業エリアにおいてセル生産方式による生産が行われる場合、作業エリア以外のエリアにおける作業者の停留時間が総じて短くなるため、作業に関係した部品/製品保管エリアを優先的に到着エリアとして特定してもよい。
図1に示すエリア特定部108は、エリア特定部108で特定されたエリアの中心を示す位置座標など、夫々のエリアを代表的に示す位置座標を平均出発点又は平均到着点としてもよい。そして、描画部112は、出発エリアの平均出発点,N-1個の平均点,到着エリアの平均到着点を通る線を描画してもよい。この場合、平均点算出部111は、平均出発点、平均到着点を夫々算出する必要がない。
上述した情報処理装置が実施する複数の動線を平均した代表的な動線を描画する処理は、情報処理方法として構成されてもよいし、コンピュータを機能させるためのプログラムとして構成されてもよい。
上述した実施形態においては、エリア特定部108が、動体の停留時間などに基づいて出発エリア及び/又は到着エリアを特定していたが、出発エリア及び/又は到着エリアを特定する方法はこれに限られない。例えば、出発エリア及び/又は到着エリアは、情報処理装置のユーザの操作によって手動で設定されてもよいし、情報処理装置の導入時などに設定されてもよい
上述した実施形態においては、カメラで撮影した映像に基づいて動体の座標を算出したが、動体の座標を算出する方法はこれに限らず、動体の座標を算出できる如何なる技術を用いてもよい。例えば、情報処理装置は、動体に所持又は設置された通信端末で測位した座標を取得してもよい。また、例えば、情報処理装置は、動体に所持又は設置されたRFID(radio frequency identifier)タグやビーコンなどの無線タグの電波から動体の座標を算出してもよい。また、例えば、情報処理装置は、動体を検出した各種センサが設けられた位置を動体の座標とみなしてもよい。
100 表示処理装置、 108 エリア特定部、 109 動線抽出部、 110 分割点取得部、 111 平均点算出部、 112 描画部

Claims (10)

  1. 第1のエリアを出発し第2のエリアに到着する動体の軌跡及び/又は第2のエリアを出発し第1のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出部と、
    前記動線抽出部で抽出された動線をそれぞれ、分割数N(Nは2以上の整数)で分割することによりN-1個の分割点を取得する分割点取得部と、
    前記分割点取得部で取得された異なる動線に属する分割点の座標同士を平均することによりN-1個の平均点を算出する平均点算出部と、
    前記平均点算出部で取得されたN-1個の平均点、前記第1のエリア及び前記第2のエリアを通る動線を描画する描画部と
    を備えることを特徴とする表示処理装置。
  2. 前記動線は、
    動体の移動軌跡を示す座標と、当該座標に動体が存在した時刻を示す時間情報を含む動線データによって表され、
    前記分割点取得部は、
    前記動線抽出部で抽出された動線を表す前記動線データから、各動線を構成する前記座標の数を取得し、当該数を前記分割数Nで除した値をサンプリング間隔とするN-1個の分割点を取得する
    ことを特徴とする請求項1に記載の表示処理装置。
  3. 時間情報の範囲を指定するための時間情報指定部を備え、
    前記動線抽出部は、前記時間情報指定部で指定された時間情報の範囲に含まれた時間情報を含む動線データによって表される複数の動線を抽出する
    ことを特徴とする請求項2に記載の表示処理装置。
  4. 前記動線データから動体の停留時間が長いエリアを特定するエリア特定部を備え、
    前記動線抽出部は、前記エリア特定部で特定されたエリアを前記第1のエリア及び/又は前記第2のエリアとした動線を抽出する
    ことを特徴とする請求項2又は3の何れかに記載の表示処理装置。
  5. 前記描画部は、
    前記動体が移動した方向を示す動線を描画する
    ことを特徴とする請求項1~4の何れかに記載の表示処理装置。
  6. 前記描画部は、
    前記動線抽出部で抽出された動線の本数に応じて色及び/又は幅方向の長さを変えた動線を描画する
    ことを特徴とする請求項1~5の何れかに記載の表示処理装置。
  7. 前記描画部は、
    前記動体の移動速度に応じて色及び/又は幅方向の長さを変えた動線を描画する
    ことを特徴とする請求項1~6の何れかに記載の表示処理装置。
  8. モノや工程の流れを示す矢印を描画する工程経路描画部を更に備える
    ことを特徴とする請求項1~7の何れかに記載の表示処理装置。
  9. 第1のエリアを出発し第2のエリアに到着する動体の軌跡及び/又は第2のエリアを出発し第1のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出ステップと、
    前記動線抽出ステップで抽出された動線をそれぞれ、分割数N(Nは2以上の整数)で分割することによりN-1個の分割点を取得する分割点取得ステップと、
    前記分割点取得ステップで取得された異なる動線に属する分割点の座標同士を平均することによりN-1個の平均点を算出する平均点算出ステップと、
    前記平均点算出ステップで取得されたN-1個の平均点、前記第1のエリア及び前記第2のエリアを通る動線を描画する描画ステップと
    を備えることを特徴とする表示処理方法。
  10. 第1のエリアを出発し第2のエリアに到着する動体の軌跡及び/又は第2のエリアを出発し第1のエリアに到着する動体の軌跡を示す複数の動線を抽出する動線抽出ステップと、
    前記動線抽出ステップで抽出された動線をそれぞれ、分割数N(Nは2以上の整数)で分割することによりN-1個の分割点を取得する分割点取得ステップと、
    前記分割点取得ステップで取得された異なる動線に属する分割点の座標同士を平均することによりN-1個の平均点を算出する平均点算出ステップと、
    前記平均点算出ステップで取得されたN-1個の平均点、前記第1のエリア及び前記第2のエリアを通る動線を描画する描画ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2021534843A 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム Active JP7004116B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028383 WO2021014479A1 (ja) 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021014479A1 JPWO2021014479A1 (ja) 2021-12-09
JP7004116B2 true JP7004116B2 (ja) 2022-01-21

Family

ID=74193731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534843A Active JP7004116B2 (ja) 2019-07-19 2019-07-19 表示処理装置、表示処理方法及びプログラム

Country Status (7)

Country Link
US (1) US20220122272A1 (ja)
JP (1) JP7004116B2 (ja)
KR (1) KR102436618B1 (ja)
CN (1) CN114096999A (ja)
DE (1) DE112019007455T5 (ja)
TW (1) TWI785269B (ja)
WO (1) WO2021014479A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158057A1 (en) * 2019-11-26 2021-05-27 Scanalytics, Inc. Path analytics of people in a physical space using smart floor tiles
JP2023155637A (ja) * 2022-04-11 2023-10-23 株式会社日立製作所 軌跡表示装置および方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503638A (ja) 2005-07-22 2009-01-29 テラーゴ インコーポレイテッド 道路網グラフをモデル化する方法、装置及びシステム
JP2009110408A (ja) 2007-10-31 2009-05-21 Toshiba Tec Corp 動線編集装置及び動線編集プログラム
JP2015114685A (ja) 2013-12-09 2015-06-22 株式会社日立製作所 映像検索装置、映像検索方法、および記憶媒体

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06223198A (ja) * 1993-01-26 1994-08-12 Hitachi Ltd 光線追跡による画像生成装置及び方法
JP4493415B2 (ja) 2004-06-07 2010-06-30 東日本旅客鉄道株式会社 通行人行動解析システム
JP4759988B2 (ja) * 2004-11-17 2011-08-31 株式会社日立製作所 複数カメラを用いた監視システム
US8139818B2 (en) * 2007-06-28 2012-03-20 Toshiba Tec Kabushiki Kaisha Trajectory processing apparatus and method
KR101498124B1 (ko) * 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
CN102077250B (zh) 2009-01-09 2014-04-16 松下电器产业株式会社 移动体检测方法及移动体检测装置
KR101048045B1 (ko) * 2009-05-07 2011-07-13 윈스로드(주) 객체의 이동궤적을 이용한 철도건널목 위험지역의 지장물 영상검지장치 및 그 제어방법
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
JP5876409B2 (ja) * 2012-12-20 2016-03-02 日本電信電話株式会社 映像再生装置及び映像再生プログラム
JP5613815B1 (ja) * 2013-10-29 2014-10-29 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
TWI570666B (zh) * 2013-11-15 2017-02-11 財團法人資訊工業策進會 電子裝置及其影片物體追蹤方法
JP6524619B2 (ja) * 2014-08-18 2019-06-05 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
US10297051B2 (en) * 2014-09-11 2019-05-21 Nec Corporation Information processing device, display method, and program storage medium for monitoring object movement
CN104700434B (zh) * 2015-03-27 2017-10-31 北京交通大学 一种用于复杂结构化场景的人群运动轨迹异常检测方法
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6433389B2 (ja) * 2015-08-04 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105589939B (zh) * 2015-12-15 2020-02-11 北京百度网讯科技有限公司 识别群体运动轨迹方法和装置
WO2017170084A1 (ja) 2016-03-31 2017-10-05 日本電気株式会社 動線表示システム、動線表示方法およびプログラム記録媒体
JP6898165B2 (ja) * 2017-07-18 2021-07-07 パナソニック株式会社 人流分析方法、人流分析装置及び人流分析システム
CN109033424B (zh) * 2018-08-10 2021-03-26 北京航天控制仪器研究所 一种基于公交车运营轨迹精确提取公交车行驶路径的方法
EP3995879A4 (en) * 2018-09-28 2023-08-23 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION DEVICE
CN109697221B (zh) * 2018-11-22 2021-07-09 东软集团股份有限公司 轨迹规律的挖掘方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009503638A (ja) 2005-07-22 2009-01-29 テラーゴ インコーポレイテッド 道路網グラフをモデル化する方法、装置及びシステム
JP2009110408A (ja) 2007-10-31 2009-05-21 Toshiba Tec Corp 動線編集装置及び動線編集プログラム
JP2015114685A (ja) 2013-12-09 2015-06-22 株式会社日立製作所 映像検索装置、映像検索方法、および記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
淺原彰規 ほか,時空間ネットワーク解析を用いた主動線抽出,情報処理学会論文誌,日本,一般社団法人情報処理学会,2013年01月15日,第54巻, 第1号,p.135-145,ISSN 1882-7837

Also Published As

Publication number Publication date
US20220122272A1 (en) 2022-04-21
CN114096999A (zh) 2022-02-25
KR20220009491A (ko) 2022-01-24
WO2021014479A1 (ja) 2021-01-28
JPWO2021014479A1 (ja) 2021-12-09
TW202105313A (zh) 2021-02-01
DE112019007455T5 (de) 2022-03-03
KR102436618B1 (ko) 2022-08-25
TWI785269B (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
US10977499B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
Braun et al. Combining inverse photogrammetry and BIM for automated labeling of construction site images for machine learning
JP6558579B2 (ja) 動線分析システム及び動線分析方法
US10567677B2 (en) Flow line analysis system and flow line analysis method
JP7004116B2 (ja) 表示処理装置、表示処理方法及びプログラム
US9998683B2 (en) Image processing device and image processing program
US20200302188A1 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
EP2793183B1 (en) Image processing device and recording medium for image processing program
US20150201167A1 (en) Fabrication equipment monitoring device and monitoring method
JP2018107583A5 (ja)
US11315064B2 (en) Information processing device and production instruction support method
US20150139494A1 (en) Slow change detection system
JP2018077837A (ja) 位置認識方法およびシステム、ならびに異常判定方法およびシステム
CN102369549A (zh) 用于估计物体位置的信息创建设备、用于估计物体位置的信息创建方法和程序
Braun et al. Process-and computer vision-based detection of as-built components on construction sites
JP2012208744A (ja) 工程管理システム、及び工程管理方法
CN107644457B (zh) 一种应用于工业现场的监控方法
Koch et al. Performance study on natural marker detection for augmented reality supported facility maintenance
JP6996669B2 (ja) 表示処理装置、表示処理方法及びプログラム
JP2023100805A (ja) 撮像装置、撮像方法及び撮像プログラム
JPWO2017115663A1 (ja) 監視システム及び画像処理方法
US20150355632A1 (en) Method and device for monitoring and controlling an industrial process
US20230229137A1 (en) Analysis device, analysis method and non-transitory computer-readable storage medium
EA201500497A1 (ru) Способ и система отображения данных с видеокамеры
KR20230011998A (ko) 판정 장치, 판정 방법 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213