JP7458303B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7458303B2
JP7458303B2 JP2020192597A JP2020192597A JP7458303B2 JP 7458303 B2 JP7458303 B2 JP 7458303B2 JP 2020192597 A JP2020192597 A JP 2020192597A JP 2020192597 A JP2020192597 A JP 2020192597A JP 7458303 B2 JP7458303 B2 JP 7458303B2
Authority
JP
Japan
Prior art keywords
head
closeness
person
information processing
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020192597A
Other languages
English (en)
Other versions
JP2022081200A (ja
Inventor
大祐 小林
雄土 山地
智行 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020192597A priority Critical patent/JP7458303B2/ja
Priority to US17/446,613 priority patent/US20220156964A1/en
Publication of JP2022081200A publication Critical patent/JP2022081200A/ja
Application granted granted Critical
Publication of JP7458303B2 publication Critical patent/JP7458303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
ウイルス感染の拡大を防ぐためには、人と人との物理的距離を確保することが重要である。ウイルス感染のリスクを軽減するために、店舗内の監視カメラにより撮像された画像データから、人と人との密接状態を検知する技術が要求されている。
従来、画像中から人物の頭部の位置を検出し、単位面積当たりの頭部密度に基づき人物の密集度を算出する技術が知られている。また、カメラのキャリブレーションによって得られた俯瞰図から人物間距離を算出することで、物理的距離が確保されているかを監視する技術も知られている。
しかし、人物同士の距離が近い場合であっても、互いに後ろを向いている場合と、互いに正面を向いている場合とでは、飛沫感染によるリスクは変わる。このため、従来の技術では、飛沫感染のリスクに相当する評価値を精度良く提示することはできなかった。
特開２０１１－７６３１６号公報
Dongfang Yang, et al. "A Vision-based Social Distancing and Critical Density Detection System for COVID-19", 2020年7月, arXiv:2007.03578.
本発明が解決しようとする課題は、密接の度合いを精度良く算出する情報処理装置、情報処理方法およびプログラムを提供することにある。
実施形態に係る情報処理装置は、取得部と、検出部と、算出部とを備える。前記取得部は、複数の人物が存在する空間を撮像した画像データを取得する。前記検出部は、前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する。前記算出部は、前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する。前記算出部は、前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出する。前記算出部は、前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出する。前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい。
情報処理システムの構成を示す図。 密接検知装置の構成を示す図。 第１実施形態に係る密接検知装置の処理の流れを示すフローチャート。 角度パラメータを算出するためのベクトルを示す図。 表示装置に表示される画像の一例を示す図。 第２実施形態に係る密接検知装置の処理の流れを示すフローチャート。 第３実施形態に係る密接検知装置の処理の流れを示すフローチャート。 密接検知装置のハードウェア構成を示す図。
以下、図面を参照しながら実施形態に係る情報処理システム１０について説明する。情報処理システム１０は、評価対象人物に対する１または複数の他人物の密接の度合いを表す密接評価値を算出する。そして、情報処理システム１０は、密接評価値に応じた情報を表示させることにより、口から出た飛沫によるウイルス感染リスクを可視化する。
（第１実施形態）
図１は、情報処理システム１０の構成を示す図である。情報処理システム１０は、カメラ１２と、表示装置１４と、密接検知装置２０とを備える。
カメラ１２は、複数の人物（複数の特定物）が存在する空間を撮像する。例えば、カメラ１２は、店舗、学校、公共設備または駅等の空間を、上方の俯瞰した位置から撮像する。カメラ１２は、一定時間間隔毎に画像を撮像する。
表示装置１４は、画像データを表示する。例えば、表示装置１４は、情報処理システム１０の管理者等により監視される。また、表示装置１４は、密接検知装置２０とネットワークで接続された遠隔の装置であってもよい。
密接検知装置２０は、カメラ１２から画像データを取得する。密接検知装置２０は、取得した画像データに基づき、空間に存在する複数の人物のうちの何れかまたは全てを評価対象人物と特定し、特定したそれぞれの評価対象人物（評価対象物）について密接評価値を算出する。
密接評価値は、評価対象人物に対する、１または複数の他人物（１または複数の他特定物）との密接の度合いを表す。例えば、密接評価値は、評価対象人物の頭部の顔側の面に対する、１または複数の他人物のそれぞれの頭部の顔側の面の密接の度合いを表す。この場合、密接評価値は、１または複数の他人物のそれぞれの口から出る飛沫により、評価対象人物がウイルス感染するリスクに相当する。
密接検知装置２０は、カメラ１２により撮像された画像データにおける複数の人物のそれぞれに対応する位置に、対応する密接評価値を表す情報を重畳する。密接評価値を表す情報は、例えば、密接評価値に大きさに応じて表示内容が変化する画像である。例えば、この密接評価値を表す情報は、対応する密接評価値に応じて、色、濃度または形状が変化する画像であってもよい。そして、密接検知装置２０は、密接評価値を表す情報を重畳した画像データを表示装置１４に表示させる。
このような情報処理システム１０は、表示装置１４を監視する監視者に対して、空間に存在する複数の人物のうちの、飛沫によりウイルス感染するリスクが高い人物を視覚的に提示することができる。
図２は、密接検知装置２０の構成を示す図である。密接検知装置２０は、例えば、情報処理装置が密接検知用アプリケーションプログラムを実行することにより実現される。
密接検知装置２０は、取得部２２と、検出部２４と、算出部２６と、出力部２８とを備える。
取得部２２は、複数の人物が存在する空間を撮像した画像データをカメラ１２から取得する。画像データは、カラーであっても、モノクローム画像であってもよい。画像データは、ステレオ画像であってもよい。
検出部２４は、画像データに含まれる複数の人物のそれぞれを検出する。例えば、検出部２４は、パターンマッチングまたはニューラルネットワークを用いた物体検出方法により、画像データに含まれる人物を検出する。本実施形態においては、検出部２４は、複数の人物のそれぞれの頭部を検出する。例えば、検出部２４は、人物の骨格の特徴点を推定し、推定した特徴点を用いて頭部を検出する。
さらに、検出部２４は、検出した複数の人物のそれぞれにおける、空間における位置および向きを検出する。本実施形態において、検出部２４は、検出した複数の人物のそれぞれにおける、頭部の位置、および、頭部の向き（例えば顔が向いている方向）を検出する。例えば、検出部２４は、頭部の位置の俯瞰図上の座標を検出する。具体的には、検出部２４は、画像データの頭部の画素位置を、俯瞰図上に変換することにより、頭部の位置を検出する。さらに、検出部２４は、俯瞰図上における、頭部の向きを検出する。具体的には、検出部２４は、頭部における２つの目を結んだ直線の法線ベクトルおよび２つの肩の特徴点を結んだ法線ベクトル等を用いることにより、頭部の向きを検出する。また、例えば、検出部２４は、頭部の位置の３次元空間の座標を検出し、３次元空間における、頭部の向きを検出してもよい。
算出部２６は、検出した複数の人物のうちの何れかまたは全てを評価対象人物として特定する。算出部２６は、それぞれの評価対象人物について、複数の人物のそれぞれの位置および向きに基づき、評価対象人物に対する、複数の人物のうちの評価対象人物以外の１または複数の他人物の密接の度合いを表す密接評価値を算出する。例えば、算出部２６は、それぞれの評価対象人物について、複数の人物のそれぞれの頭部の位置および向きに基づき密接評価値を算出する。
出力部２８は、取得部２２から画像データを受け取る。また、出力部２８は、検出部２４により検出された複数の人物のそれぞれの頭部の俯瞰図上における位置および向きを受け取る。さらに、出力部２８は、算出部２６により算出された、それぞれの評価対象人物についての密接評価値を取得する。
出力部２８は、画像データとともに、それぞれの評価対象人物についての密接評価値に応じた情報を、表示装置１４に表示させる。例えば、出力部２８は、密接評価値に応じて表示内容が変化する画像である評価オブジェクトを生成する。例えば、出力部２８は、密接評価値に応じて色、濃度または形状が変化する評価オブジェクトを生成する。出力部２８は、カメラ１２から取得した画像データにおける対応する評価対象人物の頭部の位置に、生成した評価オブジェクトを重畳する。そして、出力部２８は、評価オブジェクトを重畳した画像データを表示装置１４に表示させる。
また、出力部２８は、それぞれの評価対象人物について、頭部から所定距離の範囲を表す画像である範囲オブジェクトを生成する。例えば、所定距離は、口から飛沫が届く範囲である。出力部２８は、評価対象人物の頭部の位置に、俯瞰図上における距離範囲を表すように変換された範囲オブジェクトを生成する。そして、出力部２８は、生成した範囲オブジェクトを重畳した画像データを表示装置１４に表示させる。
また、出力部２８は、それぞれの評価対象人物について、頭部の向きを表す画像である方向オブジェクトを生成する。例えば、頭部の向きは、口からの飛沫が最も多く飛ぶと推定される方向である。そして、出力部２８は、評価対象人物の頭部の位置に、空間における向きを表すように変換された方向オブジェクトを重畳した画像データを表示装置１４に表示させる。例えば、出力部２８は、俯瞰図上により表される所定距離の範囲を、カメラ１２により撮像された画像データの２次元座標に変換することにより、範囲オブジェクトを画像データに重畳する。
図３は、第１実施形態に係る密接検知装置２０の処理の流れを示すフローチャートである。図４は、角度パラメータを算出するためのベクトルを示す図である。
まず、Ｓ１１において、密接検知装置２０は、複数の人物が存在する空間を撮像した画像データをカメラ１２から取得する。続いて、Ｓ１２において、密接検知装置２０は、画像データに含まれる複数の人物のそれぞれを検出する。
続いて、Ｓ１３において、密接検知装置２０は、検出した複数の人物のそれぞれにおける、空間における位置および向きを検出する。本実施形態において、密接検知装置２０は、検出した複数の人物のそれぞれにおける、頭部の位置、および、頭部の向き（例えば顔が向いている方向）を検出する。
続いて、密接検知装置２０は、評価対象人物毎に、Ｓ１５～Ｓ２０の処理を実行する（Ｓ１４とＳ２１との間のループ処理）。密接検知装置２０は、例えば、画像データに含まれる複数の人物のそれぞれを、順次に評価対象人物として選択してもよい。また、密接検知装置２０は、例えば、画像データに含まれる複数の人物のうちの、特定の１または複数の人物のそれぞれを評価対象人物として選択してもよい。
Ｓ１４とＳ２１との間のループ処理内において、密接検知装置２０は、他人物毎に、Ｓ１６～Ｓ１８の処理を実行する（Ｓ１５とＳ１９との間のループ処理）。他人物は、画像データに含まれる複数の人物のうちの評価対象人物以外である。
Ｓ１６において、密接検知装置２０は、評価対象人物の頭部と、対応する他人物の頭部との間の距離を算出する。例えば、密接検知装置２０は、俯瞰図上における評価対象人物の頭部の位置と、俯瞰図上における対応する他人物の頭部の位置とに基づき、距離を算出する。
続いて、Ｓ１７において、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対する、対応する他人物の頭部の向きの角度を算出する。例えば、評価対象人物の頭部の向きは、例えば、顔が向いている方向である。従って、角度は、評価対象人物の顔と他人物の顔とが向き合っている場合に小さくなり、互いに逆に向くほど大きくなる。
続いて、Ｓ１８において、密接検知装置２０は、算出した距離および角度に基づき、評価対象人物の頭部と、対応する他人物との密接の度合いを表す個別密接度を算出する。
ここで、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、個別密接度を大きくする。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、個別密接度を大きくする。
例えば、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、値が大きくなる距離パラメータを算出する。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、値が大きくなる角度パラメータを算出する。そして、密接検知装置２０は、式（１）に示すように、距離パラメータと角度パラメータとを乗算または加算することにより、個別密接度を算出する。
個別密接度＝距離パラメータ×角度パラメータ…（１）
例えば、距離パラメータは、原点から評価対象人物の座標へのベクトルＡと原点から他人物の座標へのベクトルＢとのユークリッド距離と、距離の閾値Ｔｄｉｓｔａｎｃｅを用いて、式（２）のように表される。
Figure 0007458303000001
また、角度パラメータは、図４に示すように、評価対象人物から他人物へのベクトルＡＢと評価対象人物の頭部向きのベクトルＡＣとのなす角と、他人物から評価対象人物へのベクトルＢＡと他人物の頭部向きのベクトルＢＤとのなす角が小さいほど大きくなるパラメータである。例えば、角度パラメータは、コサイン類似度と閾値Ｔｄｅｇｒｅｅとを用いて、式（３）のように表される。
Figure 0007458303000002
なお、密接検知装置２０は、式（１）の算出方法に限らず、他の方法で個別密接度を算出してもよい。
続いて、Ｓ１９において、密接検知装置２０は、全ての他人物についてＳ１６～Ｓ１８の処理を終えると、処理をＳ２０に進める。
Ｓ２０において、密接検知装置２０は、１または複数の他人物のそれぞれについて算出した個別密接度を合成して、評価対象人物についての密接評価値を算出する。例えば、密接検知装置２０は、１または複数の他人物のそれぞれについて算出した個別密接度を全て加算することにより、密接評価値を算出する。
続いて、Ｓ２１において、密接検知装置２０は、全ての評価対象人物についてＳ１５～Ｓ２０の処理を終えると、処理をＳ２２に進める。
続いて、Ｓ２２において、密接検知装置２０は、全ての評価対象人物のそれぞれについて、算出した密接評価値を出力する。例えば、密接検知装置２０は、カメラ１２により撮像された画像データにおける複数の人物のそれぞれに対応する位置に、対応する密接評価値を表す評価オブジェクトを重畳する。そして、密接検知装置２０は、複数の人物のそれぞれに対応する位置に評価オブジェクトを重畳した画像データを、表示装置１４に表示させる。
密接検知装置２０は、Ｓ２２の処理を終了した場合、本フローを終了する。なお、密接検知装置２０は、例えば、一定時間毎に、Ｓ１１からＳ２２の処理を実行し、一定時間毎に表示を更新する。
このような密接評価値を算出することにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを提供することができる。
図５は、表示装置１４に表示される画像の一例を示す図である。密接検知装置２０は、例えば、図５に示すように、カメラ１２から出力された画像データを表示装置１４に表示させる。
さらに、密接検知装置２０は、１または複数の評価対象人物のそれぞれに対応する範囲オブジェクト４２および方向オブジェクト４４を表示装置１４に表示させる。より具体的には、密接検知装置２０は、評価対象人物の頭部の位置に、範囲オブジェクト４２および方向オブジェクト４４を重畳した画像データを表示装置１４に表示させる。
範囲オブジェクト４２は、画像データにおける評価対象人物の頭部の位置を中心とし、頭部から所定距離の範囲を表す画像である。このような範囲オブジェクト４２を表示させることにより、密接検知装置２０は、例えば、監視者に対して、評価対象人物の口から出た飛沫が飛ぶ範囲を視覚的に提供することができる。
方向オブジェクト４４は、評価対象人物の頭部の向きを表す画像である。このような方向オブジェクト４４を表示させることにより、密接検知装置２０は、例えば、監視者に対して、評価対象人物の口から出た飛沫が飛ぶ方向を視覚的に提供することができる。
さらに、密接検知装置２０は、１または複数の評価対象人物のそれぞれに対応する評価オブジェクト４６を表示装置１４に表示させる。より具体的には、密接検知装置２０は、評価オブジェクト４６を評価対象人物の頭部の位置に重畳した画像データを、表示装置１４に表示させる。
評価オブジェクト４６は、対応する密接評価値に応じて表示内容が変化する画像である。図５の例において、評価オブジェクト４６は、範囲オブジェクト４２の内側の部分の画像である。評価オブジェクト４６は、対応する密接評価値に応じて、例えば、色または色の濃度が変化する画像である。例えば、評価オブジェクト４６は、密接評価値が大きい程、濃度が濃くなる画像であってもよい。また、例えば、評価オブジェクト４６は、密接評価値が大きい程、赤に近くなり、密接評価値が小さいほど、青に近くなるような、色が変化する画像であってもよい。このような評価オブジェクト４６を表示させることにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを視覚的に提供することができる。
（第２実施形態）
つぎに、第２実施形態に係る情報処理システム１０について説明する。第２実施形態に係る情報処理システム１０は、図１から図５を参照して説明した第１実施形態と略同一の機能および構成を有する。従って、第２実施形態の説明においては、第１実施形態で説明した同一の機能および構成を有する部材および機能ブロックについては、同一の符号を付けて、相違点を除き詳細な説明を省略する。
図６は、第２実施形態に係る密接検知装置２０の処理の流れを示すフローチャートである。
第２実施形態に係る密接検知装置２０は、Ｓ１３の後に、処理をＳ３１に進める。Ｓ３１において、密接検知装置２０は、検出した複数の人物のそれぞれについて、マスクを着用しているか否かをさらに検出する。例えば、密接検知装置２０は、パターンマッチングまたはニューラルネットワークを用いた方法により、マスクを着用しているか否かを検出する。密接検知装置２０は、Ｓ３１の後に、処理をＳ３２に進める。
続いて、Ｓ３２において、密接検知装置２０は、検出した複数の人物のそれぞれについて、声を出しているか否かをさらに検出する。例えば、密接検知装置２０は、会話をしているか否かを検出してもよい。例えば、密接検知装置２０は、パターンマッチングまたはニューラルネットワークを用いた方法により、声を出しているか否かを検出する。
密接検知装置２０は、Ｓ３２に続いて、Ｓ１４～Ｓ２１のループ処理を実行する。
ここで、Ｓ１８において、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、個別密接度を大きくする。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、個別密接度を大きくする。
さらに、Ｓ１８において、密接検知装置２０は、対応する他人物がマスクを着用していない場合、対応する他人物がマスクを着用している場合と比較して、個別密接度を大きくする。また、さらに、Ｓ１８において、密接検知装置２０は、対応する他人物が声を出している場合、対応する他人物が声を出していない場合と比較して、個別密接度を大きくする。これにより、密接検知装置２０は、口から出る飛沫によるウイルス感染のリスクが高い状況の場合に、個別密接度を大きくすることがきる。
例えば、密接検知装置２０は、対応する他人物がマスクを着用していない場合に、対応する他人物がマスクを着用している場合と比較して、値が大きくなるマスクパラメータを算出する。さらに、例えば、密接検知装置２０は、対応する他人物が声を出している場合に、対応する他人物が声を出していない場合と比較して、値が大きくなる発声パラメータを算出する。そして、密接検知装置２０は、式（４）に示すように、距離パラメータと角度パラメータとマスクパラメータと発声パラメータとを乗算または加算することにより、個別密接度を算出する。
個別密接度＝距離パラメータ×角度パラメータ×マスクパラメータ×発声パラメータ…（４）
例えば、マスクパラメータは、パターンマッチングまたはニューラルネットワークを用いた方法により推定した確信度Ｓｍａｓｋと閾値Ｔｍａｓｋとを用いて、以下のように表される。
Figure 0007458303000003
例えば、発声パラメータは、パターンマッチングまたはニューラルネットワークを用いた方法により推定した確信度Ｓｖｏｉｃｅと閾値Ｔｖｏｉｃｅと用いて、以下のように表される。
Figure 0007458303000004
なお、密接検知装置２０は、式（４）の算出方法に限らず、他の方法で個別密接度を算出してもよい。
このような密接評価値を算出することにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを提供することができる。
（第３実施形態）
つぎに、第３実施形態に係る情報処理システム１０について説明する。第３実施形態に係る情報処理システム１０は、図６を参照して説明した第２実施形態と略同一の機能および構成を有する。従って、第３実施形態の説明においては、第２実施形態で説明した同一の機能および構成を有する部材および機能ブロックについては、同一の符号を付けて、相違点を除き詳細な説明を省略する。
図７は、第３実施形態に係る密接検知装置２０の処理の流れを示すフローチャートである。
第３実施形態に係る密接検知装置２０は、Ｓ３２の後に、処理をＳ４１に進める。Ｓ４１において、密接検知装置２０は、画像データに含まれる、口からの飛沫を遮蔽する遮蔽物の位置を検出する。遮蔽物は、例えば、垂直方向に立てられた透明な板等である。このような遮蔽物は、人物の口から出た飛沫を遮蔽して、他人物へと届かないようにすることができる。例えば、密接検知装置２０は、パターンマッチングまたはニューラルネットワークを用いた物体検出方法により、画像データから遮蔽物の位置を検出する。密接検知装置２０は、Ｓ４１に続いて、Ｓ１４～Ｓ２１のループ処理を実行する。
また、第３実施形態に係る密接検知装置２０は、Ｓ１７の後に、処理をＳ４２に進める。Ｓ４２において、密接検知装置２０は、対応する他人物の頭部の位置と、評価対象人物の頭部の位置との間の遮蔽物の有無を算出する。例えば、密接検知装置２０は、俯瞰図上における、他人物の頭部の位置と、評価対象人物の頭部の位置との間を結ぶ直線上に、Ｓ４１において検出した遮蔽物が存在するか否かを算出する。
続いて、Ｓ４３において、密接検知装置２０は、現時点における、密接状態の継続時間を算出する。密接状態は、対応する他人物の頭部の位置が評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である。すなわち、密接状態は、対応する他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクが高い状態である。例えば、密接検知装置２０は、過去における密接状態であるか否かの判定結果、および、現時点における密接状態であるか否かの判定結果に基づき、密接状態の継続時間を算出する。
密接検知装置２０は、Ｓ４３に続いて、処理をＳ１８に進める。
Ｓ１８において、密接検知装置２０は、評価対象人物の頭部と対応する他人物の頭部との間の距離が短い程、個別密接度を大きくする。また、密接検知装置２０は、評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、個別密接度を大きくする。さらに、密接検知装置２０は、対応する他人物がマスクを着用していない場合、対応する他人物がマスクを着用している場合と比較して、個別密接度を大きくする。また、さらに、密接検知装置２０は、対応する他人物が声を出している場合、対応する他人物が声を出していない場合と比較して、個別密接度を大きくする。
さらに、Ｓ１８において、密接検知装置２０は、密接状態の経過時間が長い程、個別密接度を大きくする。また、さらに、密接検知装置２０は、対応する他人物の頭部の位置と、評価対象人物の頭部の位置との間に遮蔽物が存在する場合、遮蔽物が存在しない場合よりも、個別密接度を小さくする。これにより、密接検知装置２０は、発声による口から出る飛沫によるウイルス感染のリスクが高い状況の場合に、個別密接度を大きくし、遮蔽物が存在することによりウイルス感染のリスクが高い状況の場合に、個別密接度を小さくすることができる。
例えば、密接検知装置２０は、密接状態の経過時間が長い程、値が大きくなる時間パラメータを算出する。さらに、密接検知装置２０は、対応する他人物の頭部の位置と評価対象人物の頭部の位置との間に遮蔽物が存在する場合、値が小さくなり、遮蔽物が存在しない場合に、値が大きくなる遮蔽物パラメータを算出する。そして、密接検知装置２０は、式（７）に示すように、距離パラメータと角度パラメータとマスクパラメータと発声パラメータとを乗算または加算することにより、個別密接度を算出する。
個別密接度＝距離パラメータ×角度パラメータ×マスクパラメータ×発声パラメータ×時間パラメータ×遮蔽物パラメータ…（７）
例えば、時間パラメータは、過去の経過時間の個別密接度Ｓｃｒｏｗｄの平均が閾値Ｔｃｒｏｗｄを超える場合に経過時間Ｔｅｌａｐｓｅｄと倍率Ｍｔｉｍｅを用いて、以下のように表される。
Figure 0007458303000005
例えば、遮蔽物パラメータは、他人物の頭部の位置と、評価対象人物の頭部の位置との間を結ぶ直線上に、Ｓ４１において検出した遮蔽物が存在するかどうかを表す確信度Ｓｓｈｉｅｄと閾値Ｔｓｈｉｅｄとを用いて、以下のように表される。
Figure 0007458303000006
なお、密接検知装置２０は、式（７）の算出方法に限らず、他の方法で個別密接度を算出してもよい。
このような密接評価値を算出することにより、密接検知装置２０は、監視者に対して、他人物の口から出た飛沫により評価対象人物がウイルス感染するリスクを提供することができる。
以上のように、本実施形態に係る密接検知装置２０によれば、評価対象人物に対する１または複数の他人物の密接の度合いを表す密接評価値を精度良く算出することができる。さらに、密接検知装置２０によれば、密接評価値に応じた情報を表示させることにより、口から出た飛沫によるウイルス感染リスクを精度良く可視化することができる。
（ハードウェア構成）
図８は、実施形態に係る密接検知装置２０のハードウェア構成の一例を示す図である。本実施形態に係る密接検知装置２０は、例えば図８に示すようなハードウェア構成の情報処理装置により実現される。密接検知装置２０は、ＣＰＵ（Central Processing Unit）２０１と、ＲＡＭ（Random Access Memory）２０２と、ＲＯＭ（Read Only Memory）２０３と、操作入力装置２０４と、記憶装置２０６と、通信装置２０７とを備える。そして、これらの各部は、バスにより接続される。
ＣＰＵ２０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ２０１は、ＲＡＭ２０２の所定領域を作業領域として、ＲＯＭ２０３および記憶装置２０６等に記憶されたプログラムとの協働により各種処理を実行する。
ＲＡＭ２０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として機能する。ＲＯＭ２０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。
操作入力装置２０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置２０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ２０１に出力する。
記憶装置２０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置２０６は、ＣＰＵ２０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置２０７は、ＣＰＵ２０１からの制御に応じて外部の機器とネットワークを介して通信する。
本実施形態の密接検知装置２０で実行されるプログラムは、取得モジュールと、検出モジュールと、算出モジュールと、出漁モジュールと、を含む。このプログラムは、ＣＰＵ２０１（プロセッサ）によりＲＡＭ２０２上に展開して実行されることにより、情報処理装置を取得部２２、検出部２４、算出部２６および出力部２８として機能させる。なお、密接検知装置２０は、取得部２２、検出部２４、算出部２６および出力部２８の少なくとも一部をハードウェア回路（例えば半導体集積回路）により実現した構成であってもよい。
また、本実施形態の密接検知装置２０で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の密接検知装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の密接検知装置２０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、密接検知装置２０で実行されるプログラムを、ＲＯＭ２０３等に予め組み込んで提供するように構成してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 情報処理システム
１２ カメラ
１４ 表示装置
２０ 密接検知装置
２２ 取得部
２４ 検出部
２６ 算出部
２８ 出力部
４２ 範囲オブジェクト
４４ 方向オブジェクト
４６ 評価オブジェクト

Claims (16)

  1. 複数の人物が存在する空間を撮像した画像データを取得する取得部と、
    前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
    前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と、
    を備え、
    前記算出部は、
    前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
    前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
    前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい
    情報処理装置。
  2. 前記算出部は、前記１または複数の他人物のそれぞれについての前記個別密接度を合成して前記密接評価値を算出する
    請求項１に記載の情報処理装置。
  3. 前記密接評価値に応じた情報を、表示装置に表示させる出力部をさらに備える
    請求項２に記載の情報処理装置。
  4. 前記出力部は、評価オブジェクトを前記評価対象人物の頭部の位置に重畳した前記画像データを、前記表示装置に表示させ、
    前記評価オブジェクトは、前記密接評価値に応じて表示内容が変化する画像である
    請求項３に記載の情報処理装置。
  5. 前記出力部は、前記評価対象人物の頭部の位置に、範囲オブジェクトを重畳した前記画像データを前記表示装置に表示させ、
    前記範囲オブジェクトは、頭部から所定距離の範囲を表す画像である
    請求項４に記載の情報処理装置。
  6. 前記出力部は、前記評価対象人物の頭部の位置に、方向オブジェクトを重畳した前記画像データを前記表示装置に表示させ、
    前記方向オブジェクトは、頭部の向きを表す画像である
    請求項４または５に記載の情報処理装置。
  7. 前記算出部は、前記評価対象人物の頭部と、対応する他人物の頭部との間の距離が短い程、前記個別密接度を大きくする
    請求項１から６の何れか１項に記載の情報処理装置。
  8. 前記検出部は、前記複数の人物のそれぞれについて、マスクを着用しているか否かをさらに検出し、
    前記算出部は、対応する他人物が前記マスクを着用していない場合、前記個別密接度を大きくする
    請求項１から７の何れか１項に記載の情報処理装置。
  9. 前記検出部は、前記複数の人物のそれぞれについて、声を出しているか否かをさらに検出し、
    前記算出部は、対応する他人物が声を出している場合、前記個別密接度を大きくする
    請求項１から８の何れか１項に記載の情報処理装置。
  10. 前記検出部は、前記画像データに含まれる、口からの飛沫を遮蔽する遮蔽物の位置を、さらに検出し、
    前記算出部は、対応する他人物の頭部の位置と、前記評価対象人物の頭部の位置との間に前記遮蔽物が存在する場合、前記個別密接度を小さくする
    請求項１から９の何れか１項に記載の情報処理装置。
  11. 前記算出部は、密接状態の継続時間が長い程、前記個別密接度を大きくし、
    前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
    請求項１から１０の何れか１項に記載の情報処理装置。
  12. 複数の人物が存在する空間を撮像した画像データを取得する取得部と、
    前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
    前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と、
    を備え、
    前記算出部は、
    前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
    前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
    前記個別密接度は、密接状態の継続時間が長い程、大きく、
    前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
    情報処理装置。
  13. 情報処理装置により実行される情報処理方法であって、
    前記情報処理装置が、
    複数の人物が存在する空間を撮像した画像データを取得し、
    前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出し、
    前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出し、
    前記密接評価値の算出において、前記情報処理装置が、
    前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
    前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
    前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい
    情報処理方法。
  14. 情報処理装置により実行される情報処理方法であって、
    前記情報処理装置が、
    複数の人物が存在する空間を撮像した画像データを取得し、
    前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出し、
    前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出し、
    前記密接評価値の算出において、前記情報処理装置が、
    前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
    前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
    前記個別密接度は、密接状態の継続時間が長い程、大きく、
    前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
    情報処理方法。
  15. 情報処理装置により実行されるプログラムであって、
    前記情報処理装置を、
    複数の人物が存在する空間を撮像した画像データを取得する取得部と、
    前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
    前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と
    して機能させ、
    前記算出部は、
    前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
    前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
    前記個別密接度は、前記評価対象人物の頭部の向きの反対方向に対して、対応する他人物の頭部の向きが一致している程、大きい
    プログラム。
  16. 情報処理装置により実行されるプログラムであって、
    前記情報処理装置を、
    複数の人物が存在する空間を撮像した画像データを取得する取得部と、
    前記画像データに含まれる前記複数の人物のそれぞれの頭部について、前記空間における位置および向きを検出する検出部と、
    前記複数の人物のうちの何れかの評価対象人物について、密接評価値を算出する算出部と、
    して機能させ、
    前記算出部は、
    前記複数の人物のうちの前記評価対象人物以外の１または複数の他人物のそれぞれについて、前記評価対象人物の頭部と、対応する他人物の頭部との密接の度合いを表す個別密接度を算出し、
    前記１または複数の他人物のそれぞれについての前記個別密接度に基づき前記密接評価値を算出し、
    前記個別密接度は、密接状態の継続時間が長い程、大きく、
    前記密接状態は、対応する他人物の頭部の位置が前記評価対象人物の頭部の位置から予め定められた距離以内にあり、且つ、対応する他人物の頭部の向きが前記評価対象人物の頭部の向きの反対方向に対して予め定められた角度範囲内にある状態である
    プログラム。
JP2020192597A 2020-11-19 2020-11-19 情報処理装置、情報処理方法およびプログラム Active JP7458303B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020192597A JP7458303B2 (ja) 2020-11-19 2020-11-19 情報処理装置、情報処理方法およびプログラム
US17/446,613 US20220156964A1 (en) 2020-11-19 2021-08-31 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020192597A JP7458303B2 (ja) 2020-11-19 2020-11-19 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022081200A JP2022081200A (ja) 2022-05-31
JP7458303B2 true JP7458303B2 (ja) 2024-03-29

Family

ID=81586833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020192597A Active JP7458303B2 (ja) 2020-11-19 2020-11-19 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20220156964A1 (ja)
JP (1) JP7458303B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044826A1 (ja) 2018-08-30 2020-03-05 パナソニックＩｐマネジメント株式会社 飛沫到達範囲制御システム及び飛沫到達範囲制御方法
JP2020067939A (ja) 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 感染リスク特定システム、情報端末、及び、感染リスク特定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625859B2 (en) * 2020-07-22 2023-04-11 Motorola Solutions, Inc. Method and system for calibrating a camera and localizing objects within the camera field of view
US20220028535A1 (en) * 2020-07-27 2022-01-27 VergeSense, Inc. Method for mitigating disease transmission in a facility
US20220034542A1 (en) * 2020-08-03 2022-02-03 Trane International Inc. Systems and methods for indoor air quality based on dynamic people modeling to simulate or monitor airflow impact on pathogen spread in an indoor space and to model an indoor space with pathogen killing technology, and systems and methods to control administration of a pathogen killing technology

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044826A1 (ja) 2018-08-30 2020-03-05 パナソニックＩｐマネジメント株式会社 飛沫到達範囲制御システム及び飛沫到達範囲制御方法
JP2020067939A (ja) 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 感染リスク特定システム、情報端末、及び、感染リスク特定方法

Also Published As

Publication number Publication date
US20220156964A1 (en) 2022-05-19
JP2022081200A (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
US11106920B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP2021114307A (ja) 情報処理装置、情報処理方法及びプログラム
JP6525545B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US20170206423A1 (en) Device and method surveilling abnormal behavior using 3d image information
JP5127531B2 (ja) 画像監視装置
JP2008542922A (ja) 保安用途向けの人間の検出及び追跡
US10489640B2 (en) Determination device and determination method of persons included in imaging data
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
US20210174073A1 (en) A Method and Apparatus for Swimmer Tracking
JP2011076316A (ja) 群衆監視装置および方法ならびにプログラム
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
JP2007219603A (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
JP2020106970A (ja) 人検出装置および人検出方法
JP2010199865A (ja) 異常検知システム、異常検知方法及び異常検知プログラム
JP7458303B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016170603A (ja) 移動物体追跡装置
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
KR101704471B1 (ko) 낙상 검출 장치 및 그 방법
JP4750758B2 (ja) 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体
US20210150198A1 (en) State recognition apparatus, state recognition method, and non-transitory computer-readable medium storing program
JP5864231B2 (ja) 移動方向識別装置
JP6548683B2 (ja) 対象物画像推定装置および対象物画像判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R151 Written notification of patent or utility model registration

Ref document number: 7458303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151