JP7452645B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7452645B2
JP7452645B2 JP2022528441A JP2022528441A JP7452645B2 JP 7452645 B2 JP7452645 B2 JP 7452645B2 JP 2022528441 A JP2022528441 A JP 2022528441A JP 2022528441 A JP2022528441 A JP 2022528441A JP 7452645 B2 JP7452645 B2 JP 7452645B2
Authority
JP
Japan
Prior art keywords
person
people
image processing
infection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022528441A
Other languages
English (en)
Other versions
JPWO2021246011A1 (ja
Inventor
学 中野
祥治 西村
美孝 日下田
陽太郎 野田
茂樹 篠田
裕三 仙田
慎 冨永
真澄 石川
大典 生藤
香菜 瀧澤
健一 石井
義之 佐藤
英司 有田
翔大 山本
晋哉 山崎
功充 納富
有紀 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021246011A1 publication Critical patent/JPWO2021246011A1/ja
Application granted granted Critical
Publication of JP7452645B2 publication Critical patent/JP7452645B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
近年は様々な目的で画像処理が用いられている。例えば特許文献１には、空間内の環境を調整して第１対象者からの飛沫の到達範囲が第２対象者の呼吸域から外れるようにするシステムにおいて、第１対象者及び第２対象者の顔の位置及び向きを画像処理によって決定することが記載されている。
国際公開第２０２０／０４４８２６号
感染症の拡大を抑制するためには、感染症にかかった人との間で感染条件を満たした人を特定し、特定した人を検査したり、隔離したりすることが有効である。感染条件は、感染する可能性がある条件であり、必ずしも、当該条件を満たした人が必ず感染するというものではない。
本発明の目的の一つは、所定の人との間で感染条件を満たした人を特定できるようにすることにある。
本発明によれば、
複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出する特徴量抽出手段と、
前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する特定手段と、
を有する画像処理装置が提供される。
また、本発明によれば、
コンピュータが、
複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出し、
前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する画像処理方法が提供される。
また、本発明によれば、
コンピュータを、
複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出する特徴量抽出手段、
前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する特定手段、
として機能させるプログラムが提供される。
本発明によれば、所定の人との間で感染条件を満たした人を特定できるようになる。
本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置の使用環境を説明するための図である。 本実施形態の画像処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の画像処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の画像処理装置の処理内容の一例を説明するための図である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置のハードウェア構成の一例を示す図である。 本実施形態の画像処理装置の機能ブロック図の一例である。 本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の画像処理装置が出力する画像の一例である。 本実施形態の画像処理装置が出力する画像の一例である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
＜第１の実施形態＞
「概要」
本実施形態の画像処理装置は、複数の人を含む画像を処理することにより、画像に含まれる人の中から互いに感染条件を満たした人の組み合わせを特定し、特定結果を示すデータベースを生成する機能を有する。当該データベースを利用することで、所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人を特定できるようになる。以下、詳細に説明する。
「構成」
次に、画像処理装置の機能構成を説明する。図１は、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、特徴量抽出部１１と、特定部１２と、記憶部１３と、画像取得部１５とを有する。なお、画像処理装置１０は記憶部１３を有さなくてもよい。この場合、画像処理装置１０と通信可能に構成された外部装置が記憶部１３を備える。
画像取得部１５は、撮像装置が生成した複数の人を含む画像を取得する。画像取得部１５は、取得した画像を記憶部１３に記憶することができる。画像処理装置１０と撮像装置とが通信可能に接続されている場合、画像取得部１５は、撮像装置から画像を受信することができる。その他、撮像装置が生成した画像が任意の記憶装置に格納されてもよい。そして、任意のタイミングで画像取得部１５は、その記憶装置に記憶されている画像を取得してもよい。画像取得部１５は、撮像装置が生成した画像をバッチ処理で取得してもよいし、リアルタイム処理で取得してもよい。
ここで、撮像装置について説明する。図２は、実施形態に係る画像処理装置１０の使用環境を説明するための図である。画像処理装置１０は撮像装置２０とともに使用される。
撮像装置２０は例えば固定カメラであり、複数の人、例えば不特定多数の人が往来する領域（以下、対象領域と記載）を繰り返し撮影する。このため、撮像装置２０が生成する画像は複数の人を含んでいる。撮像装置２０は、例えば店舗、施設、設備等に設置された監視カメラであってもよい。撮像装置２０が生成する画像のフレームレートは任意であるが、例えば動画を構成するようなフレームレートであってもよい。一例として、撮像装置２０は、画像処理装置１０と通信可能に接続し、生成した画像を画像処理装置１０に送信することができる。
図２に示す例において、画像処理装置１０は一つの撮像装置２０に接続している。ただし画像処理装置１０は複数の撮像装置２０に接続していてもよい。この場合、複数の撮像装置２０は互いに異なる対象領域を撮像している。また、複数の撮像装置２０のそれぞれは、当該撮像装置２０を識別する情報（以下、撮像装置識別情報と記載）に紐づけて画像を外部に送信する。このようにすると、複数、例えば１００か所以上の多数の対象領域のそれぞれについて所望の解析を行うことができる。
図１に戻り、特徴量抽出部１１は、画像取得部１５が取得した複数の人を含む画像を処理することにより、画像から人を検出する。そして、画像取得部１５は、検出した人各々の外観の特徴量（顔情報等）を抽出する。なお、特徴量抽出部１１は、画像に基づき、検出した人各々の属性を推定してもよい。属性は、画像から推定可能なものであり、例えば「大人、子供、老人の種別」、「年齢」、「性別」等である。人の検出、特徴量の抽出及び属性推定は広く知られた技術であるので、ここでの説明は省略する。
特徴量抽出部１１は、例えば、検出した人の外観の特徴量や位置情報を用いて、異なる画像に重複して存在する同一人物を特定することができる。そして、特徴量抽出部１１は、例えば外観の特徴量を用いて、検出された複数の人を互いに識別することができる。
特徴量抽出部１１による上記処理により、例えば図３に示すような情報が生成される。当該情報は、記憶部１３に記憶される。図３に示す情報は、画像から検出された人の情報であり、「通番」、「画像ファイル」、「登場シーン」、「外観の特徴量」、「属性推定結果」を含む。なお、これらの項目の一部を含まなくてもよいし、その他の項目を含んでもよい。
「通番」は、検出された人各々に付与される識別情報である。１人の人物に対して１つの通番が付与される。
「画像ファイル」は、各人を含む複数の画像の中の代表画像のファイルを示す。例えば、各人が最も大きく写っている画像や、各人の顔が検出されている画像等が代表画像となる。
「登場シーン」は、各人が登場するシーンを示す情報である。例えば、動画ファイル名と、冒頭からの経過時間等で、登場シーン（検出されたシーン）が明示されてもよい。その他、各人が検出された画像のファイル名により、検出された人各々が登場するシーンが明示されてもよい。
「外観の特徴量」は、特徴量抽出部１１が抽出した各人の外観の特徴量を示す。
「属性推定結果」は、特徴量抽出部１１が推定した各人の属性の推定結果である。例えば、「大人、子供、老人の種別」、「年齢」、「性別」等を含む。
図１に戻り、特定部１２は、画像取得部１５が取得した複数の人を含む画像を処理することにより、検出された人各々との間で感染条件を満たす他の人を特定する。そして、特定部１２は、検出された人各々の外観の特徴量（各人を識別する情報）に紐付けて、特定した他の人に関する関連情報を登録する。
ここで、感染条件について説明する。感染条件は、感染する可能性がある条件であり、必ずしも、当該条件を満たした人が必ず感染するというものではない。感染条件は、例えば、互いの距離、人の顔の向き、人の装着物、人の口の動き及び身体の接触の中の少なくとも１つに基づき定義される。
例えば、以下の条件の中の１つ又は複数を満たすことが、感染条件であってもよい。その他、以下の条件の中の１つ又は複数を満たす状態の継続時間が基準値以上を満たすことが、感染条件であってもよい。その他、以下の条件の中の１つ又は複数を満たす状態が起きる頻度（回数、所定時間に対する当該状態を満たしている時間の割合等）が基準値以上であってもよい。
（条件１）互いの間隔が基準値以下。
（条件２）少なくとも一方の顔の向きが相手の方を向いている。
（条件３）少なくとも一方が顔に所定の装着物をしていない。
（条件４）少なくとも一方の口が動いている。
（条件５）互いの間で身体の接触があった。
（条件６）互いの間で所定パターンの身体の接触があった。所定パターンは、「手をつなぐ」、「握手」、「ハグ」、「キス」等。
条件１の基準値は、いわゆる社会的距離に基づいて定められる。社会的距離は、感染症の感染を防ぐために、隣り合う人の間で保たれるべき物理的距離である。そして基準値の大きさは、対象としている感染症の主な感染経路に基づいて設定される。例えば飛沫感染が主となる感染症に対し、基準値には１．５ｍ以上６ｍ以下の値が用いられる。また、接触感染が主となる感染症については、基準値には５０ｃｍ以上１．５ｍ以下の値が用いられる。なお、以下で、画像に基づく２者間の距離の算出方法の一例を説明する。
条件３の装着物は、口及び鼻の少なくとも一方（好ましくは双方）を覆うものであり、例えばマスクやマフラーである。
条件４の口の動きの検出により、話したり、笑ったり、くしゃみしたりする動作があったことを検出することができる。
その他、感染条件は、「同じ物に触れること」であってもよい。物は、撮像装置２０の撮影領域内に位置し、その場に固定されている物（すなわち、常に撮像装置２０の撮像領域内に存在する物）であり、例えば、つり革、自動販売機、券売機、セルフ会計装置等が例示されるが、これらに限定されない。この例の場合、同じタイミングで同じ場所に存在しなかった複数の人が、互いに感染条件を満たすこととなり得る。
次に、関連情報について説明する。関連情報は、特定した他の人の画像、特定した他の人の外観の特徴量、特定した他の人の属性の推定結果、及び各人と特定した他の人との間で満たす感染条件の内容の中の少なくとも１つを含む。
各人と特定した他の人との間で満たす感染条件の内容は、どのような条件を満たしたかを示す情報であってもよい。これは、条件が複数存在する場合を想定している。その他、各人と特定した他の人との間で満たす感染条件の内容は、その詳細な情報をさらに含んでもよい。例えば、各人と特定した他の人との間で満たす感染条件の内容は、「互いの最短の間隔」、「互いの間隔が基準値以下となった継続時間」、「互いの間隔が基準値以下となった頻度」、「顔の向きが相手の方を向いているのは一方か両方か」、「顔に所定の装着物をしていないのは一方か両方か」、「口が動いているのは一方か両方か」、「互いの間の身体の接触の継続時間」、「互いの間の身体の接触の頻度」、「どのようなパターンの接触があったか」等を含んでもよい。
また、関連情報は、各人と特定した他の人との間で満たす感染条件の内容に基づき算出された感染危険度を含んでもよい。特定部１２が、感染危険度を算出する。感染危険度の算出アルゴリズムは特段制限されないが、以下の内容を満たすように設計される。
例えば、上述した条件１を満たす場合、互いの最短の間隔が小さくなるほど、感染危険度が大きくなる。また、上述した条件２を満たす場合、一方の顔の向きが相手の方を向いている場合よりも、両方の顔の向きが相手の方を向いている場合の方が、感染危険度が大きくなる。また、上述した条件３を満たす場合、一方が顔に所定の装着物をしていない場合よりも、両方が顔に所定の装着物をしていない場合の方が、感染危険度が大きくなる。
また、上述した条件４を満たす場合、一方の口が動いている場合よりも、両方の口が動いている場合の方が、感染危険度が大きくなる。また、上述した条件５や６を満たす場合、より感染しやすいパターンの接触があるほど、感染危険度が大きくなる。この場合、複数の接触のパターン各々の感染しやすさが処理装置１０内に登録されている。
また、上述した条件１乃至６のいずれかを満たす場合、条件を満たす状態の継続時間が長いほど、感染危険度が大きくなる。また、上述した条件１乃至６のいずれかを満たす場合、条件を満たす状態が起きる頻度（回数、所定時間に対する当該状態を満たしている時間の割合等）が大きいほど、感染危険度が大きくなる。
その他、関連情報は、感染条件を満たしたタイミング及び場所の少なくとも一方を示す情報を含んでもよい。感染条件を満たしたタイミングは、日時情報（年月日及び時刻）で示されてもよいし、動画ファイルの冒頭からの経過時間等で示されてもよい。場所を示す情報は、そのシーンを撮影した撮像装置２０の識別情報であってもよいし、その場所の住所であってもよいし、その場所の名称であってもよいし、緯度・経度情報であってもよい。なお、その場所の住所、名称、緯度・経度情報等を採用する場合、予め、各撮像装置２０に紐付けて、各撮像装置２０の設置場所の住所、名称、緯度・経度情報等が画像処理装置１０内に登録される。
図４に、特定部１２が生成した情報の一例を模式的に示す。当該情報は、記憶部１３に記憶される。図示する例では、各人の通番に紐付けて、特定した他の人に関する関連情報（図中、「感染条件を満たす人に関する情報」）が登録されている。関連情報は、通番等を含む。通番は、上述の通り、検出された人各々に付与される識別情報である。
次に、図５を用いて、画像に基づく２者間の距離の算出方法の一例を説明する。まず、特定部１２は、基準となる人、又は他の人の画像内における高さｔを算出する。ここでは、例えば画素数で表される。次いで、特定部１２は、基準となる人から他の人までの画像内における距離ｄを算出する。ここでｄは、ｔと同じ単位（例えば画素数）で表される。次いで、特定部１２は、ｄ／ｔを算出し、この値に上記した基準身長を乗ずることにより、基準となる人と他の人の距離を算出する。
なお、基準身長は予め設定されている。撮像装置２０が設置されている場所（例えば国）によって、この基準身長を変えてもよい。例えば基準身長は、対象となっている撮像装置２０が設置されている国の成人の平均身長が用いられる。具体的な処理の例として、画像処理装置１０は、基準身長を特定する情報を撮像装置２０毎に記憶している。そして、特定部１２は、処理対象となっている画像を生成した撮像装置２０に対応する基準身長を読み出して使用する。
また、特定部１２は、画像処理によって高さｔの算出対象となった人の属性（例えば性別及び年齢層の少なくとも一方）が推定できた場合、この属性によって基準身長を変更してもよい。
なお、ほとんどの画像には、その画像を生成した撮像装置２０に固有の歪が生じている。特定部１２は、２者間の距離を算出する際、この歪を補正する処理を行うのが好ましい。特定部１２は、画像内における人の位置に応じたひずみ補正処理を行う。一般的に、画像の歪は、例えば撮像装置２０が有する光学系（例えばレンズ）、及びその撮像装置２０の上下方向の向き（例えば水平面に対する角度）に起因している。そこで画像内における人の位置に応じたひずみ補正処理の内容は、撮像装置２０が有する光学系（例えばレンズ）、及びその撮像装置２０の上下方向の向きに応じて設定される。
なお、本図を用いて説明した処理において、大きさがある程度規格化されている物体が画像に含まれていた場合、特定部１２は、人の身長の代わりにこの物体の大きさを用いて２者間の距離を算出してもよい。
次に、図６のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。
画像取得部１５が１つの画像を取得すると（Ｓ１０）、特徴量抽出部１１は、その画像から人を検出する。そして、特徴量抽出部１１は、検出した人の外観の特徴量を抽出し、記憶部１３が記憶する情報（図３参照）を更新する（Ｓ１１）。その後、特定部１２は、その画像から検出された人毎に、感染条件を満たす人を特定し（Ｓ１２）、記憶部１３が記憶する情報（図４参照）を更新する（Ｓ１３）。その後、画像処理装置１０は、Ｓ１０に戻って同様の処理を繰り返す。
次に、画像処理装置１０のハードウェア構成の一例を説明する。図７は、画像処理装置１０のハードウェア構成例を示す図である。画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部１３としても機能する。
入出力インタフェース１０５０は、画像処理装置１０と各種入出力機器とを接続するためのインタフェースである。
ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して撮像装置２０と通信してもよい。
「作用効果」
本実施形態の画像処理装置１０は、複数の人を含む画像を処理することにより、画像に含まれる人の中から互いに感染条件を満たした人の組み合わせを特定し、特定結果を示すデータベースを生成することができる。当該データベースを利用することで、所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人を特定できるようになる。
また、画像処理装置１０は、各人との間で感染条件を満たした人に関連する情報として、その人の画像、その人の外観の特徴量、その人の属性の推定結果を登録することができる。これらの情報を利用することで、所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人を見つけ出すことが可能となる。
また、画像処理装置１０は、各人との間で感染条件を満たした人に関連する情報として、その人の属性の推定結果を登録することができる。この情報を利用することで、所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人の中から、さらに所定の属性に該当する人を検索（絞込み）することが可能となる。
また、画像処理装置１０は、各人との間で感染条件を満たした人に関連する情報として、各人との間で満たす感染条件の内容を登録することができる。この情報を利用することで、所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人の中から、さらにその所定の人との間で満たす感染条件の内容が所定条件を満たす人を検索（絞込み）することが可能となる。
また、画像処理装置１０は、各人との間で感染条件を満たした人に関連する情報として、各人との間で満たす感染条件の内容に基づき算出された感染危険度を登録することができる。この情報を利用することで、所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人の中から、さらに感染危険度が所定条件を満たす人を検索（絞込み）することが可能となる。
また、画像処理装置１０は、互いの距離、人の顔の向き、人の装着物、人の口の動き及び身体の接触の中の少なくとも１つに基づき定義される感染条件を満たす人を検出することができる。また、画像処理装置１０は、「同じ物に触れること」である感染条件を満たす人を検出することができる。このような画像処理装置１０によれば、各人から感染する可能性がある人を精度よく検出することができる。
＜第２の実施形態＞
本実施形態の画像処理装置１０は、第１の実施形態で説明した機能により生成したデータベースの中から、所望の情報を検索する機能をさらに有する点で、第１の実施形態の画像処理装置１０と異なる。
図８に、本実施形態の画像処理装置１０の機能ブロック図の一例を示す。検索部１４を有する点で、第１の実施形態の画像処理装置１０と異なる。
検索部１４は、指定された外観の特徴量に紐付けられている関連情報を検索し、出力する。例えば、人を含む画像が検索条件として入力されてもよい。この場合、検索部１４は、当該画像を解析して画像に含まれる人の外観の特徴量を抽出する。そして、検索部１４は、抽出した外観の特徴量を検索クエリとして、記憶部１３に記憶されている関連情報を検索する。
なお、関連情報に含まれるその他の情報を用いて、検索条件が定義できてもよい。例えば、第１の実施形態で説明した「各人と特定した他の人との間で満たす感染条件の内容」に含まれる情報を用いて、検索条件が定義できてもよい。例えば、「どの条件を満たしたか」、「互いの最短の間隔」、「互いの間隔が基準値以下となった継続時間」、「互いの間隔が基準値以下となった頻度」、「顔の向きが相手の方を向いているのは一方か両方か」、「顔に所定の装着物をしていないのは一方か両方か」、「口が動いているのは一方か両方か」、「互いの間の身体の接触の継続時間」、「互いの間の身体の接触の頻度」、「どのようなパターンの接触があったか」、「感染危険度」、「感染条件を満たした場所」、「感染条件を満たしたタイミング」等により、所望の関連情報が検索できてもよい。
検索部１４は、検索結果（検索条件に合致する関連情報）を所定の出力装置を介して出力する。出力装置は、ディスプレイ、投影装置等であるが、これらに限定されない。
次に、図９のフローチャートを用いて、画像処理装置１０の処理の流れの一例を説明する。検索部１４は、検索条件を取得すると（Ｓ２０）、その検索条件に合致する関連情報を検索し（Ｓ２１）、検索結果を出力する（Ｓ２２）。
本実施形態の画像処理装置１０のその他の構成は、第１の実施形態の画像処理装置１０の構成と同様である。
本実施形態の画像処理装置１０によれば、第１の実施形態の画像処理装置１０と同様の作用効果が実現される。また、本実施形態の画像処理装置１０によれば、所望の人、例えば所定の人（例えば、感染症にかかった人）との間で感染条件を満たした人や、所定の態様で所定の人との間で感染条件を満たした人等を検索できる。また、所定の態様は、「どの条件を満たしたか」、「互いの最短の間隔」、「互いの間隔が基準値以下となった継続時間」、「互いの間隔が基準値以下となった頻度」、「顔の向きが相手の方を向いているのは一方か両方か」、「顔に所定の装着物をしていないのは一方か両方か」、「口が動いているのは一方か両方か」、「互いの間の身体の接触の継続時間」、「互いの間の身体の接触の頻度」、「どのようなパターンの接触があったか」、「感染危険度」、「感染条件を満たした場所」、「感染条件を満たしたタイミング」等の各種項目により指定可能である。このため、所望の関連情報を効率的に検索することができる。
ここで、変形例を説明する。画像処理装置１０は、図１０及び図１１に示すような画像をディスプレイ等の出力装置に表示させてもよい。これらの図において、画像処理装置１０は、人ごとに、当該人を中心とした社会的距離の推奨値（例えば上記した基準値）の範囲を示すマークを表示させる。そしてある人に対応するマークとその近くの人に対応するマークとが重なった場合、すなわちある人とその近くの人の距離が社会的距離の推奨値以下になった場合、これら２人それぞれに対応するマーク（例えば、図１０および図１１の人Ｐ１、Ｐ２）を、他の人に対応するマーク（例えば、図１０および図１１の人Ｐ３、Ｐ４、Ｐ５、Ｐ６）とは異なる態様で表示させる。態様の異ならせ方は、例えば表示色を変えたり、マークを構成する線の態様（実線、点線、及び一点鎖線など）を異ならせるなどである。画像処理装置１０は、表示色を変える場合、例えば通常の状態のマークを青色で表示し、２つのマークが重なっている場合はこれら２つのマークを赤色で表示させる。
図１０に示す例では、画像処理装置１０は、感染リスク情報を生成するときに用いた画像（動画の場合もある）に、上記したマークを重ねている。一方、図１１に示す例では、人の配置を平面図で示したうえで、当該平面図に上記したマークを重ねている。画像処理装置１０は、図１０に示す表示及び図１１に示す表示を、同時に出力装置に表示させてもよい。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出する特徴量抽出手段と、
前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する特定手段と、
を有する画像処理装置。
２． 指定された前記外観の特徴量に紐付けられている前記関連情報を検索し、出力する検索手段をさらに有する１に記載の画像処理装置。
３． 前記関連情報は、他の前記人の画像、他の前記人の前記外観の特徴量、他の前記人の属性の推定結果、及び前記人各々との間で満たす前記感染条件の内容の中の少なくとも１つを含む１又は２に記載の画像処理装置。
４． 前記関連情報は、前記人各々との間で満たす前記感染条件の内容に基づき算出された感染危険度を含む１から３のいずれかに記載の画像処理装置。
５． 前記関連情報は、前記感染条件を満たしたタイミング及び場所の少なくとも一方を示す情報を含む１から４のいずれかに記載の画像処理装置。
６． 前記感染条件は、互いの距離、前記人の顔の向き、前記人の装着物、前記人の口の動き及び身体の接触の中の少なくとも１つに基づき定義される１から５のいずれかに記載の画像処理装置。
７． 前記感染条件は、前記人が触れた物と同じ物に触れることである１から６のいずれかに記載の画像処理装置。
８． コンピュータが、
複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出し、
前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する画像処理方法。
９． コンピュータを、
複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出する特徴量抽出手段、
前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する特定手段、
として機能させるプログラム。
この出願は、２０２０年６月５日に出願された日本出願特願２０２０－０９８４０４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 画像処理装置
１１ 特徴量抽出部
１２ 特定部
１３ 記憶部
１４ 検索部
１５ 画像取得部

Claims (8)

  1. 複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出する特徴量抽出手段と、
    前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する特定手段と、
    を有し、
    前記感染条件は、前記人が触れた物と同じ物に触れることである画像処理装置。
  2. 指定された前記外観の特徴量に紐付けられている前記関連情報を検索し、出力する検索手段をさらに有する請求項１に記載の画像処理装置。
  3. 前記関連情報は、他の前記人の画像、他の前記人の前記外観の特徴量、他の前記人の属性の推定結果、及び前記人各々との間で満たす前記感染条件の内容の中の少なくとも１つを含む請求項１又は２に記載の画像処理装置。
  4. 前記関連情報は、前記人各々との間で満たす前記感染条件の内容に基づき算出された感染危険度を含む請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記関連情報は、前記感染条件を満たしたタイミング及び場所の少なくとも一方を示す情報を含む請求項１から４のいずれか１項に記載の画像処理装置。
  6. 他の前記感染条件は、互いの距離、前記人の顔の向き、前記人の装着物、前記人の口の動き及び身体の接触の中の少なくとも１つに基づき定義される請求項１から５のいずれか１項に記載の画像処理装置。
  7. コンピュータが、
    複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出し、
    前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録し、
    前記感染条件は、前記人が触れた物と同じ物に触れることである画像処理方法。
  8. コンピュータを、
    複数の人を含む画像を処理することにより、前記人各々の外観の特徴量を抽出する特徴量抽出手段、
    前記画像を処理することにより、前記人各々との間で感染条件を満たす他の前記人を特定し、前記人各々の前記外観の特徴量に紐付けて、特定した他の前記人に関する関連情報を登録する特定手段、
    として機能させ、
    前記感染条件は、前記人が触れた物と同じ物に触れることであるプログラム。
JP2022528441A 2020-06-05 2021-03-08 画像処理装置、画像処理方法、及びプログラム Active JP7452645B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020098404 2020-06-05
JP2020098404 2020-06-05
PCT/JP2021/008884 WO2021246011A1 (ja) 2020-06-05 2021-03-08 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021246011A1 JPWO2021246011A1 (ja) 2021-12-09
JP7452645B2 true JP7452645B2 (ja) 2024-03-19

Family

ID=78830820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022528441A Active JP7452645B2 (ja) 2020-06-05 2021-03-08 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230274553A1 (ja)
JP (1) JP7452645B2 (ja)
WO (1) WO2021246011A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239813A1 (ja) 2018-06-14 2019-12-19 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理プログラム及び情報処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239813A1 (ja) 2018-06-14 2019-12-19 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理プログラム及び情報処理システム

Also Published As

Publication number Publication date
WO2021246011A1 (ja) 2021-12-09
US20230274553A1 (en) 2023-08-31
JPWO2021246011A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
CN109271832B (zh) 人流分析方法、人流分析装置以及人流分析系统
US8724845B2 (en) Content determination program and content determination device
WO2019120040A9 (zh) 目标物定位系统及定位方法
JP4198951B2 (ja) グループ属性推定方法及びグループ属性推定装置
JP5657113B2 (ja) 映像内のオブジェクトの意味解析
KR101390591B1 (ko) 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법
US11138420B2 (en) People stream analysis method, people stream analysis apparatus, and people stream analysis system
US20200184228A1 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
US20160095511A1 (en) Eye gaze detecting device and eye gaze detection method
US20160127657A1 (en) Imaging system
Fan et al. Fall detection via human posture representation and support vector machine
JP2019071050A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7318321B2 (ja) 情報処理装置、情報処理方法、人物検索システムおよび人物検索方法
WO2016070300A1 (en) System and method for detecting genuine user
JP2024041796A (ja) 情報処理装置
JP6206627B1 (ja) 情報処理装置、制御方法、及びプログラム
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
JP2011039994A (ja) 部品検出装置、部品検出方法、プログラムおよび記録媒体
JP7452645B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7452644B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2024014971A (ja) 情報処理装置、表示方法、及びプログラム
KR20170007070A (ko) 방문객 출입 통계 분석 방법 및 장치
JP2017054355A (ja) 改札監視システム
JP2012230494A (ja) 歩行者検出装置
JP2005250692A (ja) 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7452645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151