JP7517416B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7517416B2
JP7517416B2 JP2022527433A JP2022527433A JP7517416B2 JP 7517416 B2 JP7517416 B2 JP 7517416B2 JP 2022527433 A JP2022527433 A JP 2022527433A JP 2022527433 A JP2022527433 A JP 2022527433A JP 7517416 B2 JP7517416 B2 JP 7517416B2
Authority
JP
Japan
Prior art keywords
gesture
detected
image processing
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022527433A
Other languages
English (en)
Other versions
JPWO2021240771A5 (ja
JPWO2021240771A1 (ja
Inventor
祥治 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021240771A1 publication Critical patent/JPWO2021240771A1/ja
Publication of JPWO2021240771A5 publication Critical patent/JPWO2021240771A5/ja
Priority to JP2024104775A priority Critical patent/JP2024124461A/ja
Application granted granted Critical
Publication of JP7517416B2 publication Critical patent/JP7517416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
近年は、様々な場所に監視カメラが設置されている。監視カメラの使い方の一つに、異常事態を検出することがある。例えば特許文献1には、監視領域を撮影した監視画像に含まれる人物の画像が予め登録されている正規利用者である場合において、その人物が所定の非常行動を取ったときに非常通報することが記載されている。
なお、特許文献2には、以下のことが記載されている。まず、プラントを操作する運転員を監視カメラで管理する場合において、ディスプレイに表示された警報表示を運転員が確認したときに運転員が行うべき肢体表現を予め決めておく。そして、警報表示が行われた後に、運転員がこの肢体表現を行ったことを監視カメラの映像を処理することにより検出する。
特開2011-192157号公報 特開2013-190894号公報
監視カメラに対してジェスチャー入力が行えるようにすると、監視に関するアクションが早くなる可能性は高くなる。一方、特許文献1に記載の技術では、利便性を高める余地がある。本発明が解決しようとする課題の一つは、監視カメラに対してジェスチャー入力を行う場合において、利便性を高めることにある。
本発明によれば、監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
を備え、
前記第1ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
前記実行手段は、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行する画像処理装置が提供される。
本発明によれば、監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
を備え、
前記画像処理手段は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
前記実行手段は、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する画像処理装置が提供される。
本発明によれば、コンピュータが、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行処理と、
を行い、
前記第1ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
前記実行処理において、前記コンピュータは、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行する画像処理方法が提供される。
本発明によれば、コンピュータが、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行処理と、
を行い、
前記画像処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
前記実行処理において、前記コンピュータは、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する画像処理方法が提供される。
本発明によれば、コンピュータに、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理機能と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行機能と、
を持たせ、
前記第1ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
前記実行機能は、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行するプログラムが提供される。
本発明によれば、コンピュータに、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理機能と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行機能と、
を持たせ、
前記画像処理機能は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
前記実行機能は、前記第2ジェスチャーが検出されたときに、前記第1処理を実行するプログラムが提供される。
本発明によれば、監視カメラに対してジェスチャー入力を行う場合において、利便性は高まる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第1実施形態に係る画像処理装置の使用環境を説明するための図である。 画像処理装置の機能構成の一例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置が行う処理の一例を示すフローチャートである。 第2実施形態に係る画像処理装置が行う処理の一例を示すフローチャートである。 第3実施形態において画像処理装置が行う処理の一例を示すフローチャートである。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
[第1実施形態]
図1は、本実施形態に係る画像処理装置10の使用環境を説明するための図である。画像処理装置10は監視カメラ20が生成した映像を処理することにより、その映像に含まれている人が所定のジェスチャー(以下、第1ジェスチャーと記載)を行ったことを必要条件として、所定の処理(以下、第1処理と記載)を行う。本実施形態において、第1ジェスチャーを行ったことは必要十分条件となっている。そして、複数種類の第1ジェスチャーが予め定められている。そして第1処理は、複数種類の第1ジェスチャーごとに定められている。
本図に示す例において、画像処理装置10は複数の監視カメラ20のそれぞれから映像を取得する。これら複数の監視カメラ20は、互いに離れた領域を撮像していてもよいし、互いに隣り合う領域を撮像していてもよい。監視カメラ20が生成する映像のフレームレートは任意である。監視カメラ20が設置されている場所はさまざまである。例えば監視カメラ20は建物の中に位置していてもよいし、建物の外(例えば街中)に位置していてもよいし、電車、バス、又は飛行機など移動体の中に位置してもよい。
監視カメラ20は、通知部22を有している。通知部22は、例えばスピーカー、照明などの発光部、及びディスプレイの少なくとも一つであり、画像処理装置10によって操作される。画像処理装置10は、第1処理として通知部22の状態を変化させてもよいし、第1処理を行った後、当該第1処理が行われたことを監視カメラ20の前にいる人に認識させるために、通知部22の状態を変化させてもよい。
なお、ここで行われる状態の変化の例は、例えば以下の通りである。
(1)通知部22がスピーカーの場合、スピーカーから所定の音声を所定時間継続して出力させる。
(2)通知部22がスピーカーの場合、スピーカーから出力を変更する。変更する対象は、音声が意味する内容、大きさ、及び音の高さの少なくとも一つである。
(3)通知部22がディスプレイの場合、ディスプレイに所定の内容を表示し始める。
(4)通知部22がディスプレイの場合、ディスプレイの表示を変更する。
(5)通知部22が発光部の場合、発光部を所定時間発光又は点滅させる。
(6)通知部22が発光部の場合、発光部の発光強度及び発光色の少なくとも一方を変更する。
なお、通知部22は監視カメラ20の外部に設けられていてもよい。この場合、通知部22は監視カメラ20の近傍に位置するのが好ましい。ここでの「近傍」の一例は、監視カメラ20を見た人が通知部22の存在を認識できる範囲である。
また本実施形態において、画像処理装置10は外部装置30と通信する。画像処理装置10は、第1処理として、外部装置30に対する通知処理を行う。通知処理において通知される内容は、例えば、監視カメラ20の撮像範囲において何らかの異常や緊急事態が生じていることである。外部装置30は、例えば警備会社に設けられていてもよいし、警察などの公共機関に設けられていてもよい。
図2は、画像処理装置10の機能構成の一例を示す図である。本図に示す例において、画像処理装置10は画像処理部110及び実行部120を備えている。
画像処理部110は、監視カメラ20が生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する。画像処理部110は、例えば映像を構成する各フレーム画像に対して姿勢推定処理を行い、この姿勢推定処理の結果又はその推移を用いて、人が行うジェスチャーを検出する。
実行部120は、第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する。上記したように、第1ジェスチャーは複数種類あり、第1処理は、前記複数種類の第1ジェスチャー毎に定められている。そして実行部120は、検出された前記第1ジェスチャーの種類に対応する第1処理を実行する。
本図に示す例において、画像処理装置10はデータ記憶部130を備えている。データ記憶部130は、複数種類の第1ジェスチャー毎に、当該第1ジェスチャーを検出するために必要な情報(例えば画像における人の姿勢の特徴量又はその推移)と、当該第1ジェスチャーに対応する第1処理を行うために必要な情報とを、互いに対応付けて記憶している。そして画像処理部110は、データ記憶部130が記憶している情報を用いて第1ジェスチャーを検出する。また実行部120は、データ記憶部130が記憶している情報を用いて第1処理を実行する。
図3は、画像処理装置10のハードウェア構成例を示す図である。画像処理装置10は、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、入出力インタフェース1050、及びネットワークインタフェース1060が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit) やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は画像処理装置10の各機能(例えば画像処理部110及び実行部120)を実現するプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス1040は、データ記憶部130としても機能することもある。
入出力インタフェース1050は、画像処理装置10と各種入出力機器とを接続するためのインタフェースである。
ネットワークインタフェース1060は、画像処理装置10をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1060がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置10は、ネットワークインタフェース1060を介して監視カメラ20及び外部装置30と通信する。
図4は、画像処理装置10が行う処理の一例を示すフローチャートである。画像処理装置10は、複数の監視カメラ20が生成した映像のそれぞれに対して、本図に示した処理を行う。
画像処理装置10の画像処理部110は、監視カメラ20から映像を取得している。この取得は、リアルタイムで行われるのが好ましい(ステップS10)。そして画像処理装置10の画像処理部110は、監視カメラ20から取得した映像を処理することにより、この映像に含まれる人が第1ジェスチャーを行っているか否かを判断する(ステップS20)。この処理において、画像処理部110は、データ記憶部130が記憶している情報を用いる。
ここで、第1ジェスチャーは、特定の姿勢の場合もあれば、特定の動きの場合もある。前者の場合、画像処理部110は、一つのフレーム画像を用いて第1ジェスチャーの有無を判断する。後者の場合、画像処理部110は、連続する複数のフレーム画像を用いて第1ジェスチャーの有無を判断する。この場合、第1ジェスチャーは、例えば同一の行為(例えば瞬き)を所定時間内(例えば10秒以内)に所定回数(例えば10回)行うことであってもよいし、所定の行為(例えば顔を監視カメラ20に向ける)を所定時間(例えば10秒)以上継続することであってもよい。
画像処理部110が第1ジェスチャーを検出する(ステップS20:Yes)と、実行部120は、データ記憶部130が記憶している情報を用いて、検出された第1ジェスチャーに対応する第1処理を実行する(ステップS30)。ここで行われる第1処理は、例えば上記したように外部装置30への通知処理又は通知部22の状態変更であるが、これらに限定されない。
ここで第1処理が通知部22の状態変更以外の処理であった場合、実行部120は、第1処理が完了した後に、第1ジェスチャーを行った人の前の監視カメラ20の通知部22の状態を第1処理が行われたことを示す所定の状態に変更してもよい。このようにすると、監視カメラ20の前にいる人は、第1処理が行われたことを認識できる。
以上、本実施形態によれば、画像処理装置10は、監視カメラ20が生成した映像を処理することにより、当該映像に含まれている人が予め定められている第1ジェスチャーを行っているか否かを判断する。本実施形態において、第1ジェスチャーは複数種類定められており、また、第1ジェスチャー別に、その第1ジェスチャーに対応する第1処理が定められている。そして画像処理装置10は、検出された第1ジェスチャーに対応する第1処理を実行する。このため、監視カメラ20に映っている人は、監視カメラ20を介して様々な処理を画像処理装置10に指示することができる。よって、ユーザの利便性は高まる。
なお本実施形態において、2つ以上の第1ジェスチャーに対して一つの第1処理が対応付けられていてもよい。この場合、データ記憶部130において、複数の第1処理のそれぞれは、少なくとも一つの第1ジェスチャーに対応付けられている。
[第2実施形態]
本実施形態において、画像処理装置10は、第1ジェスチャーを検出した後、さらに第2ジェスチャーを検出することを必要条件として、第1処理を実行する。後述するフローチャートにおいて、第1及び第2ジェスチャーの検出は、第1処理を実行するための必要十分条件になっている。第2ジェスチャーは、第1ジェスチャーとは異なるのが好ましいが、第1ジェスチャーと同一であってもよい。
本実施形態において、データ記憶部130は、第1実施形態と同様に、第1ジェスチャーを検出するために必要な情報を記憶している。またデータ記憶部130は、第2ジェスチャーを検出するために必要な情報(例えば画像における人の姿勢の特徴量又はその推移)と、第1処理を行うために必要な情報とを、互いに対応付けて記憶している。
なお、第1ジェスチャーは一つのみであってもよいし、複数であってもよい。また、第2ジェスチャーは一つのみ定められていてもよい。この場合、第1処理は一つになる。
また、複数種類の第2ジェスチャー毎に、当該第2ジェスチャーに対応する第1処理が設定されていてもよい。この場合、データ記憶部130は、複数種類の第2ジェスチャー毎に、当該第2ジェスチャーを検出するために必要な情報(例えば画像における人の姿勢の特徴量又はその推移)と、当該第2ジェスチャーに対応する第1処理を行うために必要な情報とを、互いに対応付けて記憶している。
図5は、本実施形態に係る画像処理装置10が行う処理の一例を示すフローチャートである。ステップS10及びステップS20で行われる処理は、第1実施形態と同様である。
画像処理装置10の画像処理部110は、第1ジェスチャーを検出する(ステップS20:Yes)と、第1処理を行うための準備(例えばスリープ状態から起動する処理)を行う。これは、第2ジェスチャーが検出された後、素早く第1処理を行うためである。そして画像処理部110はさらに映像を取得し続けて(ステップS22)、画像処理を引き続き行い、第1ジェスチャーを行った人がさらに第2ジェスチャーを行ったか否かを判断する(ステップS24)。第2ジェスチャーが検出された場合(ステップS24:Yes)、実行部120は第1処理を実行する(ステップS32)。
ここで複数種類の第2ジェスチャー毎に当該第2ジェスチャーに対応する第1処理が設定されている場合、実行部120は、ステップS32において、ステップS24で検出された第2ジェスチャーに対応する第1処理を実行する。
また、実行部120は、第1ジェスチャーが検出されてから第2ジェスチャーが検出されるまでの時間が予め定められた時間であることを、第1処理を実行するための条件にする(ステップS24)のが好ましい。ここで予め定められた時間は、例えば1秒以上30秒以下である。
ここで本実施形態において、実行部120は、画像処理部110が第1ジェスチャーを検出した後、第1ジェスチャーを行った人の前の監視カメラ20の通知部22の状態を、第1処理を行うための準備を行ったことを示す所定の状態に変更してもよい。このようにすると、監視カメラ20に映っている人は、画像処理装置10が第1処理を行うための準備を行ったことを認識できる。
また本実施形態においても、第1処理が通知部22の状態変更以外の処理であった場合、実行部120は、第1処理が完了した後に、通知部22の状態を変更してもよい。
本実施形態によれば、監視カメラ20に映っている人は、画像処理装置10に第1処理を行わせるまでに、第1ジェスチャー及び第2ジェスチャーをこの順に行う必要がある。このため、画像処理装置10が誤って第1処理を行う可能性は低くなる。よって、画像処理装置10の利便性は高まる。ここで、第1ジェスチャーが検出されてから第2ジェスチャーが検出されるまでの時間が予め定められた時間であることを、第1処理を実行するための条件にすると、画像処理装置10が誤って第1処理を行う可能性はさらに低くなる。
[第3実施形態]
本実施形態に係る画像処理装置10は、第1ジェスチャー(及び第2ジェスチャー)を行っている人が予め定められた人であることを必要条件として、第1処理を実行する点を除いて、第1又は第2実施形態に係る画像処理装置10と同様の構成である。
例えば監視カメラ20が銀行や店舗の監視カメラである場合、予め定められた人はその店舗の店員やその銀行の銀行員である。この場合、予め定められた人であるか否かは、例えば顔認証によって判断される。また監視カメラ20が建物の外(例えば街中)に位置している場合、予め定められた人は警察官である。この場合、警察官であるか否かは服装によって判断されてもよい。
本実施形態において、データ記憶部130は、予め定められた人の特徴量を記憶している。そして画像処理部110は、データ記憶部130が記憶している情報を用いて、第1ジェスチャー(及び第2ジェスチャー)を行っている人が予め定められた人であるか否かを判断する。
図6は、本実施形態において画像処理装置10が行う処理の一例を示すフローチャートである。本実施形態において、画像処理装置10の画像処理部110は、映像を取得する(ステップS10)と、その映像の中に予め定められた人がいるか否かを判断する(ステップS12)。予め定められた人がいた時に、その人に対してステップS20以降の処理を行う。
なお、図6は図5をベースにしている。ただし、図4のステップS10とステップS20の間に、本図のステップS12に示した処理が行われてもよい。
本実施形態によれば、予め定められた人以外の人が第1ジェスチャー(及び第2ジェスチャー)を行っても、第1処理は行われない。このため、誤って第1処理が行われる可能性は低くなる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
を備え、
前記第1ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
前記実行手段は、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行する画像処理装置。
2.監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
を備え、
前記画像処理手段は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
前記実行手段は、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する画像処理装置。
3.上記2に記載の画像処理装置において、
前記第2ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第2ジェスチャー毎に定められており、
前記実行手段は、検出された前記第2ジェスチャーの種類に対応する前記第1処理を実行する画像処理装置。
4.上記2又は3に記載の画像処理装置において、
前記実行手段は、前記第1ジェスチャーが検出された後、予め定められた時間以内に前記第2ジェスチャーを検出したときに、前記第1処理を実行する画像処理装置。
5.上記2~4のいずれか一項に記載の画像処理装置において、
前記実行手段は、前記第1ジェスチャーが検出された後、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させる画像処理装置。
6.上記1~5のいずれか一項に記載の画像処理装置において、
前記第1処理は、外部の装置への通知処理である画像処理装置。
7.上記1~6のいずれか一項に記載の画像処理装置において、
前記実行手段は、前記第1処理が終了した後、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させる画像処理装置。
8.上記1~5のいずれか一項に記載の画像処理装置において、
前記第1処理は、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させることである画像処理装置。
9.上記1~8のいずれか一項に記載の画像処理装置において、
前記画像処理手段は、前記人が予め定められた人であるか否かを判断し、
前記実行手段は、前記人が前記予め定められた人であることを必要条件として、第1処理を実行する画像処理装置。
10.コンピュータが、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行処理と、
を行い、
前記第1ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
前記実行処理において、前記コンピュータは、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行する画像処理方法。
11.コンピュータが、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行処理と、
を行い、
前記画像処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
前記実行処理において、前記コンピュータは、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する画像処理方法。
12.上記11に記載の画像処理方法において、
前記第2ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第2ジェスチャー毎に定められており、
前記実行処理において、前記コンピュータは、検出された前記第2ジェスチャーの種類に対応する前記第1処理を実行する画像処理方法。
13.上記11又は12に記載の画像処理方法において、
前記実行処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、予め定められた時間以内に前記第2ジェスチャーを検出したときに、前記第1処理を実行する画像処理方法。
14.上記11~13のいずれか一項に記載の画像処理方法において、
前記実行処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させる画像処理方法。
15.上記10~14のいずれか一項に記載の画像処理方法において、
前記第1処理は、外部の装置への通知処理である画像処理方法。
16.上記10~15のいずれか一項に記載の画像処理方法において、
前記実行処理において、前記コンピュータは、前記第1処理が終了した後、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させる画像処理方法。
17.上記10~14のいずれか一項に記載の画像処理方法において、
前記第1処理は、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させることである画像処理方法。
18.上記10~17のいずれか一項に記載の画像処理方法において、
前記画像処理において、前記コンピュータは、前記人が予め定められた人であるか否かを判断し、
前記実行処理において、前記コンピュータは、前記人が前記予め定められた人であることを必要条件として、第1処理を実行する画像処理方法。
19.コンピュータに、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理機能と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行機能と、
を持たせ、
前記第1ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
前記実行機能は、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行するプログラム。
20.コンピュータに、
監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理機能と、
前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行機能と、
を持たせ、
前記画像処理機能は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
前記実行機能は、前記第2ジェスチャーが検出されたときに、前記第1処理を実行するプログラム。
21.上記20に記載のプログラムにおいて、
前記第2ジェスチャーは複数種類あり、
前記第1処理は、前記複数種類の第2ジェスチャー毎に定められており、
前記実行機能は、検出された前記第2ジェスチャーの種類に対応する前記第1処理を実行するプログラム。
22.上記20又は21に記載のプログラムにおいて、
前記実行機能は、前記第1ジェスチャーが検出された後、予め定められた時間以内に前記第2ジェスチャーを検出したときに、前記第1処理を実行するプログラム。
23.上記20~22のいずれか一項に記載のプログラムにおいて、
前記実行機能は、前記第1ジェスチャーが検出された後、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させるプログラム。
24.上記19~23のいずれか一項に記載のプログラムにおいて、
前記第1処理は、外部の装置への通知処理であるプログラム。
25.上記19~24のいずれか一項に記載のプログラムにおいて、
前記実行機能は、前記第1処理が終了した後、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させるプログラム。
26.上記19~23のいずれか一項に記載のプログラムにおいて、
前記第1処理は、前記監視カメラ又はその近傍に設けられた通知手段の状態を変化させることであるプログラム。
27.上記19~26のいずれか一項に記載のプログラムにおいて、
前記画像処理機能は、前記人が予め定められた人であるか否かを判断し、
前記実行機能は、前記人が前記予め定められた人であることを必要条件として、第1処理を実行するプログラム。
10 画像処理装置
20 監視カメラ
30 外部装置
110 画像処理部
120 実行部
130 データ記憶部

Claims (10)

  1. 監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
    を備え、
    前記第1ジェスチャーは複数種類あり、
    前記第1処理は、前記複数種類の第1ジェスチャー毎に定められており、
    前記実行手段は、検出された前記第1ジェスチャーの種類に対応する前記第1処理を実行し、前記第1処理が終了した後、前記第1処理が行われたことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる制御を実行する、画像処理装置。
  2. 監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
    を備え、
    前記画像処理手段は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
    前記実行手段は、前記第1ジェスチャーが検出された後、前記第1処理を行うための準備が完了したことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる制御を実行し、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する、画像処理装置。
  3. 監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理手段と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行手段と、
    を備え、
    前記画像処理手段は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
    前記実行手段は、前記第2ジェスチャーが検出されたときに、前記第1処理を実行し、前記第1処理が終了した後、前記第1処理が行われたことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる制御を実行する、画像処理装置。
  4. 請求項2または3に記載の画像処理装置において、
    前記第2ジェスチャーは複数種類あり、
    前記第1処理は、前記複数種類の第2ジェスチャー毎に定められており、
    前記実行手段は、検出された前記第2ジェスチャーの種類に対応する前記第1処理を実行する画像処理装置。
  5. 請求項2~4のいずれか一項に記載の画像処理装置において、
    前記実行手段は、前記第1ジェスチャーが検出された後、予め定められた時間以内に前記第2ジェスチャーを検出したときに、前記第1処理を実行する画像処理装置。
  6. 請求項1~5のいずれか一項に記載の画像処理装置において、
    前記画像処理手段は、前記人が予め定められた人であるか否かを判断し、
    前記実行手段は、前記人が前記予め定められた人であることを必要条件として、第1処理を実行する画像処理装置。
  7. コンピュータが、
    監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行処理と、
    を行い、
    前記画像処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
    前記実行処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、前記第1処理を行うための準備が完了したことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる制御を実行し、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する、画像処理方法。
  8. コンピュータが、
    監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行処理と、
    を行い、
    前記画像処理において、前記コンピュータは、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
    前記実行処理において、前記コンピュータは、前記第2ジェスチャーが検出されたときに、前記第1処理を実行し、前記第1処理が終了した後、前記第1処理が行われたことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる処理を実行する、画像処理方法。
  9. コンピュータに、
    監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理機能と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行機能と、
    を持たせ、
    前記画像処理機能は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
    前記実行機能は、前記第1ジェスチャーが検出された後、前記第1処理を行うための準備が完了したことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる制御を実行し、前記第2ジェスチャーが検出されたときに、前記第1処理を実行する、プログラム。
  10. コンピュータに、
    監視カメラが生成した映像を処理することにより、当該映像に含まれている人が第1ジェスチャーを行っているか否かを判断する画像処理機能と、
    前記第1ジェスチャーが検出されたことを必要条件として、第1処理を実行する実行機能と、
    を持たせ、
    前記画像処理機能は、前記第1ジェスチャーが検出された後、さらに前記人が第2ジェスチャーを行っているか否かを判断し、
    前記実行機能は、前記第2ジェスチャーが検出されたときに、前記第1処理を実行し、前記第1処理が終了した後、前記第1処理が行われたことを示す所定の情報を前記監視カメラ又はその近傍に設けられた通知手段から出力させる処理を実行する、プログラム。
JP2022527433A 2020-05-29 2020-05-29 画像処理装置、画像処理方法、及びプログラム Active JP7517416B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024104775A JP2024124461A (ja) 2020-05-29 2024-06-28 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021315 WO2021240771A1 (ja) 2020-05-29 2020-05-29 画像処理装置、画像処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024104775A Division JP2024124461A (ja) 2020-05-29 2024-06-28 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021240771A1 JPWO2021240771A1 (ja) 2021-12-02
JPWO2021240771A5 JPWO2021240771A5 (ja) 2023-02-07
JP7517416B2 true JP7517416B2 (ja) 2024-07-17

Family

ID=78723264

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022527433A Active JP7517416B2 (ja) 2020-05-29 2020-05-29 画像処理装置、画像処理方法、及びプログラム
JP2024104775A Pending JP2024124461A (ja) 2020-05-29 2024-06-28 画像処理装置、画像処理方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024104775A Pending JP2024124461A (ja) 2020-05-29 2024-06-28 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230214024A1 (ja)
JP (2) JP7517416B2 (ja)
WO (1) WO2021240771A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185833A (ja) 2012-04-17 2012-09-27 Omron Corp ジェスチャ入力装置およびジェスチャ入力装置の制御方法
JP2015064714A (ja) 2013-09-25 2015-04-09 日本電気通信システム株式会社 遠隔操作装置、遠隔操作方法、および遠隔操作プログラム
JP2016161835A (ja) 2015-03-03 2016-09-05 シャープ株式会社 表示装置、制御プログラム、および制御方法
WO2017104227A1 (ja) 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012117570A1 (ja) * 2011-03-03 2012-09-07 オムロン株式会社 ジェスチャ入力装置およびジェスチャ入力装置の制御方法
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185833A (ja) 2012-04-17 2012-09-27 Omron Corp ジェスチャ入力装置およびジェスチャ入力装置の制御方法
JP2015064714A (ja) 2013-09-25 2015-04-09 日本電気通信システム株式会社 遠隔操作装置、遠隔操作方法、および遠隔操作プログラム
JP2016161835A (ja) 2015-03-03 2016-09-05 シャープ株式会社 表示装置、制御プログラム、および制御方法
WO2017104227A1 (ja) 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
WO2021240771A1 (ja) 2021-12-02
JP2024124461A (ja) 2024-09-12
US20230214024A1 (en) 2023-07-06
JPWO2021240771A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7031588B2 (ja) 不審者検出装置、不審者検出方法およびプログラム
WO2016147770A1 (ja) 監視システム及び監視方法
JP2018101317A (ja) 異常監視システム
US20190213424A1 (en) Image processing system and image processing method
JP5185196B2 (ja) 防犯装置、その制御方法、プログラム、及び防犯システム
JP2020091812A (ja) 情報処理システム、情報処理方法及びプログラム
JP2020014194A (ja) コンピュータシステム、リソース割り当て方法およびその画像識別方法
JP6268497B2 (ja) 警備システム、及び人物画像表示方法
WO2016124146A1 (zh) 显示设备伪装/恢复系统和控制方法
CN107122743A (zh) 安防监控方法、装置和电子设备
US20120169872A1 (en) Method and system for detecting duress
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
Reza et al. Design a Landmark Facial-Based Drowsiness Detection Using Dlib And Opencv For Four-Wheeled Vehicle Drivers
JP7517416B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009239507A (ja) 監視システム
US11670080B2 (en) Techniques for enhancing awareness of personnel
US20140147011A1 (en) Object removal detection using 3-d depth information
WO2017029779A1 (ja) 警備システム、人物画像表示方法、及びレポート作成方法
KR102650169B1 (ko) 열화상 카메라로 산업현장의 이상 온도를 감지 및 표현하고 경보를 발생시켜 알리는 시스템 및 이의 동작 방법
KR102484198B1 (ko) 이상 이벤트 탐지 방법, 장치 및 시스템
JP2006039906A (ja) 警報発生システムおよびビデオ処理装置
Chandran et al. A Smart Gas Stove with Gas Leakage Detection and Multistage Prevention System Using IoT
JP2020102676A (ja) 情報処理装置、情報処理方法およびプログラム
KR102608625B1 (ko) 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법
KR102644648B1 (ko) 교통표지 모니터링 방법 및 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240617

R150 Certificate of patent or registration of utility model

Ref document number: 7517416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150