JP7271373B2 - 映像処理装置、映像処理システムおよび映像処理方法 - Google Patents

映像処理装置、映像処理システムおよび映像処理方法 Download PDF

Info

Publication number
JP7271373B2
JP7271373B2 JP2019162299A JP2019162299A JP7271373B2 JP 7271373 B2 JP7271373 B2 JP 7271373B2 JP 2019162299 A JP2019162299 A JP 2019162299A JP 2019162299 A JP2019162299 A JP 2019162299A JP 7271373 B2 JP7271373 B2 JP 7271373B2
Authority
JP
Japan
Prior art keywords
recognition
environment
video processing
information
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019162299A
Other languages
English (en)
Other versions
JP2021039687A (ja
Inventor
聡 笹谷
毅 北村
誠也 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019162299A priority Critical patent/JP7271373B2/ja
Publication of JP2021039687A publication Critical patent/JP2021039687A/ja
Application granted granted Critical
Publication of JP7271373B2 publication Critical patent/JP7271373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像処理装置、映像処理システムおよび映像処理方法に関する。
近年、カメラなどが撮影(撮像)した映像を解析することで撮影対象やその周囲の物体を認識する映像認識技術の応用が進んでいる。例えば、人を撮影対象としたもので、万引きや転倒などの異常行動の検出、顔画像からの個人認識などの応用がある。他に、映像認識技術は、自動運転車両やロボットにおいて、周囲に存在する物体の位置測定や動き予測などでも必要とされる。
また、深層学習などによる映像認識技術の高度化、および高速に処理するハードウェアの普及につれて、映像認識技術はあらゆるサービスで活用されており、適用シーンは屋内・屋外を問わず多様である。このため、様々な撮影環境において高精度に認識することが求められる。
一方、認識技術であるため、100%の精度保証は困難であり、シーン(撮影環境)によっては認識精度が低下してしまい、見逃し(失報)や誤認識(誤報)が発生する。そこで、多様な認識環境においても失報や誤報を抑制してシステム全体の信頼度を向上させる技術への期待が高い。
特許文献1に記載の発明は、カメラで撮影した画像を用いる顔認証システムである。このシステムは、撮影時刻、および映像から推定した天候情報に基づき発報するか否かを決定する閾値を切り替えることで、失報や誤報の発生を低減している。
特開2011-227654号公報
特許文献1に記載の発明によれば、認識精度に影響を与える照度変化に起因する失報や誤報の発生を抑制できる。しかし、特許文献1に記載の発明は、その他の認識精度に悪影響を与える環境変化に対応できない。例えば、特許文献1に記載の顔認証システムでは顔を正面から撮影した方が高精度な認識が可能であるが、顔とカメラとの位置関係や顔の向きなどによっては認識精度が低下し、失報や誤報が多発する。このため、人とカメラとの位置関係が常に変化するような状況下では、失報や誤報を抑制できない。
本発明は、このような背景を鑑みてなされたのであり、認識精度に影響を与える認識環境が変化しても信頼性が高い映像の認識を可能とする映像処理装置、映像処理システムおよび映像処理方法を提供することを課題とする。
前記した課題を解決するため、本発明の映像処理装置は、撮像装置が撮像した映像の認識精度に影響を与える撮像時における認識環境要因を取得する認識環境取得部と、前記映像の認識精度と前記認識環境要因との対応である認識環境条件を記憶している認識環境要因データベースを参照して、前記認識環境取得部が取得した認識環境要因での認識精度を算出する認識精度算出部と、算出された認識精度から認識信頼度を算出する認識信頼度算出部と、前記撮像装置が撮像した映像から認識した結果である認識結果を取得する認識結果取得部と、前記認識信頼度と前記認識結果とに応じて当該認識結果を発報するか否かを判断する発報判断部と、前記認識信頼度を保存する認識信頼度保存部と、他の映像処理装置における発報の結果を取得する通信部と、前記認識信頼度保存部が保存した認識信頼度が所定のレベルを満たし、同じ認識対象についての前記他の映像処理装置と自身との発報の結果が異なる場合、前記認識結果に異常があると判断する認識環境異常検知部とを備えることを特徴とする。
本発明によれば、認識精度に影響を与える認識環境が変化しても信頼性が高い映像の認識を可能とする映像処理装置、映像処理システムおよび映像処理方法を提供することができる。
第1の実施形態に係る映像処理装置の機能構成図である。 第1の実施形態に係る認識環境要因Aと認識精度との関係を示すグラフである。 第1の実施形態に係る認識環境要因Bと認識精度との関係を示すグラフである。 第1の実施形態に係る認識環境要因Cと認識精度との関係を示すグラフである。 第1の実施形態に係る解像度と認識精度との関係を示すテーブルである。 第1の実施形態に係る体の向きと認識精度との関係を示すテーブルである。 第1の実施形態に係る認識精度が90%である姿勢の変化を示す時系列データである。 第1の実施形態に係る認識精度が90%である姿勢の変化を示す時系列データのグラフである。 第1の実施形態に係る認識精度が90%である姿勢の変化を示す時系列データである。 第1の実施形態に係る認識信頼度取得部の動作を説明するための図である。 第1の実施形態に係る認識環境条件が時系列データで示される場合の認識精度算出部の動作を説明するための図(1)である。 第1の実施形態に係る認識環境条件が時系列データで示される場合の認識精度算出部の動作を説明するための図(2)である。 第1の実施形態に係る認識信頼度算出部の動作を説明するための図である。 第1の実施形態に係る映像処理装置が実行する映像を認識して発報する認識発報処理のフローチャートである。 第2の実施形態に係る映像処理装置の機能構成図である。 第3の実施形態に係る映像処理システムの全体構成を示す図である。 第4の実施形態に係る認識情報統合装置を含む映像処理システムの全体構成図である。 第4の実施形態の変形例に係る映像処理システムの全体構成図である。
≪第1の実施形態:映像処理装置の概要≫
以下に、本発明を実施する形態(実施形態)における映像処理装置を説明する。映像処理装置は、人やモノ、それらの動作の認識結果に応じて報知する。例えば、映像処理装置は、人の動作を認識または認識結果を取得し、異常行動を検知した場合に報知する。
映像処理装置には、撮影環境(カメラの設置位置・照度など)やカメラの仕様、認識対象の状態(顔の向き・姿勢など)などの認識環境要因と認識精度との対応(後記する認識環境要因データベース120(図1参照)に記憶される認識環境条件)が、予め設定されている。映像処理装置は、映像取得時の認識環境要因、および設定済みの認識環境条件を照合(参照)して、映像取得時における認識精度を算出する。続いて、映像処理装置は、認識結果(例えば、人の異常行動の確率)と、認識精度から算出する認識信頼度とから、発報(例えば、異常行動検出の発報)をするか否かを判断する。
なお、撮影環境やカメラの仕様、認識対象の状態などを含む環境を認識環境と呼ぶ。認識環境要因は、認識環境における認識に影響を与える要因である。また、認識精度は認識環境における個々の認識環境要因における認識の確からしさを示す値であるのに対して、認識信頼度は認識環境における認識の確からしさを示す値である(後記する図1記載の認識信頼度算出部133を参照)。
≪映像処理装置の全体構成≫
図1は、第1の実施形態に係る映像処理装置100の機能構成図である。映像処理装置100は、カメラ200が接続されたコンピュータであり、不図示のCPU(Central Processing Unit)、RAM(Random Access Memory)やSSD(Solid State Drive)などからなる記憶部、ディスプレイやスピーカなどの出力部を備える。記憶部に記憶されたプログラム(不図示)をCPUが実行することで、認識環境取得部110、認識信頼度取得部130、認識部(認識結果取得部)140、発報判断部150、および発報部160が機能し、映像処理装置100は、後記する図14に示される認識発報処理を行う。
≪認識環境取得部の構成≫
認識環境取得部110は、カメラ200から映像を取得し、例えば顔画像から個人を認識する際の認識精度に影響を与える認識環境情報を取得して、後記する認識信頼度取得部130に出力する。なお、以下では、認識環境取得部110が取得する認識環境情報を、認識環境要因の値ないしは単に認識環境要因とも記す。
認識環境取得部110は、カメラ配置情報取得部111、カメラ性能情報取得部112、外乱情報取得部113、人物姿勢情報取得部114、および人流情報取得部115を備える。
カメラ配置情報取得部111は、カメラ200の位置情報や姿勢情報を取得する。位置情報(設置位置)としては、撮影範囲を平面地図で表現した際の撮影領域や、平面地図上のカメラ200の位置、カメラ200の高さなどがある。姿勢情報としては、平面地図でのカメラ200の撮影方向や俯角情報、仰角情報などがある。
カメラの位置情報や姿勢情報の取得手法としては、サイズが既知の模様が示されたボード(例えばチェスボード)を使用したキャリブレーション手法や、カメラ画像の消失点などの情報により算出するカメラパラメータ推定手法などがある。また、複数台のカメラ200と映像処理装置100が設置される場合には、カメラ配置情報取得部111は、他のカメラ200の撮影画像を取得し、共通した撮影領域の画像同士を比較することで、位置情報を取得してもよい。例えば、ロボットに搭載されるなど移動可能または姿勢(向き)が変更可能なカメラ200ならば、カメラ200(またはカメラ200が据え付けられた装置を制御する機器)に問い合わせて、位置情報や姿勢情報を取得してもよい。または、固定されたカメラ200については、設置時に設定され記憶された位置情報や俯角情報を読み出して取得してもよい。
カメラ性能情報取得部112は、認識精度に影響するカメラのスペック情報(性能情報)を取得する。スペック情報としては、カメラの画像解像度、撮像フレームレート、データ仕様などがある。データ仕様とは、カメラにより取得するデータの種類であって、通常のRGB画像、グレースケール画像に加え、魚眼レンズによる取得可能な全方位画像、赤外線画像、ステレオカメラや距離センサの場合に取得できる距離画像、3次元情報なども含まれる。
これらカメラのスペック情報が公開されている製品仕様書などから人手で設定され記憶された情報を、カメラ性能情報取得部112が読み出して取得してもよい。または、カメラ性能情報取得部112が、カメラ200に問い合わせて取得するようにしてもよい。
外乱情報取得部113は、認識精度に影響するカメラ周囲の外乱情報を取得する。外乱情報としては、日光や照明による認識対象の照度情報、水滴や砂埃などによるレンズ汚れ情報、現在の天気情報、床面情報などがある。
照度情報の取得手法としては、撮影領域に設置された照度計から取得する手法、撮影画像全体の平均の輝度情報を算出する手法、または映像における認識対象の領域における輝度情報を算出する手法などがある。レンズ汚れ情報の取得手法としては、カメラ設置直後の画像と現在の画像との輝度値を比較して汚れ度合いを算出する手法などがある。天気情報の取得手法としては、ネットワーク経由でカメラ設置場所の天気情報を取得する手法などがある。床面情報の取得手法としては、設定済みの撮影領域の床面情報を、読み出す手法、床面の材質や鏡面反射率を画像処理により取得する手法などがある。
以上に説明した外乱情報以外に、外乱情報取得部113は、例えば、日光や照明、床の鏡面反射などにより発生する白飛び率など、外乱の影響から発生する撮影画像の特徴量を外乱情報として取得してもよい。
人物姿勢情報取得部114は、認識精度に影響する顔の向きや骨格など、人物の姿勢情報を取得する。姿勢情報の取得手法としては、視線センサやモーションキャブチャのような機器を対象の人物に装着して取得する手法や、カメラ200から取得した映像を画像処理して推定する手法などがある。
画像処理により人物の顔の向きを算出する手法としては、人物追跡処理により人物の進行方向を推定してその方向を顔の向きとして判定する手法や、目・口・鼻の中心点や端点などの特徴点の映像内における位置関係から判定する手法などがある。画像処理により姿勢情報を推定する手法としては、深層学習などの画像認識技術により骨格や関節角度などを撮影画像から推定する手法などがある。
なお、人物姿勢情報取得部114が取得する姿勢情報としては、1枚の撮影画像における姿勢情報だけでなく、複数枚の撮影画像における時系列の姿勢情報であってもよい。また、人物姿勢情報取得部114は、人物の位置(カメラ200からの距離)を取得してもよい。
人流情報取得部115は、認識精度に影響する人物の移動速度や移動方向、人数などの人流情報を取得する。人流情報の取得手法としては、映像内の個々の人物を識別して動きをトレースすることで、移動速度や移動手法、人数を取得する手法などがある。
≪認識環境要因データベース≫
認識環境要因データベース120(図1では認識環境要因DB(database)と記載)は、記憶部に記憶されるデータであって、認識精度に影響する認識環境要因と認識精度との対応(関係)を示す情報を含む。後記する認識信頼度取得部130は、認識環境要因と認識精度との関係を参照して、認識環境取得部110が取得した認識環境における認識精度を算出し、認識精度から認識信頼度を算出する。以下、図2~図9を参照しながら、認識環境要因データベース120に含まれる認識環境要因と認識精度との関係の例を説明する。
図2は、第1の実施形態に係る認識環境要因Aと認識精度との関係を示すグラフ501である。認識環境要因Aが、A1からA4へ変化するつれ、認識精度は向上する。このような認識環境要因Aの例として、カメラ200の解像度があり、解像度が高いほど認識精度が高くなる。
図3は、第1の実施形態に係る認識環境要因Bと認識精度との関係を示すグラフ502である。認識環境要因Bが、B1からB4へ変化するつれ、認識精度は低下する。このような認識環境要因Bの例として、カメラ200の映像の白飛び率があり、白飛び率が高いほど認識精度が低くなる。
図4は、第1の実施形態に係る認識環境要因Cと認識精度との関係を示すグラフ503である。認識環境要因Cが、C2からC3の区間は認識精度が高いが、この区間を離れるにつれ認識精度が低下する。このような認識環境要因Cの例として、照度があり、照度が低すぎても高すぎても認識精度は悪くなる。
図2~図4は、グラフを用いて示された認識環境要因と認識精度との関係である。認識環境要因と認識精度との関係をテーブルで示してもよい。
図5は、第1の実施形態に係る解像度と認識精度との関係を示すテーブル511である。テーブル511は、カメラ200の解像度がQVGA(Quarter Video Graphics Array)ならば認識精度は30%であり、VGA(Video Graphics Array)ならば60%であって、SXVGA(Super eXtended Video Graphics Array)ならば90%であることを示している。
図6は、第1の実施形態に係る体の向きと認識精度との関係を示すテーブル512である。テーブル512は、認識対象である人物の体の向きが正面ならば認識精度は90%であり、背面ならば0%であって、側面ならば60%であることを示している。
認識環境要因が時系列データで示される場合もある。
図7は、第1の実施形態に係る認識精度が90%である姿勢の変化を示す時系列データ520である。時系列データ520は、時間間隔Tごとの人の姿勢を示す骨格情報を示しおり、認識時点より3T前の時刻t1においての姿勢が骨格情報521で示され、2T前の時刻t2においての姿勢が骨格情報522で示され、T前の時刻t3においての姿勢が骨格情報523で示されるならば、当該認識時点での認識精度は90%であることを示している。例えば、Tが1秒だとして、認識の3秒前の姿勢が骨格情報521であり、2秒前の姿勢が骨格情報522であって、1秒前の姿勢が骨格情報523であるならば、当該認識の精度は90%であることを示している。
図7では、体全体の骨格情報を用いて姿勢情報を表しているが、一部の関節の角度を用いて姿勢情報を表してもよい。
図8は、第1の実施形態に係る認識精度が90%である姿勢の変化を示す時系列データのグラフ531である。グラフ531は、間接Aの角度の変化を示している。間接Aの角度が時刻t1から時刻t2にかけてグラフ531に示すように変化した場合、時刻t2における認識の精度は90%であることを示している。
図9は、第1の実施形態に係る認識精度が90%である姿勢の変化を示す時系列データ540である。時系列データ540は、間接Bの角度の変化を示すグラフ541、および間接Cの角度の変化を示すグラフ542を含む。時系列データ540は、間接Bの角度が時刻t1から時刻t2にかけてグラフ541に示すように変化し、さらに、間接Cの角度が時刻t1から時刻t2にかけてグラフ542に示すように変化したときには、時刻t2での認識精度は90%であることを示している。時系列データ540は、2つの関節の変化を示すグラフ541,542を含むが、3つ以上の関節の変化を示すグラフを含んでもよい。
図2~図9に示したように、認識環境要因データベース120(図1参照)は、認識精度に影響する認識環境要因と認識精度との関係を示す情報をグラフやテーブル、時系列データなどの形式のデータとして含む。グラフ501,502,503(図2~図4参照)やテーブル511,512(図5~図6参照)は、認識精度が低くなる認識環境要因も高くなる環境要因も含んでいる。これに対して、時系列データ520,540(図7、図9参照)やグラフ531(図8参照)は、認識精度が高くなるときの認識環境要因(理想的な認識環境要因)である姿勢の変化の情報を含んでいる。姿勢の変化は様々なパターンがあり、全てのパターンにおける認識精度を認識環境要因データベース120が記憶することは不可能である。このため、認識環境要因データベース120は、認識精度が高くなる時系列データを記憶している。以下では、認識環境要因データベース120が記憶する認識精度に影響する認識環境要因と認識精度との対応(関係)を認識環境条件とも記す。
≪認識信頼度取得部の構成≫
図1に戻り、認識信頼度取得部130を説明する。認識信頼度取得部130は、認識環境取得部110が出力した認識環境情報と、認識環境要因データベース120から取得した認識環境条件とから、認識信頼度を算出する。認識信頼度取得部130は、認識環境条件取得部131、認識精度算出部132、および認識信頼度算出部133を備える。
図10は、第1の実施形態に係る認識信頼度取得部130の動作を説明するための図である。図10を参照しながら、認識環境条件取得部131、認識精度算出部132、および認識信頼度算出部133の動作を説明する。テーブル551は、認識環境取得部110が出力した8つの認識環境情報(認識環境要因の値または認識環境要因)を示す。認識環境情報は、例えば、カメラ200の設置高さは2.8mであり、認識対象の人物の姿勢は直立状態であるという情報を含む。
認識環境条件取得部131は、認識環境取得部110が出力した認識環境情報に対応する認識環境条件(認識環境要因と認識精度との対応)を認識環境要因データベース120から取得する。
テーブル552A~552Hは、認識環境条件取得部131が認識環境要因データベース120から取得した認識環境条件である。例えば、「カメラ200の設置高さが2.8mである」という認識環境情報に対しては、認識環境条件取得部131は、テーブル552Aに示される認識環境条件を取得する。また、「認識対象の人物の姿勢は直立状態である」という認識環境情報に対しては、認識環境条件取得部131は、テーブル552Hに示される認識環境条件を取得する。
認識精度算出部132は、認識環境条件と認識環境情報とから認識精度を算出する。詳しくは、認識精度算出部132は、テーブル551に含まれる認識環境情報それぞれについて、対応する認識環境条件を示すテーブル552A~552Hから認識精度を取得して、テーブル553を生成する。なお、認識環境条件を示すテーブル552A~552Hに、認識環境情報の値そのものがない場合には、補間して認識精度を取得するようにしてもよい。例えば、カメラ200の解像度がQVGAとVGAの中間であれば、テーブル552Dに示されるQVGAの認識精度30%と、VGAの認識精度60%との中間値である45%を認識精度としてもよい。また、照度を示すテーブル552Eにおいて、照度の区間の境界に近い認識環境情報の場合には、2つの区間の認識精度で補間するようにしてもよい。例えば、「~300」の区間と「300~1000」の区間の境界近い310ルクスという照度ならば、認識精度を20%と100%との間の60%と算出してもよい。
図10を参照しながら、認識環境条件がテーブルで示される場合の認識精度算出部132の動作を説明した。認識環境条件がグラフで示される場合(図2~図4参照)は、認識精度算出部132は、当該グラフから認識環境要因に対応する認識精度を取得する。例えば、認識環境要因Bの値がB1ならば、認識精度算出部132は、認識精度を100%とする(図3参照)。
続いて、認識環境条件が時系列データで示される場合の認識精度算出部132の動作を説明する。
図11は、第1の実施形態に係る認識環境条件が時系列データ520(図7参照)で示される場合の認識精度算出部132の動作を説明するための図(1)である。図11の上部に記載された時系列データ520は、認識精度が90%である姿勢の変化を示す(図7参照)。図11の下部に記載された時系列データ560は、認識環境取得部110が出力した認識環境情報として姿勢情報であって、認識時点より3T前の時刻t1においての姿勢が骨格情報561であり、2T前の時刻t2においての姿勢が骨格情報562であって、T前の時刻t3においての姿勢が骨格情報563であることを示している。
認識精度算出部132は、同じタイミングでの骨格情報の類似度の平均値から、認識環境情報としての時系列データ560の認識精度を算出する。例えば、認識時点より3T前の時刻t1における骨格情報521,561の類似度(相関係数)を100%とし、認識時点より2T前の時刻t2における骨格情報522,562の類似度を100%とし、認識時点よりT前の時刻t3における骨格情報523,563の類似度を40%とする。認識精度算出部132は、時系列データ520の認識精度90%に、時刻t1,t2,t3における類似度の単純平均の80%を乗じて、認識精度72%を算出する。
単純平均ではなく、認識時点に近い時刻における類似度が重くなるような加重平均から認識精度を算出してもよい。例えば、時刻t1,t2,t3に、1,2,3の重みづけをした加重平均は、(100×1+100×2+40×3)/6=70であり、認識精度算出部132は、認識精度を90×0.7=63%と算出する。
図12は、第1の実施形態に係る認識環境条件が時系列データ540(図9参照)で示される場合の認識精度算出部132の動作を説明するための図(2)である。図12の上部に記載された時系列データ540は、認識精度が90%である姿勢の変化を示す(図9参照)。図12の下部に記載された時系列データ570は、認識環境取得部110が出力した認識環境情報として姿勢情報を示す。
認識精度算出部132は、間接Bの角度の変化を示すグラフ541,571の類似度、および間接Cの角度の変化を示すグラフ542,572の類似度から、認識環境情報としての時系列データ570の認識精度を算出する。例えば、グラフ541,571の類似度が90%であり、グラフ542,572の類似度が96%とすると、単純平均による時系列データ540,570の類似度は93%となる。認識精度算出部132は、認識環境情報としての時系列データ570の認識精度を、90×0.93=84%と算出する。認識精度算出部132は、2つの類似度の加重平均から認識精度を算出するようにしてもよい。
図1に戻り、認識信頼度取得部130の説明を続ける。認識信頼度算出部133は、認識環境情報から算出された認識精度に基づいて認識信頼度を算出する。図13は、第1の実施形態に係る認識信頼度算出部133の動作を説明するための図である。テーブル580の左の3列は、認識精度算出部132が生成したテーブル553(図10参照)と同じである。認識信頼度算出部133は、認識環境情報の認識精度から認識信頼度を算出する。例えば、認識信頼度算出部133は、認識精度0~20%は認識信頼レベル1、認識精度20~40%は認識信頼レベル2、認識精度40~60%は認識信頼レベル3、認識精度60~80%は認識信頼レベル4、認識精度80~100%は認識信頼レベル5と算出する。
続いて、認識信頼度算出部133は、認識信頼レベルの総和を総和の最大値で除して認識信頼度を求める。テーブル580の認識信頼レベルの総和は33であり、総和の最大値は5×8=40なので、認識信頼度を33/40=83%と算出する。認識信頼度算出部133は、認識信頼レベルの単純平均ではなく、認識環境情報に含まれる認識環境要因に応じて重みを付けた認識信頼レベルの総和を求めて、認識信頼度を算出するようにしてもよい。
認識精度と認識信頼レベルとは、「設置高さ」や「俯角」などの個々の認識環境要因についての認識の確からしさを示す値であり、認識環境要因の数だけの値がある。これに対して、認識信頼度は、認識環境全体としての認識の確からしさを示す1つの値であり、撮影時におけるにおける認識環境要因の認識信頼レベルから算出された値である。
≪認識部と発報判断部と発報部≫
図1に戻り、認識部140、発報判断部150、および発報部160を説明する。認識部140は、カメラ200の映像を解析して認識結果を出力する。認識部140が顔認識機能である場合には、認識対象の人物である確率が最も高い人物の識別情報と、その確率を出力する。例えば、認識部140は、Aさんである確率が95%と出力する。認識部140が異常行動検出機能である場合には、認識対象の人物が異常行動をしている確率を出力する。
認識部140は、認識結果取得部として機能してもよい。詳しくは、カメラ200自体が認識機能を備えており、カメラ200が出力した認識結果を認識結果取得部としての認識部140が取得するようにしてもよい。
発報判断部150は、認識部140が出力した認識結果と、認識信頼度取得部130が出力した認識信頼度に基づいて、発報するか否かを判断する。判断手法としては、認識結果の確率と認識信頼度との積が所定の閾値を超えているか否かで判断する。例えば、認識結果が80%、認識信頼度が70%、閾値が0.6とすると、0.8×0.7=0.56は、閾値0.6未満なので発報しないと判断される。
発報部160は、発報判断部150が発報すると判断した場合、認識対象が認識された旨を発報する。例えば、発報部160は、映像処理装置100に備わるスピーカから警報音を出力したり、映像処理装置100が接続されたネットワークを経由してカメラ200の認識した時点における映像とともに監視センタに通知したりする。
≪認識発報処理≫
図14は、第1の実施形態に係る映像処理装置100が実行する映像を認識して発報する認識発報処理のフローチャートである。
ステップS11において認識環境取得部110が、カメラ200から映像を取得し、認識環境情報を出力する。
ステップS12において認識信頼度取得部130が、認識環境取得部110が出力した認識環境情報と、認識環境要因データベース120から取得した認識環境条件とから、認識信頼度を出力する。
ステップS13において、認識部140は、カメラ200の映像を解析して認識結果を出力する。なお、ステップS13は、ステップS11,S12と並行して実行される処理である。
ステップS14において発報判断部150は、認識部140が出力した認識結果と、認識信頼度取得部130が出力した認識信頼度に基づいて、発報するか否かを判断する。詳しくは、発報判断部150は、認識結果の確率と認識信頼度との積が所定の閾値以上であれば発報すると判断する。発報する場合は(ステップS14→YES)ステップS15に進み、発報しない場合は(ステップS14→NO)ステップS11~S13の並行処理に戻る。
ステップS15において発報部160は、発報する。
≪認識発報処理の特徴≫
映像処理装置100は、認識環境における認識信頼度を算出し(図14に記載のステップS12参照)、認識結果の確率および認識信頼度に応じて発報するか否か判断する(ステップS14参照)。認識信頼度は、認識する場所の環境、認識対象のデータを取得する装置としてのカメラ200のスペック、認識対象の状態(姿勢)などから算出される認識結果の確からしさを示す値である。映像処理装置100は、様々な認識環境要因から認識信頼度を算出することができる。また、映像処理装置100は、認識結果の確率だけではなく、認識信頼度も含めて発報の可否を判断することにより、誤報や失報を減らすことができる。延いては発報の信頼度が向上する。
≪変形例:認識結果≫
上記した実施形態において、認識結果には確率が含まれている。例えば、顔認識の結果が、Aさんである確率が95%、Bさんである確率が3%、その他の確率が2%という結果である。このような認識結果では、発報判断部150は、最も確率が高い認識結果について、その確率と認識信頼度との積が所定の閾値を超えるか否かを判断している。認識結果に確率が含まれない場合には、確率100%として、発報判断部150は、所定の閾値を超えるか否かを判断してもよい。
≪変形例:認識環境条件≫
上記した実施形態において、認識環境条件取得部131は、認識環境取得部110が出力した認識環境情報に対応した認識環境条件を認識環境要因データベース120から取得している。認識環境条件取得部131は、認識部140が取得する認識内容に応じて認識環境条件を取得するようにしてもよい。例えば、人の転倒を認識する場合には、認識環境条件取得部131は、カメラ200の設置の高さや俯角の認識環境条件は取得するが、体の向きという認識環境条件は取得しないようにしてもよい。これは、転倒を認識する機能は、体の向きに拘らず転倒を認識するように実装されており、例えば顔画像による個人認識機能とは違って、体の向きは認識精度に与える影響が小さいからである。
認識部140が取得する認識内容に応じて、認識信頼度算出部133が、認識環境情報に含まれる認識環境要因に重みを付けて認識信頼レベルの総和を求め、認識信頼度を算出するようにしてもよい。
≪変形例:発報の可否判断≫
上記した実施形態において発報判断部150は、認識信頼度と認識結果の確率との積に基づいて発報の可否を判断している。発報判断部150は、認識信頼度が所定値以上であり、認識結果の確率も所定値以上である場合に、発報すると判断してもよい。または、発報判断部150は、認識信頼度および認識結果の確率の算術平均、幾何平均または調和平均が所定値以上ならば発報すると判断してもよい。
≪第2の実施形態≫
第1の実施形態では、認識信頼度は、発報の可否の判断に利用されている。認識信頼度を認識環境の適否の判断に利用してもよい。
図15は、第2の実施形態に係る映像処理装置100Aの機能構成図である。第1の実施形態における映像処理装置100(図1参照)と比較して、映像処理装置100Aは、認識信頼度保存部170と、認識環境異常検知部180とをさらに備える。
認識信頼度保存部170は、認識信頼度取得部130が出力した認識信頼度を保存する。認識信頼度保存部170は、認識環境要因ごとの認識信頼レベルを保存するようにしてよい。
認識環境異常検知部180は、認識信頼度保存部170が保存した認識信頼度や認識信頼レベルを解析して、カメラ200を含む認識環境の異常を検知する。詳しくは、認識環境異常検知部180は、認識信頼度が所定のレベルを満たさない場合には、異常と判断する。例えば、認識環境異常検知部180は、認識信頼度の値が所定の閾値を超えない期間が所定の長さを超える場合には、異常と判断する。または、認識環境異常検知部180は、認識環境要因ごとの認識信頼レベルについて、所定の閾値を超えない期間の割合が所定の割合を超える場合には、異常と判断する。
例えば、照度や白飛び率の認識信頼レベルについて認識信頼レベルが所定のレベルを満たさない場合には、照明やカメラ200に異常があると警報を発するようにしてもよい。また、設置高さや俯角の信頼レベルについて、認識信頼レベルが所定のレベルを満たさない場合には、カメラ200の設置位置や設置角度、移動方法などの見直しを映像処理装置100Aの管理者に警告してもよい。または、認識環境異常検知部180は、環境認識条件において認識精度が向上するような環境認識要因の値を改善案として提案してもよい。例えば、認識環境異常検知部180は、カメラ200の俯角が50度であった場合、俯角を15度または40度以内とする改善案を提案してもよい。または、カメラ200の設置位置や性能向上を提案してもよい。
提案せずに、認識環境異常検知部180が認識環境を変更してもよい。例えば、カメラ200が移動可能ならば、認識環境異常検知部180は、認識精度が改善するように、カメラ200の高さや俯角を変更(高さや俯角を変更するようにカメラ200に指示)してもよい。または、認識環境異常検知部180は、照明を制御して照度を変更してもよいし、カメラ200に指示して画像解像度や撮像フレームレートを変更してもよい。
認識環境異常検知部180は、認識対象となっている人物に係る認識環境要因の認識信頼レベルについて、所定のレベルを満たさない場合には、異常と判断して、当該人物に警告してもよい。例えば、顔の向きや姿勢などの認識環境要因の認識信頼レベルが低い場合には、認識環境異常検知部180は、カメラ200または映像処理装置100Aに備わるスピーカから顔の向きや姿勢を変えるように促す音声を出力するようにしてもよい。例えば、認識環境異常検知部180は、カメラ200に顔を向けるように促してもよい(図10記載のテーブル552Gに示すように、認識精度が高いのは正面)。または、認識環境異常検知部180は、直立するように促してもよい(図10記載のテーブル552Hに示すように、認識精度が高いのは直立)。または、人物がカメラ200から離れていて認識信頼レベルが所定のレベルを満たさない場合には、認識環境異常検知部180は、カメラ200に近づくように促してもよい。このように、認識環境異常検知部180は、環境認識条件において認識精度が向上するような環境認識要因の値を提案してもよい。
認識環境異常検知部180は、認識信頼度に加え、認識部140が出力する認識結果を受け取って両者を解析することで、認識部140の異常を検知するようにしてもよい。詳しくは、認識信頼度が所定のレベルを満たすにも拘らず、認識部140の認識結果を出力する頻度や認識結果の確率が予め想定されている値より低い場合には、認識環境異常検知部180は、認識部140に異常があると判断して警告するようにしてもよい。認識結果を出力する頻度や認識結果の確率については、発報の適否を評価した結果や、他の映像処理装置100Aにおける認識部140が出力する認識結果を踏まえて、見直されてもよい。
なお、認識部140の異常の警告については、アルゴリズムの認識パラメータの変更、アルゴリズムが学習モデルを活用するものであれば学習データベースの追加、異なるアルゴリズムの採用などの改善案を伴って警告してもよい。
≪第2の実施形態の特徴≫
認識環境異常検知部180は、認識信頼度取得部130が算出する認識信頼度や認識信頼レベルを解析して、認識環境や認識部140の異常を検出する。さらに、認識環境異常検知部180は、異常があることを映像処理装置100Aの管理者に警告して対策を促したり、認識対象の人に顔の向きや姿勢を変えるように促したりする。このように映像処理装置100Aが動作することにより、映像処理装置100Aの管理者は、いち早く映像処理装置100Aの異常に気付き、対策を講じることができる。延いては、認識信頼度が向上し失報や誤報が減少する。
≪第3の実施形態≫
上記した第2の実施形態では、1つの映像処理装置100Aにおいて認識信頼度と認識結果を解析する。複数台の映像処理装置が出力する情報を解析し、認識部140のアルゴリズムの改善案を管理者に提供してもよい。
図16は、第3の実施形態に係る映像処理システム410の全体構成を示す図である。映像処理システム410では、監視装置400にネットワーク900を介して複数の映像処理装置100Bが接続され、それぞれの映像処理装置100Bにおける認識信頼度や信頼レベルが監視装置400に収集される。なお、第3の実施形態に係る映像処理装置100Bは、映像処理装置100A(図15参照)と比べ、監視装置400と通信する通信部198をさらに備える。
認識部140のアルゴリズムが機械学習技術を活用するものとする。認識信頼度が高いにも拘らず、発報結果が芳しくない(失報や誤報が多い)映像処理装置100Bがある場合には、監視装置400は、当該映像処理装置100Bの認識環境における学習データが不足していると判断し、認識環境要因の情報に近いデータを追加で学習するよう管理者に促してもよい。
または、監視装置400は、それぞれの映像処理装置100Bに、他の映像処理装置100Bの同じ認識対象についての発報結果をフィードバックし、各映像処理装置100Bが認識部140のアルゴリズムの改善案を管理者に提案してもよい。詳しくは、認識環境異常検知部180は、認識信頼度が高いにも拘らず、同じ認識対象について他の映像処理装置100Bと発報結果が異なる場合が多いときには、認識部140のアルゴリズム、ないしはそのパラメータが不適切として、アルゴリズムの置換やパラメータの調整を管理者に促してもよい。または、認識部140が機械学習技術を採用しているならば、認識環境異常検知部180は、学習データが不足していると判断し、認識環境要因の情報に近いデータを追加で学習するよう管理者に促してもよい。このように映像処理装置100Bが動作することにより、映像処理装置100Bまたは映像処理システム410の管理者は、いち早く映像処理装置100Bの異常に気付き、対策を講じることができる。延いては、認識信頼度が向上し失報や誤報が減少する。
≪第4の実施形態≫
第1の実施形態および第2の実施形態では、1つの映像処理装置100,100A,100Bが1つのカメラ200の映像を解析して発報している。複数のカメラ200の映像を解析して情報を生成するようにしてもよい。生成される情報の例として、自動車が走行する環境の情報である交通情報がある。交通情報には、自車周辺の車両の数、走行速度、渋滞の度合い、車線の制限、路面状況など、カメラ200の映像から認識された自動車の走行に影響を与える情報が含まれる。この場合、カメラ200は自動車に搭載され、映像情報とともに位置情報を送信する。また、インフラ(道路)にもカメラ200が設置されてもよい。
他の生成される情報の例として、鉱山におけるダンプトラックが走行する道路の情報がある。道路の情報としては、道路上のダンプトラックや有人車両、作業員の位置や路面状況などがある。この場合、カメラ200は、ダンプトラックや有人車両に搭載される。カメラ200は、道路上を飛行する無人航空機(ドローン)に搭載されてもよい。
他の生成される情報の例として、施設内や地域における混雑情報がある。混雑情報には、地点ごとの人の混み具合や移動状況が含まれる。この場合、カメラ200は、施設内ないしは道路に設置される。
図17は、第4の実施形態に係る認識情報統合装置300を含む映像処理システム390の全体構成図である。認識情報統合装置300は、ネットワーク900を介して複数のカメラ200が接続されているコンピュータである。認識情報統合装置300は、複数の映像認識部310、認識統合情報更新部320、認識環境要因データベース120、認識統合情報データベース330(図17では認識統合情報DBと記載)、および通信部340を備える。
認識環境要因データベース120は、第1の実施形態(図1参照)と同様である。通信部340は、カメラ200からの映像データを受信し、各カメラ200の映像データを映像認識部310に出力する。記憶部に記憶されたプログラムをCPUが実行することで、映像認識部310、および認識統合情報更新部320が機能する。
映像認識部310は、認識環境取得部110、認識信頼度取得部130、および認識部140を備える。認識環境取得部110、認識信頼度取得部130、および認識部140は、第1の実施形態と同様である。認識信頼度取得部130が出力する認識信頼度、および認識部140が出力する認識結果は、認識統合情報更新部320に出力される。
交通情報の例では、認識部140は、カメラ200の映像から、周辺の車両の数、走行速度、渋滞の度合い、車線の制限、路面状況などの情報を取得して、位置情報や時刻情報とともに出力する。鉱山の道路情報の例では、認識部140は、カメラ200の映像から、道路上のダンプトラックや有人車両、作業員の位置や路面状況の情報を取得して、位置情報や時刻情報とともに出力する。混雑情報の例では、認識部140は、カメラ200の映像から、人の混み具合や移動の向き、速度を取得して、位置情報や時刻情報とともに出力する。
認識統合情報データベース330は、記憶部に記憶されるデータベースであり、認識部140が認識した情報が蓄積される。交通情報の例では、位置情報や時刻情報と関連付けられた周辺の車両の数、走行速度、渋滞の度合い、車線の制限、路面状況などの情報が蓄積される。鉱山の道路情報の例では、位置情報や時刻情報と関連付けられた道路上のダンプトラックや有人車両、作業員の位置や路面状況の情報が蓄積される。混雑情報の例では、地点ごとの人の混み具合や移動の向き、速度の情報が蓄積される。
認識統合情報更新部320は、映像認識部310から出力された位置情報や時刻情報、認識結果、認識信頼度に基づいて認識統合情報データベース330を更新する。詳しくは、認識結果の確率と認識信頼度との積が所定の値以上であれば、認識統合情報更新部320は、当該位置や当該時刻(時間帯)における認識結果の情報を更新する。認識統合情報更新部320は、例えば、ある地点での渋滞の度合いを更新する。
認識統合情報更新部320は、認識信頼度も関連付けて、認識統合情報データベース330を更新してもよい。詳しくは、位置情報と認識結果と認識信頼度とが関連付けられ情報について、より高い認識信頼度が出力された場合に、認識統合情報更新部320は、認識統合情報データベース330を更新してもよい。例えば、同じ位置の路面状況について、より認識信頼度が高い路面状況が出力された場合に、認識統合情報更新部320は、認識統合情報データベース330を更新する。
≪第4の実施形態の特徴≫
第4の実施形態においては、認識統合情報データベース330に蓄積され、更新される情報は、認識信頼度と認識結果の確率との積が所定の値以上である信頼度の高い情報である。このため、誤った情報が認識統合情報データベース330に蓄積されることを防ぐことができ、延いては、信頼度の高い情報が蓄積される。
≪第4の実施形態の変形例≫
上記した第4の実施形態では、1つの認識情報統合装置300が、複数のカメラ200の映像を認識したり、認識信頼度を算出したりしている。認識結果や認識信頼度の算出処理を分散するようにしてもよい。
図18は、第4の実施形態の変形例に係る映像処理システム390Aの全体構成図である。映像処理システム390Aは、カメラ200が接続された映像処理装置100C、および認識情報統合装置300Aを含む。
映像処理装置100Cは、第1の実施形態(図1参照)と同様の認識環境取得部110、認識環境要因データベース120、認識信頼度取得部130、および認識部140を含む。映像処理装置100Cは、さらに、認識信頼度と認識結果とをネットワーク900経由で認識情報統合装置300Aに送信する通信部199を含む。
認識情報統合装置300Aは、第4の実施形態(図17参照)における認識情報統合装置300と同様の認識統合情報更新部320と認識統合情報データベース330とを備える。認識情報統合装置300Aは、さらに映像処理装置100Cが送信する認識信頼度と認識結果を受信して、認識統合情報更新部320に出力する通信部340Aを備える。
認識情報統合装置300に比べて認識情報統合装置300Aは、認識や信頼度の算出処理が映像処理装置100Cに分散されており、処理負荷が小さくなっている。また、ネットワーク900を流れるデータは、映像ではなく、認識結果と認識信頼度であるので、少量のデータとなっている。このため、処理や通信が高速化され、カメラ200で撮影してから認識統合情報データベース330を更新するまでの遅延が小さくなっている。また、より高頻度で更新することが可能となる。
≪変形例:認識環境要因≫
複数の認識環境要因を組み合わせて、1つの認識環境要因としてもよい。例えば、顔認識機能については、顔の正面画像を取得する方が、認識精度が高く理想的である。このため、カメラ200の設置高さが人の身長ほどの高さならば俯角は小さい方が認識精度は高くなるが、天井など設置高さが高いときには俯角は大きい方が、認識精度が高くなる。複数の認識環境要因間に影響がある場合には、これらの認識環境要因の組み合わせを1つの認識環境要因と扱うようにしてもよい。
このような認識環境要因の場合、認識環境要因の組み合わせごとの認識精度が認識環境条件となる。例えば、設置の高さが1.5~2.0mで俯角が0~20度ならば100%、設置の高さが1.5~2.0mで俯角が40~60度ならば40%、設置の高さが3.0m以上で俯角が40~60度ならば90%である。2つの認識環境要因からなる認識環境条件は、2次元のテーブル(行列)示され、3つの認識環境要因からなる認識環境条件は、3次元の行列で示すことができる。
≪変形例:認識環境要因データベース≫
上記した実施形態において、映像処理装置100,100A,100B,100Cや認識情報統合装置300は、認識環境要因データベース120を備えている。これに対して、認識環境条件取得部131が、外部にある認識環境要因データベース120にアクセスして、認識環境条件を取得するようにしてもよい。
≪その他の変形例≫
なお、本発明は、上記した実施形態に限定されることなく、その趣旨を逸脱しない範囲で変更することができる。例えば、カメラ200は、一般的なビデオカメラに限定されず、ステレオカメラ、3次元ライダーやミリ波レーダのような距離センサであってもよい。また、上記した実施形態では、カメラ200と映像処理装置100,100A,100B,100Cとは、別装置であったが、1つの装置であってもよい。
第4の実施形態で例示する映像処理システム390,390Aにおける認識環境取得部110、認識信頼度取得部130、および認識部140(認識結果取得部)の機能分散の形態は上記した実施形態に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100,100A,100B,100C 映像処理装置
110 認識環境取得部
120 認識環境要因データベース
130 認識信頼度取得部
131 認識環境条件取得部
132 認識精度算出部
133 認識信頼度算出部
140 認識部(認識結果取得部)
150 発報判断部
160 発報部
170 認識信頼度保存部
180 認識環境異常検知部
198 通信部
200 カメラ(撮像装置)
300 認識情報統合装置
310 映像認識部
320 認識統合情報更新部
330 認識統合情報データベース
390,390A 映像処理システム
410 映像処理システム

Claims (10)

  1. 撮像装置が撮像した映像の認識精度に影響を与える撮像時における認識環境要因を取得する認識環境取得部と、
    前記映像の認識精度と前記認識環境要因との対応である認識環境条件を記憶している認識環境要因データベースを参照して、前記認識環境取得部が取得した認識環境要因での認識精度を算出する認識精度算出部と、
    算出された認識精度から認識信頼度を算出する認識信頼度算出部と
    前記撮像装置が撮像した映像から認識した結果である認識結果を取得する認識結果取得部と、
    前記認識信頼度と前記認識結果とに応じて当該認識結果を発報するか否かを判断する発報判断部と、
    前記認識信頼度を保存する認識信頼度保存部と、
    他の映像処理装置における発報の結果を取得する通信部と、
    前記認識信頼度保存部が保存した認識信頼度が所定のレベルを満たし、同じ認識対象についての前記他の映像処理装置と自身との発報の結果が異なる場合、前記認識結果に異常があると判断する認識環境異常検知部と
    を備えることを特徴とする映像処理装置。
  2. 前記認識環境要因は、前記撮像装置の設置位置、前記撮像装置の設置角度、前記撮像装置の性能情報、外乱情報、人流情報、認識対象の姿勢、前記認識対象の位置の何れかを含む
    ことを特徴とする請求項1に記載の映像処理装置。
  3. 前記認識環境異常検知部は、
    前記認識信頼度が所定のレベルを満たさない場合には、前記映像を撮像する認識環境に異常があると判断す
    とを特徴とする請求項1に記載の映像処理装置。
  4. 前記認識環境異常検知部は、前記認識環境に異常があると判断した場合、当該認識環境の改善案を提示する
    ことを特徴とする請求項に記載の映像処理装置。
  5. 前記改善案は、前記撮像装置の設置位置、前記撮像装置の設置角度、前記撮像装置の性能情報、認識対象の姿勢、前記認識対象の位置の何れかを含む
    ことを特徴とする請求項に記載の映像処理装置。
  6. 前記認識環境異常検知部は、前記認識結果に異常があると判断した場合、当該認識結果を出力する機能の改善案を提示する
    ことを特徴とする請求項1に記載の映像処理装置。
  7. 前記改善案は、前記認識結果を出力する機能のアルゴリズムの変更、パラメータの変更、学習データの追加の何れかを含む
    ことを特徴とする請求項6に記載の映像処理装置。
  8. 前記認識環境条件は、2次元グラフ、テーブル、時系列データで示される
    ことを特徴とする請求項1に記載の映像処理装置。
  9. 前記撮像装置は、カメラ、ステレオカメラ、および距離センサの何れかである
    ことを特徴とする請求項1に記載の映像処理装置。
  10. 撮像装置が撮像した映像を処理する映像処理装置が実行する映像処理方法であって、
    前記映像処理装置が、
    前記撮像装置が撮像した映像の認識精度に影響を与える撮像時における認識環境要因を取得するステップと、
    前記映像の認識精度と前記認識環境要因との対応である認識環境条件を記憶している認識環境要因データベースを参照して、取得された認識環境要因での認識精度を算出するステップと、
    算出された認識精度から認識信頼度を算出するステップと
    前記撮像装置が撮像した映像から認識した結果である認識結果を取得するステップと、
    前記認識信頼度と前記認識結果とに応じて当該認識結果を発報するか否かを判断するステップと、
    前記認識信頼度を保存するステップと、
    他の映像処理装置における発報の結果を取得するステップと、
    前記認識信頼度が所定のレベルを満たし、同じ認識対象についての前記他の映像処理装置と自身との発報の結果が異なる場合、前記認識結果に異常があると判断するステップと
    を実行することを特徴とする映像処理方法。
JP2019162299A 2019-09-05 2019-09-05 映像処理装置、映像処理システムおよび映像処理方法 Active JP7271373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019162299A JP7271373B2 (ja) 2019-09-05 2019-09-05 映像処理装置、映像処理システムおよび映像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019162299A JP7271373B2 (ja) 2019-09-05 2019-09-05 映像処理装置、映像処理システムおよび映像処理方法

Publications (2)

Publication Number Publication Date
JP2021039687A JP2021039687A (ja) 2021-03-11
JP7271373B2 true JP7271373B2 (ja) 2023-05-11

Family

ID=74848821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162299A Active JP7271373B2 (ja) 2019-09-05 2019-09-05 映像処理装置、映像処理システムおよび映像処理方法

Country Status (1)

Country Link
JP (1) JP7271373B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7042956B1 (ja) * 2021-09-10 2022-03-28 株式会社エクサウィザーズ 情報処理方法、情報処理装置、及びプログラム
WO2024023906A1 (ja) * 2022-07-26 2024-02-01 日立Astemo株式会社 外界センサの更新装置及び外界センサの更新方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006255A (ja) 2003-06-16 2005-01-06 Sharp Corp 画像撮像装置
JP2007179569A (ja) 2007-03-09 2007-07-12 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2008282288A (ja) 2007-05-11 2008-11-20 Honda Motor Co Ltd 文字認識方法
JP2012117944A (ja) 2010-12-01 2012-06-21 Aisin Aw Co Ltd ナビゲーション装置
WO2016199244A1 (ja) 2015-06-10 2016-12-15 株式会社日立製作所 物体認識装置及び物体認識システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006255A (ja) 2003-06-16 2005-01-06 Sharp Corp 画像撮像装置
JP2007179569A (ja) 2007-03-09 2007-07-12 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2008282288A (ja) 2007-05-11 2008-11-20 Honda Motor Co Ltd 文字認識方法
JP2012117944A (ja) 2010-12-01 2012-06-21 Aisin Aw Co Ltd ナビゲーション装置
WO2016199244A1 (ja) 2015-06-10 2016-12-15 株式会社日立製作所 物体認識装置及び物体認識システム

Also Published As

Publication number Publication date
JP2021039687A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
JP7163945B2 (ja) 移動状況推定装置、移動状況推定方法およびプログラム記録媒体
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
US10311719B1 (en) Enhanced traffic detection by fusing multiple sensor data
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、系统及装置
Faro et al. Adaptive background modeling integrated with luminosity sensors and occlusion processing for reliable vehicle detection
CN110244322A (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
EP2345999A1 (en) Method for automatic detection and tracking of multiple objects
CN110264495B (zh) 一种目标跟踪方法及装置
KR102253989B1 (ko) 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법
JP7271373B2 (ja) 映像処理装置、映像処理システムおよび映像処理方法
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
CN105354540A (zh) 基于视频分析实现人员倒地行为检测的方法
US20230394794A1 (en) Information processing device, information processing method, and program recording medium
US20220366570A1 (en) Object tracking device and object tracking method
JP2002074370A (ja) 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
KR20120048958A (ko) 객체 추적 및 위치 추정 방법
JP2007028680A (ja) 監視装置
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP2002074369A (ja) 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体
KR101564760B1 (ko) 범죄 사건의 예측을 위한 영상 처리 장치 및 방법
Heo et al. Autonomous reckless driving detection using deep learning on embedded GPUs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R150 Certificate of patent or registration of utility model

Ref document number: 7271373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150