JP6905849B2 - 画像処理システム、情報処理装置、プログラム - Google Patents
画像処理システム、情報処理装置、プログラム Download PDFInfo
- Publication number
- JP6905849B2 JP6905849B2 JP2017073010A JP2017073010A JP6905849B2 JP 6905849 B2 JP6905849 B2 JP 6905849B2 JP 2017073010 A JP2017073010 A JP 2017073010A JP 2017073010 A JP2017073010 A JP 2017073010A JP 6905849 B2 JP6905849 B2 JP 6905849B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- alarm
- accuracy
- cause
- alarm cause
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 65
- 238000012545 processing Methods 0.000 title claims description 59
- 238000011156 evaluation Methods 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 25
- 241001465754 Metazoa Species 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 13
- 241000238631 Hexapoda Species 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 241000555745 Sciuridae Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、画像処理システム100が学習対象の警報画像6を抽出する動作の概略を説明する図である。本実施例の画像処理システム100は、画像に写った対象を画像処理により検出する技術に関する。この対象は警報の原因となるため警報原因と称される。
(1) まず、カメラ装置10は動体かつ/又は遠赤外線を放射する動物などを検出する。
動物等を以下、検知対象という。
(2) カメラ装置10は検知対象が検知された時刻の前後数秒の警報画像6を監視センター9に送信する。
(3) 警報原因推定部34は、警報原因と画像の関係を予め学習してある識別装置である。警報原因推定部34が警報画像6を識別することで、1枚の警報画像6ごとに各警報原因とその確度を算出する。
(4) 確度が十分に高い場合(確度が閾値a以上)、確度が閾値a以上の警報原因が警報画像6に写っている可能性が高いと判断してよいので、閾値a以上の確度を有する警報原因に着目して確度が閾値b以上の警報画像6が学習DB392(Data Base)に認識結果(警報原因)と共に格納される。
(5) 一方、確度が閾値a以上の警報画像6が存在しない場合、監視員7は確度が閾値a未満の警報画像6を目視して警報原因を入力する。警報画像6が複数枚でも、1回の警報では同じ警報原因が写っているため、監視員7は複数の警報画像6を確認して1つの警報原因を入力するだけでよい。
(6) 学習画像自動抽出部35は監視員7が入力した警報原因の確度が閾値b以上の警報画像6のみを学習DB392に該入力した警報原因と共に格納する。
警報原因とは、警報の原因となった対象をいう。例えば、警報画像に写っている動体、遠赤外線が検知された動物などの検知対象である。
図2は、画像処理システム100のシステム構成図の一例を示す。画像処理システム100は、ネットワークNを介して接続されたカメラ装置10と情報処理装置30とを主に有する。カメラ装置10は監視場所8に設置され、毎秒数枚の画像を撮像する撮像装置である。監視場所8は、例えば、オフィス、個人邸宅、ホテル、店舗、研究所、倉庫、工場など第三者の出入りが監視されうる場所である。屋内に限られず、駐車場、競技施設、山林、臨海地域、立ち入り禁止区域などの屋外に設置される場合もある。
図3は、カメラ装置10のハードウェア構成図の一例である。カメラ装置10は、撮像部101、画像処理IC103、遠赤外線センサ102、信号処理IC104、ROM105、CPU106、RAM107、及び、通信装置108を有している。
図5は、画像処理システム100が備える各機能を図示した機能ブロック図の一例である。なお、本実施形態では認識率の向上に関する機能について主に説明する。
カメラ装置10は、画像取得部11、画像処理部12、遠赤外線検知部13、温度変化判断部14、及び通信部15を有している。これらの各機能は図3に示したCPU106がプログラムを実行してカメラ装置10のハードウェアと協働することで実現される機能又は手段である。ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがICなどのハードウェア回路により実現されてもよい。
情報処理装置30は、通信部31、表示制御部32、操作受付部33、警報原因推定部34、及び学習画像自動抽出部35を有している。これらの各機能は図4に示したCPU201がプログラム209pを実行して情報処理装置30のハードウェアと協働することで実現される機能又は手段である。ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがICなどのハードウェア回路により実現されてもよい。
図6を用いて、カメラ装置10が動体を検知した場合に警報画像6に描画する外接矩形について説明する。図6は、カメラ装置10が警報画像6に描画した外接矩形301の一例を示す。この警報画像6では動体として人が検知されている。動体を囲むように外接矩形301が描画されている。監視員は外接矩形301に着目することで警報原因を早期に判断できる。
図7を用いて、警報画像6の学習と確度について説明する。図7は学習のモデルの一例であるニューラルネットワークにおける多層パーセプトロンと呼ばれるモデルを示す。
続いて、図8を用いて監視員7による警報原因の入力について説明する。図8は、LCD206に表示される警報原因の入力画面401の一例である。警報原因の入力画面401は、カメラ装置10から警報画像6が受信されると自動的に又は監視員7の操作により情報処理装置30のLCD206に表示される。警報原因の入力画面401は、警報画像欄411、戻るボタン412、送るボタン413、画像番号表示欄414、複数の警報原因ボタン415、及び、OKボタン416を有する。
図9は、学習に用いられる警報画像6の抽出方法を説明する図の一例である。上記のように監視員7は複数の警報画像6に対し1つの警報原因を入力する。学習画像自動抽出部35は、各警報画像6から監視員7が入力した警報原因の確度が閾値b以上の警報画像6を抽出する。例えば、入力された警報原因が虫の場合を例にして説明する。
このように警報原因の確度が高い警報画像が学習DB392に格納されることで、情報処理装置30は警報画像6と警報原因の関係を学習できる。しかしながら、確度が高くても学習DB392には入れない方がよい警報画像6もあり得る。
図11は、情報処理装置30が警報画像6を抽出して学習DB392に格納する処理を説明するフローチャート図の一例である。
図13は、本実施例の画像処理システム100が備える各機能を図示した機能ブロック図の一例である。なお、図13では警報原因推定部34の更新に関する機能を説明する。また、図13の説明において、図5において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する。
警報原因推定部(現行)34bを警報原因推定部(新)34aで更新するか否かの判断方法は2つある。それぞれを説明する。
A.正しく識別できたか否かに基づく判断
図14を用いて警報原因推定部34の性能の評価について説明する。図14は、警報原因推定部(現行)34bと警報原因推定部(新)34aのそれぞれで評価用画像を識別した際の識別結果を示す。図14では、「○」が正しく識別できたことを示し、「×」が正しく識別できないことを示す。正しく識別できるとは、評価用画像に添付された警報原因を閾値1以上で検出できることをいう。また、正しく識別できないとは、評価用画像に添付された警報原因を閾値1未満で検出することをいう。閾値1は例えば閾値aに相当する。
図15を用いて確度に基づく警報原因推定部34の性能の評価について説明する。図15は、警報原因推定部(現行)34bと警報原因推定部(新)34aのそれぞれで評価用画像を識別した際の確度を示す。この確度は、評価用画像に添付されている警報原因の確度である。したがって、警報原因推定部(現行)34bよりも警報原因推定部(新)34aの方が高いことが望まれる。
図16は、情報処理装置30が警報原因推定部34の性能を評価して更新するか否かを判断する手順を示すフローチャート図の一例である。図16の処理は定期的に実行されてもよいし、一定量の警報画像6が学習DB392に格納された場合に実行されてもよい。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
(1)警報原因が識別できなかった場合は警報画像を監視センター9に送信する。
(2)監視員7が警報原因を入力する。前述と同様の手順で学習DB392に警報画像と警報原因を格納する。
(3)学習の結果性能が向上した警報原因推定部(新)をカメラ装置10に送信し、カメラ装置10が内部の警報原因推定部(現行)を更新する。
7 :監視員
10 :カメラ装置
30 :情報処理装置
31 :通信部
32 :表示制御部
33 :操作受付部
34 :警報原因推定部
35 :学習画像自動抽出部
36 :学習部
37 :評価部
38 :更新部
100 :画像処理システム
Claims (9)
- 撮像装置が撮像した画像から予め定められた警報原因を識別する画像処理システムであって、
前記撮像装置から前記画像を取得する画像取得手段と、
前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、
前記画像を表示装置に表示する表示処理手段と、
前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、
前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、
前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段と、
を有する画像処理システム。 - 前記画像取得手段は、異常が検出された時刻の前後を含む複数の前記画像を前記撮像装置から取得し、
前記受付手段は、複数の前記画像に対し1つの前記警報原因の入力を受け付け、
前記画像抽出手段は、複数の前記画像のうち前記受付手段が受け付けた前記警報原因の確度が前記第一の閾値以上の前記画像を全て前記画像記憶部に記憶させる請求項1に記載の画像処理システム。 - 前記画像抽出手段は、前記第一の識別手段が識別した複数の前記画像に前記警報原因の確度が前記第一の閾値より大きい第二の閾値以上の前記画像が含まれる場合、
前記第二の閾値以上の確度を有する前記警報原因の確度が前記第一の閾値以上である前記画像を前記第二の閾値以上の確度を有する前記警報原因と対応付けて前記画像記憶部に記憶させる請求項1又は2に記載の画像処理システム。 - 複数の前記画像に前記確度の変動が極度に大きい前記画像がある場合、前記確度が前記第一の閾値以上でも、前記画像抽出手段は、前記確度の変動が極度に大きい前記画像を前記画像記憶部に記憶させない請求項1〜3のいずれか1項に記載の画像処理システム。
- 前記第二の識別手段と前記第一の識別手段の性能を評価する評価手段と、
前記第二の識別手段の性能が前記第一の識別手段よりも向上していると前記評価手段が評価した場合、前記第一の識別手段を前記第二の識別手段で更新する更新手段と、
を有する請求項1〜4のいずれか1項に記載の画像処理システム。 - 前記評価手段は、
前記第一の識別手段で識別できた前記画像の全てを前記第二の識別手段で識別できた場合、前記第二の識別手段の性能が前記第一の識別手段よりも向上していると評価する請求項5に記載の画像処理システム。 - 前記評価手段は、
前記第二の識別手段で前記画像を識別した際の確度が、前記第一の識別手段で前記画像を識別した際の確度よりも全ての前記画像において高い場合、前記第二の識別手段の性能が前記第一の識別手段よりも向上していると評価する請求項5に記載の画像処理システム。 - 撮像装置が撮像した画像から予め定められた警報原因を識別する情報処理装置であって
、
前記撮像装置から前記画像を取得する画像取得手段と、
前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、
前記画像を表示装置に表示する表示処理手段と、
前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、
前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、
前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段と、を有する情報処理装置。 - 撮像装置が撮像した画像から予め定められた警報原因を識別する情報処理装置を、
前記撮像装置から前記画像を取得する画像取得手段と、
前記画像に写っている、警報原因である検知対象の確度を検知対象ごとに算出し、前記画像に写っている前記警報原因を識別する第一の識別手段と、
前記画像を表示装置に表示する表示処理手段と、
前記表示装置に表示された前記警報原因のリストから前記画像に写っている前記警報原因の入力を受け付ける受付手段と、
前記受付手段が入力を受け付けた前記警報原因について前記第一の識別手段が算出した該警報原因が識別される確度が第一の閾値以上の場合、前記画像を画像記憶部に格納する画像抽出手段と、
前記画像記憶部に記憶されている前記画像を用いて第二の識別手段を構築する識別手段構築手段、として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017073010A JP6905849B2 (ja) | 2017-03-31 | 2017-03-31 | 画像処理システム、情報処理装置、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017073010A JP6905849B2 (ja) | 2017-03-31 | 2017-03-31 | 画像処理システム、情報処理装置、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018173913A JP2018173913A (ja) | 2018-11-08 |
JP6905849B2 true JP6905849B2 (ja) | 2021-07-21 |
Family
ID=64108612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017073010A Active JP6905849B2 (ja) | 2017-03-31 | 2017-03-31 | 画像処理システム、情報処理装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6905849B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7463686B2 (ja) * | 2019-10-24 | 2024-04-09 | 株式会社Jvcケンウッド | 画像記録装置、画像記録方法及び画像記録プログラム |
CN117396829A (zh) * | 2021-06-04 | 2024-01-12 | 日产自动车株式会社 | 操作检测装置和操作检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016191973A (ja) * | 2015-03-30 | 2016-11-10 | 日本電気株式会社 | 情報転送装置、学習システム、情報転送方法及びプログラム |
-
2017
- 2017-03-31 JP JP2017073010A patent/JP6905849B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018173913A (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410415B2 (en) | Processing method for augmented reality scene, terminal device, system, and computer storage medium | |
KR101607934B1 (ko) | 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체 | |
WO2020151084A1 (zh) | 目标对象的监控方法、装置及系统 | |
CN108446669B (zh) | 运动识别方法、装置及存储介质 | |
JP5590728B2 (ja) | パターン分類システムと集団学習法 | |
CN112329504B (zh) | 门开关状态监测方法、装置、设备及计算机可读存储介质 | |
US20220028230A1 (en) | Methods And System For Monitoring An Environment | |
CN113569671B (zh) | 异常行为报警方法、装置 | |
JP6905849B2 (ja) | 画像処理システム、情報処理装置、プログラム | |
CN111292504A (zh) | 一种通过图像识别进行安全告警方法及系统 | |
KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
CN111191066A (zh) | 一种基于图像识别的宠物身份识别方法和装置 | |
CN114495270A (zh) | 一种实时监控预警方法、装置、系统及存储介质 | |
CN115346060A (zh) | 画面异常识别方法、装置、电子设备和存储介质 | |
JP6621092B1 (ja) | 危険度判別プログラム及びシステム | |
CN111917967A (zh) | 门监控系统及其控制方法 | |
KR20200031884A (ko) | 병충해 감지 장치 및 방법 | |
JP5188840B2 (ja) | 警備装置および更新方法 | |
US20220382383A1 (en) | Monitoring System and Method Having Gesture Detection | |
CN116308955A (zh) | 一种基于ai人工智能进行康养管理的智慧社区 | |
JP7198052B2 (ja) | 画像監視システム | |
KR20210062238A (ko) | 영상정보 분석 기반 방역 시스템 및 그 이용 방법 | |
US11908143B2 (en) | Activity zones for camera video | |
JP7480841B2 (ja) | イベントの管理方法、イベント管理装置、システム及びプログラム | |
JP7220057B2 (ja) | 画像監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6905849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |