JP6757927B2 - 表示画面内画像処理方法及びプログラム - Google Patents

表示画面内画像処理方法及びプログラム Download PDF

Info

Publication number
JP6757927B2
JP6757927B2 JP2017526217A JP2017526217A JP6757927B2 JP 6757927 B2 JP6757927 B2 JP 6757927B2 JP 2017526217 A JP2017526217 A JP 2017526217A JP 2017526217 A JP2017526217 A JP 2017526217A JP 6757927 B2 JP6757927 B2 JP 6757927B2
Authority
JP
Japan
Prior art keywords
image data
image processing
area
display
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017526217A
Other languages
English (en)
Other versions
JPWO2017002477A1 (ja
Inventor
勝憲 松尾
勝憲 松尾
井上 美和
美和 井上
隆英 松尾
隆英 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
K&M ENTERPRISE INC.
Original Assignee
K&M ENTERPRISE INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by K&M ENTERPRISE INC. filed Critical K&M ENTERPRISE INC.
Publication of JPWO2017002477A1 publication Critical patent/JPWO2017002477A1/ja
Application granted granted Critical
Publication of JP6757927B2 publication Critical patent/JP6757927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/103Detection of image changes, e.g. determination of an index representative of the image change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、パーソナルコンピュータ(パソコン)、スマートフォン、タブレット端末等の情報機器(以下、単に「コンピュータ等」ということがある。)の画面に表示された静止画、動画等の画面(以下、「表示画面」という。)の任意のエリア内の画像データから、目的とする情報を出力するための画像処理方法及びプログラムに関する。
コンピュータ等のモニタ(ディスプレイ)に表示される画面は、例えばインターネットエクスプローラ(IE:商標)やFirefox(商標)等のブラウザで表示され、Windows(商標)OSやiOS(商標)、Android(商標)等のソフト上で動作する。また、WEBカメラ等で撮像した画面をコンピュータ等のモニタ上に表示するシステムも提供されている。
このようなコンピュータ等のモニタ上に表示された監視対象の画像を用いて人や物の監視を行うには、従来は、人が画像を常時見ている必要があった。
カメラを用いた監視装置としては、特許文献1に示されたものが提案されている。すなわち、撮像手段で撮像された画像データに対して、特定領域設定手段により、フレーム画像の水平面に平行でかつ横長で矩形状の特定領域を設定し、画像データ処理手段により、複数のフレーム画像毎に特定領域の画像データを取り出し、取り出された画像データから移動ベクトルを抽出する。さらに、変化検知手段では、移動ベクトル情報のうち、所定方向のベクトル値を加算した値が、変化検知閾値設定手段で設定した閾値よりも大きい場合に他移動体が自移動体に接近し過ぎて危険であると判定し、変化通知手段を介して警報発音や警報表示などを行って運転者に危険を通知して注意を促すものである。
特開2005−222424号公報
しかしながら、従来の画面を人が常時監視する方法では、次のような問題点があった。
(1)監視する人の疲労、よそ見、不注意などにより見逃しが発生する可能性がある。
(2)自動化(無人化)を行うには、問題が多かった。
・システムの開発メーカーが、自動化(画像データ処理など)への対応不可。
・バージョンアップする場合、システムの停止が必要。
・不具合(誤検出含む)発生時、簡単に、元に戻せない。
・システム変更に伴う、予期せぬ問題発生の可能性。
(3)特殊な検出などのソフトは、一般的に高価であった。
(特定場所の変化の検出や明るさの変化への対応など)
(4)コンピュータ等では動作しないカメラなどがある。(機器との相性)
さらに、前掲の特許文献1に記載された監視装置は、監視のための専用の装置であり、コンピュータ等を用いたブラウザや画像ソフトでは対応が難しい。
そこで本発明は、コンピュータ等で用いられているブラウザ等の画像ソフトで表示されている画像をそのまま利用して、任意のエリア内の画像データから、目的とする情報を出力するための画像処理方法及びプログラムを提供することを目的とする。
前記課題を解決するため、本発明の第1の構成は、
表示画面上の任意のエリアを1つまたは複数設定し、
前記表示画面上に表示される画像データから前記設定されたエリア内の画像データを逐次取得してメモリ上に転送し、
前記メモリ上の画像データをデータ処理して目的とする判定を行い、
その判定結果を外部に出力することを特徴とする表示画面内画像処理方法である。
本発明の第2の構成は、コンピュータを、
表示画面上の任意のエリアを1つまたは複数設定する手段と、
前記設定されたエリア内の画像データを逐次、メモリ上に転送する手段と、
前記メモリ上の画像データをデータ処理して目的とする判定を行う手段と、
その判定結果を外部に出力する手段として機能させるためのプログラムである。
これらの発明において、前記判定結果を、ソフトウェアによる情報として出力することができる。
また、前記判定結果を、シリアルポートまたはパラレルポートに電気信号として出力することができる。
また、前記判定結果を、電子メール、情報データや画像データ等の形態でネットワークに出力することができる。ここで、ネットワークには、Bluetooth(登録商標)や赤外線通信等の近距離無線通信ネットワークを含む。
また、前記表示画面上の、位置およびサイズの少なくとも一方が異なるあるいは同一の複数のエリア内の画像データについて、各々異なるあるいは同一のデータ処理を、独立、あるいは他のエリアのデータ処理と連携して実行することができる。
さらに、前記表示画面上の1つまたは複数のエリアに対してエリア個別の名称を付加可能とし、前記判定結果を出力する際に、当該エリア個別の名称を出力に付加することができる。
画像データをデータ処理して目的とする判定を行う例を次に示すが、これに限定されない。
・変化の検出
・動き(物体)検出
・静止(物体)検出
・色検出(任意の色範囲、サイズ)
・計測処理(寸法測定、水位計測等)
・検査処理(異常検出、正常判定)
・フィルター処理(輝度操作、特徴抽出等)
画像データをデータ処理して目的とする判定を行った結果の出力の例を次に示すが、これに限定されない。
・他の通信端末へ電子メール通知(通信端末:パーソナルコンピュータ、携帯電話、スマートフォン、タブレット等の通信機能を持った機器)
・他の通信端末へのイベント通知(ネットワーク、シリアル通信等)
・警告音(本体スピーカー、外部機器)
・出力(接点、シリアル通信等)
・画像の保存(ファイルとして保存:動画、静止画)
・表示端末の自動操作(タッチパネル、マウス、キーボード等の自動操作)
・機器への通知
本発明によれば、次の効果を奏する。
(1)人が目視で、特定の状況・状態を判断して行っていた操作を代行できる。
例)監視機能のみのシステムが、自動監視システムになる。
例)モニタ監視の省人化が可能になる。
(2)他のソフト(システム)・機器に影響を与えない。
(独立したソフトとして動作)
・ソフトウェアのみなので、機器との相性の問題発生なし。
・表示画面を読み取るだけで、ハードウエアへのアクセスなし。
(3)いつでも元に戻せ、いつでも再開可能。(ソフトの起動操作のみ)
(4)ソフトウェアのみなので、機能の入れ替えが容易。
(5)ソフトウェアのみなので、安価に実現可能。
本発明の実施の形態に係る画像処理システムにおける処理手順を示すフローチャートである。 本発明の実施の形態における静止画像データ処理のフローチャートである。 本発明の実施の形態における簡単な位置と寸法測定例を示す説明図である。 本発明の実施の形態における色の測定例を示す説明図である。 本発明の実施の形態における動画像データ処理の例を示すブロック図である。 本発明の実施の形態における簡単な動きの検出の例を示すブロック図である。 本発明の実施の形態における簡単な物体の抽出の例を示すブロック図である。 本発明の実施の形態における出力の例を示すブロック図である。 本発明の実施の形態におけるソフトウェア出力の例を示す説明図である。 本発明の実施の形態におけるケーブル接続機器へ出力する例を示す説明図である。 本発明の実施の形態におけるネットワーク(インターネット)を経由して出力する例を示す説明図である。 対象の監視ソフトの構成を示すブロック図である。 監視を自動化するための従来の方法の例を示すブロック図である。 本発明の実施の形態の構成を示すブロック図である。 本発明の実施例のエリア設定画面(初期画面)を示す。 本発明の実施例の設定例を示す画面である。 本発明の実施例の設定例を示す画面である。 本発明の実施例の設定例を示す画面である。
10 OS
20 監視システム
30 表示画面
32 監視画像
34 設定エリア
40 追加ソフト
以下、本発明を、実施の形態に基づいて具体的に説明する。
図1は、本実施の形態に係る画像データ処理システムにおける処理手順を示すフローチャートである。なお、本実施の形態では、情報機器としてパーソナルコンピュータ上で本実施の形態における画像データ処理プログラムを実行することにより本実施の形態における画像データ処理システムを実現した例を示しているが、表示機能を持ち、本実施の形態における画像データ処理プログラムを追加して実行することのできる機器であれば、スマートフォン、タブレット端末等の他の機器を用いることもできる。
図1の各ステップについて説明する。
ステップS100:パーソナルコンピュータの表示画面上のエリア(位置・サイズ)を1つ設定する。エリアの指定は、矩形状の枠(Windows枠)を設定することにより行い、例えばマウスのエリア開始位置でのクリック及び対角位置までのドラッグ操作により行う。処理実行時は、非表示なので、表示上は、見えない。
エリア指定を複数箇所に設定する場合は、同様に行う。
ステップS110:パーソナルコンピュータの表示画面上に表示される画像データから前記設定されたエリア内の画像データを、ビットマップ形式で取得する(標準キャプチャ機能)。取得するビットマップ形式の画像データは、画素単位のR,G.Bの要素の輝度情報(0−255)である。OSが有する標準キャプチャ機能を、本実施の形態における画像データ処理プログラムにより実行する。
ここで、OSが有する標準キャプチャ機能を実行する画像データ処理プログラムの例について説明する。以下は、マイクロソフト社のOSであるWindows上での実行をサポートするWindowsコンポーネントのMicrosoft .NET Framework 2.0以降で提供されている.NETライブラリを用いて標準キャプチャ機能を実行するプログラムソースの例である。
1.キャプチャするためのBitmapオブジェクトの生成
Bitmap bmp = new Bitmap(area.Width, area.Height);
(bmp:収納先のビットマップを定義、area:設定された長方形のエリアの位置とサイズの情報、area.Width,area.Height:areaの幅と高さ)
2.Graphicsオブジェクトの生成
Graphics gp = Graphics.FromImage(bmp);
(CopyFromScreenを使えるのがGraphicオブジェクトなので、BitmapオブジェクトからGraphicオブジェクトを生成)
3.CopyFromScreenメソッドでキャプチャ
Gp.CopyFromScreen(area.Left, area.Top, 0, 0, bmp.Size);
(area.Left, area.Top:areaの左上座標、bmp.Size:bmpのサイズ)
以上により、パーソナルコンピュータの表示画面上に表示される画像データからbmpに設定された長方形のエリア内の画像データがビットマップ形式で取得される。こうして取得した長方形の画像データをそのまま、あるいは、多角形、円、円弧などの指定した任意の形状で取り出し、使用する。
ステップS120:画像データのビットマップ情報(R,G,Bの各輝度情報)を、画像データ処理メモリへ転送する。ビットマップ情報は特殊なフォーマットなので、これをメモリ上に、単純なデータ(配列)として並べる。これによりプログラムから読みやすくなる。
ステップS130:予め指定した画像データ処理(詳細は後述)を行う。データ処理は、静止画処理と動画処理がある。
ステップS140:画像データ結果を判定する。判定は、画像データ処理で得られた結果と判定基準を比較することにより行う。
ステップS150:出力が必要かどうか判定する。出力が必要と判定した場合はステップS160に進む。不要な場合はステップS110に戻る。
ステップS160:出力を実行する(詳細は後述)。実行後、ステップS110に戻る。
図2は、静止画像データ処理のフローチャートである。この例では、最後に取得した1枚の画像データに対してデータ処理を行う。例えば、外観検査や位置決め、寸法測定、色判定等である。処理結果の情報は、出力される。
図3は簡単な位置と寸法測定例を示すものである。画像データは、画像幅×画像高さのサイズのエリアで連続してメモリに配置される。画像データは、暗い色が小さく、明るい色は大きな値である。図3の水平なラインを読むときは、画像メモリの先頭に、Ya×画像幅(Yaは対象物の横方向の位置とサイズを探す際の高さ方向の初期値、一般的にエリアの中央付近から始める。)を加算して、連続してデータを読む。
水平ラインの読み取り結果で対象物の横方向の位置X0と幅がわかる。
垂直なラインを読むときは、画像メモリの先頭に、Xb(Xbは対象物の縦方向の位置とサイズを探す際の横方向の初期値、一般的にエリアの中央付近から始める。)を加算して、画像幅間隔でデータを読む。
垂直ラインの読み取り結果で対象物の縦方向の位置Y0と高さがわかる。
結果として、対象物の左上の位置(X0,Y0)とサイズ(大きさ:W×H)がわかる。
既定の位置とサイズを外れていれば、何かの警告出力(接点、音、電子メールなど)を出力する。
なお、メモリ上の画像データの配置は、高さ方向Y=0、横方向X=0から始まり、Xを加算(+1)する形で、右端まで、画像データを構成する画素データが保存される。右端まで来たら、Y=1、X=0から始まり、Xを加算(+1)する形で、画素データが配置される。同様に、高さ方向の下端まで画素データが保存される。なお、縦、横逆のメモリ配置をする場合もある。
図4は色の測定例を示すものである。
位置と寸法がわかった対象物のエリアの画像データをR,G,B別にすべて読み、平均化する。このデータ(R,G,B)を、色空間HSV(色相Hue,彩度Saturation chroma,明度Value Lightness Brightness)に変換する。
これにより対象物の色がわかる。
既定の色を外れていれば、何かの警告出力(接点、音、電子メールなど)を出す。
図5は動画像データ処理の例を示すものである。
過去から最新までの連続した複数の画像データに対して処理を行う。
動画像データ処理の場合、古い画像データも、必要数保存しておく。
これより、動き検出、静止検出、変化検出、異物検出等の処理結果を出力することができる。例えば、侵入検知や対象物の動き、停止検知、通過カウント、人や車の交通量カウントなどに適用することができる。
図6は簡単な動きの検出の例を示す。
最新の画像データと1つ前の画像データの差の絶対値を、RGB別で画素単位で計算する。
差の絶対値が、規定値以上の画素数の割合を計算する。
割合が、基準値より大きければ、動きありとして、何かの警告出力(接点、音、電子メールなど)を出す。
図7は簡単な物体の抽出の例を示す。
過去N枚分の画像データの平均画像(時間軸の移動平均)を作成し、背景画像とする。
最新画像データから、背景画像との一致部分を消去する。
残りが、物体画像データとなる。
物体画像のデータをスキャンして、個々のサイズや形状を求める。
サイズ、形状が、判定条件と合致した場合は、物体検出として、何かの警告出力(接点、音、電子メールなど)を出す。
色判定なども条件に加えることができる。
図8は判定結果の出力の例を示す。
判定結果の出力は、以下の3つに分類される。
・ソフトウェアによる情報として出力。
・シリアルポートやパラレルポートに接続されたケーブル接続機器へ電気信号として出力。
・電子メール、情報データまたは画像データの形態でネットワークに出力。
図9はソフトウェア出力の例を示す。
ソフトウェアによる出力は、表示、音、操作、画像、記録がある。
表示:画面上に警告メッセージを出して注意を促す。検出部分に、表示を出して、場所を示す。
音:標準のビープ音を鳴らす。あるいは、登録しておいた音声ファイルを再生する。
操作:あらかじめ、登録していた情報に基づき、マウス操作やキーボード操作をソフトウェアで行う。
画像:検出時の画像を、静止画、あるいは、動画で保存する。
記録:発生した事象に対して、日時、現象などをログとして、保存する。
図10はケーブル接続機器へ出力する例を示す。
ケーブル接続は、パラレル、シリアル、LANなどがある。
パラレル接続は、接点出力や警報ランプの制御などに適用される。
シリアルケーブルは、USB機器や、RS232C,RS485接続の機器の制御に用いられる。
LANケーブルは、ネットワーク接続対応機器の制御に用いられる。
なお、機器の種類は、用途により変わる。
図11はネットワーク(インターネット)を経由して出力する例を示す。
インターネットを経由して、遠隔地へ通知する。あるいは、あらかじめ登録していた電子メールアドレスへ、一斉送信する。
また、事象によって、送信先を選択して送信することもできる。
管理用のサーバーが設置されている場合は、サーバーへイベント通知することで、システム処理できる。出力によって、遠隔地の機器を操作することもできる。
なお、ネットワークには、インターネットや無線LAN、有線LANのほかBluetooth(登録商標)や赤外線通信等の近距離無線通信ネットワークを含む。
次に、人がモニタを監視している監視システムに検出と通知機能を追加する場合について説明する。
図12は対象の監視システムの構成を示すものである。
図12では、Windows(商標)等のOS10で動作する監視システム20が、カメラ等の映像を取り込み、表示画面30に表示し、人が目視で監視画像32上の異常を確認する監視システムを示している。しかし、これでは、人の不注意や目をそらすことにより監視対象を見落とすことが避けられない。
図13は、監視を自動化するための従来の方法の例を示す。
これは、監視ソフト内にカメラ画像からの検出処理22および通知処理24を行うソフトを追加する改造を行った監視システム20’を設けたもので、既存ソフトに対する動作検証、修正作業などを行うことによりシステムが構築される。
しかし、改造時、確認時に監視システム20’の停止が発生する。監視ソフトメーカーに画像データ処理技術がない場合、対応不可である。外部に委託する場合、監視ソフトを公開する必要がある。また、監視ソフトの設計者がいない場合、対応不可の可能性がある。追加改造部分に不具合が発生したら、目視の監視もできなくなる。
このような課題を解決するシステムが、図14に示す本発明の実施の形態のブロック図で示されるシステムである。
これは、図12に示した既存の監視システムを改造するのではなく、追加ソフト40により実現するものである。この追加ソフト40は、表示画面上の任意のエリアを1つまたは複数設定し、設定エリア34内の画像データを逐次、メモリ(図示せず)上に転送し、メモリ上の信号をデータ処理して目的とする判定を行い、その判定結果を外部に出力するものである。
ここで、設定エリア34は表示画面30に複数設定することができる。この場合、各設定エリアは位置およびサイズを同一とすることもできるし、位置およびサイズの少なくとも一方が異なるものとすることができる。各設定エリアの画像データ処理は、同一または別々のものとすることができる。例えば、同一の位置およびサイズの設定エリアを設定しても、異なる画像データ処理を行わせることができる。また各設定エリアの画像データ処理は、独立して実行できるし、あるいは他の設定エリアと連携して実行することができる。例えば、複数の結果の組み合わせで、すべての条件が揃ってから出力するなどの結果判定ができる。
画像データ処理結果の判定、判断を、独自に、あるいは、他の画面と連携して実行できる。
結果による出力は、共通、あるいは、独自、あるいは、特定の画面と連携して、実行できる。
単一のまたは複数の設定エリア34には個別の名称を付けることができる。例えば、監視エリアに応じて、単なる番号ではなく、「玄関扉」、「居間の窓」、「ベッド」、「台所」等の名称を付け、表示画面の異常を検知したときに、例えば「居間の窓、異常」といった出力を電子メール等で発信することにより、発信情報自体に意味を持たせることができる。また、各監視エリアについて、異なった画像データ処理を指定することができる。
この実施の形態のシステムによれば、次の効果を奏する。
(1)監視システムとは別のソフトとして動作するので、監視システムを停止する必要がない。
(2)外部に委託する場合、監視ソフトの内容と無関係に作成できる。
(3)目視監視と並行して、確認ができる。
(4)不具合が発生しても、従来の目視の監視は、そのまま、行える。
以下、本発明の実施例について、説明する。図15は、表示画面に設定した設定エリアに対して、名称、画像データ処理の種類等を設定する初期画面を示している。ここで、表示画面に設定する設定エリアを、「センサー」と称している。
図15において、センサー、論理センサー、出力は、任意の数にできる。
上段の「センサー名」は、設定エリアのそれぞれに付される名称である。
中段の「論理センサー」は、「センサー」の組み合わせによる仮想的なセンサーである。定義式のL1= ,・・・,L4= の0はON、1はOFFである。1を超える値になった場合は、1である。センサー番号をS1,S2,・・・とする。
定義式をL1=S1*S2とすると、S1とS2の論理積(AND)となる。
L1=S1+S2とすると、S1とS2の論理和(OR)となる。
図16はセンサー種類の選択画面である。各センサーの「種類の選択」の右端の▼をクリックすると、プルダウンメニューにより機能リストが表示される。
図17は、この中から、「ランプ赤時に侵入者」を設定する画面を示している。すなわち、赤いランプが点灯中は、危険なので侵入禁止というエリアを監視する。
表示画面には、通行禁止エリアとランプが映ったカメラ映像が表示されている。
人が表示画面を監視する場合は、赤いランプが点灯中に人を見つけたら、マイクで警告する。
これを、本実施例の画面センサーのソフトで行うと、以下のようになる。
1番センサーの画面で、ランプの部分をエリア設定し、赤色の検出を行う。
2番センサーの画面で、ランプも含めた、危険エリアを設定し、動き(人の侵入)を検知する。
1番センサーの画面で赤を検出したときだけ、2番の画面の結果は有効になる。
1番センサーの画面で、ランプの赤色を検出中に、2番センサーの画面で動きを検知したら、警告用音声メッセージを流して、警告する。
図18は、警備とカメラ故障の設定画面である。
画面による出力の違いは次の通りである。
表示画面には、不審者の侵入を監視しているカメラ映像が映っているとする。
人が監視する場合は、不審者を見つけると警備に連絡する。また、カメラが故障した場合、技術に連絡する。
これを、本実施例の画面センサーのソフトで行うと、以下のようになる。
1番センサーの画面で、人が通行するエリアを設定し、物体(侵入者)検知を行う。
2番センサーの画面で、いつも、同じように映っている部分のエリア設定をして、輝度測定を行う。
1番センサーの画面で、物体検知(侵入者を発見)したら、警備室の警告ランプを点灯し、警備に連絡する。
2番センサーの画面で、輝度が、通常と大きく異なる場合は、カメラの故障が考えられるので、警備室の警告ランプを点灯するとともに、技術に電子メール連絡する。
このようにして、各センサーに対して、画像データ処理の種類と、処理内容と、出力条件、出力内容を設定することにより、所望の出力を得ることができる。
画像データ処理の種類としては、図16のプルダウンメニューに表示されているように
1.動き検出(上述した図6及びその説明参照)
2.色検出(上述した図4及びその説明参照)
3.物体検出(上述した図7及びその説明参照)
4.点ゲージ(上述した図3及びその説明参照)
などが用意されているが、これに限定されない。
本発明は、例えば次に示すような用途に、好適に利用することができる。
企業用途
(1)有人画像監視システム、有人プロセス監視システムの無人化、省人化
(2)安定してシステム稼動(個人差、疲労、不注意などの要因排除)
(3)システム停止なしでの機能アップ、継続した機能向上。
個人用途
表示端末の内蔵カメラやUSBカメラの有効活用。
表示内容に対して行うのでカメラとの相性は皆無。
(1)表示端末の夜間監視モニタ化(異常警報)
(2)留守時の監視モニタ化(電子メールで通知、画像保存)
(3)画面を見て行う、単純操作の代行

Claims (12)

  1. コンピュータの表示画面上において任意のエリアを1つまたは複数設定し、
    前記表示画面上に表示されていビデオメモリ内の画像データから前記設定されたエリア内の画像データを前記コンピュータのOSが有する標準キャプチャ機能により逐次取得してメモリ上に転送し、
    前記メモリ上の画像データをデータ処理して目的とする判定を行い、
    その判定結果を外部に出力することを特徴とする表示画面内画像処理方法。
  2. 前記判定結果は、ソフトウェアによる情報として出力することを特徴とする請求項1記載の表示画面内画像処理方法。
  3. 前記判定結果は、シリアルポートまたはパラレルポートに電気信号として出力することを特徴とする請求項1記載の表示画面内画像処理方法。
  4. 前記判定結果は、電子メール、情報データまたは画像データの形態でネットワークに出力することを特徴とする請求項1記載の表示画面内画像処理方法。
  5. 前記表示画面上の、位置およびサイズの少なくとも一方が異なるあるいは同一の複数のエリア内の画像データについて、各々異なるあるいは同一のデータ処理を、独立、あるいは他のエリアのデータ処理と連携して実行することを特徴とする請求項1から4のいずれかに記載の表示画面内画像処理方法。
  6. 前記表示画面上の1つまたは複数のエリアに対してエリア個別の名称を付加可能とし、前記判定結果を出力する際に、当該エリア個別の名称を出力に付加することを特徴とする請求項1から5のいずれかに記載の表示画面内画像処理方法。
  7. コンピュータを、
    前記コンピュータの表示画面上において任意のエリアを1つまたは複数設定する手段と、
    前記表示画面上に表示されていビデオメモリ内の画像データから前記設定されたエリア内の画像データを前記コンピュータのOSが有する標準キャプチャ機能により逐次取得してメモリ上に転送する手段と、
    前記メモリ上の信号をデータ処理して目的とする判定を行う手段と、
    その判定結果を外部に出力する手段
    として機能させるための画像処理プログラム。
  8. 前記判定結果を、コンピュータのソフトウェアによる情報として出力する手段をさらに含むことを特徴とする請求項7記載の画像処理プログラム。
  9. 前記判定結果を、シリアルポートまたはパラレルポートに電気信号として出力する手段をさらに含むことを特徴とする請求項7記載の画像処理プログラム。
  10. 前記判定結果を、電子メール、情報データまたは画像データの形態でネットワークに出力する手段をさらに含むことを特徴とする請求項7記載の画像処理プログラム。
  11. 前記表示画面上の、位置およびサイズの少なくとも一方が異なるあるいは同一の複数のエリア内の画像データについて、各々異なるあるいは同一のデータ処理を、独立、あるいは他のエリアのデータ処理と連携して実行する手段をさらに含むことを特徴とする請求項7から10のいずれかに記載の画像処理プログラム。
  12. 前記表示画面上の1つまたは複数のエリアに対してエリア個別の名称を付加可能とし、前記判定結果を出力する際に、当該エリア個別の名称を出力に付加する手段をさらに含むことを特徴とする請求項7から11のいずれかに記載の画像処理プログラム。
JP2017526217A 2015-06-30 2016-05-19 表示画面内画像処理方法及びプログラム Active JP6757927B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015131459 2015-06-30
JP2015131459 2015-06-30
PCT/JP2016/064815 WO2017002477A1 (ja) 2015-06-30 2016-05-19 表示画面内画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017002477A1 JPWO2017002477A1 (ja) 2018-05-24
JP6757927B2 true JP6757927B2 (ja) 2020-09-23

Family

ID=57608475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017526217A Active JP6757927B2 (ja) 2015-06-30 2016-05-19 表示画面内画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US10102825B2 (ja)
JP (1) JP6757927B2 (ja)
KR (1) KR20170012874A (ja)
CN (1) CN106797431A (ja)
WO (1) WO2017002477A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081328A1 (en) * 2016-10-26 2018-05-03 Ring Inc. Customizable intrusion zones for audio/video recording and communication devices
US12096156B2 (en) * 2016-10-26 2024-09-17 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US10891839B2 (en) 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
EP3716280B1 (en) * 2019-03-25 2023-12-27 F. Hoffmann-La Roche AG Method of operating a diagnostic instrument
KR102427292B1 (ko) * 2021-01-20 2022-07-29 국방과학연구소 로봇시스템 운용을 위한 제어 방법 및 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057840A1 (en) * 1999-02-26 2002-05-16 Belmares Robert J. System and method for monitoring visible changes
JP3873554B2 (ja) * 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
US7257235B2 (en) * 2002-02-28 2007-08-14 Minolta Co., Ltd. Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer
JP2003255442A (ja) * 2002-02-28 2003-09-10 Minolta Co Ltd 監視装置、監視方法および監視プログラム
JP3952305B2 (ja) 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP4709566B2 (ja) * 2005-03-31 2011-06-22 セコム株式会社 遠隔監視装置及び遠隔監視システム
JP2009239507A (ja) * 2008-03-26 2009-10-15 Smk Corp 監視システム
CN102663792B (zh) * 2012-03-28 2016-01-20 上海量明科技发展有限公司 一种针对截图中冗余区域进行删除的方法及系统
CN102833563B (zh) * 2012-08-02 2015-12-16 深圳Tcl新技术有限公司 一种3d视频顺序格式的自动识别方法及装置
JP6114550B2 (ja) * 2012-12-21 2017-04-12 日本放送協会 監視装置、監視方法及びプログラム
CN103198424B (zh) * 2013-03-29 2017-09-08 Tcl集团股份有限公司 一种基于智能显示设备的购物方法及装置
CN103500095A (zh) * 2013-09-27 2014-01-08 太仓苏易信息科技有限公司 屏幕截图监控系统

Also Published As

Publication number Publication date
US20170084252A1 (en) 2017-03-23
CN106797431A (zh) 2017-05-31
JPWO2017002477A1 (ja) 2018-05-24
US10102825B2 (en) 2018-10-16
KR20170012874A (ko) 2017-02-03
WO2017002477A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
JP6757927B2 (ja) 表示画面内画像処理方法及びプログラム
US10937290B2 (en) Protection of privacy in video monitoring systems
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
KR20150043146A (ko) 모니터링 방법
KR20140143857A (ko) 합성 영상을 이용한 화재감지시스템 및 방법
JP2020515971A (ja) 画像ベースによる異常検知の方法およびシステム
KR20080054331A (ko) 화염 검출 방법 및 장치
KR20130016383A (ko) 출입 제한 영역 침입자 검출 시스템, 침입자 검출 장치, 출입 제한 영역 침입자 검출 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
EP3454254A1 (en) Image processing apparatus, image providing apparatus, control methods thereof, and program
KR101521236B1 (ko) 열영상을 이용한 감시 시스템
JP2023015138A (ja) 監視カメラ管理装置、監視カメラ管理システム、監視カメラ管理方法及びプログラム
JP2009239507A (ja) 監視システム
US20230401859A1 (en) Management apparatus, management method, management system, computer program and recording medium
JP2018093347A (ja) 情報処理装置、情報処理方法およびプログラム
CN114241389A (zh) 燃烧物质识别方法、电子设备及可读存储介质
KR101046819B1 (ko) 소프트웨어 휀스에 의한 침입감시방법 및 침입감시시스템
KR100472461B1 (ko) 비 정상 비디오 신호를 판별하는 디스플레이 장치 및 그방법
JP5710230B2 (ja) 監視システムおよび監視方法
US20140147011A1 (en) Object removal detection using 3-d depth information
KR101052541B1 (ko) 선박용 확장 경보 장치 및 그 모니터링 방법
KR20230062176A (ko) 열화상 카메라로 산업현장의 이상 온도를 감지 및 표현하고 경보를 발생시켜 알리는 시스템 및 이의 동작 방법
JP6632757B1 (ja) 環境異常検知装置
KR20140128141A (ko) 화재 감지 기능을 가지는 카메라 및 그 화재 감지 방법
CN111669652A (zh) 一种视频监控告警方法和电视机
CN107845103B (zh) 基于纹理信息的报警方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200819

R150 Certificate of patent or registration of utility model

Ref document number: 6757927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250