JPWO2019008635A1 - Video surveillance device adjusting method and video surveillance device - Google Patents

Video surveillance device adjusting method and video surveillance device Download PDF

Info

Publication number
JPWO2019008635A1
JPWO2019008635A1 JP2019528202A JP2019528202A JPWO2019008635A1 JP WO2019008635 A1 JPWO2019008635 A1 JP WO2019008635A1 JP 2019528202 A JP2019528202 A JP 2019528202A JP 2019528202 A JP2019528202 A JP 2019528202A JP WO2019008635 A1 JPWO2019008635 A1 JP WO2019008635A1
Authority
JP
Japan
Prior art keywords
video
error
alarm
issued
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019528202A
Other languages
Japanese (ja)
Other versions
JP7033797B2 (en
Inventor
浜田 高宏
高宏 浜田
Original Assignee
株式会社K−Will
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社K−Will filed Critical 株式会社K−Will
Publication of JPWO2019008635A1 publication Critical patent/JPWO2019008635A1/en
Application granted granted Critical
Publication of JP7033797B2 publication Critical patent/JP7033797B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Abstract

デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供する。又、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供する。映像監視装置は、閾値を記憶するメモリを内蔵する映像・音声監視部と、パラメータ最適化用学習部とを有しており、映像監視装置は、映像信号に応じて変化する複数のパラメータの全てが、監視項目に応じて決定された閾値を超えたときに、エラーが発生したと判定するようになっており、複数のパラメータのうち少なくとも2つが、相互に関連し合っていて、監視対象である映像及び/又は音声のコンテンツに応じて、メモリに記憶された閾値群のいずれかの組を選定する。又、エラーの発報結果を解析することにより、パラメータ最適化用学習部が学習し、学習結果に基づいて閾値を更新する。Provided is a method for adjusting an image monitoring device, which appropriately detects an image and / or an error occurring in a digital image signal according to content. Further, the present invention provides an image monitoring device that appropriately detects an image and / or an error in a digital image signal through learning. The video monitoring device has a video / audio monitoring unit having a built-in memory for storing a threshold and a parameter optimization learning unit, and the video monitoring device uses all of a plurality of parameters that change according to a video signal. However, when a threshold value determined according to the monitoring item is exceeded, it is determined that an error has occurred. At least two of the plurality of parameters are related to each other and Depending on the video and / or audio content, any set of thresholds stored in memory is selected. The parameter optimization learning unit learns by analyzing the error reporting result, and the threshold is updated based on the learning result.

Description

本発明は、デジタル映像信号に含まれた映像や音声のエラーを機械的に検出できる映像監視装置の調整方法及び映像監視装置に関する。  The present invention relates to a method of adjusting a video monitoring device and a video monitoring device capable of mechanically detecting an error of a video or audio included in a digital video signal.

旧来のアナログテレビ放送時代には、その映像や音声の品質は、監視者が実際に映像や音声を視聴(監視)してエラーの検出を実行していた。これに対し、デジタルテレビ放送に移行した現代においては、映像信号の処理が容易になり機械的に映像や音声を監視する環境が整いつつあり、一部では既に機械監視が行われている。その一方で、機械監視はエラー検出の正確性において未だ人間の監視に劣ることが多いという評価もあり、旧来の監視者による監視も並行して行われているという実情がある。  In the old analog television broadcasting era, the quality of the video and audio was detected by an observer who actually watched (monitored) the video or audio. On the other hand, in the modern era when digital television broadcasting is started, the processing of video signals becomes easier and the environment for mechanically monitoring video and audio is being prepared, and in some cases machine monitoring has already been performed. On the other hand, there are many evaluations that machine monitoring is still inferior to human monitoring in terms of accuracy of error detection, and there is the actual situation that the monitoring by the conventional monitor is also performed in parallel.

しかるに、今後はデジタル映像を送信する地上波の事業に加えて、コンテンツのネット配信事業や、IPTV(Internet Protocol Tele Vision)事業などの映像配信サービスが拡大すると予測されるところ、それに伴って配信されるコンテンツの数も劇的に増大することから、全てのコンテンツに対して監視者による監視を行うことは事実上困難になると考えられている。よって、機械監視におけるエラー検出の正確性を人間並みに向上させることは、全ての映像配信サービスにおいて喫緊の課題ともいえる。  However, in addition to the terrestrial wave business that transmits digital video, it is expected that video content distribution services such as Internet content distribution business and IPTV (Internet Protocol Tele Vision) business will expand in the future. It is believed that it will be practically difficult for an observer to monitor all the contents because the number of contents to be downloaded will increase dramatically. Therefore, improving the accuracy of error detection in machine monitoring to the level of humans can be said to be an urgent issue in all video distribution services.

特許文献1には、デジタル映像信号において種々の原因により発生するノイズに起因した映像のエラーや、デジタル音声信号において種々の原因により発生するノイズに起因した音声のエラーを検出する音声検査方法が開示されている。  Patent Document 1 discloses a voice inspection method for detecting a video error caused by noise caused by various causes in a digital video signal and a voice error caused by noise caused by various causes in a digital audio signal. Has been done.

国際公開2015/059782号公報International Publication No. 2015/059782

特許文献1によれば、連続するデジタル音声信号を5msec以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づく値を閾値と比較することで、音声に生じたエラーを機械的に検出することができる。  According to Patent Document 1, a continuous digital audio signal is divided into 5 msec or less and sampled, a high frequency component is extracted from the sampled signal, and a value based on the extracted high frequency component is compared with a threshold value to obtain a voice. The error that occurs can be detected mechanically.

しかるに、特許文献1のような技術では、音声信号の特性値(パラメータ)を閾値と比較することによってエラー検出が行われているが、その閾値をどのように設定すべきかという課題がある。すなわち、閾値を厳しめに設定すると、頻繁にエラー検出がなされる一方で、検出されたエラーの多くが視聴者にとって無視できる程度のものであったときは検出が無駄になる恐れがある。一方、閾値を緩く設定すると、エラー検出の頻度は下がるが、視聴者にとって無視できないエラーが見逃されてしまう恐れがある。これが、機械監視が人間の監視に劣る理由の1つとされる。特にパラメータが複数あって相互に関連している場合など、1つのパラメータを変更すると他のパラメータに影響が及ぶため、2つ以上のパラメータを同時に変更しなくてはならず、適切な閾値の設定は非常に困難である。  However, in the technique of Patent Document 1, error detection is performed by comparing the characteristic value (parameter) of the audio signal with a threshold value, but there is a problem of how to set the threshold value. That is, when the threshold value is set to be strict, while error detection is frequently performed, when many of the detected errors are insignificant to the viewer, detection may be wasted. On the other hand, if the threshold value is set loosely, the frequency of error detection decreases, but there is a risk that the viewer may miss an error that cannot be ignored. This is one of the reasons why machine monitoring is inferior to human monitoring. Especially when there are multiple parameters and they are related to each other, changing one parameter affects other parameters. Therefore, it is necessary to change two or more parameters at the same time. Is very difficult.

本発明の目的の1つは、デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供することにある。  One of the objects of the present invention is to provide a method of adjusting an image monitoring apparatus that appropriately detects an image and / or an error occurring in a digital image signal according to content.

又、本発明の別の目的は、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供することにある。  Another object of the present invention is to provide an image monitoring apparatus that appropriately detects an image and / or an error in a digital image signal through learning.

第1の本発明の映像監視装置の調整方法は、監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置の調整方法において、
前記映像監視装置は、前記映像信号に応じて変化する複数のパラメータの全てが、前記監視項目に応じて決定された閾値を超えたときに、前記エラーが発生したと判定するようになっており、前記複数のパラメータのうち少なくとも2つが、相互に関連し合っていて、
前記複数のパラメータの閾値をそれぞれ決定して閾値群を複数組作成し、メモリに記憶し、
監視対象である映像及び/又は音声のコンテンツに応じて、前記メモリに記憶された前記閾値群のいずれかの組を選定することを特徴とする。
According to a first aspect of the present invention, there is provided an image monitoring apparatus adjusting method, which inputs a video signal corresponding to video and / or audio to be monitored and detects that an error has occurred in a monitoring item. In the adjustment method,
The video monitoring device is configured to determine that the error has occurred when all of the plurality of parameters that change according to the video signal exceed a threshold determined according to the monitoring item. , At least two of the plurality of parameters are interrelated,
Each of the thresholds of the plurality of parameters is determined and a plurality of threshold groups are created and stored in a memory,
One of the sets of threshold values stored in the memory is selected according to the video and / or audio content to be monitored.

本発明者は鋭意研究の結果、前記閾値群の適正値が、監視対象である映像及び/又は音声のコンテンツの内容(「映画」、「ドラマ」、「バラエティ」、「スポーツ」、「ドキュメンタリー」、「エンターテインメント」、「アニメ」等)に応じて偏在することを発見した。かかる発見に基づいて、本発明を導出したのである。すなわち、前記複数のパラメータの閾値をそれぞれ決定して前記閾値群を複数組作成し、メモリに記憶しておけば、監視対象である映像及び/又は音声のコンテンツに応じて前記メモリに記憶された前記閾値群のいずれかの組を選定することで、単一の閾値群を用いる場合に比べ、より監視に適正な閾値群を設定できるから、前記映像監視装置におけるエラーの誤検出を効果的に防止することができるのである。  As a result of earnest research, the present inventor has found that the appropriate values of the threshold value group are the contents (“movie”, “drama”, “variety”, “sports”, “documentary” of the video and / or audio content to be monitored. , “Entertainment”, “Anime”, etc.). The present invention was derived based on this finding. That is, if the thresholds of the plurality of parameters are respectively determined and a plurality of groups of the thresholds are created and stored in the memory, the thresholds are stored in the memory according to the video and / or audio contents to be monitored. By selecting any one of the threshold groups, as compared with the case of using a single threshold group, it is possible to set a more appropriate threshold group for monitoring, so that it is possible to effectively detect an error in the video monitoring device. It can be prevented.

更に、前記映像監視装置が、映像及び/又は音声の監視動作と並行して学習を行い、その学習結果に基づいて前記閾値群の少なくとも1つの閾値を更新し、更新された前記閾値群をメモリに記憶すると好ましい。  Further, the video monitoring device performs learning in parallel with the video and / or audio monitoring operation, updates at least one threshold value of the threshold value group based on the learning result, and stores the updated threshold value group in a memory. It is preferable to store in.

更に、前記映像監視装置は、エラーを検出したときにアラームを発報するようになっており、
前記学習において、監視対象である映像及び/又は音声に対応する映像信号を入力させて、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数とをそれぞれカウントし、
更に、エラーの内容と発生箇所が既知である検査用の映像信号を前記映像監視装置に入力させて、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、
得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新すると好ましい。
Furthermore, the video surveillance device is designed to issue an alarm when an error is detected,
In the learning, a video signal corresponding to the video and / or audio to be monitored is input, and at a constant time interval, the first event in which the alarm is issued for the error for which the alarm should be issued. Counting the number of cases and the number of second events in which the alarm is issued for an error that should not be issued, respectively.
Further, the number of third events in which the alarm is not issued for an error for which an alarm is to be issued by inputting an inspection video signal in which the content and location of the error are known to the video monitoring device. Count
An evaluation value is calculated by weighting the obtained number of the first event, the number of the second event, and the number of the third event, and the threshold value group is calculated based on the obtained evaluation value. Is preferable to update.

前記学習において、前記閾値群の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすると好ましい。  In the learning, it is preferable to count the number of the first event, the number of the second event, and the number of the third event while individually changing the thresholds of the threshold group.

第2の本発明の映像監視装置は、監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置において、
前記映像信号に応じて変化する複数のパラメータであって、前記複数のパラメータのうち少なくとも2つが相互に関連し合ってなるパラメータの閾値を記憶する閾値記憶部と、
前記複数のパラメータの全てが、前記監視項目に応じて決定された前記閾値を超えたときに、前記エラーが発生したと判定し、アラームを発報する判定部と、
映像及び/又は音声の監視動作と並行して学習を行う学習部と、
前記学習部における学習結果に基づいて前記閾値を更新する更新部と、
前記判定部が前記エラーの発生を検出したときは、前記エラーの発生前後の映像信号を記憶する映像記憶部と、を有し、
前記エラーの発報結果を解析することにより、前記学習部が学習することを特徴とする。
The video monitoring apparatus of the second aspect of the present invention is a video monitoring apparatus for inputting a video signal corresponding to video and / or audio to be monitored and detecting that an error has occurred in a monitoring item,
A threshold value storage unit that stores a threshold value of a plurality of parameters that change according to the video signal, in which at least two of the plurality of parameters are associated with each other;
All of the plurality of parameters, when it exceeds the threshold determined according to the monitoring item, it is determined that the error has occurred, a determination unit for issuing an alarm,
A learning unit that performs learning in parallel with the video and / or audio monitoring operation,
An updating unit that updates the threshold value based on a learning result in the learning unit,
When the determination unit detects the occurrence of the error, a video storage unit for storing the video signal before and after the occurrence of the error, and
The learning unit learns by analyzing a result of reporting the error.

本発明によれば、前記エラーの発報結果を解析し、例えば「正解アラーム」、「不要アラーム、「すり抜け」などに分類することにより、前記学習部が学習を行って、前記閾値をより適正な値に更新できるので、エラー検出の精度が高まる。  According to the present invention, by analyzing the report result of the error and classifying it into, for example, “correct alarm”, “unnecessary alarm, and“ slip through ”, the learning unit performs learning, and the threshold value is more appropriate. Since it can be updated to any value, the accuracy of error detection is improved.

更に、前記学習部は、監視対象である映像及び/又は音声に対応する映像信号を入力したときに、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をカウントし、更に、エラーの内容と発生箇所が既知である検査用の映像信号を入力したときに、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値記憶部に記憶された前記閾値を順位付けすると好ましい。  Furthermore, when the video signal corresponding to the video and / or the audio to be monitored is input, the learning unit issues the alarm at a constant time interval for an error to be issued. An image for inspection in which the number of first events and the number of second events in which the alarm has been issued for an error for which an alarm should not be issued are counted, and the content and location of the error are known. When a signal is input, the number of the third event in which the alarm is not issued is counted for the error for which the alarm is issued, and the number of the obtained first event and the obtained number of the second event are counted. It is preferable that an evaluation value is calculated by weighting and calculating the number of cases and the number of the third event, and the threshold values stored in the threshold value storage unit are ranked based on the obtained evaluation value.

更に、前記学習部は、前記監視項目の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすると好ましい。  Further, it is preferable that the learning unit counts the number of the first event, the number of the second event, and the number of the third event while individually changing the thresholds of the monitoring items.

更に、前記学習部は、M個の映像信号のうちm番目の映像信号に対して、時刻t1〜t2の間に、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数をT(m)とし、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をF(m)とし、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をH(m)としたときに、以下の評価関数に従って評価値A(m)を求めると好ましい。

Figure 2019008635
但し、
Wt(m)は前記第1事象の重み付け
Wf(m)は前記第2事象の重み付け
Wh(m)は前記第3事象の重み付けFurther, the learning unit is configured such that, for the m-th video signal of the M video signals, the alarm is issued for an error for which an alarm should be issued between times t1 and t2. Let T (m) be the number of events, F (m) be the number of second events for which the alarm was issued for an error for which an alarm should not be issued, and for an error for which an alarm should be issued. When the number of third events in which the alarm is not issued is H (m), it is preferable to obtain the evaluation value A (m) according to the following evaluation function.
Figure 2019008635
However,
Wt (m) is the weighting of the first event Wf (m) is the weighting of the second event Wh (m) is the weighting of the third event

更に、前記映像記憶部は、入力された映像信号を、所定のタイミングで所定の長さで切り出して記憶すると好ましい。  Furthermore, it is preferable that the video storage section stores the input video signal by cutting it out at a predetermined timing and a predetermined length.

更に、前記学習部の学習結果を表示すると共に、前記エラーの発生前後の映像信号に基づいて映像及び/又は音声を再生する表示部を有すると好ましい。  Further, it is preferable to have a display unit that displays the learning result of the learning unit and reproduces video and / or audio based on the video signal before and after the occurrence of the error.

更に、前記更新部は、現在の閾値に代わる新たな閾値の候補を、優先順位を付けてリストアップすると好ましい。  Furthermore, it is preferable that the updating unit lists new threshold candidates that replace the current threshold in a prioritized manner.

本明細書中、「音声」とは、人間や動物の声の他、音も含む。「映像信号」とは、映像信号及び音声信号のいずれか一方の場合を含む。「コンテンツ」とは、映像の内容のことである。具体的には、コンテンツの大分類として、「映画」、「ドラマ」、「バラエティ」、「スポーツ」、「ドキュメンタリー」、「エンターテインメント」、「アニメ」などがある。一方、コンテンツの小分類としては、「スポーツ」を例にとれば、「野球」、「サッカー」、「バレーボール」、「柔道」、「相撲」、「陸上競技」などがある。「学習」は、リアルタイムで流れる映像及び/又は音声を監視者が視聴した監視結果を、同じ映像及び/又は音声に対応する映像信号を映像監視装置で監視した結果と対応付け、それを閾値にフィードバックすることを含む。「相互に関連する」とは、一方のパラメータを調整すると、他方のパラメータに影響が及ぶことをいう。「閾値を超える」とは、閾値を上回ること、及び閾値を下回ることの双方の場合を含む。  In the present specification, the “voice” includes not only human and animal voices but also sounds. The "video signal" includes the case of either a video signal or an audio signal. “Content” is the content of a video. Specifically, the major categories of contents include "movies", "drama", "variety", "sports", "documentary", "entertainment", and "animation". On the other hand, as a subcategory of contents, for example, "sports" includes "baseball", "soccer", "volleyball", "judo", "sumo", "athletics" and the like. “Learning” refers to associating a monitoring result in which a video and / or audio flowing in real time is watched by a monitor with a result of monitoring a video signal corresponding to the same video and / or audio with a video monitoring device, and setting it as a threshold value. Including feedback. “Interrelated” means that adjusting one parameter affects the other parameter. "Exceeding the threshold" includes both cases of exceeding the threshold and falling below the threshold.

本発明によれば、デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供することができる。又、本発明によれば、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供することができる。  According to the present invention, it is possible to provide a method of adjusting an image monitoring apparatus that appropriately detects an image and / or an error occurring in a digital image signal according to content. Further, according to the present invention, it is possible to provide an image monitoring device that appropriately detects an image and / or an error through learning in a digital image signal.

映像監視装置100を示すブロック図である。3 is a block diagram showing the video monitoring device 100. FIG. 表示部107に表示される映像・音声監視部103における検査項目の例を示す図である。FIG. 7 is a diagram showing an example of inspection items in the video / audio monitoring unit 103 displayed on the display unit 107. 表示部107に表示されるアラーム情報の例を示す図である。FIG. 7 is a diagram showing an example of alarm information displayed on a display unit 107. 表示部107に表示される監視項目毎のパラメータの例を示す図である。FIG. 7 is a diagram showing an example of parameters for each monitoring item displayed on the display unit 107. 同じ閾値を用いてエラー検出を行った際に発生した正解アラーム、不要アラーム、すり抜けを、監視項目とコンテンツ毎にまとめた例を示す図である。FIG. 10 is a diagram showing an example in which correct answer alarms, unnecessary alarms, and slip-throughs that occur when error detection is performed using the same threshold value are summarized for each monitoring item and content. あるコンテンツに関する検査項目フリーズにおいて、このような更新を複数回行った際の閾値の複数群の例((a)更新前、(b)更新後)のリストを示す図である。It is a figure which shows the list | wrist of the example ((a) before update, (b) after update) of the several groups of the threshold value when such update is performed multiple times in the inspection item freeze regarding a certain content.

本実施の形態にかかる映像監視装置及びその調整方法を、図面を参照して説明する。図1は、映像監視装置100を示すブロック図である。図1において、映像監視装置100は、監視対象となる映像及び/又は音声に対応する映像信号(以下、検査対象映像信号という)を入力する主入力部101と、検査用の映像信号を入力する副入力部102と、閾値を記憶するメモリを内蔵する映像・音声監視部(判定部)103と、映像・音声クリップ蓄積部(映像記憶部)104と、アラーム出力部105と、内蔵メモリ(閾値記憶部)106aを含むパラメータ最適化用学習部(学習部兼更新部)106と、監視者MNが表示された情報を視認可能なディスプレイ等の表示部107と、監視者MNが情報を入力可能なキーボード等の監視者入力部108とを有している。  An image monitoring apparatus and an adjusting method thereof according to the present embodiment will be described with reference to the drawings. FIG. 1 is a block diagram showing a video monitoring device 100. In FIG. 1, a video monitoring apparatus 100 inputs a video signal for inspection and a main input unit 101 for inputting a video signal corresponding to video and / or audio to be monitored (hereinafter referred to as an inspection target video signal). A sub-input unit 102, a video / audio monitoring unit (determination unit) 103 having a built-in memory for storing a threshold value, a video / audio clip storage unit (video storage unit) 104, an alarm output unit 105, and a built-in memory (threshold value). Parameter optimization learning unit (learning unit / updating unit) 106 including a storage unit 106a, a display unit 107 such as a display through which the information displayed by the monitor MN can be visually recognized, and the monitor MN can input information. And a monitor input unit 108 such as a keyboard.

映像監視装置100の監視動作について説明する。図2は、表示部107に表示される映像・音声監視部103における検査項目の例を示す図である。監視対象となる映像信号は、SDI信号、ファイル、IP形式、HDMI(登録商標)等全てのフォーマットの映像信号を対象とする。監視者MNは、表示部107に表示された監視項目を見ながら、監視者入力部108を介して、監視項目それぞれに対応するボックス内を変化させ、監視項目毎に「検査」又は「オフ」のいずれかを選択することができる。監視者が「検査」を選択した検査項目は、映像監視装置100が監視することになるが、「オフ」を選択した検査項目は監視されない。  The monitoring operation of the video monitoring device 100 will be described. FIG. 2 is a diagram showing an example of inspection items in the video / audio monitoring unit 103 displayed on the display unit 107. The video signals to be monitored are video signals of all formats such as SDI signal, file, IP format, and HDMI (registered trademark). While watching the monitoring items displayed on the display unit 107, the monitor MN changes the box corresponding to each monitoring item via the monitor input unit 108, and “inspect” or “off” for each monitoring item. You can choose either of The inspection item for which the monitor selects “inspection” will be monitored by the video monitoring apparatus 100, but the inspection item for which “off” has been selected is not monitored.

映像に関する監視項目としては、「フリーズ」、「ブラックアウト」、「遮断フリーズ」、「遮断ブラックアウト」、「ブロックノイズ」、「赤色点滅」、「輝度点滅」、「場面転換」、「映像反転」、「ラインノイズ」、「カット点異常」、「タイムコード不連続」がある。一方、音声に関する監視項目としては、「ミュート」、「遮断ミュート」、「プツ音(Audio Pop Noise)」、「音飛び」、「音声ノイズ」、「ラウドネス」、「トゥルーピーク」がある。尚、検査項目がこれらに限られることはない。  Video monitoring items include "freeze", "blackout", "blocking freeze", "blocking blackout", "block noise", "flashing red", "blinking brightness", "scene change", and "video reversal". , "Line noise", "Cut point abnormality", "Time code discontinuity". On the other hand, the monitoring items regarding voice include “mute”, “blocking mute”, “push sound (Audio Pop Noise)”, “sound skip”, “voice noise”, “loudness”, and “true peak”. The inspection items are not limited to these.

監視動作の前提として、映像・音声監視部103には、監視項目毎に複数の閾値(閾値群という、詳細は後述)が設定されているものとする。図1を参照して、映像監視装置100は、主入力部101から検査対象映像信号を入力すると、入力された検査対象映像信号は、画像フレーム、画素データ、音声サンプリングデータが抽出されて、映像・音声監視部103に送信され、ここで監視アルゴリズムに適用できる各種感度調整や継続時間等に対応したパラメータを算出する。  As a premise of the monitoring operation, it is assumed that the video / audio monitoring unit 103 is set with a plurality of thresholds (threshold group, which will be described later in detail) for each monitoring item. Referring to FIG. 1, when the video monitoring device 100 inputs an inspection target video signal from the main input unit 101, an image frame, pixel data, and audio sampling data are extracted from the input inspection target video signal to obtain a video image. The parameters are transmitted to the voice monitoring unit 103, and parameters corresponding to various sensitivity adjustments and durations applicable to the monitoring algorithm are calculated here.

映像・音声監視部103は、監視アルゴリズムに従って、求めた複数のパラメータを監視項目に対応する閾値と比較し、全てのパラメータが閾値を超えた場合には監視項目に対応するエラーを検出したものと判定して、当該監視項目と対応づけたアラーム信号をアラーム出力部105に出力する。アラーム出力部105は、入力したアラーム信号に応じて、エラー発生時刻と、検出したエラーの内容と、その深刻度とを含むアラーム情報を表示部107に入力するので、表示部107はアラーム情報を表示し、それを監視者MNが視認することができる。又、映像・音声監視部103は、パラメータが閾値を超えた前後の映像信号を切り出して、映像・音声クリップ蓄積部104に記憶するようになっている。  According to the monitoring algorithm, the video / audio monitoring unit 103 compares the obtained plurality of parameters with the threshold value corresponding to the monitoring item, and if all the parameters exceed the threshold value, it detects an error corresponding to the monitoring item. The determination is made and an alarm signal associated with the monitoring item is output to the alarm output unit 105. The alarm output unit 105 inputs the alarm information including the error occurrence time, the content of the detected error, and the severity thereof to the display unit 107 according to the input alarm signal, so that the display unit 107 displays the alarm information. It is displayed and can be visually recognized by the monitor MN. Further, the video / audio monitoring unit 103 cuts out video signals before and after the parameter exceeds the threshold value and stores them in the video / audio clip storage unit 104.

図3は、表示部107に表示されるアラーム情報の例を示す図である。図3において、画面下段には検出されたエラー及び内容が時系列で表示されると共に、画面上段にはエラーが映像又は音声であることを示す「カテゴリー」、エラーのレベルが普通又は重篤を示す「クラス」、エラーの種別を示す「検査項目」、及びエラーの「発生回数」がまとめて表示される。監視者MNが、監視者入力部108を介して、いずれかのエラーを選択すると、それに応じて映像・音声クリップ蓄積部104から、対応するエラー前後の映像信号が読み出され、表示部107に入力される。これによりエラー前後における映像及び/又は音声が表示部107から出力されるので、監視者MNはエラーの内容を実際に視認でき、或いは聴取することができる。  FIG. 3 is a diagram showing an example of alarm information displayed on the display unit 107. In FIG. 3, detected errors and their contents are displayed in time series in the lower part of the screen, and “category” indicating that the error is video or audio in the upper part of the screen, and the level of the error is normal or serious. The “class” shown, the “inspection item” showing the type of error, and the “number of occurrences” of the error are displayed together. When the monitor MN selects one of the errors via the monitor input unit 108, corresponding video signals before and after the error are read from the video / audio clip storage unit 104 and displayed on the display unit 107. Is entered. As a result, the video and / or audio before and after the error is output from the display unit 107, so that the monitor MN can actually visually recognize or hear the content of the error.

ところで、表示部107に表示された検出エラーの内容と、実際の映像及び/又は音声を監視者MNが見比べることで、アラームを発報すべきエラーに対してアラームが発報された場合(正解アラームという)と、アラームを発報すべきでないエラーに対してアラームが発報された場合(不要アラームという)と、アラームを発報すべきエラーに対してアラームが発報されなかった場合(すり抜けという)とをそれぞれ認識できる。本来的には、映像監視装置100がエラー検出時に発報するアラームが全て正解アラームであることが理想であるが、実際には不要アラームやすり抜けが生じてしまう。これは、映像・音声監視部103の機械監視によるエラー検出基準が、監視者MNの監視によるエラー検出基準と厳密に一致しないことから生じるものである。よって、機械監視によるエラー検出を人間の監視によるエラー検出に近づけない限り、映像監視装置100単独での監視が困難となる。  By the way, when the monitor MN compares the content of the detection error displayed on the display unit 107 with the actual video and / or audio, the alarm is issued for the error for which the alarm should be issued (correct answer). An alarm is issued, an alarm is issued for an error that should not be issued (called an unnecessary alarm), and an alarm is not issued for an error that should be issued (pass through). Can be recognized respectively. Originally, it is ideal that all of the alarms issued by the video monitoring device 100 when an error is detected are correct alarms, but in reality, unnecessary alarms and omissions occur. This is because the error detection standard by the machine monitoring of the video / audio monitoring unit 103 does not exactly match the error detection standard by the monitoring by the monitor MN. Therefore, unless the error detection by machine monitoring approaches the error detection by human monitoring, it becomes difficult to monitor the video monitoring apparatus 100 alone.

そこで、映像・音声監視部103の機械監視によるエラー検出基準を、監視者MNの監視によるエラー検出基準に近づけるために、監視項目毎に設定されたパラメータの閾値を変えることとする。これを閾値のチューニングという。ここで、監視項目がm個あったとき、そのパラメータの個数をI(m)とすると、チューニングすべき閾値の数は、1・I(1)+2・I(2)+・・・+m・I(m)となって、監視項目が増えるにつれて増大することがわかる。  Therefore, in order to bring the error detection standard by the machine monitoring of the video / audio monitoring unit 103 closer to the error detection standard by the monitoring of the monitor MN, the threshold value of the parameter set for each monitoring item is changed. This is called threshold tuning. Here, if there are m monitoring items and the number of parameters is I (m), the number of thresholds to be tuned is 1 · I (1) + 2 · I (2) + ... + m · It becomes I (m), and it can be seen that the number increases as the number of monitoring items increases.

図4は、表示部107に表示される監視項目毎のパラメータの例を示す図である。監視者MNは、表示部107に表示されたパラメータを見ながら、監視者入力部108を介して、パラメータに対応するボックス内に、パラメータ毎に任意の数値を入力することができるようになっている。  FIG. 4 is a diagram showing an example of parameters displayed on the display unit 107 for each monitoring item. The observer MN can input an arbitrary numerical value for each parameter in the box corresponding to the parameter via the observer input unit 108 while watching the parameter displayed on the display unit 107. There is.

一例を挙げると、検査項目「フリーズ」に対応して、パラメータとして「感度閾値(アクティビティ)」、「感度閾値(ノイズ)」、「時間閾値(開始)」、「時間閾値(終了)」の4つがある。「グラフスケール」は表示用のグラフの縮尺を表すもので、ここではパラメータではない。つまり、エラーとしての映像フリーズを検出する為には、4つのパラメータの閾値(閾値群)を各々適切に設定しなければならない。しかるに、「感度閾値(アクティビティ)」と「感度閾値(ノイズ)」とは、パラメータとして映像1フレームに含まれる小ブロックごとに分散をとった値の上限値及び下限値であり、相互に関連し合っているといえる。このようなパラメータは、国際公開第2015−059782号に詳細が開示されている。又、「時間閾値(開始)」と「時間閾値(終了)」は、映像がフレーズしたと判断する期間の長さを示したものであり、相互に関係し合っている。よって、いずれか一方の閾値を調整した場合、他方の閾値も併せて変更しなければ、適切にフリーズを検出できないこととなる。  As an example, four parameters of “sensitivity threshold (activity)”, “sensitivity threshold (noise)”, “time threshold (start)”, and “time threshold (end)” are set as parameters corresponding to the inspection item “freeze”. There is one. The "graph scale" represents the scale of the graph for display and is not a parameter here. That is, in order to detect the video freeze as an error, the thresholds (threshold groups) of the four parameters must be set appropriately. However, the “sensitivity threshold (activity)” and the “sensitivity threshold (noise)” are the upper limit value and the lower limit value of the value distributed for each small block included in one video frame as parameters, and are related to each other. It can be said that it fits. Such parameters are disclosed in detail in WO2015-059782. The "time threshold value (start)" and the "time threshold value (end)" indicate the length of the period in which it is determined that the video is phrased, and are related to each other. Therefore, when either one of the thresholds is adjusted, the freeze cannot be properly detected unless the other threshold is also changed.

ここで、全ての検査項目に対して適切な閾値を入力しないと、エラー検出時の不要アラームやすり抜けを招いてしまうが、図4に示すように検査項目の数が多い場合、全ての検査項目に対して適正な閾値を決定することは困難である。そこで、デフォルトの閾値(初期値)を予め決定しておくことが望ましい。このようなデフォルトの閾値は、例えば映像・音声監視部103の内蔵メモリに記憶して用いることができる。しかるに、本発明者の検討結果によれば、全てのコンテンツに対して同じ閾値を用いた場合において、あるコンテンツでは不要アラームやすり抜けが低減されるが、別なコンテンツでは不要アラームやすり抜けが生じることが分かった。  If an appropriate threshold value is not input for all the inspection items, unnecessary alarms and omissions may occur when an error is detected. However, if the number of inspection items is large as shown in FIG. It is difficult to determine a proper threshold for. Therefore, it is desirable to determine a default threshold value (initial value) in advance. Such a default threshold value can be stored in a built-in memory of the video / audio monitoring unit 103 and used. However, according to the examination result of the present inventor, when the same threshold value is used for all contents, unnecessary alarms or skips are reduced in one content, but unnecessary alarms or skips occur in another content. I understood.

図5は、同じ閾値を用いてエラー検出を行った際に発生した正解アラーム、不要アラーム、すり抜けを、監視項目とコンテンツ毎にまとめた例を示す図である。図5の例から、コンテンツ毎に正解アラーム、不要アラーム、すり抜けの発生頻度が異なることがわかる。この検討結果に基づいて、本発明者は、コンテンツの内容に応じてデフォルトの閾値を決定すればよいことを見出したのである。このようなデフォルトの閾値は、シミュレーションや積み重ねられた経験から求めることができる。  FIG. 5 is a diagram showing an example in which correct answer alarms, unnecessary alarms, and slip-throughs that occur when error detection is performed using the same threshold value are grouped by monitoring item and content. From the example of FIG. 5, it can be seen that the correct alarm, the unnecessary alarm, and the slip-through occurrence frequency differ for each content. Based on this examination result, the present inventor has found that the default threshold value may be determined according to the content. Such a default threshold can be obtained from simulations and accumulated experience.

一方、コンテンツの内容に応じてデフォルトの閾値を決定すれば、ある程度不要アラームやすり抜けを減らせる可能性はあるが、常に最適とは限らない。コンテンツの内容が同じだとしても、受信状態等によっては、不要アラームやすり抜けの頻度が変化することがある。そこで、監視動作と並行して、現在入力している映像信号に関して映像監視装置100に学習させることで、デフォルトの閾値が適切か否かを判断し、適切でなければ更に更新することが好ましいといえる。これにより、正解アラームを増大させて、不要アラームやすり抜けの頻度を低下させることができる。更新された閾値は、新たに当該コンテンツのデフォルトの閾値とすることができる。  On the other hand, if a default threshold value is determined according to the content, it is possible to reduce unnecessary alarms and omissions to some extent, but it is not always optimal. Even if the contents are the same, the frequency of unnecessary alarms or passing through may change depending on the reception state and the like. Therefore, in parallel with the monitoring operation, it is preferable to make the video monitoring apparatus 100 learn about the currently input video signal to determine whether or not the default threshold value is appropriate, and further update if not appropriate. I can say. As a result, the number of correct alarms can be increased and the frequency of passing through unnecessary alarms can be reduced. The updated threshold value can be newly set as the default threshold value of the content.

(学習態様)
以下、映像監視装置100の学習機能について説明する。以下の学習例では、デフォルトの閾値に対して、変更すべき閾値候補がある場合について、いずれが優れているか判定できる。図1の映像監視装置100において、映像及び/又は音声の監視動作を実際に行っている間に、監視者MNが監視者入力部108から所定の学習期間を設定する。すると、映像監視装置100は、この学習期間の間、学習を行うことができる。
(Learning mode)
The learning function of the video monitoring device 100 will be described below. In the following learning example, it is possible to determine which is better than the default threshold when there is a threshold candidate to be changed. In the video monitoring device 100 of FIG. 1, the monitor MN sets a predetermined learning period from the monitor input unit 108 while the video and / or audio is being monitored. Then, the video monitoring device 100 can perform learning during this learning period.

具体的には、同一種のコンテンツでM個の映像信号において、1つの監視項目についてデフォルトの閾値を用いて監視動作を行う。まず学習期間(時刻t1〜t2、例えば時間、日、週間、月などの時間単位で良い)の間、映像監視装置100が検出したエラーが、図3に示すように表示部107に表示される。図3のように表示されたエラーには、不適切なものも含まれている可能性があるため、学習のためにはエラーの適否のチェックを行う必要がある。  Specifically, the monitoring operation is performed using the default threshold value for one monitoring item in M video signals of the same type of content. First, during the learning period (time t1 to t2, for example, time unit such as hour, day, week, month, etc.), the error detected by the video monitoring device 100 is displayed on the display unit 107 as shown in FIG. . Since the error displayed as shown in FIG. 3 may include an inappropriate error, it is necessary to check the adequacy of the error for learning.

ここで、監視者MNは、図3に表示されたエラーのいずれかをワンクリックで指定することにより、映像・音声クリップ蓄積部104に記憶された当該エラー前後の映像信号を読み出して、対応する映像及び/又は音声を表示部107で視聴することができる。その結果、監視者MNは、時刻t1〜t2の間に生じた正解アラームの件数と不要アラームの件数とをカウントすることが出来る。映像・音声クリップ蓄積部104に記憶された各エラー前後の映像信号は、長さが3秒程度であるから視聴に時間はかからず、このチェックは短時間で終了するため、監視者MNの負担が少ない。  Here, the observer MN reads one of the video signals before and after the error stored in the video / audio clip accumulating unit 104 by specifying one of the errors displayed in FIG. Video and / or audio can be viewed on the display unit 107. As a result, the observer MN can count the number of correct alarms and the number of unnecessary alarms that occurred between times t1 and t2. The video signal before and after each error stored in the video / audio clip accumulating unit 104 has a length of about 3 seconds, so that it does not take much time to view and the check is completed in a short time. The burden is small.

但し、上述のチェックでは、すり抜けの件数をカウントすることができない。そこで、予め準備しておいた、エラーの内容と発生箇所(時間)が既知である検査用の映像信号を、副入力部102を介して映像・音声監視部103に入力し、上述と同じ閾値を用いて映像・音声監視部103でエラーの検出を行う。これにより図3に示すものと同様なアラーム情報が得られたとき、監視者MNは、既知であるエラーの内容と発生箇所を照合することで、正解アラームの件数と、すり抜けの件数とを求めることができる。ここではすり抜けの件数を抽出して用いる。検査用の映像信号は、コンテンツ毎に数十分程度の視聴時間に相当する長さであるため、検査の手間がかからない。以上のようにしてM個の映像信号に対してそれぞれ求めた正解アラームの件数と、不要アラームの件数と、すり抜けの件数とを、監視者MNが監視者入力部108から、パラメータ最適化用学習部106に入力する。  However, the number of slip-throughs cannot be counted in the above check. Therefore, a video signal for inspection, in which the content of the error and the location (time) of the error are known, which has been prepared in advance, is input to the video / audio monitoring unit 103 via the sub-input unit 102, and the same threshold value as described above is input. The video / audio monitoring unit 103 detects an error using. As a result, when the alarm information similar to that shown in FIG. 3 is obtained, the observer MN obtains the number of correct alarms and the number of slip-throughs by collating the content of the known error with the occurrence location. be able to. The number of slip-throughs is extracted and used here. Since the inspection video signal has a length corresponding to a viewing time of about tens of minutes for each content, the inspection does not take time and effort. The number of correct alarms, the number of unnecessary alarms, and the number of passing through obtained for each of the M video signals as described above are learned by the monitor MN from the monitor input unit 108 for parameter optimization. Input to the unit 106.

ここで、m番目の映像信号における正解アラーム(第1事象)の数をT(m)とし、不要アラーム(第2事象)の数をF(m)とし、すり抜け(第3事象)の数をH(m)とすると、パラメータ最適化用学習部106は、以下の評価関数に従って,評価値A(m)を求める。

Figure 2019008635
但し、
Wt(m)は正解アラームの重み付け
Wf(m)は不要アラームの重み付け
Wh(m)はすり抜けの重み付けHere, the number of correct alarms (first event) in the m-th video signal is T (m), the number of unnecessary alarms (second event) is F (m), and the number of slip-throughs (third event) is Letting H (m), the parameter optimization learning unit 106 obtains the evaluation value A (m) according to the following evaluation function.
Figure 2019008635
However,
Wt (m) is the correct answer weighting Wf (m) is the unnecessary alarm weighting Wh (m) is the slip-through weighting

エラー検出において、一般的に正解アラーム数は多い方が好ましく、不要アラーム数は少ない方が好ましく、更にすり抜けは極力なくすることが好ましい。よって、メモリ106aに記憶された重み付けとして、Wt(m)>0>Wf(m)>Wh(m)と設定することが好ましく、例えばWt(m)=+3とし、Wf(m)=−1とし、Wh(m)=−5とする。但し、重み付けは同一種のコンテンツでは固定するとよい。この評価関数によれば、得られた評価値A(m)が高いほどエラー検出が正確であり、その値が低いほどエラー検出が不正確となる。  In error detection, it is generally preferable that the number of correct alarms is large, the number of unnecessary alarms is small, and it is preferable that slip-through is eliminated as much as possible. Therefore, it is preferable to set Wt (m)> 0> Wf (m)> Wh (m) as the weight stored in the memory 106a. For example, Wt (m) = + 3 and Wf (m) = − 1. And Wh (m) = − 5. However, weighting may be fixed for the same type of content. According to this evaluation function, the higher the obtained evaluation value A (m), the more accurate the error detection, and the lower the value, the more inaccurate the error detection.

次いで、監視者MNが監視者入力部108を介して、デフォルトの閾値から、変更を希望する閾値へと置換を行って、同じコンテンツの映像信号を用いて、以上と同様な監視動作を実行して評価値を求める。デフォルトの閾値を用いた監視動作の評価値が、変更を希望する閾値を用いた監視動作の評価値以上であれば、パラメータ最適化用学習部106は、当該コンテンツにおいてはデフォルトの閾値を使い続けるものとして、記憶したデフォルトの閾値を変更しない。これに対し、デフォルトの閾値を用いた監視動作の評価値が、変更を希望する閾値を用いた監視動作の評価値より低ければ、パラメータ最適化用学習部106は、当該コンテンツにおいてはデフォルトの閾値の変更が必要と判断し、変更を希望する閾値と置換し、すなわち学習を行う。これにより、エラー検出の精度を一層高めることができる。  Then, the monitor MN replaces the default threshold value with a threshold value desired to be changed through the monitor input unit 108, and executes the same monitoring operation as above using the video signal of the same content. To obtain the evaluation value. If the evaluation value of the monitoring operation using the default threshold is equal to or higher than the evaluation value of the monitoring operation using the threshold desired to be changed, the parameter optimization learning unit 106 continues to use the default threshold for the content. As a matter of fact, the stored default threshold value is not changed. On the other hand, if the evaluation value of the monitoring operation using the default threshold value is lower than the evaluation value of the monitoring operation using the threshold value that is desired to be changed, the parameter optimization learning unit 106 determines that the default threshold value for the content. It is determined that the change is necessary, and the change is replaced with a desired threshold value, that is, learning is performed. Thereby, the accuracy of error detection can be further improved.

図6は、あるコンテンツに関する検査項目:フリーズにおいて、このような更新を複数回行った際の閾値の複数群の例((a)更新前、(b)更新後)のリストを示す図である。図6に示す複数組の閾値群がリストアップされて、内蔵メモリ106aに記憶されており、必要に応じて表示部107に表示され、監視者MNが確認できるようになっている。  FIG. 6 is a diagram showing a list of an example ((a) before update, (b) after update) of a plurality of groups of thresholds when such update is performed a plurality of times in the inspection item: freeze regarding a certain content. . A plurality of threshold groups shown in FIG. 6 are listed and stored in the built-in memory 106a, and displayed on the display unit 107 as needed so that the supervisor MN can confirm them.

図6(a)の更新前リストによれば、現在、デフォルトの閾値群が優先順位1として最上位にリストアップされているが、その評価値A(m)は「85」である。一方、新たに第1候補として評価された閾値群の評価値A(m)は「92」であり、新たに第2候補として評価された閾値群の評価値A(m)は「81」であったとする。  According to the pre-update list of FIG. 6A, the default threshold value group is currently listed as the highest priority level 1, but the evaluation value A (m) is “85”. On the other hand, the evaluation value A (m) of the threshold group newly evaluated as the first candidate is “92”, and the evaluation value A (m) of the threshold group newly evaluated as the second candidate is “81”. Suppose there is.

かかる場合、第1候補の閾値群の評価値A(m)-「92」は、今までのデフォルトの閾値群の評価値A(m)「85」よりも高いので、パラメータ最適化学習部106が、図6(b)に示すように、更新により優先順位1とすることで新たなデフォルトの閾値群として置き換え、監視のために映像・音声監視部103に送信する。これにより、今までのデフォルトの閾値群は、優先順位2に繰り下がることとなる。  In this case, the evaluation value A (m)-“92” of the first candidate threshold value group is higher than the evaluation value A (m) “85” of the default threshold value group up to now, so the parameter optimization learning unit 106. However, as shown in FIG. 6B, the priority is updated to 1 to replace it with a new default threshold value group, which is transmitted to the video / audio monitoring unit 103 for monitoring. As a result, the default threshold group up to now is moved down to the priority level 2.

これに対し、第2候補の閾値群の評価値A(m)「81」は、置換されたデフォルトの閾値群の評価値A(m)「85」よりも低いため、パラメータ最適化学習部106が、更新により優先順位3とすることで、より下位にリストアップすることとなる。かかるリストは、パラメータ最適化用学習部106のメモリ106aに記憶されて用いられる。これにより、当該コンテンツに関して、常に高い評価値A(m)の閾値群をデフォルトの閾値群とできる。但し、コンテンツが異なれば同じ値を用いた閾値群であっても、優先順位が異なることはあり得る。尚、このような閾値群の更新は、パラメータ最適化学習部106が自動的に行っても良いし、監視者MNの許可を待ってから行うこともできる。或いは、評価値A(m)の値にかかわらず、監視者入力部108を介して監視者MNが指定した閾値を、デフォルトの閾値とすることもできる。  On the other hand, the evaluation value A (m) “81” of the second candidate threshold value group is lower than the evaluation value A (m) “85” of the replaced default threshold value group, and thus the parameter optimization learning unit 106. However, the priority is set to 3 by updating, so that it is listed up in a lower order. The list is stored in the memory 106a of the parameter optimization learning unit 106 and used. As a result, a threshold value group having a high evaluation value A (m) for the content can be set as a default threshold value group. However, if the contents are different, the priority order may be different even if the threshold values use the same value. It should be noted that such updating of the threshold value group may be automatically performed by the parameter optimization learning unit 106, or may be performed after waiting for permission of the supervisor MN. Alternatively, regardless of the value of the evaluation value A (m), the threshold specified by the monitor MN via the monitor input unit 108 can be set as the default threshold.

尚、第1候補、第2候補、・・・の決め方であるが、監視者MNが任意の値を監視者入力部108からパラメータ最適化用学習部106に入力することで、その都度、正解アラームの数と、不要アラームの数と、すり抜けの数を求めた上で、評価値を演算しても良い。或いは、パラメータ最適化用学習部106が、デフォルトの閾値群に対して、個別に閾値を+5%又は−5%ずつ変化させて、その都度、正解アラームの数と、不要アラームの数と、すり抜けの数を求めた上で、評価値を演算するようにしても良い。その他の監視項目においても、同様に評価値を求めることができる。  Note that the first candidate, the second candidate, ... Are decided, but the monitor MN inputs an arbitrary value from the monitor input unit 108 to the parameter optimization learning unit 106. The evaluation value may be calculated after obtaining the number of alarms, the number of unnecessary alarms, and the number of slip-throughs. Alternatively, the parameter optimization learning unit 106 individually changes the threshold value by + 5% or −5% with respect to the default threshold value group, and each time, the number of correct answer alarms, the number of unnecessary alarms, and the skipping are skipped. Alternatively, the evaluation value may be calculated after the number of is calculated. Evaluation values can be similarly obtained for other monitoring items.

尚、検査用の映像信号の入力は、監視対象映像信号の入力の合間に行うこともできるし、監視対象映像信号の入力と並行して行って、バックグラウンドで検査を行うこともできる。それにより同じ閾値を用いてエラー検出を実行できる。更に、映像・音声蓄積クリップ部104は、主入力部101から入力された監視対象映像信号を、所定の長さに渡って所定のタイミングで切り取り、監視者MNが行った監視結果に対応づけて、不図示のメモリに検査用映像信号として記憶しても良い。記憶された検査用映像信号は、必要なタイミングで副入力部102から入力されて、上述のように閾値更新に用いられることとなる。  The inspection video signal can be input between the input of the monitoring target video signal, or the inspection can be performed in the background in parallel with the input of the monitoring target video signal. This allows error detection to be performed using the same threshold. Further, the video / audio storage clip unit 104 cuts the monitoring target video signal input from the main input unit 101 at a predetermined timing over a predetermined length, and associates it with the monitoring result performed by the monitor MN. Alternatively, it may be stored as a video signal for inspection in a memory (not shown). The stored inspection video signal is input from the sub-input unit 102 at a necessary timing and used for updating the threshold value as described above.

本発明により、デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供することができ、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供することができる。  INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a method of adjusting an image monitoring apparatus that appropriately detects an image and / or an error generated in a digital image signal according to content, and appropriately adjusts the image and / or the error in the digital image signal through learning. It is possible to provide a video monitoring device for detecting the.

100 映像監視装置
101 主入力部
102 副入力部
103 映像・音声監視部
104 映像・音声クリップ蓄積部
105 アラーム出力部
106 パラメータ最適化用学習部
106a 内蔵メモリ
107 表示部
108 監視者入力部
MN 監視者
100 video monitoring device 101 main input unit 102 sub-input unit 103 video / audio monitoring unit 104 video / audio clip storage unit 105 alarm output unit 106 parameter optimization learning unit 106a built-in memory 107 display unit 108 monitor input unit MN monitor

Claims (11)

監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置の調整方法において、
前記映像監視装置は、前記映像信号に応じて変化する複数のパラメータの全てが、前記監視項目に応じて決定された閾値を超えたときに、前記エラーが発生したと判定するようになっており、前記複数のパラメータのうち少なくとも2つが、相互に関連し合っていて、
前記複数のパラメータの閾値をそれぞれ決定して閾値群を複数組作成し、メモリに記憶し、
監視対象である映像及び/又は音声のコンテンツに応じて、前記メモリに記憶された前記閾値群のいずれかの組を選定することを特徴とする映像監視装置の調整方法。
In a method of adjusting a video monitoring device, which inputs a video signal corresponding to video and / or audio to be monitored and detects that an error has occurred in a monitoring item,
The video monitoring device is configured to determine that the error has occurred when all of the plurality of parameters that change according to the video signal exceed a threshold determined according to the monitoring item. , At least two of the plurality of parameters are interrelated,
Each of the thresholds of the plurality of parameters is determined and a plurality of threshold groups are created and stored in a memory,
An adjusting method for a video surveillance device, characterized in that any one of the sets of threshold values stored in the memory is selected in accordance with a video and / or audio content to be monitored.
前記映像監視装置が、映像及び/又は音声の監視動作と並行して学習を行い、その学習結果に基づいて前記閾値群の少なくとも1つの閾値を更新し、更新された前記閾値群をメモリに記憶することを特徴とする請求項1に記載の映像監視装置の調整方法。  The video monitoring device performs learning in parallel with the video and / or audio monitoring operation, updates at least one threshold value of the threshold value group based on the learning result, and stores the updated threshold value group in a memory. The method for adjusting a video surveillance device according to claim 1, further comprising: 前記映像監視装置は、エラーを検出したときにアラームを発報するようになっており、
前記学習において、監視対象である映像及び/又は音声に対応する映像信号を入力させて、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数とをそれぞれカウントし、
更に、エラーの内容と発生箇所が既知である検査用の映像信号を前記映像監視装置に入力させて、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、
得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新することを特徴とする請求項2に記載の映像監視装置の調整方法。
The video monitoring device is designed to issue an alarm when an error is detected,
In the learning, a video signal corresponding to the video and / or audio to be monitored is input, and at a constant time interval, the first event in which the alarm is issued for the error for which the alarm should be issued. Counting the number of cases and the number of second events in which the alarm is issued for an error that should not be issued, respectively.
Further, the number of third events in which the alarm is not issued for an error for which an alarm is to be issued by inputting an inspection video signal in which the content and location of the error are known to the video monitoring device. Count
An evaluation value is calculated by weighting the obtained number of the first event, the number of the second event, and the number of the third event, and the threshold value group is calculated based on the obtained evaluation value. The method for adjusting a video surveillance device according to claim 2, wherein
前記学習において、前記閾値群の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすることを特徴とする請求項3に記載の映像監視装置の調整方法。  In the learning, while counting the thresholds of the threshold group individually, the number of the first event, the number of the second event, and the number of the third event are counted. A method for adjusting the described video surveillance device. 監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置において、
前記映像信号に応じて変化する複数のパラメータであって、前記複数のパラメータのうち少なくとも2つが相互に関連し合ってなるパラメータの閾値を記憶する閾値記憶部と、
前記複数のパラメータの全てが前記監視項目に応じて決定された前記閾値を超えたときに、前記エラーが発生したと判定し、アラームを発報する判定部と、
映像及び/又は音声の監視動作と並行して学習を行う学習部と、
前記学習部における学習結果に基づいて前記閾値を更新する更新部と、
前記判定部が前記エラーの発生を検出したときは、前記エラーの発生前後の映像信号を記憶する映像記憶部と、を有し、
前記エラーの発報結果を解析することにより、前記学習部が学習することを特徴とする映像監視装置。
In a video monitoring device that inputs a video signal corresponding to video and / or audio to be monitored and detects that an error has occurred in a monitoring item,
A threshold value storage unit that stores a threshold value of a plurality of parameters that change according to the video signal, in which at least two of the plurality of parameters are associated with each other;
When all of the plurality of parameters exceed the threshold value determined according to the monitoring item, it is determined that the error has occurred, a determination unit for issuing an alarm,
A learning unit that performs learning in parallel with the video and / or audio monitoring operation,
An updating unit that updates the threshold value based on a learning result in the learning unit,
When the determination unit detects the occurrence of the error, a video storage unit for storing the video signal before and after the occurrence of the error, and
An image monitoring apparatus, wherein the learning unit learns by analyzing a report result of the error.
前記学習部は、監視対象である映像及び/又は音声に対応する映像信号を入力したときに、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をカウントし、更に、エラーの内容と発生箇所が既知である検査用の映像信号を入力したときに、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値記憶部に記憶された前記閾値を順位付けすることを特徴とする請求項5に記載の映像監視装置。  The learning unit is configured such that, when a video signal corresponding to a video and / or audio to be monitored is input, the first alarm is issued for an error for which an alarm should be issued at constant time intervals. The number of events and the number of second events in which the alarm is issued for an error for which an alarm should not be issued are counted, and a video signal for inspection in which the content of the error and the location of the error are known is counted. When input, the number of the third events in which the alarm was not issued for the error for which the alarm was issued is counted, and the obtained number of the first events and the number of the second events are obtained. , The number of the third event is weighted to calculate an evaluation value, and the threshold values stored in the threshold value storage unit are ranked based on the obtained evaluation value. Video surveillance described in 5 Location. 前記学習部は、前記監視項目の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすることを特徴とする請求項6に記載の映像監視装置。  7. The learning unit counts the number of the first event, the number of the second event, and the number of the third event while individually changing the thresholds of the monitoring items. The video surveillance device described in. 前記学習部は、M個の映像信号のうちm番目の映像信号に対して、時刻t1〜t2の間に、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数をT(m)とし、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をF(m)とし、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をH(m)としたときに、以下の評価関数に従って評価値A(m)を求めることを特徴とする請求項6又は7に記載の映像監視装置。
Figure 2019008635
但し、
Wt(m)は前記第1事象の重み付け
Wf(m)は前記第2事象の重み付け
Wh(m)は前記第3事象の重み付け
The learning unit detects, for the m-th video signal of the M video signals, between the times t1 and t2 of the first event in which the alarm is issued for an error for which the alarm is issued. Let T (m) be the number of events, F (m) be the number of second events in which the alarm was issued for an error for which an alarm should not be issued, and the alarm for the error for which an alarm should be issued. The video surveillance device according to claim 6 or 7, wherein an evaluation value A (m) is obtained in accordance with the following evaluation function, where H (m) is the number of the third events in which is not issued. .
Figure 2019008635
However,
Wt (m) is the weighting of the first event Wf (m) is the weighting of the second event Wh (m) is the weighting of the third event
前記更新部は、前記優先順位に従って前記監視項目毎に前記閾値をリストアップすることを特徴とする請求項6〜8のいずれかに記載の映像監視装置。  9. The video monitoring device according to claim 6, wherein the updating unit lists the threshold value for each monitoring item according to the priority order. 前記映像記憶部は、入力された映像信号を、所定のタイミングで所定の長さで切り出して記憶することを特徴とする請求項5〜9のいずれかに記載の映像監視装置。  10. The video monitoring apparatus according to claim 5, wherein the video storage unit stores the input video signal by cutting it out at a predetermined timing and a predetermined length. 前記学習部の学習結果を表示すると共に、前記エラーの発生前後の映像信号に基づいて映像及び/又は音声を再生する表示部を有することを特徴とする請求項5〜10のいずれかに記載の映像監視装置。  11. The display unit according to claim 5, further comprising a display unit for displaying a learning result of the learning unit and reproducing video and / or audio based on a video signal before and after the occurrence of the error. Video surveillance device.
JP2019528202A 2017-07-03 2017-07-03 How to adjust the video monitoring device and the video monitoring device Active JP7033797B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024350 WO2019008635A1 (en) 2017-07-03 2017-07-03 Video monitoring device adjusting method and video monitoring device

Publications (2)

Publication Number Publication Date
JPWO2019008635A1 true JPWO2019008635A1 (en) 2020-04-30
JP7033797B2 JP7033797B2 (en) 2022-03-11

Family

ID=64950684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528202A Active JP7033797B2 (en) 2017-07-03 2017-07-03 How to adjust the video monitoring device and the video monitoring device

Country Status (3)

Country Link
JP (1) JP7033797B2 (en)
CN (1) CN110870305B (en)
WO (1) WO2019008635A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034841A (en) * 2019-08-22 2021-03-01 日本電気株式会社 Monitoring condition setting device, system, method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946733A (en) * 1995-07-25 1997-02-14 Nippon Hoso Kyokai <Nhk> Automatic video monitoring device
JP2006060335A (en) * 2004-08-18 2006-03-02 Sharp Corp Image processing apparatus
JP2006101296A (en) * 2004-09-30 2006-04-13 Nec Personal Products Co Ltd Video data correcting device and method, video output device and method, reproducing device and method, program, and recording medium
JP2006186787A (en) * 2004-12-28 2006-07-13 Fujitsu Ten Ltd Digital data receiver
JP2008046346A (en) * 2006-08-15 2008-02-28 Sony Corp Electric power consumption reduction apparatus, display device, image processor, electric power consumption reduction method, and computer program
JP2011228975A (en) * 2010-04-21 2011-11-10 Nikon Systems Inc Video noise detection device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269770A (en) * 2000-03-24 2001-10-02 Kawasaki Steel Corp Method for automatically detecting abnormality in molten metal treating facility
CN101765025A (en) * 2008-12-23 2010-06-30 北京中星微电子有限公司 System for abnormal detection of surveillance camera and method thereof
JP2011109183A (en) * 2009-11-12 2011-06-02 Toshiba Corp Reception-state presenting device
CN102131101A (en) * 2011-04-21 2011-07-20 江苏东怡软件技术有限公司 Intelligent video image quality automatic analysis system and method
CN102395043B (en) * 2011-11-11 2013-09-11 北京声迅电子股份有限公司 Video quality diagnosing method
CN102421008A (en) * 2011-12-07 2012-04-18 浙江捷尚视觉科技有限公司 Intelligent video quality detecting system
CN103873852A (en) * 2012-12-11 2014-06-18 上海文广互动电视有限公司 Multi-mode parallel video quality fault detection method and device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946733A (en) * 1995-07-25 1997-02-14 Nippon Hoso Kyokai <Nhk> Automatic video monitoring device
JP2006060335A (en) * 2004-08-18 2006-03-02 Sharp Corp Image processing apparatus
JP2006101296A (en) * 2004-09-30 2006-04-13 Nec Personal Products Co Ltd Video data correcting device and method, video output device and method, reproducing device and method, program, and recording medium
JP2006186787A (en) * 2004-12-28 2006-07-13 Fujitsu Ten Ltd Digital data receiver
JP2008046346A (en) * 2006-08-15 2008-02-28 Sony Corp Electric power consumption reduction apparatus, display device, image processor, electric power consumption reduction method, and computer program
JP2011228975A (en) * 2010-04-21 2011-11-10 Nikon Systems Inc Video noise detection device

Also Published As

Publication number Publication date
JP7033797B2 (en) 2022-03-11
CN110870305A (en) 2020-03-06
WO2019008635A1 (en) 2019-01-10
CN110870305B (en) 2021-06-15

Similar Documents

Publication Publication Date Title
US8516523B2 (en) Method and apparatus for generation of a preferred broadcasted programs list
US9438860B2 (en) Method and system for filtering advertisements in a media stream
US8631437B2 (en) Automatically generated TV favorites list
US20190149876A1 (en) Dynamic advertisement insertion
US7730420B1 (en) Systems and methods for creating a playlist
JP7048825B2 (en) Monitoring loudness levels during media replacement events with shorter time constants
US11750886B2 (en) Providing related episode content
US20140255004A1 (en) Automatically determining and tagging intent of skipped streaming and media content for collaborative reuse
US9621929B1 (en) Method of video content selection and display
KR20050059143A (en) Method of content identification, device, and software
KR20080097900A (en) A method and system for presenting television program guide information based on viewer usage patterns
JP6340596B2 (en) Video receiving apparatus, video recognition method, and additional information display system
US20170024998A1 (en) Setting method and apparatus for surveillance system, and computer-readable recording medium
JP6388894B2 (en) System and method for compressed display of long video sequences
JP7033797B2 (en) How to adjust the video monitoring device and the video monitoring device
US20080077959A1 (en) Broadcast Receiving Apparatus and Broadcast Receiving Method
US20100054702A1 (en) Information processing device, information processing method, and program
US11172257B2 (en) Managing audio and video content blocking
JP2004297605A (en) Content selection viewing and listening instrument, content selecting viewing and listening method, and content selecting viewing and listening program
US20200204792A1 (en) Method for carrying out a health check of cameras and a camera system
CN113313511A (en) Video traffic prediction method, device, electronic equipment and medium
JP4684966B2 (en) Image display device
JP6595245B2 (en) Monitoring system, information providing method, and computer program
EP1427224A2 (en) Analysis of digital signals
JP2017034514A (en) Program analyzing device and program analyzing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7033797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150