JP7033797B2 - How to adjust the video monitoring device and the video monitoring device - Google Patents

How to adjust the video monitoring device and the video monitoring device Download PDF

Info

Publication number
JP7033797B2
JP7033797B2 JP2019528202A JP2019528202A JP7033797B2 JP 7033797 B2 JP7033797 B2 JP 7033797B2 JP 2019528202 A JP2019528202 A JP 2019528202A JP 2019528202 A JP2019528202 A JP 2019528202A JP 7033797 B2 JP7033797 B2 JP 7033797B2
Authority
JP
Japan
Prior art keywords
video
error
alarm
event
issued
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528202A
Other languages
Japanese (ja)
Other versions
JPWO2019008635A1 (en
Inventor
高宏 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
K Will Corp
Original Assignee
K Will Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by K Will Corp filed Critical K Will Corp
Publication of JPWO2019008635A1 publication Critical patent/JPWO2019008635A1/en
Application granted granted Critical
Publication of JP7033797B2 publication Critical patent/JP7033797B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Description

本発明は、デジタル映像信号に含まれた映像や音声のエラーを機械的に検出できる映像監視装置の調整方法及び映像監視装置に関する。 The present invention relates to an adjustment method of a video monitoring device capable of mechanically detecting an error in video or audio contained in a digital video signal, and a video monitoring device.

旧来のアナログテレビ放送時代には、その映像や音声の品質は、監視者が実際に映像や音声を視聴(監視)してエラーの検出を実行していた。これに対し、デジタルテレビ放送に移行した現代においては、映像信号の処理が容易になり機械的に映像や音声を監視する環境が整いつつあり、一部では既に機械監視が行われている。その一方で、機械監視はエラー検出の正確性において未だ人間の監視に劣ることが多いという評価もあり、旧来の監視者による監視も並行して行われているという実情がある。 In the old analog television broadcasting era, the quality of the video and audio was such that the observer actually watched (monitored) the video and audio to detect the error. On the other hand, in the present age when digital television broadcasting has been shifted, the processing of video signals has become easier and the environment for mechanically monitoring video and audio is being prepared, and some of them have already been mechanically monitored. On the other hand, there is an evaluation that machine monitoring is still inferior to human monitoring in the accuracy of error detection, and there is a fact that monitoring by conventional observers is also performed in parallel.

しかるに、今後はデジタル映像を送信する地上波の事業に加えて、コンテンツのネット配信事業や、IPTV(Internet Protocol Tele Vision)事業などの映像配信サービスが拡大すると予測されるところ、それに伴って配信されるコンテンツの数も劇的に増大することから、全てのコンテンツに対して監視者による監視を行うことは事実上困難になると考えられている。よって、機械監視におけるエラー検出の正確性を人間並みに向上させることは、全ての映像配信サービスにおいて喫緊の課題ともいえる。 However, in the future, in addition to the terrestrial business that transmits digital video, it is expected that video distribution services such as content online distribution business and IPTV (Internet Protocol Tele Vision) business will expand, and it will be distributed accordingly. Since the number of contents will increase dramatically, it is considered that it will be practically difficult for the observer to monitor all the contents. Therefore, improving the accuracy of error detection in machine monitoring to the same level as humans is an urgent issue for all video distribution services.

特許文献1には、デジタル映像信号において種々の原因により発生するノイズに起因した映像のエラーや、デジタル音声信号において種々の原因により発生するノイズに起因した音声のエラーを検出する音声検査方法が開示されている。 Patent Document 1 discloses an audio inspection method for detecting an image error caused by noise generated by various causes in a digital video signal and an audio error caused by noise generated by various causes in a digital audio signal. Has been done.

国際公開2015/059782号公報International Publication 2015/059782

特許文献1によれば、連続するデジタル音声信号を5msec以下で区切ってサンプリングし、サンプリングした信号から高周波成分を抽出して、抽出された高周波成分に基づく値を閾値と比較することで、音声に生じたエラーを機械的に検出することができる。 According to Patent Document 1, a continuous digital audio signal is sampled by dividing it into 5 msec or less, a high frequency component is extracted from the sampled signal, and a value based on the extracted high frequency component is compared with a threshold value to obtain audio. The error that has occurred can be detected mechanically.

しかるに、特許文献1のような技術では、音声信号の特性値(パラメータ)を閾値と比較することによってエラー検出が行われているが、その閾値をどのように設定すべきかという課題がある。すなわち、閾値を厳しめに設定すると、頻繁にエラー検出がなされる一方で、検出されたエラーの多くが視聴者にとって無視できる程度のものであったときは検出が無駄になる恐れがある。一方、閾値を緩く設定すると、エラー検出の頻度は下がるが、視聴者にとって無視できないエラーが見逃されてしまう恐れがある。これが、機械監視が人間の監視に劣る理由の1つとされる。特にパラメータが複数あって相互に関連している場合など、1つのパラメータを変更すると他のパラメータに影響が及ぶため、2つ以上のパラメータを同時に変更しなくてはならず、適切な閾値の設定は非常に困難である。 However, in a technique such as Patent Document 1, error detection is performed by comparing a characteristic value (parameter) of an audio signal with a threshold value, but there is a problem of how to set the threshold value. That is, if the threshold value is set tightly, error detection is frequently performed, but if many of the detected errors are negligible to the viewer, the detection may be wasted. On the other hand, if the threshold value is set loosely, the frequency of error detection decreases, but there is a risk that an error that cannot be ignored by the viewer will be overlooked. This is one of the reasons why machine monitoring is inferior to human monitoring. Changing one parameter affects the other parameters, especially when there are multiple parameters that are related to each other, so two or more parameters must be changed at the same time, and an appropriate threshold is set. Is very difficult.

本発明の目的の1つは、デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供することにある。 One of an object of the present invention is to provide a method for adjusting a video monitoring device that appropriately detects a video and / or an error generated according to a content in a digital video signal.

又、本発明の別の目的は、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供することにある。 Another object of the present invention is to provide a video monitoring device that appropriately detects video and / or errors in digital video signals through learning.

第1の本発明の映像監視装置の調整方法は、監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置の調整方法において、
前記映像監視装置は、前記監視項目毎のパラメータの全てが、前記監視項目に応じて決定された閾値を超えたときに、前記エラーが発生したと判定するようになっており、前記監視項目毎のパラメータのうち少なくとも2つが、相互に関連し合っていて、
前記監視項目毎のパラメータの閾値をそれぞれ決定して閾値群を複数組作成し、メモリに記憶し、
監視対象である映像及び/又は音声のコンテンツに応じて、前記メモリに記憶された前記閾値群のいずれかの組を選定することを特徴とする。
The first method for adjusting the video monitoring device of the present invention is a video monitoring device for detecting that an error has occurred in a monitoring item by inputting a video signal corresponding to the video and / or audio to be monitored. In the adjustment method
The video monitoring device is adapted to determine that the error has occurred when all of the parameters for each monitoring item exceed the threshold values determined according to the monitoring item, and for each monitoring item . At least two of the parameters of are interrelated,
Determine the threshold values of the parameters for each monitoring item , create a plurality of sets of threshold values, store them in the memory, and store them in the memory.
It is characterized in that any set of the threshold group stored in the memory is selected according to the video and / or audio content to be monitored.

本発明者は鋭意研究の結果、前記閾値群の適正値が、監視対象である映像及び/又は音声のコンテンツの内容(「映画」、「ドラマ」、「バラエティ」、「スポーツ」、「ドキュメンタリー」、「エンターテインメント」、「アニメ」等)に応じて偏在することを発見した。かかる発見に基づいて、本発明を導出したのである。すなわち、前記複数のパラメータの閾値をそれぞれ決定して前記閾値群を複数組作成し、メモリに記憶しておけば、監視対象である映像及び/又は音声のコンテンツに応じて前記メモリに記憶された前記閾値群のいずれかの組を選定することで、単一の閾値群を用いる場合に比べ、より監視に適正な閾値群を設定できるから、前記映像監視装置におけるエラーの誤検出を効果的に防止することができるのである。 As a result of diligent research, the present inventor has determined that the appropriate value of the threshold group is the content of the video and / or audio content to be monitored ("movie", "drama", "variety", "sports", "documentary"". , "Entertainment", "Anime", etc.). Based on this discovery, the present invention was derived. That is, if the threshold values of the plurality of parameters are determined, a plurality of sets of the threshold values are created, and stored in the memory, the threshold values are stored in the memory according to the video and / or audio contents to be monitored. By selecting any set of the threshold group, it is possible to set a threshold group more appropriate for monitoring as compared with the case of using a single threshold group, so that false detection of an error in the video monitoring device is effective. It can be prevented.

更に、前記映像監視装置は、エラーを検出したときにアラームを発報するようになっており、
映像及び/又は音声の監視動作と並行した学習において、監視対象である映像及び/又は音声に対応する映像信号を入力させて、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数とをそれぞれカウントし、
更に、エラーの内容と発生箇所が既知である検査用の映像信号を前記映像監視装置に入力させて、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、
得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新すると好ましい。
Further, the video monitoring device is designed to issue an alarm when an error is detected.
In the learning parallel to the video and / or audio monitoring operation, the above-mentioned error in which an alarm should be issued at regular time intervals by inputting a video signal corresponding to the video and / or audio to be monitored. The number of the first event in which the alarm was issued and the number of the second event in which the alarm was issued for the error for which the alarm should not be issued are counted, respectively.
Further, the number of third events in which the alarm is not issued for the error in which the alarm should be issued by inputting the video signal for inspection whose content and location of the error are known to the video monitoring device. Count and
An evaluation value is obtained by weighting the obtained number of the first event, the number of the second event, and the number of the third event, and the threshold group is based on the obtained evaluation value. It is preferable to update.

前記学習において、前記閾値群の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすると好ましい。 In the learning, it is preferable to count the number of the first event, the number of the second event, and the number of the third event while individually changing the threshold value of the threshold group.

第2の本発明の映像監視装置は、監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置において、
前記監視項目毎のパラメータのうち少なくとも2つが相互に関連し合ってなるパラメータの閾値を記憶する閾値記憶部と、
前記監視項目毎のパラメータの全てが、前記監視項目に応じて決定された前記閾値を超えたときに、前記エラーが発生したと判定し、アラームを発報する判定部と、
映像及び/又は音声の監視動作と並行して学習を行う学習部と、
前記学習部における学習結果に基づいて前記閾値を更新する更新部と、
前記判定部が前記エラーの発生を検出したときは、前記エラーの発生前後の映像信号を記憶する映像記憶部と、を有し、
前記エラーの発報結果を解析することにより、前記学習部が学習し、
前記学習部は、監視対象である映像及び/又は音声に対応する映像信号を入力したときに、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をカウントし、更に、エラーの内容と発生箇所が既知である検査用の映像信号を入力したときに、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新することを特徴とする。
The second video monitoring device of the present invention is a video monitoring device that detects that an error has occurred in a monitoring item by inputting a video signal corresponding to the video and / or audio to be monitored.
A threshold storage unit that stores a threshold value of a parameter in which at least two of the parameters for each monitoring item are related to each other, and a threshold storage unit.
A determination unit that determines that an error has occurred and issues an alarm when all of the parameters for each monitoring item exceed the threshold value determined according to the monitoring item.
A learning unit that learns in parallel with video and / or audio monitoring operations,
An update unit that updates the threshold value based on the learning result in the learning unit, and an update unit.
When the determination unit detects the occurrence of the error, it has a video storage unit that stores video signals before and after the error occurs.
By analyzing the alarm result of the error, the learning unit learns and
When the learning unit inputs a video signal corresponding to the video and / or audio to be monitored, the alarm is issued for an error for which an alarm should be issued at regular time intervals. The number of events and the number of second events for which the alarm was issued for an error for which the alarm should not be issued are counted, and a video signal for inspection in which the content and location of the error are known is displayed. When input, the number of the third event in which the alarm was not issued is counted for the error for which the alarm should be issued, and the number of the obtained first event and the number of the second event are counted. The evaluation value is obtained by weighting the number of the third event and the calculation, and the threshold group is updated based on the obtained evaluation value .

本発明によれば、前記エラーの発報結果を解析し、例えば「正解アラーム」、「不要アラーム、「すり抜け」などに分類することにより、前記学習部が学習を行って、前記閾値をより適正な値に更新できるので、エラー検出の精度が高まる。 According to the present invention, by analyzing the alarm result of the error and classifying it into, for example, "correct answer alarm", "unnecessary alarm", "passing through", etc., the learning unit learns and the threshold value is more appropriate. Since it can be updated to a value that is high, the accuracy of error detection is improved.

更に、前記学習部は、前記監視項目の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすると好ましい。 Further, it is preferable that the learning unit counts the number of the first event, the number of the second event, and the number of the third event while individually changing the threshold value of the monitoring item.

更に、前記学習部は、M個の映像信号のうちm番目の映像信号に対して、時刻t1~t2の間に、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数をT(m)とし、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をF(m)とし、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をH(m)としたときに、以下の評価関数に従って評価値A(m)を求めると好ましい。

Figure 0007033797000001
但し、
Wt(m)は前記第1事象の重み付け
Wf(m)は前記第2事象の重み付け
Wh(m)は前記第3事象の重み付けFurther, the learning unit is the first in which the alarm is issued for an error for which an alarm should be issued between the times t1 and t2 for the mth video signal among the M video signals. The number of events is T (m), the number of second events for which the alarm is issued is F (m) for an error for which an alarm should not be issued, and the alarm should be issued for an error. When the number of the third event in which the alarm is not issued is H (m), it is preferable to obtain the evaluation value A (m) according to the following evaluation function.
Figure 0007033797000001
However,
Wt (m) is the weighting of the first event Wf (m) is the weighting of the second event Wh (m) is the weighting of the third event.

更に、前記映像記憶部は、入力された映像信号を、所定のタイミングで所定の長さで切り出して記憶すると好ましい。 Further, it is preferable that the video storage unit cuts out and stores the input video signal at a predetermined timing and at a predetermined length.

更に、前記学習部の学習結果を表示すると共に、前記エラーの発生前後の映像信号に基づいて映像及び/又は音声を再生する表示部を有すると好ましい。 Further, it is preferable to have a display unit that displays the learning result of the learning unit and reproduces video and / or audio based on the video signals before and after the occurrence of the error.

本明細書中、「音声」とは、人間や動物の声の他、音も含む。「映像信号」とは、映像信号及び音声信号のいずれか一方の場合を含む。「コンテンツ」とは、映像の内容のことである。具体的には、コンテンツの大分類として、「映画」、「ドラマ」、「バラエティ」、「スポーツ」、「ドキュメンタリー」、「エンターテインメント」、「アニメ」などがある。一方、コンテンツの小分類としては、「スポーツ」を例にとれば、「野球」、「サッカー」、「バレーボール」、「柔道」、「相撲」、「陸上競技」などがある。「学習」は、リアルタイムで流れる映像及び/又は音声を監視者が視聴した監視結果を、同じ映像及び/又は音声に対応する映像信号を映像監視装置で監視した結果と対応付け、それを閾値にフィードバックすることを含む。「相互に関連する」とは、一方のパラメータを調整すると、他方のパラメータに影響が及ぶことをいう。「閾値を超える」とは、閾値を上回ること、及び閾値を下回ることの双方の場合を含む。 In the present specification, "voice" includes not only human and animal voices but also sounds. The "video signal" includes the case of either a video signal or an audio signal. "Content" is the content of the video. Specifically, there are major categories of content such as "movie", "drama", "variety", "sports", "documentary", "entertainment", and "animation". On the other hand, as a sub-category of contents, taking "sports" as an example, there are "baseball", "soccer", "volleyball", "judo", "sumo", "athletics" and the like. "Learning" associates the monitoring result of the viewer watching the video and / or audio flowing in real time with the result of monitoring the video signal corresponding to the same video and / or audio with the video monitoring device, and uses it as a threshold value. Includes feedback. "Interrelated" means that adjusting one parameter affects the other. "Exceeding a threshold" includes both cases of exceeding the threshold and falling below the threshold.

本発明によれば、デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供することができる。又、本発明によれば、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a method for adjusting a video monitoring device that appropriately detects a video and / or an error generated according to a content in a digital video signal. Further, according to the present invention, it is possible to provide a video monitoring device that appropriately detects a video and / or an error through learning in a digital video signal.

映像監視装置100を示すブロック図である。It is a block diagram which shows the image monitoring apparatus 100. 表示部107に表示される映像・音声監視部103における検査項目の例を示す図である。It is a figure which shows the example of the inspection item in the video / audio monitoring unit 103 displayed on the display unit 107. 表示部107に表示されるアラーム情報の例を示す図である。It is a figure which shows the example of the alarm information displayed on the display part 107. 表示部107に表示される監視項目毎のパラメータの例を示す図である。It is a figure which shows the example of the parameter for each monitoring item displayed on the display part 107. 同じ閾値を用いてエラー検出を行った際に発生した正解アラーム、不要アラーム、すり抜けを、監視項目とコンテンツ毎にまとめた例を示す図である。It is a figure which shows the example which summarized the correct answer alarm, unnecessary alarm, and slip-through which occurred when error detection was performed using the same threshold value for each monitoring item and content. あるコンテンツに関する検査項目フリーズにおいて、このような更新を複数回行った際の閾値の複数群の例((a)更新前、(b)更新後)のリストを示す図である。It is a figure which shows the list of the example ((a) before update, (b) after update) of a plurality of groups of threshold values when such an update is performed a plurality of times in the inspection item freeze concerning a certain content.

本実施の形態にかかる映像監視装置及びその調整方法を、図面を参照して説明する。図1は、映像監視装置100を示すブロック図である。図1において、映像監視装置100は、監視対象となる映像及び/又は音声に対応する映像信号(以下、検査対象映像信号という)を入力する主入力部101と、検査用の映像信号を入力する副入力部102と、閾値を記憶するメモリを内蔵する映像・音声監視部(判定部)103と、映像・音声クリップ蓄積部(映像記憶部)104と、アラーム出力部105と、内蔵メモリ(閾値記憶部)106aを含むパラメータ最適化用学習部(学習部兼更新部)106と、監視者MNが表示された情報を視認可能なディスプレイ等の表示部107と、監視者MNが情報を入力可能なキーボード等の監視者入力部108とを有している。 The image monitoring device and the adjustment method thereof according to the present embodiment will be described with reference to the drawings. FIG. 1 is a block diagram showing a video monitoring device 100. In FIG. 1, the video monitoring device 100 inputs a video signal for inspection and a main input unit 101 for inputting a video signal corresponding to video and / or audio to be monitored (hereinafter referred to as an inspection target video signal). A sub-input unit 102, a video / audio monitoring unit (determination unit) 103 having a built-in memory for storing a threshold, a video / audio clip storage unit (video storage unit) 104, an alarm output unit 105, and a built-in memory (threshold). A learning unit (learning unit / updating unit) 106 for parameter optimization including a storage unit) 106a, a display unit 107 such as a display capable of visually recognizing the information displayed by the observer MN, and an observer MN can input information. It has a monitor input unit 108 such as a keyboard.

映像監視装置100の監視動作について説明する。図2は、表示部107に表示される映像・音声監視部103における検査項目の例を示す図である。監視対象となる映像信号は、SDI信号、ファイル、IP形式、HDMI(登録商標)等全てのフォーマットの映像信号を対象とする。監視者MNは、表示部107に表示された監視項目を見ながら、監視者入力部108を介して、監視項目それぞれに対応するボックス内を変化させ、監視項目毎に「検査」又は「オフ」のいずれかを選択することができる。監視者が「検査」を選択した検査項目は、映像監視装置100が監視することになるが、「オフ」を選択した検査項目は監視されない。 The monitoring operation of the video monitoring device 100 will be described. FIG. 2 is a diagram showing an example of inspection items in the video / audio monitoring unit 103 displayed on the display unit 107. The video signals to be monitored include video signals in all formats such as SDI signals, files, IP formats, and HDMI (registered trademark). While looking at the monitoring items displayed on the display unit 107, the observer MN changes the inside of the box corresponding to each monitoring item via the observer input unit 108, and “inspects” or “off” for each monitoring item. You can choose either. The inspection item for which the observer has selected "inspection" will be monitored by the video monitoring device 100, but the inspection item for which "off" has been selected will not be monitored.

映像に関する監視項目としては、「フリーズ」、「ブラックアウト」、「遮断フリーズ」、「遮断ブラックアウト」、「ブロックノイズ」、「赤色点滅」、「輝度点滅」、「場面転換」、「映像反転」、「ラインノイズ」、「カット点異常」、「タイムコード不連続」がある。一方、音声に関する監視項目としては、「ミュート」、「遮断ミュート」、「プツ音(Audio Pop Noise)」、「音飛び」、「音声ノイズ」、「ラウドネス」、「トゥルーピーク」がある。尚、検査項目がこれらに限られることはない。 Monitoring items related to video include "freeze", "blackout", "block freeze", "block blackout", "block noise", "blinking red", "blinking brightness", "scene change", and "video inversion". , "Line noise", "Abnormal cut point", "Time code discontinuity". On the other hand, the monitoring items related to voice include "mute", "cutoff mute", "audio pop noise", "skipping", "voice noise", "loudness", and "true peak". The inspection items are not limited to these.

監視動作の前提として、映像・音声監視部103には、監視項目毎に複数の閾値(閾値群という、詳細は後述)が設定されているものとする。図1を参照して、映像監視装置100は、主入力部101から検査対象映像信号を入力すると、入力された検査対象映像信号は、画像フレーム、画素データ、音声サンプリングデータが抽出されて、映像・音声監視部103に送信され、ここで監視アルゴリズムに適用できる各種感度調整や継続時間等に対応したパラメータを算出する。 As a premise of the monitoring operation, it is assumed that a plurality of threshold values (threshold values, details described later) are set in the video / audio monitoring unit 103 for each monitoring item. With reference to FIG. 1, when the video monitoring device 100 inputs an inspection target video signal from the main input unit 101, an image frame, pixel data, and audio sampling data are extracted from the input inspection target video signal, and the video is obtained. -It is transmitted to the voice monitoring unit 103, and parameters corresponding to various sensitivity adjustments, durations, etc. that can be applied to the monitoring algorithm are calculated here.

映像・音声監視部103は、監視アルゴリズムに従って、求めた複数のパラメータを監視項目に対応する閾値と比較し、全てのパラメータが閾値を超えた場合には監視項目に対応するエラーを検出したものと判定して、当該監視項目と対応づけたアラーム信号をアラーム出力部105に出力する。アラーム出力部105は、入力したアラーム信号に応じて、エラー発生時刻と、検出したエラーの内容と、その深刻度とを含むアラーム情報を表示部107に入力するので、表示部107はアラーム情報を表示し、それを監視者MNが視認することができる。又、映像・音声監視部103は、パラメータが閾値を超えた前後の映像信号を切り出して、映像・音声クリップ蓄積部104に記憶するようになっている。 The video / audio monitoring unit 103 compares a plurality of obtained parameters with the threshold values corresponding to the monitoring items according to the monitoring algorithm, and detects an error corresponding to the monitoring item when all the parameters exceed the threshold values. The determination is made, and the alarm signal associated with the monitoring item is output to the alarm output unit 105. Since the alarm output unit 105 inputs alarm information including the error occurrence time, the content of the detected error, and the severity thereof to the display unit 107 according to the input alarm signal, the display unit 107 inputs the alarm information. It can be displayed and visually recognized by the observer MN. Further, the video / audio monitoring unit 103 cuts out the video signals before and after the parameter exceeds the threshold value and stores them in the video / audio clip storage unit 104.

図3は、表示部107に表示されるアラーム情報の例を示す図である。図3において、画面下段には検出されたエラー及び内容が時系列で表示されると共に、画面上段にはエラーが映像又は音声であることを示す「カテゴリー」、エラーのレベルが普通又は重篤を示す「クラス」、エラーの種別を示す「検査項目」、及びエラーの「発生回数」がまとめて表示される。監視者MNが、監視者入力部108を介して、いずれかのエラーを選択すると、それに応じて映像・音声クリップ蓄積部104から、対応するエラー前後の映像信号が読み出され、表示部107に入力される。これによりエラー前後における映像及び/又は音声が表示部107から出力されるので、監視者MNはエラーの内容を実際に視認でき、或いは聴取することができる。 FIG. 3 is a diagram showing an example of alarm information displayed on the display unit 107. In FIG. 3, the detected errors and contents are displayed in chronological order in the lower part of the screen, and the upper part of the screen shows the "category" indicating that the error is video or audio, and the error level is normal or serious. The "class" to indicate, the "inspection item" to indicate the type of error, and the "number of occurrences" of the error are collectively displayed. When the observer MN selects one of the errors via the observer input unit 108, the video / audio clip storage unit 104 reads out the video signals before and after the corresponding error and displays them on the display unit 107. Entered. As a result, the video and / or audio before and after the error is output from the display unit 107, so that the observer MN can actually see or hear the content of the error.

ところで、表示部107に表示された検出エラーの内容と、実際の映像及び/又は音声を監視者MNが見比べることで、アラームを発報すべきエラーに対してアラームが発報された場合(正解アラームという)と、アラームを発報すべきでないエラーに対してアラームが発報された場合(不要アラームという)と、アラームを発報すべきエラーに対してアラームが発報されなかった場合(すり抜けという)とをそれぞれ認識できる。本来的には、映像監視装置100がエラー検出時に発報するアラームが全て正解アラームであることが理想であるが、実際には不要アラームやすり抜けが生じてしまう。これは、映像・音声監視部103の機械監視によるエラー検出基準が、監視者MNの監視によるエラー検出基準と厳密に一致しないことから生じるものである。よって、機械監視によるエラー検出を人間の監視によるエラー検出に近づけない限り、映像監視装置100単独での監視が困難となる。 By the way, when the monitor MN compares the content of the detection error displayed on the display unit 107 with the actual video and / or audio, and the alarm is issued for the error to be issued (correct answer). When an alarm is issued for an error that should not be issued (called an alarm), and when an alarm is not issued for an error that should be issued (pass through). ) And can be recognized respectively. Ideally, all the alarms issued by the video monitoring device 100 when an error is detected are correct alarms, but in reality, unnecessary alarms and omissions occur. This is because the error detection standard by the machine monitoring of the video / audio monitoring unit 103 does not exactly match the error detection standard by the monitoring of the observer MN. Therefore, unless the error detection by machine monitoring is close to the error detection by human monitoring, it is difficult to monitor the image monitoring device 100 alone.

そこで、映像・音声監視部103の機械監視によるエラー検出基準を、監視者MNの監視によるエラー検出基準に近づけるために、監視項目毎に設定されたパラメータの閾値を変えることとする。これを閾値のチューニングという。ここで、監視項目がm個あったとき、そのパラメータの個数をI(m)とすると、チューニングすべき閾値の数は、1・I(1)+2・I(2)+・・・+m・I(m)となって、監視項目が増えるにつれて増大することがわかる。 Therefore, in order to bring the error detection standard by the machine monitoring of the video / audio monitoring unit 103 closer to the error detection standard by the monitoring of the monitor MN, the threshold value of the parameter set for each monitoring item is changed. This is called threshold tuning. Here, when there are m monitoring items and the number of the parameters is I (m), the number of threshold values to be tuned is 1 · I (1) + 2 · I (2) + ... + m ·. It becomes I (m), and it can be seen that it increases as the number of monitoring items increases.

図4は、表示部107に表示される監視項目毎のパラメータの例を示す図である。監視者MNは、表示部107に表示されたパラメータを見ながら、監視者入力部108を介して、パラメータに対応するボックス内に、パラメータ毎に任意の数値を入力することができるようになっている。 FIG. 4 is a diagram showing an example of parameters for each monitoring item displayed on the display unit 107. The observer MN can input an arbitrary value for each parameter in the box corresponding to the parameter via the observer input unit 108 while looking at the parameter displayed on the display unit 107. There is.

一例を挙げると、検査項目「フリーズ」に対応して、パラメータとして「感度閾値(アクティビティ)」、「感度閾値(ノイズ)」、「時間閾値(開始)」、「時間閾値(終了)」の4つがある。「グラフスケール」は表示用のグラフの縮尺を表すもので、ここではパラメータではない。つまり、エラーとしての映像フリーズを検出する為には、4つのパラメータの閾値(閾値群)を各々適切に設定しなければならない。しかるに、「感度閾値(アクティビティ)」と「感度閾値(ノイズ)」とは、パラメータとして映像1フレームに含まれる小ブロックごとに分散をとった値の上限値及び下限値であり、相互に関連し合っているといえる。このようなパラメータは、国際公開第2015-059782号に詳細が開示されている。又、「時間閾値(開始)」と「時間閾値(終了)」は、映像がフレーズしたと判断する期間の長さを示したものであり、相互に関係し合っている。よって、いずれか一方の閾値を調整した場合、他方の閾値も併せて変更しなければ、適切にフリーズを検出できないこととなる。 As an example, there are four parameters, "sensitivity threshold (activity)", "sensitivity threshold (noise)", "time threshold (start)", and "time threshold (end)", corresponding to the inspection item "freeze". There is one. The "graph scale" represents the scale of the graph for display and is not a parameter here. That is, in order to detect the video freeze as an error, the threshold values (threshold value group) of the four parameters must be set appropriately. However, the "sensitivity threshold value (activity)" and the "sensitivity threshold value (noise)" are the upper limit value and the lower limit value of the values dispersed for each small block included in one frame of the video as parameters, and are related to each other. It can be said that it matches. Such parameters are disclosed in detail in WO 2015-059782. Further, the "time threshold value (start)" and the "time threshold value (end)" indicate the length of the period in which the video is determined to be a phrase, and are related to each other. Therefore, when one of the thresholds is adjusted, the freeze cannot be detected properly unless the other threshold is also changed.

ここで、全ての検査項目に対して適切な閾値を入力しないと、エラー検出時の不要アラームやすり抜けを招いてしまうが、図4に示すように検査項目の数が多い場合、全ての検査項目に対して適正な閾値を決定することは困難である。そこで、デフォルトの閾値(初期値)を予め決定しておくことが望ましい。このようなデフォルトの閾値は、例えば映像・音声監視部103の内蔵メモリに記憶して用いることができる。しかるに、本発明者の検討結果によれば、全てのコンテンツに対して同じ閾値を用いた場合において、あるコンテンツでは不要アラームやすり抜けが低減されるが、別なコンテンツでは不要アラームやすり抜けが生じることが分かった。 Here, if appropriate threshold values are not input for all inspection items, unnecessary alarms and omissions will occur when an error is detected. However, if the number of inspection items is large as shown in FIG. 4, all inspection items It is difficult to determine an appropriate threshold value for. Therefore, it is desirable to determine the default threshold value (initial value) in advance. Such a default threshold value can be stored and used in, for example, the built-in memory of the video / audio monitoring unit 103. However, according to the results of the study by the present inventor, when the same threshold value is used for all contents, unnecessary alarms and omissions are reduced in some contents, but unnecessary alarms and omissions occur in other contents. I understood.

図5は、同じ閾値を用いてエラー検出を行った際に発生した正解アラーム、不要アラーム、すり抜けを、監視項目とコンテンツ毎にまとめた例を示す図である。図5の例から、コンテンツ毎に正解アラーム、不要アラーム、すり抜けの発生頻度が異なることがわかる。この検討結果に基づいて、本発明者は、コンテンツの内容に応じてデフォルトの閾値を決定すればよいことを見出したのである。このようなデフォルトの閾値は、シミュレーションや積み重ねられた経験から求めることができる。 FIG. 5 is a diagram showing an example in which correct alarms, unnecessary alarms, and slip-throughs that occur when an error is detected using the same threshold value are summarized for each monitoring item and content. From the example of FIG. 5, it can be seen that the frequency of occurrence of correct alarms, unnecessary alarms, and slip-throughs differs depending on the content. Based on the results of this study, the present inventor has found that the default threshold value may be determined according to the content of the content. Such default thresholds can be determined from simulations and accumulated experience.

一方、コンテンツの内容に応じてデフォルトの閾値を決定すれば、ある程度不要アラームやすり抜けを減らせる可能性はあるが、常に最適とは限らない。コンテンツの内容が同じだとしても、受信状態等によっては、不要アラームやすり抜けの頻度が変化することがある。そこで、監視動作と並行して、現在入力している映像信号に関して映像監視装置100に学習させることで、デフォルトの閾値が適切か否かを判断し、適切でなければ更に更新することが好ましいといえる。これにより、正解アラームを増大させて、不要アラームやすり抜けの頻度を低下させることができる。更新された閾値は、新たに当該コンテンツのデフォルトの閾値とすることができる。 On the other hand, if the default threshold value is determined according to the content, there is a possibility that unnecessary alarms and skipping can be reduced to some extent, but it is not always optimal. Even if the content is the same, the frequency of unnecessary alarms and passing through may change depending on the reception status and the like. Therefore, it is preferable to let the video monitoring device 100 learn about the currently input video signal in parallel with the monitoring operation to determine whether the default threshold value is appropriate and to update it further if it is not appropriate. I can say. This makes it possible to increase the number of correct alarms and reduce the frequency of unnecessary alarms and passing through. The updated threshold value can be newly set as the default threshold value of the content.

(学習態様)
以下、映像監視装置100の学習機能について説明する。以下の学習例では、デフォルトの閾値に対して、変更すべき閾値候補がある場合について、いずれが優れているか判定できる。図1の映像監視装置100において、映像及び/又は音声の監視動作を実際に行っている間に、監視者MNが監視者入力部108から所定の学習期間を設定する。すると、映像監視装置100は、この学習期間の間、学習を行うことができる。
(Learning mode)
Hereinafter, the learning function of the video monitoring device 100 will be described. In the following learning example, it can be determined which is superior to the default threshold value when there is a threshold value candidate to be changed. In the image monitoring device 100 of FIG. 1, the observer MN sets a predetermined learning period from the observer input unit 108 while actually performing the video and / or audio monitoring operation. Then, the video monitoring device 100 can perform learning during this learning period.

具体的には、同一種のコンテンツでM個の映像信号において、1つの監視項目についてデフォルトの閾値を用いて監視動作を行う。まず学習期間(時刻t1~t2、例えば時間、日、週間、月などの時間単位で良い)の間、映像監視装置100が検出したエラーが、図3に示すように表示部107に表示される。図3のように表示されたエラーには、不適切なものも含まれている可能性があるため、学習のためにはエラーの適否のチェックを行う必要がある。 Specifically, in M video signals of the same type of content, a monitoring operation is performed using a default threshold value for one monitoring item. First, during the learning period (time t1 to t2, for example, time units such as time, day, week, month, etc.), the error detected by the video monitoring device 100 is displayed on the display unit 107 as shown in FIG. .. Since the errors displayed as shown in FIG. 3 may include inappropriate ones, it is necessary to check the suitability of the errors for learning.

ここで、監視者MNは、図3に表示されたエラーのいずれかをワンクリックで指定することにより、映像・音声クリップ蓄積部104に記憶された当該エラー前後の映像信号を読み出して、対応する映像及び/又は音声を表示部107で視聴することができる。その結果、監視者MNは、時刻t1~t2の間に生じた正解アラームの件数と不要アラームの件数とをカウントすることが出来る。映像・音声クリップ蓄積部104に記憶された各エラー前後の映像信号は、長さが3秒程度であるから視聴に時間はかからず、このチェックは短時間で終了するため、監視者MNの負担が少ない。 Here, the observer MN reads out the video signals before and after the error stored in the video / audio clip storage unit 104 by designating any of the errors displayed in FIG. 3 with one click, and responds to the error. The video and / or audio can be viewed on the display unit 107. As a result, the observer MN can count the number of correct alarms and the number of unnecessary alarms that occurred between the times t1 and t2. The video signals before and after each error stored in the video / audio clip storage unit 104 are about 3 seconds in length, so it does not take long to watch, and this check is completed in a short time. The burden is small.

但し、上述のチェックでは、すり抜けの件数をカウントすることができない。そこで、予め準備しておいた、エラーの内容と発生箇所(時間)が既知である検査用の映像信号を、副入力部102を介して映像・音声監視部103に入力し、上述と同じ閾値を用いて映像・音声監視部103でエラーの検出を行う。これにより図3に示すものと同様なアラーム情報が得られたとき、監視者MNは、既知であるエラーの内容と発生箇所を照合することで、正解アラームの件数と、すり抜けの件数とを求めることができる。ここではすり抜けの件数を抽出して用いる。検査用の映像信号は、コンテンツ毎に数十分程度の視聴時間に相当する長さであるため、検査の手間がかからない。以上のようにしてM個の映像信号に対してそれぞれ求めた正解アラームの件数と、不要アラームの件数と、すり抜けの件数とを、監視者MNが監視者入力部108から、パラメータ最適化用学習部106に入力する。 However, the above-mentioned check cannot count the number of slip-through cases. Therefore, a video signal for inspection, which is prepared in advance and whose error content and occurrence location (time) are known, is input to the video / audio monitoring unit 103 via the sub-input unit 102, and has the same threshold value as described above. The video / audio monitoring unit 103 detects an error using the above. When the alarm information similar to that shown in FIG. 3 is obtained as a result, the observer MN obtains the number of correct alarms and the number of slip-throughs by collating the contents of known errors with the locations where they occur. be able to. Here, the number of slip-through cases is extracted and used. Since the video signal for inspection has a length corresponding to a viewing time of about several tens of minutes for each content, the inspection is not troublesome. The observer MN learns from the observer input unit 108 the number of correct alarms, the number of unnecessary alarms, and the number of slip-throughs obtained for each of the M video signals as described above for parameter optimization. Input to unit 106.

ここで、m番目の映像信号における正解アラーム(第1事象)の数をT(m)とし、不要アラーム(第2事象)の数をF(m)とし、すり抜け(第3事象)の数をH(m)とすると、パラメータ最適化用学習部106は、以下の評価関数に従って,評価値A(m)を求める。

Figure 0007033797000002
但し、
Wt(m)は正解アラームの重み付け
Wf(m)は不要アラームの重み付け
Wh(m)はすり抜けの重み付けHere, the number of correct alarms (first event) in the m-th video signal is T (m), the number of unnecessary alarms (second event) is F (m), and the number of slip-throughs (third event) is Assuming H (m), the parameter optimization learning unit 106 obtains the evaluation value A (m) according to the following evaluation function.
Figure 0007033797000002
However,
Wt (m) is correct alarm weighting Wf (m) is unnecessary alarm weighting Wh (m) is weighting for slip-through

エラー検出において、一般的に正解アラーム数は多い方が好ましく、不要アラーム数は少ない方が好ましく、更にすり抜けは極力なくすることが好ましい。よって、メモリ106aに記憶された重み付けとして、Wt(m)>0>Wf(m)>Wh(m)と設定することが好ましく、例えばWt(m)=+3とし、Wf(m)=-1とし、Wh(m)=-5とする。但し、重み付けは同一種のコンテンツでは固定するとよい。この評価関数によれば、得られた評価値A(m)が高いほどエラー検出が正確であり、その値が低いほどエラー検出が不正確となる。 In error detection, it is generally preferable that the number of correct alarms is large, the number of unnecessary alarms is small, and it is preferable to eliminate slip-through as much as possible. Therefore, it is preferable to set Wt (m)> 0> Wf (m)> Wh (m) as the weighting stored in the memory 106a. For example, Wt (m) = + 3 and Wf (m) = -1. And Wh (m) = -5. However, the weighting may be fixed for the same type of content. According to this evaluation function, the higher the obtained evaluation value A (m) is, the more accurate the error detection is, and the lower the value is, the more inaccurate the error detection is.

次いで、監視者MNが監視者入力部108を介して、デフォルトの閾値から、変更を希望する閾値へと置換を行って、同じコンテンツの映像信号を用いて、以上と同様な監視動作を実行して評価値を求める。デフォルトの閾値を用いた監視動作の評価値が、変更を希望する閾値を用いた監視動作の評価値以上であれば、パラメータ最適化用学習部106は、当該コンテンツにおいてはデフォルトの閾値を使い続けるものとして、記憶したデフォルトの閾値を変更しない。これに対し、デフォルトの閾値を用いた監視動作の評価値が、変更を希望する閾値を用いた監視動作の評価値より低ければ、パラメータ最適化用学習部106は、当該コンテンツにおいてはデフォルトの閾値の変更が必要と判断し、変更を希望する閾値と置換し、すなわち学習を行う。これにより、エラー検出の精度を一層高めることができる。 Next, the observer MN replaces the default threshold value with the threshold value desired to be changed via the observer input unit 108, and executes the same monitoring operation as described above using the video signal of the same content. To find the evaluation value. If the evaluation value of the monitoring operation using the default threshold value is equal to or higher than the evaluation value of the monitoring operation using the threshold value desired to be changed, the parameter optimization learning unit 106 continues to use the default threshold value in the content. As a matter of fact, it does not change the stored default threshold. On the other hand, if the evaluation value of the monitoring operation using the default threshold value is lower than the evaluation value of the monitoring operation using the threshold value desired to be changed, the parameter optimization learning unit 106 has the default threshold value in the content. Judging that it is necessary to change, replace it with the threshold value that you want to change, that is, perform learning. This makes it possible to further improve the accuracy of error detection.

図6は、あるコンテンツに関する検査項目:フリーズにおいて、このような更新を複数回行った際の閾値の複数群の例((a)更新前、(b)更新後)のリストを示す図である。図6に示す複数組の閾値群がリストアップされて、内蔵メモリ106aに記憶されており、必要に応じて表示部107に表示され、監視者MNが確認できるようになっている。 FIG. 6 is a diagram showing a list of examples ((a) before update, (b) after update) of a plurality of groups of threshold values when such an update is performed a plurality of times in an inspection item related to a certain content: freeze. .. A plurality of sets of threshold values shown in FIG. 6 are listed and stored in the built-in memory 106a, displayed on the display unit 107 as needed, and can be confirmed by the observer MN.

図6(a)の更新前リストによれば、現在、デフォルトの閾値群が優先順位1として最上位にリストアップされているが、その評価値A(m)は「85」である。一方、新たに第1候補として評価された閾値群の評価値A(m)は「92」であり、新たに第2候補として評価された閾値群の評価値A(m)は「81」であったとする。 According to the pre-update list of FIG. 6A, the default threshold group is currently listed at the highest priority as priority 1, but the evaluation value A (m) is “85”. On the other hand, the evaluation value A (m) of the threshold group newly evaluated as the first candidate is "92", and the evaluation value A (m) of the threshold group newly evaluated as the second candidate is "81". Suppose there was.

かかる場合、第1候補の閾値群の評価値A(m)-「92」は、今までのデフォルトの閾値群の評価値A(m)「85」よりも高いので、パラメータ最適化学習部106が、図6(b)に示すように、更新により優先順位1とすることで新たなデフォルトの閾値群として置き換え、監視のために映像・音声監視部103に送信する。これにより、今までのデフォルトの閾値群は、優先順位2に繰り下がることとなる。 In such a case, the evaluation value A (m)-"92" of the first candidate threshold group is higher than the evaluation value A (m) "85" of the default threshold group so far, so that the parameter optimization learning unit 106 However, as shown in FIG. 6B, it is replaced with a new default threshold group by setting the priority to 1 by updating, and is transmitted to the video / audio monitoring unit 103 for monitoring. As a result, the default threshold group up to now is moved down to priority 2.

これに対し、第2候補の閾値群の評価値A(m)「81」は、置換されたデフォルトの閾値群の評価値A(m)「85」よりも低いため、パラメータ最適化学習部106が、更新により優先順位3とすることで、より下位にリストアップすることとなる。かかるリストは、パラメータ最適化用学習部106のメモリ106aに記憶されて用いられる。これにより、当該コンテンツに関して、常に高い評価値A(m)の閾値群をデフォルトの閾値群とできる。但し、コンテンツが異なれば同じ値を用いた閾値群であっても、優先順位が異なることはあり得る。尚、このような閾値群の更新は、パラメータ最適化学習部106が自動的に行っても良いし、監視者MNの許可を待ってから行うこともできる。或いは、評価値A(m)の値にかかわらず、監視者入力部108を介して監視者MNが指定した閾値を、デフォルトの閾値とすることもできる。 On the other hand, since the evaluation value A (m) "81" of the second candidate threshold group is lower than the evaluation value A (m) "85" of the replaced default threshold group, the parameter optimization learning unit 106 However, by updating to priority 3, it will be listed at a lower level. Such a list is stored and used in the memory 106a of the parameter optimization learning unit 106. As a result, the threshold group having a high evaluation value A (m) can be set as the default threshold group for the content. However, if the contents are different, the priority may be different even if the threshold group uses the same value. It should be noted that such an update of the threshold group may be performed automatically by the parameter optimization learning unit 106, or may be performed after waiting for the permission of the observer MN. Alternatively, regardless of the value of the evaluation value A (m), the threshold value specified by the monitor MN via the monitor input unit 108 may be set as the default threshold value.

尚、第1候補、第2候補、・・・の決め方であるが、監視者MNが任意の値を監視者入力部108からパラメータ最適化用学習部106に入力することで、その都度、正解アラームの数と、不要アラームの数と、すり抜けの数を求めた上で、評価値を演算しても良い。或いは、パラメータ最適化用学習部106が、デフォルトの閾値群に対して、個別に閾値を+5%又は-5%ずつ変化させて、その都度、正解アラームの数と、不要アラームの数と、すり抜けの数を求めた上で、評価値を演算するようにしても良い。その他の監視項目においても、同様に評価値を求めることができる。 As for how to determine the first candidate, the second candidate, ..., The observer MN inputs an arbitrary value from the observer input unit 108 to the parameter optimization learning unit 106, and the answer is correct each time. The evaluation value may be calculated after obtaining the number of alarms, the number of unnecessary alarms, and the number of slip-throughs. Alternatively, the parameter optimization learning unit 106 individually changes the threshold value by + 5% or -5% with respect to the default threshold value group, and each time, the number of correct alarms and the number of unnecessary alarms are passed through. After obtaining the number of, the evaluation value may be calculated. Evaluation values can be obtained for other monitoring items in the same way.

尚、検査用の映像信号の入力は、監視対象映像信号の入力の合間に行うこともできるし、監視対象映像信号の入力と並行して行って、バックグラウンドで検査を行うこともできる。それにより同じ閾値を用いてエラー検出を実行できる。更に、映像・音声蓄積クリップ部104は、主入力部101から入力された監視対象映像信号を、所定の長さに渡って所定のタイミングで切り取り、監視者MNが行った監視結果に対応づけて、不図示のメモリに検査用映像信号として記憶しても良い。記憶された検査用映像信号は、必要なタイミングで副入力部102から入力されて、上述のように閾値更新に用いられることとなる。 The video signal for inspection can be input between the inputs of the video signal to be monitored, or can be performed in parallel with the input of the video signal to be monitored to perform the inspection in the background. This allows error detection to be performed using the same threshold. Further, the video / audio storage clip unit 104 cuts the monitored video signal input from the main input unit 101 at a predetermined timing over a predetermined length, and associates it with the monitoring result performed by the monitor MN. , May be stored as an inspection video signal in a memory (not shown). The stored inspection video signal is input from the sub-input unit 102 at a required timing and is used for threshold value update as described above.

本発明により、デジタル映像信号においてコンテンツに応じて発生する映像及び/又はエラーを適切に検出する映像監視装置の調整方法を提供することができ、デジタル映像信号において学習を通じて適切に映像及び/又はエラーを検出する映像監視装置を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide an adjustment method of a video monitoring device that appropriately detects a video and / or an error generated according to a content in a digital video signal, and appropriately video and / or an error through learning in the digital video signal. It is possible to provide a video monitoring device that detects.

100 映像監視装置
101 主入力部
102 副入力部
103 映像・音声監視部
104 映像・音声クリップ蓄積部
105 アラーム出力部
106 パラメータ最適化用学習部
106a 内蔵メモリ
107 表示部
108 監視者入力部
MN 監視者
100 Video monitoring device 101 Main input unit 102 Sub input unit 103 Video / audio monitoring unit 104 Video / audio clip storage unit 105 Alarm output unit 106 Parameter optimization learning unit 106a Built-in memory 107 Display unit 108 Monitorer input unit MN Monitorer

Claims (8)

監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置の調整方法において、
前記映像監視装置は、前記監視項目毎のパラメータの全てが、前記監視項目に応じて決定された閾値を超えたときに、前記エラーが発生したと判定するようになっており、前記監視項目毎のパラメータのうち少なくとも2つが、相互に関連し合っていて、
前記監視項目毎のパラメータの閾値をそれぞれ決定して閾値群を複数組作成し、メモリに記憶し、
監視対象である映像及び/又は音声のコンテンツに応じて、前記メモリに記憶された前記閾値群のいずれかの組を選定することを特徴とする映像監視装置の調整方法。
In the adjustment method of the video monitoring device that detects the occurrence of an error for the monitoring item by inputting the video signal corresponding to the video and / or audio to be monitored.
The video monitoring device is adapted to determine that the error has occurred when all of the parameters for each monitoring item exceed the threshold values determined according to the monitoring item, and for each monitoring item . At least two of the parameters of are interrelated,
Determine the threshold values of the parameters for each monitoring item , create a plurality of sets of threshold values, store them in the memory, and store them in the memory.
A method for adjusting a video monitoring device, which comprises selecting any set of the threshold values stored in the memory according to the video and / or audio content to be monitored.
前記映像監視装置は、エラーを検出したときにアラームを発報するようになっており、
映像及び/又は音声の監視動作と並行した学習において、監視対象である映像及び/又は音声に対応する映像信号を入力させて、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数とをそれぞれカウントし、
更に、エラーの内容と発生箇所が既知である検査用の映像信号を前記映像監視装置に入力させて、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、
得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値群を更新することを特徴とする請求項に記載の映像監視装置の調整方法。
The video monitoring device is designed to issue an alarm when an error is detected.
In the learning parallel to the video and / or audio monitoring operation, the above-mentioned error in which an alarm should be issued at regular time intervals by inputting a video signal corresponding to the video and / or audio to be monitored. The number of the first event in which the alarm was issued and the number of the second event in which the alarm was issued for the error for which the alarm should not be issued are counted, respectively.
Further, the number of third events in which the alarm is not issued for the error in which the alarm should be issued by inputting the video signal for inspection whose content and location of the error are known to the video monitoring device. Count and
An evaluation value is obtained by weighting the obtained number of the first event, the number of the second event, and the number of the third event, and the threshold group is based on the obtained evaluation value. The method for adjusting a video monitoring device according to claim 1 , wherein the image monitoring device is updated.
前記学習において、前記閾値群の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすることを特徴とする請求項に記載の映像監視装置の調整方法。 The second aspect of the present invention is characterized in that, in the learning, the number of the first event, the number of the second event, and the number of the third event are counted while individually changing the threshold value of the threshold group. The method of adjusting the video monitoring device described. 監視対象である映像及び/又は音声に対応する映像信号を入力して、監視項目に対してエラーが発生したことを検出する映像監視装置において、
前記監視項目毎のパラメータのうち少なくとも2つが相互に関連し合ってなるパラメータの閾値を記憶する閾値記憶部と、
前記監視項目毎のパラメータの全てが前記監視項目に応じて決定された前記閾値を超えたときに、前記エラーが発生したと判定し、アラームを発報する判定部と、
映像及び/又は音声の監視動作と並行して学習を行う学習部と、
前記学習部における学習結果に基づいて前記閾値を更新する更新部と、
前記判定部が前記エラーの発生を検出したときは、前記エラーの発生前後の映像信号を記憶する映像記憶部と、を有し、
前記エラーの発報結果を解析することにより、前記学習部が学習し、
前記学習部は、監視対象である映像及び/又は音声に対応する映像信号を入力したときに、一定の時間間隔で、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数と、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をカウントし、更に、エラーの内容と発生箇所が既知である検査用の映像信号を入力したときに、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をカウントし、得られた前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数とを重み付けして演算することにより評価値を求め、求めた前記評価値に基づいて前記閾値を更新することを特徴とする映像監視装置。
In a video monitoring device that detects that an error has occurred for a monitoring item by inputting a video signal corresponding to the video and / or audio to be monitored.
A threshold storage unit that stores a threshold value of a parameter in which at least two of the parameters for each monitoring item are related to each other, and a threshold storage unit.
A determination unit that determines that an error has occurred and issues an alarm when all of the parameters for each monitoring item exceed the threshold value determined according to the monitoring item.
A learning unit that learns in parallel with video and / or audio monitoring operations,
An update unit that updates the threshold value based on the learning result in the learning unit, and an update unit.
When the determination unit detects the occurrence of the error, it has a video storage unit that stores video signals before and after the error occurs.
By analyzing the alarm result of the error, the learning unit learns and
When the learning unit inputs a video signal corresponding to the video and / or audio to be monitored, the alarm is issued for an error that should be issued at a fixed time interval. The number of events and the number of second events for which the alarm was issued for an error for which the alarm should not be issued are counted, and a video signal for inspection in which the content and location of the error are known is displayed. When input, the number of the third event in which the alarm was not issued is counted for the error for which the alarm should be issued, and the number of the obtained first event and the number of the second event are counted. , A video monitoring device characterized in that an evaluation value is obtained by weighting the number of the third event and the calculation is performed, and the threshold value is updated based on the obtained evaluation value.
前記学習部は、前記監視項目の閾値を個別に変化させながら、前記第1事象の件数と、前記第2事象の件数と、前記第3事象の件数をカウントすることを特徴とする請求項に記載の映像監視装置。 4. The learning unit is characterized in that it counts the number of the first event, the number of the second event, and the number of the third event while individually changing the threshold value of the monitoring item. The video monitoring device described in. 前記学習部は、M個の映像信号のうちm番目の映像信号に対して、時刻t1~t2の間に、アラームを発報すべきエラーに対して前記アラームが発報された第1事象の件数をT(m)とし、アラームを発報すべきでないエラーに対して前記アラームが発報された第2事象の件数をF(m)とし、アラームを発報すべきエラーに対して前記アラームが発報されなかった第3事象の件数をH(m)としたときに、以下の評価関数に従って評価値A(m)を求めることを特徴とする請求項に記載の映像監視装置。
但し、
Figure 0007033797000003
Wt(m)は前記第1事象の重み付け
Wf(m)は前記第2事象の重み付け
Wh(m)は前記第3事象の重み付け
The learning unit is the first event in which the alarm is issued for an error for which an alarm should be issued between times t1 and t2 for the m-th video signal among the M video signals. The number of cases is T (m), the number of second events in which the alarm is issued for an error for which an alarm should not be issued is F (m), and the alarm is for an error for which an alarm should be issued. The video monitoring device according to claim 5 , wherein the evaluation value A (m) is obtained according to the following evaluation function, where H (m) is the number of third events for which is not issued.
However,
Figure 0007033797000003
Wt (m) is the weighting of the first event Wf (m) is the weighting of the second event Wh (m) is the weighting of the third event.
前記映像記憶部は、入力された映像信号を、所定のタイミングで所定の長さで切り出して記憶することを特徴とする請求項4~6のいずれかに記載の映像監視装置。 The video monitoring device according to any one of claims 4 to 6 , wherein the video storage unit cuts out and stores an input video signal at a predetermined timing and a predetermined length. 前記学習部の学習結果を表示すると共に、前記エラーの発生前後の映像信号に基づいて映像及び/又は音声を再生する表示部を有することを特徴とする請求項4~7のいずれかに記載の映像監視装置。 The invention according to any one of claims 4 to 7 , further comprising a display unit that displays the learning result of the learning unit and reproduces video and / or audio based on the video signals before and after the occurrence of the error. Video monitoring device.
JP2019528202A 2017-07-03 2017-07-03 How to adjust the video monitoring device and the video monitoring device Active JP7033797B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024350 WO2019008635A1 (en) 2017-07-03 2017-07-03 Video monitoring device adjusting method and video monitoring device

Publications (2)

Publication Number Publication Date
JPWO2019008635A1 JPWO2019008635A1 (en) 2020-04-30
JP7033797B2 true JP7033797B2 (en) 2022-03-11

Family

ID=64950684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528202A Active JP7033797B2 (en) 2017-07-03 2017-07-03 How to adjust the video monitoring device and the video monitoring device

Country Status (3)

Country Link
JP (1) JP7033797B2 (en)
CN (1) CN110870305B (en)
WO (1) WO2019008635A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034841A (en) * 2019-08-22 2021-03-01 日本電気株式会社 Monitoring condition setting device, system, method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060335A (en) 2004-08-18 2006-03-02 Sharp Corp Image processing apparatus
JP2006101296A (en) 2004-09-30 2006-04-13 Nec Personal Products Co Ltd Video data correcting device and method, video output device and method, reproducing device and method, program, and recording medium
JP2006186787A (en) 2004-12-28 2006-07-13 Fujitsu Ten Ltd Digital data receiver
JP2008046346A (en) 2006-08-15 2008-02-28 Sony Corp Electric power consumption reduction apparatus, display device, image processor, electric power consumption reduction method, and computer program
JP2011228975A (en) 2010-04-21 2011-11-10 Nikon Systems Inc Video noise detection device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450529B2 (en) * 1995-07-25 2003-09-29 日本放送協会 Automatic video monitor
JP2001269770A (en) * 2000-03-24 2001-10-02 Kawasaki Steel Corp Method for automatically detecting abnormality in molten metal treating facility
CN101765025A (en) * 2008-12-23 2010-06-30 北京中星微电子有限公司 System for abnormal detection of surveillance camera and method thereof
JP2011109183A (en) * 2009-11-12 2011-06-02 Toshiba Corp Reception-state presenting device
CN102131101A (en) * 2011-04-21 2011-07-20 江苏东怡软件技术有限公司 Intelligent video image quality automatic analysis system and method
CN102395043B (en) * 2011-11-11 2013-09-11 北京声迅电子股份有限公司 Video quality diagnosing method
CN102421008A (en) * 2011-12-07 2012-04-18 浙江捷尚视觉科技有限公司 Intelligent video quality detecting system
CN103873852A (en) * 2012-12-11 2014-06-18 上海文广互动电视有限公司 Multi-mode parallel video quality fault detection method and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060335A (en) 2004-08-18 2006-03-02 Sharp Corp Image processing apparatus
JP2006101296A (en) 2004-09-30 2006-04-13 Nec Personal Products Co Ltd Video data correcting device and method, video output device and method, reproducing device and method, program, and recording medium
JP2006186787A (en) 2004-12-28 2006-07-13 Fujitsu Ten Ltd Digital data receiver
JP2008046346A (en) 2006-08-15 2008-02-28 Sony Corp Electric power consumption reduction apparatus, display device, image processor, electric power consumption reduction method, and computer program
JP2011228975A (en) 2010-04-21 2011-11-10 Nikon Systems Inc Video noise detection device

Also Published As

Publication number Publication date
WO2019008635A1 (en) 2019-01-10
CN110870305B (en) 2021-06-15
CN110870305A (en) 2020-03-06
JPWO2019008635A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US7509662B2 (en) Method and apparatus for generation of a preferred broadcasted programs list
US9438860B2 (en) Method and system for filtering advertisements in a media stream
JP7048825B2 (en) Monitoring loudness levels during media replacement events with shorter time constants
US7540009B1 (en) Use tagging in television programs for scene filtering and alerts
US11750886B2 (en) Providing related episode content
KR20080097900A (en) A method and system for presenting television program guide information based on viewer usage patterns
JP6340596B2 (en) Video receiving apparatus, video recognition method, and additional information display system
CN103327407A (en) Method for setting a watching level for an audiovisual content
US20040003391A1 (en) Method, system and program product for locally analyzing viewing behavior
JP7033797B2 (en) How to adjust the video monitoring device and the video monitoring device
JP6388894B2 (en) System and method for compressed display of long video sequences
US11172257B2 (en) Managing audio and video content blocking
KR20200098611A (en) System and method for aggregating related media content based on tagged content
US10349093B2 (en) System and method for deriving timeline metadata for video content
CN113313511A (en) Video traffic prediction method, device, electronic equipment and medium
US20200394215A1 (en) Determining content advisory information
RS20181066A1 (en) The method of fast channel change based on the prediction of tv channel selection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R150 Certificate of patent or registration of utility model

Ref document number: 7033797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150